KR20210133800A - 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈 - Google Patents

이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈 Download PDF

Info

Publication number
KR20210133800A
KR20210133800A KR1020200052891A KR20200052891A KR20210133800A KR 20210133800 A KR20210133800 A KR 20210133800A KR 1020200052891 A KR1020200052891 A KR 1020200052891A KR 20200052891 A KR20200052891 A KR 20200052891A KR 20210133800 A KR20210133800 A KR 20210133800A
Authority
KR
South Korea
Prior art keywords
pixel
sub
pixels
value
reference value
Prior art date
Application number
KR1020200052891A
Other languages
English (en)
Inventor
이원석
송성욱
장혁재
전성호
최윤석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200052891A priority Critical patent/KR20210133800A/ko
Priority to US17/183,547 priority patent/US11627250B2/en
Priority to CN202110448054.4A priority patent/CN113573071A/zh
Publication of KR20210133800A publication Critical patent/KR20210133800A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/2253—
    • H04N5/2257—

Abstract

본 개시의 기술적 사상에 따른 이미지 압축 방법은 픽셀 어레이를 통과함으로써 생성된 이미지 데이터를 압축함에 있어서, 서로 인접하게 배치되고, 제1 컬러 정보를 생성하는 복수의 서브 픽셀들에 대응하는 이미지 데이터를 제1 컬러 픽셀로 분류하는 단계, 상기 복수의 서브 픽셀들 각각의 픽셀 값에 기초하여 상기 이미지 데이터를 압축하는 기준인 참조 값을 결정하는 단계, 및 상기 복수의 서브 픽셀들 각각의 픽셀 값을 상기 참조 값과 비교하고, 비교 결과와 상기 참조 값을 출력하는 단계를 포함할 수 있다.

Description

이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈{IMAGE COMPRESSING METHOD, ENCODER, AND CAMERA MODULE INCLUDING THE ENCODER}
본 발명은 이미지 압축 방법에 관한 것으로서, 구체적으로는 이미지 압축 방법, 이미지를 압축하는 인코더 및 이미지를 압축하는 인코더를 포함하는 카메라 모듈에 관한 것이다.
다양한 전자 장치들에 듀얼 카메라가 탑재되거나 초당 촬영 가능한 이미지의 개수가 증가하고 고해상도 이미지에 대한 요구가 증대됨에 따라, 전자 장치 내에 저장되는 이미지 데이터의 크기는 증가하는 추세이다.
이미지 데이터를 크기를 줄이기 위해 압축하고자 하는 대상 픽셀과 참조 픽셀과의 차이 값에 기초해 데이터를 압축하기 위해서는 공간적 유사성이 높다는 전제가 필요하다.
본 개시의 기술적 사상이 해결하려는 과제는 공간적 유사성이 높은 픽셀을 참조하여 이미지 데이터를 압축하는 이미지 압축 방법, 인코더 및 촬상 장치를 제공하는 데에 있다.
본 개시의 기술적 사상에 따른 이미지 압축 방법은 픽셀 어레이를 통과함으로써 생성된 이미지 데이터를 압축함에 있어서, 서로 인접하게 배치되고, 제1 컬러 정보를 생성하는 복수의 서브 픽셀들에 대응하는 이미지 데이터를 제1 컬러 픽셀로 분류하는 단계, 상기 복수의 서브 픽셀들 각각의 픽셀 값에 기초하여 상기 이미지 데이터를 압축하는 기준인 참조 값을 결정하는 단계, 및 상기 복수의 서브 픽셀들 각각의 픽셀 값을 상기 참조 값과 비교하고, 비교 결과와 상기 참조 값을 출력하는 단계를 포함할 수 있다.
본 개시의 기술적 사상에 따른 인코더는 픽셀 어레이를 통과하여 생성된 이미지 데이터를 압축함에 있어서, 서로 인접하게 배치되고 제1 컬러 정보를 생성하는 복수의 서브 픽셀들에 대응하는 이미지 데이터를 제1 컬러 픽셀로 분류하고, 상기 복수의 서브 픽셀들 각각의 픽셀 값에 기초하여 상기 이미지 데이터를 압축하는 기준인 참조 값을 결정하고, 상기 복수의 서브 픽셀들 각각의 픽셀 값을 상기 참조 값과 비교하고, 비교 결과와 상기 참조 값을 출력하도록 구성될 수 있다.
본 개시의 기술적 사상에 따른 카메라 모듈은 매트릭스 형태로 배열되어 각각이 픽셀 신호를 생성하는 복수의 픽셀들을 포함하는 픽셀 어레이를 포함하고, 광전 변환 소자를 이용하여 빛을 전기 신호로 변환하고, 이미지 데이터를 출력하도록 구성된 이미지 센서, 및 상기 이미지 데이터를 압축함으로써 생성한 비트스트림을 출력하도록 구성된 인코더를 포함하고, 상기 인코더는 서로 인접하게 배치되고 제1 컬러 정보를 생성하는 복수의 서브 픽셀들을 제1 컬러 픽셀로 분류하고, 상기 복수의 서브 픽셀들의 픽셀 값에 기초하여 상기 이미지 데이터를 압축하는 기준인 참조 값을 결정하고, 상기 복수의 서브 픽셀들 각각의 픽셀 값을 상기 참조 값과 비교하고, 비교 결과 및 상기 참조 값을 출력하는 것을 특징으로 할 수 있다.
본 개시의 기술적 사상에 따른 이미지 압축 방법, 인코더 및 카메라 모듈은 이미지 데이터를 압축함에 있어서 동일한 컬러 픽셀 내의 서브 픽셀들을 참조하므로 공간적 유사성이 높을 수 있다. 따라서 이미지 데이터의 압축 효율은 이격된 픽셀을 참조하는 것에 비해 높아질 수 있다. 또는, 이미지 데이터의 압축 손실은 최소화될 수 있다.
또한, 본 개시의 기술적 사상에 따른 이미지 압축 방법, 인코더 및 카메라 모듈은 즉시 압축되지 않고 버퍼링되는 열(row)이 존재하기 때문에 모든 열을 압축하는 것에 비해 전력 소모가 절감될 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 압축 방법을 나타내는 순서도이다.
도 2는 본 개시의 예시적 실시예에 따른 촬상 장치를 도시하는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 복수의 서브 픽셀들을 포함하는 컬러 픽셀이 베이어 구조로 배열된 셀에 대한 도면이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 픽셀 어레이의 일 예를 나타내는 도면이다.
도 5a, 도 5b 및 도 5c는 본 개시의 예시적 실시예에 따른 참조 값을 결정하는 일 과정을 도시하는 도면이다.
도 6a, 도 6b 및 도 6c는 본 개시의 예시적 실시예에 따른 참조 값을 결정하는 다른 과정을 도시하는 도면이다.
도 7a 및 도 7b는 본 개시의 예시적 실시예에 따른 비트스트림의 일 구성을 나타내는 도면이다.
도 8은 본 개시의 예시적 실시예에 따른 비트스트림의 다른 구성을 나타내는 도면이다.
도 9는 본 개시의 예시적 실시예에 따른 픽셀 어레이의 다른 예를 나타내는 도면이다.
도 10 및 도 11은 본 개시의 예시적 실시예에 따른 이미지 압축 방법을 나타내는 순서도이다.
도 12a 및 도 12b는 본 개시의 예시적 실시예에 따른 카메라 모듈을 도시하는 블록도이다.
도 13은 본 개시의 예시적 실시예에 따른 어플리케이션 프로세서를 도시하는 블록도이다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 압축 방법을 나타내는 순서도이다.
도 15a 및 도 15b는 본 개시의 예시적 실시예에 따른 전자 장치를 도시하는 블록도이다.
도 16은 본 개시의 예시적 실시예에 따른 전자 장치의 일부를 도시하는 도면이다.
도 17은 본 개시의 예시적 실시예에 따른 카메라 모듈의 상세 블록도이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예에 대해 상세히 설명한다.
본 개시에서 '픽셀' 또는 '서브 픽셀'이라는 용어는 객체를 센싱하는 광 감지 소자가 위치하는 물리적인 영역을 의미함과 동시에, 객체의 일 부분을 센싱한 광 감지 소자로부터 생성된 전기 신호에 대응되는 센싱된 객체의 부분 정보일 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 압축 방법을 나타내는 순서도이다.
반도체 소자의 고집적화 및 처리 속도 향상으로 인해 초당 촬영 가능한 이미지의 개수도 증가됨에 따라, 전자 장치 내에 저장되고 처리되는 이미지 데이터의 크기는 점차 증대되고 있다. 따라서 이미지 데이터를 효과적으로 처리하기 위해서 이미지 데이터를 압축하는 기술이 요구된다.
빛 신호를 전기 신호로 변환 하는 광 감지 소자의 개수가 많을 수록 고해상도 이미지를 생성하기 쉽다. 광 감지 소자의 집적도가 높아질 수록, 광 감지 소자 간의 물리적인 간격은 좁아질 수 있고, 그에 따른 크로스 토크(cross-talk) 등의 노이즈가 발생하여 화질 열화를 유발할 수 있다.
저조도에서는 광 감지 소자에 충분한 광 신호가 입력되기 어려워 고해상도 이미지를 생성하는 데에 장애 요소가 될 수 있다. 저조도에서도 고해상도 이미지를 생성하기 위해, 동일 컬러를 공유하는 컬러 픽셀을 복수 개의 서브 픽셀로 분할함으로써, 하나의 컬러 픽셀을 표현하기 위해 복수 개의 서브 픽셀들을 이용할 수 있다. 복수의 서브 픽셀들로부터 생성된 전기 신호들을 모두 합치면 충분한 광량이 확보될 수 있다.
이미지 데이터를 효과적으로 압축하기 위해서는 압축 효율이 좋으면서 데이터 손실이 크지 않을 것이 요구된다. 이미지를 압축하기 위한 하나의 방법으로서 압축하고자 하는 대상 픽셀과, 대상 픽셀과 인접하는 후보 픽셀들 중에서 하나의 참조 픽셀을 정하고, 대상 픽셀과 참조 픽셀의 픽셀 차이 값에 기초해 이미지 데이터를 압축할 수 있다. 차이 값에 기초한 본 압축 방법은 대상 픽셀과 참조 픽셀이 공간적으로 인접한 거리에서 센싱된다는 전제에서 동작할 수 있다. 즉, 차이 값에 기초한 압축 방법은, 객체의 특정 부분이 이미지 센서의 특정 부분(즉, 객체의 특정 부분에 대응되는 부분)에 위치하는 적어도 하나의 광 감지 소자에 의해 센싱되는 물리적 특징을 이용한 것일 수 있다. 따라서, 데이터 손실을 줄이기 위해서 객체를 센싱하는 광 감지 소자에 대응되는 픽셀들의 공간적 유사성이 높을 필요성 있다.
동일한 컬러 픽셀을 통과하도록 배치된 복수의 서브 픽셀들을 포함하는 컬러 픽셀들이 특정 컬러 패턴에 따라 배열된 베이어 이미지를 압축하는 경우에도 상기 압축 방법이 적용될 수 있다. 예시적인 실시예에서 베이어 패턴은 그린(Green), 레드(Red), 블루(Blue), 그린(Green)이 순서대로 매트릭스 형태로 배열된 공지의 패턴일 수 있다. 동일 컬러 픽셀의 픽셀 정보를 참조하기 위해, 대상 서브 픽셀은 다른 컬러 픽셀을 가로질러 참조할 수 있다. 예를 들어, 압축하려는 대상인 대상 서브 픽셀이 그린 컬러 필터를 통과한 경우(즉, 대상 서브 픽셀은 그린 컬러에 대한 정보를 포함), 대상 서브 픽셀을 압축하기 위해 참조할 후보 서브 픽셀들은 대상 서브 픽셀의 주변에 위치한 그린 픽셀일 수 있다. 베이어 패턴으로 배열됨에 따라, 대상 서브 픽셀은 사방이 레드 픽셀 및/또는 블루 픽셀로 둘러싸여 있기 때문에, 후보 서브 픽셀들 및 참조 서브 픽셀을 결정하기 위해서는 레드 픽셀 및/또는 블루 픽셀을 하나 가로질러 다른 그린 픽셀의 픽셀 정보를 참조할 수 있다. 다른 컬러 픽셀을 가로지르게 되면, 대상 서브 픽셀과 참조 서브 픽셀의 공간적 유사성은 상대적으로 작을 수 있다.
본 개시의 기술적 사상에 따른 이미지 압축 방법은 이하의 S100 단계 내지 S300 단계를 포함할 수 있다.
S100 단계에서, 이미지 압축 방법은 서로 인접하게 배치되고, 동일한 컬러 정보를 포함하는 픽셀 값(또는 픽셀 신호)을 생성하는 복수의 서브 픽셀들을 동일한 컬러 픽셀로 분류할 수 있다(S100). 이미지 데이터는 다양한 컬러 패턴 또는 컬러 영역들의 조합으로 배열된 복수의 컬러 픽셀을 포함할 수 있다. 예시적인 실시예에서, 컬러 픽셀은 레드 픽셀, 그린 픽셀, 및 블루 픽셀을 포함할 수 있고, 하나의 컬러 픽셀에 포함된 서브 픽셀들로부터 출력되는 픽셀 값들은 모두 동일한 컬러 정보를 포함할 수 있다. 복수의 컬러 픽셀들 각각은 동일한 컬러 필터를 통과하도록 배열된 복수의 서브 픽셀들을 포함할 수 있다. 복수의 서브 픽셀들은 매트릭스 형태로 배열될 수 있다. 예를 들어, 복수의 서브 픽셀들은 2
Figure pat00001
2 행렬, 3
Figure pat00002
3 행렬 등 M
Figure pat00003
N(M, N은 자연수)의 형태로 배열됨으로써 하나의 컬러 픽셀을 구성할 수 있다. 예시적인 실시예에서, 그린 컬러 정보를 공통적으로 포함하는 픽셀 신호를 생성하는 복소의 서브 픽셀들이 그린 컬러 픽셀로 분류될 수 있다.
S200 단계에서, 이미지 압축 방법은 복수의 서브 픽셀들 각각의 픽셀 값에 기초하여, 이미지 데이터를 압축하기 위한 참조 값에 관한 정보를 포함하는 데이터를 생성할 수 있다. 본 개시의 기술적 사상에 따른 이미지 압축 방법은 동일한 컬러 정보를 공유하는 복수의 서브 픽셀들(즉, 후보 서브 픽셀들)의 픽셀 값에 기초하여 참조 서브 픽셀을 결정할 수 있다(S200). 참조 서브 픽셀의 픽셀 정보, 예를 들어 참조 서브 픽셀의 데이터 값은 참조 값으로 명명될 수 있다. 이 외에도, 참조 값은 복수의 픽셀 데이터 값들로부터 계산된 수치일 수 있다. 예시적인 실시예에 따라, 참조 값은 이미지 데이터를 압축하는 기준으로서 이용될 수 있다.
S300 단계에서, 이미지 압축 방법은 동일한 컬러 픽셀에 포함된 복수의 서브 픽셀들 각각의 픽셀 값과 참조 값을 비교함으로써, 차이 값을 산출할 수 있으며, 비교 결과와 참조 값을 출력할 수 있다(S300).
압축 대상인 대상 서브 픽셀은 복수의 서브 픽셀들 중 어느 하나일 수 있고, 참조 값 역시 복수의 서브 픽셀들 중 적어도 어느 하나에 기초하여 결정된 값일 수 있으므로, 비교 결과 차이가 존재하지 않는 대상 서브 픽셀이 존재할 수도 있다.
본 개시의 기술적 사상에 따른 이미지 압축 방법은 압축하려는 대상 서브 픽셀과 압축에 참조하는 참조 서브 픽셀이 동일한 컬러 픽셀에 존재할 수 있으므로 대상 서브 픽셀과 참조 서브 픽셀의 공간적 유사성은 상대적으로 클 수 있다. 즉, 전술된 이미지 압축 방법은 이미지 데이터를 압축함에 있어서 동일한 컬러 픽셀 내의 서브 픽셀들을 참조하므로 공간적 유사성이 높을 수 있다. 따라서 이미지 데이터의 압축 효율은 이격된 컬러 픽셀을 참조하는 것에 비해 높아질 수 있다. 공간적 유사성이 커짐에 따라 이미지 데이터의 압축 손실은 적어질 수 있다.
도 2는 본 개시의 예시적 실시예에 따른 촬상 장치(1)을 도시하는 블록도이다. 도 2의 촬상 장치(1)는 도 1에서 설명된 이미지 압축 방법을 수행할 수 있다.
도 2를 참조하면, 촬상 장치(1)는 카메라 모듈(3) 및 어플리케이션 프로세서(Application Processor; 이하, AP)(50) 를 포함할 수 있고, 카메라 모듈(3)은 이미지 센서(10), 이미지 신호 프로세서(Image Signal Processor; 이하, ISP)(30)를 포함할 수 있다. 이미지 센서(10)는 픽셀 어레이(100)를 포함할 수 있고, ISP(30)는 인코더(310)를 포함할 수 있으며, AP(50)는 디코더(510)를 포함할 수 있다.
촬상 장치(1)는 전하 결합 소자 및 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등의 고체 이미지 센서를 이용하여 피사체에 대한 이미지를 캡쳐 및/또는 저장할 수 있고, 디지털 카메라, 디지털 캠코더, 모바일 폰, 또는 태블릿 컴퓨터, 또는 휴대용 전자 장치로 구현될 수 있다. 휴대용 전자 장치는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등을 포함할 수 있다. 또한, 전자 장치(1)는 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기 또는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
이미지 센서(10)는 광학 렌즈를 통하여 입사된 피사체의 광학적 신호를 광전 변환 소자를 이용하여 전기적 신호로 변환하고, 전기적 신호들을 기초로 이미지 데이터(IDTA)를 생성하고 이를 출력할 수 있다. 이미지 센서(10)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 센서(10)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation), 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 센서(10)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다. 이미지 센서(10)는 ISP(30), 또는 AP(50)의 제어에 의해 렌즈(미도시)를 통해 촬상된 피사체를 센싱할 수 있다.
이미지 센서(10)는 픽셀 어레이(11) 및 수신된 광 신호를 처리하는 복수의 기능부들을 포함할 수 있다. 복수의 기능부들은 예를 들어, 로우 드라이버(미도시), 램프 신호 생성기(미도시), 타이밍 생성기(미도시), 아날로그 디지털 컨버터(Analog-to-Digital Converter, 미도시) 및 리드아웃 회로(미도시) 등 광 신호를 처리하거나 이미지 센싱 감도를 향상시키기 위한 추가적인 구성들을 포함할 수 있다.
픽셀 어레이(100)는 복수의 행(row) 라인, 복수의 열(column) 라인 및 각각이 행 라인과 열 라인에 접속되며 매트릭스 형태로 배치된 복수의 픽셀, 및 복수의 픽셀 각각에 대응하도록 배열된 복수의 컬러 필터를 포함할 수 있다.
복수의 픽셀 각각은 광 감지 소자(또는 광전 변환 소자)를 포함하고, 광 감지 소자를 이용하여 빛을 감지하고, 감지된 빛을 전기적 신호인 픽셀 신호로 변환할 수 있다. 예를 들어, 광 감지 소자는 포토 다이오드(photo diode), 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토 다이오드(pinned photo diode, PPD), 또는 이들의 조합일 수 있다. 복수의 광 감지 소자 각각은 포토 다이오드, 전송 트랜지스터, 리셋 트랜지스터, 증폭 트랜지스터 및 선택 트랜지스터를 포함하는 4-트랜지스터 구조일 수 있다. 일 실시예에 따라, 복수의 광 감지 소자 각각은 1-트랜지스터 구조, 3-트랜지스터 구조 또는 5-트랜지스터 구조이거나, 복수의 픽셀들이 일부 트랜지스터를 공유하는 구조일 수 있다.
이미지 센서(10)는 컬러 필터를 통과한 광 신호로부터 픽셀 데이터들을 획득할 수 있다. 픽셀 데이터들은 픽셀의 픽셀 값(pixel value)을 의미할 수 있다. 컬러 필터는 픽셀 어레이의 복수의 픽셀들 각각과 상응하도록 배열되어, 이미지 센서의 광 감지 소자로 들어오는 빛 중 특정 파장만을 투과시키는 필터의 기능을 할 수 있다. 하나의 컬러 픽셀은 복수의 서브 픽셀들을 포함할 수 있고, 복수의 서브 픽셀 각각은 하나의 색상을 처리하는 단위 유닛으로서 동작할 수 있다.
컬러 필터는 베이어 컬러 필터(Bayer Color Filter)의 형태로 적용될 수 있다. 베이어 패턴은 사람의 눈이 피사체의 그린 성분으로부터 루미넌스(luminance) 데이터의 대부분을 도출한다는 전제에 기초한다. 베이어 컬러 필터에 포함된 픽셀들 중 절반은 그린(Green) 신호를 검출하며, 나머지 4분의 1은 레드(Red) 신호를, 나머지 4분의 1은 블루(Blue) 신호를 검출할 수 있다. 일 실시 예에 따라, 베이어 컬러 필터(1200)는 레드(R) 픽셀, 블루(B) 픽셀, 및 2개의 그린(G) 픽셀들을 포함하는 2 Х 2 크기의 셀(Cell)들이 반복적으로 배치되는 구성일 수 있다. 다른 실시 예에 따라, 베이어 컬러 필터(1200) 는 레드 픽셀, 블루 픽셀, 및 2개의 와이드 그린(wide green, W) 픽셀들을 포함하는 2 Х 2 크기의 셀들이 반복적으로 배치되는 구성일 수 있다. 즉, 4개의 픽셀 중에서 2개의 픽셀에는 녹색 필터가 배치되고, 나머지 2개의 픽셀에는 청색 필터와 적색 필터가 배치되는 RGB 컬러 필터 방식을 많이 채택하고 있다. 또한, RGB 컬러 필터 방식 외에도, 사이안(cyan), 옐로우(yellow), 그린(green), 마젠타(magenta)의 컬러 필터가 4개의 픽셀에 각각 배치되는 CYGM 컬러 필터 방식이 채택되기도 한다. 이 외에도, CYMK(Cyan, Yellow, Green, Key) 컬러 필터 방식이 적용될 수 있다. 복수의 컬러 필터는 하나의 컬러 필터층을 구성한다고 볼 수 있다. 설명의 편의를 위해 베이어 패턴을 예시하나, 본 개시의 기술적 사상은 베이어 패턴에 국한되지 않고 화이트, 또는 옐로우를 포함하거나, 두 개 이상의 컬러 영역이 병합(merge)된 다양한 패턴을 가지는 컬러 필터가 적용될 수 있음이 이해되어야 한다.
컬러 필터를 통과하여 생성된 픽셀 데이터 또는 픽셀 값의 집합은 베이어 이미지(Bayer Image)라고 명명될 수 있다. 여기에서, 베이어 이미지는 물리적으로 빛의 특정 파장을 투과시키는 기능을 하는 컬러 필터와 구분되며, 이미지 센서(10)에서 센싱된 이미지가 ISP(30), AP(50), 또는 사용자 환경에서 인식되는 관념적 이미지 형상과 대응되는 이미지일 수 있다. 다시 말해, 베이어 이미지는 촬상 장치(1) 내에서 하나의 처리 단위로서 취급되는 완성된 이미지의 픽셀 정보를 담고 있는 이미지 데이터를 의미할 수 있다. 설명의 편의를 위해 본 명세서에서는 '베이어 이미지' 용어를 사용하여 이미지 데이터를 설명하나, 본 명세서가 개시하는 기술적 사상은 베이어 패턴의 컬러 필터에 국한되지 않고 다양한 패턴을 가지는 컬러 필터가 적용될 수 있음이 이해되어야 한다.
이미지 센서(10)는 픽셀 어레이(100)에서 생성된 픽셀 신호에 대한 전처리(예를 들어, 배드 픽셀 제거 등)가 수행된이미지 데이터(IDTA)를 출력할 수 있다. 이미지 센서(10)는 픽셀 어레이를 포함하는 반도체 칩 또는 패키지로서 구현될 수 있다.
이미지 신호 프로세서(ISP(Image Signal Processor))(30)는 이미지 센서(10)의 출력 신호인 이미지 데이터(IDTA)를 입력 받아 이미지를 사람이 보기 좋도록 가공/처리하여 가공/처리된 이미지를 디스플레이로 출력할 수 있다. 또는 ISP(30)는 인터페이스(Inferface, I/F)를 통해 외부 호스트로부터 제어 신호를 수신하고, 가공/처리된 이미지를 외부 호스트에 제공할 수 있다.
ISP(30)는 이미지 데이터(IDTA)에 대하여 이미지 처리(image processing)를 수행할 수 있다. 예를 들어, ISP(30)는 이미지 데이터(IDTA)에 대하여 데이터 형식을 변경하는 이미지 처리(예컨대 베이어 패턴의 이미지 데이터를 YUV 또는 RGB 형식으로 변경), 노이즈 제거, 밝기 조정, 선명도(sharpness) 조정 등의 화질 향상을 위한 이미지 처리 등을 포함할 수 있다. ISP(30)는 촬상 장치(1)의 하드웨어로 구성될 수 있다. 도 2에서, ISP(30)가 이미지 센서(10)와 별도로 구성된 것으로 도시되었으나, 이에 제한되는 것은 아니며, ISP(30)는 이미지 센서(10) 내부에 위치하거나, 또는 AP(50) 내부에 위치할 수도 있다.
ISP(30)는 인코더(310)를 포함할 수 있다. 인코더(310)는 이미지 데이터(IDTA)를 부호화하여 비트스트림(BS)의 형태로 출력할 수 있다.
인코더(310)는 컬러 필터를 통해 획득된 픽셀 데이터들에 상응하는 이미지 데이터(IDTA)를 압축하여 데이터의 크기를 감소시킬 수 있다. 이미지 데이터는 컬러 필터를 통해 획득된 다양한 패턴의 픽셀 데이터들을 의미할 수 있다. 원본 픽셀 데이터는 압축의 대상이 되는 픽셀의 픽셀 데이터 또는 픽셀 값이므로, 대상 서브 픽셀의 픽셀 값이라고 명명될 수 있다. 본 개시의 일 실시예에 따르면, 인코더(310)는 픽셀에 포함된 복수의 서브 픽셀들에 기초하여 픽셀 데이터들에 대한 부호화 데이터를 생성할 수 있다 복수의 서브 픽셀들에 기초하여 픽셀 데이터들을 압축하는 과정에 대하여는 도 2 내지 도 14를 통하여 상세히 설명하기로 한다.
카메라 모듈(3)은 이미지 센서(10)와 ISP(30)를 포함할 수 있다. 다시 말해, 이미지 센서(10)와 이미지 센서(10)에서 출력된 이미지 데이터(IDTA)를 처리하는 ISP(30)의 조합을 카메라 모듈(3)이라고 칭할 수 있다. 카메라 모듈(3)은 촬상된 이미지를 압축하고, 압축 결과를 비트스트림(BS)으로서 출력할 수 있다.
카메라 모듈(3)에서 생성된 비트스트림(BS)은 카메라 모듈(3)과 같은 규약을 공유하는 장치(예를 들어, 디코더)에 의해 해독될 수 있다. 규약이란 압축 방식, 압축 순서, 압축 비트 등 압축하는 알고리즘에 관한 원칙으로, 부호화된 원리와 동일한 원리가 적용됨으로써 복호화를 할 수 있는 상호 합의를 의미할 수 있다. 예시적인 실시예에서, 카메라 모듈(3)에 포함된 인코더(310)에 적용된 규약과 동일하기만 하면 카메라 모듈(3)에서 생성된 비트스트림(BS)은 디코딩될 수 있으므로, 디코더는 인코더(310)와 반드시 같은 반도체 칩에 실장될 필요가 없다.
AP(Application Processor)(50)는 중앙 처리 장치(CPU), 마이크로프로세서(Microprocessor), 또는 MCU(Micro Controller Unit)일 수 있다. AP(50)는 비트스트림(BS)에 대해 후-처리(post processing)를 수행할 수 있다. 후-처리는, 이미지 아티팩트들(artifacts)에 대한 이미지 향상 알고리즘(Image Enhancement Algorithm)의 적용을 의미할 수 있다. 예를 들어, AP(50)는 수신된 비트스트림(BS)에 대해 화이트 밸런싱(white balancing) 보정, 자동 초점(auto focus) 보정, 자동 노출(auto exposure) 보정, 디노이징(denoising), 디모자이킹(demosaicking), 렌즈 쉐이딩(lenz shading), 및 감마 보정(gamma corrections) 등을 수행할 수 있다. 그러나 이에 제한되지 않고 이미지의 품질을 향상시키기 위한 다양한 기능을 수행할 수있다.
디코더(510)는 인코더(310)로부터 생성된 비트스트림(BS)(즉, 부호화 데이터)을 수신하고, 수신된 비트스트림(BS)에 대한 복호화를 수행할 수 있다. 디코더(510)는 인코더(310)가 이미지 데이터(IDTA)를 부호화하기 위해 거치는 일련의 과정을 역순으로 수행하여, 원래의 이미지 데이터에 상응하는 원본 픽셀을 복원할 수 있다. 다시 말해, 디코더(510)는 인코더(310)를 통해 압축된 이미지 데이터(IDTA)를 복원할 수 있다. 즉, 디코더(510)는 인코더(310)와 동일한 규약이 적용될 수 있다.
도 2에 도시된 이미지 센서(10), ISP(30), AP(50) 각각의 모듈들은 하나의 프로세서에 의해 구현될 수도 있으며, 모듈들 각각은 서로 다른 프로세서에 의해 독립적으로 구현될 수도 있다. 이하, 픽셀 값'은 컬러 필터를 통과하여 픽셀 어레이(11) 상의 광 감지 소자로 입력된 광 신호에 상응하는 신호가 이미지 데이터 상에 재정렬된 값을 의미할 수 있다.
ISP(30) 및 AP(50)는 로직 회로를 포함하는 하드웨어와 같은 처리 회로로서 구현될 수 있거나, 압축 동작을 수행하는 소프트 웨어를 실행하는 프로세서와 같이 하드웨어와 소프트웨어의 조합으로 구현 될 수 있다. 특히, 처리 회로는 중앙 처리 장치(Central Procesing Unit; CPU), 산술 및 논리 연산, 비트 쉬프트 등을 수행하는 ALU(Arithmetic Logic Unit), DSP(Digital Signal Processor), 마이크로프로세서(microprocessor), ASIC(Application Specific Integrated Circuit) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
도 3은 본 개시의 예시적 실시예에 따른 복수의 서브 픽셀(150)들을 포함하는 컬러 픽셀(130)이 베이어 패턴으로 배열된 셀(110)에 대한 도면이다. 도 2가 함께 참조된다.
이미지 센서(도 2, 100)에서 생성된 이미지 데이터는 객체에 대한 픽셀 정보가 베이어 패턴으로 배열될 수 있다. 베이어 패턴의 이미지 데이터를 베이어 이미지로 칭할 수 있음은 전술한 바와 같다.
이미지 데이터는 복수의 셀(110)들을 포함할 수 있다. 셀(110)은 컬러 정보를 포함하는 픽셀일 수 있다. 예시적인 실시예에서, 셀(110)은 한 개의 레드 픽셀, 두 개의 그린 픽셀, 한 개의 블루 픽셀을 포함할 수 있다. 셀(110)은 센싱한 객체의 일부에 대한 컬러 정보를 포함하는 것일 수 있으며, 픽셀 어레이(도 2, 100)의 일부와 대응될 수 있다. 셀(110)은 객체의 일부에 대한 컬러 정보를 디스플레이하기 위한 기본 단위일 수 있다.
셀(110)은 복수의 컬러 픽셀(130)들을 포함할 수 있다. 예시적인 실시예에서, 컬러 픽셀(130)은 픽셀 어레이(100)에 포함된 컬러 픽셀의 배열에 따라(베이어 패턴) 2 개의 그린 픽셀, 1개의 레드 픽셀, 1개의 블루 픽셀을 포함할 수 있다.
컬러 픽셀(130)은 복수의 서브 픽셀(150)들을 포함할 수 있다. 하나의 컬러 픽셀(130)에 포함된 복수의 서브 픽셀(150)들은 동일한 컬러 필터를 통과하여 생성되기 ‹š문에, 동일한 컬러 정보를 가질 수 있다.
복수의 서브 픽셀(150)들은 매트릭스 형태로 배열될 수 있다. 도 3에서는 서브 픽셀(150)들의 배열이 2
Figure pat00004
2 매트릭스인 것으로 예시되었지만, 이에 국한되지 않고, 복수의 서브 픽셀(150)들은 3
Figure pat00005
3 행렬 등 M
Figure pat00006
N(M, N은 자연수)의 형태로 배열될 수 있다. 예시적인 실시예에서, 그린 픽셀은 4 개의 그린 서브 픽셀들(G1a, G2a, G3a, G4a)을 포함할 수 있다. 마찬가지로, 예시적인 실시예에 따르면 블루 픽셀은 4개의 블루 서브 픽셀들(B1, B2, B3, B4)을 포함할 수 있고, 레드 픽셀은 4개의 레드 서브 픽셀들(R1, R2, R3, R4)을 포함할 수 있으며, 이미지 데이터는 2 개의 그린 픽셀을 포함할 수 있으므로 다른 그린 픽셀은 4개의 다른 그린 서브 픽셀들(G1b, G2b, G3b, G4b)을 포함할 수 있다.
하나의 셀(110)에 포함된 두 개의 그린 픽셀 각각은 컬러 정보가 동일하나, 물리적으로는 서로 다른 특성을 처리하도록 배열될 수 있으므로 실제로는 구분될 수 있다. 예시적인 실시예에서, 셀(110)의 첫 번째 로우의 그린 픽셀은 레드 픽셀의 특성과 관련이 있을 수 있고, 두번째 로우의 그린 픽셀은 블루 픽셀의 특성과 관련이 있을 수 있으나, 이에 제한되지는 않는다.
복수의 서브 픽셀(150)들이 동일한 컬러에 대한 서브 픽셀 신호들을 생성함에 따라, 촬상 장치(도 2, 1)는 서브 픽셀 신호들을 합산함으로써 낮은 조도에서도 광 센싱의 결과인 전기 신호를 충분히 생성할 수 있다.
도 4a 및 도 4b는 픽셀 어레이(100a)의 일 예를 나타내는 도면이다. 도2 및 도 3이 함께 참조된다.
압축하고자 하는 대상 서브 픽셀과, 대상 서브 픽셀과 인접하는 후보 서브 픽셀들 중에서 하나의 참조 서브 픽셀을 정하고, 대상 서브 픽셀과 참조 서브 픽셀의 픽셀 차이 값만을 저장하거나 처리한다면 데이터의 저장량/처리량은 감소할 수 있다. 예를 들어, 예측 부호화 방법의 일 예로서, DPCM(Differential Pulse Code Modulation) 방식 등의 유사한 원리가 이용될 수 있다.
도 4a를 참조하면, 예시적인 실시예에 따라, 컬러 픽셀(130)에 포함되는 서브 픽셀(150)들의 배열이 2
Figure pat00007
2 매트릭스인 픽셀 어레이(100a)가 가정된다. 서브 픽셀들의 개수가 4개인 경우, TETRA 셀 이라고 호칭될 수 있다.
픽셀 어레이(100a)의 첫 번째 열(row)에 존재하는 하나의 서브 픽셀(151)(즉, 대상 서브 픽셀)을 압축하기 위해, 카메라 모듈(예를 들어, 도 2의 카메라 모듈(3))은 동일한 컬러 정보를 포함하는 참조 서브 픽셀을 탐색할 수 있다. 참조 서브 픽셀은 후보 서브 픽셀들 중에서 어느 하나가 결정되거나, 복수의 후보 서브 픽셀들의 값에 기초하여 결정될 수 있다.
대상 서브 픽셀(151)과 동일한 컬러를 센싱하되, 대상 서브 픽셀(151)과의 거리가 가장 가까운 픽셀이 참조 서브 픽셀(131)로서 결정될 수 있다. 픽셀 정보가 참조되기 위해서는 픽셀이 먼저 독출되거나, 압축 등 대상 서브 픽셀(151)보다 먼저 처리될 필요가 있으므로, 대상 서브 픽셀(151)보다 아래의 열(row)은 참조되지 않을 수 있다. 또한, 대상 서브 픽셀(151)의 바로 윗 열에 존재하는 그린 픽셀은 대상 서브 픽셀(151)과 특성이 상이한 경우가 존재할 수 있으므로, 참조되지 않을 수 있다. 결과적으로, 참조 서브 픽셀(131)은 대상 서브 픽셀(151)과의 거리가 가장 가까운 픽셀일 수 있다.
대상 서브 픽셀(151)의 사방이 레드 픽셀, 및 블루 픽셀로 둘러싸였기 때문에, 대상 서브 픽셀(151)보다 먼저 센싱되고, 대상 서브 픽셀(151)과 동일한 컬러를 센싱하는 픽셀들 중 가장 가까운 참조 픽셀(131)과 대상 서브 픽셀(151)의 픽셀 거리 Pdistance는 3일 수 있다. 이하에서, 서브 픽셀 하나의 폭 길이(width)는 1이라고 가정된다.
유사하게, 블루 픽셀에 포함된 대상 서브 픽셀(153)은 컬러 정보가 '블루'로 동일하되, 대상 서브 픽셀(153)과의 거리가 가장 가까운 픽셀을 참조 서브 픽셀(133)으로 결정할 수 있다. 대상 서브 픽셀(153)과 참조 서브 픽셀(133)의 픽셀 거리 Pdistance는 마찬가지로 3일 수 있다.
도 4b를 참조하면, 예시적인 실시예에 따라, 서브 픽셀(150)들의 배열이 3
Figure pat00008
3 매트릭스인 픽셀 어레이(100b)가 가정된다. 서브 픽셀들의 개수가 9개인 경우, NONA 셀 이라고 호칭될 수 있다.
픽셀 어레이(100a)의 첫 번째 열(row)에 존재하는 하나의 서브 픽셀(155)(즉, 대상 서브 픽셀)을 압축하기 위해, 카메라 모듈(3)은 동일한 컬러 정보를 포함하는 참조 서브 픽셀을 탐색할 수 있다. 그 결과로서, 대상 서브 픽셀(155)과 컬러 정보가 그린으로 동일하되, 대상 서브 픽셀(155)과의 거리가 가장 가까운 픽셀이 참조 서브 픽셀(135)로서 결정될 수 있다. 대상 서브 픽셀(155)과 참조 서브 픽셀(135)의 거리에는 컬러 픽셀 하나의 폭 길이이자 서브 픽셀들의 폭 길이의 합인 3이 추가적으로 포함될 수 있다. 결과적으로, 대상 서브 픽셀(151)과 참조 서브 픽셀(131)의 픽셀 거리 Pdistance는 4일 수 있다.
유사하게, 블루 픽셀에 포함된 대상 서브 픽셀(157)은 컬러 정보가 '블루'로 동일하되, 대상 서브 픽셀(157)과의 거리가 가장 가까운 픽셀을 참조 서브 픽셀(137)으로 결정할 수 있다. 대상 서브 픽셀(157)과 참조 서브 픽셀(137)의 픽셀 거리 Pdistance는 마찬가지로 4일 수 있다.
도 5a, 도 5b 및 도 5c는 본 개시의 예시적 실시예에 따른 참조 값을 결정하는 일 과정을 도시하는 도면이다. 도 2, 도 3 및 도 4a가 함께 참조되고, 서브 픽셀(150)들의 배열이 2
Figure pat00009
2 매트릭스인 픽셀 어레이(100a)가 가정된다.
본 개시의 기술적 사상에 따른 이미지 압축 방법은 동일한 컬러 정보를 공유하는 복수의 서브 픽셀들(즉, 후보 서브 픽셀들)에 기초하여 참조 값을 결정할 수 있다. 구체적으로, 압축하려는 대상 서브 픽셀(도 4a의 151)을 포함하고, 그린 컬러에 대한 정보를 포함하는 컬러 픽셀(131) 내에서 참조 서브 픽셀이 결정되거나, 컬러 픽셀(131)에 포함된 복수의 서브 픽셀들 중 적어도 하나에 기초하여 참조 값이 결정될 수 있다.
예시적인 실시예에 따르면, 대상 서브 픽셀(도 4의 131)을 포함하는 컬러 픽셀(131)은 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)를 포함할 수 있다. 다시 말해, 대상 서브 픽셀(131)은 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a) 중 어느 하나일 수 있다.
도 5a를 참조하면, 카메라 모듈(도 2의 3)(특히, 인코더(도 2, 310))는 컬러 픽셀(131)에 포함된 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 값의 평균(average)을 계산할 수 있다. 카메라 모듈(3)은 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 평균값을 참조 값으로 결정할 수 있다. 만약 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 평균값을 가지는 서브 픽셀이 존재하지 않는다면, 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 평균값은 그 수학적 특성 상 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 매트릭스 가운데에 가상적으로 존재할 수 있다고 이해될 수 있다. 예시적인 실시예에서, 픽셀 평균값을 픽셀 값으로 가지는 서브 픽셀 Gra는 가상적으로 존재할 수 있다.
카메라 모듈(3)은 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a) 각각의 픽셀 값을 참조 값과 비교할 수 있다. 예시적인 실시예에서, 카메라 모듈(3)은 참조 값과 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 값 각각을 뺄셈(subtraction)할 수 있다. 예시적인 실시예에서, 참조 값(Gra)에서 서브 픽셀(G1a)의 픽셀 값의 차 값을 픽셀 값으로 가지는 잔여 서브 픽셀(r1a)이 생성될 수 있고, 참조 값(Gra)에서 서브 픽셀(G2a)의 픽셀 값의 차 값을 픽셀 값으로 가지는 잔여 서브 픽셀(r2a)이 생성될 수 있으며, 참조 값(Gra)에서 서브 픽셀(G3a)의 픽셀 값의 차 값을 픽셀 값으로 가지는 잔여 서브 픽셀(r3a)이 생성될 수 있고, 참조 값(Gra)에서 서브 픽셀(G4a)의 픽셀 값의 차 값을 픽셀 값으로 가지는 잔여 서브 픽셀(r4a)이 생성될 수 있다. 뺄셈 연산의 순서는 제한되지 않으며, 서브 픽셀 값에서 참조 값을 뺄셈할 수도 있다. 예시적인 실시예에서, 뺄셈 연산의 순서는 미리 정해질 수 있으며, 인코더(310)에서 미리 정해진 연산 순서는 디코더(도 2, 510)에서 부호화된 데이터를 복호화하는 데에 참조될 수 있다.
ISP(도 2, 30)는 동일한 컬러 픽셀에 포함된 서브 픽셀들 각각의 픽셀 값을 모두 전송하지 않고, 참조 값과 잔여 서브 픽셀들 각각의 픽셀 값을 비트스트림(BS)으로 생성함으로써 이미지 데이터를 압축할 수 있다.
잔여 서브 픽셀들(R1a, R2a, R3a, R4a)을 서브 픽셀들(G1a, G2a, G3a, G4a)와 유사하게 2
Figure pat00010
2 매트릭스로 가정할 수 있고, 이 경우 잔여 서브 픽셀들(R1a, R2a, R3a, R4a)의 집합은 그린 컬러 정보를 생성하는 컬러 픽셀(131')이라고 이해될 수 있다. 픽셀 평균값을 픽셀 값으로 가지는 참조 서브 픽셀(151')은 잔여 서브 픽셀들(R1a, R2a, R3a, R4a)의 가운데에 추상적으로 존재할 수 있다.
서브 픽셀의 폭 길이를 1로 가정할 때, 참조 서브 픽셀(151')과 잔여 서브 픽셀들(R1a, R2a, R3a, R4a)간의 픽셀 거리 Pdistance는 1/√2일 수 있다. 도 5a를 도 4a와 비교하면, 픽셀 거리 Pdistance는 3에서 1/√2로 감소할 수 있다. 픽셀 거리 Pdistance의 감소는 공간적 유사성이 커진 것으로 이해될 수 있다. 공간적 유사성이 커짐에 따라, 본 개시의 기술적 사상에 따른 이미지 압축 방법은 압축 효율이 높아질 수 있고, 이미지 데이터의 압축 손실은 적어질 수 있다.
도 5b를 참조하면, 카메라 모듈(3)(특히, 인코더(310))은 컬러 픽셀(131)에 포함된 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 값의 중위값(Median)을 계산할 수 있다.
구체적으로, 카메라 모듈(3)은 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 값들을 크기에 따라 정렬할 수 있다. 카메라 모듈(3)은 복수의 픽셀 값들 중 픽셀 값이 2번째로 작은 서브 픽셀(G1a)을 참조 서브 픽셀(151'')로 결정할 수 있다. 일반적으로 중위 값은 개체가 짝수 개인 경우, 중위에 가까운 두 개의 값의 평균값을 의미할 수 있으나, 본 개시에 따르면 두 개의 픽셀 값 중 작은 값을 의미하는 것으로 이해될 수 있다. 그러나, 이에 제한되지 않고, 두 개의 픽셀 값 중 큰 값을 의미할 수도 있다. 참조 서브 픽셀(151'')의 픽셀 값은 참조 값(Gra)으로 결정될 수 있다. 다시 말해, 참조 서브 픽셀(151'')은 컬러 픽셀(131)에 포함되는 가상의 서브 픽셀일 수 있다.
카메라 모듈(3)은 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a) 각각의 픽셀 값을 참조 값과 비교할 수 있다. 예시적인 실시예에서, 카메라 모듈(3)은 참조 값(Gra)과 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 값 각각을 뺄셈(subtraction)할 수 있다. 예시적인 실시예에서, 참조 값(Gra)은 서브 픽셀(G1a) 그 자체이므로 차 연산이 수행된 결과 0의 산출될 수 있다. 잔여 서브 픽셀(r1a)은 데이터가 0이므로 물리적인 의미가 없으나, 추상적으로 가정될 수 있다. 마찬가지로, 참조 값(Gra)에서 서브 픽셀(G2a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r2a)이 생성될 수 있으며, 참조 값(Gra)에서 서브 픽셀(G3a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r3a)이 생성될 수 있고, 참조 값(Gra)에서 서브 픽셀(G4a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r4a)이 생성될 수 있다. 뺄셈 연산의 순서는 제한되지 않음은 전술한 바와 같다. ISP(도 2, 30)는 동일한 컬러 픽셀에 포함된 서브 픽셀들 각각의 픽셀 값을 모두 전송하지 않고, 참조 값과 픽셀 값잔여 서브 픽셀들(r2a, r3a, r4a)의 픽셀 값들을 비트스트림(BS)으로 생성함으로써 이미지 데이터를 압축할 수 있다.
잔여 서브 픽셀들(R1a, R2a, R3a, R4a)의 집합은 그린 컬러 정보를 생성하는 컬러 픽셀(131'')이라고 이해될 수 있다. 참조 서브 픽셀(151'')은 서브 픽셀(G1a)과 대응될 수 있다. 예시적인 실시예에서, 참조 서브 픽셀(151'')과 잔여 서브 픽셀들(R2a, R3a)간의 픽셀 거리 Pdistance는 1일 수 있고, 참조 서브 픽셀(151'')과 잔여 서브 픽셀(R4a)간의 픽셀 거리 Pdistance는 √2일 수 있다. 도 5b를 도 4a와 비교하면, 픽셀 거리 Pdistance는 3에서 1 또는 3에서 √2 로 감소할 수 있다. 픽셀 거리 Pdistance의 감소는 공간적 유사성이 커진 것으로 마찬가지로 이해될 수 있다.
도 5c를 참조하면, 카메라 모듈(3)(특히, 인코더(310))은 컬러 픽셀(131)에 포함된 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a) 중 어느 하나(서브 픽셀(G2a))를 참조 서브 픽셀(151''')로 결정할 수 있다. 참조 서브 픽셀(151''')로 결정되는 서브 픽셀의 위치는 미리 결정될 수 있다. 예를 들어, 참조 서브 픽셀(151''')로 결정되는 서브 픽셀은, 컬러 픽셀에 복수의 서브 픽셀들 중 1열 2행에 배치된 서브 픽셀일 수 있다. 미리 결정된 서브 픽셀의 위치는 인코더(310)와 디코더(510)에 의해 참조될 수 있다.
카메라 모듈(3)은 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a) 각각을 참조 값과 비교할 수 있다. 예시적인 실시예에서, 카메라 모듈(3)은 참조 값과 4 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 값 각각을 뺄셈(subtraction)할 수 있다. 예시적인 실시예에서, 참조 값(Gra)은 서브 픽셀(G2a) 그 자체이므로 차 연산이 수행된 결과 0의 산출될 수 있다. 잔여 서브 픽셀(r2a)은 데이터가 0이므로 물리적인 의미가 없으나, 추상적으로 가정될 수 있다. 마찬가지로, 참조 값(Gra)에서 서브 픽셀(G1a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r1a)이 생성될 수 있으며, 참조 값(Gra)에서 서브 픽셀(G3a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r3a)이 생성될 수 있고, 참조 값(Gra)에서 서브 픽셀(G4a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r4a)이 생성될 수 있다. 뺄셈 연산의 순서는 제한되지 않음은 전술한 바와 같다. ISP(도 2, 30)는 서브 픽셀의 픽셀 값을 모두 전송하지 않고, 참조 값과 서브 픽셀 값의 차 값인 잔여 서브 픽셀들(r1a, r3a, r4a)만을 비트스트림(BS)으로 생성함으로써 이미지를 압축할 수 있다.
잔여 서브 픽셀들(R1a, R2a, R3a, R4a)의 집합은 그린 컬러 정보를 생성하는 컬러 픽셀(131''')이라고 이해될 수 있다. 참조 서브 픽셀(151''')은 서브 픽셀(G2a)과 대응될 수 있다. 예시적인 실시예에서, 참조 서브 픽셀(151''')과 잔여 서브 픽셀들(R1a, R4a)간의 픽셀 거리 Pdistance는 1일 수 있고, 참조 서브 픽셀(151''')과 잔여 서브 픽셀(R3a)간의 픽셀 거리 Pdistance는 √2일 수 있다. 도 5c를 도 4a와 비교하면, 픽셀 거리 Pdistance는 3에서 1 또는 3에서 √2 로 감소할 수 있다. 픽셀 거리 Pdistance의 감소는 공간적 유사성이 커진 것으로 마찬가지로 이해될 수 있다.
도 6a, 도 6b 및 도 6c는 본 개시의 예시적 실시예에 따른 참조 값을 결정하는 다른 과정을 도시하는 도면이다. 도 2, 도 3, 도 4b 및 도 5a 내지 도5c가 함께 참조되고, 서브 픽셀(150)들의 배열이 3
Figure pat00011
3 매트릭스인 픽셀 어레이(100b)가 가정된다.
도 6a 내지 도 6c가 도시하는 이미지 압축 방법은 도 5a 내지 5c가 도시하는 이미지 압축 방법과 유사하나, 하나의 컬러 픽셀(135)이 포함하는 복수의 서브 픽셀의 개수가 9개이고, 서브 픽셀(150)들의 배열은 3
Figure pat00012
3 매트릭스인 것에서 차이가 있다.
도 6a를 참조하면, 카메라 모듈(도 2의 3)(특히, 인코더(도 2, 310))은 컬러 픽셀(135)에 포함된 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값의 평균(average)을 계산할 수 있다. 카메라 모듈(3)은 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 평균값을 참조 값으로 결정할 수 있다. 참조 값은 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값들 중 어느 하나일 수 있거나, 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값들에 포함되지 않을 수도 있다. 다시 말해, 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 평균값을 가지는 서브 픽셀은 존재하여 컬러 픽셀(135)에 포함될 수 있거나, 존재하지 않을 수 있다. 만약 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 평균값을 가지는 참조 서브 픽셀(155')이 존재하지 않는다면, 9 개의 서브 픽셀들(G1a, G2a, G3a, 및 G4a)의 픽셀 평균값은 그 수학적 특성 상 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 매트릭스 임의의 위치에 가상적으로 존재할 수 있다고 이해될 수 있다. 예시적인 실시예에서, 픽셀 평균값을 픽셀 값으로 가지는 참조 서브 픽셀(155')는 가상적으로 존재할 수 있다.
카메라 모듈(3)은 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a) 각각을 참조 값과 비교할 수 있다. 예시적인 실시예에서, 카메라 모듈(3)은 참조 값과 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값 각각을 뺄셈(subtraction)할 수 있다. 예시적인 실시예에서, 참조 값(Gra)에서 서브 픽셀(G1a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r1a)이 생성될 수 있다. 같은 방식으로 서브 픽셀들(G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)과 참조 값(Gra)과의 차 연산 결과 잔여 서브 픽셀들(r2a, r3a, r4a, r5a, r6a, r7a, r8a 및 r9a)가 생성될 수 있다. 뺄셈 연산의 순서는 제한되지 않음은 전술한 바와 같다. ISP(도 2, 30)는 서브 픽셀의 픽셀 값을 모두 전송하지 않고, 참조 값(Gra)과 서브 픽셀 값의 차 값만을 비트스트림(BS)으로 생성함으로써 이미지를 압축할 수 있다.
잔여 서브 픽셀들(r1a, r2a, r3a, r4a, r5a, r6a, r7a, r8a 및 r9a)을 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)와 유사하게 3
Figure pat00013
3 매트릭스로 가정할 수 있고, 이 경우 잔여 서브 픽셀들(r1a, r2a, r3a, r4a, r5a, r6a, r7a, r8a 및 r9a)의 집합은 그린 컬러 정보를 포함하는 컬러 픽셀(135')이라고 이해될 수 있다.
픽셀 평균값을 픽셀 값으로 가지는 참조 서브 픽셀(155')의 위치를 잔여 서브 픽셀(r7a)의 위치라고 가정한다.
서브 픽셀의 폭 길이는 1이므로, 최대 픽셀 거리 Pdistance는 서브 픽셀 Gra와 잔여 서브 픽셀(r3a)간의 거리인 2√2일 수 있다. 도 6a를 도 4b와 비교하면, 픽셀 거리 Pdistance는 4에서 2√2로 감소할 수 있다. 픽셀 거리 Pdistance의 감소는 공간적 유사성이 커진 것으로 이해될 수 있다. 공간적 유사성이 커짐에 따라, 본 개시의 기술적 사상에 따른 이미지 압축 방법은 압축 효율이 높아질 수 있고, 이미지 데이터의 압축 손실은 적어질 수 있다.
도 6b를 참조하면, 카메라 모듈(3)(특히, 인코더(310))는 컬러 픽셀(135)에 포함된 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값의 중위값(Median)을 계산할 수 있다.
구체적으로, 카메라 모듈(3)은 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값들을 크기에 따라 정렬할 수 있다. 카메라 모듈(3)은 복수의 픽셀 값들 중 픽셀 값이 5번째로 작은 서브 픽셀(G1a)을 참조 서브 픽셀(Gra)로 결정할 수 있다. 9개의 픽셀 값 중 5번째로 작은 픽셀 값은 동시에 5번째로 큰 픽셀 값일 수 있고, 결과적으로 9개의 픽셀 값 중 중위의 값을 의미할 수 있다. 참조 서브 픽셀(155'')의 픽셀 값은 참조 값(Gra)으로 결정될 수 있다. 다시 말해, 참조 서브 픽셀(155'')은 컬러 픽셀(131)에 포함될 수 있다.
카메라 모듈(3)은 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a) 각각을 참조 값(Gra)과 비교할 수 있다. 예시적인 실시예에서, 카메라 모듈(3)은 참조 값과 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값 각각을 뺄셈(subtraction)할 수 있다. 예시적인 실시예에서, 참조 값(Gra)은 서브 픽셀(G1a) 그 자체이므로 차 연산이 수행된 결과 0의 산출될 수 있다. 잔여 서브 픽셀(r1a)은 데이터가 0이므로 물리적인 의미가 없으나, 추상적으로 가정될 수 있다. 마찬가지로, 참조 값(Gra)에서 서브 픽셀(G2a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r2a)이 생성될 수 있으며, 참조 값(Gra)에서 서브 픽셀(G3a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r3a)이 생성될 수 있다. 같은 원리로서, 참조 값(Gra)에서 서브 픽셀들(G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r3a, r4a, r5a, r6a, r7a, r8a 및 r9a)이 각각 생성될 수 있다. 뺄셈 연산의 순서는 제한되지 않음은 전술한 바와 같다. ISP(도 2, 30)는 서브 픽셀의 픽셀 값을 모두 전송하지 않고, 참조 값(Gra)과 서브 픽셀 값의 차 값인 잔여 서브 픽셀들(r2a, r3a, r4a, r5a, r6a, r7a, r8a 및 r9a)만을 비트스트림(BS)으로 생성함으로써 이미지를 압축할 수 있다.
잔여 서브 픽셀들(r1a, r2a, r3a, r4a, r5a, r6a, r7a, r8a 및 r9a)의 집합은 그린 컬러 정보를 포함하는 컬러 픽셀(135'')이라고 이해될 수 있다. 참조 서브 픽셀 (155'')은 서브 픽셀(G1a)과 대응될 수 있다. 예시적인 실시예에서, 참조 서브 픽셀(155'')와 잔여 서브 픽셀들(r2a, r3a, r4a, r5a, r6a, r7a, r8a 및 r9a)간의 최대 픽셀 거리 Pdistance는 참조 서브 픽셀(155'')과 잔여 서브 픽셀(G9a)간의 거리인 2√2일 수 있다. 도 6b를 도 4b와 비교하면, 픽셀 거리 Pdistance는 4에서 1 또는 4에서 √2, 4에서 2, 4에서 √5, 4에서 2√2 로 감소할 수 있다. 픽셀 거리 Pdistance의 감소는 공간적 유사성이 커진 것으로 마찬가지로 이해될 수 있다.
도 6c를 참조하면, 카메라 모듈(3)(특히, 인코더(310))은 컬러 픽셀(131)에 포함된 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a) 중 어느 하나(서브 픽셀(G3a))를 참조 서브 픽셀(155''')로 결정할 수 있다. 참조 서브 픽셀로 결정되는 서브 픽셀의 위치는 미리 결정될 수 있다. 미리 결정된 서브 픽셀의 위치는 인코더(310)와 디코더(510)에 의해 참조될 수 있다. 참조 서브 픽셀(155''')은 컬러 픽셀(131)에 포함될 수 있다.
카메라 모듈(3)은 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a) 각각을 참조 값(Gra)과 비교할 수 있다. 예시적인 실시예에서, 카메라 모듈(3)은참조 값(Gra)과 9 개의 서브 픽셀들(G1a, G2a, G3a, G4a, G5a, G6a, G7a, G8a 및 G9a)의 픽셀 값 각각을 뺄셈(subtraction)할 수 있다. 예시적인 실시예에서, 참조 값(Gra)은 서브 픽셀(G3a) 그 자체이므로 차 연산이 수행된 결과 0의 산출될 수 있다. 잔여 서브 픽셀(r3a)은 데이터가 0이므로 물리적인 의미가 없으나, 추상적으로 가정될 수 있다. 마찬가지로, 참조 값(Gra)에서 서브 픽셀(G1a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r1a)이 생성될 수 있으며, 참조 값(Gra)에서 서브 픽셀(G2a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀(r2a)이 생성될 수 있다. 같은 원리로서, 참조 값(Gra)에서 서브 픽셀들(G4a, G5a, G6a, G7a, G8a 및 G9a)의 차 값을 서브 픽셀 값으로 가지는 잔여 서브 픽셀들(r4a, r5a, r6a, r7a, r8a 및 r9a)이 생성될 수 있다. 뺄셈 연산의 순서는 제한되지 않음은 전술한 바와 같다. ISP(도 2, 30)는 서브 픽셀의 픽셀 값을 모두 전송하지 않고, 참조 값(Gra)과 서브 픽셀 값의 차 값인 잔여 서브 픽셀들(r1a, r2a, r4a, r5a, r6a, r7a, r8a 및 r9a)만을 비트스트림(BS)으로 생성함으로써 이미지를 압축할 수 있다.
잔여 서브 픽셀들(r1a 내지 r9a)의 집합은 그린 컬러 정보를 포함하는 컬러 픽셀(135''')이라고 이해될 수 있다. 참조 서브 픽셀(155''')은 서브 픽셀(G3a)과 대응될 수 있다. 예시적인 실시예에서, 참조 서브 픽셀(155''')과 잔여 서브 픽셀들(r1a 내지 r9a) 간의 픽셀 거리 Pdistance는 1, √2, 2, √5, 2√2일 수 있다. 즉, 참조 서브 픽셀(155''')과 잔여 서브 픽셀들(r1a 내지 r9a)의 최대 픽셀 거리 Pdistance는 2√2일 수 있다. 도 6c를 도 4b와 비교하면, 최대 픽셀 거리 Pdistance는 4에서 2√2 로 감소할 수 있다. 픽셀 거리 Pdistance의 감소는 공간적 유사성이 커진 것으로 마찬가지로 이해될 수 있다.
도 7a 및 도 7b는 본 개시의 예시적 실시예에 따른 비트스트림(BS)의 일 구성을 나타내는 도면이다.
도 7a 내지 도 7c에 도시된 비트스트림(BS)은 도 5a에 도시된 4 개의 서브 픽셀들에서 생성된 픽셀 값에 대응하는 이미지 데이터의 압축 결과일 수 있다. 예시적인 실시예에 따르면, 하나의 서브 픽셀에서 출력된 픽셀 값에 대응하는 이미지 데이터는 10 비트(bit)일 수 있다. 따라서, 4 개의 서브 픽셀들이 구성하는 하나의 컬러 픽셀(도 3, 130)에서 출력된 픽셀 값에 대응하는 이미지 데이터는 총 40 비트의 데이터를 포함할 수 있다. 본 개시에서는 설명의 편의를 위해 하나의 서브 픽셀에 담긴 데이터는 10 비트인 것으로 예시되었으나, 이에 제한되지 않고, 하나의 서브 픽셀은 8 비트, 11 비트, 또는 12 비트 등 다양한 비트의 데이터를 포함할 수 있다.
카메라 모듈(도 2 의3)는 40 비트의 데이터를 20 비트로 압축하기 위해 비트스트림의 데이터 공간을 할당할 수 있다. 40 비트의 데이터가 20 비트의 데이터로 압축된다면 압축률은 50%이다.
도 7a는 도 5a의 압축 결과에 따른 비트스트림(BS)일 수 있다. 도 7a를 도 5a와 함께 참조하면, 예시적 실시예에 따라, 4 비트가 헤더(Header) 정보에 할당될 수 있다. 헤더 정보는 압축 방법(예를 들어, DPCM 방법, PCM 방법 등 압축된 알고리즘에 대한 정보)을 포함하는 압축 정보가 부호화된 비트 집합일 수 있다. 헤더 정보에 4 비트가 할당된 결과로서, 2^4(=16) 개의 압축 정보가 헤더 정보를 통해 전달될 수 있다. 예시적인 실시예에 따라, 디코더(510)는 헤더 정보를 통해 서브 픽셀들의 압축 방법을 참조하고, 동일한 압축 방법을 이용하여 비트스트림(BS)을 복호화할 수 있다.
예시적인 실시예에 따르면, 카메라 모듈(도 2의 3)은 참조 서브 픽셀로서 복수의 서브 픽셀(151)들의 픽셀 평균값을 참조 값(Gra)(즉, 가상의 서브 픽셀(151'))으로 결정할 수 있다. 서브 픽셀(151')은 데이터를 압축하기 위한 비교 기준일 수 있다.
예시적인 실시예에 따라, 4 비트가 참조 값(Gra)(즉, 가상으로 존재하는 참조 서브 픽셀(151')의 픽셀 값)을 위해 할당될 수 있다. 참조 서브 픽셀(151'은, 각각 10 비트의 정보를 담고 있는 서브 픽셀들의 평균이므로, 10 비트의 픽셀 값을 포함할 수 있는데 비해, 할당된 데이터 공간은 4 비트이고, 그에 따라 데이터 공간이 부족할 수 있다. 이를 해결하기 위해, 인코더(도 2, 310)는 참조 서브 픽셀(151')의 데이터 중 일부를 제거할 수 있다. 예시적인 실시예에 따라, 인코더(310)는 참조 서브 픽셀(151')의 10 비트 중 하위 6비트를 제거하고, 상위 4 비트만을 비트스트림(BS)에 담을 수 있다. 제거되는 서브 픽셀의 데이터는 이에 제한되지 않고, 요구되는 성능(압축률, 데이터 손실률, 전력 등)에 따라 임의의 수의 하위 비트가 제거될 수 있다.
예시적인 실시예에 따라, 3 비트가 하나의 잔여 서브 픽셀을 위해 할당될 수 있다. 하나의 컬러 픽셀(131')은 4 개의 잔여 서브 픽셀들을 포함할 수 있고, 하나의 컬러 픽셀(131')에 대한 데이터를 전송하는 비트스트림(BS)에는 총 4개의 잔여 서브 픽셀들에 대한 공간이 총 12 비트(3bit_1, 3bit_2, 3bit_3, 3bit_4)만큼 할당될 수 있다. 잔여 서브 픽셀의 픽셀 값은 참조 값(Gra)과 서브 픽셀(151)의 픽셀 값과의 차이이므로 서브 픽셀(151)의 픽셀 값으로 할당된 4 비트보다 작은 3 비트가 잔여 서브 픽셀을 위한 공간으로 할당될 수 있다.
결과적으로, 4 개의 서브 픽셀들에 대한 40 비트는 압축에 의해 16 비트로 압축될 수 있다. 압축 정보를 포함하는 헤더 정보가 4 비트 할당된 것이 더해진다면, 종전의 40 비트는 20 비트로 압축될 수 있고, 압축률은 50%를 달성할 수 있다. 설명의 편의를 위해 압축된 데이터의 크기가 20 비트인 것으로 가정되나, 이에 제한되지 않고 요구되는 성능(압축률, 데이터 손실률, 전력 등)에 따라 10 비트(압축률 75%), 30 비트(압축률 25%) 등 다양한 크기로 데이터가 압축될 수 있다.
도 7b가 도 5b와 함께 참조된다. 예시적인 실시예에 따르면, 카메라 모듈(3)은 복수의 서브 픽셀(151)들의 중위값(Median)을 가지는 서브 픽셀(G1a)을 참조 서브 픽셀(151'')로 결정할 수 있거나, 복수의 서브 픽셀(151)들 중 미리 결정된 어느 하나의 서브 픽셀(G2a)을 참조 서브 픽셀(151''')로 결정할 수 있다.
예시적인 실시예에 따라, 4 비트가 참조 서브 픽셀(151'' 또는 151''')을 위해 할당될 수 있다. 참조 서브 픽셀(151'' 또는 151''')은 10 비트의 픽셀 값을 포함할 수 있는데 비해, 할당된 데이터 공간은 4 비트이므로 데이터 공간이 부족할 수 있다. 이를 해결하기 위해, 인코더(310)는 참조 서브 픽셀(151'' 또는 151''')의 데이터 중 일부를 제거할 수 있다. 예시적인 실시예에 따라, 인코더(310)는 참조 서브 픽셀(151'' 또는 151''')의 10 비트 중 하위 6비트를 제거하고, 상위 4 비트만을 비트스트림(BS)에 담을 수 있다. 제거되는 서브 픽셀의 데이터는 이에 제한되지 않음은 전술한 바와 같다.
예시적인 실시예에 따라, 4 비트가 참조 서브 픽셀로 결정된 픽셀(151'' 또는 151''')을 제외한 나머지 서브 픽셀들을 위해 할당될 수 있다. 하나의 컬러 픽셀(131'' 또는 131''')은 4 개의 서브 픽셀들을 포함할 수 있고, 하나의 컬러 픽셀(131'' 또는 131''')에 대한 데이터를 전송하는 비트스트림(BS)에는 참조 서브 픽셀(151'' 또는 151''')을 제외한 나머지 총 3개의 서브 픽셀들에 대한 공간이 총 12 비트(4bit_2, 4bit_3, 4bit_3)만큼 할당될 수 있다.
결과적으로, 4 개의 서브 픽셀들에 대한 40 비트는 압축에 의해 16 비트로 압축될 수 있다. 압축 정보를 포함하는 헤더 정보가 4 비트 할당된 것이 더해진다면, 종전의 40 비트는 20 비트로 압축될 수 있고, 압축률은 50%를 달성할 수 있음은 전술한 바와 같다.
도 8은 본 개시의 예시적 실시예에 따른 비트스트림의 다른 구성을 나타내는 도면이다. 도 2, 도 4b 및 도 6b가 도 8과 함께 참조된다.
도 8에 도시된 비트스트림(BS)은 도 8b에 도시된 9 개의 서브 픽셀들이 포함하는 데이터와 관련될 수 있다. 예시적인 실시예에 따르면, 하나의 서브 픽셀은 10 비트(bit)의 데이터를 포함할 수 있다. 9 개의 서브 픽셀들이 구성하는 하나의 컬러 픽셀(도 6b, 135)은 총 90 비트의 데이터를 포함할 수 있다. 본 개시의 기술적 사상은 서브 픽셀들에 담긴 90 비트의 데이터를 압축하는 방법과 관련할 수 있다. 본 개시에서는 설명의 편의를 위해 하나의 서브 픽셀에 담긴 데이터는 10 비트인 것으로 예시되었으나, 이에 제한되지 않고, 하나의 서브 픽셀은 8 비트, 11 비트, 또는 12 비트 등 다양한 비트의 데이터를 포함할 수 있다.
카메라 모듈(도 2의 3)은 90 비트의 데이터를 45 비트로 압축하기 위해 비트스트림의 데이터 공간을 할당할 수 있다. 90 비트의 데이터가 45 비트의 데이터로 압축된다면 압축률은 50%이다.
예시적 실시예에 따라, 4 비트가 헤더(Header) 정보에 할당될 수 있고, 헤더 정보는 압축 방법을 포함하는 압축 정보가 부호화된 비트 집합일 수 있음은 전술한 바와 같다.
카메라 모듈(3)은 복수의 서브 픽셀(155)들의 중위값(Median)을 가지는 서브 픽셀(G1a)을 참조 서브 픽셀(155'')로 결정할 수 있거나, 복수의 서브 픽셀(151)들 중 미리 결정된 어느 하나의 서브 픽셀(G2a)을 참조 서브 픽셀(155''')로 결정할 수 있다. 예시적인 실시예에 따라, 5 비트가 참조 서브 픽셀(155'' 또는 155''')을 위해 할당될 수 있다. 참조 서브 픽셀(155'' 또는 155''')은 10 비트의 픽셀 값을 포함할 수 있는데 비해, 할당된 데이터 공간은 4 비트이므로 데이터 공간이 부족할 수 있다. 이를 해결하기 위해, 인코더(310)는 참조 서브 픽셀(155'' 또는 155''')의 데이터 중 일부를 제거할 수 있다. 예시적인 실시예에 따라, 인코더(310)는 참조 서브 픽셀(155'' 또는 155''')의 10 비트 중 하위 5 비트를 제거하고, 상위 5 비트만을 비트스트림(BS)에 담을 수 있다. 제거되는 서브 픽셀의 데이터는 이에 제한되지 않음은 전술한 바와 같다.
예시적인 실시예에 따라, 5 비트가 참조 서브 픽셀로 결정된 서브 픽셀픽셀(155'' 또는 155''')을 제외한 나머지 잔여 서브 픽셀들을 위해 할당될 수 있다. 하나의 컬러 픽셀(135'' 또는 135''')은 9 개의 서브 픽셀들을 포함할 수 있고, 하나의 컬러 픽셀(135'' 또는 135''')에 대한 데이터를 전송하는 비트스트림(BS)에는 참조 서브 픽셀(155'' 또는 155''')을 제외한 나머지 총 8개의 서브 픽셀들에 대한 공간이 총 40 비트만큼 할당될 수 있다.
예시적인 실시예에 따르면, 참조 서브 픽셀(155'' 또는 155''')이 제5 서브 픽셀(G5b)로 결정된 경우, 참조 값(Gra)과 제1 서브 픽셀(G1a)과 뺄셈 결과 제1 잔여 서브 픽셀(r1a)이 생성될 수 있다. 이 때, 5 비트가 제1 잔여 서브 픽셀(r1a)을 위해 할당될 수 있다. 참조 값(Gra)과 제2 서브 픽셀(G2a)과 뺄셈 결과 제2 잔여 서브 픽셀(r2a)이 생성될 수 있고, 4 비트가 제2 잔여 서브 픽셀(r3a)을 위해 할당될 수 있다. 교번적으로, 제3 잔여 서브 픽셀(r3a)을 위해 5 비트가, 제4 잔여 서브 픽셀(r4a)을 위해 4 비트가 할당될 수 있고, 반복적으로, 제8 잔여 서브 픽셀(r8a)을 위해 4비트가, 제9 잔여 서브 픽셀(r9a)을 위해 5 비트가 할당될 수 있다.
결과적으로, 9 개의 서브 픽셀들에 대한 90 비트는 압축에 의해 41 비트로 압축될 수 있다. 압축 정보를 포함하는 헤더 정보가 4 비트 할당된 것이 더해진다면, 종전의 90 비트는 45 비트로 전송될 수 있고, 압축률은 50%를 달성할 수 있음은 전술한 바와 같다.
도 9는 본 개시의 예시적 실시예에 따른 픽셀 어레이(100c)의 다른 예를 나타내는 도면이다.
서브 픽셀(150)들의 배열이 4
Figure pat00014
4 매트릭스인 픽셀 어레이(100c)가 가정된다. 서브 픽셀의 개수가 16개인 경우, DECAHEXA 셀이라고 호칭될 수 있다.
픽셀 어레이(100c)의 첫 번째 열에 존재하는 하나의 서브 픽셀(161)(즉, 대상 서브 픽셀)을 압축하기 위해, 카메라 모듈(도 2의 3)은 동일한 컬러 정보를 포함하는 참조 서브 픽셀을 탐색할 수 있다. 대상 서브 픽셀(161)과 컬러 정보가 동일하되, 대상 서브 픽셀(161)과의 거리가 가장 가까운 픽셀이 참조 서브 픽셀(141)로서 결정될 수 있다. 참조 서브 픽셀(141)은 대상 서브 픽셀(161)의 거리가 가장 가까운 픽셀일 수 있다.
대상 서브 픽셀(161)의 사방이 레드 픽셀, 및 블루 픽셀로 둘러싸였기 때문에, 대상 서브 픽셀(161)과 참조 서브 픽셀(141)의 거리에는 컬러 픽셀 하나의 폭 길이인 4가 추가적으로 포함될 수 있다. 결과적으로, 대상 서브 픽셀(161)과 참조 서브 픽셀(141)의 픽셀 거리 Pdistance는 5일 수 있다.
4
Figure pat00015
4 매트릭스 배열은 복수 개의 2
Figure pat00016
2 매트릭스로 분할될 수 있다. 예시적인 실시예에 따르면, 4
Figure pat00017
4 매트릭스 배열은 제1 부분 컬러 픽셀(141), 제2 부분 컬러 픽셀(143), 제3 부분 컬러 픽셀(145), 제4 부분 컬러 픽셀(147)로 분할될 수 있다.
2
Figure pat00018
2 매트릭스로 분할된 복수의 부분 컬러 픽셀들(141, 143, 145, 및 147)은 도 5a 내지 5c에서 논의된 2
Figure pat00019
2 매트릭스를 가지는 서브 픽셀들과 유사한 방식으로 압축될 수 있다. 결과적으로, 4
Figure pat00020
4 매트릭스 배열의 픽셀 어레이(100c)의 픽셀 거리는 √2일 수 있고, 공간적 유사성은 픽셀 거리가 5일 때에 비해 높아질 수 있다.
유사한 원리로서, P
Figure pat00021
P 매트릭스 배열은 복수 개의 Q
Figure pat00022
Q 매트릭스 배열로 분할될 수 있다.(P는 3 이상의 자연수, Q는 2 이상의 자연수, P>Q)
도 10 및 도 11은 본 개시의 예시적 실시예에 따른 이미지 압축 방법을 나타내는 순서도이다.
도 10은, 도 2, 도 5a 내지 5c 및 도 6a 내지 6c와 함께 참조된다.
단계 S100 이후인 단계 S200에서, 카메라 모듈(예를 들어, 도 2의 카메라 모듈(3))는 복수의 서브 픽셀들의 픽셀 값들에 기초하여 참조 값(Gra)을 결정할 수 있다(S200).
보다 구체적으로, 참조 값이 복수의 서브 픽셀들의 평균값에 의해 결정되는 경우와, 참조 값이 서브 픽셀들 중 어느 하나의 픽셀 값에 의해 결정되는 경우가 구분될 수 있다.
단계 S230에서, 참조 값이 복수의 서브 픽셀들의 평균값에 의해 결정되는 경우에는, 인코더(도 2, 310)는 복수의 서브 픽셀들 모두의 픽셀 평균값(즉, 가상 서브 픽셀 151' 또는 155') 을 계산할 수 있다(S210). 인코더(310)는 계산된 평균값을 참조 값(Gra)로 결정할 수 있다(S230).
단계 S250에서, 참조 값이 서브 픽셀들 중 어느 하나의 픽셀 값에 의해 결정되는 경우, 인코더(310)는 복수의 서브 픽셀 중 제1 서브 픽셀(151'', 151''' 또는 155'', 155''')의 픽셀 값을 참조 값으로 결정할 수 있다(S250).
참조 값이 결정되면, 복수의 서브 픽셀들을 참조 값과 비교하는 단계(S300)로 진입할 수 있다.
도 11은, 도 2, 도 5a 내지 5c 및 도 6a 내지 6c와 함께 참조된다. 도 11은, 참조 값이 서브 픽셀들 중 어느 하나의 픽셀 값에 의해 결정되는 경우, 인코더(310)는 복수의 서브 픽셀 중 제1 서브 픽셀(151'', 151''' 또는 155'', 155''')의 픽셀 값을 참조 값으로 결정하는 단계를 세분화한 흐름도이다.
보다 구체적으로, 도 11은 중위 값(Median)이 이용되는 경우와, 미리 정해진 위치의 서브 픽셀이 이용되는 경우로 나뉠 수 있다.
단계 S251에서, 중위 값이 이용되는 경우, 인코더(310)는 복수의 서브 픽셀들의 픽셀 값을 크기에 따라 정렬(sorting)할 수 있다(S251).
그 후, 단계 S53에서, 인코더(310)는 복수의 서브 픽셀들의 수가 홀수인지, 짝수인지를 판단할 수 있다(S253).
단계 S255에서, 복수의 서브 픽셀들의 수가 짝수인 경우, 픽셀 값들 중 중위 값을 가지는 서브 픽셀을 확인할 수 있다(S255). 예를 들어, 9개의 서브 픽셀이 존재한다면, 9 개의 서브 픽셀 값 중 크기가 5번째로 큰(즉, 크기가 5번째로 작은) 서브 픽셀이 확인될 수 있다.
단계 S257에서, 복수의 서브 픽셀들의 수가 홀수인 경우, 인코더(310)는 정렬된 픽셀 값들의 중위값 2개 중 더 작은 값을 가지는 서브 픽셀을 확인할 수 있다(S257). 그러나 이에 제한되지 않고, 인코더의 설계 방향에 따라 중위값 2개 중 더 큰 값이 참조 값이 될 수도 있다.
단계 S259에서, 인코더(310)는 확인된 서브 픽셀을 제1 서브 픽셀로 결정할 수 있고(S259), 결정된 제1 서브 픽셀의 픽셀 값은 참조 값으로 이용될 수 있다.
단계 S252에서, 미리 정해진 위치의 서브 픽셀이 이용되는 경우, 인코더는 복수의 서브 픽셀 중 미리 정해진 위치의 서브 픽셀을 제1 서브 픽셀로 결정할 수 있다(S252).
도 12a 및 도 12b는 본 개시의 예시적 실시예에 따른 카메라 모듈(3a, 3b)을 도시하는 블록도이다.
도 12a를 참조하면, 카메라 모듈(3a)은 이미지 센서(10a), ISP(30a), 및 MIPI 인터페이스(40a)를 포함할 수 있다. ISP(30a)는 인코더(310a)를 포함할 수 있다.
이미지 센서(10a)는 객체를 광 센싱한 결과로서, 이미지 데이터(IDTA)를 ISP(30a)에 제공할 수 있다. ISP(30a)는 MIPI 인터페이스(40a)를 통해 비트스트림(BS)을 전송할 수 있다. 예시적인 실시예에 따라, 비트스트림(BS)은 AP(50a)에 제공될 수 있다.
MIPI 인터페이스(40a)는 ISP(30a)와 AP(50a)를 인터페이싱할 수 있다. 구체적으로, MIPI 인터페이스(40a)는 규격과 설정(configuration)이 서로 다른 ISP(30a)와 AP(50a)간에 데이터 및/또는 신호 전송을 원활하게 하는 물리적 프로토콜 또는 규격을 의미할 수있다. MIPI 인터페이스(40a)는 제품 생산자 단체에서 정한 임의의 채널 규격은 모바일 기기 제조사들이 공통적인 인터페이스 사양을 정한 MIPI 연합(Mobile Industry Processor Interface Alliance)일 수 있으나, 이에 한정되지 않고 다양한 임의의 신호 입출력 프로토콜 규격이 존재할 수 있다.
도 12a에는 MIPI 인터페이스(40a)가 카메라 모듈(30a)에 포함된 것으로 도시되었으나, 인터페이싱 장치의 특성상 MIPI 인터페이스(40a)는 AP(50a)에도 비트스트림(BS)의 수신을 위해 포함된 것으로 이해될 수 있다.
도 12b를 참조하면, 카메라 모듈(3b)은 이미지 센서(10b), ISP(30b), 및 MIPI 인터페이스(40b)를 포함할 수 있고, ISP(30b)는 인코더(310b)를 포함할 수 있다. 카메라 모듈(3b)은 메모리 버퍼(20b)를 더 포함할 수 있다. 이미지 센서(10b), ISP(30b), 및 MIPI 인터페이스(40b)는 도 12a의 이미지 센서(10a), ISP(30a), 및 MIPI 인터페이스(40a)와 유사한 바, 중복되는 설명은 생략한다.
메모리 버퍼(20b)는 이미지 데이터(IDTA)를 수신하고 이미지 데이터의 적어도 일부를 임시로 저장하는 버퍼의 기능을 수행할 수 있다.
예시적인 실시예에 따르면, 메모리 버퍼(20b)는 이미지 데이터(IDTA) 중 첫 번째 열에 대응되는 데이터를 버퍼링할 수 있다. 서브 픽셀들은 매트릭스 형태로 배열될 수 있고, 인코더(310b)는 서브 픽셀들을 포함하는 컬러 픽셀의 픽셀 정보가 모두 제공된 후에야 데이터를 압축할 수 있으므로, 이미지 데이터(IDTA) 중 첫 번째 열에 대응되는 데이터는 당장 처리될 필요가 없다.
이미지 데이터(IDTA) 중 두 번째 열에 대응되는 데이터가 제공될 때, ISP(30b)는 메모리 버퍼(20b)에 첫 번째 열에 대한 버퍼링 이미지 데이터(BDTA)를 로딩할 수 있다. 인코더(310b)는 로딩된 버퍼링 이미지 데이터(BDTA) 및 제공된 두 번째 열에 대응되는 데이터에 기초하여 컬러 픽셀에 대응되는 데이터를 압축할 수 있다. 압축된 데이터인 인코딩 이미지 데이터(EDTA)는 메모리 버퍼(20b)에 저장될 수 있다.
압축 결과로서 생성되는 비트스트림(BS)은 MIPI 인터페이스(40b)에 제공될 수 있다. 인코딩 결과 생성된 데이터들은 ISP(30b)에서 MIPI 인터페이스(40b)에 직접 제공될 수 있고, 또는 메모리 버퍼(20b)에 저장된 인코딩 이미지 데이터(EDTA)에 기초하여 메모리 버퍼(20b)에서 MIPI 인터페이스(40b)에 제공될 수도 있다.
카메라 모듈(3b)은 첫 번째 열에 관한 이미지 데이터를 즉각 처리하지 않고 버퍼 처리할 수 있고, 두 번째 열에 관한 이미지 데이터를 독출할 때 첫 번째 열과 두 번째 열에 대응되는 이미지 데이터를 한번에 압축할 수 있으므로, 이미지 데이터의 압축 속도는 향상될 수 있다. 또한, 즉, 즉시 압축되지 않고 버퍼링되는 열(row)이 존재하기 때문에, 모든 열을 압축하는 것에 비해 전력 소모가 절감될 수 있다.
메모리 버퍼(20b)는 휘발성 메모리 또는 비휘발성 메모리로 구현될 수 있다. 휘발성 메모리는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM) 등을 포함할 수 있으며, 비휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등을 포함할 수 있다.
카메라 모듈(3b)에 이미지 센서(10b), ISP(30b) 및 메모리 버퍼(20b)가 포함되는 구조를 3 적층 구조(3-stacked-layer)라고 부를 수 있다.
도 13은 본 개시의 예시적 실시예에 따른 어플리케이션 프로세서(50)를 도시하는 블록도이다.
AP(50)는 디코더(510) 외에, 메모리(530)를 더 포함할 수 있다.
메모리(530)는 휘발성 메모리 또는 비휘발성 메모리로 구현될 수 있다. 휘발성 메모리는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM) 등을 포함할 수 있으며, 비휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등을 포함할 수 있다.
AP(50)는 제공된 비트스트림(BS)을 메모리(530)에 임시로 저장할 수 있다. 또한, AP(50)는 비트스트림(BS)을 디코더(510)에 직접 제공할 수 있다.
예시적인 실시예에 따르면, 메모리(530)에는 비트스트림(BS) 중 이미지 데이터(IDTA)의 첫 번째 열에 대응되는 비트스트림이 저장될 수 있고, 디코더(510)에는 비트스트림(BS) 중 이미지 데이터(IDTA)의 두 번째 열에 대응되는 비트스트림이 제공될 수 있다.
디코더(510)가 비트스트림(BS) 중 이미지 데이터(IDTA)의 두 번째 열에 대응되는 비트스트림을 처리할 때, 메모리(530)에 저장된 첫 번째 열에 대응되는 비트스트림(LBS)이 로딩될 수 있다.
AP(50)는 첫 번째 열에 관한 이미지 데이터를 즉각 복호화하지 않고 버퍼 처리할 수 있고, 두 번째 열에 관한 이미지 데이터를 복호화할 때 첫 번째 열과 두 번째 열에 대응되는 이미지 데이터를 한번에 복호화할 수 있으므로, 복호화에 소요되는 전력은 감축될 수 있다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 압축 방법을 나타내는 순서도이다.
제1 컬러 정보를 포함하는 복수의 서브 픽셀들을 제1 컬러 픽셀로 분류하는 단계(S100)는 세분될 수 있다.
복수의 서브 픽셀 중 제1 열에 위치한 서브 픽셀들의 값은 버퍼링될 수 있다(S110). 그 후, 복수의 서브 픽셀들 중 제2 열에 위치한 서브 픽셀들의 값은 리드할 수 있고(S130), 제2 열에 위치한 서브 픽셀들의 값과 버퍼링된 제1 열에 위치한 서브 픽셀들의 값에 기초하여 이미지 데이터(IDTA)는 압축될 수 있다.
그 후, 복수의 서브 픽셀들에 기초하여 참조 값을 결정하는 단계로 이어질 수 있다(S200).
도 15a 및 도 15b는 본 개시의 예시적 실시예에 따른 전자 장치(10000a, 10000b)를 도시하는 블록도이다.
도 15a를 참조하면, 본 개시의 예시적 실시예에 따른 전자 장치(10000a)는 이미지 센서(1000a), 이미지 신호 프로세서(2000a), 디스플레이 장치(3000a), 어플리케이션 프로세서(4000a), 워킹 메모리(5000a), 스토리지(6000a), 유저 인터페이스(7000a) 및 무선 송수신부(8000a)를 포함할 수 있으며, 이미지 신호 프로세서(2000a)는 어플리케이션 프로세서(4000a)와는 별개의 집적 회로로 구현될 수 있다. 도 2의 이미지 센서(10)가 도 15a의 이미지 센서(1000a)로 동작할 수 있고, 도 2의 ISP(30)가 도 15a의 이미지 신호 프로세서(2000a)로서 적용될 수 있다.
이미지 센서(1000a)는 수신되는 광 신호를 기초로 이미지 데이터, 예컨대 원시 이미지 데이터를 생성하고 이진 데이터를 이미지 신호 프로세서(2000a)에 제공할 수 있다. 어플리케이션 프로세서(4000a)는 전자 장치(10000a)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 제공될 수 있다. 어플리케이션 프로세서(4000a)는 이미지 신호 프로세서(2000a)의 동작을 제어할 수 있으며, 이미지 신호 프로세서(2000a)에서 생성되는 변환된 이미지 데이터를 디스플레이 장치(3000a)에 제공하거나 또는 스토리지(6000a)내에 저장할 수 있다.
메모리(5000a)는 어플리케이션 프로세서(4000a)가 처리 또는 실행하는 프로그램들 및/또는 데이터를 저장할 수 있다. 스토리지(6000a)는 NAND 플래시, 저항성 메모리 등의 비휘발성 메모리 장치로 구현될 수 있으며, 예컨대 스토리지(6000a)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다. 스토리지(6000a)는 이미지 신호 프로세서(2000a)의 이미지 처리 동작을 제어하는 실행 알고리즘에 대한 데이터 및/또는 프로그램을 저장할 수 있으며, 이미지 처리 동작이 수행될 때 데이터 및/또는 프로그램이 워킹 메모리(5000a)로 로딩될 수 있다.
유저 인터페이스(7000a)는 키보드, 커튼 키 패널, 터치 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스(7000a)는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 어플리케이션 프로세서(4000a)에 제공할 수 있다. 무선 송수신부(8000a)는 모뎀(8100a), 트랜시버(8200a), 및 안테나(8300a)를 포함할 수 있다.
도 15b을 참조하면, 본 개시의 예시적 실시예에 따른 전자 장치(10000b)는 이미지 센서(1000b), 이미지 신호 프로세서(2000b), 디스플레이 장치(3000b), 어플리케이션 프로세서(4000b), 워킹 메모리(5000b), 스토리지(6000b), 유저 인터페이스(7000b) 및 무선 송수신부(8000b)를 포함할 수 있으며, 도 2의 이미지 센서(10)가 도 15a의 이미지 센서(1000a)로 동작할 수 있고, 도 2의 ISP(30)가 도 15a의 이미지 신호 프로세서(2000a)로서 적용될 수 있다.
어플리케이션 프로세서(4000b)는 이미지 신호 프로세서(2000b)를 포함할 수 있다. ISP(2000b)는 별도의 하드웨어 또는 하드웨어와 소프트웨어의 결합으로 구성되지 않고, AP(4000b)의 하부 구성으로서 존재할 수도 있다.도 15b의 다른 구성은 도 15a와 유사하므로 중복되는 설명은 생략하기로 한다.
도 16은 본 개시의 예시적 실시예에 따른 전자 장치의 일부를 도시하는 도면이다. 도 17은 도 16의 카메라 모듈의 상세 블록도이다. 도 16은 설명의 편의를 위해 도 15a에 도시된 전자 장치(10000a) 또는 도 15b에 도시된 전자 장치(10000b)의 일부가 전자 장치(20000)로서 도시되었으나, 도 15a 또는 도 15b와 비교하여 도 16에 생략된 구성들은 전자 장치(20000)에 포함될 수 있고, 포함된 일체로서 본 개시의 기술적 사상을 달성할 수 있다.
도 16을 참조하면, 전자 장치(20000)는 멀티 카메라 모듈(1100), AP(4000) 및 메모리(5000)를 포함할 수 있다. 메모리(5000)는 도 15a에 도시된 메모리(5000a) 또는 도 15b에 도시된 메모리(5000b)와 동일한 기능을 수행할 수 있는 바, 중복되는 설명은 생략한다.
전자 장치(20000)는 CMOS 이미지 센서를 이용하여 피사체에 대한 이미지를 캡쳐 및/또는 저장할 수 있고, 모바일 폰, 태블릿 컴퓨터, 또는 휴대용 전자 장치로 구현될 수 있다. 휴대용 전자 장치는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, 웨어러블 기기 등을 포함할 수 있다. 이러한 전자 장치(20000)는 하나 이상의 카메라 모듈 및 하나 이상의 카메라 모듈로부터 생성된 이미지 데이터를 처리하는 AP를 포함할 수 있다.
멀티 카메라 모듈(1100)은 제1 카메라 모듈(1100a), 제2 카메라 모듈(1100b), 제3 카메라 모듈(1100c)를 포함할 수 있다. 멀티 카메라 모듈(1100)은 도 2의 카메라 모듈(3)과 동일한 기능을 수행할 수 있다. 설명의 편의를 위해 3 개의 카메라 모듈(1100a 내지 1100c)이 도시되었으나, 이에 제한되지 않고 다양한 수의 카메라 모듈들이 멀티 카메라 모듈(1100)에 포함될 수 있다.
이하, 도 17을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.
도 17을 참조하면, 제2 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
예시적 실시예에 따르면, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
예시적 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
예시적 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
예시적 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144), 인코더(1145) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 도 17의 이미지 센서(1142)는 도 2의 이미지 센서(10)과 기능적으로 유사할 수 있으므로, 중복되는 설명은 생략한다. 제어 로직(1144)은 제2 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 제2 카메라 모듈(1100b)의 동작을 제어할 수 있다.
인코더(1145)는 센싱된 이미지 데이터를 인코딩할 수 있다. 도 17의 인코더(1145)는 도 2의 인코더(310)와 유사한 기능을 수행할 수 있는 바, 중복되는 설명은 생략한다. 도 17에 도시된 인코더(1145)는 도 2에 도시된 인코더(310)과 달리, ISP(도 2의 30)에 포함되지 않고, 카메라 모듈(예를 들어, 1100b)에 포함될 수 있다. 설명의 편의를 위해 인코더(1145)는 다른 기능부와 다른 개별적 기능부로 도시되었으나, 이에 제한되지 않고, 제어 로직(1144)에 포함되어, 이미지 데이터를 압축하고 부호화할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 제2 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 제2 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 제2 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 예시적 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 16과 도 17을 함께 참조하면, 예시적 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 제1 카메라 모듈(1100a))은 하나의 컬러 픽셀에 4개의 동일한 컬러 정보를 공유하는 서로 인접한 서브 픽셀들(즉, TETRA 셀)을 포함할 수 있고, 다른 하나의 카메라 모듈(예를 들어, 제2 카메라 모듈(1100b))은 하나의 컬러 픽셀에 9개의 동일한 컬러 정보를 공유하는 서로 인접한 서브 픽셀들(즉, NONA 셀)을 포함할 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
예시적 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
예시적 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 제2 카메라 모듈(1100b))은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
예시적 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 제3 카메라 모듈(1100c))은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, AP(4000)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 제1 카메라 모듈(1100a) 또는 제2 카메라 모듈(1100b))로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
예시적 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 제1 카메라 모듈(1100a) 또는 제2 카메라 모듈(1100b))은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 제1 카메라 모듈(1100a) 또는 제2 카메라 모듈(1100b))의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 제1 카메라 모듈(1100a)은 제2 및 제3 카메라 모듈(1100b, 1100c)보다 관측 시야(FOV)가 작을 수 있다. 그러나 이에 제한되지 않고, 멀티 카메라 모듈(1100)은 본래 사용되던 카메라 모듈(1100a, 1100b, 1100c)보다 관측 시야(FOV)가 큰 카메라 모듈을 더 포함할 수도 있다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
AP(4000)는 복수의 서브 프로세서들(4100a, 4100b, 4100c), 디코더(4200), 카메라 모듈 컨트롤러(4300), 메모리 컨트롤러(4400) 및 내부 메모리(4500)를 포함할 수 있다.
AP(4000)는 복수의 카메라 모듈들(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, AP(4000)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 프로세서들(4100a, 4100b, 4100c)에 제공될 수 있다. 예를 들어, 제1 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 제1 이미지 신호 라인(ISLa)을 통해 제1 서브 프로세서(4100a)에 제공될 수 있고, 제2 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 제2 이미지 신호 라인(ISLb)을 통해 제2 서브 프로세서(4100b)에 제공되고, 제3 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 제3 이미지 신호 라인(ISLc)을 통해 제3 서브 프로세서(4100c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
예시적 실시예에서, 하나의 서브 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 제1 서브 프로세서(4100a) 및 제3 서브 프로세서(4100c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
디코더(4200)는 서브 프로세서들(4100a, 4100b, 4100c)에 제공된 비트스트림을 디코딩할 수 있다. 도 16의 디코더(4200)는 도 2의 디코더(510)와 유사한 기능을 수행할 수 있으므로, 중복되는 설명은 생략한다. 설명의 편의를 위해 디코더(4200)와 서브 프로세서들(4100a, 4100b, 4100c)은 서로 별개의 기능부인 것으로 도시되었으나, 이에 제한되지 않고, 서브 프로세서들(4100a, 4100b, 4100c) 내부에 디코더(4200)가 포함되는 경우도 존재할 수 있다. 즉, 디코더(4200)는 서브 프로세서들(4100a, 4100b, 4100c) 내부에서 비트스트림을 디코딩할 수도 있다.
카메라 모듈 컨트롤러(4300)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
카메라 모듈 컨트롤러(4300)의 제어 하에, 마스터 및 슬레이브로서 동작하는 카메라 모듈들(1100a, 1100b, 1100c)이 변경될 수 있다. 예를 들어, 제1 카메라 모듈(1100a)의 시야각이 제2 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 제2 카메라 모듈(1100b)이 마스터로서 동작할 수 있고, 제1 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 제1 카메라 모듈(1100a)이 마스터로서 동작하고, 제2 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
예시적 실시예에서, 카메라 모듈 컨트롤러(4300)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 제2 카메라 모듈(1100b)이 마스터 카메라이고, 제1 및 제3 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(4300)는 제2 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 제2 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 제1 및 제3 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 제1 카메라 모듈(1100b)과 제2 및 제3 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 AP(4000)에 전송할 수 있다.
AP(4000)는 인코딩된 이미지 데이터를 내부 메모리(4500) 또는 AP(4000) 외부의 메모리(5000)에 저장하고, 이후, 내부 메모리(4500) 또는 메모리(5000)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 메모리 컨트롤러(4500)는 이미지 데이터가 내부 메모리(4500)와 메모리(5000) 사이에서 저장되거나 로딩될 수 있도록 내부 메모리(4500) 및 메모리(5000)를 전반적으로 제어할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 픽셀 어레이를 통과함으로써 생성된 이미지 데이터를 압축하는 이미지 압축 방법에 있어서,
    서로 인접하게 배치되고, 제1 컬러 정보를 생성하는 복수의 서브 픽셀들에 대응하는 이미지 데이터를 제1 컬러 픽셀로 분류하는 단계;
    상기 복수의 서브 픽셀들 각각의 픽셀 값에 기초하여 상기 이미지 데이터를 압축하는 기준인 참조 값을 결정하는 단계; 및
    상기 복수의 서브 픽셀들 각각의 픽셀 값을 상기 참조 값과 비교하고, 비교 결과 및 상기 참조 값을 출력하는 단계를 포함하는 이미지 압축 방법.
  2. 제1항에 있어서,
    상기 참조 값을 결정하는 단계는,
    상기 복수의 서브 픽셀들 각각의 픽셀 값의 픽셀 평균 값을 계산하는 단계; 및
    상기 평균값을 상기 참조 값으로 결정하는 단계를 포함하는 이미지 압축 방법.
  3. 제1항에 있어서,
    상기 참조 값을 결정하는 단계는,
    상기 복수의 서브 픽셀 중 제1 서브 픽셀의 픽셀 값을 상기 참조 값으로 결정하는 단계를 포함하는 이미지 압축 방법.
  4. 제3항에 있어서,
    상기 제1 서브 픽셀의 픽셀 값을 상기 참조 값으로 결정하는 단계는,
    상기 복수의 서브 픽셀들 각각의 픽셀 값을 크기에 따라 정렬하는 단계; 및
    상기 복수의 서브 픽셀들 각각의 픽셀 값들 중 중위값(median)을 가지는 상기 제1 서브 픽셀의 픽셀 값을 상기 참조 값으로 결정하는 단계를 포함하고,
    상기 제1 서브 픽셀은,
    상기 복수의 서브 픽셀들의 개수가 짝수일 때, 정렬된 상기 픽셀 값들의 중위 값 2개 중 더 작은 픽셀 값을 가지는 서브 픽셀인 것을 특징으로 하는 이미지 압축 방법.
  5. 제3항에 있어서,
    상기 제1 서브 픽셀은 상기 복수의 서브 픽셀 중 미리 정해진 위치에 배치된 서브 픽셀인 것을 특징으로 하는 이미지 압축 방법.
  6. 제1항에 있어서,
    상기 제1 컬러 픽셀로 분류하는 단계는,
    상기 복수의 서브 픽셀들 중 제1 열(row)에 위치한 서브 픽셀들 각각의 값을 버퍼링하는 단계; 및
    상기 복수의 서브 픽셀들 중 제2 열에 위치한 서브 픽셀들에 대응하는 이미지 데이터를 수신하는 단계를 포함하는 이미지 압축 방법.
  7. 픽셀 어레이를 통과하여 생성된 이미지 데이터를 압축하는 인코더에 있어서,
    서로 인접하게 배치되고 제1 컬러 정보를 생성하는 복수의 서브 픽셀들에 대응하는 이미지 데이터를 제1 컬러 픽셀로 분류하고, 상기 복수의 서브 픽셀들 각각의 픽셀 값에 기초하여 상기 이미지 데이터를 압축하는 기준인 참조 값을 결정하고, 상기 복수의 서브 픽셀들 각각의 픽셀 값을 상기 참조 값과 비교하고, 비교 결과와 상기 참조 값을 출력하도록 구성된 인코더.
  8. 제7항에 있어서,
    상기 참조 값은,
    상기 복수의 서브 픽셀들의 픽셀 값들의 평균 값인 것을 특징으로 하는 인코더.
  9. 제7항에 있어서,
    상기 제1 컬러 픽셀은 2
    Figure pat00023
    2 매트릭스 형태로 배열되고,
    상기 참조 값은 상기 복수의 서브 픽셀들의 픽셀 값들 중 두 번째로 작은 픽셀 값인 것을 특징으로 하는 인코더.
  10. 매트릭스 형태로 배열되어 각각이 픽셀 신호를 생성하는 복수의 픽셀들을 포함하는 픽셀 어레이를 포함하고, 광전 변환 소자를 이용하여 빛을 전기 신호로 변환하고, 이미지 데이터를 출력하도록 구성된 이미지 센서; 및
    상기 이미지 데이터를 압축함으로써 생성한 비트스트림을 출력하도록 구성된 인코더를 포함하고,
    상기 인코더는
    서로 인접하게 배치되고 제1 컬러 정보를 생성하는 복수의 서브 픽셀들을 제1 컬러 픽셀로 분류하고, 상기 복수의 서브 픽셀들의 픽셀 값에 기초하여 상기 이미지 데이터를 압축하는 기준인 참조 값을 결정하고, 상기 복수의 서브 픽셀들 각각의 픽셀 값을 상기 참조 값과 비교하고, 비교 결과 및 상기 참조 값을 출력하는 것을 특징으로 하는 카메라 모듈.
KR1020200052891A 2020-04-29 2020-04-29 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈 KR20210133800A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200052891A KR20210133800A (ko) 2020-04-29 2020-04-29 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈
US17/183,547 US11627250B2 (en) 2020-04-29 2021-02-24 Image compression method, encoder, and camera module including the encoder
CN202110448054.4A CN113573071A (zh) 2020-04-29 2021-04-25 图像压缩方法、编码器和包括编码器的相机模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200052891A KR20210133800A (ko) 2020-04-29 2020-04-29 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20210133800A true KR20210133800A (ko) 2021-11-08

Family

ID=78161323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052891A KR20210133800A (ko) 2020-04-29 2020-04-29 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈

Country Status (3)

Country Link
US (1) US11627250B2 (ko)
KR (1) KR20210133800A (ko)
CN (1) CN113573071A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114844508A (zh) * 2021-10-15 2022-08-02 神盾股份有限公司 光学感测电路及光学感测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2362772B (en) * 1997-06-10 2002-01-16 Sony Uk Ltd Concealing errors
TW391129B (en) 1998-04-30 2000-05-21 Hyundai Electronics Ind Apparatus and method for compressing image data outputted from image semsor having bayer pattern
JP2000278692A (ja) * 1999-03-25 2000-10-06 Victor Co Of Japan Ltd 圧縮データ処理方法及び処理装置並びに記録再生システム
US6873657B2 (en) * 2001-12-27 2005-03-29 Koninklijke Philips Electronics, N.V. Method of and system for improving temporal consistency in sharpness enhancement for a video signal
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
JP4892869B2 (ja) 2005-05-25 2012-03-07 株式会社ニコン 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム
JP4682102B2 (ja) 2005-09-02 2011-05-11 キヤノン株式会社 画像符号化装置及び画像符号化方法
KR20120052739A (ko) * 2010-11-16 2012-05-24 삼성전자주식회사 디스플레이 구동 장치 및 그것의 영상 데이터 압축 및 복원 방법
JP2012231377A (ja) 2011-04-27 2012-11-22 Olympus Corp 撮像装置及び画像生成方法
JP2013093745A (ja) 2011-10-26 2013-05-16 Olympus Corp 画像圧縮装置、撮像装置、および画像圧縮方法
JP2017005456A (ja) 2015-06-09 2017-01-05 株式会社ビスマ 画像圧縮方法、画像圧縮装置及び撮像装置
FR3040849A1 (fr) * 2015-09-04 2017-03-10 Stmicroelectronics (Grenoble 2) Sas Procede de compression d'un flux de donnees video
JP2018046324A (ja) 2016-09-12 2018-03-22 キヤノン株式会社 撮像センサ及びその制御方法、撮像装置
KR20190137260A (ko) 2018-06-01 2019-12-11 삼성전자주식회사 이미지 부호화 장치 및 이미지 복호화 장치

Also Published As

Publication number Publication date
US20210344834A1 (en) 2021-11-04
CN113573071A (zh) 2021-10-29
US11627250B2 (en) 2023-04-11

Similar Documents

Publication Publication Date Title
US20220020181A1 (en) Image sensor module, image processing system, and image compression method
US11818369B2 (en) Image sensor module, image processing system, and image compression method
US11889240B2 (en) Image device and operation method of image device
US11770541B2 (en) Image encoder, image decoder, and image processing method
US11627250B2 (en) Image compression method, encoder, and camera module including the encoder
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
US11765467B2 (en) Image sensor, electronic device including the image sensor and configured to generate output image data based on high conversion gain pixel signals, and low conversion gain pixel signals, and operating method therof
US20220286635A1 (en) Image sensor and operating method thereof
TW202203639A (zh) 影像感測設備及其影像像素合併方法
US11570479B2 (en) Camera module, image processing device and image compression method
US20220020180A1 (en) Image compression method using saturated pixel, encoder, and electronic device
US11823417B2 (en) Camera module, image processing system and image compression method
US20230300481A1 (en) Image sensing device and image processing method of the same
US11758288B2 (en) Device for improving image resolution in camera system having lens that permits distortion and operation method thereof
KR20220009849A (ko) 포화 픽셀을 이용하는 이미지 압축 방법, 인코더, 및 전자 장치
US20230254594A1 (en) Image processing device and image processing method using the same
US11902676B2 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
US20230143333A1 (en) Image sensor, application processor and image sensing device
US20230353884A1 (en) Image processing system and image processing method
US20240147090A1 (en) Image sensor and operating method
KR20220161124A (ko) 이미지 신호 프로세서를 포함하는 이미지 센서 및 이의 동작 방법
KR20220009854A (ko) 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 압축 방법
KR20230067440A (ko) 이미지 센서 및 이미지 처리 시스템
CN115412690A (zh) 图像传感器和图像信号处理方法
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal