KR101039404B1 - 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법 - Google Patents

이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법 Download PDF

Info

Publication number
KR101039404B1
KR101039404B1 KR1020100013680A KR20100013680A KR101039404B1 KR 101039404 B1 KR101039404 B1 KR 101039404B1 KR 1020100013680 A KR1020100013680 A KR 1020100013680A KR 20100013680 A KR20100013680 A KR 20100013680A KR 101039404 B1 KR101039404 B1 KR 101039404B1
Authority
KR
South Korea
Prior art keywords
value
image
sampling
image signal
histogram
Prior art date
Application number
KR1020100013680A
Other languages
English (en)
Inventor
노요환
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020100013680A priority Critical patent/KR101039404B1/ko
Application granted granted Critical
Publication of KR101039404B1 publication Critical patent/KR101039404B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

스마트폰에 구비되는 이미지 시그널 프로세서 및 자동 노출 제어 방법이 개시된다. 센서로부터 입력받은 영상 신호의 포맷을 변환하고, 포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링하며, 베이스밴드 칩으로부터 전달되는 노출 설정 정보에 따라 센서의 노출을 조정하는 이미지 시그널 프로세서에 의하면, 개발자 그룹뿐만 아니라 타 개발자, 일반 사용자들도 개발에 참여하여 자동 노출, 자동 화이트 밸런스, 자동 포커스 등의 성능을 개선하고 개발할 수 있는 구조를 가지도록 할 수 있다.

Description

이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법{Image signal processor, smart phone and auto exposure controlling method}
본 발명은 이미지 시그널 프로세서(Image Signal Processor)에 관한 것으로, 보다 상세하게는 스마트폰(Smart Phone)에 구비되는 이미지 시그널 프로세서 및 자동 노출 제어 방법에 관한 것이다.
스마트폰은 휴대전화와 개인휴대단말기(Personal Digital Assistant, PDA)의 장점을 합친 차세대 휴대전화로, 인터넷 정보검색, 그림 정보 송수신 등의 지능적이고 똑똑한 다양한 기능을 포함하고 있다.
스마트폰은 대부분 카메라 모듈을 구비하고 있으며, 카메라 모듈은 이미지 시그널 프로세서(ISP) 혹은 카메라 시그널 프로세서(Camera Signal Processor, CSP)와 같은 칩에 의해 컨트롤되어 고화질의 이미지를 생성하도록 설정되어 있다.
스마트폰의 개발 및 사용에 있어서 개발자 그룹뿐만 아니라 일반 사용자들도 참여하여 어플리케이션을 만들고 적용할 수 있도록 하고 있는 스마트폰들이 최근 출시되고 있지만, 기존의 이미지 시그널 프로세서 혹은 카메라 시그널 프로세서 칩들은 개발자만이 어플리케이션을 개발할 수 있도록 하는 폐쇄적인 구조를 가지고 있었다. 따라서, 일반 사용자가 이미지 시그널 프로세서용 어플리케이션을 만들어 적용해 보거나 이를 개선함에 있어서 참여할 수 있는 여지가 없는 한계가 있었다.
도 1은 종래 자동 노출(Auto Exposure)을 수행하기 위한 이미지 시그널 프로세서의 구성을 나타낸 블록도이고, 도 2는 종래 이미지 시그널 프로세서에서의 Y 이미지의 화면 영역 분할 예시를 나타낸 도면이다.
도 1을 참조하면, 센서(10), 이미지 시그널 프로세서(20), 포맷 컨버터(22), 분석 데이터 저장부(24), 영역별 블록 합산부(26), 센서 컨트롤러(28)가 도시되어 있다.
센서(10)는 광학 영상(optical image)을 전기적인 영상 신호로 변환하여 출력한다. 센서(10)는 CCD(Charge Coupled Device)형 이미지 센서 또는 CMOS(Complement Metal Oxide Semiconductor)형 이미지 센서일 수 있다.
이미지 시그널 프로세서(20)는 센서(10)로부터 출력되는 영상 신호를 입력받아 지정된 신호 처리를 수행한다. 이미지 시그널 프로세서(20)에서 수행되는 신호 처리 중 대표적인 것으로, 자동 노출(AE)이 있다.
자동 노출(AE)의 수행은 센서(10)로부터의 출력되는 영상 신호가 화면 전체적으로 일정한 밝기 값을 나타내도록 센서(10)를 컨트롤하는 것을 의미한다. 따라서, 자동 노출을 수행하기 위해서는 센서(10)로부터 출력되는 영상 신호에 대한 밝기를 분석하고, 분석된 값을 통해 센서(10)를 어떻게 제어할 것인지를 결정할 필요가 있다. 기존에는 이러한 작업이 이미지 시그널 프로세서(20)의 내부에서만 수행될 수 있었다.
포맷 컨버터(format converter)(22)는 센서(10)로부터 입력되는 영상 신호에 대하여 휘도 이미지 포맷(luminance image format)으로 바꾸어 밝기값을 나타내는 색상 공간(color space)으로 변환한다.
영역별 블록 합산부(26)는 휘도 이미지 포맷으로 변환된 Y 이미지(30)를 분석하기 위해 필요한 부분을 취득한다. 이를 위해 이미지 윈도윙(image windowing) 또는 크로핑(cropping)을 수행하여 필요 영역(32)만을 골라낸다. 필요 영역(32)에 대해서 소정 개수(예를 들어, 5~9개) 정도로 화면 분할을 하여 영역을 각각 구분한다. 그리고 분할된 영역에 대해서 각각 픽셀값을 합산한 블록 합산값을 구하고, 분석 데이터 저장부(24)에 저장한다.
분석 데이터 저장부(24)는 현재 프레임에 대한 정보만을 한 프레임 시간동안 저장하고 있게 된다.
분석 데이터 저장부(24)에 저장된 정보는 화면 분할로 구분된 각 영역 중 하나에 대한 밝기값의 합이므로, 이 정보를 통해 해당 영역에 대한 평균적인 밝기 정보를 알 수 있게 된다. 밝기 정보를 이용하여 화면 전체에서의 밝기에 대한 분포 형태나 전체적인 평균 밝기를 구할 수 있다.
센서 컨트롤러(28)는 분석 데이터 저장부(24)에 저장된 정보를 이용하여 획득한 밝기 정보를 기초로 하여 센서(10)의 노출을 조정한다. 밝기 정보에 따른 화면 밝기가 설정된 기준 밝기보다 낮으면 센서(10)의 노출을 조정하여 노출이 더 많아지도록 하여 빛을 더 많이 받아들임으로써 좀 더 밝아진 영상이 출력되도록 센서(10)를 제어하고, 기준 밝기보다 높으면 센서(10)의 노출을 조정하여 노출이 더 적어지도록 하여 빛을 더 적게 받아들임으로써 좀 더 어두워진 영상이 출력되도록 센서(10)를 제어한다.
이와 같이 매 프레임 단위로 현재 프레임 동안 이미지 정보를 수집하고, 다음 프레임동안 계산, 즉 영역별 블록 합산 및 데이터 분석을 수행하고, 그 다음 프레임에 계산 결과가 적용될 수 있도록 한다. 이러한 과정이 연속적으로 수행됨으로써 자동 노출 동작이 수행되게 된다.
하지만, 이러한 자동 노출 동작 수행은 일반 사용자 입장에서는 하드웨어적인 고정 포인트가 발생하여 다음과 같은 제약사항이 있을 수 있다.
우선 Y 이미지를 영역 분할함에 있어서 개별적인 구분 개수가 고정되어 있어 확장할 수가 없게 되며, 구분 개수가 적음으로 인해 밝기에 대한 분포나 형태를 제대로 분석할 수 없다. 그리고 분석을 위한 데이터가 단순히 구분된 각 영역에 대한 밝기 합산값으로만 존재하게 되어 고속 연산에 불리한 단점이 있다. 또한, 스폿(spot) 측광, 전체 영역 평균 측광, 얼굴 우선 측광, 프로그램 모드 측광 등의 여러 측광 모드를 적용함에 있어서 영역에 대한 구분 및 조정이 어려운 한계가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 개발자 그룹뿐만 아니라 타 개발자, 일반 사용자들도 개발에 참여하여 성능을 개선하고 개발할 수 있는 구조를 가지도록 하는 이미지 시그널 프로세서, 스마트폰 및 업그레이드 가능한 자동 노출 제어 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 센서와 베이스밴드 칩 사이에 구비되는 이미지 시그널 프로세서로서, 상기 센서로부터 입력되는 영상 신호의 포맷을 변환하는 포맷 컨버터; 상기 포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링하는 이미지 샘플러-여기서, M, N은 자연수임-; 상기 휘도 이미지에 대한 화면 분할 정보 및 상기 각 영역의 샘플링값을 메모리에 저장하는 메모리 컨트롤러; 상기 메모리에 저장된 상기 화면 분할 정보 및 상기 각 영역의 샘플링값을 상기 베이스밴드 칩으로 전달하는 출력 컨트롤러; 및 상기 베이스밴드 칩에서 상기 화면 분할 정보 및 상기 각 영역의 샘플링값에 따라 설정된 노출 설정 정보를 입력받고, 상기 노출 설정 정보에 따라 상기 센서의 노출을 조정하는 센서 컨트롤러를 포함하는 이미지 시그널 프로세서가 제공된다.
상기 영상 신호는 RGB 데이터 포맷을 가지되, 상기 포맷 컨버터는 상기 영상 신호를 YCrCb 혹은 YUV 도메인의 Y 값 및 HSV 도메인의 V 값으로 변환하고, 상기 Y 값 및 상기 V 값을 이용하여 상기 이미지의 새로운 밝기값을 생성할 수 있다.
상기 포맷 컨버터는 하기 수학식에 따라 상기 새로운 밝기값을 생성할 수 있다. 여기서, 수학식은 new Y = Y x a + V x b 이며, 여기서, new Y는 상기 새로운 밝기값, Y는 휘도, V는 명도, a 및 b는 각각 0 초과이며 합이 1인 계수이다.
상기 포맷 컨버터는 탭 필터, 가우시안 필터, 메디안 필터 중 하나 이상을 이용하여 상기 영상 신호의 노이즈 제거를 수행할 수 있다.
상기 이미지 샘플러는 상기 각 영역 내의 픽셀값의 평균값을 산출하여 상기 각 영역의 샘플링값으로 샘플링할 수 있다.
상기 이미지 샘플러는 상기 샘플링값을 소정의 기준 밝기값을 기준으로 한 음과 양의 방향 값인 변환 샘플링값으로 변환하며, 상기 출력 컨트롤러가 상기 각 영역의 변환 샘플링값을 상기 베이스밴드 칩으로 전달할 수 있다. 상기 각 영역의 변환 샘플링값에 대한 히스토그램을 생성하는 히스토그램 생성부를 더 포함하되, 상기 출력 컨트롤러가 상기 히스토그램을 상기 베이스밴드 칩으로 전달할 수 있다.
상기 각 영역의 샘플링값에 대한 히스토그램을 생성하는 히스토그램 생성부를 더 포함하되, 상기 출력 컨트롤러가 상기 히스토그램을 상기 베이스밴드 칩으로 전달할 수 있다.
상기 출력 컨트롤러는 상기 휘도 이미지에 대하여 수직 동기 신호(Vsync), 수평 동기 신호(Href) 및 이미지 데이터의 포맷으로 상기 베이스밴드 칩에 전달하되, 상기 이미지의 마지막 라인 다음에 더미 라인을 생성하여 상기 더미 라인 내에 상기 샘플링값, 상기 변환 샘플링값, 상기 히스토그램 중 하나 이상과 상기 화면 분할 정보를 실어 전달할 수 있다.
상기 화면 분할 정보는 M의 값, N의 값, 상기 영역의 수, 상기 영역의 크기 중 하나 이상을 포함할 수 있다.
한편, 본 발명의 다른 측면에 따르면, 광학 영상을 전기적인 영상 신호로 전환하는 센서; 상기 센서로부터 입력받은 상기 영상 신호의 포맷을 변환하고, 상기 포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링하며, 노출 설정 정보에 따라 상기 센서의 노출을 조정하는 이미지 시그널 프로세서; 및 화면 분할 정보 및 상기 이미지 시그널 프로세서에 의해 샘플링된 샘플링값을 상기 이미지 시그널 프로세서로부터 전달받아 표시부에 출력하고, 상기 샘플링값을 기초로 하는 사용자에 의해 프로그래밍된 자동 노출 어플리케이션에 따라 상기 노출 설정 정보를 생성하여 상기 이미지 시그널 프로세서로 전달하는 베이스밴드 칩을 포함하는 스마트폰(Smart Phone)이 제공된다. 상기 이미지 시그널 프로세서는 상기 샘플링값에 대한 히스토그램을 생성하여 상기 베이스밴드 칩으로 전달하며, 상기 베이스밴드 칩은 상기 히스토그램을 전달받아 출력할 수 있다.
상기 이미지 시그널 프로세서는 상기 샘플링값을 미리 설정된 기준 밝기값을 기준으로 한 음과 양의 방향 값인 변환 샘플링값으로 변환하여 상기 베이스밴드 칩으로 전달하며, 상기 베이스밴드 칩은 상기 변환 샘플링값을 전달받아 출력할 수 있다. 상기 이미지 시그널 프로세서는 상기 변환 샘플링값에 대한 히스토그램을 생성하여 상기 베이스밴드 칩으로 전달하며, 상기 베이스밴드 칩은 상기 히스토그램을 전달받아 출력할 수 있다.
한편, 본 발명의 또 다른 측면에 따르면, 센서와 베이스밴드 칩 사이에 구비되는 이미지 시그널 프로세서에서 자동 노출을 제어하는 방법으로서, (a) 상기 센서로부터 입력되는 영상 신호의 포맷을 변환하는 단계; (b) 상기 포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링하는 단계-여기서, M, N은 자연수임-; (c) 상기 휘도 이미지에 대한 화면 분할 정보 및 상기 각 영역의 샘플링값을 메모리에 저장하는 단계; (d) 상기 메모리에 저장된 상기 화면 분할 정보 및 상기 각 영역의 샘플링값을 상기 베이스밴드 칩으로 전달하는 단계; (e) 상기 베이스밴드 칩에서 상기 화면 분할 정보 및 상기 각 영역의 샘플링값에 따라 설정된 노출 설정 정보를 입력받는 단계; 및 (f) 상기 노출 설정 정보에 따라 상기 센서의 노출을 조정하는 단계를 포함하는 이미지 시그널 프로세서의 자동 노출 제어 방법이 제공된다.
상기 영상 신호는 RGB 데이터 포맷을 가지되, 상기 단계 (a)는, 상기 영상 신호를 YCrCb 혹은 YUV 도메인의 Y 값 및 HSV 도메인의 V 값으로 변환하는 단계와, 상기 Y 값 및 상기 V 값을 이용하여 상기 이미지의 새로운 밝기값을 생성하는 단계를 포함할 수 있따.
상기 단계 (a)는 하기 수학식에 따라 상기 새로운 밝기값을 생성하되, 수학식은 new Y = Y x a + V x b 이며, 여기서, new Y는 상기 새로운 밝기값, Y는 휘도, V는 명도, a 및 b는 각각 0 초과이며 합이 1인 계수일 수 있다.
상기 단계 (b)는 상기 각 영역 내의 픽셀값의 평균값을 산출하여 상기 각 영역의 샘플링값으로 샘플링할 수 있다.
상기 단계 (b)는 상기 샘플링값을 소정의 기준 밝기값을 기준으로 한 음과 양의 방향 값인 변환 샘플링값으로 변환하는 단계를 포함하며, 상기 단계 (d)는 상기 각 영역의 변환 샘플링값을 상기 베이스밴드 칩으로 전달할 수 있다. 상기 각 영역의 변환 샘플링값에 대한 히스토그램을 생성하는 단계를 더 포함하되, 상기 단계 (d)는 상기 히스토그램을 상기 베이스밴드 칩으로 전달할 수 있다.
상기 각 영역의 샘플링값에 대한 히스토그램을 생성하는 단계를 더 포함하되, 상기 단계 (d)는 상기 히스토그램을 상기 베이스밴드 칩으로 전달할 수 있다.
상기 단계 (d)는 상기 영상 신호에 대하여 수직 동기 신호(Vsync), 수평 동기 신호(Href) 및 이미지 데이터의 포맷으로 상기 베이스밴드 칩에 전달하되, 상기 이미지의 마지막 라인 다음에 더미 라인을 생성하여 상기 더미 라인 내에 상기 샘플링값, 상기 변환 샘플링값, 상기 히스토그램 중 하나 이상과 상기 화면 분할 정보를 실어 전달할 수 있다.
상기 화면 분할 정보는 M의 값, N의 값, 상기 영역의 수, 상기 영역의 크기 중 하나 이상을 포함할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 개발자 그룹뿐만 아니라 타 개발자, 일반 사용자들도 개발에 참여하여 자동 노출, 자동 화이트 밸런스, 자동 포커스 등의 성능을 개선하고 개발할 수 있는 구조를 가지도록 할 수 있다.
또한, 개발자 그룹뿐 아니라 타 개발자 혹은 일반 사용자도 자동 노출을 위해 필요로 하는 다양한 정보(예를 들어, 샘플링값, 변환 샘플링값, 히스토그램 등 중 하나 이상과 화면 분할 정보)에 접근할 수 있으며, 고급 알고리즘을 통해 자동 노출 상황에 대한 인식, 패턴 분석 등의 다양한 어플리케이션 개발이 가능하며, 정확한 타겟 밝기의 자동 노출 알고리즘을 개발할 수 있게 된다.
또한, 타 개발자 혹은 일반 사용자도 화면 분할 정보를 이용함으로써 M x N 개의 영역에 대한 구분 및 조정이 용이해져 스폿 측광, 전체 영역 평균 측광, 얼굴 우선 측광, 프로그램 모드 측광 등의 여러 측광 모드를 적용할 수 있게 된다.
도 1은 종래 자동 노출을 수행하기 위한 이미지 시그널 프로세서의 구성을 나타낸 블록도.
도 2는 종래 이미지 시그널 프로세서에서의 Y 이미지의 화면 영역 분할 예시를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 이미지 시그널 프로세서의 구성을 나타낸 블록도.
도 4는 본 발명의 일 실시예에 따른 이미지 시그널 프로세서에서의 휘도 이미지의 화면 영역 분할 예시를 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 이미지 시그널 프로세서에서의 자동 노출 제어 방법의 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 이미지 시그널 프로세서의 구성을 나타낸 블록도이고, 도 4는 본 발명의 일 실시예에 따른 이미지 시그널 프로세서에서의 휘도 이미지의 화면 영역 분할 예시를 나타낸 도면이다.
도 3을 참조하면, 이미지 시그널 프로세서(100)는 포맷 컨버터(110), 이미지 샘플러(120), 히스토그램 생성부(130), 센서 컨트롤러(140), 제어부(150), 출력 컨트롤러(160), 메모리 컨트롤러(170), 메모리(180)를 포함한다. 이미지 시그널 프로세서(100)는 이미지 시그널 프로세서(ISP) 혹은 카메라 시그널 프로세서(CSP) 칩으로 구현될 수 있으며, 이하에서는 이미지 시그널 프로세서로 통칭한다.
본 실시예에 따른 이미지 시그널 프로세서(100)는 전단에 센서(10)가 연결되고, 후단에 베이스밴드 칩(baseband chip)(200)이 연결된다. 이미지 시그널 프로세서(100)와 베이스밴드 칩(200)은 백엔드 칩(back end chip)을 통해 인터페이스 가능하거나 직접 인터페이스 가능할 수 있다.
센서(10)는 광학 영상을 전기적인 영상 신호로 변환하여 출력한다. 센서(10)는 CCD형 이미지 센서 또는 CMOS형 이미지 센서일 수 있다.
센서(10)는 렌즈, 컬러 필터 어레이(Color Filter Array, CFA), A/D 컨버터를 포함할 수 있다. 컬러 필터 어레이는 렌즈를 통해 입력되는 광학적 피사체 신호를 전기적인 영상 신호로 변환하여 출력하며, 베이어 패턴 등 다양한 패턴이 이용될 수 있다. A/D 컨버터는 컬러 필터 어레이에 의해 변환된 영상 신호를 디지털 신호로 변환하여 출력한다.
이미지 시그널 프로세서(100)는 센서(10)로부터 출력되는 영상 신호를 입력받아 지정된 신호 처리를 수행한다.
본 실시예에 따른 이미지 시그널 프로세서(100)는 자동 노출(AE), 자동 화이트밸런스(Auto White Balance, AWB), 자동 포커스(Auto Focus, AF) 중 하나 이상의 기능을 수행할 수 있다. 이하에서는 본 발명의 이해와 설명의 편의를 위해 자동 노출 기능을 중심으로 설명하기로 한다.
포맷 컨버터(110)는 센서(10)로부터 입력되는 영상 신호의 포맷을 변환한다. 입력된 영상 신호는 RGB 데이터 포맷을 가지는 바 YCrCb 혹은 YUV 도메인으로 혹은 HSV 도메인에 따른 포맷으로 변환하고, 각 도메인에서의 Y 값 혹은 V 값을 이용하여 새로운 밝기값을 산출함으로써 새로운 휘도 이미지를 생성한다. 새로운 밝기값(new Y)은 하기 수학식 (1)에 따라 산출될 수 있다.
new Y = Y x a + V x b (여기서, a+b=1, a>0, b>0) (1)
여기서, Y 값은 휘도를 나타내며, V 값은 명도를 나타내는 것으로 RGB 값 중 최대값일 수 있다. 또한, a와 b는 각각 0 초과이며 그 합이 1이 되도록 하는 실험적 또는/및 통계적으로 결정되는 계수일 수 있다.
Y 값과 V 값은 RGB 각 색상이 많이 섞여 있는 경우에 그 특징이 달라지게 된다. Y 값은 포맷 변환을 위한 수식 상에서 볼 때 그린(G)의 비중이 가장 높고, 레드(R) 및 블루(B)가 그 다음이다. 이러한 원색들이 섞여 있는 경우에 전체적인 Y 값의 레벨이 낮게 나올 확률이 있다. 예를 들어, 광원이 붉은 색을 띄는 경우 사람이 육안으로 관찰하는 것보다 Y 값이 작게 되어 자동 노출을 수행할 때 그 타겟이 정확하게 잡히지 않아 노출을 더 많이 하게 됨으로써 포화되는 경우가 발생할 수 있다. 따라서, Y 값 혹은 V 값만을 이용하지 않고 상기 수학식 (1)과 같이 혼합하여 사용함으로써 이러한 오류를 줄이고 사람이 보기에 자연스러운 밝기를 만들 수 있게 된다.
후술할 이미지 샘플러(120)에서 이미지 샘플링을 수행하기 전 단계로서, 포맷 변환 과정에서 라인 단위로 1차원(1D)의 탭 필터(tap filter), 가우시안 필터(Gaussian filter), 메디안 필터(median filter) 등 중 하나 이상을 이용하여 노이즈를 제거할 수 있다. 샘플링 이전에 노이즈를 제거함으로써 노이즈 처리 없이 샘플링하는 경우 샘플링 영상에 남아 있는 노이즈 비율이 더 크게 되어 발생하는 손실을 최소화할 수 있게 된다.
이미지 샘플러(120)는 포맷 컨버터(110)에 의해 포맷 변환된 영상 신호에 상응하는 새로운 휘도 이미지 중 정해진 영역에 대해서 M x N(여기서, M, N은 자연수) 크기를 가지는 이미지로 샘플링한다. 이미지 샘플러(120)는 샘플링 이미지에 대한 화면 분할 정보를 생성하여 메모리(180)에 저장하고, 추후 베이스밴드 칩(200)으로 전달되도록 한다. 여기서, 화면 분할 정보는 M의 값, N의 값, 분할된 영역의 수, 각 영역의 크기 등 중 하나 이상을 포함한다.
도 4를 참조하면, 새로운 휘도 이미지(40) 중 정해진 영역(42)에 대해서 12 x 8 개의 영역으로 화면 분할된 각 영역(44)이 도시되어 있다.
우선 이미지 샘플러(120)는 윈도윙 혹은 크로핑을 통해 정해진 영역을 M x N 개로 상세하게 화면 분할한다. 그리고 분할된 각 영역 내의 픽셀값을 합산한 합산값을 구하고, 이를 해당 영역 내에 포함된 픽셀 수로 나누어 평균값을 구한다. 이 경우 평균값은 예를 들면 10비트 데이터가 될 수 있게 0 내지 1023 사이의 값을 가지도록 정규화(normalize)할 수 있으며, 정규화된 평균값이 샘플링값이 된다.
이미지 샘플러(120)는 각 영역의 샘플링값에 대하여 소정의 기준 밝기값을 기준으로 하여 음과 양의 방향 값인 변환 샘플링값으로 변환할 수 있다. 예를 들어, 기준 밝기값이 512이고 어떤 영역의 샘플링값이 400인 경우, 해당 영역의 변환 샘플링값은 -112(=400-512)로 음의 방향 값을 가질 수 있을 것이다.
메모리 컨트롤러(170)는 이미지 샘플러(120)에 의해 샘플링된 샘플링값 또는/및 변환 샘플링값을 메모리(180)에 저장하거나 메모리(180)에 저장된 값을 읽어온다.
메모리(180)는 샘플링값, 변환 샘플링값뿐 아니라 센서(10)로부터 입력된 영상 신호에 대하여 소정의 신호 처리가 수행된 결과인 이미지 데이터를 저장한다.
이미지 시그널 프로세서(100)에서 수행되는 신호 처리로는, 블랙 레벨 보상(black level compensation), 노이즈 제거, 렌즈 셰이딩 보상(lens shading compensation), 색상 보간(color interpolation), 이미지 향상 등이 있을 수 있다.
블랙 레벨 보상을 통해, 센서(10)에서 발생하는 암 전류(dark current)에 의해 빛이 가해지지 않은 경우에도 일정한 값의 신호 레벨이 검출되는 잡음인 블랙 레벨(black level)에 의한 이미지 들뜸과 같은 특성 저하를 방지할 수 있다. 노이즈 제거를 통해, 센서(10)에서 발생하는 암 전류에 의해 발생하는 암 전류 노이즈 등과 같은 노이즈에 의한 영향을 최소화할 수 있다. 렌즈 셰이딩 보상을 통해, 센서(10)의 렌즈 중심 부분과 외곽 부분의 투과율 차이로 인해 발생하는 색상 왜곡과 픽셀 위치에 종속되는 신호 크기의 감소 등의 렌즈 셰이딩(lens shading) 현상을 보상할 수 있다. 색상 보간을 통해, 베이어 패턴을 가지는 영상 신호에 대하여 각 픽셀마다 적색, 녹색, 청색의 픽셀값을 획득할 수 있다. 이미지 향상을 통해, 색 조정, 감마 변환, 포맷 변환 등을 통해 이미지 품질을 향상시킬 수 있다.
히스토그램 생성부(130)는 샘플링 데이터, 즉 샘플링값 또는/및 변환 샘플링값에 대한 히스토그램을 생성한다. 히스토그램 생성부(130)에 의해 생성된 히스토그램도 메모리 컨트롤러(170)에 의해 메모리(180)에 저장될 수 있다. 여기서, 히스토그램의 X축은 새로운 밝기값을, Y축은 영역의 수를 나타내게 된다.
히스토그램 분포를 통해 센서(10)로부터 입력된 영상에서 각 성분 분포가 편중된 정도를 분석할 수 있다. 예를 들면, 밝은 배경에 인물이 있는 것과 같은 역광 상황에서는 일반적으로 좌우로 완전히 편중된 형태의 히스토그램이 생성되며, 저조도의 상황에서는 밝은 쪽의 히스토그램은 거의 없고 중간 계조 이하에 많은 분포를 가지는 히스토그램이 생성된다. 적합한 수준의 자동 노출이 이루어졌다면, 중간 계조에서의 도수 분포가 많고, 영상 전체적으로 고르게 분포하는 형태가 될 것 인바, 히스토그램 생성부(130)에 의해 히스토그램과 같이 영상의 상황이나 정보를 파악할 수 있는 자료의 수집이 가능하게 된다.
여기서, 변환 샘플링값을 이용하여 생성된 히스토그램은 사용자가 설정한 기준 밝기값을 기준으로 하여 음과 양의 방향 값으로 표현되는 히스토그램일 수 있으며, 이러한 히스토그램은 비트 연산 등에 있어서 보수 연산을 통해 연산 속도를 높일 수 있는 장점이 있다.
출력 컨트롤러(160)는 메모리(180)에 저장된 샘플링값, 변환 샘플링값, 히스토그램 중 하나 이상과, 화면 분할 정보를 이미지 시그널 프로세서(100)의 후단에 연결된 베이스밴드 칩(200)으로 전달한다.
여기서, 출력 컨트롤러(160)를 통한 전달은 수직 동기 신호(Vsync), 수평 동기 신호(Href), 이미지 데이터(data)의 형태로 이루어질 수 있다. 예를 들어, YUV 포맷의 데이터 전달인 경우에 마지막 라인 다음에 더미 라인을 생성하고, 해당 더미 라인에 샘플링값, 변환 샘플링값, 히스토그램 중 하나 이상과 화면 분할 정보를 함께 실어 보냄으로써, 베이스밴드 칩(200)으로 자동 노출 제어를 위한 데이터가 전달될 수 있다.
센서 컨트롤러(140)는 베이스밴드 칩(200)에서 설정되어 전달된 노출 설정 정보를 기초로 하여 센서(10)의 노출을 조정한다. 노출 설정 정보에 따라 노출이 더 많아지도록 하여 빛을 더 많이 받아들일 수 있도록 센서(10)를 제어하거나 노출이 더 적어지도록 하여 빛을 더 적게 받아들일 수 있도록 센서(10)를 제어한다.
제어부(150)는 이미지 시그널 프로세서(100)의 각 구성요소가 상술한 기능을 수행할 수 있도록 각 구성요소를 제어한다.
베이스밴드 칩(200)의 메모리 컨트롤러(210)는 이미지 시그널 프로세서(100)의 출력 컨트롤러(160)에 의해 출력된 데이터를 입력받아 주 메모리(220)에 저장한다. 주 메모리(220)에 저장되는 데이터는 샘플링값, 변환 샘플링값, 히스토그램 중 하나 이상과 화면 분할 정보를 포함하는 수직 동기 신호, 수평 동기 신호, 이미지 데이터일 수 있다.
베이스밴드 프로세서(230)는 주 메모리(220)에 저장된 데이터를 읽어오고, 이 데이터를 가지고 사용자가 직접 적절한 자동 노출 프로그래밍 작업을 할 수 있도록 한다.
베이스밴드 프로세서(230)는 수직 동기 신호, 수평 동기 신호, 이미지 데이터를 이용하여 스마트폰에 구비된 표시부(미도시)에 센서(10)를 통해 입력되고 이미지 시그널 프로세서(100)에 의해 신호 처리된 영상을 출력한다. 그리고 이미지 데이터의 더미 라인에 포함된 샘플링값, 변환 샘플링값, 히스토그램 중 하나 이상과 화면 분할 정보를 사용자 요청에 따라 혹은 디폴트(default)로 출력함으로써 사용자가 자동 노출 어플리케이션을 프로그래밍함에 있어서 필요로 하는 정보를 제공한다.
이러한 정보를 이용한 사용자에 의한 자동 노출 프로그래밍 작업에 의해 노출 설정 정보가 생성되고, 해당 노출 설정 정보는 이미지 시그널 프로세서(100)로 전달되어 센서 컨트롤러(140)가 전술한 동작을 수행하게 된다.
본 실시예에 따르면, 이미지 시그널 프로세서(100)의 개발자 그룹뿐 아니라 타 개발자 혹은 일반 사용자도 자동 노출을 위해 필요로 하는 다양한 정보(예를 들어, 샘플링값, 변환 샘플링값, 히스토그램 등 중 하나 이상과 화면 분할 정보)에 접근할 수 있으며, 고급 알고리즘을 통해 자동 노출 상황에 대한 인식, 패턴 분석 등의 다양한 어플리케이션 개발이 가능하며, 정확한 타겟 밝기의 자동 노출 알고리즘을 개발할 수 있게 된다.
또한, 타 개발자 혹은 일반 사용자도 화면 분할 정보를 이용함으로써 M x N 개의 영역에 대한 구분 및 조정이 용이해져 스폿 측광, 전체 영역 평균 측광, 얼굴 우선 측광, 프로그램 모드 측광 등의 여러 측광 모드를 적용할 수 있게 된다.
도 5는 본 발명의 일 실시예에 따른 이미지 시그널 프로세서에서의 자동 노출 제어 방법의 순서도이다. 도 5를 참조하여 설명되는 각각의 단계는 이미지 시그널 프로세서의 각각의 내부 구성 요소에 의해 수행될 수 있으나 이해와 설명의 편의를 도모하기 위해 이미지 시그널 프로세서로 통칭하여 설명하기로 한다. 여기서, 이미지 시그널 프로세서는 센서와 베이스밴드 칩 사이에 구비된다.
이미지 시그널 프로세서는 센서로부터 입력되는 영상 신호의 포맷을 변환한다(단계 S310). 센서로부터 입력되는 영상 신호는 RGB 데이터 포맷을 가질 수 있다. 이 경우 영상 신호를 YCrCb 혹은 YUV 도메인의 Y 값 및 HSV 도메인의 V 값으로 변환하고, Y 값 및 V 값을 이용하여 이미지의 새로운 밝기값을 생성함으로써 새로운 휘도 이미지를 생성한다. 새로운 밝기값은 상술한 수학식 (1)에 따라 생성될 수 있다.
포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링한다(단계 S320). 일 실시예에서 샘플링 방법으로는 화면 분할된 각 영역 내의 픽셀값의 평균값을 산출하여 각 영역의 샘플링값으로 결정할 수 있다. 다른 실시예에서 소정의 기준 밝기값을 기준으로 한 음과 양의 방향 값으로 샘플링값을 변환할 수 있다. 또 다른 실시예에서 샘플링값 또는 변환 샘플링값에 대한 히스토그램으로 생성할 수도 있다.
휘도 이미지에 대한 화면 분할 정보 및 각 영역의 샘플링값, 변환 샘플링값, 히스토그램 중 하나 이상을 메모리에 저장한다(단계 S330).
메모리에 저장된 화면 분할 정보 및 각 영역의 샘플링값을 베이스밴드 칩으로 전달한다(단계 S340). 이미지 시그널 프로세서는 베이스밴드 칩으로 데이터를 전달함에 있어서 센서로부터 입력된 영상 신호에 대하여 지정된 신호 처리를 수행한 후 수직 동기 신호, 수평 동기 신호, 이미지 데이터의 포맷으로 변환하여 전달하게 된다. 이 경우 이미지 데이터의 마지막 라인 다음에 더리 라인을 생성하고, 더미 라인 내에 샘플링값, 변환 샘플링값, 히스토그램 중 하나 이상과 화면 분할 정보를 삽입하여 전달할 수 있다.
베이스밴드 칩은 이미지 시그널 프로세서로부터 전달된 데이터를 주 메모리에 저장하며, 베이스밴드 프로세서가 해당 데이터를 읽어와 표시부에 영상을 출력하면서 자동 노출 제어를 위해 필요한 정보인 샘플링값, 변환 샘플링값, 히스토그램 중 하나 이상과 화면 분할 정보도 더미 라인으로부터 추출하여 출력할 수 있다. 사용자는 이 정보들을 이용하여 자동 노출 어플리케이션을 프로그래밍할 수 있게 된다.
이미지 시그널 프로세서는 베이스밴드 칩에서 화면 분할 정보 및 각 영역의 샘플링값에 따라 설정된 노출 설정 정보를 입력받는다(단계 S350). 노출 설정 정보는 자동 노출 어플리케이션에 따를 때 현재 프레임의 노출이 과한지 부족한지를 나타내는 정보이다.
이미지 시그널 프로세서는 노출 설정 정보에 따라 센서의 노출을 조정한다(단계 S360).
이상에서는 자동 노출 기능을 중심으로 다양한 사람들이 개발에 참여하고 성능을 개선 및 개발할 수 있는 구조의 이미지 시그널 프로세서 및 자동 노출 제어 방법을 설명하였다.
이와 동일하게 자동 화이트 밸런스 혹은 자동 포커스 기능에 대해서도 이미지 시그널 프로세서가 센서로부터 입력받은 영상 신호에 대하여 복수 개의 영역으로 화면 분할하여 샘플링한 값을 베이스밴드 칩으로 전달하고, 베이스밴드 칩에서는 샘플링된 정보를 출력함으로써 누구든지 해당 정보에 접근하여 자동 화이트 밸런스 혹은 자동 포커스를 위한 어플리케이션 프로그래밍이 가능하도록 할 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 센서 20, 100: 이미지 시그널 프로세서
22, 110: 포맷 컨버터 24: 분석 데이터 저장부
26: 영역별 블록 합산부 28, 140: 센서 컨트롤러
120: 이미지 샘플러 130: 히스토그램 생성부
150: 제어부 160: 출력 컨트롤러
170: 메모리 컨트롤러 180: 메모리
200: 베이스밴드 칩 210: 메모리 컨트롤러
220: 주 메모리 230: 베이스밴드 프로세서

Claims (23)

  1. 센서와 베이스밴드 칩 사이에 구비되는 이미지 시그널 프로세서로서,
    상기 센서로부터 입력되는 영상 신호의 포맷을 변환하는 포맷 컨버터;
    상기 포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링하는 이미지 샘플러-여기서, M, N은 자연수임-;
    상기 휘도 이미지에 대한 화면 분할 정보 및 상기 각 영역의 샘플링값을 메모리에 저장하는 메모리 컨트롤러;
    상기 메모리에 저장된 상기 화면 분할 정보 및 상기 각 영역의 샘플링값을 상기 베이스밴드 칩으로 전달하는 출력 컨트롤러; 및
    상기 베이스밴드 칩에서 상기 화면 분할 정보 및 상기 각 영역의 샘플링값에 따라 설정된 노출 설정 정보를 입력받고, 상기 노출 설정 정보에 따라 상기 센서의 노출을 조정하는 센서 컨트롤러를 포함하는 이미지 시그널 프로세서.
  2. 제1항에 있어서,
    상기 영상 신호는 RGB 데이터 포맷을 가지되,
    상기 포맷 컨버터는 상기 영상 신호를 YCrCb 혹은 YUV 도메인의 Y 값 및 HSV 도메인의 V 값으로 변환하고, 상기 Y 값 및 상기 V 값을 이용하여 상기 이미지의 새로운 밝기값을 생성하는 것을 특징으로 하는 이미지 시그널 프로세서.
  3. 제2항에 있어서,
    상기 포맷 컨버터는 하기 수학식에 따라 상기 새로운 밝기값을 생성하는 것을 특징으로 하는 이미지 시그널 프로세서
    - 수학식 new Y = Y x a + V x b, 여기서, new Y는 상기 새로운 밝기값, Y는 휘도, V는 명도, a 및 b는 각각 0 초과이며 합이 1인 계수임-.
  4. 제1항에 있어서,
    상기 포맷 컨버터는 탭 필터, 가우시안 필터, 메디안 필터 중 하나 이상을 이용하여 상기 영상 신호의 노이즈 제거를 수행하는 것을 특징으로 하는 이미지 시그널 프로세서.
  5. 제1항에 있어서,
    상기 이미지 샘플러는 상기 각 영역 내의 픽셀값의 평균값을 산출하여 상기 각 영역의 샘플링값으로 샘플링하는 것을 특징으로 하는 이미지 시그널 프로세서.
  6. 제5항에 있어서,
    상기 이미지 샘플러는 상기 각 영역의 샘플링값에 대해 소정의 기준 밝기값을 기준으로 한 음과 양의 방향 값인 변환 샘플링값으로 변환하며,
    상기 출력 컨트롤러가 변환된 각 영역의 상기 변환 샘플링값을 상기 베이스밴드 칩으로 전달하는 것을 특징으로 하는 이미지 시그널 프로세서.
  7. 제6항에 있어서,
    상기 각 영역의 변환 샘플링값에 대한 히스토그램을 생성하는 히스토그램 생성부를 더 포함하되,
    상기 출력 컨트롤러가 상기 히스토그램을 상기 베이스밴드 칩으로 전달하는 것을 특징으로 하는 이미지 시그널 프로세서.
  8. 제1항에 있어서,
    상기 각 영역의 샘플링값에 대한 히스토그램을 생성하는 히스토그램 생성부를 더 포함하되,
    상기 출력 컨트롤러가 상기 히스토그램을 상기 베이스밴드 칩으로 전달하는 것을 특징으로 하는 이미지 시그널 프로세서.
  9. 제7항에 있어서,
    상기 출력 컨트롤러는 상기 휘도 이미지에 대하여 수직 동기 신호(Vsync), 수평 동기 신호(Href) 및 이미지 데이터의 포맷으로 상기 베이스밴드 칩에 전달하되,
    상기 이미지의 마지막 라인 다음에 더미 라인을 생성하여 상기 더미 라인 내에 상기 샘플링값, 상기 변환 샘플링값, 상기 히스토그램 중 하나 이상과 상기 화면 분할 정보를 실어 전달하는 것을 특징으로 하는 이미지 시그널 프로세서.
  10. 제1항에 있어서,
    상기 화면 분할 정보는 M의 값, N의 값, 상기 영역의 수, 상기 영역의 크기 중 하나 이상을 포함하는 것을 특징으로 하는 이미지 시그널 프로세서.
  11. 광학 영상을 전기적인 영상 신호로 전환하는 센서;
    상기 센서로부터 입력받은 상기 영상 신호의 포맷을 변환하고, 상기 포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링하며, 노출 설정 정보에 따라 상기 센서의 노출을 조정하는 이미지 시그널 프로세서; 및
    화면 분할 정보 및 상기 이미지 시그널 프로세서에 의해 샘플링된 샘플링값을 상기 이미지 시그널 프로세서로부터 전달받아 표시부에 출력하고, 상기 샘플링값을 기초로 하는 사용자에 의해 프로그래밍된 자동 노출 어플리케이션에 따라 상기 노출 설정 정보를 생성하여 상기 이미지 시그널 프로세서로 전달하는 베이스밴드 칩을 포함하는 스마트폰(Smart Phone).
  12. 제11항에 있어서,
    상기 이미지 시그널 프로세서는 상기 샘플링값에 대한 히스토그램을 생성하여 상기 베이스밴드 칩으로 전달하며,
    상기 베이스밴드 칩은 상기 히스토그램을 전달받아 출력하는 것을 특징으로 하는 스마트폰.
  13. 제11항에 있어서,
    상기 이미지 시그널 프로세서는 상기 샘플링값을 미리 설정된 기준 밝기값을 기준으로 한 음과 양의 방향 값인 변환 샘플링값으로 변환하여 상기 베이스밴드 칩으로 전달하며,
    상기 베이스밴드 칩은 상기 변환 샘플링값을 전달받아 출력하는 것을 특징으로 하는 스마트폰.
  14. 제13항에 있어서,
    상기 이미지 시그널 프로세서는 상기 변환 샘플링값에 대한 히스토그램을 생성하여 상기 베이스밴드 칩으로 전달하며,
    상기 베이스밴드 칩은 상기 히스토그램을 전달받아 출력하는 것을 특징으로 하는 스마트폰.
  15. 센서와 베이스밴드 칩 사이에 구비되는 이미지 시그널 프로세서에서 자동 노출을 제어하는 방법으로서,
    (a) 상기 센서로부터 입력되는 영상 신호의 포맷을 변환하는 단계;
    (b) 상기 포맷 변환된 영상 신호에 상응하는 휘도 이미지를 M x N 개의 영역으로 화면 분할하여 샘플링하는 단계-여기서, M, N은 자연수임-;
    (c) 상기 휘도 이미지에 대한 화면 분할 정보 및 상기 각 영역의 샘플링값을 메모리에 저장하는 단계;
    (d) 상기 메모리에 저장된 상기 화면 분할 정보 및 상기 각 영역의 샘플링값을 상기 베이스밴드 칩으로 전달하는 단계;
    (e) 상기 베이스밴드 칩에서 상기 화면 분할 정보 및 상기 각 영역의 샘플링값에 따라 설정된 노출 설정 정보를 입력받는 단계; 및
    (f) 상기 노출 설정 정보에 따라 상기 센서의 노출을 조정하는 단계를 포함하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
  16. 제15항에 있어서,
    상기 영상 신호는 RGB 데이터 포맷을 가지되,
    상기 단계 (a)는, 상기 영상 신호를 YCrCb 혹은 YUV 도메인의 Y 값 및 HSV 도메인의 V 값으로 변환하는 단계와, 상기 Y 값 및 상기 V 값을 이용하여 상기 이미지의 새로운 밝기값을 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
  17. 제16항에 있어서,
    상기 단계 (a)는 하기 수학식에 따라 상기 새로운 밝기값을 생성하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법
    - 수학식 new Y = Y x a + V x b, 여기서, new Y는 상기 새로운 밝기값, Y는 휘도, V는 명도, a 및 b는 각각 0 초과이며 합이 1인 계수임-.
  18. 제15항에 있어서,
    상기 단계 (b)는 상기 각 영역 내의 픽셀값의 평균값을 산출하여 상기 각 영역의 샘플링값으로 샘플링하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
  19. 제18항에 있어서,
    상기 단계 (b)는 상기 각 영역의 샘플링값에 대해 소정의 기준 밝기값을 기준으로 한 음과 양의 방향 값인 변환 샘플링값으로 변환하는 단계를 포함하며,
    상기 단계 (d)는 각 영역의 상기 변환 샘플링값을 상기 베이스밴드 칩으로 전달하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
  20. 제19항에 있어서,
    상기 각 영역의 변환 샘플링값에 대한 히스토그램을 생성하는 단계를 더 포함하되,
    상기 단계 (d)는 상기 히스토그램을 상기 베이스밴드 칩으로 전달하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
  21. 제15항에 있어서,
    상기 각 영역의 샘플링값에 대한 히스토그램을 생성하는 단계를 더 포함하되,
    상기 단계 (d)는 상기 히스토그램을 상기 베이스밴드 칩으로 전달하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
  22. 제20항에 있어서,
    상기 단계 (d)는 상기 영상 신호에 대하여 수직 동기 신호(Vsync), 수평 동기 신호(Href) 및 이미지 데이터의 포맷으로 상기 베이스밴드 칩에 전달하되,
    상기 이미지의 마지막 라인 다음에 더미 라인을 생성하여 상기 더미 라인 내에 상기 샘플링값, 상기 변환 샘플링값, 상기 히스토그램 중 하나 이상과 상기 화면 분할 정보를 실어 전달하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
  23. 제15항에 있어서,
    상기 화면 분할 정보는 M의 값, N의 값, 상기 영역의 수, 상기 영역의 크기 중 하나 이상을 포함하는 것을 특징으로 하는 이미지 시그널 프로세서의 자동 노출 제어 방법.
KR1020100013680A 2010-02-16 2010-02-16 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법 KR101039404B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100013680A KR101039404B1 (ko) 2010-02-16 2010-02-16 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100013680A KR101039404B1 (ko) 2010-02-16 2010-02-16 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법

Publications (1)

Publication Number Publication Date
KR101039404B1 true KR101039404B1 (ko) 2011-06-07

Family

ID=44405102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100013680A KR101039404B1 (ko) 2010-02-16 2010-02-16 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법

Country Status (1)

Country Link
KR (1) KR101039404B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171376A1 (ko) * 2015-04-22 2016-10-27 상명대학교서울산학협력단 모바일 감성 콘텐츠 재생방법 및 이를 적용하는 플레이어
WO2018117681A1 (ko) * 2016-12-23 2018-06-28 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070001497A (ko) * 2005-06-29 2007-01-04 엠텍비젼 주식회사 영상 개선 시스템 및 영상 개선 방법
KR100685300B1 (ko) 2005-11-02 2007-02-22 엠텍비젼 주식회사 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR100920178B1 (ko) 2004-11-18 2009-10-06 노키아 코포레이션 이미지 데이터 변경을 위한 방법, 장치, 소프트웨어 및구성

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920178B1 (ko) 2004-11-18 2009-10-06 노키아 코포레이션 이미지 데이터 변경을 위한 방법, 장치, 소프트웨어 및구성
KR20070001497A (ko) * 2005-06-29 2007-01-04 엠텍비젼 주식회사 영상 개선 시스템 및 영상 개선 방법
KR100685300B1 (ko) 2005-11-02 2007-02-22 엠텍비젼 주식회사 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171376A1 (ko) * 2015-04-22 2016-10-27 상명대학교서울산학협력단 모바일 감성 콘텐츠 재생방법 및 이를 적용하는 플레이어
WO2018117681A1 (ko) * 2016-12-23 2018-06-28 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
US11153498B2 (en) 2016-12-23 2021-10-19 Samsung Electronics Co., Ltd Image processing method and electronic device supporting same

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
US11431915B2 (en) Image acquisition method, electronic device, and non-transitory computer readable storage medium
KR101257942B1 (ko) 광역 역광보정 영상처리에서의 전처리 방법 및 장치
RU2397542C2 (ru) Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
KR20150142038A (ko) 모션 고스트 필터링을 위한 기준 이미지 선택
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
CN104052933A (zh) 动态范围模式的判定方法及其图像获取装置
CN110445986B (zh) 图像处理方法、装置、存储介质及电子设备
JP4539432B2 (ja) 画像処理装置および撮像装置
JP2014153959A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
CN107682611B (zh) 对焦的方法、装置、计算机可读存储介质和电子设备
CN102088539A (zh) 一种预拍照画质评价方法和系统
JP2018098670A (ja) 撮像装置、撮像装置の制御方法及びプログラム
KR101039404B1 (ko) 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법
CN110572585B (zh) 图像处理方法、装置、存储介质及电子设备
CN112822413A (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
KR20120122574A (ko) 디지털 카메라 장치에서 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140428

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150428

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 9