KR20210151450A - 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법 - Google Patents

스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20210151450A
KR20210151450A KR1020200068297A KR20200068297A KR20210151450A KR 20210151450 A KR20210151450 A KR 20210151450A KR 1020200068297 A KR1020200068297 A KR 1020200068297A KR 20200068297 A KR20200068297 A KR 20200068297A KR 20210151450 A KR20210151450 A KR 20210151450A
Authority
KR
South Korea
Prior art keywords
binning
information
unit
pixel
edge
Prior art date
Application number
KR1020200068297A
Other languages
English (en)
Inventor
차수람
김동익
김태현
박성희
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020200068297A priority Critical patent/KR20210151450A/ko
Priority to US17/140,445 priority patent/US11196946B1/en
Priority to CN202110371335.4A priority patent/CN113766118B/zh
Priority to JP2021066285A priority patent/JP2021192505A/ja
Publication of KR20210151450A publication Critical patent/KR20210151450A/ko

Links

Images

Classifications

    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N5/2253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/369—
    • H04N9/045—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 엣지 정보 생성부엣지 정보 생성부엣지 정보 생성부픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 엣지 정보 생성부; 상기 엣지 정보 생성부에서 생성된 엣지 정보에 따라 가중치를 부여하는 가중치 할당부; 상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 EDI(Edge detection interpolation) 비닝을 수행하여 비닝값을 생성하는 비닝부; 할당부베이어 포맷으로 형성된 상기 복수의 픽셀 데이터를 4-섬(sum) 비닝을 통해 다운스케일된 평균값을 생성하는 베이어 비닝부; 및 상기 가중치 할당부에서 할당된 가중치에 따라 상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값을 결합하는 결합부를 포함하는 스마트 비닝 회로를 제공할 수 있다.

Description

스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법{SMART BINNING CIRCUIT, IMAGE SENSING DEVICE AND OPERATION METHOD THEREOF}
본 발명은 반도체 장치에 관한 것으로, 더욱 상세하게는 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법에 관한 것이다.
최근 컴퓨터 환경에 대한 패러다임(paradigm)이 언제, 어디서나 컴퓨터 시스템을 사용할 수 있도록 하는 유비쿼터스 컴퓨팅(ubiquitous computing)으로 전환되고 있다. 이로 인해 휴대폰, 디지털 카메라, 노트북 컴퓨터 등과 같은 휴대용 전자 장치의 사용이 급증하고 있다.
특히, 영상기기의 급속한 발전으로 이미지 센서가 장착된 카메라, 캠코더 등의 이미지 촬영 장치에 대한 개발이 가속화되고 있다. 이러한 이미지 촬영 장치는 이미지를 촬영하여 기록 매체에 기록함과 동시에, 언제든지 재생시킬 수 있어 사용자가 급속하게 증가하고 있다. 이에 따라 성능 및 기능에 대한 사용자의 요구도 점차 높아지고 있으며, 소형, 경량화, 저전력화와 더불어 고성능화 및 다기능화가 추구되고 있다.
본 발명의 실시 예들은 베이어 패턴에 따라 비닝한 평균값과 동일 색상 프레인을 추정하여 보간한 비닝값을 가중치에 따라 서로 다르게 할당하여 결합하는 스마트 비닝을 제공함으로써 해상도를 향상시킬 수 있다.
또한, 고조도에서는 바이패스하여 이미지 데이터를 바로 출력하므로써 화질 열화가 없고 저조도에서는 스마트 비닝을 통해 이미지를 출력함으로써 노이즈를 줄여 해상도를 향상시킬 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법을 제공한다.
본 발명의 실시 예들에 따른 스마트 비닝 회로는 엣지 정보 생성부엣지 정보 생성부엣지 정보 생성부픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 엣지 정보 생성부; 상기 엣지 정보 생성부에서 생성된 엣지 정보에 따라 가중치를 부여하는 가중치 할당부; 상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 EDI(Edge detection interpolation) 비닝을 수행하여 비닝값을 생성하는 비닝부; 할당부베이어 포맷으로 형성된 상기 복수의 픽셀 데이터를 4-섬(sum) 비닝을 통해 다운스케일된 평균값을 생성하는 베이어 비닝부; 및 상기 가중치 할당부에서 할당된 가중치에 따라 상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값을 결합하는 합부를 포함할 수 있다.
또한, 상기 비닝부는 상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 동일한 색상의 플레인(Plane)을 추정하기 위해 보간을 진행하는 보간 블럭; 및 상기 보간 블럭에서 보간된 픽셀 데이터를 바탕으로 상기 EDI 비닝을 수행하여 상기 비닝값을 생성하는 비닝 블록을 포함할 수 있다.
또한, 상기 보간 블럭은 생성된 엣지 정보를 기반으로 수평방향 필터, 수직방향 필터 및 수평/수직방향 필터를 이용하여 레드 색상 픽셀 및 블루 색상 픽셀을 그린 색상으로 추정할 수 있다.
또한, 상기 보간 블럭은 픽셀의 최소 엣지 방향이 수평방향일 때 수평방향 필터를 이용하고, 최소 엣지 방향이 수직방향일 때 수직방향 필터를 이용하며, 최소 엣지 방향이 대각방향일 때 수평방향 필터와 수직방향 필터를 동시에 이용할 수 있다.
또한, 상기 결합부는 상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값에 상기 가중치 할당부에서 할당된 가중치를 서로 다르게 할당하도록 제어하여 상기 가중치가 서로 다르게 할당된 상기 비닝값과 상기 평균값을 결합하여 출력할 수 있다.
또한, 상기 결합부는 상기 엣지의 강도가 설정된 값보다 크면 비닝부에서 생성된 비닝값에 가중치를 할당하고, 상기 엣지의 강도가 설정된 값보다 작으면 상기 베이어 비닝부에서 생성된 평균값에 가중치를 할당할 수 있다.
또한, 상기 가중치 할당부는 수평 방향 필터 및 수직 방향 필터를 이용하여 기울기값을 계산하고 이를 바탕으로 2x2 픽셀당 한 개의 가중치를 계산할 수 있다.
본 발명의 다른 실시예에 따른 이미지 센싱 장치는 복수의 픽셀을 구비한 이미지 센서; 및 상기 이미지 센서의 출력신호를 처리하는 이미지 신호 프로세서를 포함하되, 상기 이미지 센서 및 상기 이미지 신호 프로세서중 어느 하나의 내부에 스마트 비닝 회로가 구현되며, 상기 스마트 비닝 회로는, 엣지 정보 생성부엣지 정보 생성부엣지 정보 생성부픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 엣지 정보 생성부; 상기 엣지 정보 생성부에서 생성된 엣지 정보에 따라 가중치를 부여하는 가중치 할당부; 상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 EDI(Edge detecton interpolation) 비닝을 수행하여 비닝값을 생성하는 비닝부; 베이어 포맷으로 형성된 상기 복수의 픽셀 데이터를 4-섬(sum) 비닝을 통해 다운스케일된 평균값을 생성하는 베이어 비닝부; 및 상기 가중치 할당부에서 할당된 가중치에 따라 상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값을 결합하는 결합부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 이미지 센싱 장치는 복수의 픽셀을 구비한 이미지 센서; 및 상기 이미지 센서의 출력신호를 처리하는 이미지 신호 프로세서를 포함하되, 상기 이미지 센서 및 상기 이미지 신호 프로세서중 어느 하나의 내부에 스마트 비닝 회로가 구현되며, 상기 스마트 비닝 회로는, 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 생성된 엣지 정보에 따라 제1 비닝 동작을 수행하여 제1 픽셀 정보를 출력하는 스마트 비닝부; 상기 복수의 픽셀 데이터를 베이어 포맷으로 변환하여 제2 비닝 동작을 수행하여 제2 픽셀 정보를 출력하는 베이어 비닝부; 고조도와 저조도를 포함하는 조도 정보를 생성하는 조도 정보 생성부; 및 상기 조도 정보 생성부에서 생성된 조도 정보에 따라 상기 스마트 비닝부에서 출력된 상기 제1 픽셀 정보 또는 상기 베이어 비닝부에서 출력된 상기 제2 픽셀 정보를 선택적으로 출력하는 비닝 픽셀 정보 선택부를 포함할 수 있다.
또한, 상기 비닝 정보 선택부는 상기 조도 정보 생성부에서 출력된 조도 정보가 저조도일 때 상기 스마트 비닝부의 제1 비닝 동작을 수행하도록 선택하여 스마트 비닝 픽셀 정보를 출력하고, 상기 조도 정보 생성부에서 출력된 조도 정보가 고조도일 때 상기 베이어 비닝부의 제2 비닝 동작을 수행하도록 선택하여 베이어 비닝 픽셀 정보를 출력할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 이미지 센싱 장치의 동작 방법은 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 생성된 엣지 정보에 따라 제1 비닝 동작을 수행하여 제1 픽셀 정보를 출력하는 단계; 상기 복수의 픽셀 데이터를 베이어 포맷으로 변환하여 제2 비닝 동작을 수행하여 제2 픽셀 정보를 출력하는 단계; 고조도와 저조도를 포함하는 조도 정보를 생성하는 단계; 및 상기 조도 정보를 생성하는 단계에서 생성된 조도 정보에 따라 상기 제1 픽셀 정보 또는 제2 픽셀 정보를 선택적으로 출력하는 단계를 포함할 수 있다.또한, 상기 제1 비닝 동작은 엣지 정보를 바탕으로 EDI(Edige detection interpolation) 비닝을 수행하는 동작이고, 상기 제2 비닝 동작은 베이어 포맷으로 형성된 복수의 픽셀들을 4-섬(sum) 비닝을 통해 다운스케일링된 평균값을 생성하는 동작이며, 상기 선택적으로 출력하는 단계에서는 저조도 정보가 제공될 때 상기 제1 픽셀 정보를 출력하고, 고조도 정보가 제공될 때 제2 픽셀 정보를 출력할 수 있다.
또한, 상기 제1 픽셀 정보를 출력하는 단계는 상기 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 단계; 상기 엣지 정보에 따라 가중치를 할당하는 단계; 및 할당된 가중치에 따라 상기 엣지 정보를 바탕으로 EDI(Edge detecton interpolation) 비닝을 수행하여 비닝값을 생성하는 단계를 포함할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작 방법은 베이어 패턴에 따라 비닝한 평균값과 동일 색상 프레인을 추정하여 보간한 비닝값을 가중치에 따라 서로 다르게 할당하여 결합하는 스마트 비닝을 제공함으로써 해상도를 향상시킬 수 있다.
또한, 고조도에서는 바이패스하여 이미지 데이터를 바로 출력하므로써 화질 열화가 없고 저조도에서는 스마트 비닝을 통해 이미지를 출력함으로써 노이즈를 줄여 해상도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 2는 본 발명의 다른 실시 예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 스마트 비닝 회로의 블록도를 나타낸다.
도 4는 도 3에 도시된 비닝부의 G 플레인(plane) 추정을 설명하는 도면이다.
도 5는 도 3에 도시된 평균값 비닝을 설명하는 도면이다.
도 6은 도 3에 도시된 가중치 할당부의 계산 과정을 설명하는 도면이다.
도 7은 도 3에 도시된 가중치 할당부의 계산 과정에 사용되는 필터의 일 예를 설명하는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 스마트 비닝회로의 블록도를 나타낸다.
도 9는 본 발명의 또 다른 실시예에 따른 이미지 센싱 장치의 동작을 설명하는 흐름도이다.
도 10은 본 발명의 일시예에 따른 이미지 센싱 장치가 적용된 시스템의 일 실시예를 설명하는 블록도를 나타낸다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예들에 대해서 보다 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 1을 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100) 및 이미지 신호 프로세서(ISP, 400)를 포함할 수 있다.
이미지 센싱 장치(10)는 PC(personal computer) 또는 모바일 컴퓨팅 장치로 구현될 수있다. 상기 이미지 센싱 장치는 랩탑 컴퓨터 (laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT))장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
이미지 센서(100)는 픽셀 어레이(200)와 스마트 비닝 회로(300)를 포함할 수 있다.
픽셀 어레이(200)는 복수의 픽셀을 구비할 수 있다. 여기서, 픽셀(pixel)은 픽셀 데이터를 의미할 수 있고, RGB 데이터 포맷, YUV 데이터 포맷, 또는 YCbCr 데이터 포맷을 가질 수 있으나 이에 한정되는 것은 아니다.
스마트 비닝 회로(300)는 복수의 픽셀을 구비한 픽셀 어레이(200)로부터 출력된 각 픽셀 데이터로부터 엣지 정보를 생성하고 이를 바탕으로 EDI(Edge detection interpolation) 비닝을 수행하여 비닝값을 생성하고, 각 픽셀 데이터로부터 동일한 색상의 4-섬(sum) 비닝을 통해 다운스케일된 평균값을 생성하며, 생성된 엣지 정보에 따라 할당된 가중치에 따라 비닝값과 평균값을 결합하여 출력할 수 있다.
스마트 비닝 회로(300)의 상세한 구성과 동작은 도 3 내지 도 8을 참조하여 후술한다.
이미지 신호 프로세서(400)는 프로세서의 일 실시 예로서 집적 회로, 시스템 온 칩(system on chip(SoC)), 또는 모바일 AP로 구현될 수 있다. 이미지 신호 프로세서(400)는 상기 이미지 센서(100)의 출력신호를 처리한다. 즉, 이미지 센서(100)내에 구비된 스마트 비닝 회로(300)에서 결합하여 출력된 이미지 출력신호를 제공받아 처리할 수 있다.
상세하게는, 이미지 신호 프로세서(400)는 픽셀 데이터에 상응하는 베이어 패턴(BAYER)을 처리하여 RGB 이미지 데이터를 생성할 수 있다. 예컨대, 이미지 신호 프로세서(400)는 이미지 데이터(IDATA)가 디스플레이에서 디스플레이될 수 있도록 베이어 패턴(BAYER)을 가공(또는 처리)하고, 가공(또는 처리)된 이미지 데이터를 인터페이스로 전송할 수 있다.
실시예에 따라, 이미지 센서(100)와 이미지 신호 프로세서(400)는 각각 칩으로 구현되고, 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다. 다른 실시 예에 따라, 이미지 센서(100)와 이미지 신호 프로세서(400)는 하나의 칩으로 구현될 수도 있다.
도 2는 본 발명의 다른 실시 예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 2를 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100) 및 이미지 신호 프로세서(ISP, 400)를 포함할 수 있다.
스마트 비닝 회로(300)가 이미지 센서(100) 내에 구현되지 않고 이미지 신호 프로세서(400) 내에 구현된 것을 제외하면, 도 2의 이미지 센싱 장치(10)의 구조와 동작은 도 1의 이미지 센싱 장치(10)의 구조와 동작이 실질적으로 동일하거나 유사하므로 상세한 설명은 생략한다.
이하, 도 3 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 스마트 비닝 회로를 설명한다.
도 3은 본 발명의 일 실시예에 따른 스마트 비닝 회로의 블록도를 나타내고, 도 4는 도 3에 도시된 비닝부의 G 플레인(plane) 추정을 설명하는 도면이며, 도 5는 도 3에 도시된 베이어 비닝부의 평균값을 설명하는 도면이고, 도 6은 도 3에 도시된 가중치 할당부의 계산 과정을 설명하는 도면이며, 도 7은 도 3에 도시된 가중치 할당부의 계산 과정에 사용되는 필터의 일 예를 설명하는 도면이다.
도 3 내지 도 7을 참조하면, 스마트 비닝 회로(300)는 엣지 정보 생성부(310), 비닝부(330), 가중치 할당부(320), 베이어 비닝부(380) 및 출력부(390)를 포함한다.
엣지 정보 생성부(310)는 픽셀 어레이로부터 출력된 이미지 데이터로부터 엣지(edge) 정보를 감지할 수 있다.
비닝부(330)는 엣지 정보 생성부(310)에서 감지된 엣지 정보를 바탕으로 EDI(Edge detection interpolation) 비닝을 수행하여 비닝값을 생성할 수 있다. EDI 비닝 동작은 엣지 정보를 바탕으로 플레인(Plane)내에서 보간을 진행하고 보간된 데이터를 바탕으로 비닝을 실행하는 동작이다.
비닝부(330)는 보간 블럭(340) 및 비닝 블럭(350)을 포함할 수 있다.
도 4에 도시된 바와 같이 본 실시예에서는 6X6 픽셀 사이즈를 일예로 설명한다.
보간 블럭(340)은 엣지 정보 생성부(310)에서 감지된 엣지 정보를 바탕으로 그린 플레인을 추정하기 위해 보간을 진행할 수 있다.
예를들면 그린 색상의 픽셀인 G11, G13, G15, G22, G24, G26, G31, G33, G35, G42, G44, G46, G51, G53, G55, G62, G64, G66은 그린 색상이므로 변경없이 그대로 유지된다. 레드 색상 픽셀인 R12, R14, R16, R32, R34, R36, R52, R54, R56은 그린 색상인 G12, G14, G15, G32, G34, G36, G52, G54, G56으로 추정되어 변경될 수 있다. 블루 색상 픽셀인 B21, B23, B25, B41, B43, B45, B61, B63, B65는 그린 색상인 G21, G23, G25, G41, G43, G45, G61, G63, G65로 추정되어 변경될 수 있다.
이때, 보간블럭(340)은 감지된 엣지 정보를 기반으로 텍스쳐(texture)를 거스리지 않는 방향으로 수평방향 필터, 수직방향 필터 및 수평/수직방향 필터를 통해 그린 색상 추정을 진행할 수 있다.
만약, B34 픽셀에서 최소 엣지 방향이 수평방향인 경우에는 수평방향 필터를 이용하여 G34=(G33+G35)/2의 수식에 따라 그린 색상 픽셀값 G34로 추정되어 보간된다.
만약, B34 픽셀에서 최소 엣지 방향이 수직방향인 경우에는 수직방향 필터를 이용하여 G34=(G24+G44)/2의 수식에 따라 그린 색상 픽셀 G34로 추정되어 보간된다.
만약, B34 픽셀에서 최소 엣지 방향이 대각(수평/수직)방향인 경우에는 수평/수직 필터를 이용하여 G34=(G33+G35+G24+G44)/4의 수식에 따라 그린 색상 픽셀 G34로 추정되어 보간된다.
비닝 블럭(350)은 보간 블록(340)부에서 보간된 그린 플레인(plane)의 픽셀 데이터를 바탕으로 비닝을 수행하여 비닝값을 생성할 수 있다.
즉, 2X2 픽셀에 포함된 4개의 픽셀들이 1개의 픽셀로 다운 스케일링 될 수 있다.
예를들면, G34는 (G33+G34+G43+G44)/4의 수식에 따라 다운 스케일링 될 수 있다. 즉, 그린 색상 픽셀 G33, G44 및 보간된 픽셀 G34, G43의 평균값인 비닝값을 생성하도록 비닝을 수행한다.
이때, 도 4에 도시된 6X6 픽셀 어레이는 9개의 2X2 픽셀로 다운 스케일링 될 수 있다.
가중치 할당부(320)는 엣지 정보 생성부(310)에서 감지된 텍스쳐의 엣지 강도에 따라 가중치를 계산할 수 있다.
도 5 및 6을 참조하면, 가중치 할당부(320)는 수평 방향 필터 및 수직 방향 필터를 이용하여 기울기값을 계산하고 이를 바탕으로 2x2 픽셀당 한 개의 가중치를 계산할 수 있다.
예를들면, 2X2 픽셀인 G11, R12, B21, G22에 대한 평균값 Y00_bin을 하기 수식에 따라 계산할 수 있다.
[수식 1]
*Y00_bin = (P11 + P12 + P21 + P22)/4
즉, 도 6에 도시된 6X6 픽셀에 대해 9개의 2X2 대표값을 수식 1과 동일한 방식으로 계산할 수 있다.
이어서, 도 6에 도시된 바와 같이, 9개의 2X2 대표값에 대해 수평 방향 필터 및 수직 방향 필터를 이용하여 기울기값(Gradient)을 계산할 수 있으며 이를 바탕으로 0부터 16까지의 가중치 값을 획득할 수 있다.
이때, 본 발명의 실시예에서는 Prewitt 함수를 이용한 수평방향 필터 및 수직방향 필터로 사용되고 있으나, 다른 실시예에서는 Sobel 함수, Roberts 함수 등이 사용될 수 있다.
가중치값을 획득하는 구체적인 연산은 당업자에게 널리 알려진 내용이므로 상세한 설명은 생략된다.
베이어 비닝부(380)은 픽셀 어레이(200)로부터 출력된 이미지 데이터에서 동일한 색상의 4-섬(합산) 평균값 비닝을 수행하여 평균값을 생성할 수 있다. 본 실시예에서는 베이어(bayer) 패턴에 따른 데이터가 4-섬 평균값 비닝 수행될 수 있다.
도 7에 도시된 6X6 픽셀에서 센터에 위치한 2X2 픽셀중 그린 색상 픽셀 G33, 레드 색상 픽셀 R34, 블루 색상 픽셀 B43에 대한 평균값은 하기 수식 2와 같이 인접한 다른 그린 색상 픽셀들의 합의 평균으로 계산될 수 있다.
[수식 2]
GOUT=(G33+G35+G53+G55)/4
ROUT=(R34+R36+R54+R56)/4
BOUT=(B43+B45+B63+B65)/4
결합결합부(390)는 비닝부(330)에서 생성된 비닝값과 베이어 비닝부(380)에서 생성된 평균값에 가중치 할당부(320)에서 계산된 가중치를 서로 다르게 할당하고 가중치가 서로 다르게 할당된 비닝값과 평균값을 결합하여 출력할 수 있다.
예들들면 결합결합부(390)에서의 가중치 할당은 하기 수식 3과 같이 할당될 수 있다.
[수식 3]
{(가중치*평균값)+(16-가중치)*비닝값}/16
이때, 엣지의 강도가 설정된 값보다 크면 비닝부(300)의 비닝블럭(350)에서 생성된 비닝값에 가중치를 할당하고, 엣지의 강도가 설정된 값보다 작으면 베이어 비닝부(380)에서 생성된 평균값에 가중치를 할당할 수 있다.
이하에서는, 도 8을 참조하여 본 발명의 또 다른 실시예에 따른 스마트 비닝 회로를 설명하는데, 도 8은 본 발명의 또 다른 실시예에 따른 스마트 비닝 회로의 블록도를 나타낸다.
도 8에 도시된 스마트 비닝 회로(300)는 상기 스마트 비닝 회로는 스마트 비닝부(305), 베이어 비닝부(360), 조도 정보 생성부(370) 및 픽셀 정보 선택부(380)을 포함한다.
스마트 비닝부(305)는 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 생성된 엣지 정보에 따라 제1 비닝 동작을 수행하여 제1 픽셀 정보를 출력할 수 있다.
이때, 제1 비닝 동작은 엣지 정보를 바탕으로 EDI(Edige detection interpolation) 비닝을 수행하는 동작을 나타낸다.
스마트 비닝부(305)는 엣지 정보 생성부(310), 가중치 할당부(320) 및 비닝부(330)를 포함할 수 있다.
엣지 정보 생성부(310)는 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성할 수 있다.
가중치 할당부(320)는 엣지 정보 생성부(310)에서 생성된 엣지 정보에 따라 가중치를 부여할 수 있다.
비닝부(330)는 가중치 할당부(320)에서 할당된 가중치에 따라 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 EDI(Edge detecton interpolation) 비닝을 수행하여 비닝값을 생성할 수 있다.
비닝부(330)는 보간 블럭(340) 및 비닝 블럭(350)을 포함할 수 있다.
스마트 비닝부(305)에 포함된 엣지 정보 생성부(310), 가중치 할당부(320) 및 비닝부(330)의 보다 상세한 동작 설명은 도 3 내지 도 7에 도시된 설명과 동일하므로 생략한다.
베이어 비닝부(360)는 상기 복수의 픽셀 데이터를 베이어 포맷으로 변환하여 제2 비닝 동작을 수행하여 제2 픽셀 정보를 출력할 수 있다. 이때, 제2 비닝 동작은 베이어 포맷으로 형성된 복수의 픽셀들을 4-섬(sum) 비닝을 통해 다운스케일링된 평균값을 생성하는 동작이다.
베이어 비닝부(360)의 상세한 동작 설명은 도 3 내지 도 7에 도시된 설명과 동일하므로 생략한다.
조도 정보 생성부(370)는 기 설정된 기준에 따라 주변 환경조건이 고조도 상태인지, 저조도 상태인지를 나타내는 고조도와 저조도를 포함하는 조도 정보를 생성할 수 있다.
픽셀 정보 선택부(380)는 조도 정보 생성부(370)에서 생성된 조도 정보에 따라 스마트 비닝부(305)에서 출력된 제1 픽셀 정보 또는 베이어 비닝부(360)에서 출력된 제2 픽셀 정보를 선택적으로 출력할 수 있다.
이때, 픽셀 정보 선택부(380)는 조도 정보 생성부(370)로부터 저조도 정보가 제공될 때에는 스마트 비닝부(305)에서 출력된 제1 픽셀 정보를 출력하고, 조도 정보 생성부(370)로부터 고조도 정보가 제공될 때 베이어 비닝부(360)에서 출력된 제2 픽셀 정보를 출력할 수 있다.
이하에서는, 도 9를 참조하여 본 발명의 일 시시예에 따른 이미지 센싱 장치의 동작을 설명한다. 도 9는 본 발명의 일 실시예에 따른 이미지 센싱 장치의 동작을 설명하는 흐름도이다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 센싱 장치의 동작은 제1 픽셀 정보를 제공하는 단계(S1000), 제2 픽셀 정보를 제공하는 단계(S2000), 조도 정보를 판단 단계(S3000) 및 선택적 출력단계(S4000)를 포함할 수 있다.
제1 픽셀 정보를 제공하는 단계(S1000)에서는 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 생성된 엣지 정보에 따라 제1 비닝 동작을 수행하여 제1 픽셀 정보를 할 수 있다.
이때, 제1 비닝 동작은 엣지 정보를 바탕으로 EDI(Edige detection interpolation) 비닝을 수행하는 동작이다.
제1 픽셀 정보를 출력하는 단계(S1000)는 엣지 정보를 생성하는 단계(S1100), 가중치 할당 단계(S1200) 및 비닝값 생성 단계(S1300)를 포함할 수 있다.
엣지 정보를 생성하는 단계(S1100)에서는 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성할 수 있다.
가중치 할당 단계(S1200)에서는 생성된 엣지 정보에 따라 가중치를 계산하여 할당할 수 있다.
이때, 수평 방향 필터 및 수직 방향 필터를 이용하여 기울기값을 계산하고 이를 바탕으로 2x2 픽셀당 한 개의 가중치를 계산할 수 있다. 상기 가중치의 범위는 0에서 16사이일 수 있다.
가중치 계산에 대한 상세한 설명은 도 5 및 도 6에 대해 이미 설명하였으므로 생략한다.
비닝값 생성 단계(S1300)에서는 생성된 엣지 정보를 바탕으로 EDI(Edige detection interpolation) 비닝을 수행할 수 있다. 이때, 생성된 엣지 정보를 바탕으로 동일한 플레인(plane)을 추정하도록 보간을 진행하고 보간된 픽셀 데이터를 바탕으로 비닝을 실행하여 비닝값을 생성할 수 있다.
이때, 감지된 엣지 정보를 기반으로 텍스쳐(texture)를 거스리지 않는 방향으로 수평방향 필터, 수직방향 필터 및 수평/수직방향 필터를 통해 그린 색상 추정을 진행할 수 있다.
도 4를 참조하면, B34 픽셀에서 최소 엣지 방향이 수평방향인 경우에는 수평방향 필터를 이용하여 G34=(G33+G35)/2의 수식에 따라 그린 색상 픽셀값 G34로 추정되어 보간될 수 있다.
만약, B34 픽셀에서 최소 엣지 방향이 수직방향인 경우에는 수직방향 필터를 이용하여 G34=(G24+G44)/2의 수식에 따라 그린 색상 픽셀 G34로 추정되어 보간될 수 있다.
만약, B34 픽셀에서 최소 엣지 방향이 대각(수평/수직)방향인 경우에는 수평/수직 필터를 이용하여 G34=(G33+G35+G24+G44)/4의 수식에 따라 그린 색상 픽셀 G34로 추정되어 보간될 수 있다.
제2 픽셀 정보를 제공하는 단계(S2000)에서는 복수의 픽셀 데이터를 베이어 포맷으로 변환하여 제2 비닝 동작을 수행하여 제2 픽셀 정보를 제공할 수 있다.
이때, 제2 비닝 동작은 베이어 포맷으로 형성된 복수의 픽셀들을 4-섬(sum) 비닝을 통해 다운스케일링된 평균값을 생성하는 동작을 나타낸다.
조도 정보를 판단 단계(S3000)에서는 주변 환경조건에 따라 기 설정된 기준값에 따라 고조도 상태 및 저조도 상태를 판단하여 고조도 정보와 저조도 정보를 포함하는 조도 정보를 생성할 수 있다.
선택적 출력단계(S4000, S5000)에서는 조도 정보를 생성하는 단계(S3000)에서 생성된 조도 정보에 따라 제1 픽셀 정보 또는 제2 픽셀 정보를 선택적으로 출력할 수 있다.
이때, 저조도 정보가 제공될 때에는 제1 픽셀 정보를 출력하고(S4000), 고조도 정보가 제공될 때에는 제2 픽셀 정보를 출력할 수 있다(S5000).
이하, 본 발명의 일시예에 따른 이미지 센싱 장치가 적용된 시스템의 일 실시예를 설명한다. 도 10은 본 발명의 일시예에 따른 이미지 센싱 장치가 적용된 시스템의 일 실시예를 설명하는 블록도를 나타낸다.
도 10에 도시된 시스템은 퍼스널 컴퓨터 시스템, 데스크탑 컴퓨터, 랩탑 또는 노트북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨팅 디바이스, 셀룰러 폰, 스마트폰, 모바일 폰, 워크스테이션, 네트워크 컴퓨터, 소비자 디바이스, 애플리케이션 서버, 저장 디바이스, 지능형 디스플레이, 주변장치 디바이스 그 예로서 스위치, 모뎀, 라우터, 기타 등등, 또는 일반적으로 임의의 유형의 컴퓨팅 디바이스를 포함하지만, 이에 제한되지 않는 다양한 유형들의 컴퓨팅 디바이스 중 어느 것일 수 있다.
일 예시 실시예에 따라서, 도 9에 예시된 시스템은 시스템-온-칩(system-on-a-chip, SOC)을 나타낼 수 있다. 이름에서 암시되는 바와 같이, SOC(1000)의 컴포넌트들은 집적 회로 "칩"처럼 단일 반도체 기판 상에 집적될 수 있다. 몇몇 실시예에서, 컴포넌트들은 시스템에서 둘 이상의 별개의 칩 상에 구현될 수 있다. SOC(1000)는 본 명세서에서 예시로서 사용될 것이다.
예시된 실시예에서, SOC(1000)의 컴포넌트들은 중앙 프로세싱 유닛(CPU) 컴플렉스(1020), 온-칩 주변장치 컴포넌트들(1040A 및 1040B)(보다 간략하게, "주변장치들"), 메모리 제어기(MC)(1030), 이미지 신호 프로세서(400) 및 통신 패브릭(fabric)(1010)을 포함할 수 있다.
SOC(1000)는 또한 추가 컴포넌트들에, 그 예로서 메모리(1800) 및 이미지 센서(100)에 결합될 수 있다. 컴포넌트들(1020, 1030, 1040A 및 1040B, 그리고 200) 모두는 통신 패브릭(1010)에 결합될 수 있다. 메모리 제어기(1030)는 사용 중에 메모리(1800)에 결합될 수 있고, 주변장치(1040B)는 사용 중에 외부 인터페이스(1900)에 결합될 수 있다.
예시되는 실시예에서, CPU 컴플렉스(1020)는 하나 이상의 프로세서(1024) 및 레벨 2(L2) 캐시(1022)를 포함할 수 있다. 주변장치들(1040A 및 1040B)은 SOC(1000)에 포함된 추가 하드웨어 기능성의 임의의 세트일 수 있다. 예를들어, 주변장치들(1040A 및 1040B)은 하나 이상의 디스플레이 디바이스들 상에 비디오 데이터를 디스플레잉하도록 구성된 디스플레이 제어기들, 그래픽 프로세싱 유닛(GPU)들, 비디오 인코더/디코더들, 스케일러(scaler)들, 로테이터(rotator)들, 블렌더(blender)들, 기타 등등을 포함할 수 있다.
이미지 신호 프로세서(400)는 이미지 센서(100)(또는 다른 이미지 센서)로부터 이미지 캡처 데이터를 프로세싱할 수 있다. 이미지 신호 프로세서(400) 및 이미지 센서(100)는 도 1 내지 도 9에 도시된 이미지 신호 프로세서(400)와 이미지 센서(100)의 구성 및 동작이 적용될 수 있다.
주변장치들은 또한 오디오 주변장치들 그 예로서 마이크로폰들, 스피커들, 마이크로폰들 및 스피커들에 대한 인터페이스들, 오디오 프로세서들, 디지털 신호 프로세서들, 믹서들, 기타 등등을 포함할 수 있다. 주변장치들은, 인터페이스들 그 예로서 범용 직렬 버스(USB), PCI 익스프레스(PCIe)를 포함한 주변장치 컴포넌트 인터커넥트(PCI), 직렬 및 병렬 포트들, 기타 등등을 포함한 SOC(1000) 외부의 다양한 인터페이스들(1900)에 대한 주변장치 인터페이스제어기들(예컨대, 주변장치(1040B))을 포함할 수 있다. 주변장치들은 네트워킹 주변장치들 그 예로서 미디어 액세스 제어기(MAC)들을 더 포함할 수 있다. 일반적으로, 임의의 세트의 하드웨어가 다양한 실시예들에따라서, 포함될 수 있다.
CPU 컴플렉스(1020)는 SOC(1000)의 CPU 역할을 하는 하나 이상의 CPU 프로세서들(1024)을 포함할 수 있다. 시스템의 CPU는 시스템, 그 예로서 운영체제의 메인 제어 소프트웨어를 실행하는 프로세서(들)를 포함할 수 있다. 일반적으로, 사용 중 CPU에 의해 실행되는 소프트웨어는 시스템의 다른 컴포넌트들을 제어하여 소기의 시스템의 기능성을 실현할 수 있다. 프로세서들(1024)은 또한 다른 소프트웨어, 그 예로서 애플리케이션 프로그램들을 실행할 수 있다. 애플리케이션 프로그램들은 사용자 기능성을 제공할 수 있고, 저 레벨 디바이스 제어를 위해 운영체제에 의존할 수 있다. 따라서, 프로세서들(1024)은 또한 애플리케이션 프로세서들로 지칭될 수 있다.
CPU 컴플렉스(1020)는 다른 하드웨어, 그 예로서 L2 캐시(1022) 및/또는 시스템의 다른 컴포넌트들에 대한 인터페이스(예컨대, 통신 패브릭(1010)에 대한 인터페이스)를 더 포함할 수 있다.
일반적으로, 프로세서는 프로세서에 의해 구현된 명령어 세트 아키텍처에 정의된 명령어들을 실행하도록 구성된 임의의 회로 및/또는 마이크로코드를 포함할 수 있다. 명령어들을 실행시키는 것에 응답하여 프로세서들 상에 의해 동작되는 명령어들 및 데이터는 메모리(1800)에 일반적으로 저장될 수 있지만, 소정의 명령어들 역시 주변장치들로의 직접적인 프로세서 액세스에 대해 정의될 수 있다. 프로세서들은 시스템 온 칩(SOC(1000)) 또는 다른 레벨들의 통합부로서 다른 컴포넌트들과 함께 집적 회로 상에서 구현된 프로세서 코어들을 망라할 수 있다. 프로세서들은 별개의 마이크로프로세서들, 프로세서 코어들 및/또는 멀티칩 모듈 구현부들 내에 집적화된 마이크로프로세서들, 다수의 집적 회로들로서 구현된 프로세서들, 기타 등등을 더 망라할 수 있다.
메모리 제어기(1030)는 일반적으로 SOC(1000)의 다른 컴포넌트들로부터 메모리 동작들을 수신하고, 메모리(1800)에 액세스하여 메모리 동작들을 완수하기 위한 회로를 포함할 수 있다. 메모리 제어기(1030)는 임의의 유형의 메모리(1800)에 액세스하도록 구성될 수 있다. 예를 들어, 메모리(1800)는 SRAM(static random accessmemory), DRAM(dynamic RAM), 그 예로서 더블 데이터 레이트(DDR, DDR2, DDR3 기타 등등) DRAM을 포함하는 SDRAM(synchronous DRAM)일 수 있다. 저전력/모바일 버전들의 DDR DRAM(예컨대, LPDDR, mDDR 기타 등등)이 지원될 수 있다. 메모리 제어기(1030)는 동작들을 지시하고(그리고 잠재적으로 재지시하고) 동작들을 메모리(1800)에 제시하는, 메모리 동작들을 위한 큐들을 포함할 수 있다. 메모리 제어기(1030)는 메모리로의 기입을 기다리는 기입 데이터 및 메모리 동작의 소스로의 복귀를 기다리는 판독 데이터를 저장하는 데이터 버퍼들을 더 포함할 수 있다.
몇몇 실시예들에서, 메모리 제어기(1030)는 최근에 액세스된 메모리 데이터를 저장하는 메모리 캐시를 포함할 수 있다. SOC 구현예들에서, 예를 들어, 메모리 캐시는, 다시 곧 액세스될 것으로 예상되는 경우에 메모리(1800)로부터의 데이터의 재-액세스를 피함으로써, SOC에서의 전력 비를 감소시킬 수 있다. 일부 경우들에서, 메모리 캐시는 또한, 소정의 컴포넌트들만을 보조하는 프라이빗 캐시들 그 예로서 프로세서들(1024)의 L2 캐시(1022) 또는 캐시들과 상반되는 것과 같은, 시스템 캐시로서 지칭될 수 있다. 추가적으로, 몇몇 실시예에서, 시스템 캐시는 메모리 제어기(1030) 내에 위치될 필요가 없다.
실시예에서, 메모리(1800)는 칩-온-칩 또는 패키지-온-패키지 구성으로 SOC(1000)와 함께 패키징될 수 있다. SOC(1000) 및 메모리(1800)의 멀티칩 모듈 구성 역시 사용될 수 있다. 그러한 구성들은 시스템 내의 다른 컴포넌트들로의(예컨대, 종점들 16A 및 16B로의) 전송들보다 (데이터 관측 면에서) 상대적으로 더 안정적일 수
있다. 따라서, 보호 데이터는 메모리(1800)에 암호화되지 않은 상태로 상주할 수 있는 반면, 보호 데이터는 SOC(1000)와 외부 종점들 사이에서의 교환을 위해 암호화될 수 있다.
통신 패브릭(1010)은 SOC(1000)의 컴포넌트들 중에서 통신을 위한 임의의 통신 인터커넥트 및 프로토콜일 수 있다. 통신 패브릭(1010)은 공유 버스 구성들, 크로스 바(cross bar) 구성들, 및 브릿지를 갖는 계층적 버스들을 포함한 버스에 기반할 수 있다. 통신 패브릭(1010)은 또한 패킷에 기반할 수 있고, 브릿지를 갖는 계층이거나, 크로스 바, 지점 간 연결(point-to-point), 또는 다른 인터커넥트들일 수 있다. 도 9에 도시된 개수보다 많거나 적은 각각의 컴포넌트/서브컴포넌트가 있을 수 있다.
몇몇 실시예들에서, 본 명세서에서 기술된 방법들은 컴퓨터 프로그램 제품, 또는 소프트웨어에 의해 구현될 수 있다. 몇몇 실시예들에서, 비-일시적인, 컴퓨터-판독가능 저장 매체는 컴퓨터 시스템(또는 다른 전자 디바이스들)을 프로그램하여, 본 명세서에 기술된 기법들 중 몇몇 또는 모두를 수행하기 위해 사용될 수 있는 명령어들을 저장할 수 있다. 컴퓨터-판독가능 저장 매체는 기계(예컨대, 컴퓨터)에 의해 판독가능한 형태(예컨대, 소프트웨어, 프로세싱 애플리케이션)로 정보를 저장하는 임의의 메커니즘을 포함할 수 있다. 기계-판독가능 매체는 자기 저장 매체(예컨대, 플로피 디스켓); 광 저장 매체(예컨대, CD-ROM); 광자기 저장 매체; 판독 전용 메모리(ROM); 랜덤 액세스 메모리(RAM); 소거 및 프로그램가능 메모리(예컨대, EPROM 및 EEPROM); 플래시 메모리; 전기, 또는 프로그램 명령어들을 저장하기에 적합한 다른 유형들의 매체를 포함할 수 있지만, 이에 제한되지 않는다. 추가로, 프로그램 명령어들은 광, 음향 또는 다른 형태의 전파된 신호(예컨대, 반송파들, 적외선 신호들, 디지털 신호들, 기타 등등)를 사용하여 통신될 수 있다.
컴퓨터 시스템(1000)은 하나 이상의 모듈들, 그 예로서 동일한 컴퓨터 시스템의 메모리(1800)에 저장된 프로그램 명령어들 내에 존재할 수 있거나, 컴퓨터 시스템(1000)과 유사하거나 서로 다른 또 다른 컴퓨터 시스템의 메모리 내에 저장된 프로그램 명령어들 내에 존재할 수 있는, 로컬 톤 맵핑 회로를 실행하도록 구성될 수 있는 프로세서 유닛(1020)(가능하다면 다수의 프로세서들, 싱글-스레드(threaded) 프로세서, 멀티-스레드 프로세서, 멀티-코어 프로세서, 기타 등등을 포함함)을 포함할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
10: 이미지 센싱 장치
100: 이미지 센서
200: 픽셀 어레이
300: 스마트 비닝 회로
310: 엣지 정보 생성부
320: 가중치 할당부
330: 비닝부
340: 보간 블럭
350: 비닝 블럭
360: 베이어 비닝부
390: 결합부
400: 이미지 신호 프로세서

Claims (20)

  1. 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 엣지 정보 생성부;
    상기 엣지 정보 생성부에서 생성된 엣지 정보에 따라 가중치를 부여하는 가중치 할당부;
    상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 EDI(Edge detection interpolation) 비닝을 수행하여 비닝값을 생성하는 비닝부;
    베이어 포맷으로 형성된 상기 복수의 픽셀 데이터를 4-섬(sum) 비닝을 통해 다운스케일된 평균값을 생성하는 베이어 비닝부; 및
    상기 가중치 할당부에서 할당된 가중치에 따라 상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값을 결합하는 결합부를
    포함하는 스마트 비닝 회로.
  2. 제1항에 있어서,
    상기 비닝부는
    상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 동일한 색상의 플레인(Plane)을 추정하기 위해 보간을 진행하는 보간 블럭; 및
    상기 보간 블럭에서 보간된 픽셀 데이터를 바탕으로 상기 EDI 비닝을 수행하여 상기 비닝값을 생성하는 비닝 블럭을
    포함하는 스마트 비닝 회로.
  3. 제2항에 있어서,
    상기 보간 블럭은 생성된 엣지 정보를 기반으로 수평방향 필터, 수직방향 필터 및 수평/수직방향 필터를 이용하여 레드 색상 픽셀 및 블루 색상 픽셀을 그린 색상으로 추정하는
    스마트 비닝 회로.
  4. 제3항에 있어서,
    상기 보간 블럭은 픽셀의 최소 엣지 방향이 수평방향일 때 수평방향 필터를 이용하고, 최소 엣지 방향이 수직방향일 때 수직방향 필터를 이용하며, 최소 엣지 방향이 대각방향일 때 수평방향 필터와 수직방향 필터를 동시에 이용하는
    스마트 비닝 회로.
  5. 제1항에 있어서,
    상기 결합부는
    상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값에 상기 가중치 할당부에서 할당된 가중치를 서로 다르게 할당하도록 제어하여 상기 가중치가 서로 다르게 할당된 상기 비닝값과 상기 평균값을 결합하여 출력하는 스마트 비닝 회로.
  6. 제5항에 있어서,
    상기 결합부는 상기 엣지의 강도가 설정된 값보다 크면 비닝부에서 생성된 비닝값에 가중치를 할당하고, 상기 엣지의 강도가 설정된 값보다 작으면 상기 베이어 비닝부에서 생성된 평균값에 가중치를 할당하는 스마트 비닝 회로.
  7. 제1항에 있어서,
    상기 가중치 할당부는 수평 방향 필터 및 수직 방향 필터를 이용하여 기울기값을 계산하고 이를 바탕으로 2x2 픽셀당 한 개의 가중치를 계산하는 스마트 비닝 회로.
  8. 복수의 픽셀을 구비한 이미지 센서; 및
    상기 이미지 센서의 출력신호를 처리하는 이미지 신호 프로세서를 포함하되,
    상기 이미지 센서 및 상기 이미지 신호 프로세서중 어느 하나의 내부에 스마트 비닝 회로가 구현되며,
    상기 스마트 비닝 회로는,
    픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 엣지 정보 생성부;
    상기 엣지 정보 생성부에서 생성된 엣지 정보에 따라 가중치를 부여하는 가중치 할당부;
    상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 EDI(Edge detecton interpolation) 비닝을 수행하여 비닝값을 생성하는 비닝부;
    베이어 포맷으로 형성된 상기 복수의 픽셀 데이터를 4-섬(sum) 비닝을 통해 다운스케일된 평균값을 생성하는 베이어 비닝부; 및
    상기 가중치 할당부에서 할당된 가중치에 따라 상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값을 결합하는 결합부를
    포함하는 이미지 센싱 장치.
  9. 제8항에 있어서,
    상기 비닝부는
    상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 그린 플레인을 추정하기 위해 보간을 진행하는 보간 블럭; 및
    상기 보간블럭에서 보간된 그린 플레인의 픽셀 데이터를 바탕으로 상기 EDI 비닝을 수행하여 상기 비닝값을 생성하는 비닝 블럭을
    포함하는 이미지 센싱 장치.
  10. 제9항에 있어서,
    상기 보간 블럭은 생성된 엣지 정보를 기반으로 수평방향 필터, 수직방향 필터 및 수평/수직방향 필터를 이용하여 레드 색상 픽셀 및 블루 색상 픽셀을 그린 색상으로 추정하는
    이미지 센싱 장치.
  11. 제8항에 있어서,
    상기 결합부는
    상기 비닝부에서 생성된 비닝값과 상기 베이어 비닝부에서 생성된 평균값에 상기 가중치 할당부에서 계산된 가중치를 서로 다르게 할당하도록 제어하여 상기 가중치가 서로 다르게 할당된 비닝값과 평균값을 결합하여 출력하는 스마트 비닝 회로.
  12. 제11항에 있어서,
    상기 결합부는 상기 엣지의 강도가 설정된 값보다 크면 비닝부에서 생성된 비닝값에 가중치를 할당하고, 상기 엣지의 강도가 설정된 값보다 작으면 베이어 비닝부에서 생성된 평균값에 가중치를 할당하는 이미지 센싱 장치.
  13. 제8항에 있어서,
    상기 가중치 할당부는 수평 방향 필터 및 수직 방향 필터를 이용하여 기울기값을 계산하고 이를 바탕으로 2x2 픽셀당 한 개의 가중치를 할당하는 이미지 센싱 장치.
  14. 복수의 픽셀을 구비한 이미지 센서; 및
    상기 이미지 센서의 출력신호를 처리하는 이미지 신호 프로세서를 포함하되,
    상기 이미지 센서 및 상기 이미지 신호 프로세서중 어느 하나의 내부에 스마트 비닝 회로가 구현되며,
    상기 스마트 비닝 회로는,
    픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 생성된 엣지 정보에 따라 제1 비닝 동작을 수행하여 제1 픽셀 정보를 출력하는 스마트 비닝부;
    상기 복수의 픽셀 데이터를 베이어 포맷으로 변환하여 제2 비닝 동작을 수행하여 제2 픽셀 정보를 출력하는 베이어 비닝부;
    고조도와 저조도를 포함하는 조도 정보를 생성하는 조도 정보 생성부; 및
    상기 조도 정보 생성부에서 생성된 조도 정보에 따라 상기 스마트 비닝부에서 출력된 상기 제1 픽셀 정보 또는 상기 베이어 비닝부에서 출력된 상기 제2 픽셀 정보를 선택적으로 출력하는 비닝 픽셀 정보 선택부를
    포함하는 이미지 센싱 장치.
  15. 제14항에 있어서,
    상기 픽셀 정보 선택부는 상기 조도 정보 생성부에서 저조도 정보가 제공될 때 상기 스마트 비닝부에서 출력된 상기 제1 픽셀 정보를 출력하고, 상기 조도 정보 생성부에서 고조도 정보가 제공될 때 상기 베이어 비닝부에서 출력된 제2 픽셀 정보를 출력하는 이미지 센싱 징치.
  16. 제14항에 있어서,
    상기 제1 비닝 동작은 엣지 정보를 바탕으로 EDI(Edige detection interpolation) 비닝을 수행하는 동작이고, 상기 제2 비닝 동작은 베이어 포맷으로 형성된 복수의 픽셀들을 4-섬(sum) 비닝을 통해 다운스케일링된 평균값을 생성하는 동작인 이미지 센싱 장치.
  17. 제14항에 있어서,
    상기 스마트 비닝부는
    픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 엣지 정보 생성부;
    상기 엣지 정보 생성부에서 생성된 엣지 정보에 따라 가중치를 부여하는 가중치 할당부; 및
    상기 가중치 할당부에서 할당된 가중치에 따라 상기 엣지 정보 생성부에서 생성된 엣지 정보를 바탕으로 EDI(Edge detecton interpolation) 비닝을 수행하여 비닝값을 생성하는 비닝부를
    포함하는 이미지 센싱 장치.
  18. 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 생성된 엣지 정보에 따라 제1 비닝 동작을 수행하여 제1 픽셀 정보를 출력하는 단계;
    상기 복수의 픽셀 데이터를 베이어 포맷으로 변환하여 제2 비닝 동작을 수행하여 제2 픽셀 정보를 출력하는 단계;
    기 설정된 기준값을 바탕으로 고조도 상태와 저조도 상태를 판별하여 고조도 정보와 저조도 정보를 포함하는 조도 정보를 생성하는 단계; 및
    상기 조도 정보를 생성하는 단계에서 생성된 조도 정보에 따라 상기 제1 픽셀 정보 또는 제2 픽셀 정보를 선택적으로 출력하는 단계를
    포함하는 이미지 센싱 장치를 구동하는 방법.
  19. 제18항에 있어서,
    상기 제1 비닝 동작은 엣지 정보를 바탕으로 EDI(Edige detection interpolation) 비닝을 수행하는 동작이고, 상기 제2 비닝 동작은 베이어 포맷으로 형성된 복수의 픽셀들을 4-섬(sum) 비닝을 통해 다운스케일링된 평균값을 생성하는 동작이며,
    상기 선택적으로 출력하는 단계에서는 저조도 정보가 제공될 때 상기 제1 픽셀 정보를 출력하고, 고조도 정보가 제공될 때 제2 픽셀 정보를 출력하는
    이미지 센싱 장치를 구동하는 방법.
  20. 제18항에 있어서,
    상기 제1 픽셀 정보를 출력하는 단계는
    상기 픽셀 어레이로부터 출력된 복수의 픽셀 데이터로부터 엣지 정보를 생성하는 단계;
    상기 엣지 정보에 따라 가중치를 할당하는 단계
    할당된 가중치에 따라 상기 엣지 정보를 바탕으로 EDI(Edge detecton interpolation) 비닝을 수행하여 비닝값을 생성하는 단계를
    포함하는 이미지 센싱 장치를 구동하는 방법.
KR1020200068297A 2020-06-05 2020-06-05 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법 KR20210151450A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200068297A KR20210151450A (ko) 2020-06-05 2020-06-05 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법
US17/140,445 US11196946B1 (en) 2020-06-05 2021-01-04 Smart binning circuit, image sensing device and operation method of the same
CN202110371335.4A CN113766118B (zh) 2020-06-05 2021-04-07 智能合并电路、图像感测装置及其操作方法
JP2021066285A JP2021192505A (ja) 2020-06-05 2021-04-09 スマートビニング回路、イメージセンシング装置、及びその動作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200068297A KR20210151450A (ko) 2020-06-05 2020-06-05 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20210151450A true KR20210151450A (ko) 2021-12-14

Family

ID=78786864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200068297A KR20210151450A (ko) 2020-06-05 2020-06-05 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법

Country Status (4)

Country Link
US (1) US11196946B1 (ko)
JP (1) JP2021192505A (ko)
KR (1) KR20210151450A (ko)
CN (1) CN113766118B (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JP4133746B2 (ja) * 2003-11-06 2008-08-13 富士フイルム株式会社 補間画素値算出方法および装置並びにプログラム
KR100565429B1 (ko) 2003-11-27 2006-03-30 한국전자통신연구원 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
US20080158396A1 (en) * 2006-08-07 2008-07-03 Transchip, Inc. Image Signal Processor For CMOS Image Sensors
CN101452573B (zh) * 2007-12-04 2013-01-30 比亚迪股份有限公司 一种图像边缘增强方法
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
KR20110029217A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
KR101146171B1 (ko) * 2010-11-19 2012-05-24 에스케이하이닉스 주식회사 영상 처리 장치 및 시스템
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2015015383A2 (en) 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
KR102195311B1 (ko) 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
KR102410016B1 (ko) * 2015-12-16 2022-06-16 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 시스템
CN106791477B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及制造方法

Also Published As

Publication number Publication date
CN113766118A (zh) 2021-12-07
US20210385395A1 (en) 2021-12-09
US11196946B1 (en) 2021-12-07
CN113766118B (zh) 2023-08-15
JP2021192505A (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
JP6486996B2 (ja) 局所階調曲線計算を使用した画像階調調整
US10467496B2 (en) Temporal filtering of independent color channels in image data
US9787922B2 (en) Pixel defect preprocessing in an image signal processor
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
KR20220010285A (ko) 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
KR20210151450A (ko) 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법
KR20210142398A (ko) 로컬 톤 맵핑 회로, 이미지 센싱 장치 및 그 동작방법
JP2022019533A (ja) エッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法
US9087393B2 (en) Network display support in an integrated circuit
US11451752B2 (en) Grid gain calculation circuit, image sensing device and operation method of the same
CN115150604B (zh) 色调映射电路、图像感测装置及其操作方法

Legal Events

Date Code Title Description
A201 Request for examination