KR20220030877A - 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서 - Google Patents

다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서 Download PDF

Info

Publication number
KR20220030877A
KR20220030877A KR1020210094239A KR20210094239A KR20220030877A KR 20220030877 A KR20220030877 A KR 20220030877A KR 1020210094239 A KR1020210094239 A KR 1020210094239A KR 20210094239 A KR20210094239 A KR 20210094239A KR 20220030877 A KR20220030877 A KR 20220030877A
Authority
KR
South Korea
Prior art keywords
resolution
interest
region
image data
group
Prior art date
Application number
KR1020210094239A
Other languages
English (en)
Inventor
샤하프 두엔야스
요엘 야프
가이 호로윗즈
에밋 엘센버그
샤이 하마미
오디드 몬존
갈 비탄
요아브 피에프시
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20220030877A publication Critical patent/KR20220030877A/ko

Links

Images

Classifications

    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/2253—
    • H04N5/23232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/343—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

픽셀 어레이를 갖는 이미지 센서에 의해 수행되는 방법이 개시된다. 상기 픽셀 어레이를 이용하여 씬(scene)의 적어도 하나의 프레임이 획득될 수 있다. 상기 적어도 하나의 프레임 내에서 적어도 하나의 관심 영역이 식별된다. 상기 적어도 하나의 관심 영역에 대해 고해상도 이미징을 수행하고, 상기 적어도 하나의 관심 영역 외부의 상기 프레임들의 남은 영역들에 대해 아날로그 비닝(binning)을 이용하여 저해상도 이미징을 수행하기 위해 상기 픽셀 어레이를 제어하여 상기 씬의 후속 프레임들이 획득된다. 동일한 해상도에 따라 파이프라인들의 상기 픽셀 어레이로부터 획득된 이미지 데이터가 해상도에 따라 파이프라인들로 제공된다. 저해상도 이미지 데이터의 그룹 및 적어도 하나의 고해상도 이미지 데이터의 그룹을 제공하기 위해 상기 파이프라인들 각각이 별도로 디지털 처리된다.

Description

다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서{IMAGE SENSOR EMPLOYING VARIED INTRA-FRAME ANALOG BINNING}
본 개시는 일반적으로 이미지 캡처, 처리, 및 디스플레이 시스템들에 관한 것으로, 좀 더 상세하게는 이미지 센서들의 전력 소모 및 처리 복잡도 감소에 관한 것이다.
이미징 시스템에서 다중 관심 영역(region of interest; ROI) 스마트 줌 능력은 씬(scene. 화면 또는 장면) 내의 얼굴들 또는 번호판들과 같은 관심 영역들의 검출을 가능하게 한다. 관심 영역들은 선택적으로 확대(줌; zoom)될 수 있고, 확대된 영역들은 디스플레이 상에 픽처-인-픽처(picture-in-picture; PIP) 뷰를 생성하기 위해 씬의 풀 뷰(full view) 비디오와 중첩될 수 있다.
이러한 PIP를 갖는 다중 관심 영역 스마트 줌 동작들을 생성하기 위한 현재 방법들은 전형적으로 이미지 센서 내의 높은 전력 소모를 요구한다. 이미지 센서에서, 전력 소모는 처리되는 픽셀 데이터의 양과 관련 있을 수 있다. 나아가, 높은 프레임 레이트(frame rate)는 빠른 속도의 비디오 캡처를 위해 요구된다. 가능한 가장 높은 프레임 레이트는 수평 시간(horizontal time; h-time) 한계 및 이미지 센서 픽셀 어레이의 행들의 개수에 의해 영향을 받을 수 있다(h-time은 센서의 디지털 파트에 의해 단일 이미지 행이 처리되는 시간을 뜻한다). 다중 관심 영역 스마트 줌을 위한 하나의 방법에서, 센서의 픽셀 어레이에 걸쳐 가능한 가장 높은 해상도(전체 해상도)의 이미지가 처리될 수 있다. 그 후 관심 영역들은 크롭되고(cropped), 발생한 비디오 스트림은 애플리케이션 프로세서를 이용하여 다운스케일될(downscaled) 수 있다. 대안적인 방법은 다중 센서 시스템을 이용하는데, 각 센서는 특정 유형의 관심 영역을 서로 다른 해상도로 제공한다. 이러한 선택들은 전형적으로 높은 전력 소모와 높은 데이터 송신 속도를 요구하여, 수평 시간 제한들로 인한 센서의 프레임 레이트 및 이미지 처리 능력들을 제한한다.
본 개시는 이미지 센서에서 처리될 데이터의 크기를 줄이기 위한 다양한 인트라-프레임 아날로그 비닝을 제공한다.
본 개시의 하나의 측면에서, 이미지 센서의 픽셀 어레이를 이용하여 씬(scene)의 적어도 하나의 프레임을 획득하는 이미지 처리 방법이 수행된다. 상기 적어도 하나의 프레임 내에서 적어도 하나의 관심 영역이 식별된다. 상기 씬의 후속 프레임들에서는, 상기 적어도 하나의 관심 영역에 대해 고해상도 이미징을 수행하고, 상기 적어도 하나의 관심 영역 외부의 상기 프레임들의 남은 영역들에 대해 아날로그 비닝(binning)을 이용하여 저해상도 이미징을 수행하도록 상기 픽셀 어레이를 제어한다. 상기 픽셀 어레이로부터 획득된 이미지 데이터가 동일한 해상도에 따라 파이프라인으로 제공된다. 저해상도 이미지 데이터의 그룹 및 적어도 하나의 고해상도 이미지 데이터의 그룹을 제공하기 위해 상기 파이프라인들 각각이 별도로 디지털 처리된다.
몇몇 예들에서, 적어도 하나의 관심 영역은 제 1 관심 영역 및 제 2 관심 영역을 포함한다. 제 1 관심 영역 대해 제 1 아날로그 비닝 계수가 적용되고, 제 2 관심 영역에 대해 제 1 아날로그 비닝 계수보다 높은 제 2 아날로그 비닝 계수가 적용되고, 나머지 영역들에 대해 제 2 아날로그 비닝 계수보다 높은 제 3 아날로그 비닝 계수가 적용된다.
몇몇 예들에서, 상기 아날로그 비닝에 기반한 상기 저해상도 이미징과 일치하기에 충분한 비닝 계수로 상기 적어도 하나의 고해상도 이미지 데이터의 그룹이 디지털 비닝되어, 디지털 비닝된 이미지가 제공된다. 저해상도 이미지 데이터의 그룹은 디스플레이될 통합된 프레임을 형성하기 위해 디지털 비닝된 이미지 데이터와 함께 스티칭된다. 배경 이미지 구성 요소들로서 상기 통합된 프레임에 나타나는 상기 남은 영역들을 이용하고, 전경 이미지로서 상기 적어도 하나의 고해상도 이미지 데이터의 그룹에 대응하는 적어도 하나의 고해상도 윈도우를 이용하여 픽처-인-픽처(picture in picture; PIP) 프레임이 형성된다. 고해상도 윈도우는 “스마트 줌”될 수 있다.
본 개시의 다른 측면에서, 이미지 센서는 픽셀 어레이 및 적어도 하나의 이미지 프로세서를 포함한다. 상기 적어도 하나의 이미지 프로세서는 (i) 상기 픽셀 어레이로부터 리드아웃된 씬(scene)의 적어도 하나의 프레임을 획득하고, (ii) 적어도 하나의 관심 영역에 대해 고해상도 이미징을 수행하고, 상기 적어도 하나의 관심 영역 외부의 상기 프레임들의 남은 영역들에 대해 아날로그 비닝(binning)을 이용하여 저해상도 이미징을 수행하기 위해 상기 픽셀 어레이를 제어하여 상기 씬의 후속 프레임들을 획득하고, (iii) 상기 픽셀 어레이로부터 획득된 이미지 데이터를 동일한 해상도의 파이프라인으로 제공하고, 그리고 (iv) 저해상도 이미지 데이터의 그룹 및 적어도 하나의 고해상도 이미지 데이터의 그룹을 별도로 제공하기 위해 상기 파이프라인들 각각을 디지털 처리하는 명령들을 실행한다.
본 개시의 또 다른 측면에서, 카메라 장치는 렌즈, 디스플레이, 이미지 센서, 및 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 이미지 프로세서는 (i) 상기 픽셀 어레이로부터 리드아웃된 씬(scene)의 적어도 하나의 프레임을 획득하고, (ii) 상기 적어도 하나의 프레임 내에서 복수의 관심 영역들을 식별하고, (iii) 상기 관심 영역들의 제 1 그룹에 대해 제 1 해상도 이미징을 수행하고, 상기 관심 영역들의 제 2 그룹에 대해 제 2 해상도 이미징을 수행하고, 그리고 상기 복수의 관심 영역들 외부의 상기 프레임들의 배경 영역에 대해 제 3 해상도 이미징을 수행하도록 상기 픽셀 어레이를 제어하여 상기 씬의 후속 프레임들을 획득하고, (iv) 상기 제 1, 제 2, 또는 제 3 해상도를 사용하여 이미징된 이미지 데이터에 각각 대응하는 파이프라인들로 상기 픽셀 어레이로부터 획득된 이미지 데이터를 제공하고, 그리고 (v) 적어도 상기 디스플레이에 출력될 이미지 데이터의 제 1, 제 2, 및 제 3 해상도 그룹들을 제공하기 위해 상기 파이프라인들 각각을 별도로 디지털 처리하는 명령들을 실행한다. 상기 제 1 해상도 및 상기 제 2 해상도는 서로 다르고, 상기 제 3 해상도는 상기 제 1 해상도 및 상기 제 2 해상도 각각보다 낮고, 상기 관심 영역들의 각 그룹은 하나 이상의 관심 영역들을 포함한다.
본 개시의 또 다른 측면에서, 이미지 센서는 픽셀 어레이 및 적어도 하나의 이미지 프로세서를 포함한다. 상기 적어도 하나의 이미지 프로세서는 (i) 상기 픽셀 어레이로부터 리드아웃된 씬(scene)의 적어도 하나의 프레임의 이미지 데이터를 획득하고, (ii) 상기 씬의 적어도 하나의 제 1 관심 영역에 대해 아날로그 비닝(binning) 없이 제 1 고해상도 이미징을 수행하고, 제 1 아날로그 비닝 계수로 상기 씬의 적어도 하나의 제 2 관심 영역에 대해 아날로그 비닝을 이용하여 제 2 고해상도 이미징을 수행하고, 그리고 상기 제 1 아날로그 비닝 계수보다 높은 제 2 아날로그 비닝 계수로 상기 적어도 하나의 제 1 관심 영역 및 상기 적어도 하나의 제 2 관심 영역 외부의 상기 씬의 배경 영역에 대해 아날로그 비닝을 이용하여 저해상도 이미징을 수행하도록 상기 픽셀 어레이를 제어하여 상기 씬의 후속 프레임들을 획득하고, (iii) 동일한 해상도에 따라 파이프라인들의 상기 픽셀 어레이로부터 획득된 이미지 데이터를 동일한 해상도에 따라 파이프라인들로 제공하고, 그리고 (iv) 상기 배경영역에 대응하는 저해상도 이미지 데이터의 그룹, 상기 적어도 하나의 제 1 관심 영역에 대응하는 이미지 데이터의 제 1 고해상도 그룹, 및 상기 적어도 하나의 제 2 관심 영역에 대응하는 이미지 데이터의 제 2 고해상도 그룹을 제공하기 위해 상기 파이프라인들 각각을 별도로 디지털 처리하는 명령들을 실행한다.
본 개시의 실시 예에 따르면 캡처된 씬의 관심 영역에는 씬의 대부분을 구성하는 배경들과 같은 남은 영역들에 비해 더 낮은 아날로그 비닝 계수(더 높은 해상도)가 지정될 수 있고, 이로써 처리된 데이터의 크기가 감소한다.
또한, 본 개시의 실시 예에 따르면 센서 내의 전력 소모가 감소하고, 원하는 센서 상의 추가적인 처리 과제들의 성능이 나타나고, 그리고 전력 소모 예산을 초과하지 않고 프레임 레이트가 증가할 수 있다.
개시된 기술의 상기 및 다른 양상들 및 특징들은 유사한 참조 문자가 유사한 요소 또는 특징을 나타내는 첨부된 도면을 참조하는 다음의 상세한 설명으로부터 더욱 명백해질 것이다. 동일하거나 유사한 유형의 다양한 요소들은 참조 레이블에 동일/유사한 요소들을 구별하는 두 번째 레이블을 첨부하여 구별될 수 있다(예를 들어, p1,1, pi,j). 그러나, 주어진 설명이 첫 번째 참조 레이블(예를 들어, p)만 사용하는 경우, 그 설명은 두 번째 레이블에 관계없이 동일한 첫 번째 참조 레이블을 갖는 동일/유사한 요소들 중 하나에 적용할 수 있다.
도 1은 본 개시의 실시 예에 따라 다양한 인트라-프레임 아날로그 비닝을 이용하는 이미지 센서에 의해 캡처될 수 있는 씬의 예를 나타낸다.
도 2는 본 개시의 실시 예에 따라 이미지 센서를 갖는 카메라 시스템의 구성 요소들의 예를 나타내는 블록도이다.
도 3은 본 개시의 실시 예에 따라 카메라 시스템에 의해 수행되는 이미지 처리 방법의 예를 나타내는 흐름도이다.
도 4는 도 3의 방법에 의해 생성될 수 있는 프레임들과 파이프라인들의 예를 나타낸다.
도 5는 관심 영역에 대한 확대 동작에서 생성될 수 있는 프레임의 예이다.
도 6a는 본 개시의 실시 예에 따라 이미지 센서의 이미지 프로세서의 예를 나타내는 기능적인 블록도이다.
도 6b는 본 개시의 실시 예에 따라 이미지 센서의 이미지 프로세서의 다른 예를 나타내는 기능적인 블록도이다.
첨부된 도면들을 참조하는 이하의 설명은 본 개시의 실시 예의 종합적인 이해를 돕기 위한 것이다. 설명은 통상의 기술자가 본 개시를 이해하는 것을 돕기 위해 다양한 상세한 사항들을 포함하지만, 이러한 상세한 사항들은 단순히 예시적인 것으로 간주된다. 단순함과 명확함을 위해, 잘 알려진 기능들 및 구성들의 설명들은 그것들을 포함하는 것이 통상의 기술자에 의한 본 개시의 이해를 모호하게 할 수 있는 경우 생략될 수 있다.
도 1은 본 개시의 실시 예에 따라 다양한 인트라-프레임 아날로그 비닝을 이용하는 이미지 센서(10)에 의해 캡처될 수 있는 씬의 예를 나타낸다. 이미지 센서(10)에 의해 이미징될 수 있는 씬(scene; S)는 자동으로 식별되거나 이미지 센서(10)를 포함하는 카메라 시스템의 사용자에 의해 선택된 적어도 하나의 관심 영역(region of interest; ROI)을 포함할 수 있다. 예를 들어, 이미지 센서(10) 내의 이미지 프로세서 또는 카메라 시스템의 프로세서는 저해상도의 연속적인 비디오 캡처 동안 차량들 및 그들의 번호판들을 자동으로 검출하고 추적하는 소프트웨어 애플리케이션을 실행할 수 있다. 씬(S)은 번호판(12)을 갖는 차량(14)을 포함할 수 있고, 애플리케이션은 차량에 대응하는 제 1 관심 영역 및 번호판에 대응하는 제 2 관심 영역을 식별하도록 디자인될 수 있다. 각 프레임의 대다수를 구성하는 씬의 나머지는 배경(BK)으로 지정된다. 애플리케이션은 배경(BK)을 가장 낮은 해상도로, 차량(14)을 중간 해상도로, 그리고 번호판(12)을 가장 높은 해상도로 이미징하여 씬의 후속 프레임들을 캡처하도록 이미지 센서(10)를 제어할 수 있다. 다른 애플리케이션은 인체(18)에 대응하는 제 1 관심 영역 및 사람의 얼굴(16)에 대응하는 제 2 관심 영역을 식별하도록 디자인될 수 있고, 이러한 관심 영역들은 배경(BK)의 이미징을 위해 가장 낮은 해상도가 사용되는 것에 비해, 각각 중간 해상도 및 가장 높은 해상도로 유사하게 캡처될 수 있다.
이하의 설명 및 본 개시의 다른 곳에서, 프레임에 적용되는 가장 낮은 해상도보다 높은 임의의 이미징 해상도는 “중간 해상도” 또는 “높은 해상도” 중 하나로 상호교환적으로 지칭될 수 있다.
이미지 센서(10)는 이미지 센서(10) 내부의 픽셀 어레이에 적용되는 제어 신호들에 따라 이미징되는 프레임의 영역 단위로 대응하는 해상도를 획득하기 위해 다양한 인트라-프레임 아날로그 비닝(binning)을 동적으로 구현하도록 구성된다. 이미지 센서(10) 내의 아날로그 비닝을 이용하여, 인접한 그룹 픽셀들의 전하들은 합산되거나 또는 평균화되어(그리고 두 경우 모두 선택적으로 가중치가 부여되고), 단일 그룹 픽셀 블록의 데이터로서 출력되는데, 이는 “슈퍼픽셀(superpixel)”또는 매크로블록이라고 불릴 수 있다. 즉, 아날로그 비닝은 이미지 센서(10)에 의해 생성되고 리드아웃되는 데이터의 전체 양을 감소시키고, 그럼으로써 이미지 센서(10)의 리드아웃 회로 및 처리 회로의 전력 소모를 감소시킨다. 더 높은 아날로그 비닝 계수는 전하 공유를 위해 더 많은 수의 픽셀들이 그룹화되는 것을 의미하며 이는 더 낮은 해상도를 의미한다. 아날로그 비닝은 또한 그룹 픽셀 블록 내에서 픽셀들의 스킵핑(skipping)을 수반할 수 있다. 이 경우, 슈퍼픽셀을 위해 리드아웃된 데이터는 실제로 그 블록을 위해 캡처된 이미지 블록의 일부만을 나타낸다(극한의 경우, 단지 하나의 픽셀의 데이터가 인접한 픽셀들의 그룹을 나타내기 위해 사용될 수 있고, “아날로그 비닝”은 필수적으로 “스킵핑” 방법이 된다). 어떠한 아날로그 비닝이 이용되든, 배경(BK)에 대해 가장 높은 아날로그 비닝 계수(가장 낮은 해상도)를 설정하는 것은 이미지 센서(10)의 전력 소모를 유의미하게 감소시킬 뿐만 아니라, 처리되는 데이터의 더 작은 크기로 인해 수평 행 리드아웃 시간(horizontal row read-out time; h-time)도 감소시킬 수 있다. 이는 픽셀 어레이로부터 데이터 전송 속도를 감소시키고, 프레임 레이트(frame rate)를 증가시키고, 그리고/또는 “센서 상에서(on sensor)”이미지 센서(10)의 회로 내에서) 더 복잡한 태스크들을 수행하는 것을 가능하게 한다.
전체 시야 이미지를 저해상도로 설정하는 것은 디스플레이 또는 환경을 맵핑하고, 더 큰 물체들을 찾을 때 넓은 이미지로서 유용할 수 있다. 하나의 실시 예에서, 전체 저해상도 이미지는 차량 및 번호판을 식별하는 데 이용되는 반면, 고해상도 이미징 및 후속 디지털 줌은 번호판 상의 숫자들 및 글자들을 검출하는 데 이용된다. 보안 애플리케이션의 예에서, 전체 저해상도 이미지는 인체들을 식별하는 데 이용되는 반면 고해상도 이미지는 얼굴들을 식별하는 데 이용된다.
가장 높은 해상도가 요구되는 관심 영역들(번호판(12) 또는 얼굴(16)과 같이)에 가장 낮은 아날로그 비닝 계수를 설정하는 것은 보다 데이터 집약적이지만, 애플리케이션에 따라 요구되는 세부 사항과 함께 원하는 정보를 캡처할 수 있다(“가장 낮은 아날로그 비닝 계수”는 1.0의 비닝 계수일 수 있고, 이는 아날로그 비닝이 없는 것에 대응한다는 것을 주목하라. 다시 말해, 1.0의 비닝 계수가 영역에 적용되는 경우, 전하들은 인접한 픽셀들 사이에서 공유되지 않고, 대신 각 픽셀로부터의 데이터는 개별적으로 리드아웃된다). 고해상도 관심 영역들은 시야의 임의의 장소에서 물체/문자 인식과 같은 경우들과 같은 세부 사항들을 캡처하는 데 이용될 수 있다.
한 실시 예에서, 이미지 센서(10)는 단지 두 해상도(즉 관심 영역(들)에 대한 제 1 해상도와, 남은 영역들(예컨대, 배경(BK))에 대한 더 낮은 제 2 해상도)로 이미지 데이터를 파이프라인 형식으로 출력한다. 다른 실시 예들에서, 데이터는 셋 이상의 해상도(즉, 제 1 유형의 관심 영역에 대한 가장 높은 해상도, 적어도 하나의 제 2 유형의 관심 영역에 대한 하나 이상의 중간 해상도, 그리고 남은 영역들에 대한 가장 낮은 해상도)로 생성되고 출력된다.
도 2는 본 개시의 실시 예에 따라 이미지 센서(10)를 갖는 카메라 장치(20)의 구성 요소들의 예를 나타내는 블록도이다. 카메라 장치(20)는 렌즈(23), 애플리케이션 프로세서(AP)(31), 메모리(36), 사용자 인터페이스(UI)(34), 디스플레이(32), 및 네트워크 인터페이스(38)를 더 포함할 수 있다. 카메라 장치(20)는 보안 시스템 컴퓨터, 디스플레이 시스템, 모바일 장치, 사냥용 카메라 장치, 가로등이 부착된 카메라 장치, 그리고 기타 등등과 같은 다양한 카메라가 장착된 장비들 중 하나일 수 있다. 이미지 센서(10)는 픽셀 어레이(22), 아날로그 비닝 컨트롤러(24), 리드아웃 회로(29), 및 이미지 프로세서(30)를 포함할 수 있다. 픽셀 어레이(22)는 p1,1부터 pm,n까지 행들과 열들로 배열된 (m x n) 픽셀들을 포함할 수 있다. 다른 실시 예들에서, 픽셀들(p)은 행들 및 열들로 배열되어 있지 않거나, 그리고/또는 픽셀 어레이(22)가 원형과 같이 직사각형이 아닌 형태를 가질 수 있다. 예를 들어, 픽셀들(p)은 도 2에 나타난 바와 같은 행과 열로 이루어진 그리드 형태가 아니라 엇갈리거나 불균일한 구성으로 배열될 수 있다. 어떤 경우이든, 전형적인 이미지 센서(10)는 수천 또는 수백만의 픽셀들(p)을 포함할 수 있다. 각 픽셀(p)은 단색의 픽셀 또는 미리 정해진 색상(예를 들어, 빨강, 초록, 파랑, 또는 빨강, 초록, 파랑, 및 백색)의 데이터를 제공하는 색상-특정 서브 픽셀, 또는 다른 적절한 색상 조합 체계를 갖는 픽셀들일 수 있다. 컬러 이미징 이미지 센서에서의 아날로그 비닝은 동일한 색상의 휘도 데이터를 제공하는 인접한 서브 픽셀들의 그룹들의 전하들을 합산 또는 평균화하는 것을 수반한다.
애플리케이션 프로세서(31)는 카메라 장치(20)의 전반적인 동작들을 제어할 수 있다. 이를 위해, 애플리케이션 프로세서(31)는 이미지 프로세서(30), 메모리(36), 사용자 인터페이스(34), 네트워크 인터페이스(38), 및 디스플레이(32) 각각으로 제어 및 데이터 신호들을 통신할 수 있다. 예를 들어, 고정 위치의 카메라 장치들의 경우에 대해 다른 유형들의 프로세서들이 애플리케이션 프로세서(31)를 대체할 수 있다.
이미지 프로세서(30)는 현재 프레임의 특정 영역들에 대해 아날로그 비닝 계수들이 이용될 것을 나타내는 제어 신호들(CTL)을 컨트롤러(24)로 전송할 수 있다. 이러한 제어 신호들은 관심 영역들이 한 프레임과 다음 프레임 사이에서 나타나거나, 이동하거나, 사라지는 것을 고려하여, 프레임 단위로 전송될 수 있다. 이를 위해, 제어 신호들(CTL)은 관심 영역들의 픽셀 주소 경계들, 각각의 관심 영역들에 적용될 아날로그 비닝 계수, 그리고 남은 영역들에 적용될 아날로그 비닝 계수를 나타낼 수 있다. 예를 들어, 검출 및 추적 알고리즘은 관심 영역들을 검출하고 추적하기 위해 일부 실시 예들에서 이미지 센서(30)에 의해 실행될 수 있고, 다른 실시 예들에서 애플리케이션 프로세서(31)에 의해 실행될 수 있다. 관심 영역들의 픽셀 주소 경계들은 검출 및 추적 알고리즘의 실행을 통해 결정될 수 있다. 관심 영역들은 또한 또는 대안적으로 사용자 인터페이스(34)로부터의 사용자 입력을 통해(예를 들어, 애플리케이션 프로세서(31)를 통해 라우팅되는) 식별될 수 있다. 제어 신호들(CTL)은 또한 픽셀 어레이(22)에 의해 프레임들이 출력될 프레임 전송 속도를 나타내는 필드를 포함할 수 있다. 이미지 센서(10) 외부에 표시된 메모리(36)는 대안적으로 이미지 센서(10)의 일부일 수 있고, 카메라 시스템(20)은 애플리케이션 프로세서(31)에 의해 판독될 프로그램 명령들을 저장하기 위한 추가적인 메모리를 포함할 수 있고, 비디오 데이터 및 프로그램 데이터 저장과 같이 애플리케이션 프로세서(31)에 의해 제어되는 다양한 저장 기능들을 수행한다.
컨트롤러(24)는 지정된 프레임 레이트로 다양한 아날로그 비닝을 구현하기 위한 개별적인 픽셀들에 연결된 픽셀 어레이(22)의 제어 라인들로 적용되는 타이밍 및 제어 신호들(SB)을 생성함으로써 제어 신호들(CTL)에 응답할 수 있다. 컨트롤러(24)는 적절한 데이터 리드아웃을 수행하기 위해 리드아웃 회로(29)로 타이밍 및 제어 신호들(SA)을 또한 생성할 수 있다. 이를 위해, 픽셀 어레이(22)는 아날로그 비닝에 따라 전하 공유를 위한 픽셀 그룹들을 선택적으로 형성하기 위해 인터-픽셀 스위치들을 포함할 수 있다. 제어 신호들(SB)은 인터 픽셀 스위치들의 상태들 및 픽셀 어레이(22)로부터의 픽셀 데이터 리드아웃의 타이밍을 모두 조절할 수 있다. 예를 들어, 제어 신호들(SB)은 열 방향으로의 리드아웃을 활성화하기 위해 픽셀 어레이(22)의 행들을 순서대로 활성화할 수 있고, 제어 신호들(SA)은 리드아웃 회로(29)가 아날로그 데이터(D0)과 같은 하나 이상의 시리얼 데이터 스트림들을 출력하도록 리드아웃 회로(29) 내의 스위치들을 순서대로 활성화할 수 있다.
픽셀 어레이(22)가 렌즈(23)를 통해 씬의 이미지들을 수집함에 따라, 픽셀 어레이(22)는 프레임 이미지를 나타내는 아날로그 데이터(D0)를 생성하고, 리드아웃 회로(29)를 통해 아날로그 데이터(D0)를 이미지 프로세서(30)로 출력한다. 리드아웃 회로(29)는 픽셀 어레이(22)로부터 리드아웃된 아날로그 데이터를 샘플링하기 위한 샘플링 회로(예를 들어, 상관 이중 샘플러), 샘플링된 데이터를 디지털 데이터(D0)로 전환하기 위한 아날로그-디지털 변환기, 그리고 디지털 데이터를 버퍼링하기 위한 메모리를 포함할 수 있다. 이미지 프로세서(30)는 디지털 데이터(D0)를 동일한 비닝 계수에 따라 파이프라인에 조직화되는(파이프라인 형태의) 데이터로 변환할 수 있다. 디지털 데이터는 그 후 이하에서 설명되는 바와 같이 대응하는 출력 데이터(D0`)를 애플리케이션 프로세서(31)로 출력하기 위해 이미지 프로세서(30)에 의해 더 처리될 수 있다. 애플리케이션 프로세서(31)는 대응하는 이미지 데이터를(후처리를 하거나 또는 하지 않고) 디스플레이(32), 메모리(36), 및/또는 네트워크 인터페이스(38)를 통해 국소적 또는 원격 위치에 있는 외부 장치로 출력할 수 있다.
도 3은 본 개시의 실시 예에 따라 카메라 시스템(20)에 의해 수행되는 이미지 처리 방법(300)의 예를 나타내는 흐름도이다. 도 4는 도 3의 방법에 의해 생성될 수 있는 프레임들과 파이프라인들의 예를 나타낸다. 도 4에 나타난 예는 세 개의 해상도들을 이용하는 경우이다. 그러나, 다른 유형들의 관심 영역들에 할당될 해상도들의 개수는 다른 실시 예들에서 다를 수 있다. 이미지 센서(10)에 의한 데이터 출력의 병렬 파이프라인들의 개수는 해상도들의 개수와 동일할 수 있다. 다른 예들에서 임의의 개수의 관심 영역들이 식별될 수 있고 처리될 수 있다.
도 3 내지 도 4를 참조하면, 방법(300)에서, 이미지 센서(10)는 먼저 잠재적인 관심 영역들이 식별될 씬의 하나 이상의 초기 프레임들을 획득할 수 있다(단계 S302). 예를 들어, 비디오 프레임들은 초기 프레임들의 모든 픽셀에 균일하고 높은 비닝 계수를 적용함으로써 저해상도에서 처음으로 캡처될 수 있다. 이미지 프로세서(30) 또는 애플리케이션 프로세서(31)는 이미지 프로세서(30) 또는 애플리케이션 프로세서(31)에서 실행 중인 애플리케이션 프로그램에 따라 관심 영역들에 대응하는 미리 정해진 유형의 물체들을 찾기 위한 저해상도 비디오 프레임들을 연속적으로 분석할 수 있다. 차량 또는 인체와 같은 고해상도 처리가 적용될 하나 이상의 물체들에 대한 식별이 이루어진 경우, 그 물체(들)에 대한 관심 영역 경계들이 정의될 수 있다(단계 S304). 예를 들어, 관심 영역들은 프레임(도 4, 402)의 영역들 B 및 C와 같이 각 물체를 둘러싸는 직사각형 영역들로 지정될 수 있다. 대안적으로, 관심 영역들은 관심의 대상이 되는 물체들의 경계들에 더 가깝게 일치하는 직사각형이 아닌 영역들로 지정된다. 도 4의 예는 설명의 단순화를 위해 영역들 B 및 C에 대응하는 단지 두 개의 관심 영역들만 나타낸다. 그러나, 씬은 동일한 유형 및 지정된 해상도를 갖는 다수의 관심 영역들을 포함할 수 있다. 동일한 해상도가 지정된 관심 영역들에 대한 이미지 데이터는 이하 설명되는 바와 같이 그룹화되고, 함께 처리된다.
이렇게 식별된 관심 영역들을 이용하여, 픽셀 어레이(22)는 프레임들의 남은 영역들(예를 들어, 배경 영역들)에 비해 관심 영역들에서 더 높은 해상도의 비닝 계수를 이용하여 씬의 후속 프레임들에 아날로그 비닝을 적용하기 위해, 제어 신호들(SB)을 통해 제어될 수 있다(단계 S306). 앞서 언급된 바와 같이, 일부 실시 예들에서 특정 유형들의 관심 영역들은 다른 유형들의 관심 영역들에 비해 더 높은 해상도(더 낮은 비닝 계수에 대응)가 지정될 수 있다. 도 4의 예는 프레임(402)가 초기 프레임(들)의 후속 프레임인 것으로 가정한다: 영역 C는 가장 높은 해상도로 처리될, 번호판과 같은 제 1 유형의 관심 영역이고, 영역 B는 중간 해상도로 처리될 제 2 유형의 관심 영역이고, 그리고 영역 A는 부분 영역 A1, A2(=A2a, A2b), A3, A4(=A4a, A4b), 및 A5로 구성되는, 가장 낮은 해상도로 처리될 남은 영역이다. 프레임에 걸쳐 국소적으로 다양한 해상도를 생성하기 위한 다양한 인트라-프레임 아날로그 비닝을 나타내기 위한 예로서, 이하의 설명에서 영역 C에는 1.0의 비닝 계수가(즉, 아날로그 비닝이 발생하지 않음), 영역 B에는 2.0의 비닝 계수가, 그리고 영역 A에는 4.0의 비닝 계수가 적용되는 것으로 가정된다. 이러한 비닝 계수들은 단순히 예시일 뿐이고, 다른 실시 예들은 다른 비닝 계수들의 세트들을 적용할 수 있고, 이는 홀수의 비닝 계수들을 포함할 수 있다. 4.0의 비닝 계수를 이용하여, 4 x 4 픽셀들의 세트들 상의 픽셀 블록들에 각각 단일의 그레이스케일(grayscale) 값이 지정된다. 예를 들어, 각 4 x 4 픽셀 블록에 대해, 블록의 16개 픽셀들에 대한 평균 세기 값을 나타내는 단일의 픽셀 값이 리드아웃될 수 있다. 이 설명에서, “픽셀”은 다수 색상이 결합된 픽셀의 특정 색상(예를 들어, 파랑, 초록, 또는 빨강)을 제공하는 서브 픽셀일 수 있다. 색상을 처리할 수 있는 이미지 센서들에 대해, 4 x4 픽셀 블록은 동일한 색상을 제공하는 16개의 서브 픽셀들을 그룹화할 수 있다. 2.0의 비닝 계수는 2 x 2 픽셀들의 픽셀 블록들에 동일한 그레이스케일 값이 지정되는 것에 대응하고, 1.0의 비닝 계수는 영역의 각 픽셀에 원래의 그레이스케일 값이 지정되는 것, 즉, 아날로그 비닝이 적용되지 않는 것을 의미한다. 그러므로, 가장 높은 해상도를 갖는 영역 C의 경우에 비해, 영역 A에 대한 이미지 데이터 출력의 양은 16배만큼 감소된다. 유사하게, 영역 B에 대한 이미지 데이터의 양은 가장 높은 해상도의 경우에 비해 4배만큼 감소된다.
임의의 주어진 프레임에서 관심 영역이 처음으로 식별된 후, 이미지 프로세서(30)는 프레임 단위로 관심 영역의 움직임을 추적하기 위한 추적 알고리즘을 실행할 수 있음이 주목되어야 한다. 그러므로 관심 영역의 픽셀 경계들은 매 프레임마다 달라질 수 있다. 즉, 이미지 프로세서(30)는 매 프레임 또는 매 K 프레임들(K는 2 이상의 정수)마다 픽셀 경계 주소들을 나타내는 업데이트된 제어 신호(CTL)를 적용할 수 있다.
관심 영역 경계들 및 유형들이 식별되고, 대응하는 아날로그 비닝 계수가 적용되면, 픽셀 어레이(22)는 동일한 비닝 계수에 따라 파이프라인 상에 이미지 데이터를 출력하도록 제어된다(단계 S308). 즉, 도 4의 예에서, 픽셀 어레이(22)는 데이터의 3개의 병렬 파이프라인들을 생성할 수 있다: 영역 A에 대한 제 1 파이프라인(410), 영역 B에 대한 제 2 파이프라인(412), 그리고 영역 C에 대한 제 3 파이프라인(414).
도 4의 예에서, 프레임(402)의 영역(B)는 부분 영역들 A2a 및 A2b 사이에 있고, 동일한 행들을 점유한다. 영역 B는 또한 영역 A1 아래에 있고 영역 A3 위에 위치한다. 유사하게, 영역 C는 동일한 행들의 영역 A4a 및 A4b 사이에 위치하고, 열 방향으로는 영역 A3 및 A5 사이에 있다. 그러므로, 영역 A에 대한 파이프라인(410)은 영역들 B 및 C가 제거된 데이터 시퀀스로서 조직화될 수 있다. 도 4에서 나타난 바와 같이, 하나의 시퀀스의 예는 부분 영역들 A1, A2a, A2b, A3, A4a, A4b, 그리고 A5의 연결로서 나타난다. 예를 들어, 파이프라인(410)은 영역 A1의 맨 위 행에서 맨 아래 행으로 이어지고, 영역 A2a의 맨 위 행, A2b의 맨 위 행, A2a의 두번째 행, 기타 등등으로 이어지는 행 단위의 데이터 출력일 수 있다. 영역(B) 및 영역(C)에 대한 파이프라인(412) 및 파이프라인(414)은 유사하게 행 단위로 리드아웃되는 데이터로 구성될 수 있다. 파이프라인들(410, 412, 및 414)을 나타내는 기하학적인 크기들은 일반적으로 파이프라인들의 데이터의 양을 나타낸다. 동일한 유형의 별도의 관심 영역들의 세트(예를 들어, 영역(C) 유형의 다수의 관심 영역들)에 동일한 비닝 계수가 지정되는 경우, 관심 영역들의 세트에 대한 파이프라인을 형성하기 위해 영역 A에 대해 상술된 바와 같은 파이프라인 데이터를 조직화하는 동일한 데이터 연결 방법이 이용될 수 있다. 다시 말해, 동일한 해상도가 지정된 다수의 관심 영역들이 있는 경우, 동일한 해상도를 갖는 관심 영역들에 대해 단일의 파이프라인이 생성될 수 있다. 예를 들어, 각각 동일한 해상도가 지정된 물체의 유형에 대응하는 다수의 영역 C가 있는 경우, 모든 영역 C로부터의 데이터는 서로 다른 관심 영역들 및 그들의 경계들을 식별하기 위한 적절한 메타데이터를 이용하여 동일한 제 3 파이프라인(414)으로 그룹화될 수 있다. 다른 실시 예들에서, 먼저 모든 행들의 모든 데이터(예를 들어, 영역들 A1, A3, 및 A5의 데이터)를 연결하고, 해당 비닝 계수에 대한 파이프라인의 별도 부분의 세그먼트된(segmented) 행들의 데이터를 연결하는 것과 같이, 파이프라인 시퀀스들은 다르게 조직화될 수 있음을 주목해야 한다.
아날로그 데이터의 각 파이프라인은 그 후 샘플링될 수 있고, 아날로그-디지털 변환될 수 있고, 그리고 변화된 데이터들은 각각 병렬로 디지털 처리되어 저해상도 및 고해상도 그룹들(예를 들어, 파이프라인들)의 데이터를 제공한다(단계 S310). 예를 들어, 도 4의 저해상도 및 고해상도 그룹들은 각각 파이프라인(410) 및 파이프라인(414)일 수 있다. 샘플링 및 디지털 데이터로의 아날로그-디지털 변환은 리드아웃 회로(29)에서 발생할 수 있다. 선택적으로, 하나 이상의 중간 해상도로 처리된 데이터 그룹들(예를 들어, 영역 B에 대한 파이프라인(412))이 또한 생성된다. 동일한 비닝 계수의 관심 영역들에 대해 파이프라인들의 각 세트에 수행될 수 있는 이러한 디지털 처리의 일부 예들은 결함 정정(defect correction), 노이즈 감소(noise reduction), 및 리모자이크(remosaicing)를 포함한다. 리모자이크는 이미지 프로세서(30)가 아날로그 데이터를 제공하기 위해 이용되는 이미지 형식을 일반적인 센서의 출력 형식으로 변환하는 알고리즘을 실행하는 것을 수반할 수 있다.
서로 다른 데이터 그룹들의 처리된 데이터는 그 후 디스플레이될 프레임들에 조직화될 수 있는데(단계 S312), 여러 방법들로 이루어질 수 있다. 하나의 예에서, 통합된 이미지는 가장 낮은 해상도에서 생성될 수 있는데, 관심 영역과 나머지 영역을 원래 캡처된 이미지의 각 위치에서 통합한다. 통합된 이미지를 생성하기 위해, 각 관심 영역에 대한 디지털 데이터 그룹은 가장 낮은 해상도에서 디스플레이되기 위한 픽셀 영역들을 생성하기 위해 디지털 비닝될 수 있다. 도 4의 예에서, 영역 A의 가장 낮은 해상도와 일치시키기 위해, 영역 B를 나타내는 디지털 데이터는 비닝 계수 2.0으로 비닝될 수 있고(413), 영역 C를 나타내는 디지털 데이터는 비닝 계수 4.0으로 비닝될 수 있다(413). 관심 영역들에 적용되는 디지털 비닝은 저해상도 영역 A에 대해 수행되었던 아날로그 방법으로 이루어질 수 있다(예를 들어, 디지털로 정의된 슈퍼픽셀(superpixel) 블록들 내 픽셀 데이터의 합산, 평균화, 가중치 부여, 및/또는 스킵핑). 비닝된 데이터의 그룹들은 그 후 원래 프레임 내의 그들의 위치들에 따라, 통합된 처리 프레임(425)을 형성하기 위해 가장 낮은 해상도 영역들(예를 들어, 영역 A의 부분 영역들)의 데이터와 함께 스티칭(stitching)될 수 있다. 이러한 프로세싱 체인은 균일한 이미지를 나타내고, 이미지의 다른 영역들 사이의 이미지 품질의 변화를 제거하기 위해 아날로그 및 디지털 비닝된 영역들의 품질을 일치시킬 수 있다. 처리 프레임(425)는 그 후 디스플레이(32)로 메인 비디오 스트림의 풀 뷰(full view) 비디오 프레임(430)으로서 출력될 수 있다.
한편, 통합된 프레임을 형성하기 위해 디지털 비닝되기 이전에, 관심 영역들의 고해상도 데이터는 고해상도 관심 영역 윈도우들(432, 434)을 제공하기 위해 처리 경로들(452, 454)에 의해 나타난 바와 같이 별도로 처리될 수 있다. 애플리케이션 또는 사용자 인터페이스(34)를 통한 사용자 명령들에 따라, 고해상도 관심 영역 윈도우들(432, 434)는 각각의 고해상도로 별도의 프레임들에 디스플레이되거나, 또는 픽처-인-픽처(picture-in-picture; PIP) 윈도우들로서 풀 뷰 비디오 프레임(430)과 중첩되거나, 또는 풀 뷰 비디오 프레임(430)의 일부와 함께 분리된 스크린 상에 디스플레이될 수 있다. 예를 들어, 도 5는 풀 뷰 처리 프레임(425) 및 관심 영역 윈도우들(432, 434)에 기반하여 이미지 프로세서(30)에 의해 생성되고, 그리고 디스플레이(32) 상에 디스플레이를 위해 출력될 수 있는 PIP 프레임(440) 의 예를 나타낸다. 프레임(440)은 도 4의 풀 뷰 비디오 프레임(430)과 관심 영역 “C”에 대한 디지털 줌(확대)된 영역(450)을 나타냄에 있어 서로 다른데, 디지털 줌은 고해상도 데이터에 기반한다. 다시 말해, 확대된 영역(450)은 통합된 프레임(425)의 배경 이미지 구성 요소들(영역 A)와 관련하여 원래 크기에 비해 확대되는, 원래 영역 A의 일부를 커버하는 전경 이미지이다. 여기서, 관심 영역 “C”의 줌은 사용자 인터페이스(34)를 통한 사용자 입력에 의해 시작될 수 있었거나, 또는 검출된 관심 영역 유형 또는 이미지 프로세서(30) 상에서 실행 중인 애플리케이션의 다른 미리 설정된 조건에 기반하여 자동으로 수행되었을 수 있다. 한편, 윈도우(441)의 관심 영역 “B”는 애플리케이션 또는 사용자 명령들에 따라, 풀 뷰 비디오와 일치하는 가장 낮은 해상도로 디스플레이될 수 있고(나타난 바와 같이), 또는 보다 선명한 세부 사항들을 나타내기 위해 원래의 고해상도로 디스플레이될 수 있고, 또는 그 사이의 해상도로 디스플레이될 수 있다. 서로 다른 관심 영역들을 선택적으로 줌하는 기술은 “스마트 줌(smart zoom)”으로 지칭될 수 있다. 본 개시에 따라, 이러한 스마트 줌 동작들은 다양한 관심 영역들에 대해 선택적인 해상도들로 수행될 수 있다.
도 6a는 상술한 이미지 프로세서(30)의 하나의 예인 이미지 프로세서(30a) 내부의 회로 블록들을 나타내는 기능적인 블록도이다. 이미지 프로세서(30a)는 고해상도 이미지 프로세싱 블록(52), 저해상도 이미지 프로세싱 블록(54), 저해상도 스티칭 블록(56), 관심 영역 선택기(58), 및 이미지 송신기(60)를 포함한다. 저해상도 이미지 프로세싱 블록(54)은 상술한 픽셀 어레이(22)로부터의 저해상도 데이터(가장 높은 아날로그 비닝 계수가 할당된 영역들로부터의 데이터) 출력을 위한 상술한 프로세싱을 수행한다. 고해상도 이미지 프로세싱 블록(52)은 관심 영역들(고해상도는 프레임에 걸쳐 적용된 가장 낮은 해상도보다 높은 임의의 해상도인 것으로 간주된다)을 나타내는 픽셀 어레이(22)로부터의 고해상도 데이터 출력을 처리한다. 설명된 바와 같이, 이러한 처리는 아날로그-디지털 변환(리드아웃 회로(29)에서 이미 이루어지지 않은 경우), 결함 정정, 노이즈 감소, 및 리모자이크를 수반할 수 있다. 서로 다른 비닝 계수들이 할당된 관심 영역들이 있는 경우, 고해상도 이미지 프로세싱 블록(52)은 내부적으로 동일한 비닝 계수를 갖는 데이터를 함께 처리할 수 있고, 각각 동일한 비닝 계수로 생성된 데이터를 운반하는 병렬 데이터 파이프라인들을 출력한다. 고해상도 이미지 프로세싱 블록(52)로부터의 하나 이상의 고해상도 데이터 파이프라인들은 저해상도 스티칭 블록(56) 및 이미지 송신기(60) 모두로 출력될 수 있다.
저해상도 스티칭 블록(56)은 관심 영역들로부터의 고해상도 데이터의 디지털 비닝을 수행하여 동일한 관심 영역을 저해상도 데이터로 변환할 수 있고, 이 데이터를 저해상도 이미지 프로세싱 블록(54)으로부터의 저해상도 데이터 출력과 함께 스티칭하여, 저해상도에서 풀 프레임 비디오를 생성할 수 있다. 풀 프레임 비디오는 이미지 송신기(60) 및 관심 영역 선택기(58) 모두로 출력될 수 있다. 관심 영역 선택기(58)는 연속적으로 관심 영역들을 프레임 단위로 검출 및 추적할 수 있고, 상술한 바와 같이 아날로그 비닝 컨트롤러(24)로 제어 신호들(CTL)을 출력할 수 있고, 픽셀 어레이(22)의 다양한 인트라-프레임 아날로그 비닝과 프레임 레이트를 제어할 수 있다. 이미지 송신기(60)는 PIP 프레임들을 생성할 수 있고, PIP 프레임들을 포함하는 다수의 데이터 파이프라인들을 애플리케이션 프로세서(31)로 출력할 수 있다. 하나의 파이프라인은 풀 프레임 비디오를 운반할 수 있고, 다른 파이프라인은 PIP 프레임들을 운반할 수 있고, 그리고 적어도 하나의 다른 파이프라인은 동일한 해상도의 관심 영역들의 각 세트에 대한 고해상도 데이터를 운반할 수 있다. 애플리케이션 프로세서(31)는 차례로 PIP 프레임들 및/또는 추가로 변형된 프레임들을 디스플레이(32) 및 네트워크 인터페이스(38)로 출력할 수 있다.
도 6b는 상술한 이미지 프로세서(30)의 다른 하나의 예인 이미지 프로세서(30b) 내부의 회로 블록들을 나타내는 기능적인 블록도이다. 이미지 프로세서(30b)는 관심 영역 선택기(58)가 생략되었다는 점에서 이미지 프로세서(30a)와 다른데, 대신 이는 애플리케이션 프로세서(31) 내에 포함된다. 그러므로, 저해상도 스티칭 블록(56)의 출력은 이미지 송신기(60)로 출력될 수 있고, 이미지 송신기(60)는 차례로 스티칭된 저해상도 프레임들을 애플리케이션 프로세서(31) 내의 관심 영역 선택기(580)로 전송한다. 애플리케이션 프로세서(31)는 프레임 단위로 연속적으로 선택되는 관심 영역들에 따라 제어 신호들(CTL)을 아날로그 비닝 컨트롤러(24)로 상응하게 공급할 수 있다(직접적으로, 또는 이미지 프로세서(30b)의 다른 회로를 통해). 이미지 송신기(60)는 이미지 프로세서(30a)에 대한 방법과 동일하게 고해상도 이미지 프로세싱 블록(52)으로부터 고해상도 프레임들을 애플리케이션 프로세서(31)로 공급할 수 있다.
상술한 바와 같은 본 개시의 실시 예들은 종래의 이미지 센서들, 카메라 시스템들, 그리고 방법들에 비해 다수의 장점들을 나타낼 수 있다. 예를 들어, 실시 예들은 프레임들의 대부분의 영역에 대한 아날로그 비닝으로 인해 상대적으로 낮은 전력 소모로 이미지 센서 내에서 다중 해상도의 다중 관심 영역 비디오 스트림들의 처리를 가능하게 한다. 처리할 데이터의 양이 적기 때문에, 실시 예들은 더 높은 프레임 레이트 동작 및/또는 센서 상에서 보다 복잡한 처리 태스크들을 수행하는 것을 가능하게 한다. 실시 예들은 서로 다른 해상도들에서 다수의 관심 영역들에 대한 “센서 상” 스마트 줌을 구현할 수 있게 하여, 진정한 픽처-인-픽처(PIP)를 실현한다. 실시 예들은 또한 동시에 캡처되고, 더 낮은 해상도의 전체 시야와 일치하는 고해상도 관심 영역들을 거의 지연 없이 또는 완전히 지연 없이 제공할 수 있다.
본 명세서에 설명된 실시 예들은 신호 화살표, 블록도(예를 들어, 방법(300)의 흐름도 그리고 도 6에서 이미지 프로세서(30a)에 대한 블록도)를 참조하여 설명되었다. 블록도의 각 블록(예를 들어, 단계 S302 내지 단계 S312 중 임의의 동작 또는 이미지 프로세서(30a)의 블록들(52, 54, 56, 및 58) 중 임의의 블록) 그리고 블록도의 블록들의 조합, 그리고 알고리즘 표현에 따른 동작들은 컴퓨터 프로그램 명령들에 의해 수반되는 회로(예를 들어, 메모리(36)와 함께 이미지 프로세서(30)의 프로세싱 회로)에 의해 구현될 수 있다. 이러한 컴퓨터 프로그램 명령들은, 컴퓨터, 기타 프로그램 가능한 데이터 처리 장치, 또는 기타 장치가 특정 방식으로 기능하도록 지시할 수 있는 비일시적 컴퓨터 판독 가능 매체(예를 들어, 메모리(36))에 저장될 수 있고, 컴퓨터 판독 가능 매체에 저장된 명령들은 블록도에 지정된 기능 및 동작을 구현하는 명령들을 포함하는 제조품을 생성한다.
본 명세서에서 사용되는 "프로세서"라는 용어는, 예를 들어 중앙 처리 장치 (CPU) 및/또는 다른 처리 회로(예를 들어, 디지털 신호 프로세서 (DSP), 마이크로 프로세서 등)와 같은 임의의 처리 장치를 포함하는 것으로 의도된다. 나아가, "프로세서"는 컴퓨팅 하드웨어를 포함하고 컴퓨팅 장치에서 다수의 처리 코어들을 포함하는 멀티 코어 프로세서를 지칭할 수 있다. 처리 장치와 관련된 다양한 요소들은 다른 처리 장치에 의해 공유될 수 있다.
본 명세서에 설명된 본 개시의 개념이 실시 예들을 참조하여 특히 도시되고 설명되었지만, 본 개시와 관련된 기술 분야의 통상의 기술자는 다음 청구 범위 및 그 균등물에 의해 본 개시의 사상 및 범위를 벗어나지 않고 형태 및 세부 사항에 대한 다양한 변경이 이루어질 수 있음을 이해할 것이다.

Claims (20)

  1. 픽셀 어레이를 갖는 이미지 센서에 의해 수행되는 방법에 있어서,
    상기 픽셀 어레이를 이용하여 씬(scene)의 적어도 하나의 프레임을 획득하는 단계;
    상기 적어도 하나의 프레임 내에서 적어도 하나의 관심 영역을 식별하는 단계;
    상기 적어도 하나의 관심 영역에 대해 고해상도 이미징을 수행하고, 상기 적어도 하나의 관심 영역 외부의 후속 프레임들의 남은 영역들에 대해 아날로그 비닝(binning)을 이용하여 저해상도 이미징을 수행하기 위해 상기 픽셀 어레이를 제어하여 상기 씬의 상기 후속 프레임들을 획득하는 단계;
    상기 픽셀 어레이로부터 획득된 이미지 데이터를 동일한 해상도에 따라 파이프라인들로 제공하는 단계; 및
    상기 이미지 데이터의 저해상도 그룹 및 상기 이미지 데이터의 적어도 하나의 고해상도 그룹을 제공하기 위해 상기 파이프라인들 각각을 별도로 디지털 처리하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    출력될 통합된 프레임을 형성하기 위해 상기 이미지 데이터의 상기 저해상도 그룹 및 상기 적어도 하나의 고해상도 그룹을 함께 스티칭(stitching)하는 단계를 더 포함하는 방법.
  3. 제 2 항에 있어서,
    상기 이미지 데이터의 상기 저해상도 그룹 및 상기 적어도 하나의 고해상도 그룹을함께 스티칭하는 단계 이전에, 상기 아날로그 비닝에 기반한 상기 저해상도 이미징과 일치하기에 충분한 비닝 계수로 상기 적어도 하나의 고해상도 이미지 데이터의 그룹을 디지털 비닝하는 단계를 더 포함하되,
    상기 통합된 프레임은 상기 동일한 해상도 출력에서 출력 프레임을 형성하기 위해 함께 스티칭되는 방법.
  4. 제 2 항에 있어서,
    상기 통합된 프레임에 나타나는 상기 남은 영역들을 배경 이미지 구성 요소들로서 이용하고, 상기 적어도 하나의 고해상도 이미지 데이터의 그룹에 대응하는 적어도 하나의 고해상도 윈도우를 전경 이미지로서 이용하여 픽처-인-픽처(picture in picture; PIP) 프레임을 형성하는 단계를 더 포함하는 방법.
  5. 제 4 항에 있어서,
    상기 배경 이미지 구성 요소들에 관련하여 상기 적어도 하나의 고해상도 윈도우를 원래 크기에 비교하여 확대하는 단계를 더 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 관심 영역을 식별하는 단계는 관심 영역들로서 이미지 구성 요소들의 특정 패턴들을 식별하기 위한 프로그램 명령들을 실행하는 프로세서에 의해 개시되는 커맨드들을 통해 자동으로 수행되는 방법.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 관심 영역을 식별하는 단계는 사용자 인터페이스에 의해 개시되는 커맨드를 통해 수행되는 방법.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 관심 영역은 제 1 관심 영역 및 제 2 관심 영역을 포함하고,
    제 1 아날로그 비닝 계수는 상기 제 1 관심 영역에 대해 상기 픽셀 어레이에 의한 이미징에 이용되고,
    상기 제 1 아날로그 비닝 계수보다 작은 제 2 아날로그 비닝 계수는 상기 제 2 관심 영역에 대해 상기 픽셀 어레이에 의한 이미징에 이용되는 방법.
  9. 제 8 항에 있어서,
    상기 제 1 관심 영역은 차량을 포함하고, 상기 제 2 관심 영역은 상기 차량의 번호판을 포함하는 방법.
  10. 제 8 항에 있어서,
    상기 제 1 관심 영역은 인체를 포함하고, 상기 제 2 관심 영역은 상기 인체의 얼굴을 포함하는 방법.
  11. 제 1 항에 있어서,
    상기 적어도 하나의 관심 영역에 대한 상기 고해상도 이미징은 아날로그 비닝 없이 수행되는 방법.
  12. 제 1 항에 있어서,
    상기 적어도 하나의 관심 영역에 대해 아날로그 비닝은 수행되지 않고, 상기 프레임들의 상기 남은 영역들에 대해 2 이상의 아날로그 비닝 계수가 적용되는 방법.
  13. 제 1 항에 있어서,
    상기 적어도 하나의 관심 영역은 제 1 관심 영역 및 배경 영역에 의해 상기 제 1 관심 영역으로부터 분리되는 제 2 관심 영역을 포함하고, 그리고
    상기 제 1 관심 영역 및 상기 제 2 관심 영역 각각에 대해 상기 픽셀 어레이에 의한 이미징에 대해 동일한 고해상도 비닝 계수가 이용되는 방법.
  14. 제 1 항에 있어서,
    상기 파이프라인들 각각을 별도로 디지털 처리하는 단계는 결함 정정 처리, 노이즈 감소 처리, 및 리모자이크 처리 중 적어도 하나를 포함하는 방법.
  15. 제 1 항에 있어서,
    상기 아날로그 비닝은:
    인접한 픽셀들의 픽셀 블록을 정의하는 단계; 및
    상기 픽셀 블록의 상기 픽셀들로부터의 전하들의 합산, 평균화, 가중, 및/또는 상기 픽셀 블록의 상기 인접한 픽셀들의 일부의 픽셀 데이터의 스킵 중 적어도 하나를 포함하는 방법.
  16. 제 15 항에 있어서,
    상기 이미지 데이터의 상기 저해상도 그룹 및 상기 적어도 하나의 고해상도 그룹을함께 스티칭하는 단계 이전에, 상기 아날로그 비닝에 기반한 상기 저해상도 이미징과 일치하기에 충분한 비닝 계수로 상기 적어도 하나의 고해상도 이미지 데이터의 그룹을 디지털 비닝하는 단계를 더 포함하되,
    상기 디지털 비닝은 상기 합산, 평균화, 가중, 및 스킵 중 적어도 하나를 이용하여 상기 아날로그 비닝과 같은 아날로그 방법으로 수행되고, 그리고
    상기 통합된 프레임은 출력 프레임 전체를 동일한 해상도로 형성하기 위해 형성하기 위해 함께 스티칭되는 방법
  17. 픽셀 어레이; 및
    상기 픽셀 어레이로부터 리드아웃된 씬(scene)의 적어도 하나의 프레임의 이미지 데이터를 획득하고,
    적어도 하나의 관심 영역에 대해 고해상도 이미징을 수행하고, 상기 적어도 하나의 관심 영역 외부의 상기 프레임들의 남은 영역들에 대해 아날로그 비닝(binning)을 이용하여 저해상도 이미징을 수행하기 위해 상기 픽셀 어레이를 제어하여 상기 씬의 후속 프레임들을 획득하고,
    상기 픽셀 어레이로부터 획득된 이미지 데이터를 동일한 해상도에 따라 파이프라인들로 제공하고, 그리고
    저해상도 이미지 데이터의 그룹 및 적어도 하나의 고해상도 이미지 데이터의 그룹을 제공하기 위해 상기 파이프라인들 각각을 별도로 디지털 처리하는 명령들을실행하는 적어도 하나의 이미지 프로세서를 포함하는 이미지 센서.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 이미지 프로세서는:
    상기 아날로그 비닝에 기반한 상기 저해상도 이미징과 일치하기에 충분한 비닝 계수로 상기 적어도 하나의 고해상도 이미지 데이터의 그룹을 디지털 비닝하여 디지털 비닝된 이미지 데이터를 제공하고,
    상기 저해상도 이미지 데이터의 그룹 및 상기 디지털 비닝된 이미지 데이터를 함께 스티칭(stitching)하여 출력될 통합된 프레임을 형성하고, 그리고
    상기 통합된 프레임에 나타나는 상기 남은 영역들을 배경 이미지 구성 요소들로서 이용하고, 상기 적어도 하나의 고해상도 이미지 데이터의 그룹에 대응하는 적어도 하나의 고해상도 윈도우를 전경 이미지로서 이용하여 픽처-인-픽처(picture in picture; PIP) 프레임을 형성하는 명령들을 더 실행하는 이미지 센서.
  19. 제 18 항에 있어서,
    상기 적어도 하나의 이미지 프로세서는:
    상기 파이프라인들의 고해상도 파이프라인을 디지털 처리하여 상기 적어도 하나의 고해상도 이미지 데이터의 그룹을 제공하는 고해상도 처리 회로;
    상기 파이프라인들의 저해상도 파이프라인을 디지털 처리하여 상기 저해상도 이미지 데이터의 그룹을 제공하는 저해상도 처리 회로;
    상기 적어도 하나의 고해상도 이미지 데이터의 그룹의 상기 디지털 비닝 및 상기 스티칭을 수행하여 상기 통합된 프레임을 형성하는 저해상도 스티칭 처리 회로;
    상기 저해상도 스티칭 처리 회로로부터 상기 통합된 프레임을 수신하고, 상기 통합된 프레임으로부터 연속적으로 관심 영역들을 검출 및 추적하고, 상기 관심 영역들과 관련된 제어 신호들을 상기 이미지 센서의 컨트롤러로 출력하는 관심 영역 선택기 회로; 및
    상기 통합된 프레임 및 상기 적어도 하나의 고해상도 이미지 데이터의 그룹을 수신하고, 상기 통합된 프레임 및 상기 적어도 하나의 고해상도 이미지 데이터의 그룹으로부터 상기 PIP 프레임을 생성하고, 디스플레이로 상기 PIP 프레임을 전송하는 이미지 송신기를 포함하는 이미지 센서.
  20. 렌즈;
    디스플레이;
    상기 렌즈를 통해 빛을 수신하는 픽셀 어레이를 포함하는 이미지 센서; 및
    상기 픽셀 어레이로부터 리드아웃된 씬(scene)의 적어도 하나의 프레임의 이미지 데이터를 획득하고,
    상기 적어도 하나의 프레임 내에서 복수의 관심 영역들을 식별하고,
    상기 관심 영역들의 제 1 그룹에 대해 제 1 해상도 이미징을 수행하고, 상기 관심 영역들의 제 2 그룹에 대해 제 2 해상도 이미징을 수행하고, 그리고 상기 복수의 관심 영역들 외부의 상기 프레임들의 배경 영역에 대해 제 3 해상도 이미징을 수행하도록 상기 픽셀 어레이를 제어하여 상기 씬의 후속 프레임들을 획득하고,
    상기 제 1, 제 2, 또는 제 3 해상도를 사용하여 이미징된 이미지 데이터에 각각 대응하는 파이프라인들에 상기 픽셀 어레이로부터 획득된 이미지 데이터를 제공하고, 그리고
    적어도 상기 디스플레이에 출력될 이미지 데이터의 제 1, 제 2, 및 제 3 해상도 그룹들을 제공하기 위해 상기 파이프라인들 각각을 별도로 디지털 처리하는 명령들을 실행하는 적어도 하나의 프로세서를 포함하되,
    상기 제 1 해상도 및 상기 제 2 해상도는 서로 다르고, 상기 제 3 해상도는 상기 제 1 해상도 및 상기 제 2 해상도 각각보다 낮고, 상기 관심 영역들의 각 그룹은 하나 이상의 관심 영역들을 포함하는 카메라 장치.
KR1020210094239A 2020-09-03 2021-07-19 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서 KR20220030877A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/011,227 2020-09-03
US17/011,227 US11570384B2 (en) 2020-09-03 2020-09-03 Image sensor employing varied intra-frame analog binning

Publications (1)

Publication Number Publication Date
KR20220030877A true KR20220030877A (ko) 2022-03-11

Family

ID=80355953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210094239A KR20220030877A (ko) 2020-09-03 2021-07-19 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서

Country Status (2)

Country Link
US (1) US11570384B2 (ko)
KR (1) KR20220030877A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945076A (zh) * 2022-05-31 2022-08-26 歌尔股份有限公司 图像传感器、图像生成方法及虚拟现实显示设备
US11895414B1 (en) * 2022-08-04 2024-02-06 Qualcomm Incorporated Virtual channel configuration session of a camera sensor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949483A (en) 1994-01-28 1999-09-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US20080129844A1 (en) 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US8089522B2 (en) 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
US8401230B2 (en) * 2010-11-01 2013-03-19 Xerox Corporation Signature based drive-through order tracking system and method
US9179085B1 (en) * 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
EP3000401B1 (en) * 2014-09-23 2022-11-09 Samsung Medison Co., Ltd. Method and apparatus for generating ultrasound image
US9749554B2 (en) 2015-08-20 2017-08-29 Semiconductor Components Industries, Llc Systems and methods for weighted image signal readout

Also Published As

Publication number Publication date
US20220070391A1 (en) 2022-03-03
US11570384B2 (en) 2023-01-31

Similar Documents

Publication Publication Date Title
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
KR0162515B1 (ko) 화질이 열화가 없는 고품질 화상 데이타를 제공할 수 있는 화상 처리 장치
US8305424B2 (en) System, apparatus and method for panorama image display
US8462220B2 (en) Method and apparatus for improving low-light performance for small pixel image sensors
KR101646608B1 (ko) 실시간 비디오 프레임 선-프로세싱 하드웨어
US8199805B2 (en) Image processing apparatus and image processing method
WO2010089817A1 (ja) 固体撮像素子、カメラシステムおよび固体撮像素子の駆動方法
CN101521751B (zh) 摄像设备
JP4424088B2 (ja) 撮像装置
US10095941B2 (en) Vision recognition apparatus and method
WO2003067517B1 (en) Apparatus and method for providing electronic image manipulation in video conferencing applications
WO2011083555A1 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
US20110080503A1 (en) Image sensing apparatus
WO2012081175A1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
KR20220030877A (ko) 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서
US11082625B2 (en) Imaging systems for generating HDR images and operating methods thereof
JP4386959B1 (ja) 画像処理装置
KR100483191B1 (ko) 전자 줌기능을 갖는 디지털 카메라 및 이미지 처리방법
US20230128031A1 (en) Solid-state imaging apparatus
WO2017126899A2 (en) Methods and systems for reconstructing a high frame rate high resolution video
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20220253978A1 (en) Camera device and image generation method of camera device
US11595578B2 (en) Image processing apparatus and image sensing apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
JP3551670B2 (ja) 電子スチルカメラ
JP5335968B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination