KR102410016B1 - 이미지 처리 장치 및 이미지 처리 시스템 - Google Patents

이미지 처리 장치 및 이미지 처리 시스템 Download PDF

Info

Publication number
KR102410016B1
KR102410016B1 KR1020150180191A KR20150180191A KR102410016B1 KR 102410016 B1 KR102410016 B1 KR 102410016B1 KR 1020150180191 A KR1020150180191 A KR 1020150180191A KR 20150180191 A KR20150180191 A KR 20150180191A KR 102410016 B1 KR102410016 B1 KR 102410016B1
Authority
KR
South Korea
Prior art keywords
image
information
image signal
image processing
signal processor
Prior art date
Application number
KR1020150180191A
Other languages
English (en)
Other versions
KR20170071941A (ko
Inventor
이지홍
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150180191A priority Critical patent/KR102410016B1/ko
Priority to US15/346,181 priority patent/US10165207B2/en
Publication of KR20170071941A publication Critical patent/KR20170071941A/ko
Application granted granted Critical
Publication of KR102410016B1 publication Critical patent/KR102410016B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/23241—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H04N5/23267—
    • H04N5/2327—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

이미지 처리 장치 및 이미지 처리 시스템에 관하여 개시한다. 이미지 처리 장치는 복수의 카메라들에서 획득한 베이어 이미지 신호들에 기초하여 이미지 포지션에 관한 정보를 생성하는 프리 프로세서, 상기 복수의 카메라들 중의 어느 하나의 카메라로부터 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하고, 상기 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성하는 독립 이미지 신호 프로세서 및, 상기 이미지 처리 정보 및 상기 이미지 포지션에 관한 정보를 이용하여 상기 복수의 카메라들에서 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하는 적어도 하나 이상의 종속 이미지 신호 프로세서를 포함한다.

Description

이미지 처리 장치 및 이미지 처리 시스템{Apparatus for processing image and image processing system adopting the same}
본 발명은 이미지 신호를 처리하는 장치 및 방법에 관한 것으로서, 자세하게는 이미지 처리 장치 및 이미지 처리 시스템에 관한 것이다.
일반적으로, 복수의 카메라들로 구성된 이미지 처리 시스템에서 복수의 카메라들에서 획득한 이미지는 각각의 카메라에 대한 이미지 프로세서에서 디모자이싱(demosaicing), 디노이징(denoising) 등과 같은 신호 처리를 개별적으로 수행한다. 이와 같은 시스템에서는 카메라 별로 동등하게 품질 사양의 이미지 신호 프로세서를 사용하는 경우에 제품 원가가 상승하는 결과가 발생된다. 또한, 일부 카메라에 대한 이미지 신호 프로세서의 품질 사양을 낮추어 사용하는 경우에는 카메라 별 이미지 신호에 대한 화질 차이가 발생되는 문제점이 있었다. 그리고, 이미지 처리 시스템의 전체 소비 전력이 증가되는 문제점이 있었다.
본 발명의 목적은 저전력 및 낮은 비용으로 복수의 카메라들에 대한 이미지 신호를 처리하기 위한 이미지 처리 장치를 제공하는데 있다.
본 발명의 다른 목적은 저전력 및 낮은 비용으로 복수의 카메라들에 대한 이미지 신호를 처리하기 위한 이미지 처리 시스템을 제공하는데 있다.
본 발명의 기술적 사상의 일면에 따른 이미지 처리 장치는 복수의 카메라들에서 획득한 베이어 이미지 신호들에 기초하여 이미지 포지션에 관한 정보를 생성하는 프리 프로세서, 상기 복수의 카메라들 중의 어느 하나의 카메라로부터 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하고, 상기 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성하는 독립 이미지 신호 프로세서 및, 상기 이미지 처리 정보 및 상기 이미지 포지션에 관한 정보를 이용하여 상기 복수의 카메라들에서 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하는 적어도 하나 이상의 종속 이미지 신호 프로세서를 포함한다.
본 발명의 기술적 사상의 다른 면에 따른 이미지 처리 시스템은 베이어 이미지를 각각 생성하는 복수의 카메라들, 상기 복수의 카메라들에서 획득한 베이어 이미지 신호들에 기초하여 이미지 포지션에 관한 정보를 생성하는 프리 프로세서, 상기 복수의 카메라들 중의 하나인 타깃 카메라로부터 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하고, 상기 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성하는 독립 이미지 신호 프로세서, 상기 이미지 처리 정보 및 상기 이미지 포지션에 관한 정보를 이용하여 상기 복수의 카메라들 중에서 상기 타깃 카메라를 제외한 나머지 카메라들에서 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하는 적어도 하나의 종속 이미지 신호 프로세서, 상기 프리 프로세서, 상기 독립 이미지 신호 프로세서 및 상기 적어도 하나의 종속 이미지 신호 프로세서에 대한 출력 타이밍을 제어하는 타이밍 제어부 및, 상기 독립 이미지 신호 프로세서 및 상기 적어도 하나의 종속 이미지 신호 프로세서에서 각각 출력되는 이미지 데이터에 대한 후 처리를 수행하는 포스트 프로세서를 포함한다.
본 발명에 따르면 복수의 카메라들을 포함하는 이미지 처리 시스템에서 저전력, 저비용으로 카메라들의 이미지들간의 화질 편차를 최소화할 수 있는 효과가 발생된다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템의 구성도이다.
도 2는 도 1에 도시된 이미지 신호 프로세서의 세부 구성도의 일 예를 보여준다.
도 3은 도 1에 도시된 이미지 신호 프로세서의 세부 구성도의 다른 예를 보여준다.
도 4는 도 2에 도시된 독립 이미지 신호 프로세서 및 종속 이미지 신호 프로세서에 대한 구성을 예시적으로 보여준다.
도 5는 도 3에 도시된 독립 이미지 신호 프로세서 및 종속 이미지 신호 프로세서에 대한 구성을 예시적으로 보여준다.
도 6은 도 4 및 도 5에 도시된 예비 연산 처리부에 대한 세부 구성을 예시적으로 보여준다.
도 7은 도 2 및 도 3의 프리-프로세서에서 레지스트레이션 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 8은 도 4 및 도 5에 예비 연산 처리부에서의 경계 강도를 산출하는 과정을 설명하기 위한 도면이다.
도 9는 도 4 및 도 5에 도시된 예비 연산 처리부에서의 수평 방향 컬러 값 차이 및 수직 방향 컬러 값 차이를 계산하는 과정을 설명하기 위한 도면이다.
도 10a 및 도 10b는 도 4 및 도 5에 도시된 예비 연산 처리부에서의 보간 방향을 결정하기 위하여 주변 픽셀에서의 수평 방향 컬러값 차이(ΔH) 및 수직 방향 컬러값 차이(ΔV)를 이용하는 과정을 설명하기 위한 도면이다.
도 11a 내지 도 11e는 도 1에 도시된 이미지 신호 프로세서에서의 디모자이싱 처리를 위한 G 및 B 칼러값을 보간하는 과정의 일 예를 보여주는 도면이다.
도 12a 내지 도 12e는 도 1에 도시된 이미지 신호 프로세서에서의 디모자이싱 처리를 위한 R 및 B 칼러값을 보간하는 과정의 일 예를 보여주는 도면이다.
도 13은 본 발명의 실시 예에 따른 이미지 처리 방법의 흐름도이다.
도 14는 본 발명에 따른 이미지 신호 프로세서가 적용되는 전자 장치의 구성을 예시적으로 보여주는 도면이다.
도 15는 본 발명에 따른 이미지 신호 프로세서가 적용되는 모바일 단말기의 구성을 예시적으로 보여주는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다. 본 발명의 실시 예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템(1000)의 구성도이다.
도 1에 도시된 바와 같이, 이미지 처리 시스템(1000)은 카메라 모듈(100), 이미지 신호 프로세서(200), 포스트 프로세서(300) 및 타이밍 컨트롤러(400)를 포함한다.
카메라 모듈(100)은 복수개의 카메라들(100-0 ~ 100-N; N은 1 이상의 정수)을 포함한다. 예로서, 카메라 모듈(100)은 스트레오 타입 혹은 어레이 타입으로 카메라들을 구성할 수 있다.
복수개의 카메라들(100-0 ~ 100-N) 각각은 픽셀 단위의 이미지 센서를 2차원적으로 배치된다. 이에 따라서 이미지 센서로 입사된 빛의 밝기에 상응하는 전기적인 신호를 디지털 신호로 변환하여 출력한다. 여기에서, 이미지 센서는 베이어(bayer) 패턴으로 구성될 수 있다. 이와 같은 베이어 패턴에 따라서 출력되는 디지털 신호는 하나의 픽셀에 한 가지 칼라 신호를 포함하고 있다. 즉, 복수개의 카메라들(100-0 ~ 100-N) 각각에서 출력되는 베이어 이미지 신호는 하나의 픽셀에 R, G, B 신호 중에서 어느 하나의 칼라 신호를 포함하고 있다.
이미지 신호 프로세서(200)는 프리 프로세서(pre-processor; 210), 독립 이미지 신호 프로세서(IISP; 220) 및 종속 이미지 신호 프로세싱 블록(230)을 포함한다. 여기에서, 종속 이미지 신호 프로세싱 블록(230)은 하나 이상의 종속 이미지 신호 프로세서들(DISP #1 ~ DISP #N; 230-1 ~ 230-N)을 포함한다.
만일, N=1인 경우에 카메라 모듈(100)에 포함되는 카메라들의 개수는 2가 된다. 이에 따라서, 이미지 신호 프로세서(200)는 프리 프로세서(pre-processor; 210), 하나의 독립 이미지 신호 프로세서(IISP; 220)와 하나의 종속 이미지 신호 프로세서(DISP #1; 230-1)로 구성된다.
독립 이미지 신호 프로세서(220) 및 종속 이미지 신호 프로세서들(DISP #1 ~ DISP #N; 230-1 ~ 230-N) 각각은 하나의 픽셀에 대하여 한 가지의 칼라 신호를 갖는 베이어 이미지 신호를 제공받기 때문에, 베이어 이미지 신호로부터 3가지의 칼라로 보정하는 디모자이싱(demosaicing) 처리를 수행한다.
프리 프로세서(210)는 복수개의 카메라들(100-0 ~ 100-N)에서 획득한 베이어 이미지들에 기초하여 이미지 포지션(position)에 관한 정보를 생성하는 신호 처리를 수행한다. 예로서, 이미지 포지션에 관한 정보는 이미지의 시차(disparity)를 나타내는 이미지 레지스트레이션(registration) 정보를 포함할 수 있다. 다른 예로서, 이미지 포지션에 관한 정보는 이미지의 거리를 나타내는 뎁스 맵(depth map) 정보를 포함할 수 있다. 프리 프로세서(210)에서 생성된 이미지 포지션에 관한 정보는 독립 이미지 신호 프로세서(220) 또는 종속 이미지 신호 프로세싱 블록(230) 중의 적어도 하나에 제공된다.
독립 이미지 신호 프로세서(220)는 카메라 모듈(100)의 복수의 카메라들(100-0 ~ 100-N) 중의 하나인 타깃 카메라로부터 획득한 베이어 이미지로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하고, 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성한다. 예로서, 이미지 처리 정보는 각 픽셀에 대한 디모자이싱 처리 과정에서 예측되거나 추정된 정보 또는 디노이징 처리 과정에서 예측되거나 추정된 정보 중의 적어도 하나를 포함할 수 있다. 독립 이미지 신호 프로세서(220)에서 생성된 이미지 처리 정보는 종속 이미지 신호 프로세싱 블록(230)으로 전송된다.
종속 이미지 신호 프로세서들(DISP #1 ~ DISP #N; 230-1 ~ 230-N) 각각은 이미지 포지션에 관한 정보 및 독립 이미지 신호 프로세서(220)에서 생성된 이미지 처리 정보를 이용하여 카메라 모듈(100)의 복수의 카메라들(100-0 ~ 100-N)들 중에서 독립 이미지 신호 프로세서(220)에 대응되는 타깃 카메라를 제외한 나머지 카메라들에서 획득한 베이어 이미지로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다.
이에 따라서, 종속 이미지 신호 프로세서들(230-1 ~ 230-N)은 독립 이미지 신호 프로세서(220)에서 수행된 이미지 처리 정보를 생성시키기 위한 연산 동작을 스킵(skip)할 수 있게 된다. 따라서, 종속 이미지 신호 프로세서들(230-1 ~ 230-N)의 구성을 단순화시킬 수 있다. 또한, 종속 이미지 신호 프로세서들(230-1 ~ 230-N)을 독립 이미지 신호 프로세서(220)의 구성과 동일하게 유지하면서 이미지 처리 정보를 생성시키기 위한 연산 동작을 생략할 수 있다. 이로 인하여, 종속 이미지 신호 프로세서들(230-1 ~ 230-N)의 소비 전력을 감소시킬 수 있게 된다.
타이밍 컨트롤러(400)는 프리 프로세서(210), 독립 이미지 신호 프로세서(220) 및 종속 이미지 신호 프로세서들(230-1 ~ 230-N)에 대한 출력 타이밍을 제어하는 동작을 수행한다. 이는 종속 이미지 신호 프로세서들(230-1 ~ 230-N)이 프리 프로세서(210)에서 생성된 이미지 포지션에 관한 정보 및 독립 이미지 신호 프로세서(220)에서 생성된 이미지 처리 정보를 이용하여 카메라 모듈(100)로부터 수신되는 베이어 이미지 신호를 처리하기 때문에, 포스트 프로세서(300)로 출력하는 시간을 맞추기 위함이다.
포스트 프로세서(300)는 독립 이미지 신호 프로세서(220) 및 종속 이미지 신호 프로세서들(230-1 ~ 230-N)에서 각각 출력되는 이미지 데이터에 대한 후 처리를 수행한다. 예로서, 3차원 이미지 처리, 이미지 규격 변환 처리, 이미지 보정 처리 등과 같은 후 처리를 수행한다.
도 2는 도 1에 도시된 이미지 신호 프로세서의 세부 구성도의 일 예(200A)를 보여준다.
도 2에 도시된 바와 같이, 이미지 신호 프로세서(200A)는 프리 프로세서(210A), 독립 이미지 신호 프로세서(220A) 및 종속 이미지 신호 프로세서들(DISP #1 ~ DISP #N; 230-1A ~ 230-NA)를 포함한다.
예로서, 도 1의 복수의 카메라들(100-0 ~ 100-N) 중에서 카메라(100-0)에서 획득된 베이어 이미지 신호(#0)는 독립 이미지 신호 프로세서(220A)에서 처리하고, 나머지 카메라들(100-1 ~ 100-N)에서 획득된 베이어 이미지 신호(#1) ~ 베이어 이미지 신호(#N)는 종속 이미지 신호 프로세서들(DISP #1 ~ DISP #N; 230-1A ~ 230-NA)에서 처리하는 것으로 가정하자.
프리 프로세서(210A)는 복수개의 카메라들(100-0 ~ 100-N)에서 획득한 베이어 이미지 신호들(#0 ~ #N)에 기초하여 이미지 포지션(position)에 관한 정보(REG INF)를 생성하는 신호 처리를 수행한다. 예로서, 이미지 포지션에 관한 정보는 이미지의 시차(disparity)를 나타내는 이미지 레지스트레이션(registration) 정보를 포함할 수 있다. 다른 예로서, 이미지 포지션에 관한 정보는 이미지의 거리를 나타내는 뎁스 맵(depth map) 정보를 포함할 수 있다. 예로서, 이미지 포지션에 관한 정보(REG INF)는 베이어 이미지 신호(#0)에 기초한 이미지를 기준으로 베이어 이미지 신호들(#1 ~ #N) 각각에 기초한 이미지들이 영역 별로 몇 픽셀만큼 어느 방향으로 시프트 되어 있는지를 나타내는 정보이다. 예로서, 영역 단위로 이미지 포지션 정보를 생성할 수 있다. 다른 예로서, 에지 성분이 기초하여 검출되는 오브젝트 별로 이미지 포지션 정보를 생성할 수 있다.
도 7은 도 2 및 도 3의 프리-프로세서(210A 또는 210B)에서 레지스트레이션 정보를 생성하는 과정을 설명하기 위한 도면이다.
예로서, 베이어 이미지 신호(#0)에서 검출된 오브젝트들을 도 7(a)에 표시하였고, 베이어 이미지 신호(#1)에서 검출된 오브젝트들을 도 7(b)에 도시하였다. 오브젝트들은 특징 포인트를 추출하는 방식으로 검출할 수 있다. 세부적으로, 이미지의 경계선 또는 에지 부분에 해당되는 픽셀들을 특징 포인트로 추출할 수 있다.
베이어 이미지 신호(#0)에서 검출된 오브젝트들(21a, 22a, 23a, 24a)은 각각 베이어 이미지 신호(#1)에서 검출된 오브젝트들(21b, 22b, 23b, 24b)에 대응된다. 도 7에서는 설명의 편의를 위하여 오브젝트들을 원, 삼각형, 사각형 형태로 도시하였으나, 실제 이미지에 있어서 각각의 오브젝트들은 인물, 사물, 다양한 배경 화면 등의 다양한 형상이 될 수 있다.
도 7(c)는 베이어 이미지 신호(#0)에 의한 이미지와 베이어 이미지 신호(#1)에 의한 이미지를 겹쳐 놓은 상태를 예시적으로 표시한 것이다. 도 7(c)를 참조하면, 베이어 이미지 신호(#0)에 의한 이미지를 기준으로 베이어 이미지 신호(#1)에 의한 이미지의 시차(disparity)를 구할 수 있다. 예로서, 시차는 시프트 된 픽셀의 수와 방향 정보로 표시할 수 있다.
이와 같은 방식으로 프리-프로세서(210A 또는 210B)에서 시차를 산출하여 레지스트레이션 정보를 생성시킬 수 있다.
다시 도 2를 참조하면, 독립 이미지 신호 프로세서(220A)는 베이어 이미지 신호(#0)로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하고, 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보(IISP INF)를 생성한다. 예로서, 이미지 처리 정보는 각 픽셀에 대한 디모자이싱 처리 과정에서 예측되거나 추정된 정보 또는 디노이징 처리 과정에서 예측되거나 추정된 정보 중의 적어도 하나를 포함할 수 있다. 예로서, 이미지 처리 정보(IISP INF)에는 에지 방향성 정보가 포함될 수 있다. 다른 예로서, 이미지 처리 정보(IISP INF)에는 보간 방향에 대한 정보가 포함될 수 있다.
그리고, 이미지 처리 정보(IISP INF)에는 픽셀의 좌표 정보가 포함될 수 있다. 이미지 처리 정보(IISP INF)에 포함되는 픽셀의 좌표 정보는 독립 이미지 신호 프로세서(220A)에서의 이미지 처리 정보(IISP INF)를 생성시키기 위하여 이미지 신호 처리가 수행된 픽셀 좌표 정보에 해당된다.
종속 이미지 신호 프로세서들(230-1A ~ 230-NA) 각각은 이미지 포지션에 관한 정보(REG INF) 및 독립 이미지 신호 프로세서(220A)에서 생성된 이미지 처리 정보(IISP INF)를 이용하여 복수의 카메라들(100-1 ~ 100-N)들에서 획득한 베이어 이미지들(#1 ~ #N)로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다.
예로서, 종속 이미지 신호 프로세서(230-1A)는 독립 이미지 신호 프로세서(220A)에서 생성된 이미지 처리 정보(IISP INF)에 포함된 픽셀 좌표 정보를 베이어 이미지 신호(#0)를 기준으로 베이어 이미지 신호(#1)에 기초하여 생성된 이미지 포지션에 관한 정보(REG INF)를 이용하여 포지션 보정을 한다. 포지션 보정을 통하여 베이어 이미지 신호(#0)와 베이어 이미지 신호(#1)에 기초하여 생성되는 오브젝트 위치를 일치시킬 수 있다.
종속 이미지 신호 프로세서(230-1A)는 포지션 보정된 이미지 처리 정보(IISP INF')를 적용하여 베이어 이미지 신호(#1)로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다. 이에 따라서, 종속 이미지 신호 프로세서(230-1A)는 이미지 처리 정보(IISP INF)를 생성시키기 위한 연산 처리를 수행하지 않아도 된다.
같은 방식으로, 종속 이미지 신호 프로세서(230-NA)는 독립 이미지 신호 프로세서(220A)에서 생성된 이미지 처리 정보(IISP INF)에 포함된 픽셀 좌표 정보를 베이어 이미지 신호(#0)를 기준으로 베이어 이미지 신호(#N)에 기초하여 생성된 이미지 포지션에 관한 정보(REG INF)를 이용하여 포지션 보정을 한다. 포지션 보정을 통하여 베이어 이미지 신호(#0)와 베이어 이미지 신호(#N)에 기초하여 생성되는 오브젝트 위치를 일치시킬 수 있다. 그리고, 종속 이미지 신호 프로세서(230-NA)는 포지션 보정된 이미지 처리 정보(IISP INF')를 적용하여 베이어 이미지 신호(#N)로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다.
독립 이미지 신호 프로세서(220A) 및 종속 이미지 신호 프로세서들(230-1A ~ 230-NA)은 각각 타이밍 컨트롤러(400)에서 생성되는 동기 신호(Sync INF)에 의하여 출력 타이밍을 맞출 수 있다.
도 3은 도 1에 도시된 이미지 신호 프로세서의 세부 구성도의 다른 예(200B)를 보여준다.
도 3에 도시된 바와 같이, 이미지 신호 프로세서(200B)는 프리 프로세서(210B), 독립 이미지 신호 프로세서(220B) 및 종속 이미지 신호 프로세서들(DISP #1 ~ DISP #N; 230-1B ~ 230-NB)를 포함한다.
예로서, 도 1의 복수의 카메라들(100-0 ~ 100-N) 중에서 카메라(100-0)에서 획득된 베이어 이미지 신호(#0)는 독립 이미지 신호 프로세서(220B)에서 처리하고, 나머지 카메라들(100-1 ~ 100-N)에서 획득된 베이어 이미지 신호(#1) ~ 베이어 이미지 신호(#N)는 종속 이미지 신호 프로세서들(230-1B ~ 230-NB)에서 처리하는 것으로 가정하자.
프리 프로세서(210B)는 도 2에서 설명한 프리 프로세서(210A)와 실질적으로 동일한 동작을 수행하므로, 중복적인 설명은 피하기로 한다.
다만, 프리 프로세서(210B)에서 생성되는 이미지 포지션(position)에 관한 정보(REG INF)는 독립 이미지 신호 프로세서(220B)에 제공된다. 즉, 베이어 이미지 신호(#0)에 기초한 이미지를 기준으로 베이어 이미지 신호들(#1 ~ #N) 각각에 기초한 이미지들에 대한 이미지 포지션(position)에 관한 정보(REG INF)가 독립 이미지 신호 프로세서(220B)에 제공된다.
독립 이미지 신호 프로세서(220B)는 베이어 이미지 신호(#0)로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하고, 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성한다. 이와 같이 생성된 이미지 처리 정보에는 픽셀의 좌표 정보가 포함될 수 있다. 그리고, 이미지 처리 정보에 포함된 픽셀의 좌표 정보는 이미지 포지션(position)에 관한 정보(REG INF)에 기초하여 포지션 보정 처리된다. 이에 따라서, 베이어 이미지 신호(#0)를 기준으로 베이어 이미지 신호들(#1 ~ #N)을 각각 처리하기 위한 포지션 보정 처리된 이미지 처리 정보(ISSP INF')가 종속 이미지 신호 프로세서들(230-1B ~ 230-NB)에 제공된다.
종속 이미지 신호 프로세서(230-1B)는 독립 이미지 신호 프로세서(220B)로부터 제공된 베이어 이미지 신호(#1)에 대응되도록 포지션 보정된 이미지 처리 정보(IISP INF')를 적용하여 베이어 이미지 신호(#1)로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다. 이에 따라서, 종속 이미지 신호 프로세서(230-1A)는 이미지 처리 정보(IISP INF)를 생성시키기 위한 연산 처리를 수행하지 않아도 된다.
같은 방식으로, 종속 이미지 신호 프로세서(230-NB)는 독립 이미지 신호 프로세서(220B)로부터 제공된 베이어 이미지 신호(#N)에 대응되도록 포지션 보정된 이미지 처리 정보(IISP INF')를 적용하여 베이어 이미지 신호(#N)로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다.
독립 이미지 신호 프로세서(220B) 및 종속 이미지 신호 프로세서들(230-1B ~ 230-NB)은 각각 타이밍 컨트롤러(400)에서 생성되는 동기 신호(Sync INF)에 의하여 출력 타이밍을 맞출 수 있다.
도 4는 도 2에 도시된 독립 이미지 신호 프로세서 및 종속 이미지 신호 프로세서에 대한 구성을 예시적으로 보여준다.
도 4에 도시된 바와 같이, 독립 이미지 신호 프로세서(220A')는 예비 연산 처리부(221), 디노이징 블록(222) 및 디모자이싱 블록(223)을 포함한다. 그리고, 종속 이미지 신호 프로세서들(230-1A' ~ 230-NA') 각각은 포지션 보정부(233-1A), 디노이징 블록(231-1A) 및 디모자이싱 블록(232-NA)을 포함한다. 베이어 이미지 신호(#0)에 기초한 이미지를 기준으로 베이어 이미지 신호들(#1 ~ #N) 각각에 기초한 이미지들에 대한 이미지 포지션(position)에 관한 정보(REG INF)는 대응되는 종속 이미지 신호 프로세서들(230-1A' ~ 230-NA')에 프리 프로세서(210A)로부터 공급된다.
우선, 독립 이미지 신호 프로세서(220A')의 동작에 대하여 설명하기로 한다.
예비 연산 처리부(221)는 디노이징 처리 또는 디모자이싱 처리 연산 과정의 일부를 수행한다. 예로서, 디노이징 처리 또는 디모자이싱 처리 연산 과정에서 필요로 하는 에지 방향성 또는 보간 방향 등을 결정하기 위한 연산 처리를 수행할 수 있다.
예비 연산 처리부(221)는 디노이징 처리 또는 디모자이싱 처리 연산 과정의 일부를 수행하면서 예측되거나 추정된 정보 또는 연산 결과 정보를 이미지 처리 정보(IISP INF)로서 출력한다. 예비 연산 처리부(221)에서 생성되는 이미지 처리 정보(IISP INF)에는 픽셀의 좌표 정보가 포함될 수 있다.
디노이징 블록(222) 및 디모자이싱 블록(223)은 예비 연산 처리부(221)에서 생성된 이미지 처리 정보를 이용하여 디노이징 처리 및 디모자이싱 처리를 수행한다. 예로서, 디노이징 블록(222)은 예비 연산 처리부(221)에서 생성된 에지 방향성 정보에 따라서 수평 방향 또는 수직 방향의 픽셀 값을 이용하여 노이즈를 제거하는 동작을 수행한다. 그리고, 디모자이싱 블록(223)은 예비 연산 처리부(221)에서 생성된 에지 방향성 정보 또는 보간 방향 정보에 따라서 수평 방향 또는 수직 방향의 픽셀 값을 이용하여 디모자이싱을 위한 보간 처리를 수행한다.
다음으로, 종속 이미지 신호 프로세서들(230-1A' ~ 230-NA')의 동작에 대하여 설명하기로 한다. 설명의 편의를 위하여 종속 이미지 신호 프로세서(230-1A')의 동작을 설명하기로 한다.
포지션 보정부(233-1A)은 독립 이미지 신호 프로세서(220A')에서 생성된 이미지 처리 정보(IISP INF)에 포함된 픽셀 좌표 정보를 베이어 이미지 신호(#0)를 기준으로 베이어 이미지 신호(#1)에 기초하여 생성되는 이미지 포지션에 관한 정보(REG INF)를 이용하여 포지션 보정을 한다. 예로서, 이미지 포지션에 관한 정보(REG INF)가 5 픽셀만큼 우측 방향으로 시프트 된 것을 나타내는 경우에, 이미지 처리 정보(IISP INF)에 포함된 픽셀 좌표 정보를 5 픽셀만큼 우측 방향으로 시프트 시키도록 포지션 보정을 한다. 이와 같은 포지션 보정을 통하여 베이어 이미지 신호(#0)와 베이어 이미지 신호(#1)에 기초하여 생성되는 오브젝트 위치를 일치시킬 수 있다.
디노이징 블록(231-1A) 및 디모자이싱 블록(232-1A)은 포지션 보정된 이미지 처리 정보(IISP INF')를 이용하여 디노이징 처리 및 디모자이싱 처리를 수행한다. 예로서, 디노이징 블록(231-1A)은 포지션 보정된 이미지 처리 정보(IISP INF')에 포함된 에지 방향성 정보에 따라서 수평 방향 또는 수직 방향의 픽셀 값을 이용하여 노이즈를 제거하는 동작을 수행한다. 그리고, 디모자이싱 블록(232-1A)은 포지션 보정된 이미지 처리 정보(IISP INF')에 포함된 에지 방향성 정보 또는 보간 방향 정보에 따라서 수평 방향 또는 수직 방향의 픽셀 값을 이용하여 디모자이싱을 위한 보간 처리를 수행한다.
나머지 종속 이미지 신호 프로세서들(230-2A' ~ 230-NA')도 위에서 설명한 종속 이미지 신호 프로세서(230-1A')와 같은 방식으로 동작할 수 있다.
독립 이미지 신호 프로세서(220A') 및 종속 이미지 신호 프로세서들(230-1A' ~ 230-NA')은 각각 타이밍 컨트롤러(400)에서 생성되는 동기 신호(Sync INF)에 의하여 출력 타이밍을 맞출 수 있다.
도 5는 도 3에 도시된 독립 이미지 신호 프로세서 및 종속 이미지 신호 프로세서에 대한 구성을 예시적으로 보여준다.
도 5에 도시된 바와 같이, 독립 이미지 신호 프로세서(220B')는 예비 연산 처리부(221), 디노이징 블록(222), 디모자이싱 블록(223) 및 포지션 보정부(224)를 포함한다. 그리고, 종속 이미지 신호 프로세서들(230-1B' ~ 230-NB') 각각은 디노이징 블록(231-1B) 및 디모자이싱 블록(232-NB)을 포함한다. 베이어 이미지 신호(#0)에 기초한 이미지를 기준으로 베이어 이미지 신호들(#1 ~ #N) 각각에 기초한 이미지들에 대한 이미지 포지션(position)에 관한 정보(REG INF)는 독립 이미지 신호 프로세서(220B')에 프리 프로세서(210B)로부터 공급된다.
우선, 독립 이미지 신호 프로세서(220B')의 동작에 대하여 설명하기로 한다.
예비 연산 처리부(221)는 디노이징 처리 또는 디모자이싱 처리 연산 과정의 일부를 수행한다. 예로서, 디노이징 처리 또는 디모자이싱 처리 연산 과정에서 필요로 하는 에지 방향성 또는 보간 방향 등을 결정하기 위한 연산 처리를 수행할 수 있다.
예비 연산 처리부(221)는 디노이징 처리 또는 디모자이싱 처리 연산 과정의 일부를 수행하면서 예측되거나 추정된 정보 또는 연산 결과 정보를 이미지 처리 정보(IISP INF)로서 출력한다. 예비 연산 처리부(221)에서 생성되는 이미지 처리 정보(IISP INF)에는 픽셀의 좌표 정보가 포함될 수 있다.
포지션 보정부(224)는 이미지 처리 정보(IISP INF)에 포함된 픽셀의 좌표 정보를 이미지 포지션(position)에 관한 정보(REG INF)에 기초하여 포지션 보정 처리한다. 예로서, 이미지 처리 정보(IISP INF)에 포함된 픽셀 좌표 정보를 베이어 이미지 신호(#0)를 기준으로 베이어 이미지 신호(#1)에 기초하여 생성되는 이미지 포지션에 관한 정보(REG INF)를 이용하여 포지션 보정한다. 이와 같이, 포지션 보정된 이미지 처리 정보(IISP INF')를 종속 이미지 신호 프로세서(230-1B')에 제공한다.
같은 방식으로, 이미지 처리 정보(IISP INF)에 포함된 픽셀 좌표 정보를 베이어 이미지 신호(#0)를 기준으로 베이어 이미지 신호(#N)에 기초하여 생성되는 이미지 포지션에 관한 정보(REG INF)를 이용하여 포지션 보정한다. 이와 같이, 포지션 보정된 이미지 처리 정보(IISP INF')를 종속 이미지 신호 프로세서(230-NB')에 제공한다.
이에 따라서, 베이어 이미지 신호(#0)를 기준으로 베이어 이미지 신호들(#1 ~ #N)을 각각 처리하기 위한 포지션 보정된 이미지 처리 정보(ISSP INF')가 종속 이미지 신호 프로세서들(230-1B' ~ 230-NB')에 제공된다.
디노이징 블록(222) 및 디모자이싱 블록(223)은 도 4에서 설명한 바와 같이, 예비 연산 처리부(221)에서 생성된 이미지 처리 정보(IISP INF)를 이용하여 디노이징 처리 및 디모자이싱 처리를 수행한다.
다음으로, 종속 이미지 신호 프로세서들(230-1B' ~ 230-NB')의 동작에 대하여 설명하기로 한다. 설명의 편의를 위하여 종속 이미지 신호 프로세서(230-1B')의 동작을 설명하기로 한다.
디노이징 블록(231-1B) 및 디모자이싱 블록(232-1B)은 독립 이미지 신호 프로세서(220B')로부터 제공되는 포지션 보정된 이미지 처리 정보(IISP INF')를 이용하여 디노이징 처리 및 디모자이싱 처리를 수행한다. 예로서, 디노이징 블록(231-1B)은 포지션 보정된 이미지 처리 정보(IISP INF')에 포함된 에지 방향성 정보에 따라서 수평 방향 또는 수직 방향의 픽셀 값을 이용하여 노이즈를 제거하는 동작을 수행한다. 그리고, 디모자이싱 블록(232-1B)은 포지션 보정된 이미지 처리 정보(IISP INF')에 포함된 에지 방향성 정보 또는 보간 방향 정보에 따라서 수평 방향 또는 수직 방향의 픽셀 값을 이용하여 디모자이싱을 위한 보간 처리를 수행한다.
나머지 종속 이미지 신호 프로세서들(230-2B' ~ 230-NB')도 위에서 설명한 종속 이미지 신호 프로세서(230-1B')와 같은 방식으로 동작할 수 있다.
독립 이미지 신호 프로세서(220B') 및 종속 이미지 신호 프로세서들(230-1B' ~ 230-NB')은 각각 타이밍 컨트롤러(400)에서 생성되는 동기 신호(Sync INF)에 의하여 출력 타이밍을 맞출 수 있다.
도 6은 도 4 및 도 5에 도시된 예비 연산 처리부(221)에 대한 세부 구성을 예시적으로 보여준다.
도 3을 참조하면, 본 발명에 따른 예비 연산 처리부(221)는 경계 강도 계산부(221-1), 방향성 계산부(221-2) 및 보간 방향 결정부(221-3)를 포함한다.
경계 강도 계산부(221-1)는 현재 픽셀과 그 주변 픽셀들의 컬러값의 차이를 이용하여 경계 강도를 계산하고, 현재 픽셀 주변에 경계가 존재하는지 여부를 판단한다. 베이어 이미지 신호(#0)에 따른 이미지에 경계가 존재하는 경우, 경계를 중심으로 나누어진 서로 다른 영역에 존재하는 픽셀들 사이의 컬러값은 차이가 난다. 따라서, 현재 픽셀이 경계에 속하는지 여부를 판단하기 위하여, 현재 픽셀의 컬러값과 그 주변 픽셀들의 컬러값의 차이를 계산하여 경계 강도(Edge Strength: ES)를 계산한다. 예로서, 경계 강도 계산시에 RGB의 컬러 채널 중 G 채널의 컬러값을 이용하는 것이 바람직하다. 이는 G 채널은 영상의 휘도 성분과 유사하고, R 및 B 채널은 영상의 색차 성분과 유사하므로, R 및 B 채널의 컬러값을 이용하는 것에 비하여 G 채널의 컬러값을 이용함으로써 현재 픽셀 주변의 경계의 존재 여부를 더욱 효과적으로 판단할 수 있기 때문이다.
도 8은 현재 픽셀 주변의 경계 강도를 계산하는 과정을 설명하기 위한 도면이다. 도 8에서 알파벳 문자는 각 픽셀에서 감지된 컬러값의 성분을 나타내며, 그 옆의 숫자는 각 픽셀의 위치를 나타내는 것으로 예를 들어 Gab는 a번째 행 및 b번째 열에 위치한 픽셀에서 감지된 G 컬러값을 나타낸다.
도 8을 참조하면, 모자이싱 처리 동작에서 보간하고자 하는 현재 픽셀의 위치를 (3,3)이라고 하면, 다음의 수학식 1을 통해 현재 픽셀을 중심으로 그 주변에 경계가 존재하는지 여부를 판단하기 위한 경계 강도(ES)를 계산한다.
Figure 112015123419268-pat00001
수학식 1에 나타낸 바와 같이, 경계 강도는 현재 픽셀의 G 컬러값과 그 주변 픽셀들에서 감지된 G 컬러값의 절대값 차이에 소정의 가중치를 곱한 가중합을 이용하여 계산될 수 있다. 수학식 1에서 F1 내지 F7은 각 픽셀에 부여된 가중치로서, 현재 픽셀로부터의 거리에 따라서 서로 다른 가중치를 부여될 수 있다. 예를 들어, 현재 픽셀에서 상대적으로 가까운 G22, G24, G42, G44에는 상대적으로 큰 가중치를 부여하고, 현재 픽셀로부터 상대적으로 먼 G15, G13, G11, G31, G51, G53, G55, G35 등에는 상대적으로 작은 가중치를 부여할 수 있다.
도 8에 도시된 바와 같이, 현재 픽셀이 G 컬러값을 감지하는 경우에는 상기 수학식 1을 이용하여 현재 픽셀을 중심으로 경계 강도를 계산할 수 있지만, 현재 픽셀이 R 또는 B 컬러값을 감지하는 경우에는 인접한 이웃 픽셀 위치에서 계산된 경계 강도 중 적어도 하나를 이용하거나, 인접한 이웃 픽셀 위치에서 계산된 경계 강도들 전체 또는 선택된 일부의 평균값을 이용할 수 있다. 예를 들어, 현재 픽셀이 R34라고 하면, 이에 인접한 G24, G33, G44 및 G35 중 상기 수학식 1을 이용하여 계산된 경계 강도들 중 하나를 그대로 R34의 경계 강도로 이용하거나, 상기 인접한 G24, G33, G44 및 G35의 전부 또는 선택된 일부의 경계 강도를 평균하여 상기 R43에서의 경계 강도로 이용할 수 있다. 즉, R34의 경계 강도로서 G24, G33, G44 및 G35 중 어느 하나를 중심으로 계산된 경계 강도를 이용하거나, (G24+G33+G44+G35)/4의 값을 이용할 수 있다.
한편, 컬러 보간시에 경계에서 주로 발생하는 컬러 오류는 R 및 B 컬러값이 정확하게 보간되지 않기 때문이다. 따라서, 경계에서 R 및 B 컬러값을 G 컬러값과 유사하게 보간함으로써 컬러 오류를 줄일 수 있다.
다시 도 6을 참조하면, 방향성 계산부(221-2)는 현재 픽셀과 동일한 행 및 열에 위치한 픽셀들에서 감지된 컬러값들의 차이를 이용하여 현재 픽셀의 수평 방향 컬러값 차이(ΔH) 및 수직 방향 컬러값 차이(ΔV)를 계산한다. 이는 현재 픽셀을 중심으로 그 주변 픽셀들에서 수평 방향의 경계 특성이 강한지 아니면 수직 방향의 경계 특성이 강한지 여부를 판단함으로써, 수평 및 수직 방향 중에서 더 바람직한 보간 방향을 결정하기 위한 것이다.
도 9는 수평 방향 컬러값 차이 및 수직 방향 컬러값 차이를 계산하는 과정을 설명하기 위한 도면이다. 도 9에서 모자이싱 처리에 기초하여 보간할 현재 픽셀은 B컬러값(B33)을 가정하는 (3,3) 위치의 픽셀이라고 가정한다.
도 9를 참조하면, 현재 픽셀을 중심으로 수평 방향 컬러값 차이(ΔH) 및 수직 방향 컬러값 차이(ΔV)는 다음의 수학식 2와 같이 계산된다.
Figure 112015123419268-pat00002
상기 수학식 2에서 수평 방향 컬러값 차이(ΔH)이 수직 방향 컬러값 차이(ΔV)보다 큰 경우, 즉 ΔH>ΔV 인 경우는 현재 픽셀을 중심으로 그 주변 픽셀들에서 수직 방향의 경계 특성이 강하다는 것을 의미한다. 또한, 수평 방향 컬러값 차이(ΔH)가 수직 방향 컬러값 차이(ΔV)보다 작은 경우, 즉 ΔH<ΔV 인 경우는 현재 픽셀을 중심으로 그 주변 픽셀들에서 수평 방향의 경계 특성이 강하다는 것을 의미한다.
다시 도 6을 참조하면, 보간 방향 결정부(221-3)는 경계 강도 계산부(221-1)에서 계산된 현재 픽셀의 경계 강도(ES)와, 방향성 계산부(221-2)에서 계산된 현재 픽셀과 그 이전에 보간된 주변 픽셀들이 갖는 수평 방향 컬러값 차이(ΔH) 및 수직 방향 컬러값 차이(ΔV)를 이용하여 현재 픽셀에서 감지되지 않은 컬러값의 보간 방향을 결정한다.
예로서, 보간 방향 결정부(221-3)는 현재 픽셀의 경계 강도(ES)가 소정의 임계치(Th1) 미만인 경우에는 현재 픽셀 주변이 픽셀값의 큰 차이가 없는 평탄한 영역으로 판단하고, 상기 현재 픽셀의 수평 방향 컬러값 차이(ΔH) 및 수직 방향 컬러값 차이(ΔV)만을 이용하여 보간 방향을 결정한다. 보간 방향 결정부(221-3)는 현재 픽셀의 경계 강도(ES)<Th1 이고, ΔH>ΔV 인 경우 현재 픽셀에서 감지되지 않은 컬러값의 보간 방향을 수직 방향으로 결정한다. 또한, 보간 방향 결정부(221-3)는 현재 픽셀의 경계 강도(ES)<Th1 이고, ΔH<ΔV 인 경우 현재 픽셀에서 감지되지 않은 컬러값의 보간 방향을 수평 방향으로 결정한다
만약, 현재 픽셀의 경계 강도(ES)가 소정의 임계치(Th1)를 이상인 경우, 현재 픽셀 주변에 경계가 존재할 가능성이 크므로, 보간 방향 결정부(221-3)는 현재 픽셀뿐만 아니라 주변 픽셀에서의 수평 방향 컬러값 차이(ΔH) 및 수직 방향 컬러값 차이(ΔV)를 이용하여 보간 방향을 결정한다. 이는 현재 픽셀 주변에 강한 경계 성분이 포함된 것으로 판단된 경우, 더 정확한 경계 방향의 판단을 위해서 주변 픽셀에서의 경계 방향성을 고려하기 위한 것이다.
도 10a 및 10b는 본 발명에 따라서 보간 방향을 결정하기 위하여 주변 픽셀에서의 수평 방향 컬러값 차이(ΔH) 및 수직 방향 컬러값 차이(ΔV)를 이용하는 과정을 설명하기 위한 도면이다.
도 10a를 참조하면, 보간 방향 결정부(221-3)는 현재 픽셀의 경계 강도(Es)가 소정의 임계치(Th1)를 초과하는 경우, 현재 픽셀(810) 이전에 처리된 픽셀들 각각에서 수평 방향 컬러값 차이(ΔH)로부터 수직 방향 컬러값 차이(ΔV)를 감산하여 차이값(ΔH-ΔV)을 계산한다. 그리고, 보간 방향 결정부(340)는 주변 픽셀들이 갖는 상기 차이값(ΔH-ΔV)들 중 양의 갯수(N)를 카운트하고, 상기 양의 갯수와 소정의 임계치(Th2)를 비교하여, 양의 차이값(ΔH-ΔV)을 갖는 주변 픽셀의 개수가 소정 임계치(Th2) 이상인 경우에는 현재 픽셀에서 감지되지 않은 컬러값의 보간 방향을 수직 방향으로 결정한다. 이는 이전 픽셀들의 처리 과정에서 주변이 일정한 방향으로 선택될 확률이 높은 경우에는 현재 픽셀의 보간시 주변 픽셀과 동일한 방향으로 보간하기 위한 것이다. 만약, 양의 차이값(ΔH-ΔV)을 갖는 주변 픽셀의 개수가 소정 임계치(Th2) 이하인 경우, 보간 방향 결정부(340)는 현재 픽셀에서 감지되지 않은 컬러값의 보간 방향을 수평 방향으로 결정하거나, 추가적으로 현재 픽셀 및 그 주변 픽셀들 각각에서 상기 차이값(ΔH-ΔV)에 대한 공간적 필터링을 수행하고, 공간적 필터링된 값에 따라서 현재 픽셀에서 감지되지 않은 컬러값의 보간 방향을 결정할 수 있다.
예를 들어, 도 10a에서 ΔHVi를 i번째 픽셀 위치에서의 수평 방향 컬러값 차이(ΔH)로부터 수직 방향 컬러값 차이(ΔV)를 뺀 값, 즉 ΔHVi=ΔHi-ΔVi라 하고, 도 10b에서 Fi를 i번째 픽셀 위치에서의 필터링 계수라고 할 때, 공간적 필터링된 값(Filtered_Value)은 다음의 수학식 3과 같이 계산될 수 있다.
Figure 112015123419268-pat00003
만약 현재 픽셀 및 주변 픽셀의 개수가 n이고 필터링 계수 Fi가 1/n이라면, 상기 필터링된 값은 현재 픽셀 및 주변 픽셀 전체에서의 상기 차이값(ΔHi-ΔVi)의 평균값을 나타낸다.
보간 방향 결정부(221-3)는 상기 필터링된 값을 이용하여 주변 픽셀에서의 경계 방향성을 판단하고, 판단된 결과에 따라 현재 픽셀에서 감지되지 않은 컬러값의 보간 방향을 결정할 수 있다.
이와 같은 예비 연산 처리부(221)에서 결정된 보간 방향 정보를 이미지 처리 정보(IISP INF)로서 출력할 수 있다. 또한, 예비 연산 처리부(221)의 연산 과정에서 생성되는 경계 강도 계산 결과 또는 방향성 계산 결과 등을 이미지 처리 정보(IISP INF)에 포함시킬 수도 있다.
그러면, 예비 연산 처리부(221)에서 결정된 보간 방향 정보를 이용하여 디모자이싱 블록(223)에서의 보간 처리를 수행하는 동작의 일 예에 대하여 설명하기로 한다.
도 11a 내지 도 11e는 현재 픽셀이 R 컬러값을 감지하는 경우, 현재 픽셀에서 감지되지 않은 컬러값을 디모자이싱 블록(223)에서 보간하는 과정을 설명하기 위한 도면이다. 도 11a 내지 도 11e에 있어서, 현재 픽셀이 R 컬러값을 감지하는 R 픽셀인 경우를 중심으로 설명하지만, 이하에서 설명되는 보간 방식은 현재 픽셀이 B 컬러값을 감지하는 B 픽셀인 경우에도 동일하게 적용될 수 있다.
도 11a에 도시된 바와 같이, (3,3) 위치의 현재 픽셀이 R 컬러값(R33)만을 감지하는 R 픽셀인 경우, 현재 픽셀에서 감지되지 않은 G 컬러값(G33)과 B 컬러값(B33)은 보간 방향 결정부(221-3)에서 결정된 보간 방향에 따라 주변 픽셀을 이용하여 수평 방향 또는 수직 방향 중 어느 한 방향으로 보간된다.
먼저, 보간 방향 결정부(221-3)에서 결정된 보간 방향이 수평 방향인 경우, 현재 픽셀에서의 G 컬러값(G33)은 다음의 수학식 4를 통해 계산될 수 있다.
Figure 112015123419268-pat00004
수학식 4 및 도 11b를 참조하면, 현재 픽셀(R33)이 R 컬러값을 감지하는 R 픽셀인 경우, 현재 픽셀(R33)에서의 G 컬러값(G33)은 현재 픽셀(R33)과 동일한 행에 위치한 이웃 픽셀들(G32, G34)에서 감지된 G 컬러값의 평균과, 상기 현재 픽셀에서 감지된 컬러값과 그 주변 픽셀(R31,R35)에서 감지된 동일 성분(R성분)의 컬러값 차이의 평균을 더하여 계산될 수 있다.
현재 픽셀에서의 B 컬러값(B33)은 다음의 수학식 5를 통해 계산될 수 있다.
Figure 112015123419268-pat00005
수학식 5 및 도 11c를 참조하면, 현재 픽셀에서의 B 컬러값(B33)은 현재 픽셀의 G 컬러값(G33)을, 현재 픽셀의 대각선 네 방향에 위치한 네 개의 주변 픽셀에서 감지된 B 컬러값(B22, B24, B42, B44)과 상기 네 개의 주변 픽셀에서 보간된 G 컬러값(G22, G24, G42, G44)의 차이의 평균값에 더하여 계산된다. 여기서, 주변 대각선 방향의 B 픽셀들에서의 G 컬러값들(G22, G24, G42, G44)은 결정된 수평 보간 방향과 일치하도록 동일한 행에 위치한 G 컬러값들을 평균하여 계산될 수도 있다. 예를 들어, 도 11c에서 (4,2) 픽셀 위치에서의 G 컬러값(G42)은 (G41+G43)/2, (4,4) 픽셀 위치에서의 G 컬러값(G44)은 (G43+G45)/2를 이용하여 계산될 수 있다.
상기 보간 방향 결정부(221-3)에서 결정된 보간 방향이 수직 방향인 경우, 현재 픽셀에서의 G 컬러값(G33)은 다음의 수학식 6을 통해 계산될 수 있다.
Figure 112015123419268-pat00006
수학식 6 및 도 11d를 참조하면, 현재 픽셀이 R 컬러값(R33)을 감지하는 R 픽셀인 경우, 현재 픽셀에서의 G 컬러값(G33)은 현재 픽셀(R33)과 동일한 열에 위치한 이웃 픽셀들에서 감지된 G 컬러값(G23,G43)의 평균을, 상기 현재 픽셀에서 감지된 컬러값(R33)과 그 주변 픽셀에서 감지된 동일 성분의 컬러값들(R13,R53) 차이의 평균에 더하여 계산될 수 있다.
또한, 상기 수학식 5 및 도 11e를 참조하면, 현재 픽셀에서의 B 컬러값(B33)은 현재 픽셀의 보간된 G 컬러값(G33)과, 현재 픽셀의 대각선 네 방향에 위치한 네 개의 주변 픽셀에서 감지된 B 컬러값(B22, B24, B42, B44)과 상기 네 개의 주변 픽셀에서 보간된 G 컬러값(G22, G24, G42, G44)의 차이의 평균값을 더하여 계산된다. 여기서, 주변 대각선 방향의 B 픽셀들에서의 G 컬러값들(G22, G24, G42, G44)은 결정된 수직 보간 방향과 일치하도록 동일한 열에 위치한 G 컬러값들을 평균하여 계산될 수도 있다. 예를 들어, 도 11e에서 (4,2) 픽셀 위치에서의 G 컬러값(G42)으로 (G32+G52)/2, (4,4) 픽셀 위치에서의 G 컬러값(G44)으로 (G34+G54)/2를 이용할 수 있다.
도 12a 내지 12e는 현재 픽셀이 G 컬러값을 감지하는 경우, 현재 픽셀에서 감지되지 않은 컬러값인 R 및 B 컬러값을 보간하는 과정을 설명하기 위한 도면이다.
도 12a에 도시된 바와 같이, (3,3) 위치의 현재 픽셀이 G 컬러값(G33)만을 감지하는 G 픽셀인 경우, 현재 픽셀에서 감지되지 않은 R 컬러값(R33)과 B 컬러값(B33)은 보간 방향 결정부(340)에서 결정된 보간 방향에 따라 주변 픽셀을 이용하여 수평 방향 또는 수직 방향 중 어느 한 방향으로 보간된다.
결정된 보간 방향이 수평 방향이며, 상기 현재 픽셀의 상하에 인접한 이웃 픽셀이 R 컬러값을 감지하며, y번째 행 및 x번째 열에 위치한 현재 픽셀에서 감지된 G 컬러값을 G(y,x), 상기 현재 픽셀의 경계 강도에 반비례하는 가중치를 α라 할 때, 상기 현재 픽셀에서 감지되지 않은 R 컬러값 R(y,x)은 다음의 수학식 7을 이용하여 보간될 수 있다.
Figure 112015123419268-pat00007
예를 들어, 도 12b를 참조하면 보간 방향 결정부(340)에서 결정된 보간 방향이 수평 방향이고, 현재 픽셀의 좌우에 인접한 이웃 픽셀이 R 픽셀인 경우, 현재 픽셀에서의 R 컬러값(R33)은 R33=G33+α×{(R32+R34)/2-(G32+(G33+G35)/2}/2 이다. 또한, 수학식 7에서 α는 현재 픽셀에서의 경계 강도(ES)에 반비례하는 가중치값으로, 상기 가중치(α)는 전술한 도 6에서 설명한 바와 같이 경계 강도가 큰 영역에서는 R 컬러값을 G 컬러값에 가깝게 하고, 경계 강도가 낮은 영역에서는 R 컬러값이 G 컬러값과 무관하게 독립된 값을 갖도록 하기 위한 것이다.
또한, 결정된 보간 방향이 수평 방향이며, 상기 현재 픽셀의 상하에 인접한 이웃 픽셀이 B 컬러값을 감지하며, y번째 행 및 x번째 열에 위치한 현재 픽셀에서 감지된 G 컬러값을 G(y,x), 상기 현재 픽셀의 경계 강도에 반비례하는 가중치를 α라 할 때, 상기 현재 픽셀에서 감지되지 않은 B 컬러값 B(y,x)은 다음의 수학식 8을 이용하여 보간될 수 있다.
Figure 112015123419268-pat00008
예를 들어, 도 12c를 참조하면 보간 방향 결정부(221-3)에서 결정된 보간 방향이 수평 방향이고, 현재 픽셀의 좌우의 인접한 이웃 픽셀이 R 픽셀이고, 상하에 인접한 이웃 픽셀이 B 픽셀인 경우 현재 픽셀에서의 B 컬러값(B33)은 B33=G33+α×{(B23+B43)/2-(G23+(G42+G44))/2}/2이다.
또한, 상기 보간 방향 결정부(221-3)에서 결정된 보간 방향이 수직 방향이며, 현재 픽셀의 좌우에 인접한 이웃 픽셀이 R 컬러값을 감지하며, y번째 행 및 x번째 열에 위치한 현재 픽셀에서 감지된 G 컬러값을 G(y,x), 상기 현재 픽셀의 경계 강도에 반비례하는 가중치를 α라 할 때, 상기 현재 픽셀에서 감지되지 않은 R 컬러값 R(y,x)을 다음의 수학식 9를 이용하여 보간될 수 있다.
Figure 112015123419268-pat00009
예를 들어, 도 12d를 참조하면 현재 픽셀에서의 R 컬러값(R33)은 R33=G33+α×{(R32+R34)/2-(G32+(G24+G44)/2)/2} 이다.
또한, 상기 경우에 현재 픽셀의 B 컬러값은 다음의 수학식 10을 이용하여 보간될 수 있다.
Figure 112015123419268-pat00010
예를 들어, 도 12e를 참조하면 현재 픽셀에서의 B 컬러값(B33)은 B33=G33+α×{(B23+B43)/2-(G23+(G33+G53)/2)/2} 이다.
한편, 상기 도 12a 내지 도 12e에서는 현재 픽셀의 G 컬러값을 감지하는 G 픽셀이며 상기 현재 픽셀의 좌우에 인접한 이웃 픽셀이 R 픽셀, 상하에 인접한 이웃 픽셀이 B 픽셀인 경우를 가정하였으나, (2,2) 위치의 G 컬러값을 감지하는 G 픽셀이 현재 픽셀인 경우와 같이 현재 픽셀의 좌우에 인접한 이웃 픽셀이 B 픽셀이고 상하에 인접한 이웃 픽셀이 R 픽셀인 경우에는 다음의 수학식들에 표현된 바와 같이 결정된 보간 방향에 따라서 현재 픽셀에서 감지되지 않은 R 및 B 컬러값을 보간한다.
먼저, 결정된 보간 방향이 수평 방향이며, 현재 픽셀의 좌우에 인접한 이웃 픽셀이 B 컬러값을 감지하며, y번째 행 및 x번째 열에 위치한 현재 픽셀에서 감지된 G 컬러값을 G(y,x), 상기 현재 픽셀의 경계 강도에 반비례하는 가중치를 α라 할 때, 상기 현재 픽셀에서 감지되지 않은 B 컬러값 B(y,x)은 다음의 수학식 11을 이용하여 계산된다.
Figure 112015123419268-pat00011
상기 경우에 있어서, R 컬러값 R(y,x)은 다음의 수학식 12를 이용하여 계산된다.
Figure 112015123419268-pat00012
또한, 결정된 보간 방향이 수직 방향이며, 현재 픽셀의 좌우에 인접한 이웃 픽셀이 B 컬러값을 감지하며, y번째 행 및 x번째 열에 위치한 현재 픽셀에서 감지된 G 컬러값을 G(y,x), 상기 현재 픽셀의 경계 강도에 반비례하는 가중치를 α라 할 때, 상기 현재 픽셀에서 감지되지 않은 B 컬러값 B(y,x)은 다음의 수학식 13를 이용하여 계산된다.
Figure 112015123419268-pat00013
상기 경우에 있어서, R 컬러값 R(y,x)은 다음의 수학식 14를 이용하여 계산된다.
Figure 112015123419268-pat00014
다음으로, 예비 연산 처리부(221)에서 결정된 보간 방향 정보를 이용하여 디노이징 블록(222)에서의 노이즈 제거 처리를 수행하는 동작의 일 예에 대하여 설명하기로 한다.
예로서, 도 9와 같은 베이어 이미지의 컬러 패턴에서의 (3,3) 위치의 현재 픽셀이 B 컬러값(B33)에 대한 예비 연산 처리부(221)에서 결정된 보간 방향이 수평 방향인 경우에, 수학식 15와 같은 연산을 통하여 노이즈 제거된 B33'를 산출할 수 있다.
Figure 112015123419268-pat00015
다른 예로서, 도 9와 같은 베이어 이미지의 컬러 패턴에서의 (3,3) 위치의 현재 픽셀이 B 컬러값(B33)에 대한 예비 연산 처리부(221)에서 결정된 보간 방향이 수직 방향인 경우에, 수학식 16과 같은 연산을 통하여 노이즈 제거된 B33'를 산출할 수 있다.
Figure 112015123419268-pat00016
다른 픽셀들에 대해서도 위와 같은 방식을 적용하여 노이즈 제거 처리를 수행할 수 있다.
그리고, 도 4의 종속 이미지 신호 프로세서들(230-1A' ~ 230-NA') 또는 도 5의 종속 이미지 신호 프로세서들(230-1B' ~ 230-NB')에서도 위와 같은 방식으로 이미지 처리 정보(IISP INF)를 이용하여 디모자이싱 처리 및 디노이징 처리를 수행할 수 있다.
이에 따라서, 도 4의 종속 이미지 신호 프로세서들(230-1A' ~ 230-NA') 또는 도 5의 종속 이미지 신호 프로세서들(230-1B' ~ 230-NB')에서는 도 6에 도시된 바와 같은 예비 연산 처리부(221)에서 수행되는 연산 처리를 생략할 수 있게 된다.
도 13은 본 발명의 실시 예에 따른 이미지 처리 방법의 흐름도이다. 도 1의 이미지 처리 시스템(1000)의 구성을 참조하여 도 13의 흐름도를 설명하기로 한다.
우선, 이미지 처리 시스템(1000)은 복수의 카메라들(100-0 ~ 100-N)에서 획득한 베이어 이미지 신호들에 기초하여 이미지 포지션에 관한 정보를 생성한다(S110). 예로서, 프리 프로세서(210)는 복수개의 카메라들(100-0 ~ 100-N)에서 획득한 베이어 이미지들에 기초하여 이미지 포지션(position)에 관한 정보를 생성하는 신호 처리를 수행할 수 있다. 예로서, 이미지 포지션에 관한 정보는 이미지의 시차(disparity)를 나타내는 이미지 레지스트레이션(registration) 정보를 포함할 수 있다. 다른 예로서, 이미지 포지션에 관한 정보는 이미지의 거리를 나타내는 뎁스 맵(depth map) 정보를 포함할 수 있다.
다음으로, 이미지 처리 시스템(1000)은 복수의 카메라들(100-0 ~ 100-N) 중의 어느 하나의 카메라로부터 획득한 베이어 이미지 신호를 처리하는 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성한다(S120). 예로서, 독립 이미지 신호 프로세서(220)는 복수의 카메라들(100-0 ~ 100-N) 중의 하나인 타깃 카메라로부터 획득한 베이어 이미지로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행하고, 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성한다. 예로서, 이미지 처리 정보는 각 픽셀에 대한 디모자이싱 처리 과정에서 예측되거나 추정된 정보 또는 디노이징 처리 과정에서 예측되거나 추정된 정보 중의 적어도 하나를 포함할 수 있다.
다음으로, 이미지 처리 시스템(1000)은 오퍼레이션 S120에서 생성된 이미지 처리 정보 및 오퍼레이션 S110에서 생성된 이미지 포지션에 관한 정보를 이용하여 복수의 카메라들(100-0 ~ 100-N)에서 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다(S130). 예로서, 종속 이미지 신호 프로세서들(DISP #1 ~ DISP #N; 230-1 ~ 230-N) 각각은 이미지 포지션에 관한 정보 및 독립 이미지 신호 프로세서(220)에서 생성된 이미지 처리 정보를 이용하여 카메라 모듈(100)의 복수의 카메라들(100-0 ~ 100-N)들 중에서 독립 이미지 신호 프로세서(220)에 대응되는 타깃 카메라를 제외한 나머지 카메라들에서 획득한 베이어 이미지로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 이미지 신호 처리를 수행한다.
도 14는 본 발명에 따른 이미지 신호 프로세서가 적용되는 전자 장치(2000)의 구성을 예시적으로 보여주는 도면이다.
도 14에 도시된 바와 같이, 전자 장치(2000)는 중앙 처리 장치(CPU; 2100), 메모리(2200), 장치 인터페이스(2300), 카메라 모듈(2400), 이미지 신호 프로세서(2500) 및 버스(2600)를 포함한다.
카메라 모듈(2400)은 도 1에 도시된 카메라 모듈(100)로 구현될 수 있다. 이미지 신호 프로세서(2500)는 도 1에 도시된 이미지 신호 프로세서(200)를 포함될 수 있다. 또한, 이미지 신호 프로세서(2500)는 도 1에 도시된 포스트 프로세서(300)를 더 포함할 수 있다. 그리고, 도 1에 도시된 타이밍 컨트롤러(400)의 기능을 수행하는 하드웨어 및 소프트웨어는 중앙 처리 장치(2100)에 포함될 수 있다.
중앙 처리 장치(2100)는 전자 장치(2000)를 전반적으로 제어하는 동작을 수행한다. 메모리(2200)에는 전자 장치(2000)의 동작에 필요한 프로그램 코드 및 각종 정보들이 저장된다.
장치 인터페이스(2300)는 전자 장치(2000)와 유선 또는 무선으로 접속되는 장치와의 데이터 통신을 수행한다. 예로서, 장치 인터페이스(2300)는 디스플레이 장치에 접속되어 이미지 신호 프로세서(2500)에서 출력되는 신호를 디스플레이 장치로 전송하는 동작을 수행할 수 있다. 버스(2600)는 전자 장치(2000)의 구성 수단들 간의 정보를 전송하는 기능을 수행한다.
도 15는 본 발명에 따른 이미지 신호 프로세서가 적용되는 모바일 단말기(3000)의 구성을 예시적으로 보여주는 도면이다.
도 15를 참조하면, 모바일 단말기(3000)는 안테나(3100), 무선 통신부(3200), 제어부(3300), 카메라 모듈(3400), 이미지 신호 프로세서(3500), 저장부(3600), 사용자 인터페이스(3700), 오디오 프로세서(3800) 및 디스플레이 장치(3900)를 포함한다.
카메라 모듈(3400)은 도 1에 도시된 카메라 모듈(100)로 구현될 수 있다. 이미지 신호 프로세서(3500)는 도 1에 도시된 이미지 신호 프로세서(200)를 포함할 수 있다. 또한, 이미지 신호 프로세서(3500)는 도 1에 도시된 포스트 프로세서(300)를 더 포함할 수 있다. 그리고, 도 1에 도시된 타이밍 컨트롤러(400)의 기능을 수행하는 하드웨어 및 소프트웨어는 제어부(3300)에 포함될 수 있다.
안테나(3100)는 무선으로 신호를 전송하거나 수신하기 위하여 전파를 방사하거나 전파를 수신하는 역할을 한다.
무선 통신부(2200)는 안테나(2100)를 통하여 무선 채널로 데이터의 송신 및 수신 동작을 수행하기 위한 신호 처리를 수행한다.
제어부(3300)는 모바일 단말기(3000)의 전반적인 동작을 제어한다. 예로서, 제어부(3300)는 모바일 단말기(3000)의 구성 수단들 간의 신호 흐름을 제어하고, 데이터를 처리하는 동작을 수행할 수 있다.
사용자 인터페이스(3700)는 모바일 단말기(3000)를 제어하기 위한 사용자의 조작 신호를 입력받아 제어부(3300)에 전달한다.
오디오 프로세서(3800)는 코덱(CODEC; Coder/Decoder)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 오디오 프로세서(3800)는 통화 시 무선 통신부(3200)를 통하여 수신되는 디지털 오디오 데이터를 오디오 코덱을 통해 아날로그 오디오 신호로 변환하여 스피커로 출력하고, 마이크로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오 데이터로 변환하여 제어부(3300)로 전달한다.
디스플레이 장치(3900)는 제어부(3300)에서 출력되는 이미지 데이터를 화면으로 표시한다. 예로서, 디스플레이 장치(3900)는 액정 디스플레이(LCD) 장치가 적용될 수 있다. 예로서, 디스플레이 장치(3900)는 이미지 신호 프로세서(3500)에서 출력된 이미지 데이터를 수신하여 화면에 표시할 수 있다. 저장부(3600)에는 모바일 단말기(3000)의 동작에 필요한 프로그램 코드 및 각종 정보들이 저장된다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1000: 이미지 처리 시스템 100: 카메라 모듈
200: 이미지 신호 프로세서 300: 포스트 프로세서
400: 타이밍 컨트롤러 210, 210A, 210B: 프리 프로세서
220, 220A, 220B: 독립 이미지 신호 프로세서
230: 종속 이미지 신호 프로세싱 블록
230-1 ~ 230-N: 종속 이미지 신호 프로세서
221: 예비 연산 처리부 224, 233-1A, 233-NA: 포지션 보정부
222, 231-1A, 231-1B, 231-NA, 231-NB: 디노이징 블록
223, 232-1A, 232-1B, 232-NA, 232-NB; 디모자이싱 블록
221-1: 경계 강도 계산부 221-2: 방향성 계산부
221-3: 보간 방향 결정부

Claims (10)

  1. 복수의 카메라들에서 획득한 베이어 이미지 신호들에 기초하여 이미지 포지션에 관한 정보를 생성하는 프리 프로세서;
    상기 복수의 카메라들 중의 어느 하나의 카메라로부터 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 제1 이미지 처리 과정을 수행하고, 상기 제1 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성하는 독립 이미지 신호 프로세서; 및
    상기 이미지 처리 정보 및 상기 이미지 포지션에 관한 정보를 이용하여 상기 복수의 카메라들에서 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 제2 이미지 처리 과정을 수행하는 적어도 하나 이상의 종속 이미지 신호 프로세서를 포함하는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 이미지 포지션에 관한 정보는 이미지의 시차(disparity)를 나타내는 이미지 레지스트레이션 정보를 포함함을 특징으로 하는 이미지 처리 장치.
  3. 제1항에 있어서, 상기 이미지 처리 정보는 디노이징 처리 또는 디모자이싱 처리 과정 중의 적어도 하나의 과정에서 예측되거나 추정된 정보를 포함함을 특징으로 하는 이미지 처리 장치.
  4. 제1항에 있어서, 상기 독립 이미지 신호 프로세서는
    상기 베이어 이미지 신호에 대한 디노이징 처리 또는 디모자이싱 처리 연산 과정에서 필요로 하는 일부 연산 처리를 수행하고, 상기 일부 연산 처리를 수행하면서 예측되거나 추정된 정보 또는 연산 결과 정보에 기초하여 상기 이미지 처리 정보를 생성하는 예비 연산 처리부; 및
    상기 이미지 처리 정보를 이용하여 컬러 보간 처리를 수행하는 디모자이싱 블록을 포함함을 특징으로 하는 이미지 처리 장치.
  5. 제1항에 있어서, 상기 이미지 처리 정보는 상기 제1 이미지 처리 과정에서 예측되거나 추정된 정보 및 픽셀 좌표 정보를 포함하고, 상기 이미지 포지션에 관한 정보를 이용하여 상기 이미지 처리 정보에 대한 포지션 보정이 수행되는 것을 특징으로 하는 이미지 처리 장치.
  6. 제1항에 있어서, 상기 종속 이미지 신호 프로세서는 상기 이미지 처리 정보를 생성시키기 위한 연산 처리를 스킵하고, 상기 이미지 포지션에 관한 정보 및 상기 이미지 처리 정보를 이용하여 상기 복수의 카메라들에서 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 상기 제2 이미지 처리 과정을 수행하는 것을 특징으로 하는 이미지 처리 장치.
  7. 베이어 이미지를 각각 생성하는 복수의 카메라들;
    상기 복수의 카메라들에서 획득한 베이어 이미지 신호들에 기초하여 이미지 포지션에 관한 정보를 생성하는 프리 프로세서;
    상기 복수의 카메라들 중의 하나인 타깃 카메라로부터 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 제1 이미지 처리 과정을 수행하고, 상기 제1 이미지 처리 과정에서 산출된 적어도 하나의 이미지 처리 정보를 생성하는 독립 이미지 신호 프로세서;
    상기 이미지 처리 정보 및 상기 이미지 포지션에 관한 정보를 이용하여 상기 복수의 카메라들 중에서 상기 타깃 카메라를 제외한 나머지 카메라들에서 획득한 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성시키기 위한 제2 이미지 처리 과정을 수행하는 적어도 하나의 종속 이미지 신호 프로세서;
    상기 프리 프로세서, 상기 독립 이미지 신호 프로세서 및 상기 적어도 하나의 종속 이미지 신호 프로세서에 대한 출력 타이밍을 제어하는 타이밍 제어부; 및
    상기 독립 이미지 신호 프로세서 및 상기 적어도 하나의 종속 이미지 신호 프로세서에서 각각 출력되는 이미지 데이터에 대한 후 처리를 수행하는 포스트 프로세서를 포함하는 이미지 처리 시스템.
  8. 제7항에 있어서, 상기 타이밍 제어부는 상기 이미지 신호 프로세서 및 상기 적어도 하나의 종속 이미지 신호 프로세서에서의 초기 설정된 단위 사이즈의 이미지 데이터를 출력 타이밍을 일치시키기 위한 동기 신호를 생성하는 것을 특징으로 하는 이미지 처리 시스템.
  9. 제7항에 있어서, 상기 이미지 포지션에 관한 정보는 이미지의 시차(disparity)를 나타내는 이미지 레지스트레이션 정보를 포함함을 특징으로 하는 이미지 처리 시스템.
  10. 제7항에 있어서, 상기 이미지 처리 정보는 각 픽셀에 대한 디모자이싱 처리 과정에서 예측되거나 추정된 정보 또는 디노이징 처리 과정에서 예측되거나 추정된 정보 중의 적어도 하나를 포함함을 특징으로 하는 이미지 처리 시스템.
KR1020150180191A 2015-12-16 2015-12-16 이미지 처리 장치 및 이미지 처리 시스템 KR102410016B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150180191A KR102410016B1 (ko) 2015-12-16 2015-12-16 이미지 처리 장치 및 이미지 처리 시스템
US15/346,181 US10165207B2 (en) 2015-12-16 2016-11-08 Image processing apparatus and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150180191A KR102410016B1 (ko) 2015-12-16 2015-12-16 이미지 처리 장치 및 이미지 처리 시스템

Publications (2)

Publication Number Publication Date
KR20170071941A KR20170071941A (ko) 2017-06-26
KR102410016B1 true KR102410016B1 (ko) 2022-06-16

Family

ID=59066691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150180191A KR102410016B1 (ko) 2015-12-16 2015-12-16 이미지 처리 장치 및 이미지 처리 시스템

Country Status (2)

Country Link
US (1) US10165207B2 (ko)
KR (1) KR102410016B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190049197A (ko) * 2017-11-01 2019-05-09 한국전자통신연구원 고해상도 영상을 이용한 업샘플링 및 rgb 합성 방법, 및 이를 수행하는 장치
CN109873954B (zh) * 2018-03-30 2020-09-25 电子科技大学 一种基于FPGA实现Bayer阵列彩色恢复方法
KR102170447B1 (ko) * 2018-06-22 2020-10-28 재단법인 실감교류인체감응솔루션연구단 디모자이킹 장치 및 그 방법, 이를 적용한 스테레오 카메라
WO2020126023A1 (en) * 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. Image processor
KR20210151450A (ko) * 2020-06-05 2021-12-14 에스케이하이닉스 주식회사 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법
JP7404201B2 (ja) * 2020-09-11 2023-12-25 株式会社東芝 画像処理装置及び画像処理方法
JP2022188888A (ja) * 2021-06-10 2022-12-22 株式会社ソシオネクスト 画像処理装置および画像処理方法
KR20230031580A (ko) * 2021-08-27 2023-03-07 삼성전자주식회사 복수의 이미지 센서를 포함한 영상 획득 장치 및 이를 포함하는 전자 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0765086A2 (en) * 1995-09-21 1997-03-26 AT&T Corp. Video camera including multiple image sensors
US7728877B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US8823821B2 (en) 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7724284B2 (en) 2005-09-29 2010-05-25 Aptina Imaging Corporation Multi-camera system and method having a common processing block
KR101389562B1 (ko) * 2007-11-15 2014-04-25 삼성전자주식회사 이미지 처리 장치 및 방법
TW201010429A (en) 2008-08-20 2010-03-01 Av Tech Corp Image processing system and method thereof
WO2010079921A2 (ko) 2009-01-12 2010-07-15 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
KR102058860B1 (ko) * 2012-04-16 2019-12-26 삼성전자 주식회사 카메라의 이미지 처리 장치 및 방법
CN102665031B (zh) 2012-04-28 2016-09-07 华为技术有限公司 视频信号处理方法和摄像设备
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules

Also Published As

Publication number Publication date
US20170180656A1 (en) 2017-06-22
KR20170071941A (ko) 2017-06-26
US10165207B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
KR102410016B1 (ko) 이미지 처리 장치 및 이미지 처리 시스템
KR100780932B1 (ko) 컬러 보간 방법 및 장치
US9030579B2 (en) Image processing apparatus and control method that corrects a signal level of a defective pixel
US7671909B2 (en) Method and apparatus for processing Bayer-pattern digital color video signal
KR101941801B1 (ko) Led 디스플레이에 이용되는 영상 처리 방법 및 장치
US10516825B2 (en) Image processing device, image processing method, and computer program product for correcting a motion vector of a low-reliability block
EP3327666A1 (en) Control method and electronic apparatus
KR20060131083A (ko) 에지 적응적 컬러 보간 방법 및 장치
EP1993071A1 (en) Image zone detection
KR20070103229A (ko) 컬러 보간 방법 및 장치
KR102233316B1 (ko) 디스플레이 장치, 디스플레이 보정 장치, 디스플레이 보정 시스템 및 디스플레이 보정 방법
TWI460681B (zh) 影像的邊緣處理方法及影像處理裝置
US20110279643A1 (en) Image processing apparatus and control method thereof
US10205922B2 (en) Display control apparatus, method of controlling the same, and non-transitory computer-readable storage medium
WO2017154293A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20150271422A1 (en) Defective pixel correcting apparatus, imaging apparatus, and method of correcting defective pixel
KR20160068463A (ko) 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
KR101678690B1 (ko) 이미지 처리 방법 및 장치
JP5898428B2 (ja) 画像処理装置及びその制御方法
JP5818568B2 (ja) 画像処理装置及びその制御方法
KR20140079703A (ko) 결함 화소 검출 장치, 결함 화소 검출 방법 및 프로그램
CN114902659A (zh) 图像处理装置和图像处理方法
KR101706554B1 (ko) 클리어 에지 재현을 위한 영상 처리 장치 및 방법
JP2020141372A (ja) 表示制御装置、表示装置、表示装置の制御方法、プログラムおよび記憶媒体
US9635330B2 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant