KR101733309B1 - 4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템 - Google Patents

4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템 Download PDF

Info

Publication number
KR101733309B1
KR101733309B1 KR1020150158078A KR20150158078A KR101733309B1 KR 101733309 B1 KR101733309 B1 KR 101733309B1 KR 1020150158078 A KR1020150158078 A KR 1020150158078A KR 20150158078 A KR20150158078 A KR 20150158078A KR 101733309 B1 KR101733309 B1 KR 101733309B1
Authority
KR
South Korea
Prior art keywords
pixel
bayer pattern
color
isp
diagonal
Prior art date
Application number
KR1020150158078A
Other languages
English (en)
Inventor
박현상
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020150158078A priority Critical patent/KR101733309B1/ko
Application granted granted Critical
Publication of KR101733309B1 publication Critical patent/KR101733309B1/ko

Links

Images

Classifications

    • H04N9/045—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H04N5/2253—
    • H04N5/341—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

카메라 시스템은 4 칼라 베이어 패턴(4 color bayer pattern)-상기 4 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함함-에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴-상기 3 칼라 베이어 패턴은 상기 R 픽셀, 상기 G 픽셀, 상기 B 픽셀 및 대각 보간된 G 픽셀을 포함함- 및 전체 해상도 IR 이미지(full resolution IR image)-상기 전체 해상도 IR 이미지는 상기 IR 픽셀, 대각 보간된 IR 픽셀 및 수평/수직 보간된 IR 픽셀들을 포함함-를 출력하는 IR 전용 ISP; 및 상기 IR 전용 ISP로부터 수신되는 상기 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지(full resolution RGB image)를 출력하는 3 칼라 ISP를 포함한다.

Description

4 칼라 이미지 센서를 위해 듀얼 ISP를 갖는 카메라 시스템{DUAL ISP BASED CAMERA SYSTEM FOR 4 COLOR IMAGE SENSOR}
아래의 실시예들은 듀얼 ISP(image signal processor)를 갖는 카메라 시스템에 관한 것으로, 4 칼라 이미지 센서(4 color image sensor)와 연동되는 카메라 시스템에 대한 기술이다.
기존의 3 칼라 이미지 센서는 R 채널, G 채널 및 B 채널 각각의 광 신호를 R 픽셀, 두 개의 G 픽셀들 및 B 픽셀을 포함하는 3 칼라 베이어 패턴으로 변환하여 출력한다.
따라서, 기존의 3 칼라 이미지 센서와 연동되는 카메라 시스템은 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지(full resolution RGB image)를 출력하는 3 칼라 ISP만을 포함하도록 구성된다.
그러나 최근 들어 카메라 시스템과 관련된 기술 분야에서 전체 해상도 IR 이미지(full resolution IR image) 또는 전체 해상도 W 이미지(full resolution W image)가 이용됨에 따라, R 채널, G 채널 및 B 채널 각각의 광 신호뿐만 아니라, IR 광 신호 또는 W 광 신호를 처리하는 4 칼라 이미지 센서가 널리 사용되고 있다.
이와 같은 4 칼라 이미지 센서는 IR 광 신호 또는 W 광 신호가 변환된 IR 픽셀 또는 W 픽셀을 출력하기 때문에, 기존의 3 칼라 이미지 센서와 연동되는 카메라 시스템에 포함되는 3 칼라 ISP만으로는 IR 픽셀 또는 W 픽셀을 처리하지 못하는 단점이 있다.
이에, 아래의 실시예들은 4 칼라 이미지 센서와 연동되어 동작 가능한 카메라 시스템을 제안한다.
일실시예들은 4 칼라 이미지 센서와 연동되어 동작 가능한 카메라 시스템을 제공한다.
구체적으로, 일실시예들은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 4 칼라 베이어 패턴에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴 및 전체 해상도 IR 이미지를 출력하는 IR 전용 ISP 및 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지를 출력하는 3 칼라 ISP를 포함하는 카메라 시스템을 제공한다.
또한, 일실시예들은 R 픽셀, G 픽셀, B 픽셀 및 W 픽셀을 포함하는 4 칼라 베이어 패턴에 대해 대각 보간 및 수평/수직 보간을 수행하여 3 칼라 베이어 패턴 및 전체 해상도 W 이미지를 출력하는 W 전용 ISP 및 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지를 출력하는 3 칼라 ISP를 포함하는 카메라 시스템을 제공한다.
일실시예에 따른 카메라 시스템은 4 칼라 베이어 패턴(4 color bayer pattern)-상기 4 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함함-에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴-상기 3 칼라 베이어 패턴은 상기 R 픽셀, 상기 G 픽셀, 상기 B 픽셀 및 대각 보간된 G 픽셀을 포함함- 및 전체 해상도 IR 이미지(full resolution IR image)-상기 전체 해상도 IR 이미지는 상기 IR 픽셀, 대각 보간된 IR 픽셀 및 수평/수직 보간된 IR 픽셀들을 포함함-를 출력하는 IR 전용 ISP; 및 상기 IR 전용 ISP로부터 수신되는 상기 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지(full resolution RGB image)를 출력하는 3 칼라 ISP를 포함한다.
상기 IR 전용 ISP는 상기 4 칼라 베이어 패턴에서 상기 G 픽셀 및 상기 IR 픽셀 각각에 대해 대각 보간을 수행하여 상기 3 칼라 베이어 패턴 및 IR 베이어 패턴-상기 IR 베이어 패턴은 상기 IR 픽셀, 상기 대각 보간된 IR 픽셀, 상기 R 픽셀 및 상기 B 픽셀을 포함함-을 출력하는 대각 보간 수행부; 및 상기 대각 보간 수행부로부터 수신되는 상기 IR 베이어 패턴에서 상기 IR 픽셀 및 상기 대각 보간된 IR 픽셀에 대해 수평/수직 보간을 수행하여 상기 전체 해상도 IR 이미지를 출력하는 수평/수직 보간 수행부를 포함할 수 있다.
상기 대각 보간 수행부는 상기 4 칼라 베이어 패턴에서 상기 G 픽셀에 대해 상기 IR 픽셀이 배치되는 대각 방향으로 상기 대각 보간을 수행하여 상기 3 칼라 베이어 패턴을 생성할 수 있다.
상기 대각 보간 수행부는 상기 4 칼라 베이어 패턴에서 상기 IR 픽셀에 대해 상기 G 픽셀이 배치되는 대각 방향으로 상기 대각 보간을 수행하여 상기 IR 베이어 패턴을 생성할 수 있다.
상기 수평/수직 보간 수행부는 상기 IR 베이어 패턴에서 상기 IR 픽셀 및 상기 대각 보간된 IR 픽셀에 대해 상기 R 픽셀 및 상기 B 픽셀이 배치되는 수평/수직 방향으로 상기 수평/수직 보간을 수행하여 상기 전체 해상도 IR 이미지를 생성할 수 있다.
상기 IR 전용 ISP는 상기 IR 전용 ISP에 연결되어 상기 4 칼라 베이어 패턴을 전달하는 4 칼라 이미지 센서의 노이즈 및 결함(defect)를 제거하는 노이즈/결함 제거부를 더 포함할 수 있다.
상기 IR 전용 ISP는 상기 4 칼라 베이어 패턴 중 상기 R 픽셀, 상기 G 픽셀 및 상기 B 픽셀 각각과 상기 IR 픽셀 사이에 존재하는 색수차(chromatic aberration)를 보정하는 수차 보정부를 더 포함할 수 있다.
일실시예에 따른 카메라 시스템은 4 칼라 베이어 패턴(4 color bayer pattern)-상기 4 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함함-에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴-상기 3 칼라 베이어 패턴은 상기 R 픽셀, 상기 G 픽셀, 상기 B 픽셀 및 대각 보간된 G 픽셀을 포함함- 및 전체 해상도 IR 이미지(full resolution IR image)-상기 전체 해상도 IR 이미지는 상기 IR 픽셀, 대각 보간된 IR 픽셀 및 수평/수직 보간된 IR 픽셀들을 포함함-를 출력하는 IR 전용 ISP; 및 상기 IR 전용 ISP로부터 수신되는 상기 3 칼라 베이어 패턴 및 상기 전체 해상도 IR 이미지 각각을 처리하여 상기 3 칼라 베이어 패턴과 관련된 영상 데이터 및 상기 전체 해상도 IR 이미지와 관련된 영상 데이터를 생성하는 어플리케이션 프로세서를 포함한다.
일실시예에 따른 카메라 시스템은 4 칼라 베이어 패턴(4 color bayer pattern)-상기 4 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 W 픽셀을 포함함-에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴-상기 3 칼라 베이어 패턴은 상기 R 픽셀, 상기 G 픽셀, 상기 B 픽셀 및 대각 보간된 G 픽셀을 포함함- 및 전체 해상도 W 이미지(full resolution White image)-상기 전체 해상도 W 이미지는 상기 W 픽셀, 대각 보간된 W 픽셀 및 수평/수직 보간된 W 픽셀들을 포함함-를 출력하는 W 전용 ISP; 및 상기 W 전용 ISP로부터 수신되는 상기 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지(full resolution RGB image)를 출력하는 3 칼라 ISP를 포함한다.
상기 W 전용 ISP는 상기 4 칼라 베이어 패턴에서 상기 G 픽셀 및 상기 W 픽셀 각각에 대해 대각 보간을 수행하여 상기 3 칼라 베이어 패턴 및 W 베이어 패턴-상기 W 베이어 패턴은 상기 W 픽셀, 상기 대각 보간된 W 픽셀, 상기 R 픽셀 및 상기 B 픽셀을 포함함-을 출력하는 대각 보간 수행부; 및 상기 대각 보간 수행부로부터 수신되는 상기 W 베이어 패턴에서 상기 W 픽셀 및 상기 대각 보간된 W 픽셀에 대해 수평/수직 보간을 수행하여 상기 전체 해상도 W 이미지를 출력하는 수평/수직 보간 수행부를 포함할 수 있다.
상기 W 전용 ISP는 상기 W 전용 ISP에 연결되어 상기 4 칼라 베이어 패턴을 전달하는 4 칼라 이미지 센서의 노이즈 및 결함(defect)를 제거하는 노이즈/결함 제거부를 더 포함할 수 있다.
상기 W 전용 ISP는 상기 4 칼라 베이어 패턴 중 상기 R 픽셀, 상기 G 픽셀 및 상기 B 픽셀 각각과 상기 W 픽셀 사이에 존재하는 색수차(chromatic aberration)를 보정하는 수차 보정부를 더 포함할 수 있다.
일실시예에 따른 카메라 시스템은 4 칼라 베이어 패턴(4 color bayer pattern)-상기 4 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 W 픽셀을 포함함-에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴-상기 3 칼라 베이어 패턴은 상기 R 픽셀, 상기 G 픽셀, 상기 B 픽셀 및 대각 보간된 G 픽셀을 포함함- 및 전체 해상도 W 이미지(full resolution W image)-상기 전체 해상도 W 이미지는 상기 W 픽셀, 대각 보간된 W 픽셀 및 수평/수직 보간된 W 픽셀들을 포함함-를 출력하는 W 전용 ISP; 및 상기 W 전용 ISP로부터 수신되는 상기 3 칼라 베이어 패턴 및 상기 전체 해상도 W 이미지 각각을 처리하여 상기 3 칼라 베이어 패턴과 관련된 영상 데이터 및 상기 전체 해상도 W 이미지와 관련된 영상 데이터를 생성하는 어플리케이션 프로세서를 포함한다.
일실시예들은 4 칼라 이미지 센서와 연동되어 동작 가능한 카메라 시스템을 제공할 수 있다.
구체적으로, 일실시예들은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 4 칼라 베이어 패턴에 대해 대각 보간 및 수평/수직 보간을 수행하여 3 칼라 베이어 패턴 및 전체 해상도 IR 이미지를 출력하는 IR 전용 ISP 및 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지를 출력하는 3 칼라 ISP를 포함하는 카메라 시스템을 제공할 수 있다.
또한, 일실시예들은 R 픽셀, G 픽셀, B 픽셀 및 W 픽셀을 포함하는 4 칼라 베이어 패턴에 대해 대각 보간 및 수평/수직 보간을 수행하여 3 칼라 베이어 패턴 및 전체 해상도 W 이미지를 출력하는 W 전용 ISP 및 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지를 출력하는 3 칼라 ISP를 포함하는 카메라 시스템을 제공할 수 있다.
도 1은 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 2는 일실시예에 따른 IR 전용 ISP를 나타낸 도면이다.
도 3a 내지 3b는 일실시예에 따른 IR 전용 ISP의 동작을 설명하기 위한 도면이다.
도 4는 다른 일실시예에 따른 IR 전용 ISP를 나타낸 도면이다.
도 5는 또 다른 일실시예에 따른 IR 전용 ISP를 나타낸 도면이다.
도 6은 다른 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 카메라 시스템(100)은 4 칼라 이미지 센서(110)와 연결되는 IR 전용 ISP(120) 및 3 칼라 ISP(130)를 포함한다. 이하, 카메라 시스템(100)은 피사체와 카메라 시스템(100) 사이의 거리를 결정하는 기능을 추가적으로 수행하는 멀티 애퍼처 카메라 시스템(multi aperture camera system)일 수 있다.
그러나 카메라 시스템(100)은 이에 제한되거나 한정되지 않고, 피사체와 카메라 시스템(100) 사이의 거리를 결정하는 멀티 애퍼처 카메라뿐만 아니라, 일반적인 카메라 시스템일 수도 있다.
4 칼라 이미지 센서(110)는 피사체에 대한 R 광 신호, G 광 신호, B 광 신호 및 IR 광 신호를 변환하여 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 4 칼라 베이어 패턴을 생성한 후, 4 칼라 베이어 패턴을 카메라 시스템(100)으로 출력할 수 있다.
그러나 이에 제한되거나 한정되지 않고, 4 칼라 이미지 센서(110)는 IR 광 신호 대신에, RGB 광 신호와 구별되는 다른 다양한 파장대의 광 신호를 변환하여 RGB 광 신호와 다른 파장대의 픽셀을 포함하는 4 칼라 베이어 패턴을 생성할 수 있다. 예를 들어, 4 칼라 이미지 센서(110)는 피사체에 대한 R 광 신호, G 광 신호, B 광 신호 및 W 광 신호를 변환하여 R 픽셀, G 픽셀, B 픽셀 및 W 픽셀을 포함하는 4 칼라 베이어 패턴을 생성할 수 있다. 이러한 경우, 후술되는 IR 전용 ISP(120)는 W 전용 ISP로 대체될 수 있으며, 세부적인 동작 과정은 IR 픽셀을 W 픽셀로 대체하여 적용하는 것으로 설명 가능하다.
카메라 시스템(100)에 포함되는 IR 전용 ISP(120)는 4 칼라 베이어 패턴에 대해 대각 보간 및 수평/수직 보간을 수행하여 3 칼라 베이어 패턴(3 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 대각 보간된 G 픽셀을 포함함) 및 전체 해상도 IR 이미지(전체 해상도 IR 이미지는 IR 픽셀, 대각 보간된 IR 픽셀 및 수평/수직 보간된 IR 픽셀들을 포함함)을 생성한 후, 출력한다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
만약, 카메라 시스템(100)이 IR 전용 ISP(120) 대신에, W 전용 ISP를 포함하는 경우, W 전용 ISP는 마찬가지로, 4 칼라 베이어 패턴에 대해 대각 보간 및 수평/수직 보간을 수행하여 3 칼라 베이어 패턴(3 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 대각 보간된 G 픽셀을 포함함) 및 전체 해상도 W 이미지(전체 해상도 W 이미지는 W 픽셀, 대각 보간된 W 픽셀 및 수평/수직 보간된 W 픽셀들을 포함함)을 생성한 후, 출력할 수 있다.
따라서, 3 칼라 ISP(130)는 IR 전용 ISP(120)로부터 수신되는 3 칼라 베이어 패턴을 처리하여, 전체 해상도 RGB 이미지(full resolution RGB image)를 생성한 후, 출력한다.
도 2는 일실시예에 따른 IR 전용 ISP를 나타낸 도면이다.
도 2를 참조하면, 일실시예에 따른 IR 전용 ISP(200)는 대각 보간 수행부(210) 및 수평/수직 보간 수행부(220)를 포함한다.
대각 보간 수행부(210)는 4 칼라 베이어 패턴에서 G 픽셀 및 IR 픽셀 각각에 대해 대각 보간을 수행하여 3 칼라 베이어 패턴 및 IR 베이어 패턴(IR 베이어 패턴은 IR 픽셀, 대각 보간된 IR 픽셀, R 픽셀 및 B 픽셀을 포함함)을 출력할 수 있다.
예를 들어, 대각 보간 수행부(210)는 4 칼라 베이어 패턴에서 G 픽셀에 대해 IR 픽셀이 배치되는 대각 방향으로 대각 보간을 수행하여 3 칼라 베이어 패턴을 생성할 수 있다. 이에 대한 상세한 설명은 도 3a를 참조하여 기재하기로 한다.
또한, 대각 보간 수행부(210)는 4 칼라 베이어 패턴에서 IR 픽셀에 대해 G 픽셀이 배치되는 대각 방향으로 대각 보간을 수행하여 IR 베이어 패턴을 생성할 수 있다. 여기서, IR 베이어 패턴은 수평/수직 보간 수행부(220)로 전달될 수 있다.
수평/수직 보간 수행부(220)는 대각 보간 수행부(210)로부터 수신되는 IR 베이어 패턴에서 IR 픽셀 및 대각 보간된 IR 픽셀에 대해 수평/수직 보간을 수행하여 전체 해상도 IR 이미지를 출력한다.
예를 들어, 수평/수직 보간 수행부(220)는 IR 베이어 패턴에서 IR 픽셀 및 대각 보간된 IR 픽셀에 대해 R 픽셀 및 B 픽셀이 배치되는 수평/수직 방향으로 수평/수직 보간을 수행하여 전체 해상도 IR 이미지를 생성할 수 있다. 이에 대한 상세한 설명은 도 3b를 참조하여 기재하기로 한다.
만약, IR 전용 ISP(200) 대신에 W 전용 ISP가 이용되는 경우, 마찬가지로 W 전용 ISP는 대각 보간 수행부 및 수평/수직 보간 수행부를 포함할 수 있다. 이러한 경우, 대각 보간 수행부는 4 칼라 베이어 패턴에서 G 픽셀 및 W 픽셀 각각에 대해 대각 보간을 수행하여 3 칼라 베이어 패턴 및 W 베이어 패턴(W 베이어 패턴은 W 픽셀, 대각 보간된 W 픽셀, R 픽셀 및 B 픽셀을 포함함)을 출력할 수 있다. 예를 들어, 대각 보간 수행부는 4 칼라 베이어 패턴에서 G 픽셀에 대해 W 픽셀이 배치되는 대각 방향으로 대각 보간을 수행하여 3 칼라 베이어 패턴을 생성할 수 있다. 또한, 대각 보간 수행부는 4 칼라 베이어 패턴에서 W 픽셀에 대해 G 픽셀이 배치되는 대각 방향으로 대각 보간을 수행하여 W 베이어 패턴을 생성할 수 있다. 여기서, W 베이어 패턴은 수평/수직 보간 수행부로 전달될 수 있다. 따라서, 수평/수직 보간 수행부는 대각 보간 수행부로부터 수신되는 W 베이어 패턴에서 W 픽셀 및 대각 보간된 W 픽셀에 대해 수평/수직 보간을 수행하여 전체 해상도 W 이미지를 출력할 수 있다. 예를 들어, 수평/수직 보간 수행부는 W 베이어 패턴에서 W 픽셀 및 대각 보간된 W 픽셀에 대해 R 픽셀 및 B 픽셀이 배치되는 수평/수직 방향으로 수평/수직 보간을 수행하여 전체 해상도 W 이미지를 생성할 수 있다.
도 3a 내지 3b는 일실시예에 따른 IR 전용 ISP의 동작을 설명하기 위한 도면이다.
구체적으로, 도 3a는 일실시예에 따른 대각 보간을 수행을 통하여 3 칼라 베이어 패턴이 생성되는 과정을 설명하기 위한 도면이고, 도 3b는 일실시예에 따른 대각 보간 및 수평/수직 보간을 통하여 전체 해상도 IR 이미지가 생성되는 과정을 설명하기 위한 도면이다.
도 3a를 참조하면, 일실시예에 따른 IR 전용 ISP는 대각 보간 수행부를 이용하여 4 칼라 베이어 패턴(310)에서 G 픽셀에 대해 IR 픽셀이 배치되는 대각 방향으로 대각 보간을 수행하여 R 픽셀, G 픽셀, B 픽셀 및 대각 보간된 G 픽셀을 포함하는 3 칼라 베이어 패턴(320)을 생성할 수 있다.
따라서, 상술한 바와 같이 생성된 3 칼라 베이어 패턴(320)는 대각 보간 수행부를 통하여 출력될 수 있다.
도 3b를 참조하면, 일실시예에 따른 IR 전용 ISP는 대각 보간 수행부를 이용하여 4 칼라 베이어 패턴(310)에서 IR 픽셀에 대해 G 픽셀이 배치되는 대각 방향으로 대각 보간을 수행하여 IR 베이어 패턴(330)을 생성할 수 있다. 이어서, IR 전용 ISP는 수평/수직 보간 수행부를 이용하여 IR 베이어 패턴(330)에서 IR 픽셀 및 대각 보간된 IR 픽셀에 대해 R 픽셀 및 B 픽셀이 배치되는 수평/수직 방향으로 수평/수직 보간을 수행하여 전체 해상도 IR 이미지(340)를 생성할 수 있다.
따라서, 상술한 바와 같이 생성된 전체 해상도 IR 이미지(340)는 수평/수직 보간 수행부를 통하여 출력될 수 있다.
도 4는 다른 일실시예에 따른 IR 전용 ISP를 나타낸 도면이다.
도 4를 참조하면, 다른 일실시예에 따른 IR 전용 ISP (400)는 노이즈/결함 제거부(410), 대각 보간 수행부(420) 및 수평/수직 보간 수행부(430)를 포함할 수 있다.
여기서, 대각 보간 수행부(420) 및 수평/수직 보간 수행부(430)는 도 2를 참조하여 기재된 IR 전용 ISP에 포함되는 대각 보간 수행부 및 수평/수직 보간 수행부 각각과 동일한 기능을 수행할 수 있다. 따라서, 이에 대한 상세한 설명은 생략하기로 한다.
다른 일실시예에 따른 IR 전용 ISP (400)가 도 2를 참조하여 기재된 이미지 보간 장치와 구별되는 점은 노이즈/결함 제거부(410)를 포함한다는 것이다. 이 때, 노이즈/결함 제거부(410)는 IR 전용 ISP에 연결되는 4 칼라 이미지 센서(도면에는 도시되지 않음)의 노이즈 및 결함을 제거하는 기능을 수행할 수 있다. 예를 들어, 노이즈/결함 제거부(410)는 4 칼라 이미지 센서로부터 수신되는 4 칼라 베이어 패턴의 노이즈를 제거하고, 4 칼라 이미지 센서 자체의 센서 결함을 제거할 수 있다.
IR 전용 ISP(400) 대신에 W 전용 ISP가 이용되는 경우도 마찬가지로, 노이즈/결함 제거부(410)는 W 전용 ISP에 연결되는 4 칼라 이미지 센서의 노이즈 및 결함을 제거하는 기능을 수행할 수 있다.
도 5는 또 다른 일실시예에 따른 IR 전용 ISP를 나타낸 도면이다.
도 5를 참조하면, 또 다른 일실시예에 따른 IR 전용 ISP(500)는 노이즈/결함 제거부(510), 수차 보정부(520), 대각 보간 수행부(530) 및 수평/수직 보간 수행부(540)를 포함할 수 있다.
여기서, 대각 보간 수행부(530) 및 수평/수직 보간 수행부(540)는 는 도 2를 참조하여 기재된 IR 전용 ISP에 포함되는 대각 보간 수행부 및 수평/수직 보간 수행부 각각과 동일한 기능을 수행할 수 있고, 노이즈/결함 제거부(510)는 도 4를 참조하여 기재된 노이즈/결함 제거부와 동일한 기능을 수행할 수 있다. 따라서, 이에 대한 상세한 설명은 생략하기로 한다.
또 다른 일실시예에 따른 IR 전용 ISP(500)가 도 4를 참조하여 기재된 IR 전용 ISP와 구별되는 점은 수차 보정부(520)를 포함한다는 것이다. 이 때, 수차 보정부(520)는 4 칼라 베이어 패턴 중 R 픽셀, G 픽셀 및 B 픽셀 각각과 IR 픽셀 사이에 존재하는 색수차(chromatic aberration)를 보정하는 기능을 수행할 수 있다.
도면에는 수차 보정부(520)가 노이즈/결함 제거부(510)의 출력단에 연결되도록 배치되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 4 칼라 이미지 센서(도면에는 도시되지 않음)의 출력단 및 노이즈/결함 제거부(510)의 입력단에 연결되도록 배치될 수 있다.
또한, 상술한 바와 같이 IR 전용 ISP(500)는 노이즈/결함 제거부(510) 및 수차 보정부(520) 모두를 포함하는 경우로 제한되거나 한정되지 않고, 수차 보정부(520)만을 선택적으로 포함한 채 대각 보간 수행부(530) 및 수평/수직 보간 수행부(540)를 포함할 수 있다.
IR 전용 ISP(500) 대신에 W 전용 ISP가 이용되는 경우도 마찬가지로, 수차 보정부(520)는 칼라 베이어 패턴 중 R 픽셀, G 픽셀 및 B 픽셀 각각과 W 픽셀 사이에 존재하는 색수차를 보정하는 기능을 수행할 수 있다.
도 6은 다른 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 6을 참조하면, 다른 일실시예에 따른 카메라 시스템(600)은 4 칼라 이미지 센서(610)와 연결되는 IR 전용 ISP(620) 및 어플리케이션 프로세서(630)를 포함한다. 여기서, 어플리케이션 프로세서(630)는 디지털 카메라 또는 보안용 카메라에서 이용되는 모듈로서, 전체 해상도 RGB 이미지 및/또는 전체 해상도 IR 이미지를 이용하여 추가적인 영상 데이터(예컨대, 압축된 RGB 이미지 또는 압축된 전체 해상도 IR 이미지 등)를 생성/출력할 수 있다.
4 칼라 이미지 센서(610)는 피사체에 대한 R 광 신호, G 광 신호, B 광 신호 및 IR 광 신호를 변환하여 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 4 칼라 베이어 패턴을 생성한 후, 4 칼라 베이어 패턴을 카메라 시스템(600)으로 출력할 수 있다.
카메라 시스템(600)에 포함되는 IR 전용 ISP(620)는 4 칼라 베이어 패턴에 대해 대각 보간 및 수평/수직 보간을 수행하여 3 칼라 베이어 패턴(3 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 대각 보간된 G 픽셀을 포함함) 및 전체 해상도 IR 이미지(전체 해상도 IR 이미지는 IR 픽셀, 대각 보간된 IR 픽셀 및 수평/수직 보간된 IR 픽셀들을 포함함)을 생성한 후, 출력한다. 이 때, IR 전용 ISP(620)의 세부적인 동작 과정은 도 2를 참조하여 상술한 과정과 동일하므로 생략하기로 한다.
따라서, 어플리케이션 프로세서(630)는 IR 전용 ISP(120)로부터 수신되는 3 칼라 베이어 패턴 및 전체 해상도 IR 이미지 각각을 처리하여 3 칼라 베이어 패턴과 관련된 영상 데이터 및 전체 해상도 IR 이미지와 관련된 영상 데이터를 생성할 수 있다. 예를 들어, 어플리케이션 프로세서(630)는 3 칼라 베이어 패턴 및 전체 해상도 IR 이미지 각각을 처리하여 3 칼라 베이어 패턴이 압축된 영상 데이터(또는 3 칼라 베이어 패턴에 기초하여 생성되는 전체 해상도 RGB 이미지가 압축된 영상 데이터) 및 전체 해상도 IR 이미지가 압축된 영상 데이터를 생성/출력할 수 있다.
만약, IR 전용 ISP(620) 대신에 W 전용 ISP가 이용되는 경우, W 전용 ISP는 위에서 상술한 바와 동일한 동작을 수행하게 되며, 어플리케이션 프로세서(630)는 W 전용 ISP로부터 수신되는 3 칼라 베이어 패턴 및 전체 해상도 W 이미지 각각을 처리하여 3 칼라 베이어 패턴과 관련된 영상 데이터 및 전체 해상도 W 이미지와 관련된 영상 데이터를 생성/출력할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 4 칼라 베이어 패턴(4 color bayer pattern)-상기 4 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함함-에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴-상기 3 칼라 베이어 패턴은 상기 R 픽셀, 상기 G 픽셀, 상기 B 픽셀 및 대각 보간된 G 픽셀을 포함함- 및 전체 해상도 IR 이미지(full resolution IR image)-상기 전체 해상도 IR 이미지는 상기 IR 픽셀, 대각 보간된 IR 픽셀 및 수평/수직 보간된 IR 픽셀들을 포함함-를 출력하는 IR 전용 ISP; 및
    상기 IR 전용 ISP로부터 수신되는 상기 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지(full resolution RGB image)를 출력하는 3 칼라 ISP
    를 포함하고,
    상기 IR 전용 ISP는
    상기 4 칼라 베이어 패턴에서 상기 G 픽셀 및 상기 IR 픽셀 각각에 대해 대각 보간을 수행하여 상기 3 칼라 베이어 패턴 및 IR 베이어 패턴-상기 IR 베이어 패턴은 상기 IR 픽셀, 상기 대각 보간된 IR 픽셀, 상기 R 픽셀 및 상기 B 픽셀을 포함함-을 출력하는 대각 보간 수행부; 및
    상기 대각 보간 수행부로부터 수신되는 상기 IR 베이어 패턴에서 상기 IR 픽셀 및 상기 대각 보간된 IR 픽셀에 대해 수평/수직 보간을 수행하여 상기 전체 해상도 IR 이미지를 출력하는 수평/수직 보간 수행부
    를 포함하는 카메라 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 대각 보간 수행부는
    상기 4 칼라 베이어 패턴에서 상기 G 픽셀에 대해 상기 IR 픽셀이 배치되는 대각 방향으로 상기 대각 보간을 수행하여 상기 3 칼라 베이어 패턴을 생성하는, 카메라 시스템.
  4. 제1항에 있어서,
    상기 대각 보간 수행부는
    상기 4 칼라 베이어 패턴에서 상기 IR 픽셀에 대해 상기 G 픽셀이 배치되는 대각 방향으로 상기 대각 보간을 수행하여 상기 IR 베이어 패턴을 생성하는, 카메라 시스템.
  5. 제1항에 있어서,
    상기 수평/수직 보간 수행부는
    상기 IR 베이어 패턴에서 상기 IR 픽셀 및 상기 대각 보간된 IR 픽셀에 대해 상기 R 픽셀 및 상기 B 픽셀이 배치되는 수평/수직 방향으로 상기 수평/수직 보간을 수행하여 상기 전체 해상도 IR 이미지를 생성하는, 카메라 시스템.
  6. 제1항에 있어서,
    상기 IR 전용 ISP는
    상기 IR 전용 ISP에 연결되어 상기 4 칼라 베이어 패턴을 전달하는 4 칼라 이미지 센서의 노이즈 및 결함(defect)를 제거하는 노이즈/결함 제거부
    를 더 포함하는 카메라 시스템.
  7. 제1항에 있어서,
    상기 IR 전용 ISP는
    상기 4 칼라 베이어 패턴 중 상기 R 픽셀, 상기 G 픽셀 및 상기 B 픽셀 각각과 상기 IR 픽셀 사이에 존재하는 색수차(chromatic aberration)를 보정하는 수차 보정부
    를 더 포함하는 카메라 시스템.
  8. 삭제
  9. 4 칼라 베이어 패턴(4 color bayer pattern)-상기 4 칼라 베이어 패턴은 R 픽셀, G 픽셀, B 픽셀 및 W 픽셀을 포함함-에 대해 대각 보간(diagonal interpolation) 및 수평/수직 보간(horizontal/vertical interpolation)을 수행하여 3 칼라 베이어 패턴-상기 3 칼라 베이어 패턴은 상기 R 픽셀, 상기 G 픽셀, 상기 B 픽셀 및 대각 보간된 G 픽셀을 포함함- 및 전체 해상도 W 이미지(full resolution White image)-상기 전체 해상도 W 이미지는 상기 W 픽셀, 대각 보간된 W 픽셀 및 수평/수직 보간된 W 픽셀들을 포함함-를 출력하는 W 전용 ISP; 및
    상기 W 전용 ISP로부터 수신되는 상기 3 칼라 베이어 패턴을 처리하여 전체 해상도 RGB 이미지(full resolution RGB image)를 출력하는 3 칼라 ISP
    를 포함하고,
    상기 W 전용 ISP는
    상기 4 칼라 베이어 패턴에서 상기 G 픽셀 및 상기 W 픽셀 각각에 대해 대각 보간을 수행하여 상기 3 칼라 베이어 패턴 및 W 베이어 패턴-상기 W 베이어 패턴은 상기 W 픽셀, 상기 대각 보간된 W 픽셀, 상기 R 픽셀 및 상기 B 픽셀을 포함함-을 출력하는 대각 보간 수행부; 및
    상기 대각 보간 수행부로부터 수신되는 상기 W 베이어 패턴에서 상기 W 픽셀 및 상기 대각 보간된 W 픽셀에 대해 수평/수직 보간을 수행하여 상기 전체 해상도 W 이미지를 출력하는 수평/수직 보간 수행부
    를 포함하는 카메라 시스템.
  10. 삭제
  11. 제9항에 있어서,
    상기 W 전용 ISP는
    상기 W 전용 ISP에 연결되어 상기 4 칼라 베이어 패턴을 전달하는 4 칼라 이미지 센서의 노이즈 및 결함(defect)를 제거하는 노이즈/결함 제거부
    를 더 포함하는 카메라 시스템.
  12. 제9항에 있어서,
    상기 W 전용 ISP는
    상기 4 칼라 베이어 패턴 중 상기 R 픽셀, 상기 G 픽셀 및 상기 B 픽셀 각각과 상기 W 픽셀 사이에 존재하는 색수차(chromatic aberration)를 보정하는 수차 보정부
    를 더 포함하는 카메라 시스템.
  13. 삭제
KR1020150158078A 2015-11-11 2015-11-11 4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템 KR101733309B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150158078A KR101733309B1 (ko) 2015-11-11 2015-11-11 4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150158078A KR101733309B1 (ko) 2015-11-11 2015-11-11 4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템

Publications (1)

Publication Number Publication Date
KR101733309B1 true KR101733309B1 (ko) 2017-05-08

Family

ID=60164267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150158078A KR101733309B1 (ko) 2015-11-11 2015-11-11 4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템

Country Status (1)

Country Link
KR (1) KR101733309B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2556990A (en) * 2016-11-14 2018-06-13 Google Llc Low resolution RGB rendering for efficient transmission
US10262387B2 (en) 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
US10564715B2 (en) 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
KR20210028254A (ko) * 2018-07-19 2021-03-11 비보 모바일 커뮤니케이션 컴퍼니 리미티드 그래픽 센서, 이동 단말 및 그래픽 촬영 방법
KR20220074500A (ko) * 2020-11-27 2022-06-03 주식회사 넥스트칩 프로토콜 정보 교환 방법 및 장치
CN115136185A (zh) * 2019-10-14 2022-09-30 Lg伊诺特有限公司 图像处理装置和图像处理方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2556990A (en) * 2016-11-14 2018-06-13 Google Llc Low resolution RGB rendering for efficient transmission
US10262387B2 (en) 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
US10564715B2 (en) 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
GB2556990B (en) * 2016-11-14 2021-05-12 Google Llc Low resolution RGB rendering for efficient transmission
KR20210028254A (ko) * 2018-07-19 2021-03-11 비보 모바일 커뮤니케이션 컴퍼니 리미티드 그래픽 센서, 이동 단말 및 그래픽 촬영 방법
KR102374428B1 (ko) 2018-07-19 2022-03-15 비보 모바일 커뮤니케이션 컴퍼니 리미티드 그래픽 센서, 이동 단말 및 그래픽 촬영 방법
CN115136185A (zh) * 2019-10-14 2022-09-30 Lg伊诺特有限公司 图像处理装置和图像处理方法
US20240119561A1 (en) * 2019-10-14 2024-04-11 Lg Innotek Co., Ltd. Image processing device and image processing method
KR20220074500A (ko) * 2020-11-27 2022-06-03 주식회사 넥스트칩 프로토콜 정보 교환 방법 및 장치
KR102436812B1 (ko) * 2020-11-27 2022-08-26 주식회사 넥스트칩 프로토콜 정보 교환 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101733309B1 (ko) 4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US8797462B2 (en) Image processing apparatus and image processing method
US8854483B2 (en) Image processing device, image processing method and image processing program
US8508625B2 (en) Image processing apparatus
US9319585B1 (en) High resolution array camera
JP6243030B2 (ja) 画像処理方法及び該画像処理方法を実行する画像処理装置
US10217034B2 (en) Image processing device, imaging device, and image processing method
KR20060052484A (ko) 화상처리장치 및 화상처리방법과 컴퓨터·프로그램
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
JP2008070853A (ja) 画像配列データの補償方法
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP2018093284A (ja) 可視近赤外同時撮像装置
WO2016047073A1 (ja) 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
US20150042782A1 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer readable recording medium
US10075687B2 (en) Imaging apparatus and imaging method to obtain high quality luminance images
KR20160114374A (ko) 채널간 상관관계 기반 컬러 필터 어레이 보간 방법
US8675106B2 (en) Image processing apparatus and control method for the same
US8654220B2 (en) Image processing apparatus and control method for the same
JP2014158165A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011114473A (ja) 画素欠陥補正装置
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2012169989A (ja) 撮像装置及び撮像装置の補間処理方法
JP2010056817A (ja) 撮像装置
US9160947B2 (en) Defective pixel correction apparatus and method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151111

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160824

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170420

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170427

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170427

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210208