KR100917365B1 - 영상 생성 장치 및 방법 - Google Patents

영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR100917365B1
KR100917365B1 KR1020070081259A KR20070081259A KR100917365B1 KR 100917365 B1 KR100917365 B1 KR 100917365B1 KR 1020070081259 A KR1020070081259 A KR 1020070081259A KR 20070081259 A KR20070081259 A KR 20070081259A KR 100917365 B1 KR100917365 B1 KR 100917365B1
Authority
KR
South Korea
Prior art keywords
image
filter
optical signal
band
region
Prior art date
Application number
KR1020070081259A
Other languages
English (en)
Other versions
KR20090004310A (ko
Inventor
프란시스코 이마이
최원희
권재현
이성덕
박성호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20090004310A publication Critical patent/KR20090004310A/ko
Application granted granted Critical
Publication of KR100917365B1 publication Critical patent/KR100917365B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

영생 생성 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 영상 생성 장치는 광학부, 광학부를 통해 입사되는 광신호 중에서 소정 색의 파장에 대한 보색 파장 대역을 통과시키는 광대역 필터(wide-band filter) 영역, 입사된 광신호 중에서 소정 색의 파장 대역을 통과시키는 협대역 필터(narrow-band filter) 영역, 및 입사된 광신호의 모든 파장 대역을 통과시키는 전대역 필터 영역을 포함하는 필터부 및 필터부를 통과한 광신호를 처리하여 영상을 생성하는 영상 생성부를 포함하는데, 영상 생성부는 광신호가 통과한 필터 영역에 따라서 광신호에 가중치를 달리하여 영상을 생성한다.
영상, 합성, 광대역, 다이나믹 레인지, high dynamic range, 감도, 필터

Description

영상 생성 장치 및 방법{Apparatus and method for generating imgae}
본 발명은 영상 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 단일 노출에 의한 영상으로부터 광대역(HDR; High Dynamic Range) 영상을 생성할 수 있는 영상 생성 장치 및 방법에 관한 것이다.
최근 디지털 카메라, 및 카메라 폰 등과 같이 고해상도 카메라를 장착한 장치들의 보급이 확산되고 있다. 이러한 카메라는, 일반적으로 렌즈 및 이미지 센서 등을 포함하여 구성된다.
이때, 렌즈는 피사체에서 반사된 광을 모으는 역할을 하며, 이미지 센서는 렌즈에 의해 모아진 광을 검출하여 전기적인 이미지 신호로 변환하는 역할을 한다. 이미지 센서는, 크게 촬상관(Camera tube)과 고체 이미지 센서로 나뉠 수 있으며, 고체 이미지 센서의 대표적인 예로써, 전하 결합 소자(Charge Coupled Device, CCD), 및 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등이 있다.
또한, 이러한 카메라의 이미지 센서는 각각의 칼라 필터가 각 픽셀에 도달하는 빛을 필터링하는 칼라 필터의 모자이크로 구성되는 컬러 필터 어레이(Color Filter Array, CFA)가 형성될 수 있으며, 컬러 필터 어레이의 상부에는 이미지 센서가 적외선에 민감하여 이미지의 변색 등이 발생하는 것을 방지하기 위한 적외선 차단 필터가 형성된다.
한편, 고조도/저조도 환경 및 역광(back-lighting)과 극단적인 콘트라스트 환경에서 영상을 촬영할 경우에, 기존의 이미지 센서로부터는 영상을 자세히 표현할 수 없는 영역이 발생하게 된다.
위와 같은 환경에서 형상을 자세히 획득할 수 있는 광대역 센서가 개발되었지만, 이러한 센서는 정밀 측정, 군사적 목적으로 사용되는 고가의 센서이다.
또한, 카메라 등에 사용되는 기존의 센서로 광대역 영상을 생성하기 위해서, 종래에는 다른 노광량을 가지는 이미지를 생성하고, 생성된 이미지를 합성하는 방법을 사용하였다.
예를 들어, 역광 상태에서의 피사체를 촬영할 경우, 노광량이 적은 상태에서는 적은 노출 시간으로 인해 영상의 콘스라스트(Contrast)가 높게 되어 영상의 에지(Edge) 등이 명확해지게 되고, 노광량이 많은 상태에서는 많은 노출 시간으로 인해 영상의 색상 등이 명확해지게 된다. 따라서, 노광량이 적은 영상과 노광량이 많은 영상을 합성하여 광대역 영상을 생성하게 된다.
이때, 서로 다른 노출 시간을 통해 노광량이 적은 영상, 및 노광량이 많은 영상을 각각 생성할 때, 노광량이 많은 영상의 경우에는 긴 노출 시간으로 인해 소정 시간 동안 동일한 자세를 유지해야 하기 때문에 사용자의 편의가 저해된다. 또한, 사용자가 동일한 자세를 유지하는 동안 피사체의 위치가 변경되는 경우에는 노 광량이 적은 영상, 및 노광량이 많은 영상이 동일하지 않게 되어 정상적인 영상을 생성하기가 어렵다는 문제점이 있다. 그리고, 사용자가 소정 시간 동안 동일한 자세를 유지하기 때문에 손떨림 등이 발생하게 되어 생성된 영상에 블러링(Blurring) 등이 발생하는 문제점이 있다.
일본 공개 특허 2006-211478은 감도가 낮은 원색 필터와 감도가 높은 보색 필터를 배열하여 필터의 감도에 따라서 노광시간을 달리하여 광대역 영상을 생성하는 방법을 개시하고 있으나, 여전히 긴 노출 시간으로 인해 손떨림 등으로 영상에 블러링이 발생될 수 있고, 감도의 향상이 그다지 높지 않다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 광대역 필터(wide-band filter), 협대역(narrow-band filter) 필터, 전대역 필터를 사용하여 획득한 단일의 영상으로부터 영상 처리를 하여 광대역 영상(HDR; High Dynamic Range Image)을 생성하는 것에 관한 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 생성 장치는 광학부; 상기 광학부를 통해 입사되는 광신호 중에서 소정 색의 파장에 대한 보색 파장 대역을 통과시키는 광대역 필터(wide-band filter) 영역, 상기 입사된 광신호 중에서 상기 소정 색의 파장 대역을 통과시키는 협대역 필터(narrow-band filter) 영역, 및 상기 입사된 광신호의 모든 파장 대역을 통과시키는 전대역 필터 영역을 포함하는 필터부; 및 상기 필터부를 통과한 광신호를 처리하여 영상을 생성하는 영상 생성부를 포함하는데, 상기 영상 생성부는 상기 광신호가 통과한 필터 영역에 따라서 상기 광신호에 가중치를 달리하여 영상을 생성한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 생성 방법은 소정의 피사체에서 반사된 광신호를 입사받는 단계; 상기 입사된 광신호 중에서 소 정 색의 파장에 대한 보색 파장 대역을 통과시키는 광대역 필터(wide-band filter) 영역, 상기 입사된 광신호 중에서 상기 소정 색의 파장 대역을 통과시키는 협대역 필터(narrow-band filter) 영역, 및 상기 입사된 광신호의 모든 파장 대역을 통과시키는 전대역 필터 영역을 통해 상기 입사된 광신호를 필터링하는 단계; 및 상기 필터링된 광신호를 처리하여 영상을 생성하는 단계를 포함하는데, 상기 영상을 생성하는 단계는 상기 입사된 광신호가 통과한 필터 영역에 따라서 상기 필터링된 광신호에 가중치를 달리하여 영상을 생성한다.
상기한 바와 같은 본 발명의 영상 생성 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명에 따른 컬러 필터 어레이(CFA; Color Filter Array)를 이용하여 단일 노출에 의한 획득한 영상으로부터 광대역(HDR; High Dynamic Range) 영상을 생성할 수 있다는 장점이 있다.
둘째, 본 발명에 따른 컬러 필터 어레이는 원색 필터에 보색 필터 및 백색 필터를 사용함으로써 소정 픽셀에 도달하는 광량을 증가시켜 감도를 향상시킬 수 있다는 장점도 있다.
셋째, 고가의 광대역 센서를 사용하지 않고서도 광대역 영상을 생성할 수 있다는 장점도 있다.
실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다
이하, 본 발명의 실시예들에 의하여 영상 생성 장치 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 생성 장치의 블록도이고, 도 2는 본 발명의 일 실시예에 따른 도 1의 영상 생성부의 내부 블록도이다.
본 발명의 일 실시예에 따른 영상 생성 장치(100)는 광학부(110), 필터부(120), 및 영상 생성부(130)를 포함할 수 있다. 또한, 영상 생성부(130)는 쉐도우 영상 생성부(132), 하이라이트 영상 생성부(134), 및 블렌딩부(136)를 포함할 수 있다. 또한, 영상 생성부(130)는 적응적 영상 생성부(138)를 포함할 수도 있다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
이때, 본 발명의 실시예에서 영상 생성 장치(100)는 디지털 카메라 등과 같이, 전하 결합 소자(Charge Coupled Devcie, CCD), 및 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등의 고체 이미지 센서를 이용하여 소정 피사체에 대한 이미지를 저장할 수 있는 장치로 이해될 수 있다. 따라서, 본 발명의 실시예에 따른 영상 생성 장치(100)는 디지털 카메라와 같이, 고체 이미지 센서를 구비한 카메라 폰, 및 PDA(Personal Digital Assistant) 등도 포함할 수 있으나, 이에 한정되지 않는다.
광학부(110)는 피사체에서 반사된 광신호를 집광한다. 광학부(110)는 적어도 하나의 렌즈를 포함할 수 있으며, 렌즈의 개수는 용도, 및 필요에 따라 변경될 수 있다. 또한, 렌즈는, 동일 평면 상에 다양한 형태로 배치될 수 있다. 본 발명의 실시예에서는 광학부(110)가 단일 영상을 획득하여 감도를 향상시킴과 동시에 광대역(HDR; High Dynamic Range) 영상을 생성하는 것에 관한 것으로 하나의 렌즈로 이루어진 경우를 예를 들어 설명하기로 한다. 이하 본 발명의 실시예에서는 광학부(110)와 렌즈가 동일한 의미로 이해될 수 있다.
필터부(120)는 광학부(110)를 통해 입사하는 광신호를 필터링하여 소정 파장 대역의 광신호만을 통과시킬 수 있다.
본 발명의 실시예에 따른 설명에 앞서 도 3을 참조로 원색 필터와 보색 필터의 필터링 과정을 설명하기로 한다.
도 3은 원색 필터(a)와 보색 필터(b)의 일반적인 필터링 과정을 도시한 도면이다.
도 3의 (a)는 녹색(Green) 필터가 사용된 경우의 일 예이며, (b)는 녹색의 보색인 마젠타(Magenta) 필터가 사용된 경우의 일 예이다. 이때, (a)의 경우에는 입사하는 광신호 성분인 적색(Red), 녹색(Green), 청색(Blue) 중에서 녹색으로 제한하므로, 입사하는 광신호의 1/3만을 통과시키기 때문에 감도(sensitivity)가 낮고, (b)의 경우에는 입사하는 광신호 중 마젠타의 보색인 녹색을 제한하고, 입사하는 광신호의 2/3를 통과시키기 때문에 (a)에 비하여 상대적으로 감도가 높다.
감도와 색재현성 사이에는 서로 트레이드 오프(trade-off) 관계를 갖는다. 적색(Red), 녹색(Green), 청색(Blue) 필터와 같이 대역이 좁은 필터는 색 재현성은 좋으나 민감도는 떨어진다. 반면에 마젠타(Magenta), 시안(Cyan), 옐로우(Yellow) 필터와 같은 상대적으로 대역이 넓은 필터는 민감도는 높으나 색재현성이 떨어진다.
본 발명의 실시예에서 필터부(120)는 입사하는 광신호 중에서 소정 색의 파장에 대한 보색 파장 대역을 통과시키는 광대역 필터(wide-band filter) 영역(122), 입사하는 광신호 중에서 소정 색의 파장 대역을 통과시키는 협대역 필 터(narrow-band filter) 영역(124) 및 입사하는 광신호의 모든 파장 대역을 통과시키는 전대역 필터 영역(126)을 포함할 수 있다. 또한, 입사하는 광신호에서 적외선 파장 대역을 제한하는 적외선 차단 필터(미도시)를 포함할 수도 있다.
본 발명의 일 실시예에 따른 광대역 필터 영역(122)은 적색(Red), 녹색(Green), 청색(Blue)의 보색인 시안(Cyan), 마젠타(Magenta), 옐로우(Yellow)로 제한하는 보색 필터로, 협대역 필터 영역(124)은 적색, 녹색, 청색으로 제한하는 원색 필터로 이루어질 수 있다. 이때, 보색 필터와 원색 필터에 의해 필터링된 광신호는 후술하는 적외선 차단 필터에 의해 적외선(NIR; Near Infra-Red) 성분이 제거된 신호가 됨이 바람직하다.
전대역 필터 영역(126)은 모든 파장 대역을 통과시키는 백색(White) 필터로 이루어질 수 있다. 이때, 본 발명의 실시예에서는 전대역 필터 영역(126)에 백색 필터가 사용되는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 전대역 필터 영역(126)에 필터를 형성하지 않음으로써, 입사하는 광신호의 모든 파장 대역을 통과시킬 수 있다. 이때, 필터부(120)에 전대역 필터 영역(126)을 형성함으로써 광신호의 모든 파장 대역을 통과시켜 소정 픽셀에 도달하는 광량을 증가시킬 수가 있어서 감도(sensitivity)를 향상시킬 수 있다. 이때 백색 필터에 의해 필터링된 광신호는 적외선(NIR; near infra-red) 성분을 포함할 수 있다.
또한, 입사하는 광신호 중에서 적외선 파장 대역을 제한하는 적외선 차단 필터(미도시)를 더 포함할 수 있다. 적외선 차단 필터(미도시)를 사용하여 입사하는 광신호 중에서 적외선 파장 대역을 차단하는 것은 전술한 고체 이미지 센서는 적외 선에 대하여 높은 민감도를 가지고 있기 때문에 이미지의 흐림 현상, 변색, 및 안개 효과(fogging) 등과 같은 현상이 발생할 수 있기 때문에 이를 미연에 방지하기 위해서이다.
도 4는 본 발명의 일 실시예에 따른 광대역 필터 영역(122), 협대역 필터 영역(124), 전대역 필터 영역(126)으로 구성된 필터부(120)를 도시한 도면이다.
이때, 도면에서 협대역 필터 영역(124))은 P1, P2, P3로, 광대역 필터 영역(122)은 C1, C2, C3로, 전대역 필터 영역(126)은 W로 나타낸다. 따라서, P1, P2, P3는 각각 적색 필터, 녹색 필터, 청색 필터인 R, G, B로 나타낼 수 있고, C1, C2, C3는 각각 시안 필터, 마젠타 필터, 옐로우 필터인 C, M, Y로 나타낼 수 있음은 물론이다.
또한 도 4의 필터부(120)에 포함된 필터는 픽셀 단위로 형성될 수 있다. 따라서, 보색 필터, 원색 필터, 백색 필터는 각각 하나의 픽셀에 대응하도록 형성되는 것이다. 그리고, 도 4는 필터부(120)의 일부만을 도시한 것으로, 픽셀 수, 해상도 등에 따라서 더 확장될 수 있음은 물론이다. 다시 말해서, 전술한 고체 이미지 센서에서 본 발명의 필터부(120)가 소정 픽셀을 기준으로 가로방향, 세로방향으로 연장될 수 있는 것이다.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 따른 필터부(120)는 광대역 필터 영역(122), 협대역 필터 영역(124), 전대역 필터 영역(126)을 포함하여 구성될 수 있다. 바람직하게는 도 4와 같이 파장 대역이 다른 협대역 필터(124) P1, P2, P3와 전대역 필터(126) W가 2*2 픽셀 영역에 형성되고, 파장 대역이 다른 광대 역 필터(122) C1, C2, C3와 전대역 필터(126) W가 2*2 픽셀 영역에 형성되어 전체 4*2 픽셀 영영이 쌍으로 묶어져 반복되는 형태이다. 이때, 협대역 필터(124)와 전대역 필터(126)로 구성된 2*2 픽셀 영역을 제 1 필터 영역(210)이라 하고, 광대역 필터(122)와 전대역 필터(126)로 구성된 2*2 픽셀 영역을 제 2 픽셀 영역(220)이라 칭한다.
다시 도 1과 도 2를 참조하여 설명하면, 영상 생성부(130)는 필터부(120)를 통과한 광신호를 센싱한 후 이를 처리하여 영상을 생성한다. 이때, 광대역 필터 영역(122)과 전대역 필터 영역(124)에 따라서 가중치를 달리하여 영상을 생성한다. 또는 제 1 필터 영역(210)과 제 2 필터 영역(220)에 따라서 가중치를 달리하여 영상을 생성할 수 있다.
도 2와 같이 영상 생성부(130)는 쉐도우 영상 생성부(132), 하이라이트 영상 생성부(134), 및 블렌딩부(136)를 포함하여 구성될 수 있다.
쉐도우 영상 생성부(132)는 제 1 필터 영역(210)을 통과하여 전술한 고체 이미지 센서에 센싱된 광신호보다 제 2 필터 영역(220)을 통과하여 센싱된 신호에 더 많은 가중치를 부여하여 디모자이킹(demosaicking)한 영상을 생성한다. 협대역 필터 영역(132)을 포함하는 제 1 필터 영역(210)에 비해서 상대적으로 감도가 높은 제 2 필터 영역(220)에 많은 가중치를 부여하여 색상이 향상된 쉐도우 영상을 생성하는 것이다.
하이라이트 영상 생성부(134)는 제 2 필터 영역(220)을 통과하여 전술한 고체 이미지 센서에 센싱된 광신호보다 제 1 필터 영역(210)을 통과하여 센싱된 신호에 더 많은 가중치를 부여하여 디모자이킹한 영상을 생성한다. 광대역 필터 영역(122)을 포함하는 제 2 필터 영역(220)에 비해서 상대적으로 감도가 낮은 제 1 필터 영역(210)에 많은 가중치를 부여하여 에지(edge) 부분이 더욱 명확해진 하이라이트 영상을 생성하는 것이다.
이때, 본 발명은 쉐도우 영상과 하이라이트 영상을 생성하기 위해서 다중 노출에 의하여 다중의 영상을 획득하여 각각에 대해서 디모자이킹을 수행하는 것이 아니라, 단일의 영상에 대해서 각각 가중치를 달리하여 디모자이킹을 수행한다.
블렌딩부(136)는 쉐도우 영상 생성부(132)에서 생성된 영상과 하이라이트 영상 생성부(134)에서 생성된 영상을 합성한다. 쉐도우 영상과 하이라이트 영상을 합성함으로써 광대역 영상을 생성할 수 있다. 또한, 본 발명에 있어서는 제 1 필터 영역(210)과 제 2 필터 영역(220)에 각각 백색 필터를 포함하므로 전체 영상의 감도를 향상시킬 수 있음은 물론이다. 백색 필터는 전체 파장 대역을 통과시키기 때문이다.
영상 생성부(130)는 합성된 영상으로부터 컬러 맵핑(color mapping), 백색 밸런싱(white balancing), 감마 보정 등의 후속 처리를 거친 후 소정의 디스플레이 모듈을 통해서 디스플레이시킬 수 있다.
역광(back-lighting) 등에 의한 극단적인 콘트라스트 레벨을 가지는 경우에 전술한 쉐도우 영상 생성부(132), 하이라이트 영상 생성부(134), 블렌딩부(136)를 이용하여 광대역 영상을 생성하는 것이 바람직하다.
또한, 본 발명의 일 실시예에 따른 영상 생성부(130)는 적응적 영상 생성 부(138)를 포함할 수 있다.
적응적 영상 생성부(138)는 고체 이미지 센서로부터 휘도 영상(luminance image)를 생성하여 휘도에 따라서 광대역 필터 영역(122) 또는 협대역 필터 영역(124)을 통과한 광신호에 가중치를 달리하여 디모자이크를 수행하여 영상을 생성한다.
휘도 영상으로부터 휘도가 낮은 경우에는 상기 광대역 통과 영역(122)을 통과한 광신호에 더 많은 가중치를 부여하여 영상을 획득하고, 휘도가 높은 경우에는 협대역 통과 영역(124)을 통과한 광신호에 더 많은 가중치를 부여하여 영상을 획득할 수 있다. 휘도가 낮은 경우에는 제 1 필터 영역(210)에 더 많은 가중치를 부여하고, 휘도가 높은 경우에는 제 2 필터 영역(220)에 더 많은 가중치를 부여하여 영상을 획득할 수 있음은 물론이다.
이때, 휘도 영상은 백색 필터, 옐로우 필터, 녹색 필터를 통과한 광신호에 의해서 생성된 영상일 수 있다. 휘도 영상으로부터 영상의 휘도를 추정할 수 있다. 또한, 전대역 필터 영역(126)을 통과한 광신호를 이용하여 휘도를 추정할 수도 있다.
적응적 영상 생성부(138)는 저조도, 또는 고조도 환경에서 향상된 이미지를 생성할 수 있다. 즉, 저조도 환경에서는 광대역 필터 영역(122)에 더 많은 가중치를 부여하고, 고조도 환경에서는 협대역 필터 영역(124)에 더 많은 가중치를 부여하여 영상을 획득하는 것이다.
적응적 영상 생성부(138)에서 휘도에 따라서 가중치를 달리하여 디모자이킹 을 수행한 영상으로부터 컬러 맵핑(color mapping), 백색 밸런싱(white balancing), 감마 보정 등의 후속 처리를 거친 후 소정의 디스플레이 모듈을 통해서 디스플레이시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 생성 방법의 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 도 5의 영상을 생성하는 단계의 내부 흐름도이며, 도 7은 본 발명의 다른 일 실시예에 따른 도 5의 영상을 생성하는 단계의 내부 흐름도이다.
먼저, 소정의 피사체에서 반사된 광신호를 광학부(110)에서 입사 받는다(S510).
다음, 필터링부(120)에서는 입사된 광신호 중에서 소정 색의 파장에 대한 보색 파장 영역을 통과시키는 광대역 필터 영역(122), 입사된 광신호 중에서 소정 색의 파장 대역을 통과시키는 협대역 필터 영역(124), 및 입사된 광신호의 모든 파장 대역을 통과시키는 전대역 필터 영역(126)을 통해 입사된 광신호를 필터링한다(S520). 이때, 광대역 필터 영역(122)은 시안 필터, 마젠타 필터, 및 옐로우 필터 중 하나 이상의 보색 필터로 이루어질 수 있다. 또한, 협대역 필터 영역(126)은 적색, 녹색, 및 청색 중 하나 이상의 필터로 이루어질 수 있다. 그리고, 전대역 필터 영역(126)은 백색 필터로 이루어질 수 있다. 광대역 필터 영역(122), 협대역 필터 영역(124), 전대역 필터 영역(126)의 배열 모습은 도 4를 참조로 전술한 바와 같으므로 설명을 생략하기로 한다. 도 4를 참조로 설명한 필터의 배치는 본 발명에 있어서 바람직한 실시예일 뿐, 각 필터 영역의 배열, 위치 및 크기는 다양하게 변 화될 수 있음은 물론이다.
다음, 영상 생성부(130)에서는 필터링된 광신호를 처리하여 영상을 생성한다(S530). 이때, 입사된 광신호가 통과한 필터 영역(122, 124, 126)에 따라서 필터링된 광신호에 가중치를 달리하여 영상을 생성한다.
본 발명의 일 실시예에 따른 영상을 생성하는 단계(S530)를 더욱 자세히 설명하기로 한다. 먼저, 쉐도우 영상 생성부(132)는 협대역 필터 영역(124)을 통과한 광신호보다 광대역 필터 영역(122)을 통과한 광신호에 더 많은 가중치를 부여하여 디모자이킹을 한 쉐도우 영상을 생성하고, 하이라이트 영상 생성부(134)는 광대역 필터 영역(122)을 통과한 광신호보다 협대역 필터 영역(124)을 통과한 광신호에 더 많은 가중치를 부여하여 디모자이킹을 한 하이라이트 영상을 생성한다(S532).
다음, 블렌딩부(136)에서는 쉐도우 영상과 하이라이트 영상을 합성하고, 컬러 맵핑(color mapping), 백색 밸런싱(white balancing), 감마 보정 등의 후속 처리를 거친 후 소정의 디스플레이 모듈을 통해서 디스플레이시킬 수 있도록 영상을 생성한다(S534).
본 발명의 다른 일 실시예에 따른 영상을 생성하는 단계(S530)는, 먼저, 필터링된 신호로부터 영상의 휘도를 추정한다(S536). 다음, 적응적 영상 생성부(138)는 휘도에 따라서 광대역 필터 영역(122) 또는 협대역 필터 영역(124)을 통과한 광신호에 가중치를 달리하여 영상을 생성하고, 전술한 후속 처리를 거친 후 소정의 디스플레이 모듈을 통해서 디스플레이시킬 수 있도록 영상을 생성한다(S538). 이때, 휘도가 낮은 경우에는 광대역 통과 영역(122)을 통과한 광신호에 더 많은 가중 치를 부여하고, 휘도가 높은 경우에는 협대역 통과 영역(124)을 통과한 광신호에 더 많은 가중치를 부여하여 영상을 획득한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 생성 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 영상 생성부의 내부 블록도이다.
도 3은 원색 필터(a)와 보색 필터(b)의 일반적인 필터링 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 광대역 필터영역, 협대역 필터영역, 전대역 필터영역으로 구성된 필터부를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 생성 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 도 5의 영상을 생성하는 단계의 내부 흐름도이다.
도 7은 본 발명의 다른 일 실시예에 따른 도 5의 영상을 생성하는 단계의 내부 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 영상 생성 장치 110: 광학부
120: 필터부 122: 광대역 필터 영역
124: 협대역 필터 영역 126: 전대역 필터 영역
130: 영상 생성부 132: 쉐도우 영상 생성부
134: 하이라이트 영상 생성부 136: 블렌딩부
138: 적응적 영상 생성부 210: 제 1 필터 영역
220: 제 2 필터 영역

Claims (18)

  1. 광학부;
    상기 광학부를 통해 입사되는 광신호 중에서 소정 색의 파장에 대한 보색 파장 대역을 통과시키는 광대역 필터(wide-band filter) 영역, 상기 입사된 광신호 중에서 상기 소정 색의 파장 대역을 통과시키는 협대역 필터(narrow-band filter) 영역, 및 상기 입사된 광신호의 모든 파장 대역을 통과시키는 전대역 필터 영역을 포함하는 필터부; 및
    상기 필터부를 통과한 광신호를 처리하여 영상을 생성하는 영상 생성부를 포함하는데,
    상기 영상 생성부는 상기 광신호가 통과한 필터 영역에 따라서 상기 광신호에 가중치를 달리하여 영상을 생성하는, 영상 생성 장치.
  2. 제 1 항에 있어서,
    상기 광대역 필터 영역은 시안(Cyan), 마젠타(Magenta), 및 열로우(Yellow) 중 하나 이상의 보색 필터로 이루어지는, 영상 생성 장치.
  3. 제 1 항에 있어서,
    상기 협대역 필터 영역은 적색(Red), 녹색(Green), 및 청색(Blue) 중 하나 이상의 원색 필터로 이루어지는, 영상 생성 장치.
  4. 제 1 항에 있어서,
    상기 전대역 필터 영역은 백색 필터로 이루어지는, 영상 생성 장치.
  5. 제 1 항에 있어서,
    상기 필터부는 파장 대역이 다른 협대역 필터 P1, P2, P3와 전대역 필터 W가 2*2 픽셀 영역에 형성되는 제 1 필터 영역; 및
    파장 대역이 다른 광대역 필터 C1, C2, C3와 전대역 필터 W가 2*2 픽셀 영역에 형성되는 제 2 필터 영역이 쌍으로 묶어져 반복 형성되는, 영상 생성 장치.
  6. 제 1 항에 있어서,
    상기 영상 생성부는 상기 협대역 필터 영역을 통과한 광신호보다 상기 광대역 필터 영역을 통과한 광신호에 더 많은 가중치를 부여하여 디모자이킹(demosaicking)한 영상을 생성하는 쉐도우(shadow) 영상 생성부;
    상기 광대역 필터 영역을 통과한 광신호보다 상기 협대역 필터 영역을 통과한 광신호에 더 많은 가중치를 부여하여 디모자이킹한 영상을 생성하는 하이라이트(highlight) 영상 생성부; 및
    상기 쉐도우 영상 생성부에서 생성된 영상과 상기 하이라이트 영상 생성부에서 생성된 영상을 합성하는 블렌딩(blending)부를 포함하는, 영상 생성 장치.
  7. 제 1 항에 있어서,
    상기 영상 생성부는 휘도(luminance)에 따라 상기 광대역 필터 영역 또는 상기 협대역 필터 영역을 통과한 광신호에 가중치를 달리하여 영상을 생성하는 적응적 영상 생성부를 포함하는, 영상 생성 장치.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 휘도는 상기 전대역 필터 영역을 통과한 광신호를 이용하여 추정되는, 영상 생성 장치.
  10. 소정의 피사체에서 반사된 광신호를 입사받는 단계;
    상기 입사된 광신호 중에서 소정 색의 파장에 대한 보색 파장 대역을 통과시키는 광대역 필터(wide-band filter) 영역, 상기 입사된 광신호 중에서 상기 소정 색의 파장 대역을 통과시키는 협대역 필터(narrow-band filter) 영역, 및 상기 입사된 광신호의 모든 파장 대역을 통과시키는 전대역 필터 영역을 포함하는 필터 영역을 통해 상기 입사된 광신호를 필터링하는 단계; 및
    상기 필터링된 광신호를 처리하여 영상을 생성하는 단계를 포함하는데,
    상기 영상을 생성하는 단계는 상기 입사된 광신호가 통과한 필터 영역에 따라서 상기 필터링된 광신호에 가중치를 달리하여 영상을 생성하는, 영상 생성 방법.
  11. 제 10 항에 있어서,
    상기 광대역 필터 영역은 시안(Cyan), 마젠타(Magenta), 및 열로우(Yellow) 중 하나 이상의 보색 필터로 이루어지는, 영상 생성 방법.
  12. 제 10 항에 있어서,
    상기 협대역 필터 영역은 적색(Red), 녹색(Green), 및 청색(Blue) 중 하나 이상의 원색 필터로 이루어지는, 영상 생성 방법.
  13. 제 10 항에 있어서,
    상기 전대역 필터 영역은 백색 필터로 이루어지는, 영상 생성 방법.
  14. 제 10 항에 있어서,
    상기 필터 영역은 파장 대역이 다른 협대역 필터 P1, P2, P3와 전대역 필터 W가 2*2 픽셀 영역에 형성된 제 1 픽셀 영역; 및
    파장 대역이 다른 광대역 필터 C1, C2, C3와 전대역 필터 W가 2*2 픽셀 영역에 형성되는 제 2 필터 영역이 쌍으로 묶어져 반복 형성되는, 영상 생성 방법.
  15. 제 10 항에 있어서,
    상기 영상을 생성하는 단계는 상기 협대역 필터 영역을 통과한 광신호보다 상기 광대역 필터 영역을 통과한 광신호에 더 많은 가중치를 부여하여 디모자이킹(demosaicking)한 쉐도우(shadow) 영상을 생성하고, 상기 광대역 필터 영역을 통과한 광신호보다 상기 협대역 필터 영역을 통과한 광신호에 더 많은 가중치를 부여하여 디모자이킹한 하이라이트(highlight) 영상을 생성하는 단계; 및
    상기 쉐도우 영상과 상기 하이라이트 영상을 합성하는 단계를 포함하는, 영상 생성 방법.
  16. 제 10 항에 있어서,
    상기 영상을 생성하는 단계는 휘도(luminance)를 추정하는 단계; 및
    상기 광대역 필터 영역 또는 상기 협대역 필터 영역을 통과한 광신호에 상기 휘도에 따라서 가중치를 달리하여 영상을 생성하는 단계를 포함하는, 영상 생성 방법.
  17. 삭제
  18. 제 16 항에 있어서,
    상기 휘도는 상기 전대역 필터 영역을 통과한 광신호를 이용하여 추정되는, 영상 생성 방법.
KR1020070081259A 2007-07-06 2007-08-13 영상 생성 장치 및 방법 KR100917365B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/822,551 2007-07-06
US11/822,551 US8031243B2 (en) 2007-07-06 2007-07-06 Apparatus, method, and medium for generating image

Publications (2)

Publication Number Publication Date
KR20090004310A KR20090004310A (ko) 2009-01-12
KR100917365B1 true KR100917365B1 (ko) 2009-09-16

Family

ID=40221119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070081259A KR100917365B1 (ko) 2007-07-06 2007-08-13 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US8031243B2 (ko)
KR (1) KR100917365B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895834B2 (ja) * 2007-01-23 2012-03-14 Ｈｏｙａ株式会社 画像処理装置
US8124936B1 (en) * 2007-12-13 2012-02-28 The United States Of America As Represented By The Secretary Of The Army Stand-off chemical detector
US8648948B2 (en) * 2009-09-30 2014-02-11 Infrared Newco, Inc. Imaging systems with multiple imaging pixel types and related methods
US8823829B2 (en) * 2010-09-16 2014-09-02 Canon Kabushiki Kaisha Image capture with adjustment of imaging properties at transitions between regions
US8432466B2 (en) 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
EP2850822B1 (en) 2012-05-18 2019-04-03 Thomson Licensing Native three-color images and high dynamic range images
CN103945201B (zh) * 2013-01-21 2016-04-13 浙江大华技术股份有限公司 一种IR-Cut滤光片切换方法、装置和摄像机
FR3004882B1 (fr) 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
KR102184714B1 (ko) * 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
US9697434B2 (en) * 2014-12-10 2017-07-04 Omnivision Technologies, Inc. Edge detection system and methods
TWI579540B (zh) * 2015-12-02 2017-04-21 財團法人工業技術研究院 多點光譜系統
WO2019127176A1 (zh) * 2017-12-28 2019-07-04 天彩电子（深圳）有限公司 基于红外线亮度变化实现 ir-cut 状态反馈方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193826A (ja) * 1993-12-27 1995-07-28 Matsushita Electric Ind Co Ltd 固体撮像素子の色フィルタ及び固体撮像素子の信号処理装置
JP2004064227A (ja) 2002-07-25 2004-02-26 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2006211478A (ja) 2005-01-31 2006-08-10 Sony Corp 撮像装置および撮像素子
JP2007049224A (ja) 2005-08-05 2007-02-22 Toppan Printing Co Ltd 撮像素子

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4064532A (en) * 1974-09-18 1977-12-20 Sony Corporation Solid state color camera
JP4334668B2 (ja) * 1999-04-30 2009-09-30 オリンパス株式会社 撮像装置
JP2005234133A (ja) 2004-02-18 2005-09-02 Sony Corp カラー液晶表示用カラーフィルタ及びカラー液晶表示装置
US7583303B2 (en) * 2005-01-31 2009-09-01 Sony Corporation Imaging device element
JP2006340100A (ja) 2005-06-02 2006-12-14 Fujifilm Holdings Corp 撮影装置
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193826A (ja) * 1993-12-27 1995-07-28 Matsushita Electric Ind Co Ltd 固体撮像素子の色フィルタ及び固体撮像素子の信号処理装置
JP2004064227A (ja) 2002-07-25 2004-02-26 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2006211478A (ja) 2005-01-31 2006-08-10 Sony Corp 撮像装置および撮像素子
JP2007049224A (ja) 2005-08-05 2007-02-22 Toppan Printing Co Ltd 撮像素子

Also Published As

Publication number Publication date
US20090009654A1 (en) 2009-01-08
US8031243B2 (en) 2011-10-04
KR20090004310A (ko) 2009-01-12

Similar Documents

Publication Publication Date Title
KR100917365B1 (ko) 영상 생성 장치 및 방법
KR101276757B1 (ko) 이미지 촬상 장치, 및 그 동작 방법
JP6404923B2 (ja) 撮像センサおよび撮像装置
EP2664153B1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
JP5784642B2 (ja) 低解像度画像を用い高解像度画像を生成する方法及び装置
JP5155333B2 (ja) イメージ・センサーにおける改善された光感度
US9581436B2 (en) Image processing device, image capturing apparatus, and image processing method
KR20070115243A (ko) 이미지 촬상 장치, 및 그 동작 방법
JP2018196083A (ja) 画像処理装置
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP5526673B2 (ja) 固体撮像装置及び電子機器
JP2007006061A (ja) カラーフィルター及びそれを有する撮像装置
JP6692749B2 (ja) マルチスペクトルカメラ
JP2020120204A (ja) 画像処理装置、画像処理方法およびプログラム
TW202205847A (zh) 攝像元件及電子機器
KR100894420B1 (ko) 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법
JP4533261B2 (ja) 撮像装置
JP6260512B2 (ja) 撮像装置、撮像方法、撮像プログラム
JP6299556B2 (ja) 撮像装置、撮像方法、撮像プログラム
JP4681792B2 (ja) デジタルカメラ
WO2011162155A1 (ja) 撮像装置
JP5920144B2 (ja) 撮像装置および撮像方法
WO2020059050A1 (ja) 撮像素子、撮像装置、撮像方法およびプログラム
JP2012015834A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120814

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150818

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160817

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190820

Year of fee payment: 11