KR20090120159A - 영상합성장치 및 영상합성방법 - Google Patents

영상합성장치 및 영상합성방법 Download PDF

Info

Publication number
KR20090120159A
KR20090120159A KR1020080046060A KR20080046060A KR20090120159A KR 20090120159 A KR20090120159 A KR 20090120159A KR 1020080046060 A KR1020080046060 A KR 1020080046060A KR 20080046060 A KR20080046060 A KR 20080046060A KR 20090120159 A KR20090120159 A KR 20090120159A
Authority
KR
South Korea
Prior art keywords
signal
image
video signal
color
luminance
Prior art date
Application number
KR1020080046060A
Other languages
English (en)
Inventor
최원희
권재현
이성덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080046060A priority Critical patent/KR20090120159A/ko
Priority to US12/467,321 priority patent/US8989487B2/en
Publication of KR20090120159A publication Critical patent/KR20090120159A/ko
Priority to US14/627,498 priority patent/US9736403B2/en
Priority to US15/676,235 priority patent/US10368015B2/en
Priority to US16/525,001 priority patent/US20190349537A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/48—Picture signal generators
    • H04N1/486—Picture signal generators with separate detectors, each detector being used for one specific colour component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

본 발명은 컬러영상과 적외선을 포함하는 흑백영상을 합성하기 위한 영상합성장치 및 영상합성방법에 관한 것이다. 구체적으로, 컬러 정보를 갖는 제 1 영상신호와 컬러 정보가 없고 적외선 성분을 포함하는 제 2 영상신호를 획득하고, 제 1 영상신호를 밝기 정보와 색 정보로 분리한 다음, 분리된 밝기 정보와 제 2 영상신호의 밝기 정보를 합성한 후, 이를 기초로 컬러 영상을 생성하는 것을 특징으로 한다. 이에 의하면, 적외선 성분을 포함하는 흑백 영상과 컬러 영상이 합성되었기 때문에 일반적인 컬러 영상에 비해 보다 광대역의 고감도 영상을 얻을 수 있다.
영상합성, 광대역 영상, 적외선, 이미지 센서, 색 공간, 휘도, 컬러

Description

영상합성장치 및 영상합성방법{Apparatus and method for combining images}
본 발명은 영상합성기술에 관한 것으로, 특히 컬러영상과 적외선을 포함하는 흑백영상을 합성하기 위한 영상합성장치 및 영상합성방법과 관련된다.
최근의 디지털 카메라의 많은 보급으로 인해 이러한 디지털 이미징 기기에 대한 관심이 급증하고 있다. 디지털 이미징 기기는 각종 영상 정보를 디지털적으로 처리하기 때문에 촬영된 영상을 편집하거나 저장하는데 매우 용이하다.
이러한 디지털 이미징 기기는 렌즈, 이미지 센서, 이미지 프로세서 등으로 구성되는 것이 일반적이다. 렌즈는 피사체로부터 반사된 빛이 이미지 센서에 적절하게 결상되도록 초점을 조절하여 빛을 전달한다. 이미지 센서는 입사된 빛을 감지하여 전기적 신호로 구성된 영상 신호를 생성한다. 생성된 영상 신호는 이미지 프로세서의 처리 과정을 거쳐 사용자에게 표시되거나 저장된다.
이중 이미지 센서는 크게 촬상관과 고체 이미지 센서로 나눌 수 있는데, 고체 이미지 센서의 대표적인 예로는, 전하 결합 소자(CCD)와 금속 산화물 반도체(CMOS)가 있다.
CCD 센서는 여러 개의 커패시터(capacitor)가 쌍으로 상호 연결되어 있는 회 로로 구성되어 있고, 각 커패시터는 충적된 전하를 전달한다. 또한, CCD 칩은 많은 포토 다이오드 들이 모여있는 칩으로, 각각의 포토 다이오드에 빛이 빛추어지면 광량에 따라 전자가 발생한다. 이후 해당 포토 다이오드에서 발생된 정보를 재구성함으로써 이미지 정보를 만드는 것이 가능하다.
CMOS 이미지 센서는 범용 반도체 제조 장치를 이용하여 제조가 가능하기 때문에 CCD 이미지 센서보다 저렴한 가격으로 제조할 수 있는 장점이 있다. 이로 인해 CMOS 이미지 센서는 저가 디지털 카메라나 느린 프레임의 텔레비전 카메라에서 활발하게 사용되고 있다. 그러나, CMOS 이미지 센서는 저조도 상황에서 소자가 쉽게 불안정해지고 촬영된 화상에 노이즈가 많이 발생되는 단점도 갖고 있다.
이러한 이미지 센서의 경우 가시광뿐만 아니라 적외선 대역의 빛도 영상 신호로 변환할 수 있으나, 색 신호 복원의 편의를 위해 적외선 차단 필터를 이용하여 적외선 성분을 제거하는 것이 일반적이다. 그러나 보다 광대역의 영상을 획득하기 위해서는 적외선 성분도 이용될 필요성 또한 요구되고 있다. 적외선 신호는 컬러 정보를 갖고 있지 아니하므로 흑백 영상으로 표현될 수 있으므로, 이것을 컬러 영상과 적절히 합성하면 고감도의 광대역 영상을 얻을 수 있을 것이다.
본 발명은 컬러영상과 적외선을 포함하는 흑백영상을 합성하기 위한 영상합성장치 및 영상합성방법에 관한 것이다.
보다 구체적으로, 본 발명의 일 양상에 따른 영상합성장치는, 입사되는 빛을 감지하여, 색 정보를 갖는 제 1 영상신호와, 색 정보를 갖지 않고 적외선 성분을 포함하는 제 2 영상신호를 생성하는 영상 획득부; 제 1 영상신호를 휘도 신호와 색 신호로 분리하는 영상 신호 분리부; 제 1 영상신호의 분리된 휘도 신호와 제 2 영상신호의 휘도 신호를 합성하여 합성 휘도 신호를 생성하는 휘도 합성부; 및 합성 휘도 신호와 제 1 영상신호의 분리된 색 신호를 합성하여 컬러 영상을 생성하는 영상 복원부; 를 포함할 수 있다.
여기서, 제 1 영상신호는 광 스펙트럼의 가시 대역의 특정 영역에 대응되는 신호를, 제 2 영상신호는 상기 광 스펙트럼의 가시 대역의 특정 영역에 대응되는 신호의 조합 및 적외 대역에 대응되는 신호를 포함하는 것이 가능하다. 예컨대, 제 1 영상신호는 컬러 영상신호이고, 제 2 영상신호는 적외선 성분을 포함하는 흑백 영상신호가 될 수 있다.
또한, 본 발명의 다른 양상에 따른 영상합성장치는 상기 구성 외에, 제 1 영상신호의 색 공간을 변환시키는 색 공간 변환부; 를 더 포함할 수 있다.
또한, 제 1 영상신호와 상기 제 2 영상신호의 동적 대역을 일치시키는 동적 대역 조절부; 를 더 포함할 수 있다.
또한, 제 1 영상신호와 상기 제 2 영상신호의 해상도를 일치시키는 해상도 조절부; 를 더 포함할 수 있다.
또한, 제 1 영상신호와 제 2 영상신호의 공간 도메인을 주파수 도메인으로 변환시키는 도메인 변환부; 를 더 포함하는 것이 가능하다.
한편, 본 발명의 일 양상에 따른 영상합성방법은, 입사되는 빛을 감지하여, 색 정보를 갖는 제 1 영상신호와, 색 정보를 갖지 않고 적외선 성분을 포함하는 제 2 영상신호를 획득하는 단계; 제 1 영상신호를 휘도 신호와 색 신호로 분리하는 단계; 제 1 영상신호의 분리된 휘도 신호와 제 2 영상신호의 휘도 신호를 합성하여 합성 휘도 신호를 생성하는 단계; 및 합성 휘도 신호와 제 1 영상신호의 분리된 색 신호를 합성하여 컬러 영상을 생성하는 단계; 를 포함할 수 있다.
이때, 상기 분리 단계 이전에, 제 1 영상신호의 색 공간을 변화시키는 단계; 를 더 포함할 수 있으며, 제 1 영상신호와 제 2 영상신호의 동적 대역을 일치시키는 단계; 를 더 포함하는 것이 가능하다. 동적 대역을 일치시키는 단계에 있어서, 상기 단계는 제 2 영상신호를 압축하여 제 1 영상신호의 동적 대역과 일치시키는 것이 가능하다.
또 제 1 영상신호와 상기 제 2 영상신호의 해상도를 일치시키는 단계; 를 더 포함할 수 있으며, 해상도를 일치시키는 단계는 고해상도 영상신호를 기준으로 저해상도 영상신호를 보간하는 방식으로 이루어질 수 있다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상합성장치의 개략적인 구성을 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상합성장치는 피사체로부터 반사된 빛을 검출하여 이미지를 생성하거나 이를 저장하는 이미징 기기에 이용될 수 있다. 예컨대, 상기 영상합성장치는 디지털 카메라, 또는 상기 디지털 카메라를 구동하는 하드웨어 시스템, 이미지 프로세싱 칩 등에 이용될 수 있다.
본 실시예에 따른 영상합성장치의 주요 구성은 영상 획득부(101), 색공간 변환부(104), 영상 신호 분리부(105), 휘도 합성부(108), 영상 복원부(109) 등을 포함할 수 있다.
영상 획득부(101)는 피사체로부터 반사된 빛을 감지하여 감지된 빛을 전기적인 신호로 변환하는 고체촬상소자(예컨대, CCD 이미지 센서 또는 CMOS 이미지 센서 등)가 될 수 있다. 영상 획득부(101)는 입력된 빛을 감지하여 소정의 영상신호를 생성하게 되는데, 이때의 영상신호는 제 1 영상신호(102)와 제 2 영상신호(103)로 구분할 수 있다.
여기서 제 1 영상신호(102)는 색 정보를 갖는 신호이고, 제 2 영상신호(103)는 색 정보를 갖지 않고 적외선 성분을 포함하는 신호를 의미한다. 도 2에 나타난 광 스펙트럼을 참조하여, 제 1 영상신호(102)와 제 2 영상신호(103)를 구체적으로 설명한다.
도 2를 참조하면, 빛은 그 파장에 따라 가시대역(111), 적외대역(112), 자외대역(113)으로 나눌 수 있다. 상기 제 1 영상신호(102) 및 제 2 영상신호(103)는 이러한 광 스펙트럼 상의 특정 파장 대역에 대응되는 신호를 의미한다. 예컨대, 제 1 영상신호(102)는 광 스펙트럼에서 가시대역(111)의 특정 영역(114)에 해당하는 빛에 대응되는 영상신호를 의미하고, 제 2 영상신호(103)는 광 스펙트럼에서 가시대역(111)의 특정 영역에 대응되는 신호들의 조합(예컨대, 300)과 적외대역(112)에 해당하는 빛에 대응되는 영상신호를 의미할 수 있다. 환언하면, 제 1 영상신호(102)는 색에 대한 정보를 갖고 있는 컬러 영상신호이고, 제 2 영상신호(103)는 색에 대한 정보가 없는 흑백 영상신호로써, 특히 적외선 성분도 포함하는 흑백 영상신호를 의미하는 것으로 이해될 수 있다.
제 1 영상신호(102) 및 제 2 영상신호(103)와 같이 서로 다른 파장 대역의 정보를 담고 있는 영상신호들은 서로 다른 광학계 및 이미지 센서를 이용한 멀티-센서 기술을 이용하거나, 동일한 광학계를 사용하고 칼라 필터 어레이(CFA)의 필터링 기능을 조절하여 얻는 것이 가능하다.
도 3은 본 발명의 일 실시예에 따른 영상 획득부의 구조를 나타낸 것으로, 전술한 제 1 영상신호(102) 및 제 2 영상신호(103)를 생성하기 위한 영상 획득부의 일 예를 도시한다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 획득부는 이미지 센 서(116)와 이미지 센서(116) 위에 결합되는 필터 어레이(115)로 구성될 수 있다. 이미지 센서(116)는 입사되는 빛을 감지하여 이를 전기적인 신호로 변환하는 부분이고, 필터 어레이(115)는 이미지 센서(116)로 입사되는 빛을 필터링하여 특정 파장 대역의 빛만 입사되도록 하는 기능을 수행한다.
먼저, 필터 어레이(115)에 대해 살펴보면, 상기 필터 어레이(115)는 광 스펙트럼의 가시대역의 특정 영역에 해당하는 빛(예컨대, 도 2의 114 영역)을 선택적으로 투과시키는 컬러필터부(117)와, 광 스펙트럼의 모든 대역에 해당하는 빛을 모두 통과시키는 투명필터부(118)로 구성된다. 또한, 상기 필터 어레이(115)는 적외선 차단 기능이 구비되지 않는다.
따라서, 피사체로부터 반사된 빛이 필터 어레이(115)를 통과하는 경우, 컬러필터부(117)로는 가시대역의 특정 영역에 해당하는 빛과 적외광이 통과되고, 상기 투명필터부(118)에서는 모든 영역에 해당하는 빛(적외광 포함)이 통과될 수 있다.
필터 어레이(115)의 하부에 배치된 이미지 센서(116)는 센서 모듈이 적층된 다층 구조로 형성될 수 있다. 예컨대, 상층(130)에는 컬러필터부(117)를 통과한 빛 중 가시 대역에 해당하는 빛을 감지하는 제 1 수광부(119)와, 투명필터부(118)을 통과한 백색광을 감지하는 제 2 수광부(120)가 구비될 수 있으며, 하층(131)에는 적외 대역에 해당하는 빛을 감지하는 제 3 수광부(121)가 구비될 수 있다.
이미지 센서(116)는 반도체 공정을 통해 만들어질 수 있으며, 상기 각 수광부는 실리콘 재질로 이루어진 포토 다이오드가 될 수 있다. 이때, 가시광보다 파장이 긴 적외광은 상대적으로 더 깊은 위치(즉, 하층부)에서 흡수되므로 다층 구조를 통해 상층(130)에서는 가시대역을, 하층(131)에서는 적외대역의 빛을 검출하는 것이 가능하다.
전술한 영상 획득부를 살펴보면, 제 1 수광부(119)에서는 색 정보를 갖는 빛을, 제 2 수광부(120)에서는 색 정보를 갖지 않는 빛(예컨대, 백색광)을, 제 3 수광부(121)에서는 적외광을 각각 검출하는 것을 알 수 있다. 따라서, 제 1 영상신호(102)로 제 1 수광부(119)의 출력 신호를 이용하고, 제 2 영상신호(103)로 제 2 수광부(120) 및 제 3 수광부(121)의 출력 신호를 이용할 수 있다.
다시 도 1에서, 색 공간 변환부(104)는 제 1 영상신호(102)의 색 공간을 변환하는 기능을 수행한다. 전술한 바와 같이, 제 1 영상신호(102)는 색 정보를 가지고 있으므로 색 공간상에서 RGB 신호로 표현될 수 있다. 예컨대, 색 공간 변환부(104)는 색 공간 변환 함수를 이용하여 RGB 신호로 표현된 제 1 영상신호(102)를 YCbCr 신호로 표현하는 것이 가능하다. 여기서는 RGB 신호를 YCbCr 신호로 변환하는 것을 예시하였으나, 그 밖에도 RGB 신호를 HSV, HSI, LUV 등의 신호로 변환하는 것도 가능하다.
색 공간 변환부(104)를 통해 색 공간이 변환된 제 1 영상신호(102)는 영상 신호 분리부(105)로 입력되며, 영상 신호 분리부(105)는 입력된 제 1 영상신호(102)를 휘도 신호(106)와 색 신호(107)로 분리한다.
여기서 휘도 신호(106)란 특정 영상에 대한 밝기 정보를 의미하고, 색 신호(107)란 특정 영상에 대한 색 정보(또는 컬러 정보)를 의미한다. 예컨대, RBG 신호로 표현된 제 1 영상신호(102)가 색 공간 변환부(104)에서 YCbCr 신호로 변환된 경우, 휘도 신호(106)는 Y 신호에, 색 신호(107)는 CbCr 신호에 각각 대응될 수 있다. 또한, HSV 공간에서는 V 정보가, HSI 공간에서는 I 정보가 각각 상기 휘도 신호(106)로 이용될 수 있다.
휘도 합성부(108)는 상기 제 1 영상신호(102)에서 분리된 휘도 신호(106)와 제 2 영상신호(103)의 휘도 신호를 합성한다. 제 2 영상신호(103)는 색 정보를 갖고 있지 않고 밝기 정보만 가지고 있기 때문에 제 1 영상신호(102)에서 분리된 휘도 신호(106)와 별도의 처리 과정 없이 즉시 합성되는 것이 가능하다. 예컨대, 제 2 영상신호(103)를 YCbCr 색 공간에서 표현하여, 제 2 영상신호(103)의 Y 정보와 영상 분리부(105)에서 출력된 제 1 영상신호(102)의 Y 정보(예컨대, 106)를 합성할 수 있다.
적외선의 휘도 신호는 가시광선에 의해 눈에 보여지는 휘도값에 비례하지 않으므로, 휘도 신호 합성에 있어서 단순한 덧셈 또는 평균 등의 방법에 의한 선형 결합은 부자연스러운 영상을 생성할 수 있다. 따라서, 휘도 합성 방법은 RGB 신호의 크기와 적외광을 포함한 신호의 크기 간의 관계를 결정짓는 크기 변환 함수 또는 룩업테이블을 이용하여 휘도 신호를 합성하는 형태로 구현될 수 있다. 또 다른 예로, 각각의 휘도 신호를 이산 웨이블릿 변환(DWT)을 이용하여 변환식의 계수들을 합성하고 다시 역 이산 웨이블릿 변환(IDWT)함으로써 합성 휘도 신호를 구하는 것도 가능하다.
영상 복원부(109)는 휘도 합성부(108)에서 만들어진 합성 휘도 신호(110)와 영상 신호 분리부(105)에서 분리된 제 1 영상신호(102)의 색 신호(107)를 결합하여 컬러 영상을 생성한다. 합성 휘도 신호(110)와 색 신호(107)를 결합하는 것은 영상 신호 분리부(105)의 분리 과정을 역으로 이용할 수 있으며, 최종 컬러 영상은 색 공간 변환부(104)의 역 과정을 통해 구해질 수 있다.
이러한 영상합성장치에 의해 제공되는 컬러 영상은 가시광 이외에 적외광을 포함한 흑백 영상신호도 이용하여 만들어진 영상이다. 즉 넓은 수광 대역의 신호를 이용하였기 때문에 저조도 환경에서도 식별 가능한 영상 정보를 얻을 수 있다.
도 4는 본 발명의 다른 실시예에 따른 영상합성장치를 도시한 것으로, 이것은 영상의 동적 대역을 조절하는 기능이 추가된 방식에 관한 일 예를 나타낸다.
도 4를 참조하면, 본 발명의 다른 실시예에 따른 영상합성장치는 전술한 도 1의 구성 외에 동적 대역 조절부(122)를 더 포함하고 있음을 알 수 있다. 흑백 영상인 제 2 영상신호(103)는 컬러 영상인 제 1 영상신호(102)에 비해 광대역의 영상 정보를 포함할 수 있는데, 이러한 경우 동적 대역이 더 넓은 제 2 영상신호(103)로 인해 영상 합성시 부자연스러운 영상을 유발할 수 있다.
동적 대역 조절부(122)는 제 1 영상신호(102)와 제 2 영상신호(103)의 동적 대역을 일치시키는 부분으로, 제 2 영상신호(103)의 동적 대역을 이미지 출력 장치에 적합하도록 조절하거나, 제 2 영상신호(103)의 동적 대역이 제 1 영상신호(102)의 동적 대역과 일치되도록 이를 압축하는 것이 가능하다.
도 5 내지 도 7은 본 발명의 또 다른 실시예에 따른 영상합성장치를 도시한 것으로, 이것은 해상도 조절 기능이 부가된 방식에 대한 일 예를 나타낸다.
도 5 내지 도 7을 참조하면, 본 발명의 다른 실시예에 따른 영상합성장치는 전술한 도 1의 구성 외에 해상도 조절부(123)을 더 포함하고 있음을 알 수 있다. 컬러 영상인 제 1 영상신호(102)의 경우 흑백 영상인 제 2 영상신호(103)에 비해 해상도가 낮을 수 있는데, 해상도 조절부(123)는 제 1 영상신호(102)의 해상도와 제 2 영상신호(103)의 해상도를 일치시키는 기능을 수행한다. 예를 들어, 해상도 조절부(123)는 각 영상신호의 해상도가 일치되도록 저해상도 영상신호를 보간(interpolation)하는 것이 가능하다. 이것은 도 5와 같이 휘도/색 분리 후 수행되는 경우와, 도 6과 같이 휘도/색 분리 이전에 수행된 경우 모두 해당될 수 있다. 또한, 컬러 영상인 제 1 영상신호(102)가 흑백 영상인 제 2 영상신호(103) 보다 고해상도를 갖는 경우 도 7에서처럼 저해상도를 갖는 제 2 영상신호(103)를 보간하여 해상도를 일치시키는 것도 가능하다.
도 8은 본 발명의 또 다른 실시예에 따른 영상합성장치를 도시한다.
도 8을 참조하면, 영상합성장치는 전술한 구성 외에 도메인 변환부(201) 및 도메인 역 변환부(202)를 포함하는 것을 알 수 있다.
도메인 변환부(201)는 제 1 영상신호(102) 및 제 2 영상신호(103)의 공간 도메인을 변환시키는 기능을 수행하는데, 예컨대, 각 신호의 도메인을 주파수 도메인으로 변환하는 것이 가능하다. 또한, 최종적인 컬러 영상을 생성하기 전에 원래의 도메인으로 역변환하는 도메인 역 변환부(202)가 형성되는 것이 가능하다.
다음으로, 도 9를 참조하여 본 발명의 일 실시예에 따른 영상합성방법을 도시한다. 이하에서 설명할 영상합성과정은 위에서 예시한 영상합성장치에 의해 수행될 수 있음은 물론이다.
도 9에서, 먼저 입사된 빛을 감지하여, 색 정보를 갖는 제 1 영상신호와, 색 정보를 갖지 않고 적외선 성분을 포함하는 제 2 영상신호를 획득한다(S201). 이때, 제 1 영상신호는 컬러 영상신호, 즉 광 스펙트럼의 가시 대역의 특정 영역에 대응되는 신호가 될 수 있고, 제 2 영상신호는 적외선 성분을 포함하는 흑백 영상신호, 즉 광 스펙트럼의 가시 대역의 모든 영역 또는 특정 영역의 조합 및 적외 대역에 대응되는 신호가 될 수 있다. 또한, 이러한 제 1, 2 영상신호는 도 3에서 예시한 영상 획득부를 통해 생성되는 것이 가능하다.
이어서 제 1 영상신호의 색 공간을 변환한다(S202). 예컨대, RGB 신호로 표현된 제 1 영상신호를 YCbCr 신호로 변환하는 것이 가능하다.
다음으로, 색 공간이 변환된 제 1 영상신호를 휘도 신호와 색 신호로 분리한다(S203). 예컨대, 휘도 신호는 Y 신호로 표현되는 밝기 정보가, 색 신호는 CbCr 신호로 표현되는 컬러 정보가 될 수 있다.
제 1 영상신호가 휘도 신호와 색 신호로 분리되면, 제 1 영상신호의 분리된 상기 휘도 신호와 제 2 영상신호의 휘도 신호를 합성하여 합성 휘도 신호를 생성한다(S204). 휘도 합성 과정의 일 예로써, 각각의 휘도 신호를 이산 웨이블릿 변환(DWT)을 이용하여 변환식의 계수들을 합성하고 다시 역 이산 웨이블릿 변환(IDWT)함으로써 합성 휘도 신호를 구하는 방식이 이용될 수 있다.
이후, 합성 휘도 신호와 상기 S203 단계에서 분리된 색 신호를 합성하여 컬러 영상을 생성한다(S205). 이때, 컬러 영상은 상기 S203 과정의 역 과정을 통해 만들어질 수 있다.
도 10은 본 발명의 다른 실시예에 따른 영상합성방법을 도시한 것으로, 영상의 해상도 및 동적 대역을 조절하는 과정이 부가된 방식에 대한 일 예를 나타낸다.
도 10에서, 제 1 영상신호와 제 2 영상신호가 획득된 이후(S301), 각각의 영상신호의 해상도를 일치시키는 과정이 수행될 수 있다(S302). 해상도 조절 과정은 전술한 해상도 조절부를 통해 저해상도 영상신호를 보간(interpolation)하여 제 1 영상신호와 제 2 영상신호의 해상도를 일치시키는 것이 가능하다.
해상도를 조절한 이후에는 도 9에서와 같이 제 1 영상신호를 휘도 신호와 색 신호로 분리한다(S303).
다음으로, 제 1 영상신호와 제 2 영상신호의 동적 대역을 일치시킨다(S304). 동적 대역을 일치시키는 과정은 동적 대역이 더 넓은 제 2 영상신호를 제 1 영상신호의 동적 대역과 동일하게 압축하거나 제 1 영상신호의 동적 대역을 제 2 영상신호의 동적 대역에 적응적으로 일치시키는 방법을 통해 구현될 수 있다.
이후, 분리된 제 1 영상신호의 휘도 신호와 제 2 영상신호의 휘도 신호를 합성하여 합성 휘도 신호를 생성하고(S305), 합성 휘도 신호와 제 1 영상신호의 색 신호를 합성하여 컬러 영상을 만든다(S306).
이러한 본 발명의 실시예에 따른 영상합성장치 및 영상합성방법에 의하면, 컬러 영상신호 외에 수광 대역이 더 넓은 흑백 영상신호를 부가적으로 이용하여 영상을 생성하기 때문에 저조도 환경에서도 고감도의 영상을 얻을 수 있게 된다.
이상에서 본 발명의 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상합성장치의 전체적인 구성을 나타낸다.
도 2는 본 발명의 일 실시예에서 이용되는 제 1 영상신호 및 제 2 영상신호를 설명하기 위한 광 스펙트럼을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 영상 획득부의 전체적인 구성을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 영상합성장치의 전체적인 구성을 나타낸다.
도 5 내지 도 8은 본 발명의 또 다른 실시예에 따른 영상합성장치의 전체적인 구성을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 영상합성방법의 전체 흐름을 도시한다.
도 10은 본 발명의 다른 실시예에 따른 영상합성방법의 전체 흐름을 도시한다.
<도면의 주요부호에 대한 설명>
101 : 영상 획득부 102 : 제 1 영상신호
103 : 제 2 영상신호 104 : 색 공간 변환부
105 : 영상 분리부 106 : 휘도 신호
107 : 색 신호 108 : 휘도 합성부
109 : 영상 합성부 110 : 합성 휘도 신호

Claims (15)

  1. 입사되는 빛을 감지하여, 색 정보를 갖는 제 1 영상신호와, 색 정보를 갖지 않고 적외선 성분을 포함하는 제 2 영상신호를 생성하는 영상 획득부;
    상기 제 1 영상신호를 휘도 신호와 색 신호로 분리하는 영상 신호 분리부;
    상기 제 1 영상신호의 분리된 휘도 신호와 상기 제 2 영상신호의 휘도 신호를 합성하여 합성 휘도 신호를 생성하는 휘도 합성부; 및
    상기 합성 휘도 신호와 상기 제 1 영상신호의 분리된 색 신호를 합성하여 컬러 영상을 생성하는 영상 복원부; 를 포함하는 영상합성장치.
  2. 제 1 항에 있어서,
    상기 제 1 영상신호는 광 스펙트럼의 가시 대역의 특정 영역에 대응되는 신호를 포함하고, 상기 제 2 영상신호는 상기 광 스펙트럼의 가시 대역의 특정 영역에 대응되는 신호의 조합 및 적외 대역에 대응되는 신호를 포함하는 것을 특징으로 하는 영상합성장치.
  3. 제 1 항에 있어서,
    상기 제 1 영상신호는 컬러 영상신호이고, 상기 제 2 영상신호는 적외선 성분을 포함하는 흑백 영상신호인 것을 특징으로 하는 영상합성장치.
  4. 제 1 항에 있어서,
    상기 제 1 영상신호의 색 공간을 변환시키는 색 공간 변환부; 를 더 포함하는 영상 합성 장치.
  5. 제 1 항에 있어서,
    상기 제 1 영상신호와 상기 제 2 영상신호의 동적 대역을 일치시키는 동적 대역 조절부; 를 더 포함하는 영상 합성 장치.
  6. 제 1 항에 있어서,
    상기 제 1 영상신호와 상기 제 2 영상신호의 해상도를 일치시키는 해상도 조절부; 를 더 포함하는 영상 합성 장치.
  7. 제 1 항에 있어서,
    상기 제 1 영상신호와 상기 제 2 영상신호의 공간 도메인을 주파수 도메인으로 변환시키는 도메인 변환부; 를 더 포함하는 영상 합성 장치.
  8. 입사되는 빛을 감지하여, 색 정보를 갖는 제 1 영상신호와, 색 정보를 갖지 않고 적외선 성분을 포함하는 제 2 영상신호를 획득하는 단계;
    상기 제 1 영상신호를 휘도 신호와 색 신호로 분리하는 단계;
    상기 제 1 영상신호의 분리된 휘도 신호와 상기 제 2 영상신호의 휘도 신호 를 합성하여 합성 휘도 신호를 생성하는 단계; 및
    상기 합성 휘도 신호와 상기 제 1 영상신호의 분리된 색 신호를 합성하여 컬러 영상을 생성하는 단계; 를 포함하는 영상합성방법.
  9. 제 8 항에 있어서,
    상기 제 1 영상신호는 광 스펙트럼의 가시 대역의 특정 영역에 대응되는 신호를 포함하고, 상기 제 2 영상신호는 상기 광 스펙트럼의 가시 대역의 특정 영역에 대응되는 신호의 조합 및 적외 대역에 대응되는 신호를 포함하는 것을 특징으로 하는 영상합성방법.
  10. 제 8 항에 있어서,
    상기 제 1 영상신호는 컬러 영상신호이고, 상기 제 2 영상신호는 적외선 성분을 포함하는 흑백 영상신호인 것을 특징으로 하는 영상합성방법.
  11. 제 8 항에 있어서,
    상기 분리 단계 이전에, 상기 제 1 영상신호의 색 공간을 변화시키는 단계; 를 더 포함하는 영상합성방법.
  12. 제 8 항에 있어서,
    상기 제 1 영상신호와 상기 제 2 영상신호의 동적 대역을 일치시키는 단계; 를 더 포함하는 영상합성방법.
  13. 제 12 항에 있어서,
    상기 동적 대역을 일치시키는 단계는 제 2 영상신호를 압축하여 제 1 영상신호의 동적 대역과 일치시키는 단계인 것을 특징으로 하는 영상합성방법.
  14. 제 8 항에 있어서,
    상기 제 1 영상신호와 상기 제 2 영상신호의 해상도를 일치시키는 단계; 를 더 포함하는 영상합성방법.
  15. 제 14 항에 있어서,
    상기 해상도를 일치시키는 단계는 고해상도 영상신호를 기준으로 저해상도 영상신호를 보간하는 것을 특징으로 하는 영상합성방법.
KR1020080046060A 2008-05-19 2008-05-19 영상합성장치 및 영상합성방법 KR20090120159A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080046060A KR20090120159A (ko) 2008-05-19 2008-05-19 영상합성장치 및 영상합성방법
US12/467,321 US8989487B2 (en) 2008-05-19 2009-05-18 Apparatus and method for combining images
US14/627,498 US9736403B2 (en) 2008-05-19 2015-02-20 Apparatus and method for combining images
US15/676,235 US10368015B2 (en) 2008-05-19 2017-08-14 Apparatus and method for combining images
US16/525,001 US20190349537A1 (en) 2008-05-19 2019-07-29 Apparatus and method for combining images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080046060A KR20090120159A (ko) 2008-05-19 2008-05-19 영상합성장치 및 영상합성방법

Publications (1)

Publication Number Publication Date
KR20090120159A true KR20090120159A (ko) 2009-11-24

Family

ID=41316228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080046060A KR20090120159A (ko) 2008-05-19 2008-05-19 영상합성장치 및 영상합성방법

Country Status (2)

Country Link
US (4) US8989487B2 (ko)
KR (1) KR20090120159A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344689B2 (en) 2012-06-07 2016-05-17 Industry-Academic Cooperation Foundation, Yonsei University Camera system with multi-spectral filter array and image processing method thereof
KR101725076B1 (ko) * 2016-01-05 2017-04-10 전남대학교산학협력단 위성 영상 처리 방법 및 이를 수행하기 위한 장치
WO2017135675A1 (ko) * 2016-02-04 2017-08-10 삼성전자 주식회사 이미지 처리장치 및 방법
WO2020045946A1 (ko) * 2018-08-27 2020-03-05 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
EP2471258B1 (en) * 2009-08-25 2017-05-24 Dual Aperture International Co. Ltd. Reducing noise in a color image
US8819208B2 (en) 2010-03-05 2014-08-26 Solidfire, Inc. Data deletion in a distributed data storage system
DE102011100350A1 (de) * 2011-05-03 2012-11-08 Conti Temic Microelectronic Gmbh Bildsensor mit einstellbarer Auflösung
CN102957917B (zh) * 2011-08-30 2016-03-30 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法
US9838269B2 (en) 2011-12-27 2017-12-05 Netapp, Inc. Proportional quality of service based on client usage and system metrics
US9054992B2 (en) 2011-12-27 2015-06-09 Solidfire, Inc. Quality of service policy sets
JP6136669B2 (ja) * 2013-07-08 2017-05-31 株式会社ニコン 撮像装置
US20150244795A1 (en) 2014-02-21 2015-08-27 Solidfire, Inc. Data syncing in a distributed system
US9798728B2 (en) 2014-07-24 2017-10-24 Netapp, Inc. System performing data deduplication using a dense tree data structure
US10133511B2 (en) 2014-09-12 2018-11-20 Netapp, Inc Optimized segment cleaning technique
US9671960B2 (en) 2014-09-12 2017-06-06 Netapp, Inc. Rate matching technique for balancing segment cleaning and I/O workload
US9836229B2 (en) 2014-11-18 2017-12-05 Netapp, Inc. N-way merge technique for updating volume metadata in a storage I/O stack
US9720601B2 (en) 2015-02-11 2017-08-01 Netapp, Inc. Load balancing technique for a storage array
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
AU2016225963B2 (en) 2015-03-05 2021-05-13 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US9762460B2 (en) 2015-03-24 2017-09-12 Netapp, Inc. Providing continuous context for operational information of a storage system
US9710317B2 (en) 2015-03-30 2017-07-18 Netapp, Inc. Methods to identify, handle and recover from suspect SSDS in a clustered flash array
US9740566B2 (en) 2015-07-31 2017-08-22 Netapp, Inc. Snapshot creation workflow
WO2017096396A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
CN106878605B (zh) * 2015-12-10 2021-01-29 北京奇虎科技有限公司 一种基于电子设备的图像生成的方法和电子设备
FR3045263B1 (fr) 2015-12-11 2017-12-08 Thales Sa Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
CN105827990B (zh) * 2016-01-22 2018-12-04 维沃移动通信有限公司 一种自动曝光方法及移动终端
KR102519803B1 (ko) * 2016-04-11 2023-04-10 삼성전자주식회사 촬영 장치 및 그 제어 방법
US10929022B2 (en) 2016-04-25 2021-02-23 Netapp. Inc. Space savings reporting for storage system supporting snapshot and clones
CN106162111B (zh) * 2016-07-29 2018-01-19 广东欧珀移动通信有限公司 图像色彩处理方法及终端设备
CN106162110B (zh) * 2016-07-29 2018-02-06 广东欧珀移动通信有限公司 图像色彩处理方法、装置及终端设备
CN106210677B (zh) * 2016-07-29 2018-02-06 广东欧珀移动通信有限公司 图像色彩处理方法、装置及终端设备
AU2017305227B2 (en) 2016-08-02 2021-12-16 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10642763B2 (en) 2016-09-20 2020-05-05 Netapp, Inc. Quality of service policy sets
CN106412534B (zh) * 2016-10-27 2018-09-11 成都西纬科技有限公司 一种图像亮度调节方法及装置
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CN108419061B (zh) 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
FR3063542A1 (fr) 2017-03-01 2018-09-07 Maf Agrobotic Procede et dispositif d'analyse optique de fruits ou legumes et dispositif de tri automatique
CN117873313A (zh) 2017-03-17 2024-04-12 奇跃公司 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
JP7055815B2 (ja) 2017-03-17 2022-04-18 マジック リープ， インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US10861237B2 (en) * 2017-03-17 2020-12-08 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
CN108184076B (zh) * 2018-02-01 2020-07-31 天津天地伟业信息系统集成有限公司 一种基于颜色统计的亮度计算方法
WO2019222135A1 (en) 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
JP7413345B2 (ja) 2018-07-23 2024-01-15 マジック リープ， インコーポレイテッド フィールド順次ディスプレイにおけるフィールド内サブコードタイミング
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CN114422766B (zh) * 2018-08-03 2024-06-04 杭州海康威视数字技术股份有限公司 一种图像采集设备
US10896492B2 (en) * 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
KR20220143013A (ko) * 2020-02-19 2022-10-24 소니그룹주식회사 화상 처리 방법, 센서 장치

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679068A (en) * 1985-07-25 1987-07-07 General Electric Company Composite visible/thermal-infrared imaging system
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
JP2999517B2 (ja) 1990-06-01 2000-01-17 日本放送協会 画像合成方法と装置
US5332968A (en) * 1992-04-21 1994-07-26 University Of South Florida Magnetic resonance imaging color composites
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
EP1053644A1 (en) * 1998-02-04 2000-11-22 Applied Science Fiction, Inc. Multilinear array sensor with an infrared line
US6711297B1 (en) * 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
KR100332621B1 (ko) 1999-03-19 2002-04-17 곽정소 영상신호 혼합/스위칭 회로
US6556724B1 (en) * 1999-11-24 2003-04-29 Stentor Inc. Methods and apparatus for resolution independent image collaboration
US6553141B1 (en) * 2000-01-21 2003-04-22 Stentor, Inc. Methods and apparatus for compression of transform data
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
JP4409072B2 (ja) * 2000-09-14 2010-02-03 本田技研工業株式会社 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体
US7015993B2 (en) * 2001-03-16 2006-03-21 Koninklijke Philips Electronics N.V. Reflective color filter and display device including the same
GB2373943A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
US7046402B2 (en) * 2001-10-31 2006-05-16 Kabushiki Kaisha Toshiba Image reading apparatus and image forming apparatus
JP2003186085A (ja) * 2001-12-14 2003-07-03 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
US6925208B1 (en) * 2002-05-04 2005-08-02 Stentor, Inc. Methods and apparatus for partitioning transform data
US6759949B2 (en) * 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
KR100537509B1 (ko) 2002-07-20 2005-12-19 삼성전자주식회사 칼라 영상에서의 적응적 색 향상 방법 및 장치
FR2857463B1 (fr) * 2003-07-11 2005-09-02 Valeo Vision Systeme de vision nocturne a infrarouge, en couleur.
KR20050015737A (ko) 2003-08-07 2005-02-21 이형석 조명제어에 의한 사실적 영상합성 방법
JP2005130237A (ja) 2003-10-24 2005-05-19 Victor Co Of Japan Ltd 映像信号処理装置
KR100519776B1 (ko) * 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
JP4415318B2 (ja) * 2004-04-27 2010-02-17 富士フイルム株式会社 カラー画像の色ずれ補正方法及びカラー画像撮像装置
US7460160B2 (en) * 2004-09-24 2008-12-02 Microsoft Corporation Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
US7456384B2 (en) * 2004-12-10 2008-11-25 Sony Corporation Method and apparatus for acquiring physical information, method for manufacturing semiconductor device including array of plurality of unit components for detecting physical quantity distribution, light-receiving device and manufacturing method therefor, and solid-state imaging device and manufacturing method therefor
US7301618B2 (en) * 2005-03-29 2007-11-27 Eastman Kodak Company Method and apparatus for uniformity and brightness correction in an OLED display
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7609291B2 (en) * 2005-12-07 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Device and method for producing an enhanced color image using a flash of infrared light
JP4466569B2 (ja) 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
JP2007329596A (ja) 2006-06-06 2007-12-20 Matsushita Electric Ind Co Ltd 画像生成装置および画像生成方法
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8416302B2 (en) * 2009-02-10 2013-04-09 Microsoft Corporation Low-light imaging augmented with non-intrusive lighting
US20120274775A1 (en) * 2010-10-20 2012-11-01 Leonard Reiffel Imager-based code-locating, reading and response methods and apparatus
CN108605099B (zh) * 2016-10-17 2020-10-09 华为技术有限公司 用于终端拍照的方法及终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344689B2 (en) 2012-06-07 2016-05-17 Industry-Academic Cooperation Foundation, Yonsei University Camera system with multi-spectral filter array and image processing method thereof
KR101725076B1 (ko) * 2016-01-05 2017-04-10 전남대학교산학협력단 위성 영상 처리 방법 및 이를 수행하기 위한 장치
WO2017135675A1 (ko) * 2016-02-04 2017-08-10 삼성전자 주식회사 이미지 처리장치 및 방법
US11195304B2 (en) 2016-02-04 2021-12-07 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2020045946A1 (ko) * 2018-08-27 2020-03-05 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
US11954825B2 (en) 2018-08-27 2024-04-09 Lg Innotek Co., Ltd. Image processing device and image processing method

Also Published As

Publication number Publication date
US20150172568A1 (en) 2015-06-18
US20190349537A1 (en) 2019-11-14
US20090285476A1 (en) 2009-11-19
US8989487B2 (en) 2015-03-24
US20180013963A1 (en) 2018-01-11
US10368015B2 (en) 2019-07-30
US9736403B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
KR20090120159A (ko) 영상합성장치 및 영상합성방법
US9615030B2 (en) Luminance source selection in a multi-lens camera
US7855786B2 (en) Single camera multi-spectral imager
KR101531709B1 (ko) 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
US8619143B2 (en) Image sensor including color and infrared pixels
US8259203B2 (en) Method and apparatus for achieving panchromatic response from a color-mosaic imager
US8614746B2 (en) Image processing apparatus and method of noise reduction
US20080068477A1 (en) Solid-state imaging device
US20070153099A1 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof
US8305459B2 (en) Image processing apparatus and camera module
JP2002204389A (ja) 露出制御方法
US20030063185A1 (en) Three-dimensional imaging with complementary color filter arrays
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
GB2456492A (en) Image processing method
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP5098908B2 (ja) 画像入力装置
KR101574730B1 (ko) 영상 처리 장치 및 방법
JP7299762B2 (ja) 画像処理装置および方法、撮像装置、プログラム
DiBella et al. Improved sensitivity high-definition interline CCD using the KODAK TRUESENSE Color Filter Pattern
JP2022179259A (ja) 光束分離光学系および画像処理装置
JP5586031B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2004215092A (ja) 撮像装置
JP2001145118A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20141118

Effective date: 20150618