KR20200049546A - 영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램 - Google Patents

영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램 Download PDF

Info

Publication number
KR20200049546A
KR20200049546A KR1020190130095A KR20190130095A KR20200049546A KR 20200049546 A KR20200049546 A KR 20200049546A KR 1020190130095 A KR1020190130095 A KR 1020190130095A KR 20190130095 A KR20190130095 A KR 20190130095A KR 20200049546 A KR20200049546 A KR 20200049546A
Authority
KR
South Korea
Prior art keywords
pixel
imaging
image
captured image
luminance value
Prior art date
Application number
KR1020190130095A
Other languages
English (en)
Inventor
타오카 미네키
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200049546A publication Critical patent/KR20200049546A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N5/235—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/379—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

영상 처리 장치는, SN비가 작은 제1 촬상 화소와 SN비가 큰 제2 촬상 화소가 동일층에 배치된 촬상 소자로부터 제1 촬상 화소 및 제2 촬상 화소가 동시에 촬영할 때의 제1 촬상 화소에 의한 제1 촬상 영상 및 제2 촬상 화소에 의한 제2 촬상 영상을 입력하고, 제1 촬상 영상으로부터 대상 화소를 선택하고, 대상 화소에 대응하는 제2 촬상 영상의 화소 또는 대상 화소에 대응하는 제2 촬상 영상의 보간 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 제2 촬상 영상 또는 보간 영상으로부터 추출하고, 추출한 화소에 대응하는 화소를 제1 촬상 영상으로부터 선택하고, 선택한 화소의 휘도값에 기초해서 대상 화소의 휘도값을 보정하는 영상 처리부 를 포함한다.

Description

영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램{IMAGE PROCESSING APPARATUS, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}
본 발명은 영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램에 관한 것이다.
디지털 카메라, 스마트 폰 등의 촬상 장치에서, 어두운 장면과 같이 어두울 때도 적절한 촬상을 실현할 수 있는 것이 요구된다. 예를 들면, 특허 문헌 1에는, 스마트 폰 등의 정보 처리 장치에서, 적외선 영상 및 가시광선 영상을 촬영하고, 적외선 영상으로부터 얼굴 영상을 인식하고, 얼굴 영상으로부터 부위마다의 영상을 추출하고, 추출한 부위에 따라 가시광선 영상 및 적외선 영상을 이용해서 부위마다의 영상을 보정하고, 보정한 부위 영상을 합성하여 영상을 재구성하는 내용이 기재되어 있다.
이와 같이, 촬상 장치에서, 고감도화, 특히 어두운 부분에서의 노이즈 내성에 대한 요구는 여전히 크다. 이는 어두울 때라도 플래시를 사용하지 않고 자연스러운 촬상을 하고 싶다는 요구에 의한 것이지만, 촬상 장치의 성능면에서 생각하면 어두울 때 감도를 높인 촬상은 노이즈 제거를 필수로 한다.
JP 2017-097645 A
본 발명이 이루고자 하는 과제는 어두울 때 촬영된 노이즈가 많은 영상이라도, 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있는 영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램을 제공하는 것이다.
본 발명의 한 실시예에 따른 영상 처리 장치는 처리 회로를 포함하며, 상기 처리 회로는 제1 촬상 화소와 상기 제1 촬상 화소보다 SN비가 큰 제2 촬상 화소가 적층 또는 동일층에 배치된 촬상 소자로부터, 상기 제1 촬상 화소 및 상기 제2 촬상 화소가 동시에 촬영할 때의 상기 제1 촬상 화소에 의한 제1 촬상 영상 및 상기 제2 촬상 화소에 의한 제2 촬상 영상을 수신하고, 상기 제1 촬상 영상으로부터 대상 화소를 선택하고, 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 화소 또는 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 보간 영상의 화소의 제1 휘도값에 가까운 제2 휘도값을 가지는 화소를 상기 제2 촬상 영상 또는 상기 보간 영상으로부터 추출하고, 상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상으로부터 선택하고, 상기 선택한 화소의 휘도값에 기초하여 상기 대상 화소의 휘도값을 보정한다.
본 발명의 다른 실시예에 따른 영상 처리 방법은, 제1 촬상 화소와 상기 제1 촬상 화소보다 SN비가 큰 제2 촬상 화소가 적층 또는 동일층에 배치된 촬상 소자로부터, 상기 제1 촬상 화소 및 상기 제2 촬상 화소가 동시에 촬영할 때의 상기 제1 촬상 화소에 의한 제1 촬상 영상 및 상기 제2 촬상 화소에 의한 제2 촬상 영상을 수신하는 단계, 상기 제1 촬상 영상으로부터 대상 화소를 선택하는 단계, 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 화소 또는 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 보간 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 상기 제2 촬상 영상 또는 상기 보간 영상으로부터 추출하는 단계, 상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상으로부터 선택하는 단계, 그리고 상기 선택한 화소의 휘도값에 기초해서 상기 대상 화소의 휘도값을 보정하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따르면, 기록 매체에 기록된 영상 처리 프로그램이 제공된다. 상기 영상 처리 프로그램은, 컴퓨터에, 제1 촬상 화소와 상기 제1 촬상 화소보다 SN비가 큰 제2 촬상 화소가 적층 또는 동일층에 배치된 촬상 소자로부터, 상기 제1 촬상 화소 및 상기 제2 촬상 화소가 동시에 촬영할 때의 상기 제1 촬상 화소에 의한 제1 촬상 영상 및 상기 제2 촬상 화소에 의한 제2 촬상 영상을 수신하는 단계, 상기 제1 촬상 영상으로부터 대상 화소를 선택하는 단계, 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 화소 또는 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 보간 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 상기 제2 촬상 영상 또는 상기 보간 영상으로부터 추출하는 단계, 상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상으로부터 선택하는 단계, 그리고 상기 선택한 화소의 휘도값에 기초해서 상기 대상 화소의 휘도값을 보정하는 단계를 실행시킨다.
본 발명의 한 실시예에 따르면, 어두울 때 촬영된 노이즈가 많은 영상이라도, 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있는 영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램을 제공할 수 있다.
도 1은 비교예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
도 2은 제1 실시예에 따른 촬상 장치의 개략적인 구성을 나타내는 블록도이다.
도 3은 제1 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
도 4는 제1 실시예에 따른 보간 처리를 설명하기 위한 도면이다.
도 5는 제1 실시예에 따른 촬상 영상 및 그 보간 영상의 예를 나타내는 도면이다.
도 6은 제1 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
도 7은 제1 실시예 및 비교예에 따른 노이즈 제거 영상의 예를 나타내는 도면이다.
도 8은 제2 실시예에 따른 촬상 소자의 개략적인 구성을 설명하기 위한 도면이다.
도 9는 색온도, 파장 및 방사 에너지 사이의 관계를 나타내는 도면이다.
도 10은 제3 실시예에 따른 영상 처리 방법을 개념적으로 설명하기 위한 도면이다.
도 11은 제3 실시예에 따른 촬상 소자의 개략적인 구성을 설명하기 위한 도면이다.
도 12는 제3 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
도 13은 제3 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
도 14는 제3 실시예의 변형예에 따른 촬상 소자의 개략적인 구성을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 대하여 설명한다. 먼저, 비교예로서, 주변 화소의 휘도값을 이용하여 대상 화소의 휘도값을 보정해서 노이즈를 제거하는 영상 처리 방법에 대하여 설명한다.
(비교예)
도 1은 비교예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
촬상 소자에는 적색 파장 대역, 녹색 파장 대역 및 청색 파장 대역에서 각각 촬영하는 광전 변환부를 포함하는 촬상 화소(앞으로, 각각 "R 촬상 화소", "G 촬상 화소" 및 "B 촬상 화소"라 한다)가, 예를 들면 베이어(Bayer) 배열과 같이 규칙적으로 배치되어 있다. 도 1에 도시한 영상 처리 방법은 촬상 소자에 의해 촬영된 영상에서 노이즈 제거의 대상이 되는 화소(앞으로, "대상 화소"라 한다)를 차례로 선택해서 각각 보정한다.
그러므로 먼저 촬상 영상에서 대상 화소를 선택한다(S51).
다음, 대상 화소의 휘도값(신호값)(Ctr)의 크기에 의해 정해지는 휘도 범위(±A)를 설정한다(S52). 예를 들면, 휘도값(Ctr)이 작으면 휘도 범위(±A)를 좁게 설정하고, 휘도값(Ctr)이 크면 휘도 범위(±A)를 넓게 설정한다.
이어서, 대상 화소가 적색 파장 대역에서 촬영된 화소(앞으로, "R 화소"라 한다. 녹색 파장 대역 및 청색 파장 대역에서 촬영된 화소는 각각 "G 화소" 및 "B 화소"라 한다)이면, 휘도값이 수학식 1의 범위에 들어가는 R 화소를 대상 화소 주위의 가로세로 방향의 ±8 화소 또는 ±10 화소 등의 화소(앞으로 "주변 화소"라 한다)로부터 탐색해서 추출한다(S53). 이로 인해, 대상 화소와 유사한 화소를 추출할 수 있다.
[수학식 1]
Ctr－A ≤ 주변 화소의 휘도값 ≤ Ctr＋A
추출한 R 화소의 휘도값의 평균값(Ave)을 계산하고(S54), 수학식 2를 이용해서 출력값(Output)을 계산하고, 출력값(Output)으로 대상 화소의 휘도값(Ctr)을 치환하여 대상 화소의 노이즈를 제거한다(S55).
[수학식 2]
Output＝Ctr＋(Ave－Ctr)×Gain
여기서, Gain≤1.0.
일반적으로, 영상의 노이즈를 줄이기 위해서는 복수의 화소의 가산 평균값을 대상 화소의 값으로 하는 것이 가장 효과적이지만, 단순히 주변 화소의 가산 평균값을 이용하면 영상 자체가 희미해진다. 따라서, 위와 같이, 대상 화소와 유사한 화소를 에지, 변화도(gradient) 등의 특징에 근거해서 찾는 방법, 즉 같은 색, 휘도 분포의 영역을 탐색해서 해당 영역의 화소를 이용하는 방법이 수행된다. 그러나 대상 화소와 유사한 화소를 탐색할 때, 가장 노이즈를 제거하고 싶은 장면에서, 예를 들면 어두운 장면에서, 신호에 대한 노이즈의 비율이 커져서, 대상 화소와 유사한 화소와 그렇지 않은 화소 사이의 구별이 어려워진다.
이러한 비교예의 영상 처리 방법에서도, 평균값(Ave)를 계산하기 위한 화소의 탐색이 대상 화소와 같은 색의 화소에서 수행된다. 이는 신호 강도가 큰 색의 화소, 즉 SNR(signal-to-noise ratio, 신호 노이즈 비)가 어느 정도 높은 색의 화소 (예를 들면, 어두울 때 또는 어두운 부분에서의 R 화소)에서는 잘 동작하므로, 대상 화소가 에지 부분인 경우에 같은 에지 부분을 탐색하고, 대상 화소가 배경 부분인 경우에 같은 배경 부분을 탐색하는 것과 같이 유사한 영역의 화소를 탐색할 수 있다.
그러나 SNR이 낮은 색의 화소(예를 들면, 어두울 때 또는 어두운 부분에서의 G 화소, B 화소)에서는 신호가 노이즈에 묻혀 유사한 영역의 화소를 탐색하기 어려워서 노이즈 제거 성능이 떨어진다. 그 결과, (1) 노이즈 제거 효과를 높이려고 휘도 범위(±A)를 넓히면 보정 영상이 희미해지고, (2) 보정 영상의 희미한 상태를 방지하려고 휘도 범위(±A)를 좁히면, 노이즈 제거 효과가 감소하는 것과 같은 트레이드오프(trade-off)의 관계가 생기고, 실제 노이즈를 줄이고 싶은 부분에서 영상이 희미해지거나, 충분히 노이즈를 제거하지 못할 수 있다.
따라서, 어두울 때 촬영된 노이즈가 많은 영상에서도, 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있는, 다양한 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 대해서 설명한다.
(제1 실시예)
본 발명의 제1 실시예에 따른 영상 처리 장치 및 영상 처리 방법은, RGB의 촬상 화소가 동일층에 배치된 촬상 소자에 의해 촬영된 영상으로부터 노이즈를 제거한다. 이 경우, 어두울 때 또는 어두운 부분에서 SNR이 낮은 G 화소 또는 B 화소를 대상 화소로 선택하고, 대상 화소에 대응하는 어두울 때 또는 어두운 부분에서 SNR이 높은 R 화소의 휘도값에 기초해서 주변의 R 화소를 추출하고, 추출한 R 화소에 대응하는 G 화소 또는 B 화소를 선택하고, 선택한 G 화소 또는 B 화소의 휘도값에 기초해서 대상 화소를 보정한다.
앞으로, 이러한 제1 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 대해서 도면을 참고로 하여 설명한다.
먼저, 제1 실시예에 따른 영상 처리 장치의 구성에 대해서 설명한다.
제1 실시예에 따른 영상 처리 장치는 촬상 장치로서, 특히 영상 처리부로서 기능하고, 촬영 영상으로부터 노이즈를 제거한다.
도 2은 제1 실시예에 따른 촬상 장치(1)의 개략적인 구성을 나타내는 블록도이다.
촬상 장치(1)는, 예를 들면, 디지털 카메라로서, 렌즈 광학 시스템(11), 촬상 소자(12), 아날로그 프론트 엔드(analog front end, AFE) 회로(13), 영상 처리부(14), 영상 표시부(15) 및 영상 저장부(16)를 포함한다.
렌즈 광학 시스템(11)은 렌즈(Lens), 조리개 및 셔터(shutter)를 포함하며, 피사체상을 촬상 소자(12)의 촬상면에 결상한다.
촬상 소자(12)는 CCD(charged coupled device), CMOS(complementary metal oxide semiconductor) 등의 이미지 센서이며, 피사체상을 광전 변환하여 촬상 영상의 영상 신호(RGB 색 신호)를 생성해서 출력한다. 촬상 소자(12)에는 RGB 촬상 화소가 동일층에 베이어 배열로 배치되어 있을 수 있다.
AFE 회로(13)는 촬상 소자(12)가 출력하고 CDS(cadmium sulfide) 회로(도시하지 않음)가 신호 처리를 실시한 아날로그 영상 신호를 A/D(analog to digital) 변환해서 디지털 영상 신호로서 영상 처리부(14)에 출력한다.
영상 처리부(14)는 촬영 영상의 G 화소 및 B 화소의 위치의 R 신호를 보간으로 계산하고, 전체 화소의 R 신호를 생성한다.
또한, 영상 처리부(14)는 G 화소 또는 B 화소를 차례로 대상 화소로서 선택하고, 대상 화소에 대응하는 R 화소와 휘도값이 가까운 주변의 R 화소를 추출하고, 추출한 R 화소에 대응하는 G 화소 또는 B 화소를 선택하고, 선택한 G 화소 또는 B 화소의 휘도값에 기초해서 대상 화소를 보정한다.
이러한 영상 처리부(14)의 처리의 상세한 설명은 다음에 설명한다.
영상 표시부(15)는 노이즈를 제거한 촬영 영상을 표시하고, 영상 저장부(16)는 노이즈를 제거한 촬영 영상을 저장한다.
영상 처리부(14)가 실현하는 각 구성 요소는, 예를 들면, 컴퓨터인 영상 처리부(14)가 구비하는 프로세서(도시하지 않음)의 제어에 따라 프로그램을 실행함으로써 실현될 수 있다. 예를 들면, 어떤 실시예에서, 영상 처리부(14)는 논리 회로를 포함하는 하드웨어, 소프트웨어를 실행하는 프로세서와 같은 하드웨어/소프트웨어 조합, 또는 이들의 조합과 같은 처리 회로(processing circuitry)로 구현될 수 있다. 예를 들면, 처리 회로는 CPU(central processing unit), ALU (arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로 컴퓨터, FPGA (field programmable gate array), SoC(system of chip), 프로그램 가능한 논리 유닛(programmable logic unit), 마이크로 프로세서 또는 ASIC(application-specific integrated circuit)을 포함할 수 있지만, 이에 한정되지는 않는다. 처리 회로는, 상대적으로 낮은 SNR을 가지는 제1 촬영 영상으로부터 대상 화소(예를 들면, G 또는 B 화소)를 선택하고, 상대적으로 높은 SNR을 가지는 제2 촬영 영상 또는 그 보간 영상으로부터 주변 화소(예를 들면, B 화소)를 추출하고, 제1 촬영 영상으로부터 추출한 화소에 대응하는 화소(예를 들면, G 또는 B 화소)를 선택하고, 상기 선택한 화소(예를 들면, G 또는 B 화소)의 휘도값에 기초하여 대상 화소(예를 들면, G 또는 B 화소)의 휘도값을 보정하기 위한 특수 목적 컴퓨터로 구성될 수 있다. 따라서, 처리 회로는 어두운 곳에서 촬영된 영상으로부터 노이즈를 적절하게 제거함으로써 색 재현성 및 색 해상도가 우수한 영상을 얻을 수 있다.
구체적으로, 영상 처리부(14)는, 저장 장치(도시하지 않음)에 저장된 프로그램을 주 메모리(도시하지 않음)로 로드하고, 프로세서의 제어에 따라 프로그램을 실행함으로써 실행될 수 있다. 프로세서는 예를 들면 GPU(graphic processing unit), CPU(central processing unit), MPU(microprocessor unit), MCU(micro controller unit) 등의 프로세싱 유닛일 수 있다. 또한, 각 구성 요소는 프로그램에 의한 소프트웨어로 실현되는 것에 한정되지 않고, 하드웨어, 펌웨어 및 소프트웨어 중 적어도 하나의 조합에 의해 실현될 수도 있다.
이러한 프로그램은, 여러 가지 유형의 비일시적인 컴퓨터 판독 가능한 매체(non-transitory computer readable medium)에 저장되어 영상 처리부(14)에 공급될 수 있다. 비일시적인 컴퓨터 판독 가능한 매체는 여러 가지 유형의 실체가 있는 기록 매체(tangible storage medium)를 포함한다.
비일시적인 컴퓨터 판독 가능한 매체의 예는, 자기 기록 매체(예를 들면, 플렉시블 디스크, 자기 테이프, 하드디스크 드라이브), 광자기 기록 매체(예를 들면, 광자기 디스크), CD-ROM(read only memory), CD-R, CD-R/W, 반도체 메모리(예를 들면, 마스크 ROM, PROM(programmable ROM), EPROM(erasable PROM), 플래시 ROM, RAM(random access memory))을 포함한다.
또한, 프로그램은 여러 가지 유형의 일시적인 컴퓨터 판독 가능한 매체(transitory computer readable medium)에 의해 영상 처리부(14)에 공급될 수도 있다. 일시적인 컴퓨터 판독 가능한 매체의 예는, 전기 신호, 광신호, 전자파를 포함한다. 일시적인 컴퓨터 판독 가능한 매체는 전선, 광섬유 등의 유선 통신로 또는 무선 통신로를 통해 프로그램을 영상 처리부(14)에 공급할 수 있다.
다음, 제1 실시예에 따른 촬상 장치(1)의 동작, 즉 영상 처리 방법에 대해서 설명한다.
도 3은 제1 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
촬상 장치(1)의 셔터가 눌러져서 촬상 소자(12)가 영상을 촬영하면(S10), 영상 처리부(14)는 촬영 영상의 G 화소 및 B 화소의 위치의 R 신호를 그 주변의 R 화소를 이용한 보간 처리로 계산하고, 전체 화소가 R 화소인 R의 보간 영상을 생성한다(S20).
도 4는 제1 실시예에 따른 보간 처리를 설명하기 위한 도면이다. 도 4에서, 왼쪽 그림은 촬상 영상의 일부를 확대한 것이고, RGB의 화소가 베이어 배열로 배치되어 있다. 오른쪽 그림은 R의 보간 영상의 일부를 확대한 것이고, 촬상 영상의 G 화소 및 B 화소가 각각 R 화소로 치환되어 전체 화소가 R 화소로 되어 있다.
한편, 본 명세서에서, 2개의 영상에서 같은 위치(좌표)에 있는 화소끼리 이들 화소가 "대응하고 있다"라고 표현한다. 예를 들면, 도 4의 촬영 영상의 B 화소(P1)과 보간 영상의 R 화소(P2)는 이들이 같은 위치에 있으므로 "대응하고 있다"라고 표현한다.
도 5는 제1 실시예에 따른 촬상 영상 및 그 보간 영상의 예를 나타내는 도면이다. 도 5에서, 상단은 촬영 영상을 나타내고, 하단은 왼쪽부터 차례로 R의 보간 영상, 참고용 G 및 B의 보간 영상을 나타낸다.
촬영 영상은 도시부의 야경을 비스듬하게 위에서 촬영한 것으로, 영상 중앙보다 조금 아래쪽에 좌우로 고속도로가 놓여 있고, 고속 도로보다 영상 위쪽에는 복수의 고층 빌딩이 세워져 있으며, 고층 빌딩의 몇 개의 창으로부터는 광이 누출되고 있고, 고층 빌딩의 사이를 일반 도로가 경사 방향으로 놓여 있다. 또한, 이 촬영 영상에서는 고속 도로 및 일반 도로는 벌그스름하게 찍혀 있고, 고층 빌딩은 회색 또는 황토색으로 찍혀 있다.
이러한 촬영 영상의 색을 반영하여, R의 보간 영상은 신호 강도가 크고, SNR도 높다. G 및 B의 보간 영상, 특히 B의 보간 영상은 신호 강도가 작고, SNR도 낮다.
도 6은 제1 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
다음, 영상 처리부(14)는 촬영 영상에서 대상 화소로 되는 G 화소 또는 B 화소를 선택한다(S1, S30). 이하에서는 대상 화소로서 B 화소를 선택한 경우에 대해서 설명하지만, 대상 화소로서 G 화소를 선택한 경우도 동일하게 처리된다.
이어서, R의 보간 영상에서, 단계 S30에서 선택한 B 화소에 대응하는 R 화소를 선택한다(S2, S40). 예를 들면, 도 4를 참조하여 설명하면, 단계 S30에서 촬영 영상의 B 화소(P1)를 대상 화소로 선택한 경우, 단계 S40에서 R의 보간 영상의 R 화소(P2)를 대응하는 화소로 선택한다.
다음, 단계 S40에서 선택한 R 화소의 휘도값(Ctr)의 크기에 의해 정해지는 휘도 범위(±A)를 설정한다(S3, S50).
다음, R의 보간 영상에서, 단계 S40에서 선택한 R 화소의 주변 화소로부터, 휘도값이 수학식 3의 범위에 들어가는 R 화소를 탐색해서 추출한다(S4, S60). 단계 S50 및 S60의 처리는 비교예와 동일한 처리일 수 있다.
[수학식 3]
Ctr－A ≤ 주변 R 화소의 휘도값 ≤ Ctr＋A
다음, 촬영 영상에서, 단계 S60에서 추출한 R 화소에 대응하는 B 화소를 선택한다(S5, S70).
촬상 영상에서, 단계 S60에서 추출한 R 화소에 대응하는 화소가 R 화소 또는 G 화소인 경우도 있지만, 여기서는 어디까지나 대상 화소와 같은 색의 B 화소만을 선택한다.
다음, 단계 S70에서 선택한 B 화소의 휘도값의 평균값(Ave)을 계산하고(S6, S80), 수학식 4를 이용해서 출력값(Output)을 계산하고, 출력값(Output)으로 대상 화소인 B 화소의 휘도값(Ctr)을 치환하여, 대상 화소의 노이즈를 제거한다(S7, S90).
단계 S80 및 S90의 처리는 비교예와 동일한 처리일 수 있다.
[수학식 4]
Output＝Ctr＋(Ave－Ctr)×Gain
여기서, Gain은 이득으로, Gain≤1.0.
그리고 영상 처리부(14)가 촬영 영상에서 B 화소 또는 G 화소를 각각 대상 화소로 선택해서 보정하고, 노이즈를 제거한 후에, 영상 표시부(15)가 노이즈를 제거한 촬영 영상을 표시하고, 영상 저장부(16)가 노이즈를 제거한 촬상 영상을 저장한다(S100).
도 7은 제1 실시예 및 비교예에 따른 노이즈 제거 영상의 예를 나타내는 도면이다. 도 7은 도 5에 도시한 촬영 영상에서 노이즈 제거 처리를 각각 실시한 것으로, 왼쪽이 비교예에 따른 노이즈 제거 영상이며, 오른쪽이 제1 실시예에 따른 노이즈 제거 영상이다.
비교예에 따른 노이즈 제거 영상과 제1 실시예에 따른 노이즈 제거 영상을 비교하면, 제1 실시예에 따른 노이즈 제거 영상이 각 고층 빌딩의 창(틀), 영상 우측에 있는 조명 기구, 도로 상의 차량 등의 에지가 명확해져 있다. 따라서, 제1 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 의해, 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있는 것을 알 수 있다.
한편, 제1 실시예에 따른 영상 처리 장치 또는 영상 처리 방법에서 다양한 변형이 가능하다. 예를 들면, 제1 실시예에서는, 촬상 영상의 SNR이 높은 R 화소의 노이즈 제거에 대해서는 특별히 설명하지 않았지만, R 화소에 대해서는 노이즈를 제거하지 않아도 좋고, 비교예의 방법 또는 공지된 방법을 이용해서 노이즈를 제거할 수도 있다.
또한, 제1 실시예에서는, 단계 S20에서 전체 화소가 R 화소인 R의 보간 영상만을 생성하지만, 전체 화소가 G 화소 또는 B 화소인 G 또는 B의 보간 영상을 합쳐서 생성할 수도 있다. 이렇게 하면, 단계 S60에서 추출한 R 화소에 대응하는 B 화소(또는 G 화소)를 단계 S70에서 선택할 때, 대응하는 B 화소(또는 G 화소)가 반드시 존재하여서, 보다 많은 B 화소(또는 G 화소)를 이용하여 단계 S80에서 평균값(Ave)을 계산할 수 있는다.
또한, 제1 실시예에서는 어두울 때 또는 어두운 부분의 적색이 우세한 영상을 가정해서 R 화소에 기초해서 G 및 B의 화소를 보정하지만, 피사체가 낮 시간의 하늘과 같이 청색이 우세한 영상에서는, SNR이 높은 B 화소에 따라 SNR이 낮은 R 및 G의 화소를 보정할 수도 있고, 피사체가 낮 시간의 삼림과 같이 녹색이 우세한 영상에서는 SNR이 높은 G 화소에 기초하여 SNR이 낮은 R 및 B의 화소를 보정할 수도 있다. 즉, SNR이 높은 색의 화소에 기초해서 SNR이 낮은 색의 화소를 보정할 수도 있다.
또한, 제1 실시예에서는 추출한 R 화소에 대응하는 B 화소를 단계 S70에서 선택하고, 선택한 B 화소의 휘도값의 평균값(Ave)을 단계 S80에서 계산하고, 단계 S90에서 수학식 4를 이용해서 출력값(Output)을 계산하고, 출력값(Output)를 가져와서 대상 화소인 B 화소의 휘도값(Ctr)을 치환하여, 대상 화소의 노이즈를 제거했지만, 단계 S70에서 선택한 B 화소를 이용해서 대상 화소인 B 화소의 노이즈를 제거하는 방법은 이에 한정되지 않는다.
또한, 제1 실시예에서 촬상 장치(1)는 디지털 카메라에 한정되지 않고, 스마트 폰 등의 촬상 소자를 구비하는 각종 정보 처리 장치일 수도 있다.
또한, 제1 실시예에서는 영상 처리 장치가 촬상 장치로서, 특히 영상 처리부(14)로 기능하여 촬영 영상으로부터 노이즈를 제거하지만, 영상 처리 장치가 촬상 장치와 별도로 존재하고 촬상 장치가 출력하는 촬영 영상으로부터 노이즈를 제거할 수도 있다. 예를 들면, 영상 처리 장치는 감시 카메라가 출력하는 촬영 영상으로부터 노이즈를 제거하는 감시 시스템일 수도 있다.
이상에서 설명한 것처럼, 제1 실시예에 따른 영상 처리 장치(1)는 SNR이 낮은 제1 촬상 화소와 SNR이 높은 제2 촬상 화소가 동일층에 배치된 촬상 소자(12)로부터, 제1 촬상 화소 및 제2 촬상 화소가 동시에 촬영할 때의 제1 촬상 화소에 의한 제1 촬상 영상 및 제2 촬상 화소에 의한 제2 촬상 영상을 입력하고, 제1 촬상 영상으로부터 대상 화소를 선택하고, 대상 화소에 대응하는 제2 촬상 영상의 보간 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 보간 영상으로부터 추출하고, 추출한 화소에 대응하는 화소를 제1 촬상 영상으로부터 선택하고, 선택한 화소의 휘도값에 기초해서 대상 화소의 휘도값을 보정하는 영상 처리부(14)를 포함한다.
이러한 구성에 의해, 어두울 때 촬영된 노이즈가 많은 영상이라도, 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있다.
또한, 제1 실시예에 따른 영상 처리 장치(1)에서, 제1 촬상 화소가 녹색 파장 대역 또는 청색 파장 대역으로 촬영하고, 제2 촬상 화소가 적색 파장 대역으로 촬영할 수 있다.
이러한 구성에 의해, 어두울 때 SNR이 높은 R 화소에 기초해서 SNR이 낮은 G, B 화소를 보정할 수 있다.
또한, 제1 실시예에 따른 영상 처리 장치(1)에서, 영상 처리부(14)가 추출한 화소에 대응하는 화소를 제1 촬상 영상의 보간 영상으로부터 추가로 선택할 수 있다.
이러한 구성에 의해, 추출한 화소에 대응하는 화소를 제1 촬상 영상 및 제1 촬상 영상의 보간 영상으로부터 선택하고, G, B의 화소를 보정할 수 있다.
또한, 제1 실시예에 따른 촬상 장치(1)는 촬상 소자(12) 및 영상 처리부(14)을 포함할 수 있다.
또한, 제1 실시예에 따른 영상 처리 방법은, SNR이 낮은 제1 촬상 화소와 SNR이 높은 제2 촬상 화소가 동일층에 배치된 촬상 소자(12)로부터, 제1 촬상 화소 및 제2 촬상 화소가 동시에 촬영할 때의 제1 촬상 화소에 의한 제1 촬상 영상 및 제2 촬상 화소에 의한 제2 촬상 영상을 입력하는 단계(S10), 제1 촬상 영상으로부터 대상 화소를 선택하는 단계(S30), 대상 화소에 대응하는 제2 촬상 영상의 화소 또는 대상 화소에 대응하는 제2 촬상 영상의 보간 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 제2 촬상 영상 또는 보간 영상으로부터 추출하는 단계(S60), 추출한 화소에 대응하는 화소를 제1 촬상 영상으로부터 선택하는 단계(S70) 및 선택한 화소의 휘도값에 기초해서 대상 화소의 휘도값을 보정하는 단계(S90)를 포함한다.
이러한 구성에 의해, 어두울 때 촬영된 노이즈가 많은 영상이라도 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있다.
제2 실시예
제1 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 RGB의 촬상 화소가 동일층에 배치된 촬상 소자(12)에 의해 촬영된 영상으로부터 노이즈를 제거하지만, 본 발명의 제2 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 RGB의 촬상 화소가 적층된 촬상 소자에 의해 촬영된 영상으로부터 노이즈를 제거한다. 이 경우, 어두울 때 또는 어두운 부분에서 SNR이 낮은 G 화소 또는 B 화소의 대상 화소에 대해서, 대상 화소에 대응하는 어두울 때 또는 어두운 부분에서 SNR이 높은 R 화소의 휘도값에 기초해서 주변의 R 화소를 추출하고, 추출한 R 화소에 대응하는 G 화소 또는 B 화소를 선택하고, 선택한 G 화소 또는 B 화소의 휘도값에 기초해서 대상 화소를 보정하는 점은 제1 실시예에 따른 처리와 동일하다.
앞으로, 본 발명의 제2 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 대해서 도면을 참고로 하여 설명한다.
제2 실시예에 따른 영상 처리 장치도 촬상 장치로서, 특히 영상 처리부로 기능하고 촬상 영상으로부터 노이즈를 제거한다. 촬상 장치의 개략적인 구성은 도 2에 도시한 제1 실시예에 따른 구성과 동일할 수 있으며, 여기서는 도시 및 설명을 생략한다.
도 8은 제2 실시예에 따른 촬상 소자(22)의 개략적인 구성을 설명하기 위한 도면이다. 도 8은 촬상 소자(22)를 촬상 화소의 적층 방향과 수직한 방향에서 볼 때의 단면을 나타낸다.
촬상 소자(22)는 공지 기술을 이용하여, 예를 들면 하층이 실리콘 기판 등의 반도체 재료로 형성되고, 상층이 반도체 재료 또는 유기막으로 형성된 적층 구조로 되어 있다. 하층에는 촬영하는 영상의 SNR이 낮은, 즉 G 촬상 화소 및 B 촬상 화소가 체크 무늬 형태로 배치되고, 상층에는 SNR이 높은 R 촬상 화소가 하층의 G 촬상 화소 또는 B 촬상 화소와 대응하도록 전체 면에 배치되어 있다. 즉, 상층에서 모든 촬상 화소가 R 촬상 화소이다.
이러한 촬상 소자(22)가 촬영하는 촬영 영상에서, 영상의 동일한 위치(좌표)에서 SNR이 높은 R 화소와 SNR이 낮은 G 화소 또는 B 화소를 얻고, G 화소 또는 B 화소의 노이즈를 제거하는 경우, 실시예 1에 따른 영상 처리 방법과 동일한 처리를 할 수 있다. 물론, 전체 화소의 R 화소가 얻어지므로, 제2 실시예에서는 R의 보간 영상을 생성할 필요가 없다.
즉, B 화소(또는 G 화소)를 대상 화소로 선택하고, 대상 화소에 대응하는 R 화소를 선택하고, 선택한 R 화소의 휘도값에 가까운 휘도값을 가지는 R 화소를 주변 화소로부터 추출하고, 추출한 R 화소에 대응하는 B 화소(또는 G 화소)를 선택하고, 선택한 B 화소(또는 G 화소)의 휘도값의 평균값(Ave) 및 출력값(Output)을 각각 계산하고, 출력값(Output)을 가져와서 대상 화소의 휘도값을 치환하여 노이즈를 제거할 수 있다.
이와 같이, 제2 실시예에 따른 영상 처리 장치 및 영상 처리 방법에서도, 제1 실시예과 마찬가지로, 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있다.
그리고 제2 실시예에 따른 영상 처리 장치 또는 영상 처리 방법에서도 다양한 변형이 가능하다. 예를 들면, 제2 실시예에서 촬상 소자(22)를 2층의 촬상 화소로 형성하지만, 촬상 소자(22)를 3층 이상의 촬상 화소로 형성할 수도 있다.
또한, 피사체가 낮 시간의 하늘 등인 경우에 B 화소를 이용해서 대상 화소인 R 화소 또는 G 화소를 보정하거나, 피사체가 낮 시간의 삼림 등인 경우에 G 화소를 이용해서 대상 화소인 R 화소 또는 B 화소를 보정할 수 있다.
이상에서 설명한 것처럼, 제2 실시예에 따른 영상 처리 장치는, SNR이 낮은 제1 촬상 화소와 SNR이 높은 제2 촬상 화소가 적층된 촬상 소자(22)로부터, 제1 촬상 화소 및 제2 촬상 화소가 동시에 촬영할 때의 제1 촬상 화소에 의한 제1 촬상 영상 및 제2 촬상 화소에 의한 제2 촬상 영상을 입력하고, 제1 촬상 영상으로부터 대상 화소를 선택하고, 대상 화소에 대응하는 제2 촬상 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 제2 촬상 영상으로부터 추출하고, 추출한 화소에 대응하는 화소를 제1 촬상 영상으로부터 선택하고, 선택한 화소의 휘도값에 기초해서 대상 화소의 휘도값을 보정하는 영상 처리부를 포함한다.
이러한 구성에 의해, 어두울 때 촬영된 노이즈가 많은 영상이라도 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있다.
또한, 제2 실시예에 따른 영상 처리 장치는, 촬상 소자(22)에서 제2 촬상 화소가 제1 촬상 화소보다도 상층에 있을 수 있다.
이러한 구성에 의해, SNR이 높은 제2 촬상 화소의 SNR을 유지할 수 있다.
제3 실시예
제1 및 제2 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 RGB의 촬상 화소를 가지는 촬상 소자에 의해 촬영된 RGB 영상으로부터 노이즈를 제거하지만, 또한, 본 발명의 제3 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 어두울 때 또는 어두운 부분에서 SNR이 RGB의 촬상 화소보다도 높은 근적외선(near-infrared, NIR) 촬상 화소를 추가로 가지는 촬상 소자를 이용하여 RGB 영상으로부터 노이즈를 제거한다.
먼저, 제3 실시예에 따른 영상 처리 장치 및 영상 처리 방법에서 NIR 촬상 화소를 사용하는 이유에 대해서 간단히 설명한다.
도 9는 색온도, 파장 및 방사 에너지 사이의 관계를 나타내는 도면이다. 도 9에서, 가로축은 파장(nm), 세로축은 방사 에너지(W/nm), 실선은 태양광의 방사 스펙트럼(색온도: 5762K), 점선은 야경의 방사 스펙트럼(색온도: 3200K)을 나타낸다.
방사 에너지는 색온도가 큰 태양광에서는 각 파장에서 크지만, 색온도가 작은 야경에서는 각 파장에서 작고 간신히 근적외선에서 피크를 가진다. 따라서, 어두울 때 가시광선 파장 대역에 더해서 근적외선 파장 대역에서도 촬영하여, 가시광선 파장 대역으로 촬영하는 경우보다도 SNR이 높은 NIR 화소를 얻을 수 있다.
도 10은 제3 실시예에 따른 영상 처리 방법을 개념적으로 설명하기 위한 도면이다. 도 10에서, 왼쪽 그림은 실시예 1 및 2에 따른 영상 처리 방법을 나타내고, 오른쪽 그림은 본 실시예 3에 따른 영상 처리 방법을 나타낸다. 실시예 1 및 2에서는 어두울 때 또는 어두운 부분에서 SNR이 높은 R 신호를 이용해서 어두울 때 또는 어두운 부분에서 SNR이 낮은 G 및 B의 신호에서 노이즈를 제거하지만, 제3 실시예에서는 어두울 때 또는 어두운 부분에서 SNR이 R 신호보다도 더 높은 NIR 신호를 이용해서 R, G, B의 신호에서 노이즈를 제거한다.
앞으로, 제3 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 대하여 도면을 참고로 하여 설명한다.
제3 실시예에 따른 영상 처리 장치도 촬상 장치로서, 특히 영상 처리부로 기능하고 촬상 영상으로부터 노이즈를 제거한다. 촬상 장치의 개략적인 구성은 도 2에 도시한 실시예 1에 구성과 동일할 수 있으며, 여기서는 도시 및 설명을 생략한다.
도 11은 제3 실시예에 따른 촬상 소자(32)의 개략적인 구성을 설명하기 위한 도면이다. 도 11은 촬상 소자(32)의 촬상면의 일부를 확대한 것을 나타낸다.
촬상 소자(32)에서는 베이어 배열의 홀수행 또는 짝수행의 G 촬상 화소가 NIR 촬상 화소로 치환되어, NIR 촬상 화소 및 RGB 촬상 화소가 동일층에 배치되어 있다. NIR 촬상 화소는 예를 들면 800∼900nm의 근적외선 파장 대역에서 촬영하는 광전 변환부를 포함하는 촬상 화소이다.
도 12는 제3 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다. 도 13은 제3 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
제3 실시예에 따른 영상 처리 방법에서는, 촬상 소자(32)의 동일층에 배치된 NIR 촬상 화소 및 RGB 촬상 화소에서 동시에 촬영하고(S210), 얻어진 영상 중에서 NIR 화소를 이용해서 NIR의 보간 영상을 생성한다(S220).
다음, 촬상 영상으로부터 대상 화소로 R, G 또는 B의 화소를 선택하고(S230, S21), NIR 보간 영상으로부터 대응 화소로 NIR 화소를 선택하고(S240, S22), 탐색 휘도 범위를 설정하고(S250, S23), 대응 화소의 휘도값에 가까운 휘도값을 가지는 주변의 NIR 화소를 NIR의 보간 영상으로부터 추출한다(S260, S24).
다음, 추출한 NIR 화소의 대응 화소로 R, G 또는 B의 화소를 촬상 영상으로부터 선택하고(S270, S25), 치환값을 계산하고(S280, S26), 대상 화소를 보정해서 노이즈를 제거하여(S290, S27), 보정 영상을 표시하고 저장한다(S300).
이와 같이, 제3 실시예에 따른 영상 처리 장치 및 영상 처리 방법에서도, 실시예 1 및 2와 마찬가지로, 노이즈를 적절하게 제거해서 색 재현성 및 색 해상도에서 우수한 영상을 얻을 수 있다.
제3 실시예의 변형예
한편, 제3 실시예에 따른 영상 처리 장치 또는 영상 처리 방법에서도 다양한 변형이 가능하다.
예를 들면, 제3 실시예에서는, 촬상 소자(32)로 NIR 촬상 화소 및 RGB 촬상 화소가 동일층에 배치되어 있는 것을 사용하지만, 촬상 소자로 NIR 촬상 화소와 RGB 촬상 화소가 적층된 것을 사용할 수도 있다.
도 14는 제3 실시예의 변형예에 따른 촬상 소자(42)의 개략적인 구성을 설명하기 위한 도면이다. 도 14는 촬상 소자(42)가 있는 화소행(또는 화소열)과 그 옆의 화소행(또는 화소열)을 각각 촬상 소자(42)의 적층 방향과 수직한 방향에서 볼 때의 단면을 나타낸다.
촬상 소자(42)도 공지 기술을 이용하여, 예를 들면, 하층이 실리콘 기판 등의 반도체 재료로 형성되고, 상층이 반도체 재료 또는 유기막으로 형성된 적층 구조로 되어 있다. 그리고 하층에는 어두울 때 또는 어두운 부분에서 SNR이 낮은 R, G, B의 촬상 화소가 베이어 배열로 배치되고, 상층에는 어두울 때 또는 어두운 부분에서 SNR이 높은 NIR 촬상 화소가 각각 하층의 R, G, B의 촬상 화소에 대응하도록 전체 면에 배치되어 있다. 즉, 상층에는 모든 촬상 화소가 NIR 촬상 화소이다.
이러한 촬상 소자(42)가 촬영한 촬상 영상에서도, 영상의 동일한 위치(좌표)에서 SNR이 높은 NIR 화소와 SNR이 낮은 RGB의 화소를 얻고, RGB 화소의 노이즈를 제거하는 경우, 실시예 1에 따른 영상 처리 방법과 동일한 처리를 할 수 있다. 물론, 전체 화소의 NIR 화소가 얻어지므로, 실시예 3의 변형예에서는 NIR의 보간 영상을 생성할 필요가 없다.
한편, 실시예 3의 변형예에서는, 촬상 소자(42)를 2층의 촬상 화소로 형성하지만, 촬상 소자(42)를 3층 이상의 촬상 화소로 형성할 수도 있으며, 또한 SNR이 높은 촬상 화소가 반드시 상층이 아닐 수도 있다.
이상에서 설명한 것처럼, 제3 실시예에 따른 영상 처리 장치에서 제1 촬상 화소가 적색 파장 대역, 녹색 파장 대역 또는 청색 파장 대역에서 촬영하고, 제2 촬상 화소가 근적외선 파장 대역에서 촬영할 수 있다.
이러한 구성에 의해, SNR이 높은 NIR 화소를 이용하여 RGB의 화소를 보정하고, 노이즈를 제거할 수 있다.
어떤 실시예에서, 영상 처리부(14)는 장면의 휘도를 감지하고, 감지한 휘도에 기초해서 영상 처리 장치가 도 1의 영상 처리 방법을 수행하는 제1 모드와 영상 처리 장치가 제1 내지 제3 실시예 중 하나에 따른 영상 처리 방법을 수행하는 제2 모드 사이에서 선택적으로 전환할 수 있다. 예를 들면, 제1 모드에서, 영상 처리부(14)는 대상 화소와 동일한 색상을 가지는 화소를 검색하고, 대상 화소와 동일한 색상을 가지는 이들 화소의 평균값을 계산할 수 있다. 제2 모드에서, 영상 처리부(14)는 어두울 때 또는 어두운 부분에서 낮은 SNR을 가지는 G 또는 B 화소를 대상 화소로 선택하고, 어두울 때 또는 어두운 부분에서 높은 SNR을 가지는 대상 화소에 대응하는 R 화소의 휘도값에 기초해서 주변 R 화소를 추출하고, 추출한 R 화소에 대응하는 G 또는 B 화소를 선택하고, 선택한 G 또는 B 화소의 휘도값에 기초하여 대상 화소를 보정할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1: 촬상 장치
11: 렌즈 광학 시스템
12, 22, 32, 42: 촬상 소자
13: 아날로그 프론트 엔드(AFE) 회로
14: 영상 처리부(영상 처리 장치)
15: 영상 표시부
16: 영상 저장부
P1: B 화소
P2: R 화소

Claims (12)

  1. 제1 촬상 화소와 상기 제1 촬상 화소보다 SNR이 높은 제2 촬상 화소가 적층 또는 동일층에 배치된 촬상 소자로부터, 상기 제1 촬상 화소 및 상기 제2 촬상 화소가 동시에 촬영할 때의 상기 제1 촬상 화소에 의한 제1 촬상 영상 및 상기 제2 촬상 화소에 의한 제2 촬상 영상을 수신하고,
    상기 제1 촬상 영상으로부터 대상 화소를 선택하고,
    상기 대상 화소에 대응하는 상기 제2 촬상 영상의 화소 또는 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 보간 영상의 화소의 제1 휘도값에 가까운 제2 휘도값을 가지는 화소를 상기 제2 촬상 영상 또는 상기 보간 영상으로부터 추출하고,
    상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상으로부터 선택하고,
    상기 선택한 화소의 휘도값에 기초하여 상기 대상 화소의 휘도값을 보정하는 처리 회로
    를 포함하는 영상 처리 장치.
  2. 제1항에서,
    상기 제2 휘도값은 상기 제1 휘도값의 소정 휘도 범위에 속하는 영상 처리 장치.
  3. 제2항에서,
    상기 소정 휘도 범위는 상기 제1 휘도값의 크기에 기초해서 결정되는 영상 처리 장치.
  4. 제1항에서,
    상기 처리 회로는 상기 대상 화소에 대응하는 화소 주위의 가로세로 방향의 소정 개수의 화소로부터 상기 제2 휘도값을 가지는 화소를 추출하는 영상 처리 장치.
  5. 제1항에서,
    상기 처리 회로는, 상기 선택한 화소의 휘도값의 평균값을 계산하고, 상기 대상 화소의 휘도값, 상기 평균값 및 소정의 이득에 의해 결정되는 값으로 상기 대상 화소의 휘도값을 보정하는 영상 처리 장치.
  6. 제1항에서,
    상기 제1 촬상 화소가 적색 파장 대역, 녹색 파장 대역 또는 청색 파장 대역에서 촬영하고,
    상기 제2 촬상 화소가 근적외선 파장 대역에서 촬영하는
    영상 처리 장치.
  7. 제1항에서,
    상기 제1 촬상 화소가 녹색 파장 대역 또는 청색 파장 대역에서 촬영하고,
    상기 제2 촬상 화소가 적색 파장 대역에서 촬영하는
    영상 처리 장치.
  8. 제1항에서,
    상기 촬상 소자에서 제2 촬상 화소가 제1 촬상 화소보다도 상층에 있는 영상 처리 장치.
  9. 제1항에서,
    상기 영상 처리부는 상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상의 보간 영상으로부터 추가로 선택하는 영상 처리 장치.
  10. 제1 촬상 화소와 상기 제1 촬상 화소보다 SNR이 높은 제2 촬상 화소가 적층 또는 동일층에 배치된 촬상 소자, 그리고
    상기 촬상 소자로부터, 상기 제1 촬상 화소 및 상기 제2 촬상 화소가 동시에 촬영할 때의 상기 제1 촬상 화소에 의한 제1 촬상 영상 및 상기 제2 촬상 화소에 의한 제2 촬상 영상을 수신하고, 상기 제1 촬상 영상으로부터 대상 화소를 선택하고, 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 화소 또는 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 보간 영상의 화소의 제1 휘도값에 가까운 제2 휘도값을 가지는 화소를 상기 제2 촬상 영상 또는 상기 보간 영상으로부터 추출하고, 상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상으로부터 선택하고, 상기 선택한 화소의 휘도값에 기초하여 상기 대상 화소의 휘도값을 보정하는 처리 회로
    를 포함하는 촬상 장치.
  11. 제1 촬상 화소와 상기 제1 촬상 화소보다 SNR이 높은 제2 촬상 화소가 적층 또는 동일층에 배치된 촬상 소자로부터, 상기 제1 촬상 화소 및 상기 제2 촬상 화소가 동시에 촬영할 때의 상기 제1 촬상 화소에 의한 제1 촬상 영상 및 상기 제2 촬상 화소에 의한 제2 촬상 영상을 수신하는 단계,
    상기 제1 촬상 영상으로부터 대상 화소를 선택하는 단계,
    상기 대상 화소에 대응하는 상기 제2 촬상 영상의 화소 또는 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 보간 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 상기 제2 촬상 영상 또는 상기 보간 영상으로부터 추출하는 단계,
    상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상으로부터 선택하는 단계, 그리고
    상기 선택한 화소의 휘도값에 기초해서 상기 대상 화소의 휘도값을 보정하는 단계
    를 포함하는 영상 처리 방법.
  12. 기록 매체에 기록된 영상 처리 프로그램으로서, 컴퓨터에,
    제1 촬상 화소와 상기 제1 촬상 화소보다 SNR이 높은 제2 촬상 화소가 적층 또는 동일층에 배치된 촬상 소자로부터, 상기 제1 촬상 화소 및 상기 제2 촬상 화소가 동시에 촬영할 때의 상기 제1 촬상 화소에 의한 제1 촬상 영상 및 상기 제2 촬상 화소에 의한 제2 촬상 영상을 수신하는 단계,
    상기 제1 촬상 영상으로부터 대상 화소를 선택하는 단계,
    상기 대상 화소에 대응하는 상기 제2 촬상 영상의 화소 또는 상기 대상 화소에 대응하는 상기 제2 촬상 영상의 보간 영상의 화소의 휘도값에 가까운 휘도값을 가지는 화소를 상기 제2 촬상 영상 또는 상기 보간 영상으로부터 추출하는 단계,
    상기 추출한 화소에 대응하는 화소를 상기 제1 촬상 영상으로부터 선택하는 단계, 그리고
    상기 선택한 화소의 휘도값에 기초해서 상기 대상 화소의 휘도값을 보정하는 단계
    를 실행시키기 위한 영상 처리 프로그램.
KR1020190130095A 2018-10-29 2019-10-18 영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램 KR20200049546A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-202927 2018-10-29
JP2018202927A JP2020072299A (ja) 2018-10-29 2018-10-29 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
KR20200049546A true KR20200049546A (ko) 2020-05-08

Family

ID=70326032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190130095A KR20200049546A (ko) 2018-10-29 2019-10-18 영상 처리 장치, 촬상 장치, 영상 처리 방법 및 영상 처리 프로그램

Country Status (3)

Country Link
US (2) US10812765B2 (ko)
JP (1) JP2020072299A (ko)
KR (1) KR20200049546A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097645A (ja) 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
US7760962B2 (en) * 2005-03-30 2010-07-20 Casio Computer Co., Ltd. Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
JP4501855B2 (ja) 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP2009049278A (ja) * 2007-08-22 2009-03-05 Fujifilm Corp 光電変換素子、光電変換素子の製造方法、固体撮像素子
KR20100070060A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 촬상 장치, 촬상 방법 및 프로그램
JP2011149901A (ja) * 2010-01-25 2011-08-04 Rohm Co Ltd 受光装置およびモバイル機器
JP2014207493A (ja) * 2011-08-24 2014-10-30 パナソニック株式会社 撮像装置
JP6231284B2 (ja) * 2013-02-21 2017-11-15 クラリオン株式会社 撮像装置
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
US10171757B2 (en) * 2013-10-23 2019-01-01 Nec Corporation Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter
US9912884B2 (en) * 2014-03-03 2018-03-06 Photoneo, s.r.o. Methods and apparatus for superpixel modulation
KR101547984B1 (ko) 2014-10-29 2015-08-28 한화탈레스 주식회사 임펄스 형태의 영상 노이즈 제거를 위한 중간값 기반 양방향 필터 및 그 방법
JP6324879B2 (ja) * 2014-11-18 2018-05-16 富士フイルム株式会社 撮像装置及びその制御方法
WO2016168378A1 (en) * 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
WO2016189853A1 (ja) * 2015-05-28 2016-12-01 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体
CN106296624B (zh) 2015-06-11 2020-05-26 联想(北京)有限公司 一种图像融合方法及装置
KR102410028B1 (ko) * 2015-06-24 2022-06-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 장치
US9501683B1 (en) * 2015-08-05 2016-11-22 Datalogic Automation, Inc. Multi-frame super-resolution barcode imager
WO2017064760A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN107967668B (zh) 2016-10-20 2022-02-08 上海富瀚微电子股份有限公司 一种图像处理方法及装置
US10764507B1 (en) * 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097645A (ja) 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2020072299A (ja) 2020-05-07
US20200137368A1 (en) 2020-04-30
US10812765B2 (en) 2020-10-20
US11381795B2 (en) 2022-07-05
US20200396433A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US10021358B2 (en) Imaging apparatus, imaging system, and signal processing method
US9883125B2 (en) Imaging systems and methods for generating motion-compensated high-dynamic-range images
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
TWI500319B (zh) 影像感測器之延伸景深
US8314850B2 (en) Image sensing apparatus and method for controlling the same
JP6446790B2 (ja) 画像処理装置、撮像装置、画像補正方法およびプログラム
US20140267839A1 (en) Signal processing unit and signal processing method
US20120249828A1 (en) Apparataus and method of automatic color shading removal in cmos image sensors
US8982236B2 (en) Imaging apparatus
JP2023036625A (ja) 撮像装置
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
JP2011015222A (ja) 撮像装置及び撮像制御方法
JP2018196083A (ja) 画像処理装置
JP2018093257A (ja) 撮像装置
JPWO2013031081A1 (ja) 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体
US11381795B2 (en) Image processing apparatus configured to correct a luminance value of a target pixel, imaging apparatus, image processing method, and image processing program
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
JP2007336107A (ja) 撮像装置及びその制御方法並びに撮像システム
CN113132588B (zh) 用于快速启动成像系统的方法及使用该方法的成像系统
JP4993275B2 (ja) 画像処理装置
JP2008153848A (ja) 画像処理装置
US20130077861A1 (en) Image sensing device and image data processing method using the same
JP5967504B1 (ja) 全方位カメラシステム
KR101204921B1 (ko) 이미지 처리장치 및 그를 이용한 데이터 처리 방법
KR20110047540A (ko) 디지털 카메라 및 그 제어방법