KR20140072712A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20140072712A
KR20140072712A KR1020120140543A KR20120140543A KR20140072712A KR 20140072712 A KR20140072712 A KR 20140072712A KR 1020120140543 A KR1020120140543 A KR 1020120140543A KR 20120140543 A KR20120140543 A KR 20120140543A KR 20140072712 A KR20140072712 A KR 20140072712A
Authority
KR
South Korea
Prior art keywords
image
base image
channel
resolution
aliasing
Prior art date
Application number
KR1020120140543A
Other languages
English (en)
Other versions
KR101749925B1 (ko
Inventor
이정안
이민석
권지용
강문기
Original Assignee
삼성테크윈 주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 연세대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020120140543A priority Critical patent/KR101749925B1/ko
Priority to US13/919,154 priority patent/US9319602B2/en
Priority to JP2013236604A priority patent/JP6444592B2/ja
Priority to CN201310651897.XA priority patent/CN103854266B/zh
Publication of KR20140072712A publication Critical patent/KR20140072712A/ko
Application granted granted Critical
Publication of KR101749925B1 publication Critical patent/KR101749925B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 바람직한 일 실시예로서 영상처리방법은 MFA(Multi-spectral Filter Array) 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 에일리어싱을 상쇄하는 단계, 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하는 단계, 및 생성된 Base영상을 Blur시킨 블러영상과 생성된 Base 영상의 픽셀차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 단계를 포함한다.

Description

영상 처리 방법 및 장치{Method and Apparatus for processing the image}
본 발명은 MFA 패턴 영상처리에 관한 것이다. 보다 상세히, MFA 패턴 영상의 해상도 개선 및 왜곡현상 개선을 통해 고해상도 영상을 생성하는 영상처리 방법에 관한 것이다.
가시광선 대역의 영상과 비가시 대역의 NIR영상을 동시에 획득하기 위해 다중대역 필터배열(multi-spectral filter array)를 사용하여 각 채널의 영상을 동시에 획득하기 위해 다중대역 필터배열(Multi-spectral Filter Array)을 사용하여 각 채널의 영상을 동시에 획득하였다.
그러나, MFA를 통해 획득한 패턴 영상에서는 각 컬러 채널 및 NIR 채널이 서브샘플링되어 영상이 획득됨으로써 해상도가 낮은 문제점이 있다.
US7251345 A JP 2012-060602 A
본 발명의 바람직한 일 실시예에서는 가시대역의 영상과 비가시대역의 NIR영상을 동시에 획득하는 경우 각 영상의 해상도가 제한되는 문제점을 해결하고자 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 영상처리장치 및 방법은 저해상도의 MFA 패턴 영상을 입력영상으로 받아 고해상도의 Base 영상을 생성하고자 한다.
상세히, 다중대역 필터(multi-spectral filter)를 통해 획득되는 컬러채널과 NIR채널에서 획득한 저해상도의 MFA 패턴 영상으로부터 고해상도의 Base 영상을 생성하고자 한다. 이 경우, 고주파 정보를 많이 포함하면서 Artifact가 적은 고해상도 영상 생성하는 것을 목적으로 한다.
본 발명의 바람직한 일 실시예에서 MFA(Multi-spectral Filter Array) 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 에일리어싱을 상쇄하는 단계; 상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하는 단계;및 상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게, 에일리어싱을 상쇄하는 단계는 상기 컬러 채널 및 근적외선 채널에서 상이하게 나타나는 페이즈 특성을 고려하여 상기 컬러 채널 및 상기 근적외선 채널을 합치는 것을 특징으로 한다.
바람직하게, 상기 증폭시키는 단계에서 상기 에일리어싱이 제거된 각각의 상기 컬러 채널 및 상기 근적외선 채널을 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시키는 것을 특징으로 한다.
이 경우, Sinc 함수의 컷오프 주파수 Wc는 상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정되고, 이 경우 컷오프 주파수 Wc는 상기 국부영역의 변화량이 높은 경우 상기 Sinc 함수의 패스밴드(passband)를 높이도록 설정되고, 상기 국부영역의 변화량이 낮은 경우 상기 Sinc 함수의 패스밴드를 낮추도록 설정되는 것을 특징으로 한다.
상세히, 상기 Sinc 함수의 컷오프 주파수 Wc는 상기 국부영역의 변화량을 값을 변수로 하는 tanh 함수에 기초하여 설정되는 것을 특징으로 한다.
바람직하게, 왜곡현상을 상쇄하는 단계는 상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상 각각에 가중치를 부여한 후 합하여 왜곡현상을 상쇄하고, 이 경우 왜곡 현상이 많은 것으로 파악되면 상기 블러영상에 가중치를 많이 부여하고, 왜곡현상이 작은 것으로 파악되면 상기 생성된 Base 영상에 가중치를 많이 부여하며, 상기 블러영상에 부여하는 가중치 및 상기 생성된 Base 영상에 부여하는 가중치의 합은 1인 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 영상처리 방법은 MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 상기 컬러채널 및 근적외선 채널 각각의 페이즈 특성이 서로 상쇄되도록 상기 컬러 채널 및 근적외선 채널을 합하여 에일리어싱을 상쇄하는 단계; 상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하고, 상기 Sinc함수의 컷오프 주파수를 상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정하는, 생성단계;및 상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 영상처리장치는 MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 에일리어싱을 상쇄하는 에일리어싱상쇄부; 상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하는 고해상도Base영상 생성부;및 상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 왜곡상쇄부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 영상처리장치는 MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 상기 컬러채널 및 근적외선 채널 각각의 페이즈 특성이 서로 상쇄되도록 상기 컬러 채널 및 근적외선 채널을 합하여 에일리어싱을 상쇄하는 에일리어싱상쇄부; 상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하고, 상기 Sinc함수의 컷오프 주파수를 상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정하는, 고해상도Base영상 생성부;및 상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 왜곡상쇄부;를 포함하는 것을 특징으로 한다.
본 발명에서는 MFA 패턴 영상의 서브샘플링된 칼라채널 및 근적외선 채널의 주파수 특성을 기초로 에일리어싱을 제거하고, 커널을 통과시켜 고해상도의 Base 영상을 획득할 수 있는 효과가 있다. 또한 입력 영상의 국부적 통계 특성을 이용하여 왜곡현상을 상쇄함으로써 고해상도의 왜곡이 제거된 영상을 획득할 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 영상처리장치의 내부 구성도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 영상처리장치의 입력 영상인 MFA 패턴 영상의 일 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 영상처리장치의 입력 영상인 MFA 패턴 영상의 채널별 스펙트럼의 일 예를 도시한다.
도 4(a) 및 (b)는 MFA 패턴 영상의 단일 채널을 이용하여 Base 영상을 생성한 경우와 MFA 패턴 영상의 4개 채널을 이용하여 Base 영상을 생성한 경우를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, MFA 패턴 영상의 각 채널의 주파수 특성을 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서, MFA 패턴 영상의 각 채널의 주파수 특성을 고려하여 에일리어싱을 제거하는 일 실시예를 도시한다.
도 7는 본 발명의 바람직한 일 실시예로서, 고해상도의 Base 영상을 생성하는 개념도를 도시한다.
도 8은 Pass-band에 따른 Sinc function의 주파수 축에서의 응답을 도시한다.
도 9 은 본 발명의 바람직한 일 실시예로서, 입력 영상의 국부 영역별 통계적 특성을 나타낸다.
도 10 및 11은 본 발명의 바람직한 일 실시예로서, 입력 영상의 국부 영역별 통계적 특성을 반영하여 커널을 설계하는 예를 도시한다.
도 12에서는 국부 변화량에 따라 컷오프주파수를 설정하기 위해 tanh 함수(hyperbolic tangent)를 이용한 경우를 도시한다.
도 13는 본 발명의 바람직한 일 실시예로서, MFA패턴 영상으로부터 고해상도의 Base 영상을 생성하는 영상처리방법의 흐름도를 도시한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1 은 본 발명의 바람직한 일 실시예로서, 영상처리장치의 내부 구성도를 도시한다.
도 1 의 영상처리장치(100)의 일 예로는 카메라 시스템 등이 있으며, 카메라 시스템은 디지털 카메라, 캠코더, 감시 카메라와 같은 영상 촬영 시스템일 수도 있고, 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 모바일 폰 등에 탑재될 수도 있다.
도 1 의 영상처리장치(100)는 컬러 필터 및 근적외선 필터를 포함하는 멀티 대역 필터 어레이(Multi-spectral filter array)를 구비한 영상 센서로부터 출력되는 MFA 패턴 영상을 입력 영상으로 수신한다.
본 발명의 바람직한 일 실시예로서, 영상처리장치(100)는 저해상도의 MFA 패턴 영상을 입력영상으로 받아 고주파 정보를 많이 포함하면서 Artifact가 적은 고해상도 Base영상을 생성한다.
이를 위하여, 영상처리장치(100)는 에일리어싱상쇄부(110), 고해상도Base영상생성부(120) 및 왜곡상쇄부(130)를 포함한다.
에일리어싱상쇄부(110)는 MFA(Multi-spectral Filter Array) 패턴의 입력 영상(S101)에서 R,G,B 컬러 채널 및 근적외선(NIR) 채널의 주파수 특성을 분석한다. MFA 패턴의 입력 영상은 R,G,B 컬러 채널 및 근적외선(NIR) 채널이 각각 1/4로 서브샘플링되어 있어 에일리어싱이 심하게 생성된다.
에일리어싱상쇄부(110)는 이러한 문제점을 해결하기 위해, R,G,B 컬러 채널 및 근적외선(NIR) 채널의 고주파 성분이 유사하다는 가정하에 R,G,B 컬러 채널 및 근적외선(NIR) 채널의 주파수 특성을 분석하여 각 채널별로 반복적으로 상이하게 나타나는 페이즈 특성을 고려하여 R,G,B 및 NIR 4개의 채널을 합하여 에일리어싱을 상쇄한다.
상세한 내용은, 도 2 및 3의 에일리어싱상쇄부(110)의 입력 영상인 MFA 패턴 영상의 특성과, 도 4 내지 8에 기술된 MFA 패턴 영상에서 발생하는 에일리어싱과 에일리어싱을 상쇄하기 위해 이용하는 페이즈 특성 내용을 참고한다.
고해상도Base영상생성부(120)는 에일리어싱상쇄부(110)에서 에일리어싱이 제거된 R,G, B 및 NIR 채널의 해상도를 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성한다.
고해상도Base영상생성부(120)는 또한 MFA 패턴 영상의 국부영역의 통계적 특성에 따라 Sinc 함수의 컷오프주파수를 적응적으로 설정하여 고해상도의 Base 영상을 생성한다. 상세히, 고해상도Base영상생성부(120)에서는 MFA 패턴 영상에서 Detail한 영역에서는 상기 컷오프주파수를 높여(wc high) 고주파 부분의 정보를 많이 복원하고, MFA 패턴 영상에서 Flat한 영역에서는 상기 컷오프주파수를 낮추어(wc low) 고주파 부분의 왜곡(artifact)정보를 적게 통과시킨다. 구체적인 일 실시예는 도 9 내지 14를 참고한다.
에일리어싱상쇄부(110) 및 고해상도Base영상생성부(120)를 통해 Base 영상 생성시, 고해상도Base영상생성부(120)에서 Base 영상의 해상도 향상을 위해 Sinc함수의 컷오프주파수를 높이는 경우 고주파 대역에 artifact가 남아 있을 수 있다. 또한 멀티 대역 필터 어레이(Multi-spectral filter array)를 구비한 영상 센서의 노이즈가 균일하지 않아 고해상도Base영상생성부(120)에서 Base 영상 생성시 artifact의 일부가 제거되지 않고 남을 수 있다.
이상의 문제점을 해결하기 위해, 왜곡상쇄부(130)는 고해상도Base영상생성부(120)에서 생성된 고해상도 Base영상을 Blur시킨 블러영상과 고해상도Base영상생성부(120)에서 생성된 Base 영상의 픽셀차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여하여 고해상도Base영상생성부(120)에서 생성된 고해상도 Base영상의 왜곡현상을 상쇄한다.
도 2 및 3은 MFA 패턴 영상의 형태와 스펙트럼 특성을 도시한다.
MFA 패턴 영상은 도 2에 도시된 바와 각 채널이 1/4(210, 220, 230, 240)로 서브샘플링되어 있다. MFA 패턴 영상의 각 채널은 목표해상도의 가로 0.5배, 세로 0.5배의 저해상도 채널의 특징을 지닌다. MFA 패턴 영상의 단일 채널을 이용하여 Base 영상을 고해상도로 재구성할 경우 도 4(a)와 같이 세밀한 에지 성분들이 나누어지지 못하고 에일리어싱이 심하게 발생한다.
또한 도 3을 참고하면, MFA 패턴의 입력 영상을 구성하는 R,G,B 컬러 채널 및 근적외선(NIR) 채널의 스펙트럼은 채널의 스펙트럼 간에 정보가 겹치는 특징이 나타난다.
따라서, 에일리어싱을 최소로 하기 위해서는 저해상도의 R, G, B 및 NIR 채널을 모두 이용하여 하나의 Base 영상을 획득하여야 한다(도 4(b) 참고).
도 4(a) 및 (b)는 MFA 패턴 영상의 단일 채널을 이용하여 Base 영상을 생성한 경우와 MFA 패턴 영상의 4개 채널을 이용하여 Base 영상을 생성한 경우를 도시한다.
도 4(a)는 NIR 단일 채널을 Interpolation 과정을 통하여 고해상도 Base 영상으로 재구성한 영상이다. 세밀한 에지가 나누어지지 못하고 에일리어싱이 심하게 발생하는 문제가 있다.
도 4(b)는 본 발명의 바람직한 일 실시예로서, MFA 패턴 영상의 칼라 채널 및 근적외선 채널을 모두 이용하여 고해상도 Base 영상을 생성한 예로서, 에일리어싱이 최소화되어 세밀한 에지가 잘 나뉘어 있는 것을 볼 수 있다.
도 5 는 본 발명의 바람직한 일 실시예로서, MFA 패턴 영상의 각 채널의 주파수 특성을 도시한다.
서브샘플링된 G 채널(500)을 2차원 푸리에 영역(501)에서 살펴보면, 원래의 신호(original signal)이 8개의 pi 부분((-Π,-Π), (-Π,0), (-Π,Π), (0,-Π), (0,Π),(Π,-Π) (Π,0),(Π,Π)) 에서 원 신호와 같게 양의 부호로서 반복적으로 나타나게 된다.
서브샘플링된 NIR 채널(510)은 MFA 패턴 영상에서 G 채널(500)에서 우측으로 한 픽셀 옆에 위치한다. 그로 인해, 서브샘플링된 NIR 채널(510)의 2차원 푸리에 영역(502)은 G 채널(500)의 2차원 푸리에 영역(501)과 세로 방향(502a)에서 페이즈가 반대로 나타난다.
유사하게, 서브샘플링된 R 채널(520)은 MFA 패턴 영상에서 G 채널(500)에서 아래 방향으로 한 픽셀 아래에 위치한다. 그로 인해, 서브샘플링된 R 채널(520)의 2차원 푸리에 영역(503)은 G 채널(500)의 2차원 푸리에 영역(501)과 가로 방향(503a)에서 페이즈가 반대로 나타난다.
또한, 서브샘플링된 B 채널(530)은 MFA 패턴 영상에서 G 채널(500)에서 우측 대각선 방향으로 한 픽셀 아래에 위치한다. 그로 인해, 서브샘플링된 B 채널(504)의 2차원 푸리에 영역(504)은 G 채널(500)의 2차원 푸리에 영역(501)과 대각선 방향(504a)에서 페이즈가 반대로 나타난다.
도 6 은 본 발명의 바람직한 일 실시예로서, MFA 패턴 영상의 각 채널의 주파수 특성을 고려하여 에일리어싱을 제거하는 일 실시예를 도시한다.
도 6 은 도 1 에 도시된 Aliasing상쇄부(도 1, 110 참고)의 세부 구성의 일 예를 도시한다. 도 5에 도시된 바와 같이 MFA 패턴 영상의 각 채널의 주파수 특성에 따라 페이즈가 다르게 반복적으로 나타나는 특성을 이용하여 R,G,B 및 NIR 채널을 모두 합하면 저주파 영역으로 넘어온 에일리어싱 성분을 최소화 할 수 있다.
예를 들어, (0,Π) 부분을 살펴 보면, G 채널(610)과 NIR 채널(620)에서는 신호의 부호가 (+) 이지만 페이즈 변화로 인해 R 채널(630)과 B 채널(640)에서는 신호의 부호가 (-)가 되어 각 신호가 합쳐지는 과정에서 저주파 영역으로 넘어온 고주파 부분의 에일리어싱이 상쇄된다.
그 후 (0,0)의 위치에서 바깥쪽 부분에 위치한 에일리어싱 성분들은 저주파 통과 필터를 이용하여 제거시키면 최종적인 Base 영상(610)을 획득할 수 있다.
도 7는 본 발명의 바람직한 일 실시예로서, 고해상도의 Base 영상을 생성하는 개념도를 도시한다.
MFA 패턴 영상의 각 채널(710,720,730,740)은 주파수 특성을 고려한 후 에일리싱이 상쇄되도록 합쳐지고(Summation, 750) 이 후 커널(760)을 통과하면서 에일리어싱이 제거된 R,G, B 및 NIR 채널의 해상도를 Base 영상의 해상도만큼 증폭시킨 고해상도의 Base영상(770)이 생성된다.
수식으로 나타내면, 수학식 1과 같다.
Figure pat00001
수학식 1에서 Base(i,j)는 고해상도의 Base 영상을 나타내고, Gs, Ns, Rs, Bs 각각은 MFA 패턴 영상을 구성하는 서브샘플링된 각 채널을 의미한다. 수학식 1에서 커널은 샘플링 된 각 채널 영상의 해상도를 Base영상의 해상도만큼 키워주는 역할을 한다.
커널은 도 8과 같이 Sinc 함수로 구현이 가능하다. 도 8은 Pass-band에 따른 Sinc function의 주파수 축에서의 응답을 도시한다. 컷 오프 주파수가 높을수록 더 높은 주파수대역의 정보를 통과 시키게 된다. 높은 주파수 대역을 통과 시키게 되면 고주파 대역의 정보를 복원할 수 있어 Base 영상의 해상도를 향상시킬 수 있다(800). 이러한 Sinc 함수는 도 8의 810과 같이 실제 MFA 영상에서는 2차원적으로 적용된다.
Ideal Sinc 함수를 역푸리에 변환한 것을 수식으로 나타내면, 수학식 2와 같다.
Figure pat00002
수학식 2에서 H(w)는 Sinc 함수의 주파수 영역의 특성을 나타내고, h(n)은 Spatial 영역의 특성을 나타낸다. 또한, wc는 컷오프 주파수를 의미한다.
본 발명의 또 다른 바람직한 일 실시예에서는 커널을 Lanczos 커널에 기반한 Windowed-Sinc 함수로 구현하였다. 수학식 3은 Lanczos 기반 Windowed-Sinc 커널을 나타낸다.
Figure pat00003
수학식 3에서 a는 Lanczos 기반 Windowed-Sinc 커널의 컷오프 주파수를 조절하는 팩터를 나타낸다.
Figure pat00004
수학식 4는 수학식 1에서 커널을 Sinc 함수로 구현한 경우의 일 예로, Sinc 커널을 MFA 패턴 영상에서 서브 샘플링된 각 채널에 적용하여 고해상도의 Base영상을 생성하는 과정을 나타낸다.
도 9 은 본 발명의 바람직한 일 실시예로서, 입력 영상의 국부 영역별 통계적 특성을 나타낸다.
본 발명의 바람직한 일 실시예에서는, 커널을 설계할 때 입력 영상의 국부 영역의 통계적 특성을 반영한다. 국부 영역의 통계적 특성의 일 예로, Local Variance를 고려하였다.
Flat 영역(910)에서는 국부영역의 변화량(Local Variance)가 상대적으로 낮고, Detail 영역(920)에서는 국부영역의 변화량(Local Variance)가 상대적으로 높다.
도 10 및 11은 본 발명의 바람직한 일 실시예로서, 입력 영상의 국부 영역별 통계적 특성을 반영하여 커널을 설계하는 예를 도시한다.
본 발명의 바람직한 일 실시예에서는, 국부영역의 변화량(Local Variance)이 상대적으로 낮은 부분에서는 커널의 passband를 좁혀 artifact를 적게 통과시키고(도 13 참고), 국부영역의 변화량(Local Variance)이 상대적으로 높은 부분에서는 커널의 passband를 넓혀 고주파 부분의 정보를 많이 복원시켜 고해상도 영상을 획득한다(도 10참고).
도 10는 Sinc 함수의 컷오프 주파수 wc를 높게 설정한 경우의 일 예로, 주파수 축에서 Passband(1010)가 넓게 된다. Passband(1010)가 넓으므로 영상의 고주파 정보가 많이 통과된 Base 영상이 생성된다.
그 결과, 국부영역의 변화량(Local Variance)가 상대적으로 높은 Detail 영역(1220)에서는 해상도가 향상되나, 국부영역의 변화량(Local Variance)가 상대적으로 낮은 Flat 영역(1030)에서는 고주파 대역의 Ringing 및 Shooting 등과 같은 artifact가 더 많이 생성된다.
도 11은 Sinc 함수의 컷오프 주파수 wc를 낮게 설정한 경우의 일 예로, 주파수 축에서 Passband(1110)가 좁게 된다. Passband(1110)가 좁으므로 영상의 artifact가 적게 통과된다.
그 결과, 국부영역의 변화량(Local Variance)가 상대적으로 높은 Detail 영역(1120)에서는 해상도가 저하되나, 국부영역의 변화량(Local Variance)가 상대적으로 낮은 Flat 영역(1130)에서는 artifact가 적게된다.
따라서, 본 발명의 바람직한 일 실시예에서 커널 설계시 이용되는 Sinc 함수의 컷오프 주파수 Wc는 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정되고, 이 경우 컷오프 주파수 Wc는 상기 국부영역의 변화량이 높은 경우 상기 Sinc 함수의 패스밴드(passband)를 높이도록 설정되고, 상기 국부영역의 변화량이 낮은 경우 상기 Sinc 함수의 패스밴드를 낮추도록 설정된다.
본 발명의 바람직한 일 실시예에서는 또한 고해상도의 Base 영상을 생성하기 위해 컷오프 주파수는 0.5Π 이상의 높은 값을 지니도록 설정할 수 있다.
본 발명의 바람직한 일 실시예로서, 수학식 5는 국부변화량에 따라 적응적으로 고해상도의 Base영상을 생성하는 수식을 나타낸다. 입력 영상의 국부 영역에 따라 Detail영역에서는 고주파 정보를 최대한 복원하여 해상도 향상을 시키며 Flat 영역에서는 Artifact를 최소화 하여 결과적으로 고품질의 고해상도 Base 영상을 생성한다.
Figure pat00005
본 발명의 바람직한 일 실시예로서, Sinc 함수에서 이용하는 국부영역의 통계적 특성에 따라 적응적으로 설정되는 컷오프주파수 wc adap는 수학식 6와 같이 설정할 수 있다.
Figure pat00006
수학식 6에서
Figure pat00007
는 MFA 입력영상에서 국부 영역의 변화량(Local variance)을 나타내고, x는 적응적인 컷오프 주파수를 구하기 위한 입력으로서, S커브(tanh) 가중치에 의해 조절된 국부 영역의 분산을 나타낸다.
x를 수식으로 표현하면 수학식 7과 같다.
Figure pat00008
수학식 6에서 p와 k는 국부 변화량을 조절하는 팩터로, p는 S커브에서 큰 가중치 부분에 적용되고, k는 S커브에서 작은 가중치 부분에 적용된다.
국부 영역의 변화량은 MFA 패턴 입력영상의 각 서브채널에서 구한다. 본 발명의 바람직한 일 실시예에서는, 에일리어싱이 제거된 MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 해상도를 Base 영상의 해상도만큼 Sinc 함수를 이용하여 증폭할 때, Sinc 함수의 컷오프 주파수를 수학식 6과 같이 적응적으로 설정한다.
이 경우, 증가함수는 Linear, s-curve, exponential 등이 사용될 수 있으며, 수학식 6에서는 일 실시예로서 s-curve 형태의 tanh 함수(hyperbolic tangent)를 이용하였으며, 이 경우 컷오프 주파수는 도 12와 같은 특성을 지닌다.
도 12에서는 국부 변화량에 따라 컷오프주파수를 설정하기 위해 tanh 함수(hyperbolic tangent)를 이용한 경우를 도시한다.
도 12에 도시된 바와 같이, 기설정한 높은 컷오프주파수 wc high와 낮은 컷오프주파수 wc low 사이에서 국부변화량이 증가할 때 컷오프주파수는 s-curve 형태로 증가한다.
에일리어싱을 제거한 후 고해상도의 Base 영상을 생성하는 과정에서 두 가지 원인에 의해 Artifact가 발생하게 된다. 앞서 설명한 Base 영상의 해상도 향상을 위해 높은 컷오프주파수를 passband로 잡은 Sinc 커널을 입력 영상에 통과시키는 과정에서 고주파 대역에 있던 Artifact가 남아있을 가능성이 있다. 또한,멀티 대역 필터 어레이(Multi-spectral filter array)를 구비한 영상 센서의 noise가 균일하지 않아 Base 영상 생성시 그 일부가 제거되지 않고 남는다.
본 발명에서는 이상의 문제를 추가적으로 해결하기 위하여, 도 7 내지 12의 과정을 거쳐 생성된 고해상도의 Base 영상에서 artifact 유무를 판단하여, artifact를 상쇄한다.
Figure pat00009
수학식 8은 MFA 패턴 영상에서 서브샘플링 된 채널을 에일리어싱을 최소화 한 후 Sinc 터널을 통과시킨 것을 합하여 고해상도의 Base 영상을 생성한 결과이다. 수학식 8에서 생성된 Base 영상에서 artifact가 발생하는 것을 억제하기 위하여 수학식 9와 같이 Blur 시킨 artifact가 없는 영상과 융합한다.
Figure pat00010
수학식 9는 R 채널에 대하여 artifact를 상쇄하기 위해 Blur 시킨 artifact가 없는 영상과 artifact가 있지만 해상도가 높은 영상을 융합시키는 예를 도시한다. 수학식 9에서 α는 Base 영상의 Artifact 유무를 판단하는 파라미터로써, Base 영상의 intensity값을 weight로 갖는 5x5 영역 안의 평균값과 현재 픽셀의 차이값을 threshold와의 minimum값으로 정한다. 이렇게 구해진 α는 artifact를 상쇄하기 위한 가중치값으로 사용된다.
α가중치는 수학식 10을 통해 구해진다.
Figure pat00011
해상도가 높지만 artifact가 있는 영상과 artifact가 없는 blur영상의 차이를 구하고, th값을 이용하여 0~1의 범위로 가중치 α를 제한한다. 이 경우 α가 크면 artifact가 많은 것으로 파악하여 blur를 사용하고, α가 작으면 해상도가 높은 영상을 사용하도록 한다.
Figure pat00012
수학식 10 및 11에서 Blur 영상은 artifact가 있는 영상에서 주변 픽셀과의 가중치합(weighted sum)으로 결정된다. 가중치는 Base영상에서 현재 픽셀과 주변 픽셀과의 차이에 따라서 결정된다. 주변 픽셀과의 차이가 크면 다른 픽셀로 간주되어 가중치가 작아지고, 주변 픽셀과의 차이가 작으면 유사한 픽셀로써 가중치가 커진다.
이상의 과정을 R,G,B 및 NIR 채널에 각각 수행한 후 왜곡이 상쇄된 각 채널을 합하여 수학식 12와 같은 최종 Base 영상을 획득한다.
Figure pat00013
도 13는 본 발명의 바람직한 일 실시예로서, MFA패턴 영상으로부터 고해상도의 Base 영상을 생성하는 영상처리방법의 흐름도를 도시한다.
도 5에 도시된 바와 같이 MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석한다(S1310). 이 후 도 6에 도시된 바와 같이 컬러채널 및 근적외선 채널 각각의 페이즈 특성이 서로 상쇄되도록 상기 컬러 채널 및 근적외선 채널을 합하여 에일리어싱을 최소화한다(S1320).
그 후, 도 7와 같이 에일리어싱이 제거된 컬러 채널 및 근적외선 채널의 해상도를 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성한다(S1330).
이 때 Sinc함수의 컷오프 주파수를 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정할 수 있다. Sinc 함수에서 컷오프 주파수를 적응적으로 설정하는 방법은 수학식 6 내지 7을 참고한다.
이상을 통해 고해상도의 Base 영상을 획득하면 고해상도 Base 영상 내에 왜곡 정도를 판단한다. 그 후 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄한다(S1340).
이 경우 왜곡 현상이 많은 것으로 파악되면 상기 블러영상에 가중치를 많이 부여하고, 왜곡현상이 작은 것으로 파악되면 상기 생성된 Base 영상에 가중치를 많이 부여하며, 상기 블러영상에 부여하는 가중치 및 상기 생성된 Base 영상에 부여하는 가중치의 합은 1이 되도록 설정한다. 왜곡 현상을 제거하는 방법은 수학식 9내지 12의 설명을 참고한다. 이상의 단계를 통해 최종적으로 왜곡현상이 제거된 고해상도의 Base 영상이 획득된다(S1350).
본 발명의 실시예는 RGB 픽셀과 NIR 픽셀 구조를 갖는 센서를 이용한 디지털 카메라 시스템, 특히 감시카메라 분야에 적용할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (20)

  1. MFA(Multi-spectral Filter Array) 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 에일리어싱을 상쇄하는 단계;
    상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하는 단계;및
    상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값(확인 바랍니다) 을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 단계;를 포함하는 것을 특징으로 하는 영상처리 방법.
  2. 제 1 항에 있어서, 상기 에일리어싱을 상쇄하는 단계는
    상기 컬러 채널 및 근적외선 채널에서 상이하게 나타나는 페이즈 특성을 고려하여 상기 MFA 패턴 영상의 컬러 채널 및 근적외선 채널을 합치는 것을 특징으로 하는 영상처리 방법.
  3. 제 1 항에 있어서, 상기 고해상도의 Base영상을 생성하는 단계에서
    상기 에일리어싱이 제거된 각각의 상기 컬러 채널 및 상기 근적외선 채널을 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시키는 것을 특징으로 하는 영상처리 방법.
  4. 제 3 항에 있어서,
    상기 Sinc 함수는 0.5Π 이상의 컷오프 주파수를 이용하는 것을 특징으로 하는 영상처리 방법.
  5. 제 3 항에 있어서,
    상기 Sinc 함수의 컷오프 주파수 Wc는 상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정되고, 이 경우 컷오프 주파수 Wc는 상기 국부영역의 변화량이 높은 경우 상기 Sinc 함수의 패스밴드(passband)를 높이도록 설정되고, 상기 국부영역의 변화량이 낮은 경우 상기 Sinc 함수의 패스밴드를 낮추도록 설정되는 것을 특징으로 하는 영상처리 방법.
  6. 제 3 항에 있어서,
    Base(i,j)=(Gs(i,j)+Ns(i,j)+Rs(i,j)+Bs(i,j))*Sinc(i,j)
    Rs(i,j), Gs(i,j) 및 Bs(i,j)는 상기 MFA패턴 영상의 컬러 채널을, Ns(i,j)는 상기 MFA패턴 영상의 근적외선 채널을 나타내고, 상기 컬러 채널 및 상기 근적외선 채널의 합을 통해 에일리어싱이 제거되며, 상기 Sinc(i,j) 함수를 통해 Base 영상의 해상도만큼 증폭되는 것을 특징으로 하는 영상처리 방법.
  7. 제 3 항에 있어서,
    상기 Sinc 함수의 컷오프 주파수 Wc는 상기 국부영역의 변화량을 값을 변수로 하는 tanh 함수에 기초하여 설정되는 것을 특징으로 하는 영상처리 방법.
  8. 제 3 항 또는 제 7항에 있어서, 상기 Sinc 함수의 컷오프 주파수는
    Figure pat00014
    와 같이 적응적으로 설정되고, 이 경우 x는
    Figure pat00015
    와 같이 설정되며,
    x는 적응적인 컷오프 주파수를 구하기 위한 입력으로서, S커브(tanh) 가중치에 의해 조절된 국부 영역의 분산을 나타내고, p와 k는 국부 변화량을 조절하는 팩터인 것을 특징으로 하는 영상처리 방법.
  9. 제 1 항에 있어서, 상기 왜곡현상을 상쇄하는 단계는
    상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상 각각에 가중치를 부여한 후 합하여 왜곡현상을 상쇄하고, 이 경우
    왜곡 현상이 많은 것으로 파악되면 상기 블러영상에 가중치를 많이 부여하고, 왜곡현상이 작은 것으로 파악되면 상기 생성된 Base 영상에 가중치를 많이 부여하며, 상기 블러영상에 부여하는 가중치 및 상기 생성된 Base 영상에 부여하는 가중치의 합은 1인 것을 특징으로 하는 영상처리 방법.
  10. MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 상기 컬러채널 및 근적외선 채널 각각의 페이즈 특성이 서로 상쇄되도록 상기 컬러 채널 및 근적외선 채널을 합하여 에일리어싱을 상쇄하는 단계;
    상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하고, 상기 Sinc함수의 컷오프 주파수를 상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정하는, 생성단계;및
    상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 단계;를 포함하는 것을 특징으로 하는 영상처리 방법.
  11. 제 10항에 있어서,
    Base(i,j)=(Gs(i,j)+Ns(i,j)+Rs(i,j)+Bs(i,j))*Sinc(i,j)
    Rs(i,j), Gs(i,j) 및 Bs(i,j)는 상기 MFA패턴 영상의 컬러 채널을, Ns(i,j)는 상기 MFA패턴 영상의 근적외선 채널을 나타내고, 상기 컬러 채널 및 상기 근적외선 채널의 합을 통해 에일리어싱이 제거되며, 상기 Sinc(i,j) 함수를 통해 Base 영상의 해상도만큼 증폭되어 상기 고해상도의 Base 영상이 생성되는 것을 특징으로 하는 영상처리 방법.
  12. 제 10항에 있어서,
    상기 Sinc 함수의 컷오프 주파수 Wc는 상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정되고, 이 경우 컷오프 주파수 Wc는 상기 국부영역의 변화량이 높은 경우 상기 Sinc 함수의 패스밴드(passband)를 높이도록 설정되고, 상기 국부영역의 변화량이 낮은 경우 상기 Sinc 함수의 패스밴드를 낮추도록 설정되는 것을 특징으로 하는 영상처리 방법.
  13. 제 10항에 있어서,
    상기 Sinc 함수의 컷오프 주파수는
    Figure pat00016
    와 같이 적응적으로 설정되고, 이 경우 x는
    Figure pat00017
    와 같이 설정되며,
    x는 적응적인 컷오프 주파수를 구하기 위한 입력으로서, S커브(tanh) 가중치에 의해 조절된 국부 영역의 분산을 나타내고, p와 k는 국부 변화량을 조절하는 팩터인 것을 특징으로 하는 영상처리 방법.
  14. 제 10 항에 있어서, 상기 왜곡현상을 상쇄하는 단계는
    상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상 각각에 가중치를 부여한 후 합하여 왜곡현상을 상쇄하고, 이 경우
    왜곡 현상이 많은 것으로 파악되면 상기 블러영상에 가중치를 많이 부여하고, 왜곡현상이 작은 것으로 파악되면 상기 생성된 Base 영상에 가중치를 많이 부여하며, 상기 블러영상에 부여하는 가중치 및 상기 생성된 Base 영상에 부여하는 가중치의 합은 1인 것을 특징으로 하는 영상처리 방법.
  15. MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 에일리어싱을 상쇄하는 에일리어싱상쇄부;
    상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하는 고해상도Base영상 생성부;및
    상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 왜곡상쇄부;를 포함하는 것을 특징으로 하는 영상처리장치.
  16. 제 15 항에 있어서, 상기 에일리어싱상쇄부는
    상기 컬러 채널 및 근적외선 채널에서 상이하게 나타나는 페이즈 특성을 고려하여 상기 MFA 패턴 영상의 컬러 채널 및 근적외선 채널을 합치는 것을 특징으로 하는 영상처리장치.
  17. 제 15 항에 있어서, 상기 고해상도Base영상 생성부는
    상기 에일리어싱이 제거된 각각의 상기 컬러 채널 및 상기 근적외선 채널을 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시키는 것을 특징으로 하는 영상처리장치.
  18. 제 17 항에 있어서, 상기 Sinc 함수의 컷오프 주파수 Wc는
    상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정되고, 이 경우 컷오프 주파수 Wc는 상기 국부영역의 변화량이 높은 경우 상기 Sinc 함수의 패스밴드(passband)를 높이도록 설정되고, 상기 국부영역의 변화량이 낮은 경우 상기 Sinc 함수의 패스밴드를 낮추도록 설정되는 것을 특징으로 하는 영상처리장치.
  19. 제 15 항에 있어서, 상기 왜곡상쇄부는
    상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상 각각에 가중치를 부여한 후 합하여 왜곡현상을 상쇄하고, 이 경우
    왜곡 현상이 많은 것으로 파악되면 상기 블러영상에 가중치를 많이 부여하고, 왜곡현상이 작은 것으로 파악되면 상기 생성된 Base 영상에 가중치를 많이 부여하며, 상기 블러영상에 부여하는 가중치 및 상기 생성된 Base 영상에 부여하는 가중치의 합은 1인 것을 특징으로 하는 영상처리 장치.
  20. MFA 패턴 영상의 컬러 채널 및 근적외선 채널의 주파수 특성을 분석하여 상기 컬러채널 및 근적외선 채널 각각의 페이즈 특성이 서로 상쇄되도록 상기 컬러 채널 및 근적외선 채널을 합하여 에일리어싱을 상쇄하는 에일리어싱상쇄부;
    상기 에일리어싱이 제거된 상기 컬러 채널 및 근적외선 채널의 해상도를 Sinc 함수를 이용하여 Base 영상의 해상도만큼 증폭시켜 고해상도의 Base영상을 생성하고, 상기 Sinc함수의 컷오프 주파수를 상기 MFA 패턴 영상에서 구해진 국부영역의 통계적 특성에 따라 적응적으로 설정하는, 고해상도Base영상 생성부;및
    상기 생성된 Base영상을 Blur시킨 블러영상과 상기 생성된 Base 영상의 픽셀 차이값을 기초로 상기 블러영상과 상기 생성된 Base 영상에 가중치를 부여한 후 합하여 상기 생성된 Base영상에서 왜곡현상을 상쇄하는 왜곡상쇄부;를 포함하는 것을 특징으로 하는 영상처리장치.

KR1020120140543A 2012-12-05 2012-12-05 영상 처리 방법 및 장치 KR101749925B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120140543A KR101749925B1 (ko) 2012-12-05 2012-12-05 영상 처리 방법 및 장치
US13/919,154 US9319602B2 (en) 2012-12-05 2013-06-17 Method and apparatus for processing image
JP2013236604A JP6444592B2 (ja) 2012-12-05 2013-11-15 映像処理方法及びその装置
CN201310651897.XA CN103854266B (zh) 2012-12-05 2013-12-05 用于对图像进行处理的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120140543A KR101749925B1 (ko) 2012-12-05 2012-12-05 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140072712A true KR20140072712A (ko) 2014-06-13
KR101749925B1 KR101749925B1 (ko) 2017-06-23

Family

ID=50825085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120140543A KR101749925B1 (ko) 2012-12-05 2012-12-05 영상 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US9319602B2 (ko)
JP (1) JP6444592B2 (ko)
KR (1) KR101749925B1 (ko)
CN (1) CN103854266B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651791A (zh) * 2016-11-21 2017-05-10 云南电网有限责任公司电力科学研究院 一种单幅运动模糊图像恢复方法
KR20180120056A (ko) * 2017-04-26 2018-11-05 김정희 학습 데이터 전처리 방법 및 시스템
KR20210103381A (ko) * 2020-02-13 2021-08-23 주식회사 루닛 데이터의 전향적 전처리 장치 및 그 방법
KR20210149426A (ko) * 2020-06-02 2021-12-09 인하대학교 산학협력단 고해상도 얼굴 영상 복원 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
WO2019051591A1 (en) * 2017-09-15 2019-03-21 Kent Imaging VISIBLE AND INFRARED HYBRID IMAGING WITH A RGB COLOR FILTER NETWORK SENSOR
US10560641B2 (en) 2017-12-28 2020-02-11 Facebook, Inc. Systems and methods for generating a bias for a camera sensor for increasing resolution of captured images
US10681267B2 (en) * 2017-12-28 2020-06-09 Facebook, Inc. Systems and methods for increasing resolution of images captured by a camera sensor
CN111200755A (zh) * 2018-11-20 2020-05-26 晨星半导体股份有限公司 影像像素提升装置与方法
CN110095189B (zh) * 2019-04-24 2020-09-25 西安理工大学 一种双目的八谱段多光谱相机设计方法
WO2022020989A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 一种滤光阵列、移动终端以及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5928113B2 (ja) * 1981-10-14 1984-07-10 株式会社日立製作所 固体カラ−テレビジヨンカメラ
JPH09107479A (ja) * 1995-09-29 1997-04-22 Fuji Photo Film Co Ltd 画像処理方法および装置
US6424649B1 (en) * 1997-12-31 2002-07-23 Cisco Technology, Inc. Synchronous pipelined switch using serial transmission
US6424749B1 (en) * 1999-03-30 2002-07-23 Matsushita Electric Industrial Co., Ltd. System and method for scaling combined video and computer generated imagery
JP2001086394A (ja) * 1999-09-10 2001-03-30 Sony Corp 撮像装置
US6970577B2 (en) 2000-12-19 2005-11-29 Lockheed Martin Corporation Fast fourier transform correlation tracking algorithm with background correction
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP4178480B2 (ja) * 2006-06-14 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
JP5521927B2 (ja) 2010-09-13 2014-06-18 コニカミノルタ株式会社 撮像装置
US8520971B2 (en) * 2010-09-30 2013-08-27 Apple Inc. Digital image resampling

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651791A (zh) * 2016-11-21 2017-05-10 云南电网有限责任公司电力科学研究院 一种单幅运动模糊图像恢复方法
CN106651791B (zh) * 2016-11-21 2023-07-07 云南电网有限责任公司电力科学研究院 一种单幅运动模糊图像恢复方法
KR20180120056A (ko) * 2017-04-26 2018-11-05 김정희 학습 데이터 전처리 방법 및 시스템
KR20210103381A (ko) * 2020-02-13 2021-08-23 주식회사 루닛 데이터의 전향적 전처리 장치 및 그 방법
KR20210149426A (ko) * 2020-06-02 2021-12-09 인하대학교 산학협력단 고해상도 얼굴 영상 복원 방법 및 장치

Also Published As

Publication number Publication date
US9319602B2 (en) 2016-04-19
KR101749925B1 (ko) 2017-06-23
JP6444592B2 (ja) 2018-12-26
JP2014116934A (ja) 2014-06-26
US20140152838A1 (en) 2014-06-05
CN103854266A (zh) 2014-06-11
CN103854266B (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
KR101749925B1 (ko) 영상 처리 방법 및 장치
KR101744761B1 (ko) 영상처리장치 및 방법
JP4098319B2 (ja) 解像度変換方法および解像度変換装置
EP2160715B1 (en) Image processing method and apparatus
US8744206B2 (en) Image processing apparatus, image processing method, and program
KR101578583B1 (ko) 화상 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능한 기억 매체
US9824424B2 (en) Image amplifying method, image amplifying device, and display apparatus
KR20100056167A (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
KR20160138685A (ko) 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법
KR101813292B1 (ko) 이미지 개선 방법
JP2012104968A (ja) 画像処理装置およびその制御方法
US7903900B2 (en) Low complexity color de-noising filter
KR101341099B1 (ko) 노이즈 저감 방법 및 장치
JP2012216888A (ja) 画像理装置および方法、並びにプログラム
JP5771677B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US20050025380A1 (en) Digital image processing methods, digital image devices, and articles of manufacture
JP6800090B2 (ja) 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体
Huebner et al. Software-based mitigation of image degradation due to atmospheric turbulence
KR20130040321A (ko) 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법
JP6426909B2 (ja) 色情報補完装置およびそのプログラム
KR20190070134A (ko) 대형 디스플레이의 영상 크기 조절 장치 및 방법
JP2010213175A (ja) 画像処理装置及び撮像装置
JP6532148B2 (ja) 超解像装置およびプログラム
KR101794726B1 (ko) 영상 컬러 보간 장치 및 방법
Le Dinh et al. Cascaded neural network-based S-VHS restoration

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant