KR101574730B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101574730B1
KR101574730B1 KR1020080113984A KR20080113984A KR101574730B1 KR 101574730 B1 KR101574730 B1 KR 101574730B1 KR 1020080113984 A KR1020080113984 A KR 1020080113984A KR 20080113984 A KR20080113984 A KR 20080113984A KR 101574730 B1 KR101574730 B1 KR 101574730B1
Authority
KR
South Korea
Prior art keywords
video signal
noise
signal
detail
unit
Prior art date
Application number
KR1020080113984A
Other languages
English (en)
Other versions
KR20100055067A (ko
Inventor
유영진
최원희
권재현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020080113984A priority Critical patent/KR101574730B1/ko
Priority to CN200910150383XA priority patent/CN101742089B/zh
Priority to US12/573,976 priority patent/US8463069B2/en
Priority to EP09175500.9A priority patent/EP2187621B1/en
Publication of KR20100055067A publication Critical patent/KR20100055067A/ko
Application granted granted Critical
Publication of KR101574730B1 publication Critical patent/KR101574730B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Picture Signal Circuits (AREA)

Abstract

고감도의 영상을 획득할 수 있는 영상 처리 장치 및 방법이 개시된다. 본 발명의 일 양상에 따르면, 컬러 영상 신호의 노이즈를 제거할 때 컬러 영상 보다 상대적으로 감도가 높은 보조 영상 신호를 이용하여 노이즈를 제거하며, 이 보조 영상 신호의 고주파 성분을 이용하여 노이즈가 제거된 컬러 영상 신호의 디테일을 복원하는 것이 가능하다.
주 영상 신호, 보조 영상 신호, 노이즈, 영상 처리, 고감도

Description

영상 처리 장치 및 방법{apparatus and method for processing images}
고감도의 영상을 획득하기 위해 영상 신호의 노이즈를 제거하고 디테일을 복원하는 기술과 관련된다.
영상 회득 장치란 피사체로부터 반사된 빛을 획득하고 이를 처리하여 사용자에게 피사체에 관한 영상을 표시하는 장치를 지칭하는 것이 일반적이다. 최근에는 정보통신기술이 발전됨에 따라 디지털 카메라와 같은 영상 획득 장치가 다수 보급되기에 이르렀다.
디지털 카메라의 경우, 피사체로부터 반사된 빛을 흡수하고 이를 전기적인 신호로 변환하는 이미지 센서가 내장되며, 이러한 이미지 센서로부터 취득한 영상 신호를 이미지 프로세싱(image processing)하여 영상을 표시하게 된다. 이때, 흡수되는 빛은 이미지 센서 앞에 위치한 필터를 통해 특정 파장 대역의 가시광선만 선택되는 것이 일반적이다.
그러나, 가시광선의 특정 대역의 빛을 이용하여 촬영을 하게 되면, 조도가 미약한 환경(예컨대, 실내 또는 야간) 또는 고속 촬영 시 심한 노이즈가 발생되어 영상이 왜곡되는 문제점이 있다. 특히 컬러 영상의 경우, 낮은 감도와 노이즈에 의 해 고주파/디테일 성분이 왜곡되어 화질 저하의 정도가 매우 심하다.
한편, 가시광 대역의 빛을 영상 신호로 변환하여 컬러 영상을 얻는 영상 획득 장치 이외에도 적외선 대역까지 포함하는 빛을 흡수하여 영상을 획득하는 장치도 등장하게 되었다. 적외선 카메라가 그 대표적인 예인데, 적외선 카메라로부터 획득된 영상은 컬러 정보는 없지만, 일반적인 카메라에서 획득된 영상에 비해 비교적 감도가 높은 특성을 갖고 있다.
본 명세서에서는, 컬러 영상의 노이즈를 제거하고 디테일을 복원하기 위해 컬러 영상 보다 상대적으로 고감도인 보조 영상을 이용하여 컬러 영상을 처리하는 영상 처리 장치 및 방법이 개시된다.
보다 구체적으로, 본 발명의 일 양상에 따른 영상 처리 장치는 주 영상 신호와 보조 영상 신호를 입력 받으며, 보조 영상 신호에 대한 정보를 이용하여 주 영상 신호의 노이즈를 제거하고, 보조 영상 신호의 노이즈 제거 결과로부터 얻어진 보조 영상 신호의 고주파 성분을 이용하여 주 영상 신호의 디테일을 복원하는 것이 가능하다.
또한, 본 발명의 다른 양상에 따른 영상 처리 장치는 주 영상 신호와 보조 영상 신호를 입력 받아 처리하는 영상 처리 장치에 있어서, 보조 영상 신호의 노이즈를 제거하는 제 1 노이즈 저감부, 주 영상 신호를 입력 받으며, 보조 영상 신호에 관한 정보를 이용하여 주 영상 신호의 노이즈를 제거하는 제 2 노이즈 저감부, 제 1 노이즈 저감부의 출력으로부터 보조 영상 신호의 고주파 성분을 추출하는 고주파 추출부, 및 제 2 노이즈 저감부의 출력을 수신하며, 보조 영상 신호의 고주파 성분을 이용하여 주 영상 신호의 디테일을 복원하는 디테일 복원부를 포함할 수 있다.
또한, 본 발명의 또 다른 양상에 따른 영상 처리 장치는 주 영상 신호와 보 조 영상 신호를 입력 받아 처리하는 영상 처리 장치에 있어서, 보조 영상 신호의 노이즈를 제거하는 제 1 노이즈 저감부, 주 영상 신호를 입력 받으며, 보조 영상 신호에 관한 정보 또는 주 영상 신호에 관한 정보를 선택적으로 이용하여 주 영상 신호의 노이즈를 제거하는 제 2 노이즈 저감부, 제 1 노이즈 저감부의 출력으로부터 보조 영상 신호의 고주파 성분을 추출하는 고주파 추출부, 및 제 2 노이즈 저감부의 출력을 수신하며, 보조 영상 신호의 고주파 성분을 이용하여 주 영상 신호의 디테일을 복원하는 디테일 복원부를 포함할 수 있다. 그리고 이때, 주 영상 신호와 보조 영상 신호의 특성을 비교하여 보조 영상 신호에 관한 정보를 제 2 노이즈 저감부로 인가하거나 이를 차단하는 스위치부를 더 포함하는 것이 가능하다.
본 발명의 일 양상에 따라, 주 영상 신호는 컬러 신호 또는 RGB 신호가 될 수 있고, 보조 영상 신호는 가시광 전대역 신호, 가시광 전대역과 적외광 신호 또는 가시광 전대역과 자외광 신호가 될 수 있다.
그리고, 본 발명의 또 다른 양상에 따라, 영상 처리 장치는 고주파 추출부의 출력 및 제 2 노이즈 저감부의 출력을 수신하며, 보조 영상 신호의 고주파 성분에서 디테일과 노이즈를 구별하고 이중 디테일을 추출하여 디테일 복원부로 인가하는 디테일 추출부를 더 포함할 수 있다.
또한, 본 발명의 또 다른 양상에 따라, 디테일 복원부의 출력 신호를 수신하여 링 왜곡을 제거하는 링 왜곡 저감부를 더 포함하는 것도 가능하다.
한편, 본 발명의 일 양상에 따른 영상 처리 방법은 컬러 영상 신호와 이 컬러 영상 신호에 비해 상대적으로 감도가 높은 보조 영상 신호를 각각 획득하는 단 계, 보조 영상 신호의 노이즈를 제거하는 단계, 보조 영상 신호에 관한 정보를 이용하여 컬러 영상 신호의 노이즈를 제거하는 단계, 노이즈가 제거된 보조 영상 신호에서 고주파 성분을 추출하는 단계, 및 추출된 고주파 성분을 이용하여 노이즈가 제거된 컬러 영상 신호의 디테일을 복원하는 단계를 포함할 수 있다.
적외선 성분을 포함한 영상 또는 일반적인 컬러 영상에 비해 광대역을 갖는 영상은 동일한 조명 조건에서 수광 대역이 현저히 증가되어 저조도 환경에서도 식별 가능한 영상 정보를 생성한다. 따라서 고잡음 특성의 색 정보를 가진 영상을 고감도 특성의 적외선 또는 광 파작대역의 빛을 이용하여 처리하면 저잡음 특성의 고감도 영상을 획득하는 것이 가능하다. 개시된 내용에 의하면, 보조 영상 신호에 관한 정보를 이용하여 주 영상 신호의 노이즈를 제거하고 디테일을 복원하기 때문에 저조도 환경에서도 고감도, 고품질의 영상을 획득할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다. 후술되는 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니한다.
도 1은 본 발명의 실시예에 따른 영상 처리 장치의 전체적인 모습을 도시한다.
도 1에서, 본 실시예에 따른 영상 처리 장치(100)는 디지털 카메라와 같은 영상 획득 장치 및 셋탑 박스 등에 탑재되는 소프트웨어 시스템 또는 이미지 프로 세싱 칩 등이 될 수 있다.
영상 처리 장치(100)는 주 영상 신호와 보조 영상 신호를 수신하고 이를 처리하여 결과 영상을 출력한다. 이때, 신호 처리는 고감도 영상을 얻기 위해 각 신호의 노이즈를 제거하고 디테일을 복원하는 과정을 포함할 수 있다.
주 영상 신호(main image signal)는 색 정보를 가지는 영상 신호가 될 수 있다. 예컨대, 주 영상 신호는 빛의 스펙트럼 중에서 특정 파장 대역에 대응되는 컬러 신호 또는 RGB 신호가 될 수 있다. 그리고, 보조 영상 신호(subsidiary image signal)는 색 정보를 가지지 아니하며 주 영상 신호에 비해 상대적으로 고감도인 영상 신호가 될 수 있다. 예컨대, 보조 영상 신호는 빛의 스펙트럼 중에서 가시광 전대역 신호(W), 가시광 전대역 및 적외광 신호(W+NIR) 또는 가시광 전대역 및 자외광 신호(W+UV)가 될 수 있다.
도 2는 이러한 주 영상 신호와 보조 영상 신호의 일 예를 나타낸 것이다.
도 2에서, (a)는 주 영상 신호의 일 예로써, RGB 신호에 대한 스펙트럼을 도시한 것이고, (b)는 보조 영상 신호의 일 예로써, 가시광 및 근적외광 신호에 대한 스펙트럼을 도시한 것이다.
도 2를 참조하면, 주 영상 신호인 (a)에 비해 보조 영상 신호인 (b)가 더 넓은 범위의 파장 대역을 차지하고 있는 것을 알 수 있다. 일반적으로 저조도 환경에서 얻어진 컬러 영상은 노출 시간의 부족, 신호 처리시의 증폭 과정으로 인해 많은 노이즈가 생기게 된다. 그러나, 적외광을 포함하는 영상 신호의 경우, 더 넓은 파장 대역의 빛을 이용하기 때문에 상대적으로 고감도의 영상을 얻는 것이 가능하다. 즉, 도 2와 같이, 서로 다른 특성을 갖는 주 영상 신호와 보조 영상 신호에서 각 신호가 갖는 장점을 활용하면 고감도의 우수한 영상을 얻는 것이 가능하다.
도 3은 주 영상 신호와 보조 영상 신호를 얻기 위한 이미지 센서의 일 예를 도시한다.
도 3을 참조하면, 이미지 센서(300)는 필터부(301)와 센서부(302)를 포함한다. 그리고, 필터부(301)는 컬러부(303)와 투명부(304)로 구성되며, 센서부(302)는 컬러부(303)의 하부에 형성되는 제 1 수광 영역(305)과 투명부(304)의 하부 및 제 1 수광 영역(305)의 하부에 형성되는 제 2 수광 영역(306)으로 구성될 수 있다. 컬러부(303)는 가시광선 중에서 색 정보를 갖는 특정 파장 대역의 빛만 투과시키므로, 제 1 수광 영역(305)에서는 RGB 신호와 같은 주 영상 신호를 생성하는 것이 가능하다. 또한, 투명부(304)는 전 대역의 빛을 투과시키므로 제 2 수광 영역(306)의 상부에서는 가시광선의 모든 대역의 빛(예컨대, White 신호)가 감지되고, 제 2 수광 영역(306)의 하부에서는 그보다 파장이 긴 적외광(예컨대, NIR 신호)이 감지되는 것이 가능하다.
따라서, 제 1 수광 영역(305)으로부터 주 영상 신호를 회득하고, 제 2 수광 영역(306)으로부터 보조 영상 신호를 획득할 수 있다.
도 4는 본 발명의 실시예에 따른 영상 처리 장치에 관한 일 예를 도시한다.
도 4를 참조하면, 본 실시예에 따른 영상 처리 장치(400)는 제 1 노이즈 저감부(401), 제 2 노이즈 저감부(402), 고주파 추출부(403), 디테일 복원부(404)를 포함할 수 있다.
제 1 노이즈 저감부(401)는 보조 영상 신호의 노이즈를 제거한다.
여기서 보조 영상 신호는 비교적 고감도의 영상 신호인 가시광 전대역 신호(W), 가시광 전대역 및 적외광 신호(W+NIR) 또는 가시광 전대역 및 자외광 신호(W+UV)가 될 수 있다.
노이즈를 제거하는 방법은 여러 가지가 사용될 수 있는데, 보조 영상 신호는 비교적 고감도의 영상 신호이므로 Low-Pass filter를 이용하여 노이즈를 제거하는 것이 가능하다.
또한 선택적으로, 제 1 노이즈 저감부(401)는 보조 영상 신호의 노이즈 특성을 반영하는 프로파일을 포함할 수 있다. 노이즈 프로파일은 실험을 통한 노이즈 모델링을 통해 얻을 수 있는데, 이를 포함하게 되면 보조 영상 신호의 노이즈 추정 오차를 줄여 성능을 높일 수 있고 또한, 추정 속도를 높일 수 있다.
제 2 노이즈 저감부(402)는 주 영상 신호를 입력 받으며, 보조 영상 신호에 관한 정보를 이용하여 주 영상 신호의 노이즈를 제거한다.
여기서 주 영상 신호는 상대적으로 저감도의 영상 신호인 컬러 신호 또는 RGB 신호가 될 수 있다. 또한, 보조 영상 신호에 관한 정보는 보조 영상 신호의 노이즈 특성 정보가 될 수 있다.
구체적인 수식을 통해 보조 영상 신호에 관한 정보를 이용하여 주 영상 신호의 노이즈를 제거하는 방법을 설명하면 다음과 같다.
y=x1+n
수학식 1에서, y는 주 영상 신호를, n은 노이즈 정보를, x1은 노이즈가 제거된 영상 정보를 나타낸다. 즉, 주 영상 신호에서 노이즈를 제거한다 함은 위 식에서 x1을 찾는 것으로 이해할 수 있다. 계산의 편의를 위해 위 식을 wavelet 변환하면 다음 수식과 같다.
Y=X1+n
수학식 2에서, X1을 찾기 위해 Minimum Mean Square Error(MMSE) 추정 방법을 적용하면, X1은 다음과 같이 나타낼 수 있다.
X1={σ2 s / (σ2 s+σ2 n)}·Y
수학식 3에서, σ2 s는 신호의 분산(variance)을, σ2 n은 노이즈의 분산(variance)을 의미한다. 이때 신호의 분산인 σ2 s값을 추정해야 하는데, 제 1 노이즈 저감부(401)로부터 입력 되는 보조 영상 신호의 노이즈 특성을 이용하여 σ2 s값을 추정하면, 보조 영상 신호에 관한 정보를 이용하여 주 영상 신호의 노이즈를 제거하는 것이 가능하다.
위 수학식 1 내지 3은 보조 영상 신호에 관한 정보를 이용하여 주 영상 신호의 노이즈를 제거하는 방법을 예시적으로 설명하기 위한 것으로, 그 밖에도 제 1 노이즈 저감부(401)에서 계산된 보조 영상 신호의 노이즈 특성을 이용한 bilateral filter 기법 등이 적용될 수 있다.
고주파 추출부(403)는 제 1 노이즈 저감부(401)의 출력으로부터 보조 영상 신호의 고주파 성분을 추출한다. 예컨대, 고주파 추출부(403)에서는 노이즈가 저감된 보조 영상 신호를 하이 패스 필터링(high-pass filtering)하여 고주파 성분을 추출하는 것이 가능하다.
디테일 복원부(404)는 제 2 노이즈 저감부(402)의 출력을 수신하며, 보조 영상 신호의 고주파 성분을 이용하여 주 영상 신호의 디테일(detail)을 복원한다. 예컨대, 제 2 노이즈 저감부(402)의 출력인 노이즈가 제거된 주 영상 신호에 고주파 추출부(403)에서 추출된 보조 영상 신호의 고주파 성분을 합성하여 디테일을 복원하는 것이 가능하다. 이때 선택적으로, 디테일 복원부(404)에는 노이즈 증폭을 억제하는 기능이 추가될 수도 있다.
도 5는 본 발명의 실시예에 따른 영상 처리 장치에 관한 다른 예를 도시한다.
도 5를 참조하면, 본 실시예에 따른 영상 처리 장치(500)는 도 4의 구성 외에 디테일 추출부(501)와 링 왜곡 저감부(502)를 더 포함하는 것을 알 수 있다. 도 5에서, 제 1 노이즈 저감부(401), 제 2 노이즈 저감부(402), 고주파 추출부(403), 디테일 복원부(404)는 전술한 내용과 동일하므로 여기서는 자세한 설명을 생략하기 로 한다.
디테일 추출부(501)는 고주파 추출부(403)의 출력 및 제 2 노이즈 저감부(402)의 출력을 수신하며, 보조 영상 신호의 고주파 성분에서 디테일과 노이즈를 구별하고 이중 디테일을 추출하여 디테일 복원부(404)로 인가하는 것이 가능하다. 보조 영상 신호의 고주파 성분을 이용하여 주 영상 신호의 디테일을 복원하는 경우, 신호 합성 시 노이즈가 함께 증폭될 가능성이 있으므로, 디테일 추출부(501)는 보조 영상 신호의 고주파 성분에서 디테일과 노이즈를 구별하여 디테일 성분만 디테일 복원부(404)로 입력되도록 하는 것이다. 이때 디테일과 노이즈의 구별은 휘도를 기반으로 이루어질 수 있다.
링 왜곡 저감부(502)는 디테일 복원부(404)의 출력 신호를 수신하여 링 왜곡을 제거한다. 예컨대, 링 왜곡 저감부(502)는 노이즈가 제거된 보조 영상 신호와 주 영상 신호에 대한 dual clustering을 통한 Maximum Likelihood 추정 방법을 이용하여 ringing을 제거하는 것이 가능하다.
도 6은 본 발명의 실시예에 따른 영상 처리 장치에 관한 또 다른 예를 도시한다.
도 6을 참조하면, 본 실시예에 따른 영상 처리 장치(600)는 제 1 노이즈 저감부(601), 제 2 노이즈 저감부(602), 고주파 추출부(603), 디테일 복원부(604), 스위치부(605)를 포함할 수 있다.
제 1 노이즈 저감부(601)는 보조 영상 신호의 노이즈를 제거한다. 여기서 보조 영상 신호는 비교적 고감도의 영상 신호인 가시광 전대역 신호(W), 가시광 전대 역 및 적외광 신호(W+NIR) 또는 가시광 전대역 및 자외광 신호(W+UV)가 될 수 있다. 노이즈를 제거하는 방법은 여러 가지가 사용될 수 있는데, 보조 영상 신호는 비교적 고감도의 영상 신호이므로 Low-Pass filter를 이용하여 노이즈를 제거하는 것이 가능하다. 또한 선택적으로, 제 1 노이즈 저감부(601)는 보조 영상 신호의 노이즈 특성을 반영하는 프로파일을 포함할 수 있다.
제 2 노이즈 저감부(602)는 주 영상 신호를 입력 받으며, 보조 영상 신호에 관한 정보 또는 주 영상 신호에 관한 정보를 선택적으로 이용하여 주 영상 신호의 노이즈를 제거한다.
제 2 노이즈 저감부(602)는 전술한 수학식 1 내지 3을 통해 주 영상 신호의 노이즈를 제거하는 것이 가능하다. 그러나, 제 2 노이즈 저감부(602)가 수학식 3과 같이 신호의 분산인 σ2 s값을 추정할 때, 제 1 노이즈 저감부(601)로부터 입력 되는 보조 영상 신호의 노이즈 특성을 이용하거나 주 영상 신호의 자체 정보만을 이용하여 σ2 s값을 추정하는 것이 가능하다. 예를 들어, 주 영상 신호와 보조 영상 신호 간의 영상 특성이 실질적으로 동일하거나 유사한 경우에는 보조 영상 신호에 관한 정보를 이용하고, 그 영상 특성이 상이한 경우에는 주 영상 신호에 관한 정보만 이용하는 것이 가능하다.
이를 위해, 스위치부(605)는 주 영상 신호와 보조 영상 신호를 입력 받아 그 영상 특성을 비교하고, 그 비교 결과에 따라 제 1 노이즈 저감부(601)로부터 출력 되는 보조 영상 신호에 관한 정보를 제 2 노이즈 저감부(602)로 인가하거나 이를 차단하는 것이 가능하다.
고주파 추출부(603)는 제 1 노이즈 저감부(601)에서 출력되는 노이즈가 저감된 보조 영상 신호를 하이 패스 필터링(high-pass filtering)하여 고주파 성분을 추출하는 것이 가능하다.
디테일 복원부(604)는 제 2 노이즈 저감부(602)의 출력을 수신하며, 보조 영상 신호의 고주파 성분을 이용하여 주 영상 신호의 디테일(detail)을 복원한다. 이때 선택적으로, 디테일 복원부(404)에는 노이즈 증폭을 억제하는 기능이 추가될 수도 있다.
도 7은 본 발명의 실시예에 따른 영상 처리 장치에 관한 또 다른 예를 도시한다.
도 7을 참조하면, 본 실시예에 따른 영상 처리 장치(700)는 도 6의 구성 외에 디테일 추출부(501)와 링 왜곡 저감부(502)를 더 포함하는 것을 알 수 있다. 도 7에서, 제 1 노이즈 저감부(601), 제 2 노이즈 저감부(602), 고주파 추출부(603), 디테일 복원부(604), 스위치부(605)는 전술한 내용과 동일하고, 디테일 추출부(501)와 링 왜곡 저감부(502)는 도 5에서 설명한 것과 동일하므로 이에 관한 설명은 생략하기로 한다.
도 8은 본 발명의 실시예에 따른 영상 처리 방법에 관한 일 예를 도시한다.
도 8을 참조하면, 본 실시예에 따른 영상 처리 방법은, 주 영상 신호와 보조 영상 신호를 각각 획득하는 과정(S801)을 포함한다. 주 영상 신호는 컬러 영상 신 호가 될 수 있고, 보조 영상 신호는 컬러 영상 신호에 비해 상대적으로 감도가 높은 신호는 가시광 전대역 신호, 가시광 전대역과 적외광 신호 또는 가시광 전대역과 자외광 신호가 될 수 있다. 이때, 각 신호는 도 3에서 예시한 이미지 센서에 의해 취득되는 것이 가능하다.
이어서, 단계 S802와 같이, 보조 영상 신호의 노이즈를 제거한다. 전술하였듯이, 노이즈를 제거하기 위한 다양한 알고리즘이 여기에 사용될 수 있는데, 보조 영상 신호는 비교적 고감도의 신호이므로 Low-pass filter를 통해 간단하게 노이즈를 제거하는 것이 가능하다.
이어서, 단계 S803과 같이, 보조 영상 신호에 관한 정보를 이용하여 주 영상 신호의 노이즈를 제거한다. 여기서 노이즈를 제거하는 방법은 전술한 수학식 1 내지 3을 통해 수행될 수 있다. 또한, 선택적으로 주 영상 신호와 보조 영상 신호 간의 영상 특성에 따라 선택적으로 보조 영상 신호에 관한 정보를 이용하거나 주 영상 신호에 관한 정보를 이용하는 것이 가능하다.
이어서, 단계 S804와 같이, 노이즈가 제거된 보조 영상 신호에서 고주파 성분을 추출한다. 이 고주파 성분은 주 영상 신호의 디테일을 복원하기 위한 것으로, 고주파 추출 시에 노이즈가 같이 증폭될 수 있으므로 고주파 추출 이후 디테일과 노이즈를 구별하여 디테일만 추출하는 과정이 추가될 수 있다.
이어서, 단계 S805와 같이, 추출된 고주파 성분을 이용하여 주 영상 신호의 디테일을 복원한다.
이상에서 살펴본 다양한 실시 예에 의하면, 고 잡음 특성의 색 정보를 갖는 영상에 대해 적외선 성분을 포함하거나 광대역 파장을 흡수하는 고휘도 영상의 경계정보를 이용하여 노이즈 저감을 수행하기 때문에 고감도 저잡음 특성의 컬러 영상을 획득하는 것이 가능하다.
도 1은 본 발명의 실시 예에 따른 영상 처리 장치의 전체적인 모습을 도시한다.
도 2는 본 발명의 실시 예에 따른 주 영상 신호와 보조 영상 신호에 관한 스펙트럼을 도시한다.
도 3은 본 발명의 실시 예에 따른 이미지 센서의 일 예를 도시한다.
도 4는 본 발명의 실시 예에 따른 영상 처리 장치에 관한 일 예를 도시한다.
도 5는 본 발명의 실시 예에 따른 영상 처리 장치에 관한 다른 예를 도시한다.
도 6은 본 발명의 실시 예에 따른 영상 처리 장치에 관한 또 다른 예를 도시한다.
도 7은 본 발명의 실시 예에 따른 영상 처리 장치에 관한 또 다른 예를 도시한다.
도 8은 본 발명의 실시 예에 따른 영상 처리 방법을 도시한다.

Claims (19)

  1. 주 영상 신호와 보조 영상 신호를 입력 받으며, 상기 보조 영상 신호에 대한 정보를 이용하여 상기 주 영상 신호의 노이즈를 제거하고, 상기 보조 영상 신호의 노이즈 제거 결과로부터 얻어진 상기 보조 영상 신호의 고주파 성분을 이용하여 상기 주 영상 신호의 디테일을 복원하고,
    상기 주 영상 신호는 컬러 신호 또는 RGB 신호이고,
    상기 보조 영상 신호는 가시광 전대역 신호, 가시광 전대역과 적외광 신호 또는 가시광 전대역과 자외광 신호인 영상 처리 장치.
  2. 삭제
  3. 주 영상 신호와 보조 영상 신호를 입력 받아 처리하는 영상 처리 장치에 있어서,
    상기 보조 영상 신호의 노이즈를 제거하는 제 1 노이즈 저감부;
    상기 주 영상 신호를 입력 받으며, 상기 보조 영상 신호에 관한 정보를 이용하여 상기 주 영상 신호의 노이즈를 제거하는 제 2 노이즈 저감부;
    상기 제 1 노이즈 저감부의 출력으로부터 상기 보조 영상 신호의 고주파 성분을 추출하는 고주파 추출부; 및
    상기 제 2 노이즈 저감부의 출력을 수신하며, 상기 보조 영상 신호의 고주파 성분을 이용하여 상기 주 영상 신호의 디테일을 복원하는 디테일 복원부; 를 포함하고,
    상기 보조 영상 신호에 관한 정보는 상기 보조 영상 신호의 노이즈 특성 정보를 포함하는 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 주 영상 신호는 컬러 신호 또는 RGB 신호이고,
    상기 보조 영상 신호는 가시광 전대역 신호, 가시광 전대역과 적외광 신호 또는 가시광 전대역과 자외광 신호인 영상 처리 장치.
  5. 제 3 항에 있어서,
    상기 제 1 노이즈 저감부는 상기 보조 영상 신호의 노이즈 특성을 반영하는 프로파일을 포함하는 영상 처리 장치.
  6. 삭제
  7. 제 3 항에 있어서,
    상기 고주파 추출부의 출력 및 상기 제 2 노이즈 저감부의 출력을 수신하며, 상기 보조 영상 신호의 고주파 성분에서 디테일과 노이즈를 구별하고 이중 디테일을 추출하여 상기 디테일 복원부로 인가하는 디테일 추출부; 더 포함하는 영상 처 리 장치.
  8. 제 7 항에 있어서,
    상기 디테일 추출부는 휘도를 기반으로 상기 디테일과 노이즈를 구별하는 영상 처리 장치.
  9. 제 3 항에 있어서,
    상기 디테일 복원부의 출력 신호를 수신하여 링 왜곡을 제거하는 링 왜곡 저감부; 를 더 포함하는 영상 처리 장치.
  10. 주 영상 신호와 보조 영상 신호를 입력 받아 처리하는 영상 처리 장치에 있어서,
    상기 보조 영상 신호의 노이즈를 제거하는 제 1 노이즈 저감부;
    상기 주 영상 신호를 입력 받으며, 상기 보조 영상 신호에 관한 정보 또는 상기 주 영상 신호에 관한 정보를 선택적으로 이용하여 상기 주 영상 신호의 노이즈를 제거하는 제 2 노이즈 저감부;
    상기 제 1 노이즈 저감부의 출력으로부터 상기 보조 영상 신호의 고주파 성분을 추출하는 고주파 추출부; 및
    상기 제 2 노이즈 저감부의 출력을 수신하며, 상기 보조 영상 신호의 고주파 성분을 이용하여 상기 주 영상 신호의 디테일을 복원하는 디테일 복원부; 를 포함하고,
    상기 보조 영상 신호에 관한 정보는 상기 보조 영상 신호의 노이즈 특성 정보를 포함하는 영상 처리 장치.
  11. 제 10 항에 있어서,
    상기 주 영상 신호는 컬러 신호 또는 RGB 신호이고,
    상기 보조 영상 신호는 가시광 전대역 신호, 가시광 전대역과 적외광 신호 또는 가시광 전대역과 자외광 신호인 영상 처리 장치.
  12. 제 10 항에 있어서,
    상기 주 영상 신호와 상기 보조 영상 신호의 특성을 비교하여 상기 보조 영상 신호에 관한 정보를 상기 제 2 노이즈 저감부로 인가하거나 이를 차단하는 스위치부; 를 더 포함하는 영상 처리 장치.
  13. 제 10 항에 있어서,
    상기 제 1 노이즈 저감부는 상기 보조 영상 신호의 노이즈 특성을 반영하는 프로파일을 포함하는 영상 처리 장치.
  14. 삭제
  15. 제 10 항에 있어서,
    상기 고주파 추출부의 출력 및 상기 제 2 노이즈 저감부의 출력을 수신하며, 상기 보조 영상 신호의 고주파 성분에서 디테일과 노이즈를 구별하고 이중 디테일을 추출하여 상기 디테일 복원부로 인가하는 디테일 추출부; 더 포함하는 영상 처리 장치.
  16. 제 15 항에 있어서,
    상기 디테일 추출부는 휘도를 기반으로 상기 디테일과 노이즈를 구별하는 영상 처리 장치.
  17. 제 10 항에 있어서,
    상기 디테일 복원부의 출력 신호를 수신하여 링 왜곡을 제거하는 링 왜곡 저감부; 를 더 포함하는 영상 처리 장치.
  18. 컬러 영상 신호와 상기 컬러 영상 신호에 비해 상대적으로 감도가 높은 보조 영상 신호를 각각 획득하는 단계;
    상기 보조 영상 신호의 노이즈를 제거하는 단계;
    상기 보조 영상 신호에 관한 정보를 이용하여 상기 컬러 영상 신호의 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 보조 영상 신호에서 고주파 성분을 추출하는 단계; 및
    상기 추출된 고주파 성분을 이용하여 상기 노이즈가 제거된 컬러 영상 신호의 디테일을 복원하는 단계; 를 포함하고,
    상기 보조 영상 신호는 가시광 전대역 신호, 가시광 전대역과 적외광 신호 또는 가시광 전대역과 자외광 신호인 영상 처리 방법.
  19. 삭제
KR1020080113984A 2008-11-17 2008-11-17 영상 처리 장치 및 방법 KR101574730B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080113984A KR101574730B1 (ko) 2008-11-17 2008-11-17 영상 처리 장치 및 방법
CN200910150383XA CN101742089B (zh) 2008-11-17 2009-06-25 用于处理图像的设备和方法
US12/573,976 US8463069B2 (en) 2008-11-17 2009-10-06 Apparatus and method for processing image
EP09175500.9A EP2187621B1 (en) 2008-11-17 2009-11-10 Apparatus and method for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080113984A KR101574730B1 (ko) 2008-11-17 2008-11-17 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100055067A KR20100055067A (ko) 2010-05-26
KR101574730B1 true KR101574730B1 (ko) 2015-12-07

Family

ID=41722770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080113984A KR101574730B1 (ko) 2008-11-17 2008-11-17 영상 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US8463069B2 (ko)
EP (1) EP2187621B1 (ko)
KR (1) KR101574730B1 (ko)
CN (1) CN101742089B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101625209B1 (ko) 2009-12-11 2016-05-30 삼성전자주식회사 다이크로익 필터를 이용한 컬러 필터 어레이
KR101926489B1 (ko) 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1309161C (en) * 1987-09-14 1992-10-20 Michael A. Isnardi Apparatus for pre-conditioning auxiliary television signal information
GB8800420D0 (en) * 1988-01-08 1988-02-10 Rca Corp Dual single sideband modulator for actv
JP4224996B2 (ja) 2002-07-25 2009-02-18 パナソニック株式会社 撮像装置
BRPI0415307A (pt) * 2003-10-14 2006-12-05 Thomson Licensing técnica para simulação de grão de filme com precisão de bit
JP4487640B2 (ja) * 2004-06-01 2010-06-23 ソニー株式会社 撮像装置
JP4295709B2 (ja) 2004-10-14 2009-07-15 富士フイルム株式会社 撮像装置、画像処理装置、及び画像処理方法
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP2007060457A (ja) * 2005-08-26 2007-03-08 Hitachi Ltd 画像信号処理装置および画像信号処理方法
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法

Also Published As

Publication number Publication date
KR20100055067A (ko) 2010-05-26
CN101742089A (zh) 2010-06-16
EP2187621A3 (en) 2012-04-04
EP2187621A2 (en) 2010-05-19
US20100124373A1 (en) 2010-05-20
US8463069B2 (en) 2013-06-11
EP2187621B1 (en) 2016-07-20
CN101742089B (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
KR101618298B1 (ko) 고감도 영상 생성 장치 및 방법
KR101747603B1 (ko) 컬러 나이트 비전 시스템 및 그 동작 방법
US8878963B2 (en) Apparatus and method for noise removal in a digital photograph
US7898583B2 (en) Image processing device, image processing method, and image sensing apparatus
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
KR101828411B1 (ko) 영상 처리 방법 및 영상 처리 장치
US7489829B2 (en) Adaptive low-light image processing
KR101531709B1 (ko) 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
US20180336664A1 (en) Image processing apparatus, image processing method, and storage medium
US8614746B2 (en) Image processing apparatus and method of noise reduction
KR101641543B1 (ko) 영상잡음 제거장치 및 그 방법
KR20100056167A (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
CN103873837B (zh) 用于颜色恢复的设备和方法
KR101341101B1 (ko) 영상 복원 장치 및 복원 방법
WO2011042851A1 (en) Method and system for carrying out photoplethysmography
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
KR101574730B1 (ko) 영상 처리 장치 및 방법
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP4466017B2 (ja) 画像処理装置および画像処理プログラム
Sadeghipoor et al. Multiscale guided deblurring: Chromatic aberration correction in color and near-infrared imaging
KR101706218B1 (ko) 블러 및 고스트 제거 장치 및 방법
KR101791789B1 (ko) 컬러 영상의 잡음을 제거하기 위한 방법 및 장치
Tico et al. Low-light imaging solutions for mobile devices
JP2004222232A (ja) 画像処理装置および画像処理プログラム
KR101986108B1 (ko) 선명도 향상장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 5