KR20080103436A

KR20080103436A - 화상 처리 방법 및 화상 처리 장치

Info

Publication number: KR20080103436A
Application number: KR1020080047581A
Authority: KR
Inventors: 야스노부 히또미; 준후아 첸
Original assignee: 소니 가부시끼 가이샤
Priority date: 2007-05-23
Filing date: 2008-05-22
Publication date: 2008-11-27
Also published as: US8243150B2; JP2008294601A; US20080291300A1; CN101312500A; EP1995948A3; JP4321626B2; EP1995948A2; CN101312500B

Abstract

화상 처리 방법이 개시된다. 화상 처리 방법은 시간적으로 연속하는 제1 및 제2 정지 화상을 사용하여, 노이즈가 경감된 화상을 출력한다. 제2 정지 화상의 움직임은 블록 단위로 보상된다. 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 가산 가중값이 설정된다. 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상을, 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는다.

촬상 소자, 노이즈 경감 장치, 프레임 메모리, 움직임 예측 장치, 움직임 보상 장치, 가산 신뢰도 판정 장치, 가산 장치, 가산 가중값 보정 장치, 업 샘플링 회로, 색 노이즈 대책의 가산 신뢰도 판정 장치, MC 화상의 블록 왜곡 대책의 가산 신뢰도 판정 장치

Description

화상 처리 방법 및 화상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS}

<관련 출원의 상호 참조>

본 발명은 2007년 5월 23일자 일본 특허청에 제출된 일본특허출원 제2007-136184호에 관한 기술 내용을 포함하며, 본 명세서에 참조로서 포함된다.

본 발명은, 촬상 장치에 적용 가능하며, 노이즈를 경감하는 화상 처리 방법 및 화상 처리 장치에 관한 것이다.

최근, 카메라, 비디오에서의 촬영시에, 보다 저조도에서의 촬영이나, 보다 짧은 노광 시간에서의 촬영이 요구되고 있다. 그러나, 저조도하나 짧은 노광 시간에서는, 입사광량이 적기 때문에 전하 축적량이 감소한다. 밝은 상을 얻기 위해서는 신호를 증폭할 필요가 있다. 이때에 촬상 소자나 아날로그 회로에서 생기는 노이즈도 증폭된다. 그 결과, 노이즈가 많은 저화질의 화상이 얻어진다. 이 문제의 개선책으로서, 전하 축적량을 증가하도록 화상을 장시간 노광시킨다. 랜덤 성분을 상대적으로 낮게 함으로써 S/N을 개선할 수 있다. 그러나, 장시간 노광은, 노광중의 손 떨림에 의한 화상의 번짐(blur)(노광 번짐(exposure blurring)으로 적절히 칭함)을 발생시킨다. 따라서, 삼각대 등으로 촬상 장치를 고정할 필요가 있었다.

다른 방법으로서, 노광 번짐이 거의 생기지 않는 셔터 속도 예를 들면 1/30초로 촬상하는 것을 반복하여, 이 연사에 의해 얻어진 복수의 화상을 가산 평균함으로써, 시간 방향으로 무상관의 노이즈를 저감시키는 방법이 있다. 그러나, 손 떨림 등에 의한 카메라의 이동이나 움직임 피사체에 의해 화상의 불선명이나 움직임 피사체의 다중 노광 형상의 끌림이라고 하는 열화가 생기는 문제가 있다.

또한, 하기의 일본특허공개 제HEI 9-261526호(특허 문헌 1로 칭함)에는, 연사에 의해 얻어진 복수의 화상의 손 떨림을 보정해서 서로 겹치게 하는 것이 기재되어 있다. 이 경우, 손 떨림은 노광 기간의 간격 예를 들면 1필드 또는 1프레임 동안에 생기는 손 떨림이다. 일본특허공개 제HEI 11-75105호(특허 문헌 2로 칭함)에도 마찬가지로, 전체 노광 시간을 복수의 노광 기간으로 분할하고, 각 노광 기간에서 얻어진 화상을 손 떨림 보정해서 가산함으로써 화질이 양호한 화상을 얻는 것이 기재되어 있다.

전술한 특허 문헌 1 및 특허 문헌 2에 기재된 바와 같이, 움직임 보정한 복수의 화상을 가산하는 기술은, 불필요한 움직임 피사체 등이 진입한 화상 및 로우 콘트라스트의 화상에서는, 검출되는 움직임 벡터의 정밀도가 낮아진다. 따라서, 화질의 개선이 불충분하게 되는 결점이 있었다. 1프레임 단위로의 가중값 부여 계수로 가산하는 처리는, 정밀도가 불충분했었다. 또한, 노광 시간이 길어지면, 노이즈가 증가한다. 따라서, 동일한 노광량이어도 셔터 속도에 의해 노이즈량이 상위한 경우가 있다. 이러한 촬영 조건을 고려하지 않으면 고정밀도로 노이즈를 제거할 수 없다.

전술한 관점에서, 본 발명의 목적은, 고정밀도로 노이즈를 제거하는 것이 가능한 화상 처리 방법 및 화상 처리 장치를 제공하는 것에 있다.

본 발명의 일 실시예에 따르면, 시간적으로 연속하는 제1 및 제2 정지 화상을 사용하여, 노이즈가 경감된 화상이 출력되는 화상 처리 방법이 제공된다. 제2 정지 화상의 움직임은 블록 단위로 보상된다. 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상의 가산의 신뢰도는 화소 단위로 판정되며 대응하는 가산 가중값(weighting factor)이 설정된다. 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상을, 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는다.

본 발명의 일 실시예에 따르면, 시간적으로 연속하는 제1, 제2 및 제3 정지 화상을 사용하여, 노이즈가 경감된 화상을 생성하는 화상 처리 방법이 제공된다. 제2 정지 화상의 움직임은 블록 단위로 보상된다. 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 제1 가산 가중값을 설정한다. 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상을, 제1 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는다. 제3 정지 화상의 움직임은 블록 단위로 보상된다. 처리 후의 화상 및 움직임 보상을 행한 제3 정지 화상을 사용하여 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 제2 가산 가중값을 설정한다. 처리 후의 화상 및 움직임 보상을 행한 제3 정지 화상을, 제2 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는다.

본 발명의 일 실시예에 따르면, 소정의 단위 시간 간격으로 입력되는 동화상으로부터, 노이즈 경감을 행하는 화상 처리 방법이 제공된다. 1단위 시간 전의 처리 후의 화상의 움직임은 블록 단위로 보상된다. 현재의 동화상 및 움직임 보상을 행한 1단위 시간 전의 처리 후의 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 가산 가중값을 설정한다. 현재의 동화상 및 움직임 보상을 행한 1단위 시간 전의 처리 후의 화상을, 가산 가중값에 따라서 가산 또는 가중 평균하여, 현재의 동화상에 대응하는 처리 후의 화상을 얻는다.

본 발명의 일 실시예에 따르면, 소정의 단위 시간 간격으로 입력되는 동화상으로부터, 노이즈 경감을 행하는 화상 처리 방법이 제공된다. 현재의 동화상과 1 단위 시간 전의 처리 후의 화상의 움직임 벡터를 블록 단위로 구한다. 1단위 시간 전의 처리 후의 화상과, 2단위 시간 전의 움직임 보상 후의 화상의 움직임은 움직임 벡터에 의해 보상된다. 현재의 동화상 및 움직임 보상을 행한 1단위 시간 전의 처리 후의 화상을 사용하여 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 제1 가산 가중값을 설정한다. 현재의 동화상 및 움직임 보상을 행한 1단위 시간 전의 처리 후의 화상을, 제1 가산 가중값에 따라서 가산 또는 가중 평균하여, 제1 처리 후의 화상을 얻는다. 움직임 보상된 2단위 시간 전의 움직임 보상 후의 화상 및 제1 처리 후의 화상을 사용하여 화소 단위로 가산의 신뢰도 판정을 행하여 제2 가산 가중값을 설정한다. 움직임 보상된 2단위 시간 전의 움직임 보상 후의 화상 및 제1 처리 후의 화상을, 제2 가산 가중값에 따라서 가산 또는 가중 평균하여, 현재의 동화상에 대응하는 제2 처리 후의 화상을 얻는다.

본 발명의 일 실시예에 따르면, 시간적으로 연속하는 제1 및 제2 정지 화상을 사용하여, 노이즈가 경감된 화상이 생성하는 화상 처리 장치가 제공된다. 화상 처리 장치는 움직임 보상 장치, 판정 장치, 및 가산 장치를 포함한다. 움직임 보상 장치는 블록 단위로 제2 정지 화상의 움직임을 보상한다. 판정 장치는 제1 정지 화상과 움직임 보상을 행한 제2 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 가산 가중값을 설정한다. 가산 장치는 제1 정지 화상과 움직임 보상을 행한 제2 정지 화상을 가산 가중값에 따라서 가산 또는 가중 평균하여 처리후의 화상을 얻는다.

본 발명의 일 실시예에 따르면, 시간적으로 연속하는 제1, 제2 및 제3 정지 화상을 사용하여, 노이즈가 경감된 화상을 생성하는 화상 처리 장치가 제공된다. 화상 처리 장치는 움직임 보상 장치, 판정 장치, 및 가산 장치를 포함한다. 움직임 보상 장치는 제2 정지 화상의 움직임을 블록 단위로 보상한다. 판정 장치는 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 제1 가산 가중값을 설정한다. 가산 장치는 제1 정지 장치와 움직임 보상을 행한 제2 정지 화상을 제1 가산 가중값에 따라서 가산 또는 가중 평균을 행하여 처리 후의 화상을 얻는다. 움직임 보상 장치는 제3 정지 화상의 움직임을 블록 단위로 보상한다. 판정 장치는 처리 후의 화상과 움직임 보상을 행한 제3 정지 화상을 화소 단위로 가산의 신뢰도를 판정하여 대응하는 제2 가산 가중값을 설정한다. 가산 장치는 처리 후의 화상과 움직임 보상을 행한 제3 정지 화상을 제2 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는다.

본 발명의 일 실시예에 따르면, 소정의 단위 시간 간격으로 입력되는 동화상에 대하여, 노이즈 경감을 행하는 화상 처리 장치가 제공된다. 화상 처리 장치는 움직임 보상 장치, 판정 장치, 및 가산 장치를 포함한다. 움직임 보상 장치는 소정의 1단위 시간 전의 처리 후의 화상의 움직임을 블록 단위로 보상한다. 판정 장치는 현재의 동화상과 움직임 보상을 행한 1단위 시간 전의 처리 후의 화상을 화소 단위로 가산의 신뢰도를 판정하여 대응하는 가산 가중값을 설정한다. 가산 장치는, 현재의 동화상 및 움직임 보상을 행한 소정의 1단위 시간 전의 처리 후의 화상을 가산 가중값에 따라서 가산 또는 가중 평균하여 현재의 동화상에 대응하는 처리 후의 화상을 얻는다.

본 발명의 일 실시예에 따르면, 단위 시간 간격으로 입력되는 동화상에 대하여, 노이즈 경감을 행하는 화상 처리 장치가 제공된다. 화상 처리 장치는 움직임 보상 장치, 판정 장치, 및 가산 장치를 포함한다. 움직임 보상 장치는 현재의 동화상과 소정의 1단위 시간 전에 처리 후의 화상의 움직임 벡터를 블록 단위로 구하여, 소정의 2단위 시간 전의 처리 후의 화상의 움직임을 움직임 벡터로 보상한다. 판정 장치는, 현재의 동화상 및 소정의 1단위 시간 전의 처리 후의 움직임 보상을 행한 화상을 화소 단위로 가산의 신뢰도 판정을 행하여, 대응하는 제1 가산 가중값을 설정한다. 가산 장치는, 현재의 동화상 및 움직임 보상을 행한 1단위 시간 전의 처리 후의 화상을 가산 또는 가중 평균하여 제1 처리 후의 화상을 얻는다. 판정 장치는 움직임 보상을 행한 소정의 2단위 시간 전의 처리 후의 화상 및 제1 처리 후의 화상을 화소 단위로 가산의 신뢰도를 판정하여 대응하는 제2 가산 가중값을 설정한다. 가산 장치는 움직임 보상을 행한 소정의 1단위 시간 전의 처리 후의 화상 및 제1 처리 후의 화상을 제2 가산 가중값으로 가산 또는 가중 평균하여 현재의 동화상에 대응하는 제2 처리 후의 화상을 얻는다.

본 발명의 실시예에 따르면, 저조도하에서의 촬영시에 카메라의 이동이나 움직임 피사체에 대해서도 노이즈 경감 효과를 얻을 수 있다. 본 발명의 실시예에 따르면, 화소 단위로 가산 신뢰도 판정을 행한다. 그 결과, 고정밀도의 노이즈 경감을 행할 수 있다. 또한, 블록 왜곡의 발생을 억제할 수 있다. 또한, 평탄부에 생기는 큰 사이즈의 색 노이즈를 더욱 경감할 수 있다.

이하, 본 발명의 일 실시예에 따른 화상 처리 장치를 갖는 촬상 장치의 일례를 도시한다. 도 1은 본 발명의 실시예에 따른 촬상 장치의 전체 구조를 도시한다. 피사체로부터의 광은 촬상 광학계(도시되지 않음)를 통해서 촬상 소자(image sensor)(101)에 입사된다.

촬상 광학계는, 피사체의 확대/축소를 행하기 위한 줌렌즈, 초점 거리를 조정하기 위한 포커스 렌즈, 광량을 조정하기 위한 아이리스(조리개), ND(Neutral Density) 필터, 및 이들 렌즈 및 아이리스를 구동하는 구동 회로를 구비하고 있다. 줌 렌즈, 포커스 렌즈, IRIS, 및 ND 필터는 드라이버(도시되지 않음)에 의해 구동된다.

촬상 소자(101)는, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등이다. 촬상 소자(101)에 의해 피사체광에 따른 촬상 신호가 포착된다. 또한 촬상 장치의 일례는, 동화상 및 정지 화상의 촬영이 가능한 캠코더(카메라 및 레코더의 의미)이지만, 정지 화상 디지털 카메라, PDA(Personal Digital Assistants), 휴대 전화기 등이어도 된다.

촬상 소자(101)는, 원색계와 보색계 중 어느 것이라도 된다. 입사된 피사체상을 광전변환한 RGB 각 색의 원색 신호 또는 보색계의 촬상 신호의 색 신호마다, 샘플 홀드된다(sample-held). AGC(Automatic Gain Control)에 의해 게인이 제어되어, A/D 변환에 의해 디지털 신호로 된 촬상 신호(로우(raw) 데이터라고 칭함)를 출력한다. 촬상 소자(101)로부터의 로우 데이터가 IC(Integrated Circuit)로서 구 성된 카메라 신호 처리부(102)에 공급된다. 카메라 신호 처리부(102)에서, 현상 처리나 휘도, 색차 신호에의 변환 처리가 이루어진다.

카메라 신호 처리부(102)로부터의 입력 화상 신호가 노이즈 경감 장치(103)에 공급되고, 노이즈 경감 처리가 이루어진다. 노이즈 경감 장치(103)로부터는, 노이즈가 경감된 출력 화상 신호가 얻어진다. 노이즈 경감 장치(103)에 대하여, 카메라 제어부(마이크로컴퓨터로 구성됨)(104)로부터 노이즈량 추정에 이용하는 촬영 조건 정보가 공급된다. 촬영 조건 정보는, 촬영 모드, 노광 시간, 게인 등이다.

도 2는, 노이즈 경감 장치(103)의 일례를 도시한다. 노이즈 경감 장치(103)는, 프레임 메모리(201), 움직임 예측 장치(202), 움직임 보상 장치(203), 가산 신뢰도 판정 장치(204), 가산 장치(205), 숨은 영역 처리 장치(206)를 갖는다.

다음으로, 노이즈 경감 장치(103)의 각 구성 요소에 대해서 설명한다. 움직임 예측 장치(202)에 대하여 기준 화상 및 참조 화상이 입력된다. 움직임 예측 장치(202)는, 화상 사이즈에 의해 지정된 블록 단위로 입력하는 참조 화상을 기준 화상에 대하여 위치 정렬을 행하고, 블록 단위의 움직임 벡터 MV를 출력한다. 움직임 벡터 MV는, 기준 화상에 대한 참조 화상의 움직임의 양과 방향을 나타낸다. 예를 들면 블록 매칭법에 의해 움직임 벡터 MV를 검출할 수 있다. 블록의 크기로서, 예를 들면 매크로 블록을 사용할 수 있다.

움직임 보상 장치(203)는, 움직임 벡터 MV에 따라서 입력하는 화상의 움직임 보상을 행하고, 움직임 보상 화상(MC 화상이라고 적절히 칭함)을 출력한다. 이때, 1조의 화상 사이에서 구한 움직임 벡터 MV에 대하여, 입력 화상을 스위치 SW에 의해 절환하고, 스위치 SW에서 선택된 화상의 움직임 보상을 행하는 경우도 있다. 스위치 SW는, 참조 화상과 전 프레임의 MC 화상의 한쪽을 선택해서 움직임 보상 장치(203)에 입력한다.

MC 화상이 가산 신뢰도 판정 장치(204) 및 가산 장치(205)에 공급된다. 기준 화상이 가산 신뢰도 판정 장치(204) 및 가산 장치(205)에 공급된다. 또한, 카메라 제어부로부터의 촬영 조건 정보가 가산 신뢰도 판정 장치(204)에 공급된다. 가산 장치(205)는, 가산 신뢰도 판정 장치(204)에서 형성된 가산 가중값을 사용하여 가중값 부여 가산을 행한다.

본 발명의 본 실시예는, 정지 화상 및 동화상의 양자의 노이즈 경감에 대하여 적용할 수 있다. 정지 화상 촬영 시에는, 복수 매의 정지 화상을 촬상 장치의 최고속의 연사 속도로 연사한다. 촬상 소자(101)가 CCD인 경우에는, 예를 들면 매초 2매 정도의 속도로 연사가 이루어진다. 촬상 소자(101)가 CMOS인 경우에는, 예를 들면 매초 30∼60매 정도의 속도로 연사가 이루어진다. 이 경우에는, 최초로 촬영된 화상이 기준 화상으로 되고, 2번째로 촬영된 화상이 참조 화상으로 된다. 참조 화상의 움직임은 움직임 벡터 MV로 움직임 보상되어 MC 화상이 형성된다. 기준 화상과 MC 화상이 가산 신뢰도 판정 장치(204)로부터의 가산 가중값을 사용하여 가산 장치(205)에서 가산된다. 그 결과, 노이즈 경감된 화상(NR 화상이라고 적절히 칭함)이 형성된다.

가산 장치(205)로부터 출력되는 제1 번째의 NR 화상이 프레임 메모리(201)에 기억된다. 제1 번째의 NR 화상이 기준 화상으로서 취급된다. 제2 번째의 촬영 화상이 참조 화상으로서 취급된다. 이들 2매의 화상에 의해 전술한 것과 마찬가지의 노이즈 경감 동작이 이루어진다. 노이즈 경감 동작을 반복함으로써, 랜덤 노이즈 성분이 감소된다.

숨은 영역 처리 장치(206)에 대하여 기준 화상 및 MC 화상이 공급된다. 숨은 영역 처리 장치(206)는, 기준 화상에 대하여 시간적으로 1매 이상 떨어진 화상의 MC 화상을 참조 화상으로서 이용할 때, 신뢰도가 낮은 숨은 영역의 MC 부분의 화질의 열화의 전파를 억제하기 위해서 설치되어 있다. 프레임 메모리(201)에 의한 처리 후의 화상이 프레임 메모리(201)에 저장된다.

가산 장치(205)에서 사용되는 가산 가중값이 화소 단위로 가산 신뢰도 판정 장치(204)에서 형성된다. 가산 가중값은 가산의 신뢰도를 나타낸다. 즉, 기준 화상과 MC 화상 사이에서, 움직임 보상의 정확함을 판정한다. 기준 화상과 MC 화상을 가산했을 때에 열화를 발생시키지 않고, 노이즈를 저감시키는 화소를 신뢰도가 높은 것으로 한다. 구체적으로는, 서로 다른 시간에서 촬영한 화상 내에서, 동일 물체의 동일 부분을 촬영한 화소끼리를 가산했을 때에는, 가산에 의해 시간에 무상관한 노이즈를 감소할 수 있기 때문에, 신뢰도가 높다고 할 수 있다. 신뢰도는, 다시 말해서, 동일한 화상에 대하여 노이즈가 중첩되어 있는 것인지, 또는 서로 다른 화상에 대하여 노이즈가 중첩되어 있는 것인지를 나타내고 있다. 가능한 한 노이즈량에만 대응해서 가산 가중값이 형성되는 것이 고정밀도의 노이즈 경감 처리에있어서 필요하게 된다. 가산 가중값은, 신뢰도가 낮으면 0, 신뢰도가 높으면 1의 값을 갖는 것으로 된다. 후술하는 바와 같이, 기준 화상과 MC 화상과의 가중 평균이 가산 장치(205)에서 계산된다. 가중 평균의 가중값(weighting factor of the average)은, 가산 가중값에 귀환율을 승산한 값이다. 예를 들면 귀환율을 1/3로 설정하면, 가산 가중값이 0∼1로 변화될 때에, 가중 평균에서의 MC 화상에 대한 가중값이 0∼1/3로 변화되게 된다.

가산 신뢰도 판정 장치(204)의 일례를 도 3에 도시한다. 가산 신뢰도 판정 장치(204)는, 마찬가지의 판정부가 휘도 신호 Y와, 2개의 색차 신호 Cb, Cr의 각각에 대해서 설치되어 있다. 먼저, 휘도 신호 Y에 관한 판정부의 구성에 대해서 설명한다.

기준 화상 및 MC 화상의 공간적으로 동일 위치의 화소 데이터가 프리 필터(300 및 301)를 거쳐서 감산기(302)에 공급된다. 감산기(302)는 화소값의 차를 연산한다. 절대값 연산기(303)는 차를 절대값으로 변환한다. 프리 필터(300 및 301)는, 화상 내의 고주파 성분을 컷하여 가산 신뢰도 판정의 효과를 향상시킨다. 즉, 절대값 연산기(302)는 입력 신호의 절대값을 출력한다. 차의 절대값이 화소 가산 신뢰도 판정기(304)에 공급된다.

화소 가산 신뢰도 판정기(304)에는, 노이즈량 추정기(305)의 출력 신호가 공급된다. 노이즈량 추정기(305)는, 화소값에 대응한 노이즈량을 추정하고, 화상 내의 노이즈량에 영향을 주는 촬영 모드나 노광 시간, 게인 정보라고 하는 촬영 조건 정보를 외부로부터 입력받아, 미리 각 조건으로 측정한 휘도값과 노이즈량의 관계의 데이터의 테이블을 저장한다. 이 테이블로부터, 해당 조건의 휘도값과 노이즈 량의 관계를 구하고, 입력한 휘도값에 대응하는 노이즈량을 출력한다.

예를 들면, 노광 시간에 비례해서, 랜덤 노이즈가 증가한다. 예를 들어, 촬상 신호를 증폭하는 게인이 커지면, 랜덤 노이즈가 증가하는 경향이 있다. 따라서, 촬영 조건으로서 셔터 속도 및/또는 게인의 정보를 사용하여, 미리 셔터 속도 및/또는 게인의 각각에 대응해서 화소값과 노이즈량의 테이블을 작성해서 준비해 둔다. 또한, 촬상 장치가 구비하고 있는 촬영 모드를 촬영 조건으로서 사용해도 된다. 촬영 조건은, 예를 들면 프레임마다 설정된다.

도 4는, 노이즈량 추정기(305)가 구비하고 있는 화소값 대 노이즈량의 테이블을 개념적으로 나타내고 있다. 도 4는 촬영 조건 1부터 촬영 조건 N에 대응하는 화소값과 노이즈량의 관계를 규정한다. 노이즈량 추정기(305)는, 화상 내의 노이즈량에 영향을 주는 촬영 모드, 셔터 속도(노광 시간), 게인 등을 촬영 조건 정보로서 카메라 제어부(104)로부터 입력받아, 미리 각 촬영 조건으로 측정한 휘도값과 노이즈량의 관계의 데이터로부터, 해당 조건의 휘도값과 노이즈량의 관계를 구하고, 해당 촬영 조건으로의 입력 휘도값에 대응하는 노이즈량을 출력한다.

노이즈량 추정기(305)로부터 출력된 노이즈량과 절대값 연산기(303)로부터 출력된 화소값(휘도)의 차분 절대값이 화소 가산 신뢰도 판정기(304)에 공급된다. 차분 절대값이 화소 가산 신뢰도 판정기(304)에 대한 입력 지표값이다. 화소 가산 신뢰도 판정기(304)가 지표값에 대응하는 가산의 신뢰도인 가산 가중값을 출력한다.

도 5에 화소 가산 신뢰도 판정기의 일례를 도시한다. 휘도 화소 가산 신뢰 도 판정기(304)는, 노이즈량 추정기(505)로부터의 노이즈량을 판정 임계값으로 변환하는 변환기(601)와 신뢰도 판정 곡선 생성기(602)와 가산 신뢰도 판정기(603)로 이루어진다. 변환기(601)는, 시각 특성에 기초하여 결정된 테이블을 이용하여 노이즈량을 신뢰도 판정 임계값으로 변환하고, 신뢰도 판정 임계값을 출력한다. 판정 임계값에 따라서 판정 곡선의 형상이 결정된다. 판정 곡선은, 오차량을 나타내는 입력 지표값과, 오차에 대한 신뢰도를 나타내는 가산 가중값과의 대응을 나타내는 판정 곡선의 형상을 나타낸다.

도 6은 사용 가능한 판정 곡선의 몇 가지의 예를 나타낸다. 이 그래프에서, 각 곡선을 나타내는 그래프의 횡축이 입력 지표값이며, 종축이 지표값에 대한 가산 가중값을 나타낸다. 각 곡선에서, 가산 가중값이 1부터 변화되는 지표값의 값과, 가산 가중값이 0으로 되는 지표값의 값이 판정 임계값이다. 신뢰도 판정 임계값의 크기가 노이즈량에 따른 값으로 된다. 따라서, 노이즈량이 많으면, 신뢰도 판정 임계값이 보다 큰 지표값으로 된다.

신뢰도 판정 곡선 생성기(602)는, 변환기(601)의 출력인 판정 임계값을 이용하여, 신뢰도 판정 곡선을 결정해서 출력한다. 신뢰도 판정 곡선은, 예를 들면 테이블로서 구성되어 메모리에 저장된다. 이 신뢰도 판정 곡선을 이용하여 가산 신뢰도 판정기(603)가 지표값을 입력받아, 그 지표값에 대응하는 가산 가중값을 출력한다. 가산 가중값이 화소 가산 신뢰도 판정기(304)로부터 승산기(306)에 공급된다. 가산 신뢰도 판정기(304)의 일련의 변환, 계산 및 판정은, 화소 단위로 화소값에 따른 노이즈량을 이용하여 생성하는 신뢰도 판정 곡선을 이용하기 때문에, 화 소 단위로 행해진다.

도 7에 나타내는 신뢰도 판정 곡선의 일례에서, 입력 지표값이 신뢰도 판정 임계값 1보다 작으면, 지표값에 대한 가산 가중값은 1이다. 입력 지표값이 신뢰도 판정 임계값 1과 판정 임계값 2의 범위에 있으면, 지표값에 대하여 가산 가중값은 서서히 0을 향해서 감소한다. 신뢰도 판정 임계값 1과 신뢰도 판정 임계값 2는 신뢰도 판정 곡선의 형상을 규정한다. 노이즈량은, 신뢰도 판정 임계값 1 및 신뢰도 판정 임계값 2에 대응하는 지표값에 비례한다. 도 7에 나타내는 신뢰도 판정 곡선에 의해, 입력 지표값이 대응하는 가산 가중값으로 변환되어 출력된다.

가산 신뢰도 판정기(304)로부터 출력되는 가산 가중값이 승산기(306)에 공급된다. 승산기(306)는 가산 신뢰도 판정기(304)로부터 추정된 가산 가중값을, 휘도 신호의 이동 평균에 관해서, 전술한 화소 차분 절대값과 마찬가지로 구한 가산 가중값과 승산한다. 승산기(306)로부터의 출력 결과인 가산 가중값은 승산기(325)에 공급된다. 승산기(325)는 휘도 신호의 이동 분산에 관해서, 전술한 화소 차분 절대값과 마찬가지로 구한 가산 가중값과 승산된다. 또한, 승산기(325)로부터 출력된 가산 가중값은 승산기(326)에 공급된다. 승산기(326)는 승산기(325)로부터 출력된 가산 가중값과 색 신호의 화소, 이동 평균 및 이동 분산에 관해서 구한 가산 가중값을 승산한다. 승산기(326)는 가산 신뢰도 판정 장치(204)가 생성한 가산 가중값을 출력한다. 가산 가중값이 가산 장치(205)에 공급된다.

다음으로, 지표값이 휘도 신호의 이동 평균 차분 절대값 및 이동 분산 차분 절대값인 경우에 대해서 설명한다. 도 3에 도시하는 바와 같이, 기준 화상 및 MC 화상의 공간적으로 동일 위치의 화소 데이터가 프리 필터(300 및 301)를 거쳐서 이동 평균 연산기(310 및 311)에 공급된다. 마찬가지로, 기준 화상 및 MC 화상의 공간적으로 동일 위치의 화소 데이터가 프리 필터(300 및 301)를 거쳐서 이동 분산 연산기(320 및 321)에 공급된다.

이동 평균 연산기(310 및 311)는, 계산하는 화소(중심 화소)를 중심으로 하는 사각형 영역 예를 들면 (5×5)화소의 영역 내의 화소값의 이동 평균을 계산한다. 중심 화소의 이동에 따라서, 사각형 영역을 전화소의 계산 영역과 오버랩시키면서 어긋나게 해서 이동 평균의 연산을 행한다. 이동 분산 연산기(320 및 321)는, 계산하는 화소(중심 화소)를 중심으로 하는 사각형 영역의 영역 내의 화소값의 분산을 계산한다. 중심 화소의 이동에 따라서, 사각형 영역을 전화소의 계산 영역과 오버랩시키면서 어긋나게 해서 이동 분산의 연산을 행한다.

이동 평균 및 이동 분산에 관해서 가산 가중값을 구하는 것은, 노이즈량의 감소를 보다 정확하게 행하기 위해서이다. 복수 화소의 영역의 이동 평균 또는 이동 분산이 서로 다를 때에는, 화소값의 차분 절대값을 노이즈로 판정하는 것보다도, 화상이 상위하고 있는 것으로 판정하는 쪽이 보다 정확한 경우가 많다.

이동 평균 연산기(310 및 311)의 출력 신호가 감산기(312)에 공급된다. 이동 분산 연산기(320 및 321)의 출력 신호가 감산기(322)에 공급된다. 이동 평균의 차 및 이동 분산의 차가 각각 연산된다. 절대값 연산기(313 및 323)는 이들 차를 절대값으로 변환한다. 절대값 연산기(313)는 이동 평균의 차 신호의 절대값을 출력한다. 절대값 연산기(323)는 이동 분산의 차 신호의 절대값을 출력한다. 차의 절대값이 이동 평균 가산 신뢰도 판정기(314) 및 이동 분산 가산 신뢰도 판정기(324)에 각각 공급된다.

이동 평균 가산 신뢰도 판정기(314) 및 이동 분산 가산 신뢰도 판정기(324)에는, 노이즈량 추정기(305)의 출력 신호가 공급된다. 이동 평균 가산 신뢰도 판정기(314) 및 이동 분산 가산 신뢰도 판정기(324)는, 각각 화소 가산 신뢰도 판정기(304)(도 5 참조)와 마찬가지의 구성으로 된다. 이동 평균 가산 신뢰도 판정기(314) 및 이동 분산 가산 신뢰도 판정기(324)는 노이즈량을 변환한 판정 임계값에 기초해 판정 곡선(테이블)을 생성한다. 신뢰도 판정 곡선의 지표값으로서, 이동 평균 차분 절대값 및 이동 분산 차분 절대값을 부여함으로써, 가산 가중값이 구해진다. 휘도 신호의 이동 평균 가산 신뢰도 판정기(314)로부터의 가산 가중값이 승산기(306)에 공급되고, 휘도 신호의 이동 분산 가산 신뢰도 판정기(324)로부터의 가산 가중값이 승산기(325)에 공급된다.

이상이 휘도 신호의 화소 차분 절대값, 이동 평균 차분 절대값, 및 이동 분산 차분 절대값을 각각 지표값으로서 가산 가중값을 구하는 처리이다. 색 신호에 관해서도 마찬가지로, 가산 가중값이 구해진다. 컴포넌트 컬러 비디오 신호인 경우, (4:2:0), (4:2:2), 및 (4:1:1)과 같이, 휘도 신호 Y에 관한 샘플링 주파수와, 색차 신호 Cb에 관한 샘플링 주파수와, 색차 신호 Cr에 관한 샘플링 주파수와의 비가 나타난다. 색차 신호 Cb 및 Cr의 각각에 관해서, 전술한 휘도 신호 Y와 마찬가지로, 가산 가중값이 구해진다.

휘도 신호 Y와 색차 신호 Cb 및 Cr에 대하여, 화상 상의 동일한 영역에 관해 서 가산 가중값의 생성 처리가 행하여진다. 전술한 샘플링 주파수의 비로부터 알 수 있는 바와 같이, 휘도 신호 Y에 관해서 구해진 가산 가중값에 비해서 색차 신호 Cr, Cb에 관해서 구해진 가산 가중값의 수가 부족하다. 이 문제를 해결하기 위해서, 보간을 행하는 업 샘플링(up-sampling) 회로(527)가 설치된다. 업 샘플링 회로(527)로부터의 색차 신호에 관한 가산 가중값이 승산기(326)에 공급된다. 승산기(326)는 업 샘플링 회로(527)로부터 출력된 가산 가중값을 휘도 신호에 관한 가산 가중값과 승산한다.

다음, 색차 신호 Cb에 관한 처리에 대해서 설명한다. 기준 화상의 색차 신호 Cb가 프리 필터(400)를 거쳐서 노이즈량 추정기(405)에 공급된다. 노이즈량 추정기(405)에 촬영 조건 정보가 공급된다. 노이즈량 추정기(405)는, 휘도 신호에 관한 노이즈량 추정기(305)와 마찬가지로 각 촬영 조건에 따른 화소값과 노이즈량과의 관계를 나타내는 테이블에 따라, 노이즈 추정기(405)로부터 노이즈량의 추정값을 출력한다. 노이즈량의 추정값이 화소 가산 신뢰도 판정기(404)에 대해서 출력된다.

기준 화상의 색차 신호 Cb 및 MC 화상의 색차 신호 Cb이 각각 프리 필터(400 및 401)를 거쳐서 감산기(402)에 공급된다. 감산기(402)의 출력이 절대값 연산기(403)에 의해 절대값으로 변환된다. 화소 가산 신뢰도 판정기(404)에 의해 화소 차분 절대값을 지표값으로 하는 가산 가중값이 구해진다. 화소 가산 신뢰도 판정기(404)가 전술한 화소 가산 신뢰도 판정기(304)(도 5 참조)와 마찬가지의 구성으로 된다. 화소 가산 신뢰도 판정기(404)가 지표값(화소 차분 절대값)에 대응하는 가산의 신뢰도인 가산 가중값을 출력한다.

다음으로, 지표값이 색차 신호 Cb의 이동 평균 차분 절대값 및 이동 분산 차분 절대값인 경우에 대해서 설명한다. 기준 화상 및 MC 화상의 공간적으로 동일 위치의 화소 데이터가 프리 필터(400 및 401)를 거쳐서 이동 평균 연산기(410 및 411)에 공급된다. 마찬가지로, 기준 화상 및 MC 화상의 공간적으로 동일 위치의 화소 데이터가 프리 필터(400 및 401)를 거쳐서 이동 분산 연산기(420 및 421)에 각각 공급된다. 이동 평균 연산기(410 및 411)는, 계산하는 화소(중심 화소)를 중심으로 하는 사각형 영역 내의 화소값의 이동 평균을 계산한다. 중심 화소의 이동에 따라서, 사각형 영역을 전화소의 계산 영역과 오버랩시키면서 이동 평균의 연산을 행한다. 이동 분산 연산기(420 및 421)는, 계산하는 화소(중심 화소)를 중심으로 하는 사각형 영역의 영역 내의 화소값의 분산을 계산한다. 중심 화소의 이동에 따라서, 사각형 영역을 전화소의 계산 영역과 오버랩시키면서 어긋나게 해서 이동 분산의 연산을 행한다. 이동 평균 및 이동 분산에 관해서 가산 가중값을 구하는 것은, 노이즈량의 감소를 보다 정확하게 행하기 위해서이다.

이동 평균 연산기(410 및 411)의 출력 신호가 감산기(412)에 공급된다. 이동 분산 연산기(420 및 421)의 출력 신호가 감산기(422)에 공급된다. 감산기(412) 및 감산기(422)는 이동 평균의 차와 이동 분산의 차를 각각 연산한다. 절대값 연산기(413 및 423)는 이들 차를 절대값으로 변환한다. 절대값 연산기(413)는 이동 평균의 차분 절대값을 출력한다. 절대값 연산기(423)는 이동 분산의 차분 절대값을 출력한다. 차분 절대값은 이동 평균 가산 신뢰도 판정기(414) 및 이동 분산 가 산 신뢰도 판정기(424)에 공급된다. 또한 노이즈량 추정기(405)의 출력 신호는 이동 평균 가산 신뢰도 판정기(414) 및 이동 분산 가산 신뢰도 판정기(424)에 공급된다. 이동 평균 가산 신뢰도 판정기(414) 및 이동 분산 가산 신뢰도 판정기(424)는 화소 가산 신뢰도 판정기(304)(도 5 참조)와 동일한 구조를 갖는다. 이동 평균 가산 신뢰도 판정기(414) 및 이동 분산 가산 신뢰도 판정기(424)는, 이동 평균의 차분 절대값과 이동 분산의 차분 절대값을 각각 지표값으로서 가산의 신뢰도인 가산 가중값을 출력한다.

색차 신호 Cb의 이동 평균 가산 신뢰도 판정기(414)로부터의 가산 가중값이 승산기(406)에 공급된다. 승산기(406)는 가산 신뢰도 판정기(404)로부터의 가산 가중값과 이동 평균 가산 신뢰도 판정기(414)로부터 출력된 가산 가중값을 승산한다. 색차 신호 Cb의 이동 평균 가산 신뢰도 판정기(424)로부터 출력된 가산 가중값이 승산기(425)에 공급된다. 승산기(425)는 이동 평균 가산 신뢰도 판정기(424)로부터 출력된 가산 가중값을 승산기(406)로부터 출력된 가산 가중값과 승산된다.

다른 색차 신호 Cr에 관해서도 전술한 색차 신호 Cb와 마찬가지의 구성이 설치되어 있다. 즉, 프리 필터(500, 501), 노이즈량 추정기(505), 감산기(502), 절대값 연산기(503), 화소 가산 신뢰도 판정기(504)에 의해, 색차 신호 Cr의 화소 차분 절대값을 지표값으로 하는 가산 가중값이 구해진다. 색차 신호 Cr의 이동 평균 차분 절대값을 지표값으로 하는 가산 가중값은, 프리 필터(500, 501), 노이즈량 추정기(505), 이동 평균 연산기(510, 511), 감산기(512), 절대값 연산기(513), 이동 평균 가산 신뢰도 판정기(514)에 의해 구해진다. 색차 신호 Cr의 이동 분산 차분 절대값을 지표값으로 하는 가산 가중값은, 프리 필터(500, 501), 노이즈량 추정기(505), 이동 분산 연산기(520, 521), 감산기(522), 절대값 연산기(523), 이동 평균 가산 신뢰도 판정기(524)에 의해 구해진다.

화소 차분 절대값을 지표값으로 하는 가산 가중값과, 이동 평균 차분 절대값을 지표값으로 하는 가산 가중값이 승산기(506)에서 승산된다. 승산기(506)의 출력과, 이동 분산 차분 절대값을 지표값으로 하는 가산 가중값이 승산기(525)에서 승산된다. 승산기(525)로부터 출력되는 색차 신호 Cr에 관한 가산 가중값과, 전술한 색차 신호 Cb에 관한 가산 가중값이 승산기(526)에서 가산된다. 승산기(526)의 출력이 업 샘플링 회로(527)에 공급된다. 업 샘플링 회로(527)는, 색차 포맷에 따라서 색차의 가산 가중값을 보간하고, 점수를 휘도 가산 가중값에 일치시킨다. 업 샘플링 회로(527)의 출력이 승산기(326)에서 승산된다. 승산기(326)의 출력이 주목하는 화소의 최종적인 신뢰도를 나타내는 가산 가중값이다. 가산 가중값은, 휘도 화소, 휘도 이동 평균, 휘도 이동 분산, 색차 화소, 색차 이동 평균, 색차 이동 분산의 각각의 신뢰도를 나타내고, 각각 0부터 1의 연속값으로 나타낸다.

가산 장치(205)의 일례를 도 8에 도시한다. 승산기(701)에 의해 가산 신뢰도 판정 장치(204)의 출력인 가산 가중값에 대하여, MC 화상에 대한 귀환 계수인 W를 승산한다. 승산기(701)로부터 출력되는 계수(α로 나타냄)가 승산기(606)에 공급된다. 승산기(606)는 MC 화상을 계수 α에 승산한다. 계수 α가 감산기(607)에 공급된다. 승산기(607)는 (1-α)을 생성한다. (1-α)가 승산기(608)에 공급된다. 승산기(608)는 기준 화상에 (1-α)를 승산한다. 승산기(606 및 608)의 출력이 가 산기(609)에 의해 가산된다. 가산기(609)로부터 노이즈 제거 후의 화상인 NR 화상이 추출된다. 귀환 계수 w는, 예를 들면 최초의 프레임을 0번째로 하고, 이후의 프레임을 1번째, 2번째, ····, k번째로 했을 때에, 1/(k+1)로 된다. 동일한 화상에 노이즈가 존재하고 있다라고 판단되어 가산 가중값이 최대값(1)인 경우에, α=1/2로 된다. 화상이 상위하고 있다고 판단되어 가산 가중값이 최소값(0)인 경우에, α=0으로 된다.

숨은 영역 처리 장치(206)의 일례를 도 9에 도시한다. 숨은 영역 처리 장치(206)는, 기준 화상에 대해서 시간적으로 1매 이상 떨어진 화상의 MC 화상을 참조 화상으로서 이용할 때, 신뢰도가 낮은 숨은 영역의 MC 부분의 화질의 열화의 전파를 억제하기 위해서 구비되어 있다. 도 9에 도시하는 바와 같이, 감산기(611)에 의해 기준 화상과 MC 화상의 차분값이 구해진다. 감산기(612)에서 차분값으로부터 임계값 Thr이 감산된다. 감산 결과가 스위치 컨트롤러(613)에 공급된다. 신뢰도가 낮은 숨은 영역에 포함되는 화소는, 임계값 Thr보다도 큰 화소, 즉, 감산 결과가 플러스로서 검출된다.

스위치(614)의 한쪽의 입력 단자에 대하여 MC 화상의 화소 데이터가 공급되고, 그 다른 쪽의 입력 단자에 대하여 기준 화상의 화소 데이터가 공급된다. 스위치(614)에 의해, 차분값이 임계값 Thr보다 큰 화소 데이터는, 기준 화상의 화소 데이터로 치환된다. 스위치(614)의 출력 화상이 프레임 메모리(201)(도 2 참조)에 저장된다. 스위치(614)의 출력 화상이 다음 프레임의 처리에서 참조 화상으로서 이용된다.

다음으로, 전술한 본 발명의 특정예가 기술된다. 먼저, 도 10 및 도 11에 도시된 플로우차트 및 상태 전이도를 참조하여, 예를 들면 3매의 정지 화상을 연사하여 얻고 노이즈를 경감하는 것이 기술된다. 이 예에서, 시각 t, t+1, t+2의 각각에서 촬영된 3매의 정지 화상을 각각 Org(t), Org(t+1), 및 Org(t+2)로서 표기한다.

플로우차트의 최초의 단계 S1에서, 움직임 예측 장치(202)가 Org(t)를 기준 화상으로 하고, Org(t+1)을 참조 화상으로 하여 움직임 예측을 행하고, 움직임 벡터 MV를 얻는다. 기준 화상 Org(t)에 대한 참조 화상 Org(t+1)의 움직임을 나타내는 움직임 벡터 MV를 얻는 처리가 도 11에서는, 움직임 예측 ST1로서 나타나 있다.

단계 S2에서, 움직임 보상 장치(203)가 움직임 벡터 MV를 이용하여 참조 화상 Org(t+1)에 대한 움직임 보상을 행하고, MC 화상 MC(t+1)을 얻는다. 도 11에서는, MC 화상을 얻는 처리가 단계 ST2로서 나타나 있다.

단계 S3에서는, 기준 화상 Org(t)와, 움직임 보상에 의해 위치 정렬이 이루어진 MC 화상 MC(t+1)로부터 가산 신뢰도 판정 장치(204)가 가산 신뢰도 판정을 행하고, 가산 가중값이 얻어진다. 도 11에서는, 가산 가중값을 얻는 처리가 단계 ST3로서 나타나 있다.

단계 S4에서는, 기준 화상 Org(t)와, MC 화상 MC(t+1)이 가산 장치(205)에서, 가산 가중값에 의해 가중값 부여 가산된다. 도 11에서는, 가산 처리가 단계 ST4로서 나타나 있다. 가산에 의해, 노이즈 경감 후의 NR 화상 NR(t)가 얻어진다.

다음으로, 단계 S5에서, 움직임 예측 장치(202)가 NR 화상 NR(t)를 기준 화 상으로 하고, 정지 화상 Org(t+2)를 참조 화상으로 하여 움직임 예측을 행하고, 움직임 벡터 MV를 얻는다. 기준 화상 NR(t)에 대한 참조 화상 Org(t+2)의 움직임을 나타내는 움직임 벡터 MV를 얻는 처리가 도 11에서는, 움직임 예측 ST5로서 나타나 있다.

단계 S6에서, 움직임 보상 장치(203)가 움직임 벡터 MV를 이용하여 참조 화상 Org(t+2)에 대한 움직임 보상을 행하고, MC 화상 MC(t+2)를 얻는다. 도 11에서는, MC 화상을 얻는 처리가 단계 ST6으로서 나타나 있다.

단계 S7에서는, 기준 화상 Org(t)와, 움직임 보상에 의해 위치 정렬이 이루어진 MC 화상 MC(t+2)로부터 가산 신뢰도 판정 장치(204)가 가산 신뢰도 판정을 행하고, 가산 가중값이 얻어진다. 도 11에서는, 가산 가중값을 얻는 처리가 단계 ST7로서 나타나 있다.

단계 S8에서는, 기준 화상 Org(t)와, MC 화상 MC(t+2)가 가산 장치(205)에서, 가산 가중값에 의해 가중값 부여 가산된다. 도 11에서는, 가산 처리가 단계 ST8로서 나타나 있다. 가산에 의해, 노이즈 경감 후의 NR 화상 NR'(t)가 얻어진다.

전술한 바와 같이, 기준 화상에 대하여, 움직임 보상에 의해 그 밖의 화상을 위치 정렬하고, 기준 화상과 MC 화상을 가산한다. 가산 결과의 NR 화상을 다음 처리의 기준 화상으로서 이용된다. 마찬가지의 처리로 NR 화상을 얻는다. 이렇게, 정지 화상인 경우에는, 재귀적인 처리가 이루어진다.

전술한 도 10 및 도 11에 나타내는 처리에서, 움직임 예측 및 움직임 보상이 블록(예를 들면 매크로 블록) 단위로 행해진다. 한편, 가산 신뢰도 판정 처리 및 가산 처리가 화소 단위로 행해진다. 이것은, 이하에 설명하는 동화상 처리에서도 마찬가지이다. 전술한 예는, 3매의 정지 화상을 입력하는 예이다. 2매 또는 4매 이상의 정지 화상을 입력해도 마찬가지의 재귀적인 처리가 이루어진다.

다음으로, 동화상 처리로서, 2매의 동화상을 가산하는 처리에 대해서, 도 12의 플로우차트 및 도 13의 상 전이도를 참조하여 설명한다. 시각 t에서 촬영된 최신의 화상(프레임)을 각각 Org(t)로서 표기하고, 1프레임 전의 처리 후의 화상을 NR(t-1)로 표기한다. 전술한 정지 화상 처리에서는, 연사에 의해 복수의 정지 화상을 얻고 있다. 동화상 처리에서는, 연속적으로 촬영을 행하고 있어, 소정의 프레임 레이트 예를 들면 1/30초 간격으로 각 프레임이 입력된다.

최초의 단계 S11에서, 움직임 예측 장치(202)가 Org(t)를 기준 화상으로 하고, NR(t-1)을 참조 화상으로 하여 움직임 예측을 행하고, 움직임 벡터 MV를 얻는다. 기준 화상 Org(t)에 대한 참조 화상 NR(t-1)의 움직임을 나타내는 움직임 벡터 MV를 얻는 처리가 도 13에서는, 움직임 예측 ST11로서 나타나 있다.

단계 S12에서, 움직임 보상 장치(203)가 움직임 벡터 MV를 이용하여 참조 화상 NR(t-1)에 대한 움직임 보상을 행하고, MC 화상 MC(t-1)을 얻는다. 도 13에서는, MC 화상을 얻는 처리가 단계 ST12로서 나타나 있다.

단계 S13에서는, 기준 화상 Org(t)와, 움직임 보상에 의해 위치 정렬이 이루어진 MC 화상 MC(t-1)로부터 가산 신뢰도 판정 장치(204)가 가산 신뢰도 판정을 행하고, 가산 가중값이 얻어진다. 도 13에서는, 가산 가중값을 얻는 처리가 단계 ST13으로서 나타나 있다.

단계 S14에서는, 기준 화상 Org(t)와, MC 화상 MC(t-1)이 가산 장치(205)에서, 가산 가중값에 의해 가중값 부여 가산된다. 도 13에서는, 가산 처리가 단계 ST14로서 나타나 있다. 가산에 의해, 노이즈 경감후의 NR 화상(NR(t))이 얻어진다. 다음 프레임의 화상 Org(t+1)의 처리는, NR 화상 NR(t)가 참조 화상으로서 사용되어 전술한 것과 마찬가지의 처리가 이루어진다.

이렇게 동화상 처리 시에는, 최신의 시각의 화상에 대하여 과거의 화상을 위치 정렬해서 가산한다. 동화상 처리에서는, 움직임 예측을 가산 매수의 횟수만큼 행하지 않는다. 대신, 움직임 예측 처리는, 1매 전의 화상에 대해서만 행한다. 2매 이상 떨어진 시각의 화상에 대해서는, 1매전 시에 가산한 MC 화상을 기억해 두고, 1매 전의 화상과의 움직임 벡터를 참조해서 움직임 보상을 행한다. 따라서, 움직임 예측의 횟수를 1매의 화상에 대해서 1회로 행할 수 있다.

도 14 및 도 15는, 3매의 동화상을 가산하는 동화상 처리를 도시하는 플로우차트 및 상 전이도이다. 시각 t에서 촬영된 최신의 화상(프레임)을 각각 Org(t)로서 표기하고, 1프레임 전의 처리 후의 화상을 NR(t-1)로 표기하고, 1매전 시에 가산하여, 기억되어 있는 MC 화상을 MC(t-2)로 표기한다.

최초의 단계 S21에서, 움직임 예측 장치(202)가 Org(t)를 기준 화상으로 하고, NR(t-1)을 참조 화상으로 하여 움직임 예측을 행하고, 움직임 벡터 MV를 얻는다. 기준 화상 Org(t)에 대한 참조 화상 NR(t-1)의 움직임을 나타내는 움직임 벡터 MV를 얻는 처리가 도 15에서는, 움직임 예측 ST21로서 나타나 있다.

단계 S22에서, 움직임 보상 장치(203)가 움직임 벡터 MV를 이용하여 참조 화상 NR(t-1)에 대한 움직임 보상을 행하고, MC 화상 MC(t-1)을 얻는다. 도 15에서는, MC 화상 MC(t-1)을 얻는 처리가 단계 ST22로서 나타나 있다.

단계 S23에서는, 기준 화상 Org(t)와, 움직임 보상에 의해 위치 정렬이 이루어진 MC 화상 MC(t-1)로부터 가산 신뢰도 판정 장치(204)가 가산 신뢰도 판정을 행하고, 가산 가중값이 얻어진다. 도 15에서는, 가산 가중값을 얻는 처리가 단계 ST23으로서 나타나 있다.

단계 S24에서는, 기준 화상 Org(t)와, MC 화상 MC(t-1)이 가산 장치(205)에서, 가산 가중값에 의해 가중값 부여 가산된다. 도 15에서는, 가산 처리가 단계 ST24로서 나타나 있다. 가산 처리에 의해, 노이즈 경감 후의 NR 화상(NR(t))이 얻어진다.

단계 S25에서, 움직임 보상 장치(203)이 움직임 벡터 MV를 이용하여 MC 화상 MC(t-2)에 대한 움직임 보상을 행하고, MC 화상 MC'(t-2)를 얻는다. 도 15에서는, MC 화상 MC'(t-2)를 얻는 처리가 단계 ST25로서 나타나 있다.

단계 S26에서는, 기준 화상으로서의 NR 화상 NR(t)와, MC 화상 MC'(t-2)로부터 가산 신뢰도 판정 장치(204)가 가산 신뢰도 판정을 행하고, 가산 가중값이 얻어진다. 도 15에서는, 가산 가중값을 얻는 처리가 단계 ST26으로서 나타나 있다.

단계 S27에서는, NR 화상 NR(t)와, MC 화상 MC'(t-2)가 가산 장치(205)에서, 가산 가중값에 의해 가중값 부여 가산된다. 도 15에서는, 가산 처리가 단계 ST27로서 나타나 있다. 가산에 의해, 노이즈 경감 후의 NR 화상 NR'(t)가 얻어진다.

전술한 처리와 같이, 움직임 예측은, 단계 S21(ST21)의 한번만 행한다. 움직임 벡터 MV를 NR(t-1) 및 MC(t-2)에 적용해서 움직임 보상을 행함으로써, 계산량을 크게 늘리지 않고 3매의 화상을 가산할 수 있다.

도 16 및 도 17은, 3매의 동화상을 가산하는 처리 및 숨은 영역 처리를 도시하는 플로우차트 및 상 전이도를 나타낸다. 시각 t에서 촬영된 최신의 화상(프레임)을 각각 Org(t)로서 표기하고, 1프레임 전의 처리 후의 화상을 NR(t-1)로 표기하고, 1매전 시에 가산하여, 기억되어 있는 MC 화상을 MC'(t-2)로 표기한다.

단계 S31(ST31)의 움직임 예측, 및 단계 S32(ST32)의 움직임 보상은, 도 14 및 도 15에서의 단계 S21(ST21) 및 단계 S22(ST22)와 대응하는 처리이다.

단계 S33(ST33)의 가산 신뢰도 판정, 및 단계 S34(ST34)의 가산은, 도 14 및 도 15에서의 단계 S23(ST23) 및 단계 S24(ST24)와 대응하는 처리이다. 가산에 의해, 노이즈 경감 후의 NR 화상 NR(t)가 얻어진다.

단계 S35에서, 다음 프레임의 노이즈 경감 처리를 위해서, 숨은 영역 처리 장치(206)가 MC 화상 MC(t-1)에 대하여 숨은 영역 처리를 행하고, MC 화상 MC'(t-1)이 얻어진다. 도 17에서는, 움직임 보상에 의해 이동 물체에 숨겨져 있었던 숨은 영역의 범위가 R로 나타내지고, 숨은 영역 처리가 단계 ST35로서 나타나 있다.

단계 S36에서, 움직임 보상 장치(203)가 움직임 벡터 MV를 이용하여 MC 화상 MC'(t-2)에 대한 움직임 보상을 행하고, MC 화상 MC"(t-2)를 얻는다. 도 17에서는, MC 화상 MC"(t-2)를 얻는 처리가 단계 ST36으로서 나타나 있다.

단계 S37에서는, 기준 화상으로서의 NR 화상 NR(t)와, MC 화상 MC"(t-2)로부 터 가산 신뢰도 판정 장치(204)가 가산 신뢰도 판정을 행하고, 가산 가중값이 얻어진다. 도 17에서는, 가산 가중값을 얻는 처리가 단계 ST37로서 나타나 있다.

단계 S38에서는, NR 화상 NR(t)와, MC 화상 MC"(t-2)가 가산 장치(205)에서,가산 가중값에 의해 가중값 부여 가산된다. 도 17에서는, 가산 처리가 단계 ST38로서 나타나 있다. 가산에 의해, 노이즈 경감 후의 NR 화상 NR"(t)가 얻어진다.

전술한 처리와 같이 , 단위 시간 (1프레임)전의 처리 화상 NR(t-1)을 움직임 보상한 화상 MC(t-1)에 대하여, 숨은 영역 처리를 행하여 MC'(t-1)을 작성한다. MC'(t-1)는 다음 시간의 노이즈 경감 처리에서 이용한다. 그 결과, 숨은 영역에서의 화상 열화의 전파를 억제해서 3매의 화상의 가산을 행할 수 있다.

다음으로, 본 발명의 다른 실시 형태에 대해서 설명한다. 전술한 본 발명의 일 실시 형태는, 기준으로 하는 화상에 대하여 그 밖의 화상을 블록 단위로 움직임 보상한 MC 화상을 작성한다. 화소 단위의 가산 신뢰도 판정을 행한다. 그 결과, 손 떨림이나, 움직임 피사체에 대해서도 노이즈 경감 효과를 얻을 수 있다. 그러나, 특정한 조건하에서는, 움직임 추정 및 움직임 보상에 기인하는 열화가 눈에 띄는 문제가 생긴다.

즉, 다수의 MC 화상을 가산하는 경우에, 복수의 MC 화상의 동일 위치에 거의 동일한 블록 왜곡이 생긴다. 그 왜곡의 화소값이 기준 화상의 화소값에 가까운 경우에는, 가산에 의한 열화가 축적된다. 그 결과, 처리 화상에 블록 형상의 왜곡이 생긴다. 실제로는, 카메라의 움직임이 적은 상황에서, 복수의 화상을 촬영했을 때에, 기준 화상에만 움직임 피사체가 존재하고, 다른 화상에서는, 그 움직임 피사체 가 촬영되어 있지 않은 상황에서, 움직임 피사체 부분의 움직임 추정을 올바르게 행할 수 없다. 따라서, 거의 모든 MC 화상에서 거의 동일한 블록 형상 왜곡이 발생한다.

또한, 특정의 조건하에서는, 눈에 띄는 노이즈의 경감 효과가 불충분하게 되는 문제가 생길 가능성이 있다. 즉, 평탄부에 생기는 공간적으로 큰 사이즈의 색 노이즈는, 그 크기에 부가하여 진폭이 커서, 가산 신뢰도 판정에서 가산 가중값을 크게 하면 판정할 수 없다. 따라서, 노이즈 제거가 곤란하다.

이들 문제를 해소하기 위해서, 기준 화상과 MC 화상의 가산 신뢰도 판정을 화소 단위로 행할 때에, 다음의 조작을 행한다. 우선, MC 화상에 생기는 블록 왜곡에 대해서 검토하면, 노이즈가 존재하는 영역에서는, 블록 경계가 노이즈에 헷갈려서 눈에 띄지 않는다. 노이즈가 적은 영역에서는, 블록 경계가 눈에 띈다. 따라서, 노이즈가 적고, 또한 평탄한 영역, 즉, 노이즈가 눈에 띄기 쉬운 영역을 검출하여, 그 영역에서는, 가산 가중값을 보다 작은 것으로 하는 보정을 행한다. 이 가산 가중값의 보정에 의해, MC 화상에 생기는 블록 왜곡을 억제할 수 있다.

다음으로, 평탄부에 생기는 공간적으로 큰 사이즈의 색 노이즈의 경감 처리에 대해서 설명한다. 기준 화상과 MC 화상의 화소 단위의 색차 차분이 큰 경우에, 평탄하고 또한 색 노이즈가 생기는 영역 이상의 범위에서 연산한 색차 차분의 평균값이 작은 영역은, 색 노이즈로 판정하고, 가산 가중값을 증대시킨다.

이렇게 가산 가중값을 보정하는 처리를 행하는 본 발명의 다른 실시 형태에 따른 노이즈 경감 장치의 구성을 도 18에 도시한다. 노이즈 경감 장치는, 프레임 메모리(201), 움직임 예측 장치(202), 움직임 보상 장치(203), 가산 신뢰도 판정 장치(204), 가산 가중값 보정 장치(207), 가산 장치(205)를 갖는다. 또한, 일 실시 형태와 마찬가지로, 숨은 영역 처리 장치를 구비해도 된다.

가산 신뢰도 판정 장치(204)로부터 출력되는 가산 가중값을 보정하는 가산 가중값 보정 장치(207) 이외의 구성은, 전술한 일 실시 형태와 마찬가지이다. 즉, 가산 신뢰도 판정 장치(도 3에 도시되는 구성)로부터 출력되는 가산 가중값을 보정하는 가산 가중값 보정 장치를 도시한다. 전술한 일 실시의 형태에서의 촬상 장치의 구성(도 1), 노이즈 경감 장치의 구성(도 2), 및 가산 신뢰도 판정 장치에 관련되는 구성 및 특성(도 4 등)은, 다른 실시 형태에서도 마찬가지이다.

도 19는, 가산 신뢰도 판정 장치(도 3에 도시되는 구성)로부터 출력되는 가산 가중값을 보정하는 가산 가중값 보정 장치를 도시한다. 가산 신뢰도 판정 장치로부터 출력되는 가산 가중값이 승산기(332)에 공급된다. 승산기(332)에 대하여, 전술한 색 노이즈의 억제를 고려한 가산 신뢰도 판정기(331)에서 생성된 가산 가중값이 공급된다.

승산기(332)의 출력 신호가 클립 회로(333)에 공급된다. 클립 회로(333)에 의해 1을 초과하는 값이 1로 클립된다. 클립 회로(333)의 출력 신호가 승산기(334)에 공급된다. 승산기(334)에 대하여, 전술한 MC 화상 블록 노이즈의 억제를 고려한 가산 신뢰도 판정기(336)에서 생성된 가산 가중값이 공급된다. 승산기(334)의 출력에 노이즈 대책을 위해서 보정된 가산 가중값이 얻어진다. 이 가산 가중값이 가산 장치(205)에 공급된다.

블록 노이즈 대책의 가산 신뢰도 판정기(336)에 대하여 가산기(335)의 출력 신호가 공급된다. 가산기(335)의 하나의 입력으로서, 프리 필터(300)를 거친 휘도 기준 화상에 관해서 휘도 이동 분산 연산기(320)에서 구해진 이동 분산이 공급된다. 그 밖의 입력으로서, 업 샘플링 회로(338)의 출력 신호가 공급된다.

업 샘플링 회로(338)에 대하여 가산기(337)의 출력 신호가 공급된다. 가산기(337)의 하나의 입력으로서, 프리 필터(400)를 거친 색차(Cb) 기준 화상에 관해서 색차 이동 분산 연산기(420)에서 구해진 이동 분산이 공급된다. 그 밖의 입력으로서, 프리 필터(400)를 거친 색차(Cr) 기준 화상에 관해서 색차 이동 분산 연산기(520)에서 구해진 이동 분산이 공급된다. 휘도 및 색차의 이동 분산을 연산하는 사각형 영역의 크기가 동일하게 되도록 설정되어 있다. 업 샘플링 회로(338)는, 화소수가 휘도 신호에 비해서 적은 색차 신호에 대한 보간을 위해서 설치되어 있다.

가산 신뢰도 판정기(336)는, 가산기(335)로부터 공급되는 입력 신호(분산값의 합)에 대하여 도 20에 도시하는 바와 같이, 가산 가중값을 보정한다. 입력 신호가 판정의 임계값 TH보다 작은 범위에서는, 입력 신호의 가산 가중값이 증가한다. 입력 신호의 값이 임계값 TH 이상의 범위에서는, 1의 값의 가산 가중값을 출력한다. 1로 설정된 가산 가중값은, 가산 신뢰도 판정 장치로부터의 가산 가중값에 승산되어도 영향을 주지 않는다.

기준 화상의 분산값의 합이 작은 영역은, 노이즈가 적고, 또한 평탄한 영역, 즉, 노이즈가 눈에 띄기 쉬운 영역으로 추정할 수 있다. 그러한 영역에서는, 가산 가중값을 보다 작은 것으로 하는 보정을 행함으로써, MC 화상에 생기는 블록 왜곡을 억제할 수 있다. 1보다 작게 설정된 가산 가중값은, 가산 신뢰도 판정 장치로부터의 가산 가중값에 승산된다. 그 결과, 가산 가중값을 감소시킨다.

색 노이즈 대책의 가산 신뢰도 판정기(331)에는, 휘도 이동 분산 연산기(320)로부터의 휘도 기준 화상의 분산과, 색차 이동 평균 연산기(340)로부터의 이동 평균이 입력된다. 색차(Cb) 기준 화상의 화소 절대값 차분과, 색차(Cr) 기준 화상의 화소 절대값 차분이 가산기(339)에서 가산된다. 가산기(339)로부터 출력되는 색차 차분 절대값의 이동 평균이 이동 평균 연산기(340)에서 연산된다. 이동 평균 연산기(320 및 340)는, 값을 연산하는 화소를 중심으로 하는 사각형 영역의 이동 평균을 구한다. 이 사각형 영역의 크기는, 제거하려고 하는 색 노이즈보다도 큰 영역으로 된다.

가산 신뢰도 판정기(331)는, 도 21에 도시하는 바와 같은 처리를 행하는 하드웨어 또는 소프트웨어의 구성으로 된다. 우선, 최초의 단계 S41에서, 휘도 분산값이 임의의 임계값의 범위 내에 있는지의 여부가 판정된다. 임계값의 범위 내에 있는 것은, 평탄 영역인 것을 의미한다. 평탄 영역이 아닌 경우에는, 단계 S44에서, 가산 가중값이 1로 설정된다. 이후, 처리가 종료된다. 1로 설정된 가산 가중값은, 가산 신뢰도 판정 장치로부터의 가산 가중값에 승산되어도 영향를 주지 않는다.

단계 S41에서 평탄 영역으로 판정되면, 색차의 차분 절대값의 이동 평균이 임의의 임계값의 범위 내에 있는지의 여부가 판정된다. 단계 S41의 판정 결과가 긍정인 경우에는, 색 노이즈 영역으로 판정된다. 이후, 단계 S43의 처리가 이루어진다. 단계 S41의 판정 결과가 부정인 경우에는, 단계 S44의 처리(가산 가중값=1)가 된다.

단계 S43에서는, 가산 가중값으로서 1보다 큰 값을 설정해서 처리를 종료한다. 1보다 크게 설정된 가산 가중값은, 가산 신뢰도 판정 장치로부터의 가산 가중값에 승산된다. 그 결과, 가산 가중값을 증대시킨다. 따라서, 색 노이즈의 제거 효과를 증가시킨다. 임계값 및 설정하는 가산 가중값의 구체적 수치는, 시각적인 영향을 고려해서 설정된다. 만약, 1보다 큰 가산 가중값을 승산한 결과가 1을 초과하는 값으로 된 경우에는, 클립 회로(333)에 의해 1로 된다.

전술한 본 발명의 다른 실시예에 따르면, 일 실시 형태와 마찬가지의 노이즈 경감 효과에 부가하여, 블록 왜곡의 발생을 억제할 수 있다. 또한, 평탄부에 생기는 공간적으로 큰 사이즈의 색 노이즈를 경감할 수 있다.

이상, 본 발명의 실시 형태에 대해서 구체적으로 설명했지만, 본 발명은, 전술한 실시의 형태에 한정되는 것은 아니며, 본 발명의 기술적 사상에 기초하는 각종의 변형이 가능하다. 예를 들면, 전술한 예에서는, 기준 화상과 MC 화상을 가중 평균하고 있다. 대신, 간단히 가산하도록 해도 된다. 즉, 손 떨림도 노이즈도 없지만 어두운 화상을, 위치 정렬해서 가산 신뢰도 판정을 해서 가산 가중값에 따라서 복수 매 가산하여도 된다. 마지막으로, 화소마다 정규화를 행하도록 해도 된다.

도 1은 본 발명의 일 실시예에 따른 전체의 구성을 도시하는 블록도.

도 2는 본 발명의 일 실시예에 따른 노이즈 경감 장치의 일례의 블록도.

도 3은 본 발명의 실시예에 따른 가산 신뢰도 판정 장치의 일례의 블록도.

도 4는 가산 신뢰도 판정 장치 내에 노이즈량 추정기가 배치된 화소값 대 노이즈량의 테이블을 개념적으로 나타내는 개략도.

도 5는 가산 신뢰도 판정 장치 내의 화소 가산 신뢰도 판정기의 일례를 도시하는 블록도.

도 6은 사용 가능한 신뢰도 판정 곡선의 몇 가지의 예를 나타내는 개략선도.

도 7은 신뢰도 판정 곡선의 일례를 나타내는 개략선도.

도 8은 가산 신뢰도 판정 장치 내의 가산 장치의 일례를 도시하는 블록도.

도 9는 가산 신뢰도 판정 장치 내의 숨은 영역 처리 장치의 일례를 도시하는 블록도.

도 10은 본 발명의 실시예에 따른 정지 화상 처리를 설명하기 위한 플로우차트.

도 11은 정지 화상 처리에서의 참조 관계를 설명하기 위한 개략선도.

도 12는 본 발명의 실시예에 따른 2매의 동화상을 가산하는 동화상 처리를 설명하기 위한 플로우차트.

도 13은 2매의 동화상을 가산하는 동화상 처리에서의 참조 관계를 설명하기 위한 개략선도.

도 14는 본 발명의 실시예에 따른 3매의 동화상을 가산하는 동화상 처리를 설명하기 위한 플로우차트.

도 15는 3매의 동화상을 가산하는 동화상 처리에서의 참조 관계를 설명하기 위한 개략선도.

도 16은 본 발명의 실시예에 따른 3매의 동화상을 가산하는 동화상 처리(숨은 영역 처리를 포함함)를 설명하기 위한 플로우차트.

도 17은 3매의 동화상을 가산하는 동화상 처리(숨은 영역 처리를 포함함)에서의 참조 관계를 설명하기 위한 개략선도.

도 18은 본 발명의 실시예에 따른 노이즈 경감 장치의 일례를 도시하는 블록도.

도 19는 본 발명의 다른 실시예에 따른 가산 가중값 보정 장치의 구성예를 도시하는 블록도.

도 20은 본 발명의 다른 실시예에 따른 블록 노이즈 경감 처리를 설명하기 위한 개략선도.

도 21은 본 발명의 다른 실시예에 따른 색 노이즈 경감 처리를 설명하기 위한 개략선도.

[도면의 주요 부분에 대한 부호의 설명]

101: 촬상 소자

102: 카메라 신호 처리부

103: 노이즈 경감 장치

104: 카메라 제어부

201: 프레임 메모리

202: 움직임 예측 장치

203: 움직임 보상 장치

204: 가산 신뢰도 판정 장치

205: 가산 장치

206: 숨은 영역 처리 장치

207: 가산 가중값 보정 장치

300, 301, 400, 401, 500, 501: 프리 필터

310, 311: 휘도 이동 평균 연산기

410, 411, 510, 511: 색차 이동 분산 연산기

320, 321: 휘도 이동 분산 연산기

420, 421, 520, 521: 색차 이동 분산 연산기

313, 323, 413, 423, 513, 523: 절대값 연산기

305: 휘도 노이즈량 추정기

405: 색차(Cb) 노이즈량 추정기

505: 색차(Cr) 노이즈량 추정기

304: 휘도 화소 가산 신뢰도 판정기

314: 휘도 이동 평균 가산 신뢰도 판정기

324: 휘도 이동 분산 가산 신뢰도 판정기

404, 504: 색차 화소 가산 신뢰도 판정기

414, 514: 색차 이동 평균 가산 신뢰도 판정기

424, 524: 색차 이동 분산 가산 신뢰도 판정기

338, 527: 업 샘플링 회로

601: 노이즈량→판정 임계값 변환기

602: 판정 곡선 생성기

331: 색 노이즈 대책의 가산 신뢰도 판정 장치

336: MC 화상의 블록 왜곡 대책의 가산 신뢰도 판정 장치

Claims

시간적으로 연속하는 제1 및 제2 정지 화상을 사용하여, 노이즈가 경감된 화상이 출력되는 화상 처리 방법으로서,

상기 제2 정지 화상의 움직임을, 블록 단위로 보상하는 단계와,

상기 제1 정지 화상 및 움직임 보상을 행한 상기 제2 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 가산 가중값을 설정하는 단계와,

상기 제1 정지 화상 및 움직임 보상을 행한 상기 제2 정지 화상을, 상기 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는 단계

를 포함하는 화상 처리 방법.
시간적으로 연속하는 제1, 제2, 및 제3 정지 화상을 사용하여, 노이즈가 경감된 화상을 출력하는 화상 처리 방법으로서,

상기 제2 정지 화상의 움직임을, 블록 단위로 보상하는 단계와,

상기 제1 정지 화상 및 움직임 보상을 행한 상기 제2 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 제1 가산 가중값을 설정하는 단계와,

상기 제1 정지 화상 및 움직임 보상을 행한 상기 제2 정지 화상을, 상기 제1 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는 단계와,

상기 제3 정지 화상의 움직임을, 블록 단위로 보상하는 단계와,

상기 처리 후의 화상 및 움직임 보상을 행한 상기 제3 정지 화상을 화소 단 위로 가산의 신뢰도 판정을 행하여 대응하는 제2 가산 가중값을 설정하는 단계와,

상기 처리 후의 화상 및 움직임 보상을 행한 상기 제3 정지 화상을, 상기 제2 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는 단계

를 포함하는 화상 처리 방법.
소정의 단위 시간 간격으로 입력되는 동화상으로부터 노이즈를 경감하는 화상 처리 방법으로서,

소정의 1단위 시간 전의 처리 후의 화상의 움직임을, 블록 단위로 보상하는 단계와,

현재의 동화상 및 움직임 보상을 행한 상기 소정의 1단위 시간 전의 처리 후의 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 가산 가중값을 설정하는 단계와,

현재의 동화상 및 움직임 보상을 행한 상기 소정의 1단위 시간 전의 처리 후의 화상을, 상기 가산 가중값에 따라서 가산 또는 가중 평균하여, 상기 현재의 동화상에 대응하는 처리 후의 화상을 얻는 단계

를 포함하는 화상 처리 방법.
소정의 단위 시간 간격으로 입력되는 동화상으로부터, 노이즈를 경감하는 화상 처리 방법으로서,

현재의 동화상과 소정의 1단위 시간 전의 처리 후의 화상의 움직임 벡터를 블록 단위로 구하는 단계와,

상기 소정의 1단위 시간 전의 처리 후의 화상과, 소정의 2단위 시간 전의 처리 후의 화상의 움직임을, 상기 움직임 벡터로 보상하는 단계와,

상기 현재의 동화상 및 움직임 보상을 행한 상기 소정의 1단위 시간 전의 처리 후의 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 제1 가산 가중값을 설정하는 단계와,

현재의 동화상 및 움직임 보상을 행한 상기 소정의 1단위 시간 전의 처리 후의 화상을, 가산 또는 가중 평균하여, 제1 처리 후의 화상을 얻는 단계와,

움직임 보상된 상기 소정의 2단위 시간 전의 처리 후의 화상 및 상기 제1 처리 후의 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 제2 가산 가중값을 설정하는 단계와,

움직임 보상된 상기 소정의 2단위 시간 전의 처리 후의 화상 및 상기 제1 처리 후의 화상을, 상기 제2 가산 가중값에 따라서 가산 또는 가중 평균하여, 상기 현재의 동화상에 대응하는 제2 처리 후의 화상을 얻는 단계

를 포함하는 화상 처리 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

상기 가산 가중값 또는 상기 제1 및 제2 가산 가중값을 보정하는 단계를 더 포함하며,

상기 보정 단계는,

상기 처리 후의 화상에 블록 왜곡이 발생하는 경우를 검출하고,

검출된 상기 블록 왜곡을 경감하도록, 상기 가산 가중값 또는 상기 제1 및 제2 가산 가중값을 보정하는 화상 처리 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

상기 가산 가중값 또는 상기 제1 및 제2 가산 가중값을 보정하는 보정 단계를 더 포함하며,

상기 보정 단계는,

상기 처리 후의 화상의 평탄부에서 생기는 큰 사이즈의 색 노이즈를 검출하고,

검출된 상기 색 노이즈를 경감하도록, 상기 가산 가중값 또는 상기 제1 및 제2 가산 가중값을 보정하는 화상 처리 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

상기 화소 단위로 행해지는 가산의 신뢰도 판정 단계는,

화소값과 노이즈량의 테이블을 복수 개 제공하며, 촬영 조건에 따라서 선택된 상기 테이블에 따라서 노이즈량을 추정하는 단계와,

추정된 상기 노이즈량에 따라서, 2개의 화상의 공간적으로 동일 위치의 2개 화소에 관한 지표값과 가산 가중값과의 관계를 나타내는 테이블을 생성하는 단계와,

상기 테이블에 따라 상기 지표값에 대한 가산 가중값을 구하는 단계를 포함하며,

상기 지표값은, 상기 2개 화소의 차분 절대값, 상기 2개 화소의 이동 평균 차분 절대값, 또는 상기 2개 화소의 이동 분산 차분 절대값인 화상 처리 방법.
시간적으로 연속하는 제1 및 제2 정지 화상을 사용하여, 노이즈가 경감된 화상을 출력하는 화상 처리 장치로서,

상기 제2 정지 화상의 움직임을, 블록 단위로 보상하는 움직임 보상 장치와,

상기 제1 정지 화상 및 움직임 보상을 행한 상기 제2 정지 화상을, 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 가산 가중값을 설정하는 판정 장치와,

상기 제1 정지 화상 및 움직임 보상을 행한 제2 정지 화상을, 상기 가산 가중값에 따라서 가산 또는 가중 평균하여 처리 후의 화상을 얻는 가산 장치

를 포함하는 화상 처리 장치.
시간적으로 연속하는 제1, 제2 및 제3 정지 화상을 사용하여, 노이즈가 경감된 화상을 출력하는 화상 처리 장치로서,

움직임 보상 장치와,

판정 장치와,

가산 장치를 포함하고,

상기 움직임 보상 장치는 상기 제2 정지 화상의 움직임을 블록 단위로 보상 하고,

상기 판정 장치는 상기 제1 정지 화상 및 움직임 보상을 행한 상기 제2 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 제1 가산 가중값을 설정하고,

상기 가산 장치는 상기 제1 정지 화상 및 움직임 보상을 행한 상기 제2 정지 화상을, 상기 제1 가산 가중값에 따라서 가산 또는 가중 평균을 행하여 처리 후의 화상을 얻고,

상기 움직임 보상 장치는 상기 제3 정지 화상의 움직임을 블록 단위로 보상하고,

상기 판정 장치는 상기 처리 후의 화상 및 움직임 보상을 행한 상기 제3 정지 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 제2 가산 가중값을 설정하고,

상기 가산 장치는 상기 처리 후의 화상 및 움직임 보상을 행한 상기 제3 정지 화상을, 상기 제2 가산 가중값에 따라서 가산 또는 가중 평균을 행하여 처리 후의 화상을 얻도록 한 화상 처리 장치.
소정의 단위 시간 간격으로 입력되는 동화상으로부터, 노이즈를 경감하는 화상 처리 장치로서,

움직임 보상 장치와,

판정 장치와,

가산 장치를 포함하고,

상기 움직임 보상 장치는, 소정의 1단위 시간 전의 처리 후의 화상의 움직임을 블록 단위로 보상하고,

상기 판정 장치는, 현재의 동화상 및 움직임 보상을 행한 상기 소정의 1단위 시간 전의 처리 후의 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 대응하는 가산 가중값을 설정하고,

상기 가산 장치는, 현재의 동화상 및 움직임 보상을 행한 상기 소정의 1단위 시간 전의 처리 후의 화상을 상기 가산 가중값에 따라서 가산 또는 가중 평균하여, 상기 현재의 동화상에 대응하는 처리 후의 화상을 얻도록 한 화상 처리 장치.
소정의 단위 시간 간격으로 입력되는 동화상으로부터, 노이즈를 경감하는 화상 처리 장치로서,

움직임 보상 장치와,

판정 장치와,

가산 장치를 포함하고,

상기 움직임 보상 장치는, 현재의 동화상과 소정의 1단위 시간 전의 처리 후의 화상의 움직임 벡터를 블록 단위로 구하여, 상기 소정의 1단위 시간 전의 처리 후의 화상과, 소정의 2단위 시간 전의 움직임 보상 후의 화상의 움직임을 상기 움직임 벡터로 보상하고,

상기 판정 장치는, 상기 현재의 동화상 및 움직임 보상을 행한 상기 1단위 시간 전의 처리 후의 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 제1 가산 가중값을 설정하고,

상기 가산 장치는, 현재의 동화상 및 움직임 보상을 행한 상기 1단위 시간 전의 처리 후의 화상을, 가산 또는 가중 평균하여, 제1 처리 후의 화상을 얻고,

상기 판정 장치는, 움직임 보상된 상기 2단위 시간 전의 움직임 보상 후의 화상 및 상기 제1 처리 후의 화상을 화소 단위로 가산의 신뢰도 판정을 행하여 제2 가산 가중값을 설정하고,

상기 가산 장치는, 움직임 보상된 상기 2단위 시간 전의 움직임 보상 후의 화상 및 상기 제1 처리 후의 화상을, 상기 제2 가산 가중값에 따라서 가산 또는 가중 평균하여, 상기 현재의 동화상에 대응하는 제2 처리 후의 화상을 얻도록 한 화상 처리 장치.