KR20210141697A - 비디오 노이즈 제거 방법, 장치 및 컴퓨터 판독 가능 저장 매체 - Google Patents
비디오 노이즈 제거 방법, 장치 및 컴퓨터 판독 가능 저장 매체 Download PDFInfo
- Publication number
- KR20210141697A KR20210141697A KR1020217034597A KR20217034597A KR20210141697A KR 20210141697 A KR20210141697 A KR 20210141697A KR 1020217034597 A KR1020217034597 A KR 1020217034597A KR 20217034597 A KR20217034597 A KR 20217034597A KR 20210141697 A KR20210141697 A KR 20210141697A
- Authority
- KR
- South Korea
- Prior art keywords
- video frame
- noise
- variance
- sub
- current video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 109
- 230000002123 temporal effect Effects 0.000 claims description 20
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000002156 mixing Methods 0.000 description 24
- 238000013507 mapping Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 비디오 노이즈 제거 방법, 장치 및 컴퓨터 판독 가능 저장 매체를 제공한다. 상기 비디오 노이즈 제거 방법은, 입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하는 단계; 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 단계; 및 상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링하는 단계를 포함한다.
Description
관련 출원의 상호 참조
본원 발명은 2019년 07월 29일자로 중국 특허국에 제출한, 출원번호가 201910691413.1인 중국 특허 출원의 우선권을 주장하는 바, 당해 발명의 모든 내용은 참조에 의해 본원 발명에 원용된다.
본원 발명은 비디오 처리 기술분야에 관한 것으로, 예를 들어, 비디오 노이즈 제거 방법, 장치 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
이미지 노이즈 제거는 이미지 처리 분야에서 매우 중요한 방향이었는데, 휴대폰으로 사진 찍는 추세와 함께 촬영 기술은 엄청난 변화를 겪었으며, 초기의 전문 디지털 일안 반사식 카메라(DSLR)로부터 보다 간단한 스마트폰의 컴팩트 카메라에 이르렀다. 조리개 및 센서 크기의 제한으로 인해, 스마트폰은 DSLR보다 더 많은 노이즈가 생성되어 수신된 이미지 또는 비디오는 원시 이미지 또는 비디오에 비해 해상도가 낮으므로, 시각 효과에 영향을 줄 뿐만 아니라, 움직임 타깃의 이미지 또는 비디오를 획득 또는 인식해야 하는 경우, 획득 또는 인식 작업의 정확성에 더욱 영향을 주기 때문에, 이미지 품질의 향상을 위해 더 나은 노이즈 제거 알고리즘이 필요하다. 적응형 노이즈 제거 알고리즘은 모두 노이즈 강도를 추정한 다음 노이즈 제거 관련 파라미터를 동적으로 조절하여, 노이즈 잔류가 없고 가능한 이미지 디테일을 유지하는 효과를 달성하지만, 적응형 노이즈 제거 알고리즘은 현재 프레임 이미지 노이즈 강도에 대한 추정 정확도가 낮은 문제가 있다.
노이즈 추정 알고리즘은 주로 하기와 같은 두가지 유형이 있다.
제1 유형: 현재 이미지 프레임에 대한 노이즈 강도 추정
단계는 다음과 같다. 1) 추정할 이미지 또는 비디오 프레임 이미지를 크기가 일치한 서브 이미지 블록으로 분할하고; 2) 획득한 서브 이미지 블록에 대해 각각 분산을 산출하여, 각 서브 이미지 블록의 분산 값을 획득하며; 3) 각 서브 이미지 블록의 분산 값에 따라, 소정 비율의 비교적 작은 분산을 선택하여 노이즈 강도 추정을 수행하고, 나아가 현재 이미지 프레임의 노이즈 강도를 획득하는데, 이러한 알고리즘은 디테일이 풍부한 이미지에 대해 오차가 크고, 디테일을 노이즈로 간주하기 쉽다.
제2 유형: 현재 프레임과 이전의 프레임에 대한 노이즈 강도 추정
단계는 다음과 같다. 1) 추정할 비디오의 현재 프레임 이미지와 이전의 프레임 이미지를 크기가 일치한 일대일로 대응되는 서브 이미지 블록으로 분할하고; 2) 획득한 일대일로 대응되는 서브 이미지 블록에 대해 각각 차이값을 산출하여, 각 서브 이미지 블록의 분산 값을 획득하며; 3) 각 서브 이미지 블록의 분산 값에 따라, 소정 비율의 비교적 작은 분산을 선택하여 노이즈 강도 추정을 수행하고, 나아가 현재 이미지 프레임의 노이즈 강도를 획득하는데, 이러한 알고리즘은 비디오 전후 프레임의 밝기가 변하거나 또는 프레임에 큰 움직임이 있을 때 오판하기 쉽다.
이미지 프레임의 노이즈 강도 추정에 편차가 발생하는 경우, 불합리한 노이즈 제거 파라미터는 이미지의 일 프레임이 선명하고 일 프레임이 흐리거나, 또는 일 프레임에 노이즈 잔류가 있고 일 프레임에 노이즈 잔류가 없는 플리커 현상을 초래하게 된다.
비디오 블록 매칭 및 3차원 필터링(Video Block-Matching and 3D filtering, VBM3D), 비디오 블록 매칭 및 4차원 필터링(Video Block-Matching and 4D filtering, VBM4D)과 같은 비디오 노이즈 제거 효과가 비교적 우수한 알고리즘은 시간 복잡도가 비교적 높고, 하드웨어 자원 비용이 비교적 높다. 또한, 많은 노이즈 제거 알고리즘은 밝기가 노이즈에 대한 영향을 고려하지 않고, 일 프레임 내의 모든 픽셀점에 대해 일괄적인 노이즈 제거 강도를 사용하므로, 이러한 처리는 가우스 노이즈의 특성에 적합하지 않다.
본 발명의 실시예는 노이즈 강도 추정의 정확도를 향상시킬 수 있는 비디오 노이즈 제거 방법과 장치, 컴퓨터 판독 가능 저장 매체를 제공한다.
본 발명의 실시예는 비디오 노이즈 제거 방법을 제공하고, 상기 방법은,
입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하는 단계;
산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 단계; 및
상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링하는 단계를 포함한다.
본 발명의 실시예는 또한 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 판독 가능 저장 매체에는 하나 또는 복수의 프로그램이 저장되어 있고, 상기 하나 또는 복수의 프로그램은 하나 또는 복수의 프로세서에 의해 실행되어, 상술한 비디오 노이즈 제거 방법을 구현할 수 있다.
본 발명의 실시예는 또한 비디오 노이즈 제거 장치를 제공하며, 상기 장치는 프로세서 및 메모리를 포함하고, 상기 프로세서 및 메모리는 전기적 결합을 통해 연결되며, 상기 프로세서는 메모리에 저장된 프로그램을 실행하여, 상술한 비디오 노이즈 제거 방법을 구현한다.
본 발명의 실시예는 또한 비디오 노이즈 제거 장치를 제공하며, 상기 장치는 노이즈 통계 모듈, 노이즈 추정 모듈 및 비디오 노이즈 제거 모듈을 포함하고;
노이즈 통계 모듈은 입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하며;
노이즈 추정 모듈은 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하고;
비디오 노이즈 제거 모듈은 상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링한다.
도 1은 본 발명의 실시예에 제공된 비디오 노이즈 제거 방법의 예시적 흐름 모식도이고,
도 2는 본 발명의 실시예에 제공된 선입선출 큐에 의한 노이즈 강도 평활화의 원리 모식도이고,
도 3은 본 발명의 실시예에 제공된 비디오 노이즈 제거 과정의 예시적 흐름 모식도이고,
도 4는 본 발명의 실시예에 제공된 공간 영역 노이즈 제거 과정의 예시적 흐름 모식도이고,
도 5는 본 발명의 실시예에 제공된 움직임 보상에 기반한 움직임 벡터의 산출 원리 모식도이고,
도 6은 본 발명의 실시예에 제공된 움직임 강도와 혼합 계수의 매핑 관계 모식도이고,
도 7은 본 발명의 실시예에 제공된 비디오 노이즈 제거 장치의 예시적 구조 모식도이다.
도 2는 본 발명의 실시예에 제공된 선입선출 큐에 의한 노이즈 강도 평활화의 원리 모식도이고,
도 3은 본 발명의 실시예에 제공된 비디오 노이즈 제거 과정의 예시적 흐름 모식도이고,
도 4는 본 발명의 실시예에 제공된 공간 영역 노이즈 제거 과정의 예시적 흐름 모식도이고,
도 5는 본 발명의 실시예에 제공된 움직임 보상에 기반한 움직임 벡터의 산출 원리 모식도이고,
도 6은 본 발명의 실시예에 제공된 움직임 강도와 혼합 계수의 매핑 관계 모식도이고,
도 7은 본 발명의 실시예에 제공된 비디오 노이즈 제거 장치의 예시적 구조 모식도이다.
아래에서 첨부된 도면을 결부하여 본 발명의 실시예를 설명한다.
도면의 흐름도에 도시된 단계는 명령을 실행할 수 있는 컴퓨터의 컴퓨터 시스템에서 수행할 수 있다. 또한, 흐름도에서 논리 순서를 도시하였지만, 일부 경우에는 여기와 다른 순서로 도시되거나 설명되는 단계를 수행할 수 있다.
도 1에 도시된 바와 같이, 본 발명의 실시예는 비디오 노이즈 제거 방법을 제공하고, 상기 방법은 하기와 같은 단계를 포함한다.
단계 (101): 입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출한다.
하나의 예시적인 실시예에서, 상기 각 서브 이미지 블록의 블록 분산을 산출하는 단계는,
상기 각 서브 이미지 블록의 공간 영역 분산을 산출하는 단계; 상기 현재 비디오 프레임에서 상기 서브 이미지 블록과 상기 현재 비디오 프레임의 이전 프레임의 비디오 프레임에 대응되는 위치의 서브 이미지 블록 사이의 시간 영역 분산을 산출하는 단계; 및 공간 영역 분산 및 시간 영역 분산 중 비교적 작은 값을 선택하여 상기 서브 이미지 블록의 블록 분산으로 사용하는 단계를 포함한다.
상기 실시예에서, 노이즈가 있는 비디오 프레임 f_in(n)과 이전 프레임의 비디오 프레임 f_in(n-1)을 입력하여, 제1 사전 설정 값에 따라 f_in(n)과 f_in(n-1)을 크기가 동일한 서브 이미지 블록으로 분할하고, f_in(n) 중의 각 서브 이미지 블록에 대해 이들의 공간 영역 분산 δs를 산출 및 획득하며, f_in(n) 중의 각 서브 이미지 블록의 픽셀 값에서 f_in(n-1) 중 대응되는 위치의 서브 이미지 블록의 픽셀 값을 덜어, f_in(n) 중 각 서브 이미지 블록의 시간 영역 분산 δt를 획득하고, f_in(n) 중 각 서브 이미지 블록의 최종 분산은 상기 서브 이미지 블록의 공간 영역 분산 δs와 시간 영역 분산 δt 중의 비교적 작은 값이다.
단계 (102): 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택한다.
하나의 예시적인 실시예에서, 상기 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하는 단계는,
현재 비디오 프레임에서 모든 서브 이미지 블록의 블록 분산을 작은 것부터 큰 것으로 정렬하는 단계; 및 정렬된 처음 n개의 서브 이미지 블록의 블록 분산을 누적하고, 누적된 블록 분산 합과 n의 비율을 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산으로 사용하는 단계를 포함하되, n은 1보다 큰 자연수이다.
상기 실시예에서, 상기 처음 n개의 서브 이미지 블록은 현재 비디오 프레임에서 모든 서브 이미지 블록 중의 처음 N%개의 서브 이미지 블록일 수 있다. 예를 들어, 정렬된 서브 이미지 블록 중의 처음 10%개의 서브 이미지 블록으로 설정할 수 있다.
하나의 예시적인 실시예에서, 상기 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하는 단계는,
산출된 평균 분산이 사전 설정 분산 값보다 작은 경우, 상기 현재 비디오 프레임의 노이즈 강도를 0으로 기록하고; 산출된 평균 분산이 사전 설정 분산 값보다 크거나 같은 경우, 산출된 평균 분산을 현재 비디오 프레임의 노이즈 강도로 사용하는 단계를 포함한다.
하나의 예시적인 실시예에서, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 단계 이전에, 상기 방법은,
현재 비디오 프레임 및 이전의 m 프레임의 비디오 프레임의 노이즈 강도의 평균값을 산출하는 단계 - m은 1보다 큰 자연수임 - ; 및 산출된 노이즈 강도의 평균값을 현재 비디오 프레임의 평활화된 노이즈 강도로 사용하는 단계를 더 포함한다.
하나의 예시적인 실시예에서, 상기 필터링 강도는 공간 영역 필터링 강도 및 시간 영역 필터링 강도를 포함한다.
상기 실시예에서, f_in(n)에서 각 서브 이미지 블록의 분산 값을 획득한 다음, 복수의 서브 이미지 블록을 분산 값에 따라 작은 것부터 큰 것으로 정렬하고, 제2 사전 설정 값의 서브 이미지 블록의 분산을 누적하며, 누적된 블록 분산 합과 제2 사전 설정 값의 크기에 따라 모든 서브 이미지 블록의 평균 분산을 산출하며, 모든 서브 이미지 블록의 평균 분산이 제3 사전 설정 값보다 작으면 0을 FIFO에 기입하고, 그렇지 않으면 서브 이미지 블록의 평균 분산을 선입선출(First Input First Output, FIFO) 큐에 기입하며, 도2에 도시된 바와 같이, FIFO의 깊이는 16일 수 있고, 즉 최근 16 프레임의 노이즈 강도 데이터를 저장한다. FIFO의 모든 데이터를 합하여 평균값(Average value)을 구한 다음, 현재 비디오 프레임의 평활화된 노이즈 강도(noise level)를 획득하고, 노이즈 강도의 크기에 따라, 노이즈 강도와 서로 매칭되는 공간 영역 필터링 강도(Spatial denoise strength), 시간 영역 필터링 강도(temporal denoise strength) 및 대응되는 노이즈 특징 곡선(noise curve)을 선택한다.
단계 (103): 상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링한다.
하나의 예시적인 실시예에서, 상기 단계 (103)는,
공간 영역 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임에 대해 공간 영역 필터링을 수행하는 단계; 상기 현재 비디오 프레임 및 상기 현재 비디오 프레임의 이전 프레임의 비디오 프레임에 따라 상기 현재 비디오 프레임의 각 서브 이미지 블록의 움직임 강도 및 움직임 벡터를 추정하는 단계; 및 추정된 움직임 강도에 따라 현재 비디오 프레임에서 각 픽셀점의 가중치를 획득하고, 추정된 움직임 벡터에 따라 이전 프레임의 비디오 프레임에서 시간 영역 필터링에 참여한 픽셀점의 위치를 획득하며, 공간 영역 필터링 후의 현재 비디오 프레임 중의 픽셀점과 상기 픽셀점에 대응되는 움직임 벡터가 가리키는 이전 프레임의 비디오 프레임 중의 픽셀점에 대해 가중 평균 필터링을 수행하여, 필터링된 픽셀점을 획득하는 단계를 포함한다.
하나의 예시적인 실시예에서, 상기 공간 영역 필터링의 알고리즘은 BM3D 노이즈 제거 알고리즘이고, BM3D 노이즈 제거 알고리즘의 위너 필터링 동작(Wiener filtering operation)에서 위너 계수(Wiener coefficient)에 대해 픽셀점의 밝기 값 및 노이즈 특징 곡선에 따라 상응한 비율의 스케일링 동작을 수행한다.
상기 실시예에서, 도 3에 도시된 바와 같이, 상기 단계 (103)는 공간 영역 노이즈 제거(Spatial denoise), 움직임 추정(Motion estimate), 움직임 검출(Moition detector), 혼합 계수 매핑(motion2α) 및 혼합(blending)과 같은 5개의 관련 동작을 포함하고, 입력은 현재 필터링할 비디오 프레임 f_in(n), 필터링된 이전 프레임의 비디오 프레임 f_out(n-1) 및 단계 (102)에서 출력된 공간 영역 필터링 강도 계수, 시간 영역 필터링 강도 계수, 노이즈 특징 곡선 및 노이즈 강도를 포함한다.
공간 영역 노이즈 제거 동작: 도 4에 도시된 바와 같이, 본 발명의 공간 영역 노이즈 제거 동작은 BM3D의 노이즈 제거 알고리즘을 사용할 수 있지만, 본 발명은 상기 알고리즘이 비디오 수집 단말에서 도입된 노이즈의 특성에 더 적합하도록 개선하였고, 본 발명은 위너 필터(Wiener filter)의 동작에서 위너 계수에 대해 픽셀점의 밝기 값 및 노이즈 특징 곡선에 따라 소정 비율의 스케일링 동작을 수행한다. 본 발명의 공간 영역 노이즈 제거 동작은 반드시 BM3D 알고리즘일 필요가 없고, 가이드 필터링 및 양방향 필터링과 같은 필터링 알고리즘일 수도 있지만, 처리 효과는 BM3D 알고리즘보다 약간 떨어진다.
움직임 추정 동작: 현재 필터링할 비디오 프레임 f_in(n)에 대해 사전 설정 값에 따라 블록 분할 동작을 수행하고, 현재 비디오 프레임의 이미지를 서브 이미지 블록으로 각각 분할하며, 서브 이미지 블록은 중첩될 수 있고, 그 다음 각 서브 이미지 블록의 경우, 필터링된 이전 프레임의 비디오 프레임 f_out(n-1)에서 대응되는 위치를 중심으로 소정 검색 범위 내의 모든 서브 이미지 블록에 대해 최소 평균 제곱 오차(Minimum Squared Error: MSE) 동작을 수행하며, 획득된 최소 MSE 값에 대응되는 서브 이미지 블록을 현재 비디오 프레임에서 현재 서브 이미지 블록에 대응되는 최적의 매칭 블록으로 설정하고, 움직임 벡터를 이전 프레임의 이미지 중 최적의 매칭 블록의 좌표에서 현재 서브 이미지 블록의 좌표를 덜어낸 값으로 설정하며, 도 5에 도시된 바와 같다.
움직임 검출 동작: 전술한 움직 추정 동작에 따르면, 현재 필터링할 비디오 프레임 중의 각 서브 이미지 블록은 이전 프레임의 비디오 프레임에서 하나의 서로 매칭되는 최적의 매칭 블록이 있고, 각 서브 이미지 블록과 이에 대응되는 최적의 매칭 블록에 대해 절대차의 합(Sum of Absolute Difference: SAD)을 산출한다.
혼합 계수 매핑 동작: 상기 움직임 검출 동작에서 산출한 움직임 강도 값에 따라, 도 6에 도시된 바와 같이 매핑하면, 혼합 계수 α를 획득할 수 있으며, 도 6에서 횡좌표는 움직임 강도 값이고, 종좌표는 혼합 계수 값이며, 여기서, 기초 움직임(Base_motion), 혼합 경사도(blend_slope), 톱 움직임(Top_motion)은 3개의 사전 설정 값이고, 이들 3개의 사전 설정 값을 통해 대응되는 매핑 관계를 결정할 수 있으며, 이들 3개의 사전 설정 값은 선분의 기울기가 음수 값이 되도록 보장해야 하고, 즉 움직임이 강할수록 혼합 계수는 작아지며, 그렇지 않으면 움직임이 흐려지고 스미어가 발생한다.
혼합 동작: 혼합 계수 매핑 동작에서 획득한 혼합 계수 α, 움직임 추정 동작에서 획득한 움직임 벡터 및 공간 영역 노이즈 제거 동작에서 획득한 공간 영역 필터링 후의 이미지에 따라, 가중 평균을 통해 최종 출력 이미지를 획득할 수 있고, 산출 공식은 하기와 같다.
(i, j)는 필터링할 픽셀점의 2차원 좌표이고, (mvi, mvj)는 필터링할 픽셀점의 움직임 벡터이며, n은 비디오 프레임 시퀀스 중 제n 프레임 비디오 프레임이고, f_in_spa(n,i,j)는 공간 영역 필터링 후의 제n 프레임 비디오 프레임의 필터링할 픽셀점이며, f_out(n-1,i+mvi,j+mvj)는 필터링된 제n-1 프레임 비디오 프레임의 픽셀점이다.
관련 기술과 비교하여, 본 발명의 실시예에서 제공되는 비디오 노이즈 제거 방법은, 입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하는 단계; 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 단계; 및 상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링하는 단계를 포함하고, 효과적으로 노이즈 강도 추정의 정확도를 향상시키며, 예측된 노이즈 강도에 따라 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하여, 효과적으로 노이즈를 제거할 수 있고, 과도한 노이즈 제거 강도로 인한 이미지 디테일 손실 문제를 방지하여, 전체적인 노이즈 제거 효과가 우수한 성능을 도달할 수 있다.
본 발명의 실시예는 또한 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 하나 또는 복수의 프로그램이 저장되어 있고, 상기 하나 또는 복수의 프로그램은 하나 또는 복수의 프로세서에 의해 실행되어, 하기와 같은 동작을 구현할 수 있다.
입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하며; 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하고; 상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링한다.
하나의 예시적인 실시예에서, 상기 각 서브 이미지 블록의 블록 분산을 산출하는 동작은,
각 서브 이미지 블록의 공간 영역 분산을 산출하는 동작; 상기 현재 비디오 프레임에서 상기 서브 이미지 블록과 상기 현재 비디오 프레임의 이전의 프레임에 대응되는 위치의 서브 이미지 블록 사이의 시간 영역 분산을 산출하는 동작; 및 공간 영역 분산 및 시간 영역 분산 중 비교적 작은 값을 선택하여 상기 서브 이미지 블록의 블록 분산으로 사용하는 동작을 포함한다.
하나의 예시적인 실시예에서, 상기 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하는 동작은,
상기 현재 비디오 프레임에서 모든 서브 이미지 블록의 블록 분산을 작은 것부터 큰 것으로 정렬하는 동작; 정렬된 처음 n개의 서브 이미지 블록의 블록 분산을 누적하고, 상기 누적된 블록 분산 합과 n의 비율을 상기 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산으로 사용하는 동작을 포함하되, n은 1보다 큰 자연수이다.
하나의 예시적인 실시예에서, 상기 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하는 동작은,
상기 산출된 평균 분산이 사전 설정 분산 값보다 작은 경우, 상기 현재 비디오 프레임의 노이즈 강도를 0으로 기록하고; 상기 산출된 평균 분산이 사전 설정 분산 값보다 크거나 같은 경우, 산출된 평균 분산을 상기 현재 비디오 프레임의 노이즈 강도로 사용하는 동작을 포함한다.
하나의 예시적인 실시예에서, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 동작 이전에, 상기 동작은,
상기 현재 비디오 프레임 및 이전의 m 프레임의 비디오 프레임의 노이즈 강도의 평균값을 산출하는 동작 - m은 1보다 큰 자연수임 - ; 산출된 노이즈 강도의 평균값을 상기 현재 비디오 프레임의 평활화된 노이즈 강도로 사용하는 동작을 더 포함한다.
하나의 예시적인 실시예에서, 상기 필터링 강도는 공간 영역 필터링 강도 및 시간 영역 필터링 강도를 포함한다.
상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링하는 동작은,
공간 영역 필터링 강도 및 상기 노이즈 특징 곡선에 따라, 상기 현재 비디오 프레임에 대해 공간 영역 필터링을 수행하는 동작; 상기 현재 비디오 프레임 및 상기 현재 비디오 프레임의 이전 프레임의 비디오 프레임에 따라 현재 비디오 프레임의 각 서브 이미지 블록의 움직임 강도 및 움직임 벡터를 추정하는 동작; 및 추정된 움직임 강도에 따라 현재 비디오 프레임에서 각 픽셀점의 가중치를 획득하고, 추정된 움직임 벡터에 따라 이전 프레임의 비디오 프레임에서 시간 영역 필터링에 참여한 픽셀점의 위치를 획득하며, 공간 영역 필터링 후의 현재 비디오 프레임 중의 픽셀점과 상기 픽셀점에 대응되는 움직임 벡터가 가리키는 이전 프레임의 비디오 프레임 중의 픽셀점에 대해 가중 평균 필터링을 수행하여, 필터링된 픽셀점을 획득하는 동작을 포함한다.
하나의 예시적인 실시예에서, 상기 공간 영역 필터링의 알고리즘은 블록 매칭 및 3차원 필터링 BM3D 노이즈 제거 알고리즘이고, BM3D 노이즈 제거 알고리즘의 위너 필터링 동작에서 위너 계수에 대해 픽셀점의 밝기 값 및 노이즈 특징 곡선에 따라 상응한 비율의 스케일링 동작을 수행한다.
본 발명의 실시예는 또한 비디오 노이즈 제거 장치를 제공하고, 상기 장치는 프로세서 및 메모리를 포함하되, 상기 프로세서는 메모리에 저장된 프로그램을 실행하여, 하기와 같은 동작을 구현한다.
입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하며; 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하고; 상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링한다.
하나의 예시적인 실시예에서, 상기 각 서브 이미지 블록의 블록 분산을 산출하는 동작은,
상기 각 서브 이미지 블록의 공간 영역 분산을 산출하는 동작; 상기 현재 비디오 프레임에서 상기 서브 이미지 블록과 상기 현재 비디오 프레임의 이전의 프레임에 대응되는 위치의 서브 이미지 블록 사이의 시간 영역 분산을 산출하는 동작; 및 공간 영역 분산 및 시간 영역 분산 중 비교적 작은 값을 선택하여 상기 서브 이미지 블록의 블록 분산으로 사용하는 동작을 포한다.
하나의 예시적인 실시예에서, 상기 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하는 동작은,
상기 현재 비디오 프레임에서 모든 서브 이미지 블록의 블록 분산을 작은 것부터 큰 것으로 정렬하는 동작; 정렬된 처음 n개의 서브 이미지 블록의 블록 분산을 누적하고, 상기 누적된 블록 분산 합과 n의 비율을 상기 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산으로 사용하는 동작을 포함하되, n은 1보다 큰 자연수이다.
하나의 예시적인 실시예에서, 상기 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하는 동작은,
상기 산출된 평균 분산이 사전 설정 분산 값보다 작은 경우, 상기 현재 비디오 프레임의 노이즈 강도를 0으로 기록하고; 상기 산출된 평균 분산이 사전 설정 분산 값보다 크거나 같은 경우, 산출된 평균 분산을 상기 현재 비디오 프레임의 노이즈 강도로 사용하는 동작을 포함한다.
하나의 예시적인 실시예에서, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 동작 이전에, 상기 동작은,
상기 현재 비디오 프레임 및 이전의 m 프레임의 비디오 프레임의 노이즈 강도의 평균값을 산출하는 동작 - m은 1보다 큰 자연수임 - ; 산출된 노이즈 강도의 평균값을 상기 현재 비디오 프레임의 평활화된 노이즈 강도로 사용하는 동작을 더 포함한다.
하나의 예시적인 실시예에서, 상기 필터링 강도는 공간 영역 필터링 강도 및 시간 영역 필터링 강도를 포함한다.
상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링하는 동작은,
공간 영역 필터링 강도 및 상기 노이즈 특징 곡선에 따라, 상기 현재 비디오 프레임에 대해 공간 영역 필터링을 수행하는 동작; 상기 현재 비디오 프레임 및 상기 현재 비디오 프레임의 이전 프레임의 비디오 프레임에 따라 현재 비디오 프레임의 각 서브 이미지 블록의 움직임 강도 및 움직임 벡터를 추정하는 동작; 및 추정된 움직임 강도에 따라 현재 비디오 프레임에서 각 픽셀점의 가중치를 획득하고, 추정된 움직임 벡터에 따라 이전 프레임의 비디오 프레임에서 시간 영역 필터링에 참여한 픽셀점의 위치를 획득하며, 공간 영역 필터링 후의 현재 비디오 프레임 중의 픽셀점과 상기 픽셀점에 대응되는 움직임 벡터가 가리키는 이전 프레임의 비디오 프레임 중의 픽셀점에 대해 가중 평균 필터링을 수행하여, 필터링된 픽셀점을 획득하는 동작을 포함한다.
하나의 예시적인 실시예에서, 상기 공간 영역 필터링의 알고리즘은 블록 매칭 및 3차원 필터링 BM3D 노이즈 제거 알고리즘이고, BM3D 노이즈 제거 알고리즘의 위너 필터링 동작에서 위너 계수에 대해 픽셀점의 밝기 값 및 노이즈 특징 곡선에 따라 상응한 비율의 스케일링 동작을 수행한다.
도 7에 도시된 바와 같이, 본 발명의 실시예는 또한 비디오 노이즈 제거 장치를 제공하고, 상기 장치는 노이즈 통계 모듈(701), 노이즈 추정 모듈(702) 및 비디오 노이즈 제거 모듈(703)을 포함한다.
노이즈 통계 모듈(701)은 입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하고, 산출된 서브 이미지 블록의 블록 분산을 노이즈 추정 모듈(702)에 출력한다.
노이즈 추정 모듈(702)은 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택한다.
비디오 노이즈 제거 모듈(703)은 상기 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임을 필터링한다.
하나의 예시적인 실시예에서, 상기 각 서브 이미지 블록의 블록 분산은 또한,
각 서브 이미지 블록의 공간 영역 분산을 산출하고; 상기 현재 비디오 프레임에서 상기 서브 이미지 블록과 상기 현재 비디오 프레임의 이전의 프레임에 대응되는 위치의 서브 이미지 블록 사이의 시간 영역 분산을 산출하며; 공간 영역 분산 및 시간 영역 분산 중 비교적 작은 값을 선택하여 상기 서브 이미지 블록의 블록 분산으로 사용한다.
하나의 예시적인 실시예에서, 상기 산출된 서브 이미지 블록의 블록 분산이 입력된 노이즈 추정 모듈(702)은,
현재 비디오 프레임에서 모든 서브 이미지 블록의 블록 분산을 작은 것부터 큰 것으로 정렬하고; 정렬된 서브 이미지 블록 중 처음 n개의 서브 이미지 블록의 블록 분산을 누적하며, 누적된 블록 분산 합과 n을 노이즈 추정 모듈(702)에 출력하되, n은 1보다 큰 자연수이다.
상기 실시예에서, 노이즈가 있는 현재 비디오 프레임 f_in(n)과 이전 프레임의 비디오 프레임 f_in(n-1)을 노이즈 통계 모듈(701)에 입력하여, 노이즈 통계 모듈(701)은 제1 사전 설정 값에 따라 f_in(n)과 f_in(n-1)을 크기가 동일한 서브 이미지 블록으로 분할하고, f_in(n) 중의 각 서브 이미지 블록에 대해 이들의 공간 영역의 분산 δs를 획득하며, f_in(n) 중의 각 서브 이미지 블록의 픽셀 값에서 f_in(n-1) 중 대응되는 위치의 서브 이미지 블록의 픽셀 값을 덜어, f_in(n) 중 각 블록의 시간 영역 분산 δt를 획득하고, f_in(n) 중 각 서브 이미지 블록의 최종 분산은 상기 서브 이미지 블록의 공간 영역의 분산 δs와 시간 영역의 분산 δt 중의 비교적 작은 값이며, f_in(n) 중 각 서브 이미지 블록의 분산 값을 획득한 후, 복수의 서브 이미지 블록을 분산 값에 따라 작은 것부터 큰 것으로 정렬하고, 제2 사전 설정 값에 따라 제2 사전 설정 값(개)의 서브 이미지 블록의 분산을 누적한 다음, 누적된 분산 합 및 제2 사전 설정 값의 크기를 출력한다.
하나의 예시적인 실시예에서, 상기 산출된 평균 분산에 따라 현재 비디오 프레임의 노이즈 강도를 결정하는 것은,
산출된 평균 분산이 사전 설정 분산 값보다 작은 경우, 상기 현재 비디오 프레임의 노이즈 강도를 0으로 기록하고; 산출된 평균 분산이 사전 설정 분산 값보다 크거나 같은 경우, 산출된 평균 분산을 현재 비디오 프레임의 노이즈 강도로 사용하는 것을 포함한다.
하나의 예시적인 실시예에서, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하기 전에, 상기 노이즈 추정 모듈(702)은 또한,
현재 비디오 프레임 및 이전의 m 프레임의 비디오 프레임의 노이즈 강도의 평균값을 산출하되, m은 1보다 큰 자연수이고; 산출된 노이즈 강도의 평균값을 현재 비디오 프레임의 평활화된 노이즈 강도로 사용한다.
하나의 예시적인 실시예에서, 상기 필터링 강도는 공간 영역 필터링 강도 및 시간 영역 필터링 강도를 포함한다.
도 2에 도시된 바와 같이, 노이즈 추정 모듈(702)은 노이즈 통계 모듈(701)에서 출력한 분산 합과 서브 이미지 블록 수를 수신하고, 각 서브 이미지 블록의 평균 분산을 산출하며, 서브 이미지 블록의 평균 분산이 제3 사전 설정 값보다 작으면 0을 FIFO에 기입하고, 그렇지 않으면 서브 이미지 블록의 평균 분산을 FIFO에 기입하며, FIFO의 깊이는 16일 수 있고, 즉 최근 16 프레임의 노이즈 강도 데이터를 저장하며; FIFO의 모든 데이터를 합하여 평균값을 구한 다음, 현재 비디오 프레임의 평활화된 노이즈 강도를 획득하고, 노이즈 강도의 크기에 따라, 노이즈 강도와 서로 매칭되는 공간 영역 필터링 강도, 시간 영역 필터링 강도 및 대응되는 노이즈 특징 곡선을 선택한다
하나의 예시적인 실시예에서, 상기 비디오 노이즈 제거 모듈(703)은,
공간 영역 필터링 강도 및 노이즈 특징 곡선에 따라, 현재 비디오 프레임에 대해 공간 영역 필터링을 수행하고; 현재 비디오 프레임 및 이전 프레임의 비디오 프레임에 따라, 현재 비디오 프레임의 각 서브 이미지 블록의 움직임 강도 및 움직임 벡터를 추정하며; 추정된 움직임 강도에 따라 현재 비디오 프레임에서 각 픽셀점의 가중치를 획득하고, 추정된 움직임 벡터에 따라 이전 프레임의 비디오 프레임에서 시간 영역 필터링에 참여한 픽셀점의 위치를 획득하며, 공간 영역 필터링 후의 현재 비디오 프레임 중의 픽셀점과 상기 픽셀점에 대응되는 움직임 벡터가 가리키는 이전 프레임의 비디오 프레임 중의 픽셀점에 대해 가중 평균 필터링을 수행하여, 필터링된 픽셀점을 획득한다.
하나의 예시적인 실시예에서, 상기 공간 영역 필터링의 알고리즘은 BM3D 노이즈 제거 알고리즘일 수 있고, BM3D 노이즈 제거 알고리즘의 위너 필터링 동작에서 위너 계수에 대해 픽셀점의 밝기 값 및 노이즈 특징 곡선에 따라 상응한 비율의 스케일링 동작을 수행한다.
상기 실시예에서, 도 3에 도시된 바와 같이, 비디오 노이즈 제거 모듈(703)의 입력은 현재 필터링할 비디오 프레임 f_in(n), 필터링된 이전 프레임의 비디오 프레임 f_out(n-1) 및 노이즈 추정 모듈(702)에서 출력된 공간 영역 필터링 강도 계수, 시간 영역 필터링 강도 계수, 노이즈 특징 곡선 및 노이즈 강도이다. 비디오 노이즈 제거 모듈(703)에는 서브 모듈: 공간 영역 노이즈 제거 서브 모듈, 움직임 추정 서브 모듈, 움직임 검출 서브 모듈, 혼합 계수 매핑 서브 모듈 및 혼합 서브 모듈 등 5개의 서브 모듈이 포함된다. 여기서, 공간 영역 노이즈 제거 서브 모듈은 노이즈 추정 모듈(702)에서 출력된 공간 영역 필터링 강도 및 노이즈 특징 곡선에 따라, f_in(n)에 대해 공간 영역 필터링을 수행하여 공간 영역 필터링 후의 이미지 f_in_spa(n)을 획득하고; 움직임 추정 서브 모듈은 입력된 2개의 프레임 이미지에 따라, f_in(n) 중 각 서브 이미지 블록의 움직임 벡터 값을 산출하며; 움직임 검출 서브 모듈은 블록에 기반하여 현재 비디오 프레임 f_in(n) 중 모든 서브 이미지 블록에 대해 움직임 검출을 수행하여, 각 서브 이미지 블록의 움직임 강도를 획득하고; 공간 영역 필터링 후의 이미지 f_in_spa(n), 움직임 추정 서브 모듈에서 출력된 움직임 벡터, 움직임 검출 서브 모듈에서 출력된 움직임 강도 정보를 시간 영역 필터(혼합 계수 매핑 서브 모듈 및 혼합 서브 모듈을 포함함)로 출력하여 시간 영역 필터링을 수행하게 하며, 시간 영역 필터는 먼저 움직임 강도 정보에 따라 시간 영역 필터링에 참여한 각 픽셀점의 가중치를 획득하고, 움직임 벡터 정보에 따라 이전 프레임의 비디오 프레임 중 시간 영역 필터링에 참여한 픽셀점의 위치를 획득한 다음, 현재 비디오 프레임의 픽셀점과 이전 프레임의 비디오 프레임 중 움직임 벡터가 가리키는 픽셀점에 대해 가중 평균 필터링을 수행하여, 최종 필터링된 픽셀점을 획득한다. 복수의 모듈의 작업 원리는 하기와 같다.
공간 영역 노이즈 제거 서브 모듈: 도 4에 도시된 바와 같이, 본 발명의 공간 영역 노이즈 제거 서브 모듈은 BM3D의 노이즈 제거 알고리즘을 사용할 수 있지만, 본 발명은 상기 알고리즘이 비디오 수집 단말에서 도입된 노이즈의 특성에 더 적합하도록 개선하였고, 본 발명은 위너 필터(Wiener filter)의 동작에서 위너 계수에 대해 픽셀점의 밝기 값 및 노이즈 특징 곡선에 따라 소정 비율의 스케일링 동작을 수행하며, 본 발명의 공간 영역 노이즈 제거 서브 모듈은 반드시 BM3D 알고리즘일 필요가 없고, 가이드 필터링 및 양방향 필터링과 같은 필터링 알고리즘일 수도 있지만, 처리 효과는 BM3D 알고리즘보다 약간 떨어진다.
움직임 추정 서브 모듈: 현재 필터링할 비디오 프레임 f_in(n)에 대해 사전 설정 값에 따라 블록 분할 동작을 수행하고, f_in(n)의 이미지를 서브 이미지 블록으로 각각 분할하며, 서브 이미지 블록은 중첩될 수 있고, 그 다음 각 서브 이미지 블록의 경우, 필터링된 이전 프레임의 비디오 프레임 f_out(n-1)에서 대응되는 위치를 중심으로 소정 검색 범위 내의 모든 서브 이미지 블록에 대해 MSE 동작을 수행하며, 획득된 최소 MSE 값에 대응되는 서브 이미지 블록을 현재 비디오 프레임에서 현재 서브 이미지 블록에 대응되는 최적의 매칭 블록으로 설정하고, 움직임 벡터를 이전 프레임의 이미지 중 최적의 매칭 블록의 좌표에서 현재 서브 이미지 블록의 좌표를 덜어낸 값으로 설정하며, 도 5에 도시된 바와 같다.
움직임 검출 서브 모듈: 움직임 추정 서브 모듈에 따라 산출된 현재 필터링할 비디오 프레임 중의 각 서브 이미지 블록은 이전 프레임의 비디오 프레임에서 하나의 서로 매칭되는 최적의 매칭 블록이 있고, 각 서브 이미지 블록과 이에 대응되는 최적의 매칭 블록에 대해 SAD를 산출한다.
혼합 계수 매핑 서브 모듈: 도 6에 도시된 바와 같이, 움직임 검출 서브 모듈에 따라 산출된 움직임 강도 값을 매핑하면, 혼합 계수 α를 획득할 수 있으며, 도 6에서 횡좌표는 움직임 강도 값이고, 종좌표는 혼합 계수 값이며, 여기서, 기초 움직임(Base_motion), 혼합 경사도(blend_slope), 톱 움직임(Top_motion)은 3개의 사전 설정 값이고, 이들 3개의 사전 설정 값을 통해 대응되는 매핑 관계를 결정할 수 있으며, 이들 3개의 사전 설정 값은 선분의 기울기가 음수 값이 되도록 보장해야 하고, 즉 움직임이 강할수록 혼합 계수는 작아지며, 그렇지 않으면 움직임이 흐려지고 스미어가 발생한다.
혼합 서브 모듈: 혼합 계수 매핑 서브 모듈에 의해 획득된 혼합 계수 α, 움직임 추정 서브 모듈에 의해 획득된 움직임 벡터 및 공간 영역 노이즈 제거 서브 모듈에 의해 획득된 공간 영역 필터링 후의 이미지에 따라, 가중 평균을 통해 최종 출력 이미지를 획득할 수 있고, 산출 공식은 하기와 같다.
(i, j)는 필터링할 픽셀점의 2차원 좌표이고, (mvi, mvj)는 필터링할 픽셀점의 움직임 벡터이며, n은 비디오 프레임 시퀀스 중 제n 프레임 비디오 프레임이고, f_in_spa(n,i,j)는 공간 영역 필터링 후의 제n 프레임 비디오 프레임의 필터링할 픽셀점이며, f_out(n-1,i+mvi,j+mvj)는 필터링된 제n-1 프레임 비디오 프레임의 픽셀점이다.
본 발명의 실시예에서 제공되는 비디오 노이즈 제거 방법과 장치, 컴퓨터 판독 가능 저장 매체는, 이미지 노이즈 추정 방법과 비디오 이미지 노이즈 제거 방법을 서로 결합하여 노이즈를 제거함으로써, 관련 기술에서 이미지의 노이즈 추정이 불정확하고, 노이즈 제거 성능과 이미지 품질을 동시에 갖추지 못하는 문제를 해결한다. 본 발명의 실시예에서 제시된 비디오 노이즈 제거 해결수단은 노이즈 통계 모듈(701), 노이즈 추정 모듈(702) 및 비디오 노이즈 제거 모듈(703) 등 3개의 모듈을 포함한다. 노이즈 통계 모듈(701)은 입력된 비디오 프레임 시퀀스에 대해 블록 분할을 수행하여, 현재 비디오 프레임의 노이즈 강도 관련 정보를 통계하고; 노이즈 추정 모듈(702)은 노이즈 통계 모듈(701)에 의해 통계된 노이즈 강도 정보(주로 블록 분산 정보임)에 따라, 소정의 전처리를 거친 후, 실시간으로 조절된 노이즈 제거 관련 파라미터(공간 영역 노이즈 제거 강도, 시간 영역 노이즈 제거 강도, 노이즈 특성 곡선 및 노이즈 강도를 포함함)를 선택하여 비디오 노이즈 제거 모듈(703)에 보내며; 비디오 노이즈 제거 모듈(703)은 노이즈 추정 모듈(702)이 실시간으로 보낸 노이즈 제거 관련 파라미터에 따라, 비디오 노이즈 제거를 수행한다.
본 발명에 따른 비디오 노이즈 제거 해결수단의 사용은 하기와 같은 장점을 가진다.
(1) 노이즈 통계 특성에 따라 노이즈 강도 추정을 수행하는데, 노이즈 강도 추정은 두 가지 방식이 있는 바, 하나는 비디오 전후 2개의 프레임 기반의 추정이고, 다른 하나는 현재 비디오 프레임에 대한 노이즈 추정이며, 두 가지 알고리즘은 서로 검증되어, 정확도가 더 높다.
(2) 본 발명에서 산출된 노이즈 강도 정보는 (m+1) 프레임의 평균을 구함으로써, 획득한 노이즈 강도는 더 평활하고, 노이즈 강도 차가 크지 않으며, 이미지의 일 프레임이 선명하고 일 프레임이 흐리거나, 또는 일 프레임에 노이즈 잔류가 있고 일 프레임에 노이즈 잔류가 없는 플리커 현상이 나타나지 않는다.
(3) 본 발명은 공간 영역 BM3D 노이즈 제거 알고리즘, 시간 영역 움직임 보상 및 움직임 강도 검출을 결합한 알고리즘을 사용함으로써, 알고리즘 효과가 더 좋고, 복잡도가 높지 않으며, 효과와 복잡도 사이에서 비교적 좋은 균형을 이룬다.
(4) 노이즈 분산이 밝기에 비례한다는 원리에 따라, 본 발명은 노이즈 특징 곡선을 도입하여, 노이즈 밝기에 따라 노이즈 제거 강도를 동적으로 조절함으로써, 더 좋은 노이즈 제거 효과를 달성한다.
Claims (10)
- 비디오 노이즈 제거 방법으로서,
입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하는 단계;
산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 상기 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 단계; 및
상기 필터링 강도 및 상기 노이즈 특징 곡선에 따라, 상기 현재 비디오 프레임을 필터링하는 단계
를 포함하는, 비디오 노이즈 제거 방법. - 제1항에 있어서,
상기 각 서브 이미지 블록의 블록 분산을 산출하는 단계는,
각 서브 이미지 블록의 공간 영역 분산을 산출하는 단계;
상기 현재 비디오 프레임에서 상기 서브 이미지 블록과 상기 현재 비디오 프레임의 이전 프레임의 비디오 프레임에 대응되는 위치의 서브 이미지 블록 사이의 시간 영역 분산을 산출하는 단계; 및
상기 공간 영역 분산 및 상기 시간 영역 분산 중 비교적 작은 값을 선택하여 상기 서브 이미지 블록의 블록 분산으로 사용하는 단계
를 포함하는, 비디오 노이즈 제거 방법. - 제1항에 있어서,
상기 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하는 단계는,
상기 현재 비디오 프레임에서 모든 서브 이미지 블록의 블록 분산을 작은 것부터 큰 것으로 정렬하는 단계; 및
정렬된 처음 n개의 서브 이미지 블록의 블록 분산을 누적하고, 누적된 블록 분산 합과 n의 비율을 상기 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산으로 사용하는 단계
를 포함하되, n은 1보다 큰 자연수인 비디오 노이즈 제거 방법. - 제1항에 있어서,
상기 산출된 평균 분산에 따라 상기 현재 비디오 프레임의 노이즈 강도를 결정하는 단계는,
상기 산출된 평균 분산이 사전 설정 분산 값보다 작은 경우, 상기 현재 비디오 프레임의 노이즈 강도는 0인 것으로 결정하는 단계; 및
상기 산출된 평균 분산이 사전 설정 분산 값보다 크거나 같은 경우, 상기 산출된 평균 분산을 상기 현재 비디오 프레임의 노이즈 강도로 사용하는 단계를 포함하는, 비디오 노이즈 제거 방법. - 제1항에 있어서,
상기 산출된 평균 분산에 따라 상기 현재 비디오 프레임의 노이즈 강도를 결정하는 단계 이후, 그리고 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하는 단계 이전에,
상기 현재 비디오 프레임 및 상기 현재 비디오 프레임 전의 m 프레임의 비디오 프레임의 노이즈 강도의 평균값을 산출하는 단계로서, m은 1보다 큰 자연수인, 상기 산출하는 단계; 및
산출된 노이즈 강도의 평균값을 상기 현재 비디오 프레임의 평활화된 노이즈 강도로 사용하는 단계
를 더 포함하는, 비디오 노이즈 제거 방법. - 제1항에 있어서,
상기 필터링 강도는 공간 영역 필터링 강도 및 시간 영역 필터링 강도를 포함하고;
상기 필터링 강도 및 상기 노이즈 특징 곡선에 따라, 상기 현재 비디오 프레임을 필터링하는 단계는,
상기 공간 영역 필터링 강도 및 상기 노이즈 특징 곡선에 따라, 상기 현재 비디오 프레임에 대해 공간 영역 필터링을 수행하는 단계;
상기 현재 비디오 프레임 및 상기 현재 비디오 프레임의 이전 프레임의 비디오 프레임에 따라 상기 현재 비디오 프레임의 각 서브 이미지 블록의 움직임 강도 및 움직임 벡터를 추정하는 단계; 및
추정된 움직임 강도에 따라 상기 현재 비디오 프레임에서 각 픽셀점의 가중치를 획득하고, 추정된 움직임 벡터에 따라 상기 이전 프레임의 비디오 프레임에서 시간 영역 필터링에 참여한 픽셀점의 위치를 획득하며, 공간 영역 필터링 후의 상기 현재 비디오 프레임 중의 픽셀점과 상기 픽셀점에 대응되는 움직임 벡터가 가리키는 상기 이전 프레임의 비디오 프레임 중의 픽셀점에 대해 가중 평균 필터링을 수행하여, 필터링된 상기 픽셀점을 획득하는 단계
를 포함하는, 비디오 노이즈 제거 방법. - 제6항에 있어서,
상기 공간 영역 필터링의 알고리즘은 블록 매칭 및 3차원 필터링 BM3D 노이즈 제거 알고리즘이고, 상기 BM3D 노이즈 제거 알고리즘의 위너 필터링 동작에서 위너 계수에 대해 픽셀점의 밝기 값 및 노이즈 특징 곡선에 따라 상응한 비율의 스케일링 동작을 수행하는, 비디오 노이즈 제거 방법. - 컴퓨터 판독 가능 저장 매체로서,
적어도 하나의 프로그램이 저장되어 있고, 상기 적어도 하나의 프로그램은 적어도 하나의 프로세서에 의해 실행되어, 제1항 내지 제7항 중 어느 한 항에 따른 비디오 노이즈 제거 방법을 구현하는, 컴퓨터 판독 가능 저장 매체. - 비디오 노이즈 제거 장치로서,
프로세서 및 메모리를 포함하고, 상기 프로세서 및 상기 메모리는 전기적 결합을 통해 연결되며, 상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여, 제1항 내지 제7항 중 어느 한 항에 따른 비디오 노이즈 제거 방법을 구현하는, 비디오 노이즈 제거 장치. - 비디오 노이즈 제거 장치로서,
노이즈 통계 모듈, 노이즈 추정 모듈 및 비디오 노이즈 제거 모듈을 포함하되;
상기 노이즈 통계 모듈은 입력된 비디오 프레임 시퀀스의 각 비디오 프레임에 대해 서브 이미지 블록 분할을 수행하여, 각 서브 이미지 블록의 블록 분산을 산출하며;
상기 노이즈 추정 모듈은 산출된 블록 분산에 따라 현재 비디오 프레임에서 모든 서브 이미지 블록의 평균 분산을 산출하고, 산출된 평균 분산에 따라 상기 현재 비디오 프레임의 노이즈 강도를 결정하며, 상기 노이즈 강도와 서로 매칭되는 필터링 강도 및 노이즈 특징 곡선을 선택하고;
상기 비디오 노이즈 제거 모듈은 상기 필터링 강도 및 상기 노이즈 특징 곡선에 따라, 상기 현재 비디오 프레임을 필터링하는, 비디오 노이즈 제거 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910691413.1A CN112311962B (zh) | 2019-07-29 | 2019-07-29 | 一种视频去噪方法和装置、计算机可读存储介质 |
| CN201910691413.1 | 2019-07-29 | ||
| PCT/CN2020/101806 WO2021017809A1 (zh) | 2019-07-29 | 2020-07-14 | 视频去噪方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210141697A true KR20210141697A (ko) | 2021-11-23 |
| KR102605747B1 KR102605747B1 (ko) | 2023-11-23 |
Family
ID=74228194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217034597A KR102605747B1 (ko) | 2019-07-29 | 2020-07-14 | 비디오 노이즈 제거 방법, 장치 및 컴퓨터 판독 가능 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220351335A1 (ko) |
| EP (1) | EP3944603A4 (ko) |
| JP (1) | JP7256902B2 (ko) |
| KR (1) | KR102605747B1 (ko) |
| CN (1) | CN112311962B (ko) |
| WO (1) | WO2021017809A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113438386B (zh) * | 2021-05-20 | 2023-02-17 | 珠海全志科技股份有限公司 | 一种应用于视频处理的动静判定方法及装置 |
| US20230059035A1 (en) * | 2021-08-23 | 2023-02-23 | Netflix, Inc. | Efficient encoding of film grain noise |
| CN114742727B (zh) * | 2022-03-31 | 2023-05-05 | 南通电博士自动化设备有限公司 | 一种基于图像平滑的噪声处理方法及系统 |
| CN114648469B (zh) * | 2022-05-24 | 2022-09-27 | 上海齐感电子信息科技有限公司 | 视频图像去噪方法及其系统、设备和存储介质 |
| CN116016807B (zh) * | 2022-12-30 | 2024-04-19 | 广东中星电子有限公司 | 一种视频处理方法、系统、可存储介质和电子设备 |
| CN116523765B (zh) * | 2023-03-13 | 2023-09-05 | 湖南兴芯微电子科技有限公司 | 一种实时视频图像降噪方法、装置及存储器 |
| CN116342891B (zh) * | 2023-05-24 | 2023-08-15 | 济南科汛智能科技有限公司 | 一种适用于自闭症儿童结构化教学监控数据管理系统 |
| CN116634284B (zh) * | 2023-07-20 | 2023-10-13 | 清华大学 | Raw域视频去噪方法、装置、电子设备及存储介质 |
| CN117615146A (zh) * | 2023-11-13 | 2024-02-27 | 书行科技(北京)有限公司 | 视频处理方法及装置、电子设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050041886A (ko) * | 2003-10-30 | 2005-05-04 | 삼성전자주식회사 | 전역 통계 및 국부 통계에 의해 컨트롤되는 노이즈 감소장치 및 그 방법 |
| KR20090115234A (ko) * | 2007-03-29 | 2009-11-04 | 인텔 코포레이션 | 화질 개선을 위한 노이즈 검출 및 평가 기술 |
| CN102238316A (zh) * | 2010-04-29 | 2011-11-09 | 北京科迪讯通科技有限公司 | 一种3d数字视频图像的自适应实时降噪方案 |
| KR20170044028A (ko) * | 2015-10-09 | 2017-04-24 | 톰슨 라이센싱 | 비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치 |
| KR20190004256A (ko) * | 2017-05-31 | 2019-01-11 | 구글 엘엘씨 | 비디오에 대한 상호 노이즈 추정 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080316364A1 (en) * | 2007-06-25 | 2008-12-25 | The Hong Kong University Of Science And Technology | Rate distortion optimization for video denoising |
| US8149336B2 (en) * | 2008-05-07 | 2012-04-03 | Honeywell International Inc. | Method for digital noise reduction in low light video |
| CN101489034B (zh) * | 2008-12-19 | 2010-12-01 | 四川虹微技术有限公司 | 一种视频图像噪声估计与去除方法 |
| CN102164278B (zh) * | 2011-02-15 | 2013-05-15 | 杭州海康威视数字技术股份有限公司 | 用于去除i帧闪烁的视频编码方法及其装置 |
| CN102118546B (zh) * | 2011-03-22 | 2012-07-25 | 上海富瀚微电子有限公司 | 一种视频图像噪声估计算法的快速实现方法 |
| CN102436646A (zh) * | 2011-11-07 | 2012-05-02 | 天津大学 | 基于压缩感知的ccd噪声估计方法 |
| CN102769722B (zh) * | 2012-07-20 | 2015-04-29 | 上海富瀚微电子股份有限公司 | 时域与空域结合的视频降噪装置及方法 |
| CN103414845A (zh) * | 2013-07-24 | 2013-11-27 | 中国航天科工集团第三研究院第八三五七研究所 | 一种自适应的视频图像降噪方法及降噪系统 |
| CN104680483B (zh) * | 2013-11-25 | 2016-03-02 | 浙江大华技术股份有限公司 | 图像的噪声估计方法、视频图像去噪方法及装置 |
| US9123103B2 (en) * | 2013-12-26 | 2015-09-01 | Mediatek Inc. | Method and apparatus for image denoising with three-dimensional block-matching |
| US20170178309A1 (en) * | 2014-05-15 | 2017-06-22 | Wrnch Inc. | Methods and systems for the estimation of different types of noise in image and video signals |
| CN104021533B (zh) * | 2014-06-24 | 2017-03-01 | 浙江宇视科技有限公司 | 一种实时图像降噪方法及装置 |
| CN104134191B (zh) * | 2014-07-11 | 2017-11-28 | 三星电子（中国）研发中心 | 图像去噪方法及其装置 |
| WO2016185708A1 (ja) * | 2015-05-18 | 2016-11-24 | 日本電気株式会社 | 画像処理装置、画像処理方法、および、記憶媒体 |
| CN105208376B (zh) * | 2015-08-28 | 2017-09-12 | 青岛中星微电子有限公司 | 一种数字降噪方法和装置 |
| CN107645621A (zh) * | 2016-07-20 | 2018-01-30 | 阿里巴巴集团控股有限公司 | 一种视频处理的方法和设备 |
| CN107016650B (zh) * | 2017-02-27 | 2020-12-29 | 苏州科达科技股份有限公司 | 视频图像3d降噪方法及装置 |
| CN109859126B (zh) * | 2019-01-17 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种视频降噪方法、装置、电子设备及存储介质 |
| TWI703864B (zh) * | 2019-07-04 | 2020-09-01 | 瑞昱半導體股份有限公司 | 基於雜訊比的去雜訊方法 |
| EP4226225A1 (en) * | 2020-10-07 | 2023-08-16 | Crest Solutions Limited | A line clearance system |
| US20230377104A1 (en) * | 2022-05-20 | 2023-11-23 | GE Precision Healthcare LLC | System and methods for filtering medical images |
-
2019
- 2019-07-29 CN CN201910691413.1A patent/CN112311962B/zh active Active
-
2020
- 2020-07-14 US US17/624,237 patent/US20220351335A1/en active Pending
- 2020-07-14 WO PCT/CN2020/101806 patent/WO2021017809A1/zh unknown
- 2020-07-14 JP JP2021564231A patent/JP7256902B2/ja active Active
- 2020-07-14 EP EP20848408.9A patent/EP3944603A4/en active Pending
- 2020-07-14 KR KR1020217034597A patent/KR102605747B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050041886A (ko) * | 2003-10-30 | 2005-05-04 | 삼성전자주식회사 | 전역 통계 및 국부 통계에 의해 컨트롤되는 노이즈 감소장치 및 그 방법 |
| KR20090115234A (ko) * | 2007-03-29 | 2009-11-04 | 인텔 코포레이션 | 화질 개선을 위한 노이즈 검출 및 평가 기술 |
| CN102238316A (zh) * | 2010-04-29 | 2011-11-09 | 北京科迪讯通科技有限公司 | 一种3d数字视频图像的自适应实时降噪方案 |
| KR20170044028A (ko) * | 2015-10-09 | 2017-04-24 | 톰슨 라이센싱 | 비디오 발췌를 이용하여 이미지의 잡음을 제거하기 위한 방법 및 장치 |
| KR20190004256A (ko) * | 2017-05-31 | 2019-01-11 | 구글 엘엘씨 | 비디오에 대한 상호 노이즈 추정 |
Non-Patent Citations (1)
| Title |
|---|
| Olsen S.I., "Estimation of Noise in Images: An Evaluation", CVGIP: Graphical Models and Image Processing, Volume 55, Issue 4, July 1993, Pages 319-323(1993.07.31.) 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220351335A1 (en) | 2022-11-03 |
| EP3944603A4 (en) | 2022-06-01 |
| JP7256902B2 (ja) | 2023-04-12 |
| JP2022542334A (ja) | 2022-10-03 |
| CN112311962B (zh) | 2023-11-24 |
| KR102605747B1 (ko) | 2023-11-23 |
| WO2021017809A1 (zh) | 2021-02-04 |
| EP3944603A1 (en) | 2022-01-26 |
| CN112311962A (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102605747B1 (ko) | 비디오 노이즈 제거 방법, 장치 및 컴퓨터 판독 가능 저장 매체 | |
| US9202263B2 (en) | System and method for spatio video image enhancement | |
| EP3488388B1 (en) | Video processing method and apparatus | |
| KR102182695B1 (ko) | 영상 잡음 제거 장치 및 방법 | |
| JP6225256B2 (ja) | 画像処理システム及びコンピュータ読み取り可能な記録媒体 | |
| KR20040098162A (ko) | 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 | |
| WO2014045026A1 (en) | Systems and methods for reducing noise in video streams | |
| CN109743473A (zh) | 视频图像3d降噪方法、计算机装置及计算机可读存储介质 | |
| Jin et al. | Quaternion-based impulse noise removal from color video sequences | |
| JP2010004329A (ja) | 画像処理装置、画像処理方法、プログラム | |
| KR102106537B1 (ko) | 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 | |
| CN106412441B (zh) | 一种视频防抖控制方法以及终端 | |
| CN109493373B (zh) | 一种基于双目立体视觉的立体匹配方法 | |
| Zeng et al. | 3D-SSIM for video quality assessment | |
| CN110418081B (zh) | 高动态范围图像全分辨率重建方法、装置及电子设备 | |
| KR101517233B1 (ko) | 움직임 추정을 이용한 잡음 제거장치 | |
| CN113011433A (zh) | 一种滤波参数调整方法及装置 | |
| JP6570304B2 (ja) | 映像処理装置、映像処理方法およびプログラム | |
| KR100772405B1 (ko) | 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템 | |
| JPWO2006117844A1 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
| Dibrivniy et al. | USAGE OF EDGE SELECTION METHODS TO REFINE CANDIDATE BLOCKS IN THE MOTION COMPENSATION PROCESS, BASED ON THE SAD ALGORITHM USING CHARACTERISTIC POINTS. | |
| JP2021044652A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| Ham et al. | Noise reduction scheme of temporal and spatial filter for 3D video real-time processing | |
| CN117544735A (zh) | 一种视频降噪方法、装置、设备、存储介质及产品 | |
| JP2015133532A (ja) | 撮像装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |