KR102123958B1 - 코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체 - Google Patents

코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체 Download PDF

Info

Publication number
KR102123958B1
KR102123958B1 KR1020187015730A KR20187015730A KR102123958B1 KR 102123958 B1 KR102123958 B1 KR 102123958B1 KR 1020187015730 A KR1020187015730 A KR 1020187015730A KR 20187015730 A KR20187015730 A KR 20187015730A KR 102123958 B1 KR102123958 B1 KR 102123958B1
Authority
KR
South Korea
Prior art keywords
sub
macroblock
component coefficient
current frame
noise removal
Prior art date
Application number
KR1020187015730A
Other languages
English (en)
Other versions
KR20180078310A (ko
Inventor
하이보 덩
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20180078310A publication Critical patent/KR20180078310A/ko
Application granted granted Critical
Publication of KR102123958B1 publication Critical patent/KR102123958B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

코딩 중의 실시간 비디오 노이즈 제거 방법은, 이미지의 현재 프레임 및 상기 현재 프레임 내의 평탄 영역을 획득하는 단계; 상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 단계; 상기 현재 프레임이 P 프레임인지를 판정하고; 상기 현재 프레임이 P 프레임이면, 상기 현재 프레임의 서브 매크로블록을 판독하고, 그렇지 않으면 프로시저를 종료하는 단계; 및 상기 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고, 상기 서브 매크로블록이 인터 서브 매크로블록이면, 상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하고, 추가로 현재 판독된 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고, 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록이면, 프로시저를 종료하고; 그렇지 않으면, 다음 서브 매크로블록을 판독하고, 추가로 상기 다음 서브 매크로블록이 인터 서브 매크로블록인지를 판정하는 단계를 포함한다.

Description

코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체
관련 출원
본 출원은 2015년 11월 18일자로 출원된 "REAL-TIME VIDEO DENOISING METHOD AND APPARATUS DURING CODING(코딩 중의 실시간 비디오 노이즈 제거 방법 및 장치)"라는 명칭의 중국 특허출원 제201510798985.1호의 우선권을 주장하며, 그 내용 전부는 원용에 의해 본 출원에 포함된다.
본 발명은 신호 처리 분야에 관한 것으로, 특히 코딩 중의 실시간 비디오 노이즈 제거 방법 및 단말기, 그리고 컴퓨터로 판독할 수 있는 비휘발성 저장 매체에 관한 것이다.
현재, 대부분의 스마트폰은 이미 비디오 촬영 기능(video shooting function)이 있다. 렌즈 및 비용의 제한으로 인해, 단일 화소의 광속(luminous flux)은 비교적 나쁘고, 캡처된 비디오에는 많은 랜덤 노이즈(random noise)가 있으며, 특히 비교적 어두운 장면에서는 랜덤 노이즈가 더 현저하다. 한편으로는, 노이즈가 이미지의 해상도와 품질을 저하시킨다. 다른 한편으로는, 잔차(residual)가 코딩 중에 과도하게 커서 코드 스트림의 수의 증가와, 네트워크 및 스토리지의 부담을 더 가중시키는 결과를 초래한다.
비디오에서 노이즈 제거의 전처리를 수행하는 것은 비디오 품질을 향상시킬 수 있을 뿐만 아니라 네트워크 송신을 용이하게도 한다. 따라서, 비디오 노이즈 제거는 대역폭이 제한된 실시간 스트리밍 미디어 서비스, 모바일 비디오폰, 네트워크 비디오 채팅 등에 대해 실질적인 가치를 갖는다.
기존의 노이즈 제거 방법은 대개 공간 영역 또는 시간 영역에 기초한다. 평균 노이즈 제거(means denoising), 비국부 평균(non-local means, 약칭하여 NLM), 블록 매칭 3D(block matching 3D, 약칭하여 BM3D)와 같은 공간 영역 노이즈 제거는 단일 이미지 내의 이웃하는 화소들 사이의 상관관계만을 고려한다. 평균 노이즈 제거는 에지(edge)와 텍스처 영역(texture region)을 매끄럽게 하여, 화질을 저하시킨다. NLM과 BM3D는 많은 양의 계산을 필요로 하며, 비디오 채팅 시나리오에 적응할 수 없다. 시간 영역 노이즈 제거는 인접 프레임들 사이의 정보를 고려한다. 시간 영역 노이즈 제거의 기본 개념은 전경(foreground) 및 배경(background) 화소를 결정하는 것이다. 시간 영역 평균 노이즈 제거는 정적인 배경 영역에 사용되고, 시간 영역 노이즈 제거는 움직이는 전경 영역에 사용된다. 이 방법의 어려움은 전경과 배경을 정확하게 결정하는 것이고, 다중 프레임 데이터는 버퍼링되어야 한다. 결과적으로, 이 방법은 이동 단말기에도 적용할 수 없다.
또 다른 영역 변환 방법, 즉 웨이블릿 변환(wavelet transform)이나 푸리에 변환(Fourier transform)과 같은 변환을 통해, 이미지를 주파수 영역으로 변환하는 방법이 있다. 고주파 대역 계수에 대한 노이즈 제거 처리는 또한 바람직한 효과를 달성한다. 이러한 유형의 방법은 추가의 변환 프로세스와 비교적 높은 계산 복잡도를 필요로 한다.
이를 감안하여, 기존의 정수 이산 코사인 변환 정보를 최대한 활용하고, 계산량을 줄이고, 실시간 비디오를 구현하며, 네트워크 대역폭의 병목 현상을 해소하기 위해, 코딩 중의 실시간 노이즈 제거 방법을 제공할 필요가 있다.
또한, 계산량을 줄이고, 실시간 비디오를 구현하며, 네트워크 대역폭의 병목 현상을 해소하기 위해, 코딩 중에 단말기 및 비휘발성의 컴퓨터 저장 매체를 제공할 필요가 있다.
코딩 중의 실시간 비디오 노이즈 제거 방법은,
이미지의 현재 프레임 및 상기 현재 프레임 내의 평탄 영역을 획득하는 단계;
상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 단계;
상기 현재 프레임이 P 프레임인지를 판정하며, 상기 현재 프레임이 P 프레임 인 경우, 상기 현재 프레임의 서브 매크로블록(sub-macroblock)을 판독하고, 그렇지 않으면 프로 시저를 종료하는 단계; 및
상기 서브 매크로블록이 인터 서브 매크로블록(inter sub-macroblock)인지를 판정하고; 상기 서브 매크로블록이 인터 서브 매크로블록인 경우, 상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하고, 추가로 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인 경우, 상기 프로 시저를 종료하고; 그렇지 않으면,
다음 서브 매크로블록을 판독하고, 추가로 상기 다음 서브 매크로블록이 인터 서브 매크로블록인지를 판정하는 단계를 포함한다.
메모리 및 프로세서를 포함하는 단말기로서, 상기 메모리는 컴퓨터로 판독할 수 있는 명령어를 저장하며, 상기 명령어는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
이미지의 현재 프레임 및 상기 현재 프레임 내의 평탄 영역을 획득하는 작업(operation);
상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 작업;
상기 현재 프레임이 P 프레임인지를 판정하고; 상기 현재 프레임이 P 프레임인 경우, 상기 현재 프레임의 서브 매크로블록을 판독하고; 그렇지 않으면 프로시저를 종료하는 작업; 및
상기 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 인터 서브 매크로블록인 경우, 상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하고, 추가로 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인 경우, 프로시저를 종료하고; 그렇지 않으면,
다음 서브 매크로블록을 판독하고, 추가로 상기 다음 서브 매크로블록이 인터 서브 매크로블록인지를 판정하는 작업을 수행하게 한다.
컴퓨터로 실행할 수 있는 명령어들을 포함하는, 컴퓨터로 판독할 수 있는 하나 이상의 비일시적인 저장 매체로서, 상기 컴퓨터로 판독 가능한 명령어는, 하나 이상의 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
이미지의 현재 프레임 및 상기 현재 프레임 내의 평탄 영역을 획득하는 작업;
상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 작업;
상기 현재 프레임이 P 프레임인지를 판정하고; 상기 현재 프레임이 P 프레임인 경우, 상기 현재 프레임의 서브 매크로블록을 판독하고; 그렇지 않으면 프로시저를 종료하는 작업; 및
상기 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 인터 서브 매크로블록인 경우, 상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하고, 추가로 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인 경우, 프로시저를 종료하고; 그렇지 않으면,
다음 서브 매크로블록을 판독하고, 추가로 상기 다음 서브 매크로블록이 인터 서브 매크로블록인지를 판정하는 작업을 수행하게 한다.
본 발명의 하나 이상의 실시예의 세부사항은 이하의 첨부도면 및 설명에서 제공된다. 본 발명의 다른 특징, 목적 및 이점은 명세서, 첨부 도면 및 청구 범위로부터 더 명확해진다.
본 발명의 실시예에서의 기술적 해결방안 또는 종래기술을 더 명확하게 설명하기 위해, 이하에서는 실시예 또는 종래기술의 설명에 필요한 첨부 도면을 간단하게 설명한다. 명백히, 이하의 설명에서의 첨부도면은 단지 본 발명의 일부 실시예를 보여줄 뿐이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진자(이하, 당업자)라면 창의적인 노력 없이 이들 첨부도면으로부터 다른 도면을 도출할 수 있을 것이다.
도 1은 일 실시예에 따른 코딩 중의 실시간 비디오 노이즈 제거 방법의 적용 환경의 개략도이다.
도 2는 일 실시예에 따른 도 1의 단말기의 내부 구조를 개략도이다.
도 3은 일 실시예에 따른 코딩 중의 실시간 비디오 노이즈 제거 방법의 흐름도이다.
도 4는 현재 판독된 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 정수 이산 코사인 변환이 수행된 현재 서브 매크로블록에 대해 노이즈 제거 처리를 수행하는 구체적인 흐름도이다.
도 5는 일 실시예에 따른 코딩 중의 실시간 비디오 노이즈 제거 장치의 구성 블록도이다.
도 6은 다른 실시예에 따른 코딩 중의 실시간 비디오 노이즈 제거 장치의 구성 블록도이다.
본 발명의 목적, 기술적 해결방안 및 이점을 더욱 명확하게 하기 위해, 첨부도면 및 실시예를 참조하여 본 발명을 더욱 상세하게 설명한다. 본 명세서에 기술된 구체적인 실시예는 본 발명을 한정하기 위한 것이 아니라 본 발명을 설명하기 위한 것일 뿐임을 이해해야 한다.
도 1은 일 실시예에 따른 코딩 중의 실시간 비디오 노이즈 제거 방법의 적용 환경의 개략도이다. 이 적용 환경은 하나 이상의 단말기를 포함할 수 있다. 이 실시간 비디오 노이즈 제거 방법은 단말기의 비디오 촬영 기능에서의 비디오 노이즈 제거 처리 또는 실시간 스트리밍 미디어 서비스에서의 비디오 노이즈 제거에 적용될 수 있거나, 또는 복수의 단말기 사이의 실시간 화상 통화에서의 비디오 노이즈 제거 처리에 적용될 수 있다. 도 1은 두 개의 단말기에 의한 실시간 화상 통화를 수행하는 적용 환경이다. 이 적용 환경은 단지 일례일 뿐이며, 이에 한정되는 것은 아니다. 다른 실시예에서, 복수의 단말기가 서버를 사용하여 데이터를 송신할 수도 있다.
도 2는 일 실시예에 따른 도 1에서의 단말기의 내부 구성의 개략도이다. 도 2에 도시된 바와 같이, 단말기는 시스템 버스를 통해 연결되는 프로세서, 저장 매체, 메모리, 네트워크 인터페이스, 음성 수집 장치, 디스플레이 스크린, 스피커 및 입력 장치를 포함한다. 저장 매체는 운영체제를 저장하고, 코딩 중의 실시간 비디오 노이즈 제거 장치를 더 포함한다. 코딩 중의 실시간 비디오 노이즈 제거 장치는 인코딩하는 동안에 실시간 비디오 노이즈 제거 방법을 구현하도록 구성된다. 프로세서는 계산 및 제어 능력을 제공하고, 단말기 전체의 구동(running)을 지원하도록 구성된다. 단말기 내의 메모리는 저장 매체 내의 실시간 비디오 노이즈 제거 장치를 구동하기 위한 환경을 제공한다. 네트워크 인터페이스는 서버 또는 다른 단말기와 네트워크 통신을 수행하도록, 예를 들어 서버 또는 단말기에 데이터를 전송하고, 서버 또는 단말기에 의해 회신되는 데이터를 수신하도록 구성된다. 단말기의 디스플레이 스크린은 액정 디스플레이 스크린 또는 전자 잉크 디스플레이 스크린일 수 있다. 입력 장치는 디스플레이 스크린 위를 덮고 있는 터치 층(touch layer)일 수 있거나, 단말기의 하우징 상에 배치되는 키, 트랙볼 또는 터치 패널일 수 있거나, 또는 외부 연결된 키보드, 터치 패널 또는 마우스일 수 있다. 단말기는 이동 전화, 태블릿 컴퓨터 또는 개인 휴대 정보 단말기(personal digital assistant)일 수 이다. 당업자라면 도 2에 도시된 구성은 본 출원의 해결방안과 관련된 구성의 일부에 대한 블록도일 뿐이고, 본 출원의 해결방안이 적용되는 단말기는 이에 한정되지 않는다는 것을 알 수 있을 것이다. 구체적인 단말기는 도면에 도시된 것보다 많은 구성 요소 또는 더 적은 구성 요소를 포함 할 수 있거나, 일부 구성 요소가 결합되거나, 상이한 구성 배치가 사용될 수 있다 .
도 3은 일 실시예에 따른 코딩 중의 실시간 비디오 노이즈 제거 방법의 흐름도이다. 도 3에 도시된 바와 같이, 코딩 중의 실시간 비디오 노이즈 제거 방법은 다음 단계를 포함한다:
단계 302: 이미지의 현재 프레임 및 현재 프레임의 평탄 영역을 획득한다.
일 실시예에서, 현재 프레임 내의 평탄 영역을 획득하는 단계는, 현재 프레임 내의 현재 화소 및 현재 화소를 포함하는 선택된 영역을 획득하는 단계; 영역 내의 나머지 화소의 화소 값과 현재 화소의 화소 값의 차의 절대치가 특정 임계치보다 작은지를 판정하는 단계; 차의 절대치가 특정 임계치보다 작으면, 영역이 평탄 영역에 속하는 것으로 결정하고; 그렇지 않으면, 영역이 평탄 영역이 아닌 것으로 결정하는 단계를 포함한다.
구체적으로, 이미지는 YUV 또는 RGB 색 공간을 사용하여 나타낼 수 있다. YUV의 Y는 밝기, 즉 그레이 스케일 값을 나타내고; U와 V는 색차(chrominance)를 나타내며, 이미지의 색상 및 채도를 설명하고 화소의 색상을 지정하는 데 사용된다. RGB는 빨간색(Red), 녹색(green) 및 파란색(Blue)이다.
그레이 스케일 값의 범위는 [0, 255]으로, 이미지의 폭은 M으로, 그리고 높이는 N으로 지정된다. 특정 임계치는
Figure 112018054305943-pct00001
이고, 현재 화소
Figure 112018054305943-pct00002
의 화소 값은
Figure 112018054305943-pct00003
이며, 필터 템플릿의 반경은 r이고, 필터 템플릿의 반경 r의 범위는 현재 화소를 포함하는 영역이다. 필터 템플릿의 반경 r의 범위 내의 화소의 화소 값과 현재 화소
Figure 112018054305943-pct00004
의 화소 값
Figure 112018054305943-pct00005
의 차의 절대치가 특정 임계치
Figure 112018054305943-pct00006
보다 작은 경우, 필터 탬플릿(filter template)의 반경 r의 범위를 갖는 영역은 평탄 영역인 것으로 결정된다.
단계 304: 평탄 영역에 대해 노이즈 제거 처리를 수행한다.
구체적으로, 평탄 영역 내의 화소에 대한 노이즈 제거 처리는 평균 노이즈 제거 또는 가중 평균화 노이즈 제거(weight averaging denoising)를 통해 수행될 수 있다.
평탄 영역 내의 화소에 대해 평균 노이즈 제거 처리를 수행하여 획득되는 화소의 화소 값은, 화소의 화소값과의 차의 절대치가 특정 임계치보다 작은, 평탄 영역 내의 모든 화소의 화소 값의 평균치일 수 있다.
계산식은 식 (1) 및 식 (2)와 같다.
Figure 112018054305943-pct00007
식 (1)
Figure 112018054305943-pct00008
식 (2)
Figure 112018054305943-pct00009
는 노이즈 제거가 수행되지 않은 화소
Figure 112018054305943-pct00010
의 화소 값을 나타내고;
Figure 112018054305943-pct00011
은 노이즈 제거가 수행되지 않은 화소
Figure 112018054305943-pct00012
의 화소 값을 나타내며;
Figure 112018054305943-pct00013
는 노이즈 제거가 수행된 화소
Figure 112018054305943-pct00014
의 화소 값을 나타낸다.
Figure 112018054305943-pct00015
의 값은 반경 r에 의해 결정된다.
평탄 영역 내의 화소에 대해 가중 평균화 노이즈 제거를 수행한다는 것은 식 (1) 및 식 (2)의 계산에 관련된 각각의 화소에 가중치를 할당한다는 것을 의미한다. 평탄 영역에서 화소의 화소 값과의 차의 절대치가 특정 임계치보다 작은 모든 화소의 화소 값은 그 화소에 대응하는 가중치가 승산되고, 그 후 평균 값을 구하여, 노이즈 제거가 수행되는 화소의 화소 값을 획득한다.
여기서 특정 임계치
Figure 112018054305943-pct00016
는 필터링 강도에 의해 제어될 수 있다.
Figure 112018054305943-pct00017
이면, 필터링은 일반적인 평균 필터링으로 저하된다. 이 경우에, 필터링 강도가 가장 강하다.
Figure 112018054305943-pct00018
이면, 이미지는 필터링되지 않는다. 따라서, 대역폭이 비교적 낮으면,
Figure 112018054305943-pct00019
의 값이 적절하게 증가될 수 있어, 이미지에 대해 비교적 강한 필터링이 수행되어, 코드 레이트(code rate)를 감소시킨다. 대역폭이 비교적 높으면,
Figure 112018054305943-pct00020
의 값이 감소가 될 수 있어, 평탄 영역만이 필터링되도록 하여, 텍스처(texture) 및 경계 정보(boundary information)가 손상되지 않게 한다.
단계 306: 현재 프레임이 P 프레임인지를 판정하고; 그렇다면, 단계 308을 수행하고, 프로시저를 종료한다.
구체적으로, 비디오 코딩 중의 프레임은 I 프레임, P 프레임 및 B 프레임으로 분류된다. I 프레임은 인트라 참조 프레임으로, 키 프레임이라고도 하며, GOP(Group of Pictures) 코딩의 첫 번째(제1) 프레임이다. I 프레임의 코딩은 이전 프레임 및 다음 프레임에 의존하지 않는다. P 프레임은 이미지 시퀀스에서 이전의 코딩된 프레임과 시간 중복 정보를 완전히 감소시킴으로써, 송신 데이터량(transmitted data volume)을 압축하는 코딩 이미지이며, 예측 프레임(predicted frame)이라고도 한다. B 프레임은 양방향 예측 프레임(bi-directional predicted frame)이다. B 프레임의 참조 프레임은 수 개의 이전 이웃 프레임, 현재 프레임 및 수 개의 다음 프레임이다. 비디오 코딩 중에 I 프레임 공간이 설정된 후, 두 개의 이웃하는 I 프레임 사이에는 P 프레임과 B 프레임만이 존재할 수 있다. 화상 통화의 적용 시나리오는 매우 높은 실시성(real time)을 요구한다. 대기 시간(latency)이 있는 B 프레임보다는 보통 I 프레임과 P 프레임이 선택된다.
단계 308: 현재 프레임의 서브 매크로블록을 판독한다.
구체적으로는, 현재의 프레임은 매크로블록일 수 있고, 복수의 서브 매크로블록으로 분할될 수 있다. 예로서 H.264를 사용하면, 서브 매크로블록의 크기는 8*8, 16*16 등일 수 있다. 서브 매크로블록의 크기는 매크로블록의 크기보다 작거나 같다. 먼저, 현재 프레임의 제1 서브 매크로블록이 판독된다.
단계 310: 현재 판독된 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고; 그렇다면 단계 312를 실행하고; 그렇지 않다면, 단계 316을 실행한다.
구체적으로, 인터 프레임(inter-frame) 서브 매크로블록은 인터 서브 매크로블록이다. 인터 서브 매크로블록의 계수는 참조 블록의 값을 이용하여 조정될 수 있으므로, 인터 서브 매크로블록은 인터 서브 매크로블록의 참조 블록에 더 가깝다. 인트라 블록은 대응하는 참조 블록이 없다. 따라서, 인트라 블록은 처리되지 않는다. 인트라 블록은 현재 프레임에만 의존하며, 현재 프레임의 위치의 위 화소 및 왼쪽 화소에 따라 예측을 통해 획득된다.
단계 312: 현재 판독된 서브 매크로블록에 대해 정수 이산 코산인 변환을 수행하고, 정수 이산 코사인 변환이 수행되는 현재 서브 매크로블록에 대해 노이즈 제거 처리를 수행한다.
구체적으로, 정수 이산 코사인 변환은 코딩 중의 현재 판독된 서브 매크로블록에 대해 수행된다.
단계 314: 현재 판독된 서브 매크로블록이 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 그렇다면, 프로시저를 종료하고; 그렇지 않다면 단계 316을 수행한다.
단계 316: 다음 서브 매크로블록을 판독하고, 추가로 단계 310을 수행한다.
코딩 중의 실시간 비디오 노이즈 제거 방법을 통해, 먼저 이미지의 평탄 영역에서 노이즈 제거 처리를 수행하여, 평탄 영역에서의 노이즈를 감소시키고; 현재 프레임의 서브 매크로블록에 대해 정수 이산 코사인 변환을 추가로 수행하며; 정수 이산 코사인 변환이 수행된 현재 서브 매크로블록에 대해 노이즈 제거 처리가 수행된다. 정수 이산 코사인 변환은 코딩 중에 사용되는 기존의 모듈이므로, 직접 멀티플렉싱될 수 있어, 계산량을 감소시킨다. 코드 스트림의 수가 노이즈 제거에 의해 감소되고, 실시간 비디오가 구현되며, 네트워크 대역폭의 병목현상이 해소된다.
일 실시예에서는, 도 4에 도시된 바와 같이, 현재 판독된 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 정수 이산 코사인 변환이 수행된 현재 서브 매크로블록에 대해 노이즈 제거 처리를 수행하는 단계는 다음 단계를 포함한다:
단계 402: 현재 판독된 서브 매크로블록의 잔차 계수에 대해 정수 이산 코사인 변환을 수행하여, 현재 서브 매크로블록의 비직류 성분 계수를 획득한다.
구체적으로, 잔차 계수는 코딩될 이미지와 예측 이미지의 차 값이다. 예측 이미지는 코딩 중에 생성된다.
단계 404: 현재 서브 매크로블록의 비직류 성분 계수를 조정하여, 비직류 성분 계수의 절대치를 0으로 조정한다.
구체적으로는, 잔차 계수에 대해 DCT 변환을 수행한 후, 처음의 0번째(0th: 제0)의 계수를 저주파 직류 성분(low-frequency direct current component)으로 하고, 나머지의 계수를 모두 비직류 성분(non-direct current component)이라고 한다. 직류 성분은 블록의 저주파 성분이며 이미지의 밝기를 결정한다. 비직류 성분은 이미지의 고주파 성분이며, 이미지의 세부사항을 결정한다. 필터링된 노이즈는 주로 중간 주파수 및 고주파수이다. 따라서, 비직류 성분이 주로 처리된다.
일 실시예에서, 현재 서브 매크로블록의 비직류 성분 계수를 조정하여, 비직류 성분 계수의 절대치가 0으로 조정되도록 하는 단계는,
현재 서브 매크로블록의 비직류 성분 계수의 절대치가 현재 서브 매크로블록의 비직류 성분 계수의 오프셋보다 크면, 비직류 성분 계수의 원래의 부호 비트(original sign bit)를 유지하고, 비직류 성분 계수의 절대치를 감소시키는 단계; 또는
현재 서브 매크로블록의 비직류 성분 계수의 절대치가 현재 서브 매크로블록의 비직류 성분 계수보다 작으면, 비직류 성분 계수의 값을 0으로 설정하는 단계를 포함한다.
또한, 현재 서브 매크로블록의 비직류 성분 계수의 절대치가 현재 서브 매크로블록의 비직류 성분 계수의 오프셋보다 크면, 비직류 성분 계수의 원래의 부호 비트를 유지하고, 비직류 성분 계수의 절대치를 감소시키는 단계는,
현재 서브 매크로블록의 비직류 성분 계수의 절대치가 현재 서브 매크로블록의 비직류 성분 계수의 오프셋보다 크고, 비직류 성분 계수의 값이 0보다 크면, 비직류 성분 계수에서 오프셋을 감산하는 단계; 또는
비직류 성분 계수의 값이 0보다 작으면, 오프셋을 비직류 성분 계수에 가산하는 것을 포함한다.
일 실시예에서, 코딩 중의 실시간 비디오 노이즈 제거 방법은 또한 현재 서브 매크로블록의 계수 각각의 오프셋을 획득하는 단계를 더 포함한다.
현재 서브 매크로블록의 계수 각각의 오프셋을 획득하는 단계는, 노이즈 제거 강도, 현재 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수, 및 현재 서브 매크로블록의 비직류 성분 계수를 획득하는 단계; 및 노이즈 제거 강도, 상기 처리 횟수, 및 현재 서브 매크로블록의 비직류 성분 계수에 따른 계산에 의해, 현재 서브 매크로블록의 비직류 성분 계수의 오프셋을 획득하는 단계를 포함한다.
오프셋은 서브 매크로블록의 계수 각각에 대응하는 오프셋을 나타내며, 통계적인 값이다. H.264를 예로 사용하면, 서브 매크로블록의 유형은 밝기 4*4, 8*8 및 16*16, 그리고 색차 4*4 및 8*8로 분류될 수 있다.
서브 매크로블록의 유형 각각의 오프셋 계산식은 식 (3)과 같을 수 있다.
Figure 112018054305943-pct00021
식(3)
Figure 112018054305943-pct00022
는 서브 매크로브로록의 i번째(
Figure 112018054305943-pct00023
th: 제i) 계수의 오프셋을 나타내고,
Figure 112018054305943-pct00024
는 노이즈 제거 강도를 나타내고,
Figure 112018054305943-pct00025
는 현재 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수이며,
Figure 112018054305943-pct00026
는
Figure 112018054305943-pct00027
개의 계수의 값의 합을 나타낸다.
Figure 112018054305943-pct00028
는 반올림(round-off)을 위해 추가된다. 분모가 0이되는 것을 방지하기 위해 분모에 1이 가산된다. 식 (3)은 변형될 수 있다. 예를 들어, 분모에 가산된 1은 다른 양수일 수도 있다.
필터링 강도
Figure 112018054305943-pct00029
가 증대되면,
Figure 112018054305943-pct00030
의 값은 증가할 수 있다. 서브 매크로 블록의 비직류 성분 계수 각각이 0이 되는 확률이 증대될 수 있어 인터 서브 매크로블록은 대응하는 참조 블록에 더욱 유사하다. 코드 레이트 감축 및 노이즈 제거의 목적이 최종 달성된다. 네트워크 대역폭 또는 저장 공간이 부족하면, 필터링 강도
Figure 112018054305943-pct00031
를 증대시켜, 코드 레이트를 감소시킨다.
도 5는 코딩 중의 실시간 비디오 노이즈 제거 장치의 구성블록도이다. 도 에 도시된 바와 같이, 실시간 비디오 노이즈 제거 장치는, 획득 모듈(510), 노이즈 제거 모듈(520), 판정 모듈(530), 및 판독 모듈(540)을 포함한다.
획득 모듈(510)은 현재 프레임 및 현재 프레임 내의 평탄 영역을 획득하도록 구성된다.
본 실시예에서, 획득 모듈(510)은 현재 프레임 내의 현재 화소 및 현재 화소를 포함하는 선택된 영역을 획득하고; 상기 영역 내의 나머지 화소의 화소 값과 현재 화소의 화소 값의 차의 절대치가 특정 임계치보다 작은지를 판정하고; 그렇다면, 영역이 평탄 영역에 속하는 것으로 결정하고; 그렇지 않으면, 영역이 평탄 영역이 아닌 것으로 결정하도록 구성된다.
그레이 스케일 값의 범위는 [0, 255]으로, 이미지의 폭은 M으로, 그리고 높이는 N으로 지정된다. 특정 임계치는
Figure 112018054305943-pct00032
이고, 현재 화소
Figure 112018054305943-pct00033
의 화소 값은
Figure 112018054305943-pct00034
이며, 필터 템플릿의 반경은 r이고, 필터 템플릿의 반경 r의 범위는 현재 화소를 포함하는 영역이다. 필터 템플릿의 반경 r의 범위 내의 화소의 화소 값과 현재 화소
Figure 112018054305943-pct00035
의 화소 값
Figure 112018054305943-pct00036
의 차의 절대치가 특정 임계치
Figure 112018054305943-pct00037
보다 작은 경우, 필터 탬플릿의 반경 r의 범위를 갖는 영역은 평탄 영역으로 결정된다.
노이즈 제거 모듈(520)은 평탄 영역에 대해 노이즈 제거 처리를 수행하도록 구성된다.
구체적으로, 노이즈 제거 모듈(520)은 평균 노이즈 제거 또는 가중 평균화 노이즈 제거를 통해 평탄 영역 내의 화소에 대해 노이즈 제거 처리를 수행할 수 있다.
평탄 영역 내의 화소에 대해 평균 노이즈 제거 처리를 수행하여 획득되는 화소의 화소 값은, 화소의 화소값과의 차의 절대치가 특정 임계치보다 작은, 평탄 영역 내의 모든 화소의 화소 값의 평균치일 수 있다.
계산식은 식 (1) 및 식 (2)와 같다.
Figure 112018054305943-pct00038
식 (1)
Figure 112018054305943-pct00039
식 (2)
Figure 112018054305943-pct00040
는 노이즈 제거가 수행되지 않은 화소
Figure 112018054305943-pct00041
의 화소 값을 나타내고;
Figure 112018054305943-pct00042
은 노이즈 제거가 수행되지 않은 화소
Figure 112018054305943-pct00043
의 화소 값을 나타내며;
Figure 112018054305943-pct00044
는 노이즈 제거가 수행된 화소
Figure 112018054305943-pct00045
의 화소 값을 나타낸다.
Figure 112018054305943-pct00046
의 값은 반경 r에 의해 결정된다.
평탄 영역 내의 화소에 대해 가중 평균화 노이즈 제거를 수행한다는 것은 식 (1) 및 식 (2)의 계산에 관련된 각각의 화소에 가중치를 할당한다는 것을 의미한다. 평탄 영역에서 화소의 화소 값과의 차의 절대치가 특정 임계치보다 작은 모든 화소의 화소 값은 그 화소에 대응하는 가중치가 승산되고, 그 후 평균 값이 구해져, 노이즈 제거가 수행되는 화소의 화소 값을 획득한다.
여기서 특정 임계치
Figure 112018054305943-pct00047
는 필터링 강도에 의해 제어될 수 있다.
Figure 112018054305943-pct00048
이면, 필터링은 일반적인 평균 필터링으로 저하된다. 이 경우에, 필터링 강도가 가장 강하다.
Figure 112018054305943-pct00049
이면, 이미지는 필터링되지 않는다. 따라서, 대역폭이 비교적 낮으면,
Figure 112018054305943-pct00050
의 값이 적절하게 증가될 수 있어, 이미지에 대해 비교적 강한 필터링이 수행되어, 코드 레이를 감소시킨다. 대역폭이 비교적 높으면,
Figure 112018054305943-pct00051
의 값이 감소가 될 수 있어, 평탄 영역만이 필터링되도록 하여, 텍스처 및 경계 정보가 손상되지 않게 한다.
판정 모듈(530)은 현재 프레임이 P 프레임인지를 판정하고; 현재 프레임이 P 프레임이면, 현재 프레임의 서브 매크로블록을 판독하고; 그렇지 않으면 프로시저를 종료하도록 된다.
구체적으로, 비디오 코딩 중의 프레임은 I 프레임, P 프레임 및 B 프레임으로 분류된다. I 프레임은 인트라 참조 프레임으로, 키 프레임이라고도 하며, GOP 코딩의 제1 프레임이다. I 프레임의 코딩은 이전 프레임 및 다음 프레임에 의존하지 않는다. P 프레임은 이미지 시퀀스에서 이전의 코딩된 프레임과 시간 중복 정보를 완전히 감소시킴으로써, 송신 데이터량을 압축하는 코딩 이미지이며, 예측 프레임라고도 한다. B 프레임은 양방향 예측 프레임이다. 프레임이 B 프레임으로 압축되는 경우, 그 프레임의 참조 프레임은 수 개의 이전 이웃 프레임, 현재 프레임 및 수 개의 다음 프레임이다. 비디오 코딩 중에 I 프레임 공간이 설정된 후, 두 개의 이웃하는 I 프레임 사이에는 P 프레임과 B 프레임만이 존재할 수 있다. 화상 통화의 적용 시나리오는 매우 높은 실시성을 요구한다. 대기 시간(latency)이 있는 B 프레임보다는 보통 I 프레임과 P 프레임이 선택된다.
판정 모듈(530)은 추가로, 현재 판독된 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고; 그렇다면, 노이즈 제거 모듈은 추가로, 현재 판독된 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 정수 이산 코사인 변환이 수행되는 현재 서브 매크로블록에 대해 노이즈 제거 처리를 수행하도록 구성된다. 또한 판정 모듈(530)은 현재 판독된 서브 매크로블록이 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 그렇다면, 프로시저를 종료하고; 그렇지 않으면, 판독 모듈(540)은 추가로 다음 서브 매크로블록을 판독하도록 구성되고, 그 후 결정 모듈(540)은 현재 판독된 서브 매크로블록이 인터 서브 매크로블록인지를 판정하도록 구성된다.
인터 서브 매크로블록은 인터 서브 매크로블록이다. 인터 서브 매크로블록의 계수는 참조 블록의 값을 이용하여 조정될 수 있으므로, 인터 서브 매크로블록은 인터 서브 매크로블록의 참조 블록에 더 가깝다. 인트라 블록은 대응하는 참조 블록이 없다. 따라서, 인트라 블록은 처리되지 않는다. 인트라 블록은 현재 프레임에만 의존하며, 현재 프레임의 위치의 위 화소 및 왼쪽 화소에 따라 예측을 통해 획득된다.
코딩 중의 실시간 비디오 노이즈 제거 장치를 통해, 먼저 이미지의 평탄 영역에서 노이즈 제거 처리를 수행하여, 평탄 영역에서의 노이즈를 감소시키고; 현재 프레임의 서브 매크로블록에 대해 정수 이산 코사인 변환을 추가로 수행하며; 정수 이산 코사인 변환이 수행되는 현재 서브 매크로블록에 대해 노이즈 제거 처리가 수행된다. 정수 이산 코사인 변환은 코딩 중에 사용되는 기존의 모듈이므로, 직접 멀티플렉싱될 수 있어, 계산량을 감소시킨다. 코드 스트림의 수가 노이즈 제거에 의해 감소되고, 실시간 비디오가 구현되며, 네트워크 대역폭의 병목현상이 해소된다.
일 실시예에서, 노이즈 제거 모듈(520)은 추가로, 현재 판독된 서브 매크로블록의 잔차 계수에 대해 정수 이산 코사인 변환을 수행하여, 현재 서브 매크로블록의 비직류 성분 계수를 구하고; 현재 서브 매크로블록의 비직류 성분 계수를 조정하여, 비직류 성분 계수의 절대치가 0으로 조정되게 하도록 구성된다.
구체적으로, 잔차 계수에 대해 DCT 변환을 수행한 후, 처음의 제0 계수를 저주파 직류 성분이고, 나머지의 계수는 모두 비직류 성분이라고 한다. 직류 성분은 블록의 저주파 성분이며 이미지의 밝기를 결정한다. 비직류 성분은 이미지의 고주파 성분이며, 이미지의 세부사항을 결정한다. 필터링된 노이즈는 주로 중간 주파수 및 고주파수이다. 따라서, 비직류 성분이 주로 처리된다.
일 실시예에서, 노이즈 제거 모듈(520)은 추가로, 현재 서브 매크로블록의 비직류 성분 계수의 절대치가 현재 서브 매크로블록의 비직류 성분 계수의 오프셋보다 크면, 비직류 성분 계수의 원래의 부호 비트를 유지하고, 비직류 성분 계수의 절대치를 감소시키거나; 또는 현재 서브 매크로블록의 비직류 성분 계수의 절대치가 현재 서브 매크로블록의 비직류 성분 계수보다 작으면, 비직류 성분 계수의 값을 0으로 설정하도록 구성된다.
또한, 노이즈 제거 모듈(520)은 추가로, 현재 서브 매크로블록의 비직류 성분 계수의 절대치가 현재 서브 매크로블록의 비직류 성분 계수의 오프셋보다 크고, 비직류 성분 계수의 값이 0보다 크면, 비직류 성분 계수에서 오프셋을 감산하거나; 또는 비직류 성분 계수의 값이 0보다 작으면, 오프셋을 비직류 성분 계수에 가산하도록 구성된다.
도 6은 다른 실시예에 따른 코딩 중의 실시간 비디오 노이즈 제거 장치의 구성 블록도이다. 도 6에 도시된 바와 같이, 코딩 중의 실시간 비디오 노이즈 제거 장치는, 획득 모듈(510), 노이즈 제거 모듈(520), 판정 모듈(530) 및 판독 모듈(540)에 더하여, 오프셋 획득 모듈(550)을 더 포함한다.
오프셋 획득 모듈(550)은 현재 서브 매크로블록의 계수 각각의 오프셋을 획득하도록 구성되며, 구체적으로 노이즈 제거 강도, 현재 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수, 및 현재 서브 매크로블록의 비직류 성분 계수를 획득는 것; 및 노이즈 제거 강도, 처리 횟수, 및 현재 서브 매크로블록의 비직류 성분 계수에 따른 계산에 의해, 현재 서브 매크로블록의 비직류 성분 계수의 오프셋을 획득하는 것을 포함한다.
오프셋은 서브 매크로블록의 계수 각각에 대응하는 오프셋을 나타내며, 통계적인 값이다. H.264를 예로 사용하면, 서브 매크로블록의 유형은 밝기 4*4, 8*8 및 16*16, 그리고 색차 4*4 및 8*8일 수 있다.
서브 매크로블록의 유형 각각의 오프셋 계산식은 식 (3)과 같을 수 있다.
Figure 112018054305943-pct00052
식(3)
Figure 112018054305943-pct00053
는 서브 매크로블록의 제
Figure 112018054305943-pct00054
계수의 오프셋을 나타내고,
Figure 112018054305943-pct00055
는 노이즈 제거 강도를 나타내고,
Figure 112018054305943-pct00056
는 현재 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수이며,
Figure 112018054305943-pct00057
는
Figure 112018054305943-pct00058
개의 계수의 값의 합을 나타낸다.
Figure 112018054305943-pct00059
는 반올림을 위해 추가된다. 분모가 0이되는 것을 방지하기 위해 분모에 1이 가산된다. 식 (3)은 변형될 수 있다. 예를 들어, 분모에 가산된 1은 다른 양수일 수도 있다.
필터링 강도
Figure 112018054305943-pct00060
가 증대되면,
Figure 112018054305943-pct00061
의 값은 증가할 수 있다. 서브 매크로 블록의 비직류 성분 계수 각각이 0이 되는 확률이 증대될 수 있어, 인터 서브 매크로블록은 대응하는 참조 블록에 더욱 유사할 수 있다. 코드 레이트 감축 및 노이즈 제거의 목적이 최종 달성된다. 네트워크 대역폭 또는 저장 공간이 부족하면, 필터링 강도를 증대시켜, 코드 레이트를 감소시킬 수 있다.
당업자라면 전술한 실시예에서의 방법의 단계들 중 일부 또는 전부가 관련 하드웨어를 명령하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있을 것이다. 프로그램은 컴퓨터로 판독할 수 있는 비휘발성 저장 매체에 저장될 수 있으며, 실행될 때, 전술한 방법 실시예의 프로시저를 포함할 수 있다. 저장 매체는 자기 디스크, 광 디스크, 판독 전용 메모리(read-only memory, ROM) 등일 수 있다.
전술한 실시예는 본 발명의 몇몇 구현 방식만을 설명하였고, 그 설명은 구체적이고 상세하지만, 본 발명의 특허범위를 한정하는 것으로 이해될 수 없음을 알아야 한다. 유의해야 할 것은, 당업자라면 본 발명의 개념을 벗어나지 않으면서 추가로 변형 및 개선할 수 있고, 그러한 것은 모두 본 발명의 보호 범위에 속한다는 것이다. 따라서, 본 발명의 특허 보호 범위는 첨부된 청구범위에 따라야 한다.

Claims (19)

  1. 코딩 중의 실시간 비디오 노이즈 제거 방법으로서,
    이미지의 현재 프레임 및 상기 현재 프레임 내의 평탄 영역을 획득하는 단계;
    상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 단계;
    상기 현재 프레임이 P 프레임인지를 판정하며, 상기 현재 프레임이 P 프레임 인 경우, 상기 현재 프레임의 서브 매크로블록을 판독하고, 그렇지 않으면 프로 시저를 종료하는 단계; 및
    상기 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 인터 서브 매크로블록인 경우, 상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하고, 추가로 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인 경우, 상기 프로 시저를 종료하고, 그렇지 않으면, 다음 서브 매크로블록을 판독하고, 추가로 상기 다음 서브 매크로블록이 인터 서브 매크로블록인지를 판정하는 단계
    를 포함하고,
    상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하는 것은,
    상기 서브 매크로블록의 잔차 계수에 대해 상기 정수 이산 코사인 변환을 수행하여, 상기 서브 매크로블록의 비직류 성분 계수를 구하는 것; 및
    상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 큰 경우, 상기 비직류 성분 계수의 원래의 부호 비트를 유지하고, 상기 비직류 성분 계수의 절대치를 감소시키고, 또는 상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 작은 경우, 상기 비직류 성분 계수의 값을 0으로 설정하는 것
    을 포함하는,
    코딩 중의 실시간 비디오 노이즈 제거 방법.
  2. 제1항에 있어서,
    상기 현재 프레임 내의 평탄 영역을 획득하는 단계는,
    상기 현재 프레임 내의 현재 화소 및 상기 현재 화소를 포함하는 선택된 영역을 획득하는 단계;
    상기 영역 내의 나머지 화소의 화소 값과 상기 현재 화소의 화소 값의 차의 절대치가 특정 임계치보다 작은지를 판정하는 단계;
    상기 차의 절대치가 상기 특정 임계치보다 작은 경우, 상기 영역이 평탄 영역에 속하는 것으로 결정하고; 그렇지 않으면, 상기 영역이 평탄 영역이 아닌 것으로 결정하는 단계를 포함하는, 코딩 중의 실시간 비디오 노이즈 제거 방법.
  3. 제1항에 있어서,
    상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 단계는,
    상기 평탄 영역에 대해 평균화 노이즈 제거 처리 또는 가중 평균화 노이즈 제거 처리를 수행하는 단계를 포함하는, 코딩 중의 실시간 비디오 노이즈 제거 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 큰 경우, 상기 비직류 성분 계수의 원래의 부호 비트를 보존하고, 상기 비직류 성분 계수의 절대치를 감소시키는 것은,
    상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 크고, 상기 비직류 성분 계수의 값이 0보다 큰 경우, 상기 비직류 성분 계수에서 상기 오프셋을 감산하는 것; 또는
    상기 비직류 성분 계수의 값이 0보다 작은 경우, 상기 오프셋을 상기 비직류 성분 계수에 가산하는 것을 포함하는, 코딩 중의 실시간 비디오 노이즈 제거 방법.
  7. 제1항 또는 제6항에 있어서,
    노이즈 제거 강도, 상기 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수, 및 상기 서브 매크로블록의 비직류 성분 계수를 획득하는 단계; 및
    상기 노이즈 제거 강도, 상기 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수, 및 상기 서브 매크로블록의 비직류 성분 계수에 따른 계산에 의해, 상기 서브 매크로블록의 비직류 성분 계수의 오프셋을 획득하는 단계를 더 포함하는 코딩 중의 실시간 비디오 노이즈 제거 방법.
  8. 메모리 및 프로세서를 포함하는 단말기로서,
    상기 메모리는 컴퓨터로 판독할 수 있는 명령어를 저장하며, 상기 명령어는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    이미지의 현재 프레임 및 상기 현재 프레임 내의 평탄 영역을 획득하는 작업;
    상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 작업;
    상기 현재 프레임이 P 프레임인지를 판정하고; 상기 현재 프레임이 P 프레임인 경우, 상기 현재 프레임의 서브 매크로블록을 판독하고; 그렇지 않으면 프로시저를 종료하는 작업; 및
    상기 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 인터 서브 매크로블록인 경우, 상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하고, 추가로 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인 경우, 프로시저를 종료하고, 그렇지 않으면, 다음 서브 매크로블록을 판독하고, 추가로 상기 다음 서브 매크로블록이 인터 서브 매크로블록인지를 판정하는 작업
    을 수행하게 하고,
    상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하는 것은,
    상기 서브 매크로블록의 잔차 계수에 대해 상기 정수 이산 코사인 변환을 수행하여, 상기 서브 매크로블록의 비직류 성분 계수를 구하는 것; 및
    상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 큰 경우, 상기 비직류 성분 계수의 원래의 부호 비트를 유지하고, 상기 비직류 성분 계수의 절대치를 감소시키고, 또는 상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 작은 경우, 상기 비직류 성분 계수의 값을 0으로 설정하는 것을 포함하는,
    단말기.
  9. 제8항에 있어서,
    상기 현재 프레임 내의 평탄 영역을 획득하는 작업은,
    상기 현재 프레임 내의 현재 화소 및 상기 현재 화소를 포함하는 선택된 영역을 획득하는 작업;
    상기 영역 내의 나머지 화소의 화소 값과 상기 현재 화소의 화소 값의 차의 절대치가 특정 임계치보다 작은지를 판정하는 작업; 및
    상기 차의 절대치가 상기 특정 임계치보다 작은 경우, 상기 영역이 평탄 영역에 속하는 것으로 결정하고; 그렇지 않으면, 상기 영역이 평탄 영역이 아닌 것으로 결정하는 작업를 포함하는, 단말기.
  10. 제8항에 있어서,
    상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 작업은,
    상기 평탄 영역에 대해 평균화 노이즈 제거 처리 또는 가중 평균화 노이즈 제거 처리를 수행하는 작업을 포함하는, 단말기.
  11. 삭제
  12. 삭제
  13. 제8항에 있어서,
    상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 큰 경우, 상기 비직류 성분 계수의 원래의 부호 비트를 보존하고, 상기 비직류 성분 계수의 절대치를 감소시키는 것은,
    상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 크고, 상기 비직류 성분 계수의 값이 0보다 큰 경우, 상기 비직류 성분 계수에서 상기 오프셋을 감산하는 것; 또는
    상기 비직류 성분 계수의 값이 0보다 작은 경우, 상기 오프셋을 상기 비직류 성분 계수에 가산하는 것을 포함하는, 단말기.
  14. 제8항 또는 제13항에 있어서,
    상기 프로세서는 추가로,
    노이즈 제거 강도, 상기 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수, 및 상기 서브 매크로블록의 비직류 성분 계수를 획득하는 작업; 및
    상기 노이즈 제거 강도, 상기 서브 매크로블록과 동일한 크기를 갖는 서브 매크로블록의 처리 횟수, 및 상기 서브 매크로블록의 비직류 성분 계수에 따른 계산에 의해, 상기 서브 매크로블록의 비직류 성분 계수의 오프셋을 획득하는 작업을 포함하는 작업을 수행하게 되는, 단말기.
  15. 컴퓨터로 실행할 수 있는 명령어를 포함하는, 컴퓨터로 판독할 수 있는 하나 이상의 비일시적인 저장 매체로서,
    상기 컴퓨터로 실행할 수 있는 명령어는, 하나 이상의 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    이미지의 현재 프레임 및 상기 현재 프레임 내의 평탄 영역을 획득하는 작업;
    상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 작업;
    상기 현재 프레임이 P 프레임인지를 판정하고; 상기 현재 프레임이 P 프레임인 경우, 상기 현재 프레임의 서브 매크로블록을 판독하고; 그렇지 않으면 프로시저를 종료하는 작업; 및
    상기 서브 매크로블록이 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 인터 서브 매크로블록인 경우, 상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하고, 추가로 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인지를 판정하고; 상기 서브 매크로블록이 상기 현재 프레임의 마지막 인터 서브 매크로블록인 경우, 프로시저를 종료하고, 그렇지 않으면, 다음 서브 매크로블록을 판독하고, 추가로 상기 다음 서브 매크로블록이 인터 서브 매크로블록인지를 판정하는 작업
    을 수행하게 하고,
    상기 서브 매크로블록에 대해 정수 이산 코사인 변환을 수행하고, 상기 정수 이산 코사인 변환이 수행된 서브 매크로블록에 대해 상기 노이즈 제거 처리를 수행하는 것은,
    상기 서브 매크로블록의 잔차 계수에 대해 상기 정수 이산 코사인 변환을 수행하여, 상기 서브 매크로블록의 비직류 성분 계수를 구하는 것; 및
    상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 큰 경우, 상기 비직류 성분 계수의 원래의 부호 비트를 유지하고, 상기 비직류 성분 계수의 절대치를 감소시키고, 또는 상기 서브 매크로블록의 비직류 성분 계수의 절대치가 상기 서브 매크로블록의 비직류 성분 계수의 오프셋보다 작은 경우, 상기 비직류 성분 계수의 값을 0으로 설정하는 것을 포함하는,
    컴퓨터로 판독할 수 있는 하나 이상의 비일시적인 저장 매체.
  16. 제15항에 있어서,
    상기 현재 프레임 내의 평탄 영역을 획득하는 작업은
    상기 현재 프레임 내의 현재 화소 및 상기 현재 화소를 포함하는 선택된 영역을 획득하는 작업;
    상기 영역 내의 나머지 화소의 화소 값과 상기 현재 화소의 화소 값의 차의 절대치가 특정 임계치보다 작은지를 판정하는 작업; 및
    상기 차의 절대치가 상기 특정 임계치보다 작은 경우, 상기 영역이 평탄 영역에 속하는 것으로 결정하고; 그렇지 않으면, 상기 영역이 평탄 영역이 아닌 것으로 결정하는 작업을 포함하는, 컴퓨터로 판독할 수 있는 하나 이상의 비일시적인 저장 매체.
  17. 제15항에 있어서,
    상기 평탄 영역에 대해 노이즈 제거 처리를 수행하는 작업은,
    상기 평탄 영역에 대해 평균화 노이즈 제거 처리 또는 가중 평균화 노이즈 제거 처리를 수행하는 작업을 포함하는, 컴퓨터로 판독할 수 있는 하나 이상의 비일시적인 저장 매체.
  18. 삭제
  19. 삭제
KR1020187015730A 2015-11-18 2016-05-17 코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체 KR102123958B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510798985.1A CN105472205B (zh) 2015-11-18 2015-11-18 编码过程中的实时视频降噪方法和装置
CN201510798985.1 2015-11-18
PCT/CN2016/082415 WO2017084258A1 (zh) 2015-11-18 2016-05-17 编码过程中的实时视频降噪方法、终端和非易失性计算机可读存储介质

Publications (2)

Publication Number Publication Date
KR20180078310A KR20180078310A (ko) 2018-07-09
KR102123958B1 true KR102123958B1 (ko) 2020-06-17

Family

ID=55609443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187015730A KR102123958B1 (ko) 2015-11-18 2016-05-17 코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체

Country Status (6)

Country Link
US (1) US10587874B2 (ko)
EP (1) EP3379817B1 (ko)
JP (1) JP6615346B2 (ko)
KR (1) KR102123958B1 (ko)
CN (1) CN105472205B (ko)
WO (1) WO2017084258A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
CN106658004B (zh) * 2016-11-24 2019-05-17 浙江大学 一种基于图像平坦区域特征的压缩方法和装置
US10140689B2 (en) * 2017-01-20 2018-11-27 Sony Corporation Efficient path-based method for video denoising
CN108174057B (zh) * 2018-01-10 2020-06-23 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
CN110891177B (zh) * 2018-09-07 2023-03-21 腾讯科技（深圳）有限公司 视频降噪、视频转码中的降噪处理方法、装置和机器设备
CN110246090B (zh) * 2018-09-27 2023-03-28 浙江大华技术股份有限公司 一种图像处理的方法和设备
US11900566B1 (en) * 2019-06-26 2024-02-13 Gopro, Inc. Method and apparatus for convolutional neural network-based video denoising
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN112261474A (zh) * 2020-10-26 2021-01-22 安徽众新电子科技有限公司 一种多媒体视频图像处理系统及处理方法
US20230059035A1 (en) * 2021-08-23 2023-02-23 Netflix, Inc. Efficient encoding of film grain noise
CN116260973B (zh) * 2023-03-31 2024-03-19 北京百度网讯科技有限公司 一种时域滤波方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051569B1 (ko) * 2009-07-10 2011-07-25 삼성전기주식회사 영상 잡음 제거 장치 및 방법
JP5761979B2 (ja) * 2010-12-10 2015-08-12 Hoya株式会社 ノイズ除去システムおよび撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06224773A (ja) 1993-01-26 1994-08-12 Toshiba Corp 高能率符号化回路
JPH08186842A (ja) 1994-12-28 1996-07-16 Fuji Photo Film Co Ltd 画像データの雑音低減装置および方法
US20030035586A1 (en) * 2001-05-18 2003-02-20 Jim Chou Decoding compressed image data
JP3880862B2 (ja) * 2002-01-29 2007-02-14 富士フイルムホールディングス株式会社 撮像装置
JP3893099B2 (ja) * 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
JP2004336103A (ja) * 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
JP2006011568A (ja) 2004-06-23 2006-01-12 Yokogawa Electric Corp 光学式タッチパネル
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US8326580B2 (en) * 2008-01-29 2012-12-04 Qualcomm Incorporated Sparse sampling of signal innovations
US20090290645A1 (en) * 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
WO2009154596A1 (en) * 2008-06-20 2009-12-23 Hewlett-Packard Development Company, L.P. Method and system for efficient video processing
CN101742288B (zh) * 2008-11-11 2013-03-27 北京中星微电子有限公司 视频降噪编码方法和视频降噪编码装置
CN101540834B (zh) * 2009-04-16 2011-03-30 杭州华三通信技术有限公司 去除视频图像噪声的方法和视频编码装置
EP2422242A1 (en) * 2009-04-24 2012-02-29 Ecole Polytechnique Fédérale de Lausanne (EPFL) A method and apparatus for enhanced spatial bandwidth wavefronts reconstructed from digital interferograms or holograms
CN101883280B (zh) * 2009-05-07 2014-08-27 香港科技大学 一种恢复噪声的视频编解码方法和系统
US9635308B2 (en) * 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
JP5291133B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
US8948253B2 (en) * 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system
US9326008B2 (en) * 2012-04-10 2016-04-26 Google Inc. Noise reduction for image sequences
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
CN102801983A (zh) * 2012-08-29 2012-11-28 上海国茂数字技术有限公司 一种基于dct的去噪方法及装置
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
JP6013178B2 (ja) * 2012-12-28 2016-10-25 株式会社東芝 画像処理装置および画像処理方法
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051569B1 (ko) * 2009-07-10 2011-07-25 삼성전기주식회사 영상 잡음 제거 장치 및 방법
JP5761979B2 (ja) * 2010-12-10 2015-08-12 Hoya株式会社 ノイズ除去システムおよび撮像装置

Also Published As

Publication number Publication date
JP2018534877A (ja) 2018-11-22
CN105472205A (zh) 2016-04-06
KR20180078310A (ko) 2018-07-09
CN105472205B (zh) 2020-01-24
WO2017084258A1 (zh) 2017-05-26
US20170374363A1 (en) 2017-12-28
EP3379817A1 (en) 2018-09-26
JP6615346B2 (ja) 2019-12-04
EP3379817A4 (en) 2018-09-26
US10587874B2 (en) 2020-03-10
EP3379817B1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
KR102123958B1 (ko) 코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체
US11523111B2 (en) Encoder, a decoder and corresponding methods using an adaptive loop filter
CN110036637B (zh) 去噪声化已重构图像的方法及装置
US11375199B2 (en) Interpolation filter for an inter prediction apparatus and method for video coding
JP2007536828A (ja) 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
JP2009273156A (ja) 画像復号方法および画像復号装置
WO2012051164A1 (en) Internal bit depth increase in deblocking filters and ordered dither
CN113068026B (zh) 编码预测方法、装置及计算机存储介质
US20240040143A1 (en) Method and apparatus for decoding image using interpicture prediction
WO2022077490A1 (zh) 一种帧内预测方法、编码器、解码器及存储介质
CN111327894B (zh) 块划分方法、视频编解码方法、视频编解码器
US11044472B2 (en) Method and apparatus for performing adaptive filtering on reference pixels based on size relationship of current block and reference block
KR20210135333A (ko) 적응형 교차 성분 필터링을 위한 방법 및 시스템
WO2023122969A1 (zh) 帧内预测方法、设备、系统、及存储介质
KR100598369B1 (ko) 블록 경계 영역 필터링 방법
KR100917208B1 (ko) 블록 경계 영역 필터링 방법
KR100917207B1 (ko) 블록 경계 영역 필터링 방법
KR100839304B1 (ko) 동영상 디코딩 방법
CN116647683A (zh) 量化处理方法和装置
Luo et al. Subjective Quality Based Optimization for JPEG XR Encoding Algorithm
JP2018082250A (ja) 画像符号化装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant