KR101739942B1 - 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치 - Google Patents

오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치 Download PDF

Info

Publication number
KR101739942B1
KR101739942B1 KR1020100117650A KR20100117650A KR101739942B1 KR 101739942 B1 KR101739942 B1 KR 101739942B1 KR 1020100117650 A KR1020100117650 A KR 1020100117650A KR 20100117650 A KR20100117650 A KR 20100117650A KR 101739942 B1 KR101739942 B1 KR 101739942B1
Authority
KR
South Korea
Prior art keywords
noise
audio
audio signal
signal
sound
Prior art date
Application number
KR1020100117650A
Other languages
English (en)
Other versions
KR20120056106A (ko
Inventor
한승원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100117650A priority Critical patent/KR101739942B1/ko
Priority to US13/242,470 priority patent/US8687090B2/en
Priority to CN2011103726172A priority patent/CN102572236A/zh
Publication of KR20120056106A publication Critical patent/KR20120056106A/ko
Application granted granted Critical
Publication of KR101739942B1 publication Critical patent/KR101739942B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치가 제공된다. 본 오디오 노이즈 제거 방법은, 기 촬영된 영상 속에 포함된 특정 오디오 신호를 노이즈 신호로 저장하고, 영상 속에 포함된 오디오 신호를 입력받으며, 입력된 오디오 신호와 노이즈 신호를 비교하여, 오디오 신호 속에 포함된 노이즈를 제거한다. 이에 의해, 오디오 신호 속에 포함된 오디오 노이즈를 제거함으로써, 사용자가 원하지 않는 소리를 쉽게 제거할 수 있게 된다.

Description

오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치{Method for removing audio noise and Image photographing apparatus thereof}
본 발명은 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치에 관한 것으로, 더욱 상세하게는 촬영된 영상 속에 포함된 오디오 노이즈를 제거하는 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치에 관한 것이다.
일반적으로, 캠코더와 같은 영상 촬영장치는 영상을 촬영할 뿐 아니라 오디오 역시 같이 녹음할 수 있다. 이때, 녹음된 오디오는 촬영된 영상과 같이 저장되어, 추후에 사용자가 영상 재생을 원할 경우, 촬영된 영상뿐 아니라 녹음된 오디오 역시 같이 재생된다.
그러나, 영상을 촬영할 때, 주위 환경에 의하여, 사용자가 녹음하길 원하는 오디오가 제대로 녹음되지 않는 경우가 있다. 예를 들어, 비 오는 날에 영상을 촬영할 경우, 녹음된 오디오에는 사용자가 녹음하길 원하는 오디오뿐 아니라 빗소리까지 함께 녹음되게 된다. 따라서, 사용자는 빗소리로 인하여 자신이 녹음하길 원하는 오디오를 제대로 녹음하지 못하게 된다. 여기서, 이러한 빗소리나 계곡소리 등과 같이, 사용자가 녹음하길 원하는 오디오와 같이 녹음이 되지 않았으며 하는 오디오를 오디오 노이즈라고 말한다. 영상을 촬영하는 환경에 오디오 노이즈가 큰 경우, 사용자는 자신이 녹음하길 원하는 오디오를 제대로 녹음할 수 없는 문제점이 생기게 된다.
따라서, 오디오 노이즈가 큰 촬영 환경 속에서도, 사용자가 녹음하길 원하는 오디오만을 녹음할 수 있도록 오디오 노이즈를 제거할 수 있는 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 극복하기 위해 안출된 것으로, 본 발명의 목적은, 입력된 오디오 신호와 기 촬영된 영상 속에 포함된 오디오 신호 중에 노이즈 신호로 저장된 노이즈 신호와 비교하여, 입력된 오디오 신호 속에 포함된 오디오 노이즈를 제거하는 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 노이즈 제거 방법은, 기 촬영된 영상 속에 포함된 특정 오디오 신호를 노이즈 신호로 저장하는 단계; 영상 속에 포함된 오디오 신호를 입력받는 단계;및 상기 입력된 오디오 신호와 상기 노이즈 신호와 비교하여, 상기 변환된 오디오 신호 속에 포함된 노이즈를 제거하는 단계;를 포함한다.
그리고, 저장하는 단계는, 상기 특정 오디오 신호를 FFT(Fast Fourier transform)를 이용하여, 주파수 영역으로 변환하여 상기 노이즈 신호로 저장하는 단계;및 상기 노이즈 신호에 대한 스펙트럼 예측 방법을 통해 산출된 이득함수룰 저장하는 단계;를 포함할 수 있다.
또한, 상기 제거하는 단계는, 상기 추출한 오디오 신호를 FFT를 이용하여, 주파수 영역으로 변환하는 단계; 상기 주파수 영역으로 변환된 노이즈 신호와 상기 주파수 영역으로 변환된 오디오 신호를 비교하여, 상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역을 제거하는 단계;를 포함할 수 있다.
그리고, 상기 주파수 대역을 제거하는 단계는, 상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역에 상기 이득 함수를 곱하여 노이즈를 제거할 수 있다.
또한, 상기 제거하는 단계는, 상기 노이즈가 제거된 오디오 신호를 역 FFT(Inverse Fast Fourier transform)를 이용하여, 주파수 영역의 오디오 신호를 시간 영역으로 변환하는 단계;를 더 포함할 수 있다.
그리고, 상기 제거하는 단계는, 사용자의 특정 입력에 의해 노이즈 제거 모드에 진입되면, 상기 제거하는 단계가 수행될 수 있다.
또한, 상기 노이즈 제거 모드는, 복수의 노이즈 각각에 대응되는 복수의 노이즈 제거 모드를 포함할 수 있다.
그리고, 상기 복수의 노이즈는, 빗소리, 바람소리, 파도소리, 매미소리 및 실내 하우링 소리 중 적어도 하나를 포함하고, 상기 복수의 노이즈 제거 모드는, 빗소리 제거 모드, 파도소리 제거 모드, 매미소리 제거 모드 및 실내 하우링 소리 제거 모드 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 촬영 장치는, 오디오 신호를 입력받는 오디오 입력부; 기 촬영된 영상 속에 포함된 특정 오디오 신호를 노이즈 신호로 저장하는 저장부; 상기 입력된 오디오 신호와 상기 노이즈 신호와 비교하여, 상기 변환된 오디오 신호 속에 포함된 노이즈를 제거하는 오디오 처리부;및 상기 노이즈가 제거된 오디오 신호를 출력하는 오디오 출력부;를 포함한다.
그리고, 상기 저장부는, 상기 특정 오디오 신호를 FFT(Fast Fourier transform)를 이용하여, 주파수 영역으로 변환된 상기 노이즈 신호 및 상기 노이즈 신호에 대한 스펙트럼 예측 방법을 통해 산출된 이득함수를 저장할 수 있다.
또한, 상기 오디오 처리부는, 상기 추출한 오디오 신호를 FFT를 이용하여, 주파수 영역으로 변환하고, 상기 저장부에 저장된 노이즈 신호와 상기 주파수 영역으로 변환된 오디오 신호를 비교하여, 상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역을 제거하는 노이즈 제거부;를 포함할 수 있다.
그리고, 상기 노이즈 제거부는, 상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역에 상기 이득 함수를 곱하여 노이즈를 제거할 수 있다.
또한, 상기 오디오 처리부는, 상기 노이즈가 제거된 오디오 신호를 역 FFT(Inverse Fast Fourier transform)를 이용하여, 주파수 영역의 오디오 신호를 시간 영역으로 변환할 수 있다.
그리고, 사용자의 특정 입력을 수신하는 사용자 명령 입력부; 상기 오디오 처리부는, 상기 사용자의 특정 입력에 의해 노이즈 제거 모드에 진입되면, 상기 노이즈를 제거할 수 있다.
또한, 상기 노이즈 제거 모드는, 복수의 노이즈 각각에 대응되는 복수의 노이즈 제거 모드를 포함할 수 있다.
그리고, 상기 복수의 노이즈는, 빗소리, 바람소리, 파도소리, 매미소리 및 실내 하우링 소리 중 적어도 하나를 포함하고, 상기 복수의 노이즈 제거 모드는, 빗소리 제거 모드, 파도소리 제거 모드, 매미소리 제거 모드 및 실내 하우링 소리 제거 모드 중 적어도 하나를 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 따라, 오디오 신호 속에 포함된 오디오 노이즈를 제거함으로써, 사용자가 원하지 않는 소리를 쉽게 제거할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 영상 촬영 장치의 블록도를 간략히 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 영상 촬영 장치의 블록도를 자세히 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, 영상 촬영 장치의 오디오 노이즈 제거 방법을 설명하기 위한 흐름도, 그리고,
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 노이즈 제거 모드를 설명하기 위한 영상 촬영 장치의 디스플레이 화면을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른, 영상 촬영 장치(100)의 블록도를 간략히 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 촬영 장치(100)는 오디오 입력부(110), 오디오 처리부(120), 저장부(130) 및 오디오 출력부(140)를 포함한다. 이때, 영상 촬영 장치(100)는 영상과 오디오를 함께 촬영할 수 있는 캠코더, 카메라, PMP, 핸드폰 등이 될 수 있다.
오디오 입력부(110)는 마이크 등을 통해 오디오 신호를 입력받는다. 또한, 오디오 입력부(110)는 입력된 오디오 신호를 오디오 처리부(120)로 전송한다.
오디오 처리부(120)는 입력된 오디오에 대한 오디오 인코딩 등의 신호처리를 수행한다. 더욱 구체적으로, 오디오 처리부(120)는 입력된 오디오 신호를 아날로그 신호에서 디지털 신호로 변환한다. 그리고, 오디오 처리부(120)는 입력된 오디오 신호를 FFT(Fast Fourier transform)를 이용하여, 시간 영역에서 주파수 영역으로 변환한다.
그리고, 오디오 처리부(120)는 주파수 영역으로 변환된 오디오 신호와 저장부(130)에 기저장된 노이즈 신호를 비교하여, 입력된 오디오 신호의 주파수 대역 중에 기저장된 노이즈 신호와 일치하는 대역을 제거한다. 이때, 기저장된 노이즈 신호는 사용자가 기존에 촬영한 영상 속에 포함된 오디오 신호 중 노이즈 신호로 지정하여 저장부(130)에 저장된 신호를 말한다.
노이즈 신호를 제거하는 방법에 대해 더욱 구체적으로 설명하면, 오디오 처리부(120)는 입력된 오디오 신호의 주파수 대역 중 기 저장된 노이즈 신호와 일치하는 부분에 대해서, 저장부(130)에 노이즈 신호와 함께 저장되어 있던 이득 함수를 곱하여, 노이즈 신호와 일치하는 주파수 대역의 진폭을 특정 비율로 줄임으로써, 노이즈 신호를 제거한다.
그리고. 오디오 처리부(120)는 역 FFT(Inverse Fast Fourier transform)을 이용하여, 노이즈가 제거된 오디오 신호를 다시 주파수 영역에서 시간 영역으로 변환한다.
그리고, 오디오 처리부(120)는 노이즈가 제거된 오디오 신호를 저장부(130) 또는 오디오 출력부(140)로 전송한다.
저장부(130)는 영상 촬영 장치(100)의 각종 기능을 수행하기 위한 프로그램 및 사용자에 의해 촬영된 영상 데이터들이 저장되어 있다.
또한, 저장부(130)는 기존에 촬영된 영상에 포함된 오디오 신호 중에 사용자가 노이즈라고 지정한 오디오 신호를 노이즈 신호로 저장한다. 이때, 저장된 노이즈 신호 역시, FFT(Fast Fourier transform)를 이용하여, 시간 영역에서 주파수 영역으로 변환하여 저장된다. 또한, 이때, 저장부(130)는 노이즈 신호뿐 아니라, 노이즈 신호에 대한 스펙트럼 예측 방법을 통해 산출된 이득함수를 같이 저장한다.
오디오 출력부(140)는 오디오 처리부(120)에서 오디오 처리된 오디오 신호를 출력한다. 또한, 이때, 출력되는 오디오 신호는 노이즈가 제거된 오디오 신호일 수 있다.
상술한 바와 같이, 오디오 신호 속에 포함된 오디오 노이즈를 제거함으로써, 영상 촬영 장치(100)는 사용자가 원하지 않는 소리를 쉽게 제거할 수 있게 된다.
이하에서는 도 2를 참조하여, 영상 촬영 장치에 대해 더욱 자세히 설명하기로 한다. 도 2는 본 발명의 일 실시예에 따른, 영상 촬영 장치(200)의 블록도를 자세히 도시한 도면이다.
도 2에 도시된 바와 같이, 영상 촬영 장치(200)는 이미지 입력부(210), 이미지 처리부(220), 오디오 입력부(230), 오디오 처리부(240), MUX(250), 출력부(260) 및 저장부(270)를 포함한다.
이미지 입력부(210)는 렌즈를 통해 빛을 입력받는다. 그리고, 이미지 입력부(210)는 이미지 센서부(미도시)를 통해 입력된 빛을 전기적인 신호인 이미지 데이터로 변환한다. 이때, 이미지 센서부(미도시)는 CCD(Charge-Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구현될 수 있다.
이미지 처리부(220)는 입력된 이미지 데이터의 스케일링, 인코딩 등을 수행하여 이미지 처리를 한다. 이때, 이미지 처리부(220)는 이미지 데이터의 사이즈를 조절하는 스케일러(미도시), 이미지 데이터의 인코딩 및 디코딩을 수행하는 이미지 코덱(미도시) 등을 포함한다.
오디오 입력부(230)는 마이크 등을 통하여, 오디오 신호를 입력받는다. 이때, 오디오 입력부(230)는 입력된 오디오 신호를 오디오 처리부(240)로 전송한다.
오디오 처리부(240)는 입력된 오디오 신호를 디지털 신호인 오디오 데이터로 변환하고, 입력된 오디오 데이터 중 노이즈 신호를 제거하며, 노이즈가 제거된 오디오 신호를 인코딩하는 등의 오디오 처리를 수행한다. 구체적으로, 오디오 처리부(240)는 도 2에 도시된 바와 같이, A/D 변환부(241), 노이즈 제거부(243) 및 오디오 코덱(245)을 포함한다.
A/D 변환부(241)는 입력된 아날로그 오디오 신호를 디지털 신호인 오디오 데이터로 변환한다.
노이즈 제거부(243)는 입력된 오디오 데이터를 시간 영역에서 주파수 영역으로 변환한다. 또한, 노이즈 제거부(243)는 입력된 오디오 데이터의 주파수 대역 중 저장부(270)에 저장된 노이즈 신호의 주파수 대역과 비교한다. 특히, 저장된 노이즈 신호의 주파수 대역 중 중심 주파수가 일치하는 부분이 있는지 여부를 비교한다. 이때, 저장부(270)에 저장된 노이즈로는 비소리, 바람소리, 파도소리, 실내 하우링 등이 될 수 있다. 그러나, 이는 일 실시예에 불과할 뿐, 사용자가 제거하길 원하는 특정 소리를 직접 녹음하여 저장부(270)에 저장할 수 있다.
입력된 오디오 데이터의 주파수 대역 중 기저장된 노이즈 신호의 주파수 대역과 일치하는 부분이 있다면, 노이즈 제거부(243)는 입력된 오디오 데이터의 주파수 대역 중 노이즈 신호의 주파수 대역과 일치하는 부분을 제거한다. 더욱 구체적으로, 노이즈 제거부(243)는 입력된 오디오 데이터의 주파수 대역 중 노이즈 신호의 주파수 대역과 일치하는 부분을 해당 노이즈 신호에 대응되는 이득함수를 곱함으로써, 노이즈 신호의 주파수 대역을 일정 비율로 줄어들게 한다. 예를 들어, 노이즈 신호의 중심 주파수가 80kHz라면, 노이즈 제거부(243)는 입력된 오디오 데이터의 주파수 영역 중 80kHz 부분의 진폭을 원래 진폭에 비해 10% 비율로 줄임으로써, 오디오 노이즈를 제거할 수 있게 된다.
또한, 노이즈 제거부(243)는 역 FFT (Inverse Fast Fourier transform)를 이용하여, 노이즈가 제거된 오디오 데이터를 다시 주파수 영역에서 시간 영역으로 변환한다. 그리고 노이즈 제거부(243)는 노이즈가 제거된 오디오 데이터를 오디오 코덱(245)으로 전송한다.
오디오 코덱(245)은 노이즈가 제거된 오디오 데이터를 인코딩 작업을 수행한다.
본 발명의 또 다른 실시예로서, 오디오 처리부(240)는 사용자 명령 입력부(미도시)를 통해 입력된 사용자 명령에 의해 노이즈 제거 모드에 진입한 경우에만 상술한 바와 같은 오디오 노이즈 제거 작업을 수행한다.
이때, 노이즈 제거 모드는 촬영된 영상 속에 노이즈가 있는지 여부를 검출하여 자동으로 모든 노이즈를 제거하는 모드로 구현될 수도 있고, 특정 노이즈를 제거하기 위하여, 특정 노이즈만을 검출하여 노이즈를 제거하는 모드로 구현될 수 있다. 특정 노이즈를 제거하기 위하여, 특정 노이즈만을 검출하여 노이즈를 제거하는 모드는 비소리 제거 모드, 바람소리 제거 모드, 파도소리 제거 모드, 실내 하우링 제거 모드 등이 될 수 있다. 그러나, 이는 일 실시예에 불과할 뿐, 사용자가 직접 특정 소리를 제거하기 위한 모드를 설정할 수 있다. 노이즈 제거 모드에 대한 자세한 설명은 도 4a 내지 도 4b를 참조하여 추후에 설명하기로 한다.
MUX부(250)는 영상 데이터를 오디오 데이터와 결합하여 특정 포맷의 영상파일로 변환한다. 그리고, MUX부(250)는 특정 포맷의 영상파일을 저장부(270)로 전송하여 저장하거나 출력부(260)로 출력한다. 여기에서, 특정 포맷은 영상 파일의 저장에 적합한 형태의 포맷이 된다.
출력부(260)는 MUX부(250)에서 결합된 특정 포맷의 영상 파일을 출력한다. 이때, 출력되는 영상 파일에 포함된 오디오는 노이즈가 제거된 오디오일 수 있다.
저장부(270)는 영상 촬영 장치(200)의 각종 기능을 수행하기 위한 프로그램 및 사용자에 의해 촬영된 영상 데이터들이 저장되어 있다.
특히, 저장부(270)는 기존에 촬영된 영상에 포함된 오디오 신호 중에 사용자가 노이즈라고 지정한 오디오 신호를 노이즈 신호로 저장한다. 이때, 저장된 노이즈 신호는 FFT(Fast Fourier transform)를 이용하여, 시간 영역에서 주파수 영역으로 변환하여 저장된다. 또한, 이때, 저장부(130)는 노이즈 신호뿐 아니라, 노이즈 신호에 대한 스펙트럼 예측 방법을 통해 산출된 이득함수를 같이 저장한다.
또한, 저장부(270)는 MUX부(250)에서 오디오 데이터와 영상 데이터가 결합된 특정 포맷의 영상 파일을 저장한다.
또한, 저장부(270)는 노이즈 이득함수 저장부(미도시) 및 영상파일 저장부(미도시)를 포함할 수 있다. 노이즈 이득함수 저장부는 노이즈 이득함수에 대한 정보들을 저장하고, 영상파일 저장부는 MUX부(250)에서 출력된 영상파일을 저장한다. 이때, 노이즈 이득함수 저장부는 노이즈 제거부(243)와 연결되며, 영상 파일 저장부는 MUX부(250)와 연결된다.
이때, 저장부(270)는 하드디스크, 비휘발성 메모리 등으로 구현될 수 있다.
상술한 바와 같이, 오디오 신호 속에 포함된 오디오 노이즈를 제거함으로써, 영상 촬영 장치(200)는 사용자가 원하지 않는 소리를 쉽게 제거할 수 있게 된다.
이하에서는 도 3을 참조하여, 영상 촬영 장치(200)의 오디오 노이즈 제거 방법을 자세히 설명한다.
도 3은 본 발명의 일 실시예에 따른, 영상 촬영 장치(200)의 노이즈 제거 방법을 설명하기 위한 흐름도이다.
우선, 영상 촬영 장치(200)는 사용자에 의해 기촬영된 특정 영상 속에 포함된 오디오 신호를 노이즈 신호 저장한다(S310). 더욱 구체적으로, 영상 촬영 장치(200)는 사용자에 의해 기촬영된 특정 영상 속에 포함된 오디오 신호에 대한 노이즈 신호 지정 명령을 입력받는다. 그리고, 영상 촬영 장치(200)는 해당 오디오 신호를 FFT를 이용하여, 시간 영역에서 주파수 영역으로 변환한다. 그리고, 영상 촬영 장치(200)는 해당 오디오 신호의 스펙트럼 예측 방법을 통해 이득함수를 산출한다. 그리고, 영상 촬영 장치(200)는 주파수 영역으로 변환된 오디오 신호를 노이즈 함수로 저장하고, 동시에 이득함수를 저장한다. 이때, 노이즈로 지정된 오디오로는 비소리, 바람소리, 파도소리, 실내 하우링 등이 될 수 있다. 그러나, 이는 일 실시예에 불과할 뿐, 사용자가 제거하길 원하는 특정 소리를 직접 녹음하여 노이즈로 지정할 수 있다.
그리고, 영상 촬영 장치(200)는 오디오 신호를 입력받는다(S320). 이때, 입력되는 오디오 신호는 마이크 등을 통해 입력받을 수 있다.
그리고, 영상 촬영 장치(200)는 입력된 오디오 신호와 저장된 노이즈 신호를 비교하여, 오디오 신호에 포함된 노이즈를 제거한다(S330). 구체적으로, 영상 촬영 장치(200)는 입력된 오디오 데이터를 시간 영역에서 주파수 영역으로 변환한다. 그리고, 영상 촬영 장치(200)는 입력된 오디오 데이터의 주파수 대역 중 S310 단계에서 저장된 노이즈 신호의 주파수 대역과 비교한다. 특히, 영상 촬영 장치(200)는 기저장된 노이즈 신호의 주파수 대역 중 중심 주파수가 일치하는 부분이 있는지 여부를 비교한다.
입력된 오디오 데이터의 주파수 대역 중 기저장된 노이즈 신호의 주파수 대역과 일치하는 부분이 있다면, 영상 촬영 장치(200)는 입력된 오디오 데이터의 주파수 대역 중 노이즈 신호의 주파수 대역과 일치하는 부분을 제거한다. 더욱 구체적으로, 영상 촬영 장치(200)는 입력된 오디오 데이터의 주파수 대역 중 노이즈 신호의 주파수 대역과 일치하는 부분을 해당 노이즈 신호에 대응되는 이득함수를 곱함으로써, 노이즈 신호의 주파수 대역을 일정 비율로 줄어들게 한다.
그리고, 영상 촬영 장치(200)는 역 FFT (Inverse Fast Fourier transform)를 이용하여, 노이즈가 제거된 오디오 데이터를 다시 주파수 영역에서 시간 영역으로 변환한다. 그리고 영상 촬영 장치(200)는 노이즈가 제거된 오디오 데이터에 대하여 인코딩 작업 등을 수행한다.
그리고, 노이즈가 제거된 오디오 데이터는 영상 데이터와 결합되어, 저장부(270)에 저장되거나 출력부(260)에 의해 출력된다.
이때, 본 발명의 또 다른 실시예로써, S330 단계는 사용자의 특정 명령에 의해 노이즈 제거 모드에 진입된 경우에만 수행될 수도 있다.
이하에서는 도 4를 참조하여, 오디오 노이즈 제거 모드를 자세히 설명한다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 노이즈 제거 모드를 설명하기 위한 영상 촬영 장치(200)의 디스플레이 화면을 도시한 도면이다.
도 4a에 도시된 바와 같이, GUI를 통한 사용자의 특정 명령이 입력되면, 영상 촬영 장치(200)는 모드 선택 메뉴(410)에 진입한다. 이때, 모드 선택 메뉴는 다양한 모드를 포함할 수 있는데, 특히, 노이즈 제거 모드를 포함한다. 여기서, 노이즈 제거 모드라 함은, 촬영된 영상 속에 포함된 오디오 신호 중 노이즈로 지정된 오디오 신호를 제거하는 모드를 말한다.
사용자의 입력에 의해, 노이즈 제거 모드가 선택되면, 도 4b에 도시된 바와 같이, 영상 촬영 장치(200)는 다양한 노이즈를 제거할 수 있는 복수의 노이즈 제거 모드를 선택할 수 있는 GUI(420)를 디스플레이한다. 이때, 복수의 노이즈 제거 모드로는 비소리 제거 모드, 바람소리 제거 모드, 파도소리 제거 모드 및 실내 하우링 제거 모드 등을 포함한다. 그러나, 이러한 복수의 노이즈 제거모드는 일 실시예에 불과할 뿐, 사용자가 직접 녹음한 특정 소리를 노이즈로 지정하여, 지정된 특정 소리르 제거하기 위한 노이즈 제거 모드를 설정할 수 있다.
사용자의 특정 선택에 의해, 특정 노이즈 제거 모드가 선택되면, 영상 촬영 장치(200)는 특정 노이즈 제거 모드에 진입하며, 도 1 내지 도 3에서 설명한 바와 같이, 특정 노이즈 신호를 제거한다. 예를 들어, 도 4b에 도시된 바와 같이, 사용자가 비소리 제거 모드를 선택하면, 영상 촬영 장치(200)는 비소리 제거 모드에 진입하며, 촬영된 영상 속에 포함된 오디오 중에서 비소리를 제거한다. 이때, 영상 촬영 장치(200)가 비소리 제거 모드에 진입한 경우, 영상 촬영 장치(200)는 비소리 제거 모드를 표시하는 GUI(430)를 디스플레이한다.
이에 의해, 사용자는 특정 노이즈를 제거하기 위해 특정 노이즈 제거 모드를 선택함으로써, 사용자가 원하는 노이즈만을 제거하며, 보다 쉽고 간편하게 노이즈를 제거할 수 있게 된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 오디오 입력부 120: 오디오 처리부
130: 저장부 140: 오디오 출력부
210: 이미지 입력부 220: 이미지 처리부
230: 오디오 입력부 240: 오디오 처리부
241: A/D 변환부 243: 노이즈 제거부
245: 오디오 코덱 250: MUX
260: 출력부 270: 저장부

Claims (16)

  1. 기 촬영된 영상 속에 포함된 특정 오디오 신호를 노이즈 신호로 저장하는 단계;
    영상 속에 포함된 오디오 신호를 입력받는 단계;
    상기 입력 받은 오디오 신호로부터 복수의 노이즈 신호를 검출하는 단계; 및
    상기 입력된 오디오 신호와 상기 노이즈 신호를 비교하여, 변환된 오디오 신호 속에 포함된 노이즈를 제거하는 단계;를 포함하고,
    상기 제거하는 단계는,
    사용자의 특정 입력에 의해 제1 노이즈 제거 모드에 진입되면, 상기 검출된 모든 복수의 노이즈 신호를 자동으로 제거하는 단계;를 더 포함하는 오디오 노이즈 제거 방법.
  2. 제1항에 있어서,
    저장하는 단계는,
    상기 특정 오디오 신호를 FFT(Fast Fourier transform)를 이용하여, 주파수 영역으로 변환하여 상기 노이즈 신호로 저장하는 단계;및
    상기 노이즈 신호에 대한 스펙트럼 예측 방법을 통해 산출된 이득함수를 저장하는 단계;를 포함하는 것을 특징으로 하는 오디오 노이즈 제거 방법.
  3. 제2항에 있어서,
    상기 제거하는 단계는,
    상기 입력된 오디오 신호를 FFT를 이용하여, 주파수 영역으로 변환하는 단계;
    상기 주파수 영역으로 변환된 노이즈 신호와 상기 주파수 영역으로 변환된 오디오 신호를 비교하여, 상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역을 제거하는 단계;를 포함하는 것을 특징으로 하는 오디오 노이즈 제거 방법.
  4. 제3항에 있어서,
    상기 주파수 대역을 제거하는 단계는,
    상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역에 상기 이득 함수를 곱하여 노이즈를 제거하는 것을 특징으로 하는 오디오 노이즈 제거 방법.
  5. 제4항에 있어서,
    상기 제거하는 단계는,
    상기 노이즈가 제거된 오디오 신호를 역 FFT(Inverse Fast Fourier transform)를 이용하여, 주파수 영역의 오디오 신호를 시간 영역으로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 오디오 노이즈 제거 방법.
  6. 제1항에 있어서,
    상기 제거하는 단계는,
    사용자의 특정 입력에 의해 제2 노이즈 제거 모드에 진입되면, 상기 제거하는 단계가 수행되는 것을 특징으로 하는 오디오 노이즈 제거 방법.
  7. 제6항에 있어서,
    상기 제2 노이즈 제거 모드는,
    복수의 노이즈 각각에 대응되는 복수의 노이즈 제거 모드를 포함하는 것을 특징으로 하는 오디오 노이즈 제거 방법.
  8. 제7항에 있어서,
    상기 복수의 노이즈는,
    빗소리, 바람소리, 파도소리, 매미소리 및 실내 하우링 소리 중 적어도 하나를 포함하고,
    상기 복수의 노이즈 제거 모드는,
    빗소리 제거 모드, 파도소리 제거 모드, 매미소리 제거 모드 및 실내 하우링 소리 제거 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 노이즈 제거 방법.
  9. 오디오 신호를 입력받는 오디오 입력부;
    기 촬영된 영상 속에 포함된 특정 오디오 신호를 노이즈 신호로 저장하는 저장부;
    상기 입력된 오디오 신호와 상기 노이즈 신호를 비교하여, 변환된 오디오 신호 속에 포함된 노이즈를 제거하는 오디오 처리부;
    상기 노이즈가 제거된 오디오 신호를 출력하는 오디오 출력부; 및
    사용자의 특정 입력을 수신하는 사용자 명령 입력부;를 포함하고,
    상기 오디오 처리부는,
    상기 입력된 오디오 신호로부터 복수의 노이즈 신호를 검출하고, 상기 사용자의 특정 입력에 의해 제1 노이즈 제거 모드에 진입되면, 상기 검출된 모든 복수의 노이즈 신호를 자동으로 제거하는 영상 촬영 장치.
  10. 제9항에 있어서,
    상기 저장부는,
    상기 특정 오디오 신호를 FFT(Fast Fourier transform)를 이용하여, 주파수 영역으로 변환된 상기 노이즈 신호 및 상기 노이즈 신호에 대한 스펙트럼 예측 방법을 통해 산출된 이득함수를 저장하는 것을 특징으로 하는 영상 촬영 장치.
  11. 제10항에 있어서,
    상기 오디오 처리부는,
    상기 입력된 오디오 신호를 FFT를 이용하여, 주파수 영역으로 변환하고, 상기 저장부에 저장된 노이즈 신호와 상기 주파수 영역으로 변환된 오디오 신호를 비교하여, 상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역을 제거하는 노이즈 제거부;를 포함하는 것을 특징으로 하는 영상 촬영 장치.
  12. 제11항에 있어서,
    상기 노이즈 제거부는,
    상기 오디오 신호에 포함된 주파수 대역 중 노이즈 신호와 대응되는 부분의 주파수 대역에 상기 이득 함수를 곱하여 노이즈를 제거하는 것을 특징으로 하는 영상 촬영 장치.
  13. 제12항에 있어서,
    상기 오디오 처리부는,
    상기 노이즈가 제거된 오디오 신호를 역 FFT(Inverse Fast Fourier transform)를 이용하여, 주파수 영역의 오디오 신호를 시간 영역으로 변환하는 것을 특징으로 하는 영상 촬영 장치.
  14. 제9항에 있어서,
    상기 오디오 처리부는,
    상기 사용자의 특정 입력에 의해 제2 노이즈 제거 모드에 진입되면, 상기 노이즈를 제거하는 것을 특징으로 하는 영상 촬영 장치.
  15. 제14항에 있어서,
    상기 제2 노이즈 제거 모드는,
    복수의 노이즈 각각에 대응되는 복수의 노이즈 제거 모드를 포함하는 것을 특징으로 하는 영상 촬영 장치.
  16. 제15항에 있어서,
    상기 복수의 노이즈는,
    빗소리, 바람소리, 파도소리, 매미소리 및 실내 하우링 소리 중 적어도 하나를 포함하고,
    상기 복수의 노이즈 제거 모드는,
    빗소리 제거 모드, 파도소리 제거 모드, 매미소리 제거 모드 및 실내 하우링 소리 제거 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 촬영 장치.
KR1020100117650A 2010-11-24 2010-11-24 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치 KR101739942B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100117650A KR101739942B1 (ko) 2010-11-24 2010-11-24 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치
US13/242,470 US8687090B2 (en) 2010-11-24 2011-09-23 Method of removing audio noise and image capturing apparatus including the same
CN2011103726172A CN102572236A (zh) 2010-11-24 2011-11-10 消除音频噪声的方法以及使用该方法的图像捕捉设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100117650A KR101739942B1 (ko) 2010-11-24 2010-11-24 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치

Publications (2)

Publication Number Publication Date
KR20120056106A KR20120056106A (ko) 2012-06-01
KR101739942B1 true KR101739942B1 (ko) 2017-05-25

Family

ID=46064042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100117650A KR101739942B1 (ko) 2010-11-24 2010-11-24 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치

Country Status (3)

Country Link
US (1) US8687090B2 (ko)
KR (1) KR101739942B1 (ko)
CN (1) CN102572236A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9837102B2 (en) * 2014-07-02 2017-12-05 Microsoft Technology Licensing, Llc User environment aware acoustic noise reduction
CN105321523A (zh) * 2014-07-23 2016-02-10 中兴通讯股份有限公司 噪音抑制方法和装置
KR101630155B1 (ko) * 2014-09-11 2016-06-15 현대자동차주식회사 잡음 제거 장치, 잡음 제거 방법, 잡음 제거 장치를 이용하는 음성 인식 장치 및 음성 인식 장치가 설치된 차량
KR102298430B1 (ko) * 2014-12-05 2021-09-06 삼성전자주식회사 전자 장치 및 그 제어 방법, 그리고 오디오 출력 시스템
US9521365B2 (en) 2015-04-02 2016-12-13 At&T Intellectual Property I, L.P. Image-based techniques for audio content
WO2019187841A1 (ja) 2018-03-30 2019-10-03 パナソニックＩｐマネジメント株式会社 騒音低減装置
JP7461020B2 (ja) * 2020-02-17 2024-04-03 株式会社オーディオテクニカ 音声信号処理装置、音声信号処理システム、音声信号処理方法、およびプログラム
CN111901550A (zh) * 2020-07-21 2020-11-06 陈庆梅 利用内容分析的信号还原系统
WO2022211504A1 (en) * 2021-03-31 2022-10-06 Samsung Electronics Co., Ltd. Method and electronic device for suppressing noise portion from media event
KR102545954B1 (ko) * 2022-03-21 2023-06-21 주식회사 워프 음향을 포함하는 영상 데이터의 노이즈 제거하기 위한 방법, 서버 및 컴퓨터프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279185A (ja) * 2005-03-28 2006-10-12 Casio Comput Co Ltd 撮像装置、音声記録方法及びプログラム
JP2008129107A (ja) 2006-11-17 2008-06-05 Sanyo Electric Co Ltd オートゲインコントロール装置、音声記録装置、映像・音声記録装置および通話装置
JP2010004339A (ja) * 2008-06-20 2010-01-07 Canon Inc ビデオカメラ

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1443498B1 (en) * 2003-01-24 2008-03-19 Sony Ericsson Mobile Communications AB Noise reduction and audio-visual speech activity detection
US7895036B2 (en) * 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
US7949522B2 (en) * 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
US7725315B2 (en) * 2003-02-21 2010-05-25 Qnx Software Systems (Wavemakers), Inc. Minimization of transient noises in a voice signal
CN100504922C (zh) * 2003-12-19 2009-06-24 创新科技有限公司 处理数字图像的方法和系统
JP2006211302A (ja) * 2005-01-28 2006-08-10 Matsushita Electric Ind Co Ltd 風雑音低減体
KR101118217B1 (ko) * 2005-04-19 2012-03-16 삼성전자주식회사 오디오 데이터 처리 장치 및 방법
JP5034605B2 (ja) 2007-03-29 2012-09-26 カシオ計算機株式会社 撮像装置、雑音除去方法及びプログラム
JP2010028281A (ja) 2008-07-16 2010-02-04 Nikon Corp カメラ、騒音除去方法および騒音除去プログラム
JP5263767B2 (ja) * 2008-09-26 2013-08-14 株式会社ザクティ 撮像装置及びモード適否判定方法
US8698911B2 (en) * 2009-10-28 2014-04-15 Nikon Corporation Sound recording device, imaging device, photographing device, optical device, and program
US20120050570A1 (en) * 2010-08-26 2012-03-01 Jasinski David W Audio processing based on scene type

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279185A (ja) * 2005-03-28 2006-10-12 Casio Comput Co Ltd 撮像装置、音声記録方法及びプログラム
JP2008129107A (ja) 2006-11-17 2008-06-05 Sanyo Electric Co Ltd オートゲインコントロール装置、音声記録装置、映像・音声記録装置および通話装置
JP2010004339A (ja) * 2008-06-20 2010-01-07 Canon Inc ビデオカメラ

Also Published As

Publication number Publication date
US8687090B2 (en) 2014-04-01
KR20120056106A (ko) 2012-06-01
US20120127341A1 (en) 2012-05-24
CN102572236A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
KR101739942B1 (ko) 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치
JP4639907B2 (ja) 撮像装置、音声記録方法及びプログラム
JP5263767B2 (ja) 撮像装置及びモード適否判定方法
US8854496B2 (en) Image pickup device and method of picking up image using the same
JP2013106298A (ja) 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置
JP2008263498A (ja) 風雑音低減装置、音響信号録音装置及び撮像装置
JP6637926B2 (ja) 音声処理装置及びその制御方法
JP2008263483A (ja) 風雑音低減装置、音響信号録音装置及び撮像装置
JP2011151481A (ja) 音声信号処理装置、音声信号処理システム
JP5063489B2 (ja) 判定装置及びそれを備えた電子機器並びに判定方法
WO2022244351A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2015104091A (ja) 風雑音低減装置を備えた音声処理装置及びそれを有する撮像装置
JP2018074220A (ja) 音声処理装置
JP5979843B2 (ja) 音声信号処理装置、音声信号処理方法及びプログラム
JP6985821B2 (ja) 音声処理装置及びその制御方法
JP6929137B2 (ja) 音声処理装置及びその制御方法
JP5171369B2 (ja) 集音環境判定装置及びそれを備えた電子機器並びに集音環境判定方法
JP2010134260A (ja) 電子機器及び音声処理方法
JP2009122370A (ja) 音声入出力装置
JP6931296B2 (ja) 音声処理装置及びその制御方法
JP2006217111A (ja) 動画撮影装置、及び動画撮影方法
JP6886352B2 (ja) 音声処理装置及びその制御方法
JP2016009952A (ja) 音声信号処理装置
KR20060057748A (ko) 영상과 음성이 연동되어 가변되는 장치 및 방법
JP5246134B2 (ja) 信号処理装置及び撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant