KR101465061B1 - 손상음성파일 복원 장치 및 그 방법 - Google Patents

손상음성파일 복원 장치 및 그 방법 Download PDF

Info

Publication number
KR101465061B1
KR101465061B1 KR20140099215A KR20140099215A KR101465061B1 KR 101465061 B1 KR101465061 B1 KR 101465061B1 KR 20140099215 A KR20140099215 A KR 20140099215A KR 20140099215 A KR20140099215 A KR 20140099215A KR 101465061 B1 KR101465061 B1 KR 101465061B1
Authority
KR
South Korea
Prior art keywords
file
frames
files
partial
restoration
Prior art date
Application number
KR20140099215A
Other languages
English (en)
Inventor
소병민
유하진
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR20140099215A priority Critical patent/KR101465061B1/ko
Application granted granted Critical
Publication of KR101465061B1 publication Critical patent/KR101465061B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 손상음성파일 복원 장치 및 그 방법에 관한 것이다. 본 발명에 따른 손상음성파일 복원 장치는 상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 복원파일 생성부, 상기 복원파일을 복수의 부분파일로 분할하고, 각각의 상기 부분파일을 복수의 프레임단위로 분할하는 파일 분할부, 상기 분할된 프레임 단위로 푸리에 변환을 수행하는 푸리에 변환부, 상기 프레임의 배음 존재 여부를 판단하고, 각각의 상기 부분파일에 대하여 배음이 존재하는 프레임의 개수를 카운트하여, 상기 카운트 된 배음이 존재하는 프레임의 개수가 기준 값보다 큰 부분파일을 선택하는 제어부, 그리고 상기 선택된 부분파일의 개수가 많은 순서대로 헤더별로 상기 복원파일을 정렬하는 정렬부를 포함한다.
이와 같이 본 발명에 의하면, 손상음성파일 복원 장치 및 그 방법을 도입함으로써, 사용자가 복원된 음성파일을 전부 청취하지 않고도 정상적으로 복원된 음성파일을 찾을 수 있도록 하여, 손상된 음성파일을 복원하는데 걸리는 시간을 절감할 수 있다.

Description

손상음성파일 복원 장치 및 그 방법{Recovery Device for Damaged Audio Files and Method Thereof}
본 발명은 손상음성파일 복원 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 손상된 음성파일을 복원하는데 소요되는 시간을 절감할 수 있는 손상음성파일 복원 장치 및 그 방법에 관한 것이다.
컴퓨터 법의학이라 불리는 디지털 포렌식은 삭제되거나 손상된 디지털 파일을 복원하여 증거자료로 활용한다. 사람의 음성이 녹음된 음성파일도 디지털 포렌식의 대상이 되며, 복원된 음성파일은 동일인 여부를 감정하고, 용의자의 신원을 추정하는 등 중요한 수사 및 증거 자료로 활용될 수 있다.
그러나 저장매체에서 삭제된 음성파일은 복원하더라도 헤더가 손상되어 재생이 불가능한 경우가 많다. 또한, 손상된 음성파일의 헤더 값을 찾아 음성파일을 복원했다 하더라도, 해당 음성파일이 저장되어 있던 공간이 다른 데이터로 덮어씌워진 경우에는 오버라이트 된 부분을 되살릴 수 있는 방법은 아직까지 없다.
음성파일의 헤더가 손상된 경우 해당 음성파일은 재생할 수 없으므로, 재생을 가능하게 하기 위해서는 강제적으로 헤더를 삽입하여 복원파일을 만들어야 한다. 즉 헤더가 손상된 음성파일에 채널 수, 샘플링 레이트, 샘플링 비트 수를 임의로 지정한 헤더를 강제로 삽입하여 음성파일을 복원한다.
강제로 삽입한 헤더가 원본 음성파일의 헤더와 일치할 경우, 복원한 음성파일은 원본과 동일하게 재생될 수 있다. 그러나 손상된 음성파일에 원래 음성 파일의 헤더가 아닌 다른 헤더 정보가 삽입한 경우에는 음성파일이 제대로 재생되지 않는다.
따라서 올바른 헤더가 삽입되어 정상적으로 복원된 음성파일을 검출하기 위해서는 헤더를 경우의 수만큼 생성하고, 각각의 헤더를 삽입한 복수의 복원파일을 만들어야 한다. 그리고 생성된 복수의 복원파일을 각각 재생하여 사용자가 직접 복원파일을 청취하는 과정을 통하여, 정상적으로 복원된 파일을 검출해야 한다.
헤더의 채널 수는 스테레오와 모노로 나뉘고, 샘플링레이트와 비트레이트의 종류도 다양하다. 다양한 경우의 수로 생성한 헤더는 종류도 다양하다. 모든 경우의 수에 해당하는 헤더를 삽입하여 복수의 음성파일을 복원하고, 복수의 복원된 음성파일을 사람이 직접 다 청취하여 정상적으로 복원된 음성파일을 검출해내기까지 많은 시간이 소요된다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1316579호 (2013.10.18 공고)에 개시되어 있다.
본 발명은 사용자가 복원된 음성파일을 전부 청취하지 않고도 정상적으로 복원된 음성파일을 찾을 수 있도록 하여, 손상된 음성파일을 복원하는데 걸리는 시간을 절감할 수 있는 손상음성파일 복원 장치 및 그 방법을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 손상음성파일 복원 장치는 상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 복원파일 생성부, 상기 복원파일을 복수의 부분파일로 분할하고, 각각의 상기 부분파일을 복수의 프레임단위로 분할하는 파일 분할부, 상기 분할된 프레임 단위로 푸리에 변환을 수행하는 푸리에 변환부, 상기 프레임의 배음 존재 여부를 판단하고, 각각의 상기 부분파일에 대하여 배음이 존재하는 프레임의 개수를 카운트하여, 상기 카운트 된 배음이 존재하는 프레임의 개수가 기준 값보다 큰 부분파일을 선택하는 제어부, 그리고 상기 선택된 부분파일의 개수가 많은 순서대로 헤더별로 상기 복원파일을 정렬하는 정렬부를 포함한다.
또한 상기 제어부는, 상기 배음이 존재하는 프레임의 개수가 기준 값보다 큰 상기 부분파일을 표시하고, 상기 표시된 부분파일을 재생할 수 있다.
또한 본 발명의 다른 실시예에 따른 손상음성파일 복원 장치는 상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 복원파일 생성부, 상기 복원파일을 복수의 프레임단위로 분할하는 파일 분할부, 상기 분할된 프레임 단위로 푸리에 변환을 수행하는 푸리에 변환부, 상기 프레임의 배음 존재 여부를 판단하고, 상기 배음이 존재하는 프레임의 개수를 카운트하는 제어부, 그리고 상기 배음이 존재하는 프레임의 개수가 많은 순서대로 상기 복원파일을 정렬하는 정렬부를 포함한다.
또한 상기 제어부는, 상기 배음이 존재하는 프레임의 개수가 기준 값 보다 더 많이 연속하여 존재하는 경우, 상기 연속된 배음이 존재하는 프레임을 표시하고, 상기 표시된 프레임을 재생할 수 있다.
또한 상기 복수의 헤더는, 서로 다른 복수의 샘플링 레이트와 샘플링 비트 수를 포함할 수 있다.
본 발명의 다른 실시예에 따라 손상음성파일 복원 장치에 의해 수행되는 손상음성파일 복원 방법은 상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 단계, 상기 복원파일을 복수의 부분파일로 분할하는 단계, 각각의 상기 부분파일을 복수의 프레임단위로 분할하는 단계, 상기 분할된 프레임 단위로 푸리에 변환을 수행하는 단계, 상기 프레임의 배음 존재 여부를 판단하고, 각각의 상기 부분파일에 대하여 배음이 존재하는 프레임의 개수를 카운트하는 단계, 상기 카운트 된 배음이 존재하는 프레임의 개수가 기준 값보다 큰 부분파일을 선택하는 단계, 그리고 상기 선택된 부분파일의 개수가 많은 순서대로 헤더별로 상기 복원파일을 정렬하는 단계를 포함한다.
또한 상기 배음이 존재하는 프레임의 개수가 기준 값보다 큰 상기 부분파일을 표시하는 단계, 그리고 상기 표시된 부분파일을 재생하는 단계를 더 포함할 수 있다.
또한 본 발명의 다른 실시예에 따라 손상음성파일 복원 장치에 의해 수행되는 손상음성파일 복원 방법은 상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 단계, 상기 복원파일을 복수의 프레임단위로 분할하는 단계, 상기 분할된 프레임 단위로 푸리에 변환을 수행하는 단계, 상기 프레임의 배음 존재 여부를 판단하고, 상기 배음이 존재하는 프레임의 개수를 카운트하는 단계, 그리고 상기 배음이 존재하는 프레임의 개수가 많은 순서대로 상기 복원파일을 정렬하는 단계를 포함한다.
또한 상기 배음이 존재하는 프레임의 개수가 기준 값 보다 더 많이 연속하여 존재하는 경우, 상기 연속된 배음이 존재하는 프레임을 표시하는 단계, 그리고 상기 표시된 프레임을 재생하는 단계를 더 포함할 수 있다.
또한 상기 복수의 헤더는, 서로 다른 복수의 샘플링 레이트와 샘플링 비트 수를 포함할 수 있다.
따라서 본 발명에 따르면 손상음성파일 복원 장치 및 그 방법을 도입함으로써, 사용자가 복원된 음성파일을 전부 청취하지 않고도 정상적으로 복원된 음성파일을 찾을 수 있도록 하여, 손상된 음성파일을 복원하는데 걸리는 시간을 절감할 수 있다.
도 1은 본 발명의 실시예에 따른 손상음성파일 복원 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 손상음성파일 복원 방법을 설명하기 위한 순서도이다.
도 3은 S210 단계에서 복수의 복원 파일을 생성하는 과정을 설명하기 위한 예시도이다.
도 4a 및 4b는 S240 단계에서 부분 파일을 푸리에 변환한 결과를 나타내는 예시도이다.
도 5는 S250 단계에서 배음이 존재하는 프레임의 개수를 카운트하는 과정을 설명하기 위한 예시도이다.
도 6은 S280 단계에서 복원파일을 정렬하는 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 제2 실시예에 따른 손상음성파일 복원 방법을 설명하기 위한 순서도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 손상음성파일 복원 장치의 구성을 나타낸 블록도이다.
도 1에 나타낸 것처럼, 본 발명의 실시예에 따른 손상음성파일 복원 장치(100)는 복원파일 생성부(110), 파일 분할부(120), 푸리에 변환부(130), 제어부(140), 정렬부(150)를 포함한다.
복원파일 생성부(110)는 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 헤더별로 복원파일을 생성한다. 헤더는 서로 다른 복수의 샘플링 레이트와 샘플링 비트 수의 조합으로 생성되며, 샘플링 레이트와 샘플링 비트 수를 조합하여 생성되는 경우의 수만큼 복원파일이 생성된다.
파일 분할부(120)는 생성된 복원파일을 복수의 부분파일로 분할한 뒤, 다시 프레임 단위로 재분할한다. 파일 분할부(120)는 부분파일 별로 배음이 존재하는지 여부를 파악하기 위하여 복원파일을 부분파일로 분할한다. 또한 프레임 단위로 푸리에 변환을 하기 위하여 부분파일을 프레임 단위로 재분할한다.
그리고 파일 분할부(120)는 생성된 복원파일을 프레임 단위로 분할할 수도 있다.
푸리에 변환부(130)는 파일 분할부(120)에서 분할된 프레임 단위로 푸리에 변환을 수행한다. 프레임에 배음이 존재하는지 여부를 판단하기 위하여 푸리에 변환을 통하여 시간영역에서의 신호를 주파수영역으로 변환한다.
제어부(140)는 푸리에 변환부(130)에서 변환된 프레임에 배음이 존재하는지 여부를 판단한다. 즉, 제어부(140)는 각 부분파일에 배음이 존재하는 프레임의 개수를 카운트하고, 카운트된 배음이 존재하는 프레임의 개수가 기준 값보다 큰 부분파일을 선택한다. 그리고 제어부(140)는 배음이 존재하는 프레임의 개수가 기준 값 보다 큰 부분파일을 표시하고, 표시된 부분파일을 재생할 수도 있다.
또한, 제어부(140)는 푸리에 변환부(130)에서 변환된 프레임에 배음이 존재하는지 여부를 판단하고, 배음이 존재하는 프레임의 개수를 카운트 할 수도 있다. 이때, 제어부(140)는 배음이 존재하는 프레임의 개수가 기준 값보다 더 많이 연속하여 존재하는 경우, 연속된 배음이 존재하는 프레임을 표시하고, 표시된 프레임을 재생할 수 있다.
그리고 정렬부(150)는 제어부(140)에서 선택된 부분파일의 개수가 많은 순서대로 헤더별로 복원파일을 정렬한다. 또한 정렬부(150)는 복원파일에 존재하는 프레임의 개수가 많은 순서대로 헤더별로 복원파일을 정렬할 수도 있다.
이하에서는 도 2 내지 도 6을 통하여 본 발명의 제1 실시예에 따른 손상음성파일 복원 방법에 대하여 더욱 상세하게 설명한다.
도 2는 본 발명의 제1 실시예에 따른 손상음성파일 복원 방법을 설명하기 위한 순서도이다.
도 2에 도시한 본 발명의 제1 실시예에 따른 손상음성파일 복원 방법은 도 1을 통해 설명한 손상음성파일 복원 장치(100)에 의해 각각의 단계가 수행될 수 있다.
먼저, 복원파일 생성부(110)는 서로 다른 복수의 헤더를 삽입하여 복수의 복원파일을 생성한다(S210).
복원파일 생성부(110)는 음성파일의 헤더에 포함된 채널 수, 샘플링 레이트, 샘플링 비트 수 등의 정보를 조합하여 서로 다른 복수의 헤더를 생성한다. 그리고 손상된 음성파일에 각각의 헤더를 삽입하여 헤더별로 복원파일을 생성한다.
음성파일의 채널 수는 모노와 스테레오로 나뉜다. 모노는 다수의 스피커에서 출력하는 소리가 동일하다. 반면, 스테레오는 샘플링 단계에서 양쪽 채널에 담긴 음의 정보가 다르기 때문에 양쪽 스피커에서 출력되는 소리가 다르다.
샘플링 레이트는 1초당 추출되는 샘플의 개수를 의미하며, 44.1KHz(44100Hz), 22KHz(22050Hz) 등으로 표현되고, 샘플링 비트 수는 주로 4bit, 8bit, 16bit 등을 사용한다.
도 3은 S210 단계에서 복수의 복원 파일을 생성하는 과정을 설명하기 위한 예시도이다.
본 발명의 실시예에 따르면 정상적으로 복원된 파일을 찾기 위하여, 도 3에 도시한 바와 같이, 복원파일 생성부(110)는 채널 수와 샘플링 레이트, 샘플링 비트 수를 조합한 경우의 수만큼 헤더를 생성한다. 복원파일 생성부(110)는 8KHz, 16KHz, 32KHz, 44.1KHz, 48KHz, 96KHz, 192KHz 등의 샘플링 레이트와 4bit, 8bit, 16bit, 18bit, 20bit, 24bit 등의 샘플링 비트 수를 조합하여 헤더를 생성한다.
복원파일 생성부(110)는 생성된 복수의 헤더를 손상된 음성파일에 삽입하여 복수의 복원파일을 생성하며, 복원파일은 헤더 종류만큼 생성된다.
다음으로 파일 분할부(120)는 S210 단계에서 생성된 복원파일을 복수의 부분파일로 분할한다(S220). 복원파일을 몇 개의 부분파일로 분할할지는 사용자로부터 선택받을 수도 있고, 손상음성파일 복원 장치(100)가 자동으로 설정할 수도 있다. 이와 같이, 복원파일을 부분파일로 분할함으로써, 배음이 존재하는지 여부를 부분파일별로 판단할 수 있으며, 해당 파일이 제대로 복원되었는지를 쉽게 파악할 수 있다.
파일 분할부(120)는 각각의 부분파일을 복수의 프레임 단위로 분할한다(S230). 즉, S230 단계에서 복수의 프레임 단위로 재분할함으로써, 후술할 S240 단계에서 프레임 단위로 푸리에 변환을 수행할 수 있도록 한다.
다음으로, 푸리에 변환부(130)는 분할된 프레임 단위로 푸리에 변환을 수행한다(S240).
푸리에 변환부(130)는 각 프레임을 푸리에 변환하여 도 4a 및 도 4b와 같이 시간 영역에서의 신호를 주파수 영역으로 변환한다.
도 4a 및 4b는 S240 단계에서 프레임을 푸리에 변환한 결과를 나타내는 예시도이다.
더욱 상세하게 설명하면, 도 4a는 음성파일이 손상되기 전의 헤더와 상이한 헤더가 삽입된 복원파일의 푸리에 변환 결과이고, 도 4b는 음성파일이 손상되기 전과 동일한 헤더가 삽입되어 복원된 파일의 푸리에 변환 결과이다.
즉, 도 4a 및 도 4b와 같이, 푸리에 변환부(130)는 푸리에 변환을 수행하여 주기함수의 분포 즉 빈도수의 주파수 영역으로 나타낼 수 있으며, 주파수의 분포를 통하여 배음 존재 여부를 파악할 수 있도록 한다.
제어부(140)는 푸리에 변환된 각 부분파일의 프레임에 배음이 존재하는지 여부를 판단하고, 배음이 존재하는 프레임의 개수를 카운트 한다(S250). 여기서 배음(harmonic)이란, 물체가 진동하여 발생하는 소리의 최소 진동수와 정수배 관계에 있는 음들을 의미한다.
배음의 구성에 의해 음색의 차이가 발생하며, 배음이 존재한다는 것은 의미 있는 소리라는 것을 나타내는 바, 제어부(140)는 배음이 존재하는 구간을 정상적으로 복원된 구간이라고 판단한다. 본 발명의 실시예에 따르면, 제어부(140)는 배음의 존재여부를 기준으로 하여 해당 프레임 또는 부분파일이 제대로 복원되었는지를 판단한다.
제어부(140)는 도 4a 및 4b와 같은 푸리에 변환 결과를 기초로, 음 높이(피치) 즉 기본주파수를 측정하고, 프레임에 측정된 음 높이의 정수배가 되는 주파수 값이 기본 주파수의 일정 비율 이상 존재하는지 파악한다.
도 5는 S250 단계의 배음이 존재하는 프레임의 개수를 카운트하는 과정을 설명하기 위한 예시도이다.
본 발명의 제1 실시예에 따르면, 도 5에 나타낸 것처럼, 제어부(140)는 각각의 부분파일에 기본 주파수의 정수배가 되는 주파수 즉 배음이 존재하는 프레임이 얼마만큼인지를 판단한다. 만약 제어부(140)는 각각의 부분파일에 배음이 존재하는 프레임이 일정 비율 이상인 경우 해당 부분파일은 배음이 존재한다고 판단한다.
예를 들어, 하나의 부분파일에 10개의 프레임이 포함되어 있는 경우, 10개의 프레임 중 7개 이상 즉 70% 이상의 프레임에 배음이 존재하면 제어부(140)는 해당 부분파일에 배음이 존재한다고 판단한다.
즉, 도 4a에 도시한 바와 같이, 음성파일이 손상되기 전의 헤더와 상이한 헤더가 삽입되어 복원된 경우에는 푸리에 변환 결과 배음이 나타나지 않으며, 잡음이 섞이거나 인지가 불가능한 무의미한 소리만 재생될 뿐이므로, 제어부(140)는 배음이 존재하지 않는 것으로 판단한다.
반면, 도 4b에 도시한 바와 같이, 음성파일이 손상되기 전과 동일한 헤더가 삽입되어 복원된 경우에는, 기본 주파수의 2배, 3배, 4배 등의 정수배인 주파수가 존재하는 것을 확인할 수 있다. 즉, 제어부(140)는 푸리에 변환 결과 프레임에 배음이 존재하는 것으로 판단할 수 있다.
그리고, 제어부(140)는 배음이 존재하는 프레임의 개수가 일정 개수 이상인 부분파일을 선택한다(S260). 사용자로부터 몇 개 이상의 배음이 존재하는 프레임이 포함된 부분파일을 선택할 것인지 기준 값을 입력 받을 수도 있고, 손상음성파일 복원 장치(100)가 자동으로 설정할 수도 있다. 제어부(140)는 기본 주파수의 정수배인 주파수가 일정 개수 이상 존재하는 프레임이 포함된 부분파일은 복원이 정상적으로 이루어 진 것으로 판단할 수 있다.
이와 같이 제어부(140)는 배음이 포함된 프레임이 해당 부분파일의 일정 비율이상 바람직하게는 70%이상 존재할 경우, 해당 부분파일에 배음이 존재하는 것으로 판단하여 해당 부분파일에 배음이 존재함을 표시한다.
다음으로, 제어부(140)는 S260 단계를 수행한 복원파일이 마지막 복원파일인지를 판단한다(S270). 마지막 복원파일이 아니라면 다음 복원파일을 대상으로 다시 S220 단계를 진행한다. 즉, 해당되는 복원파일이 마지막 복원파일인 경우에는 S280 단계를 수행한다. 따라서 S210 단계에서 생성된 복원파일이 모두 S220 내지 S270 단계까지 수행된 이후에 S280 단계가 수행된다.
그리고, 정렬부(150)는 S260 단계에서 선택된 부분파일의 개수가 많은 순서대로 복원파일을 정렬한다(S280). S260 단계에서 선택된 부분파일의 개수가 많다는 것은, 배음이 존재하는 프레임이 많다는 것을 의미하므로, 정상적으로 복원이 진행되었다고 판단할 수 있다.
정상적인 음성파일은 자연에서 물체가 진동하여 발생하는 배음을 포함하고 있으므로, 복원 결과 배음이 많이 포함되어 있다는 것은 해당 음성파일이 정상적으로 복원되었다는 것을 의미한다.
도 6은 S280 단계에서 복원파일을 정렬하는 과정을 설명하기 위한 예시도이다.
도 6에 나타낸 것처럼, 정렬부(150)는 복수의 복원파일을 배음이 존재하는 부분파일이 많은 순서대로 정렬한다. 이때, 복원파일에 삽입된 헤더의 종류와 해당 복원파일에 포함된 배음이 존재하는 부분파일의 수를 표시할 수 있으며, 배음이 존재하는 부분파일을 표시할 수도 있다.
사용자는 본 발명의 실시예에 따른 손상음성파일 복원 장치(100)로부터 배음이 많이 포함되어 있는 순서대로 복원파일을 추천받는다. 사용자는 추천받은 순서대로 복원파일을 재생하여 정상적으로 복원된 음성파일을 찾아낼 수 있다.
또한 제어부(140)는 S260 단계에서 선택된 부분파일들을 표시할 수 있으며, 사용자는 표시된 부분파일을 확인하고, 배음이 존재하는 것으로 판단되어 선택된 부분파일만 재생하여 청취할 수 있다.
이를 통하여 사용자는 복원된 파일 중 정상적으로 복원된 부분이 어느 부분인지를 한 눈에 파악할 수 있으며, 하나의 복원파일을 전체적으로 재생하지 않고, 정상적으로 복원된 구간만 선택하여 청취가 가능하다.
이와 같이 본 발명의 제1 실시예에 따르면, 사용자는 손상된 음성파일에 헤더를 삽입하여 복원한 복원파일 중에서 정상적으로 복원된 파일을 찾아내기까지 걸리는 시간을 절감할 수 있다. 또한 복원한 파일의 오버라이트 된 부분을 쉽게 파악할 수 있으며, 복원이 정상적으로 이루어져 배음이 일정부분 이상 존재하는 유의미한 부분만을 선택적으로 재생하여 청취함으로써 복원된 음성파일의 재생에 걸리는 시간을 절감할 수 있다.
이하에서는 도 7을 통하여 본 발명의 제2 실시예에 따른 손상음성파일 복원 방법에 대하여 설명한다.
도 7은 본 발명의 제2 실시예에 따른 손상음성파일 복원 방법을 설명하기 위한 순서도이다.
도 7에 도시한 본 발명의 제2 실시예에 따른 손상음성파일 복원 방법은 도 1을 통해 설명한 손상음성파일 복원 장치(100)에 의해 각각의 단계가 수행될 수 있으며, 본 발명의 제1 실시예와 동일한 단계에 대해서는 중복되는 설명은 생략한다.
먼저, 복원파일 생성부(110)는 서로 다른 복수의 헤더를 삽입하여 복수의 복원파일을 생성한다(S710). 즉, S210 단계와 마찬가지로, 복원파일 생성부(110)는 샘플링 레이트와 샘플링 비트 수를 조합하여 복수의 헤더를 생성하고, 생성한 헤더를 삽입하여 복수의 복원파일 생성한다.
다음으로, 파일 분할부(120)는 S310 단계에서 생성된 복원파일을 복수의 프레임 단위로 분할한다(S720).
푸리에 변환부(130)는 분할된 프레임 단위로 푸리에 변환을 수행한다(S730). 즉, 푸리에 변환부(130)는 푸리에 변환을 통하여 시간 영역에서의 신호를 주파수 영역으로 변환하여, 주파수의 분포를 통하여 배음 존재 여부를 판단하도록 한다.
다음으로, 제어부(140)는 푸리에 변환 된 각 프레임에 배음이 존재하는지 여부를 판단하고, 배음이 존재하는 프레임의 개수를 카운트 한다(S740). 제어부(140)는 음 높이(피치) 즉 기본주파수를 측정하고, 프레임에 측정된 음 높이의 정수배가 되는 주파수 값이 기본 주파수의 일정 비율 이상 존재하는지 파악한다. 그리고 프레임에 일정 비율 이상 정수배가 되는 주파수가 존재할 경우 제어부(140)는 해당 프레임에 배음이 존재한다고 판단한다.
다음으로, 제어부(140)는 S740 단계를 수행한 복원파일이 마지막 복원파일인지를 판단한다(S750). 마지막 복원파일이 아니라면 다음 복원파일을 대상으로 다시 S720 단계를 진행한다.
그리고, 정렬부(150)는 배음이 존재하는 프레임의 수가 많은 순서대로 복원파일을 정렬한다(S760). 즉, 정렬부(150)는 각 복원파일별로 S740 단계에서 제어부(140)에 의해 카운트 된 배음이 존재하는 프레임의 개수를 비교한다. 정렬부(150)는 비교한 결과 배음이 존재하는 프레임의 개수가 많은 순서대로 복원 파일을 정렬하여 사용자에게 추천한다.
또한 제어부(140)는 배음이 존재하는 프레임의 개수가 기준 값보다 더 많이 연속하여 존재하는 경우, 연속된 배음이 존재하는 프레임을 표시하고, 표시된 연속하는 프레임을 재생할 수 있다.
이를 통하여 사용자는 복원이 정상적으로 된 부분을 한 눈에 파악할 수 있으며, 복원이 정상적으로 이루어진 연속된 프레임들만 재생하여 청취가 가능하다. 복원이 제대로 이루어지지 않아 잡음이 재생되는 부분을 제외하고 청취할 수 있어서 사용자가 정상적으로 복원된 파일을 검출하는데 걸리는 시간을 절감할 수 있다.
본 발명의 제1 실시예에 따른 손상음성파일 복원 방법은 복원 파일을 부분파일로 분할하는 반면, 본 발명의 제2 실시예에 따른 손상음성파일 복원 방법은 하나의 복원 파일 전체에서 배음이 존재하는 프레임의 개수를 카운트하여 정상적으로 복원된 음성파일을 검출하는 방법으로서, 제1 실시예에 비하여 단계가 간소화되어 정상적으로 복원된 음성파일을 찾기까지 걸리는 시간을 절감할 수 있다.
이와 같이 본 발명의 실시예에 따른 손상음성파일 복원 장치 및 그 방법을 이용함으로써, 사용자가 복원된 음성파일을 전부 청취하지 않고도 정상적으로 복원된 음성파일을 찾을 수 있도록 하여, 손상된 음성파일을 복원하는데 걸리는 시간을 절감할 수 있다.
또한, 기존에는 삽입한 헤더별로 생성된 복원파일을 재생하여 사용자가 청취하는 과정을 반복하여 정상적으로 복원된 파일을 찾아내야 하는 불편함이 있었으나, 본 발명의 실시예에 따르면, 사용자는 배음이 많이 존재하는 복원파일을 추천받아 우선적으로 확인할 수 있다. 따라서 정상적으로 복원된 음성파일을 검출 하는데까지 걸리는 시간을 대폭 절감할 수 있다.
또한 잡음이 섞이거나 인지가 불가능한 무의미한 소리가 재생되는 복원한 파일의 오버라이트 된 부분을 재생하지 않고, 배음이 존재하는 부분만 재생이 가능하므로, 사용자는 복원된 음성파일 중에서 재생이 가능하며 유의미한 부분만 청취할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 손상음성파일 복원 장치 110 : 복원파일 생성부
120 : 파일 분할부 130 : 푸리에 변환부
140 : 제어부 150 : 정렬부

Claims (10)

  1. 손상된 음성파일을 복원하는 장치에 있어서,
    상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 복원파일 생성부,
    상기 복원파일을 복수의 부분 파일로 분할하고, 각각의 상기 부분 파일을 복수의 프레임단위로 분할하는 파일 분할부,
    상기 분할된 프레임 단위로 푸리에 변환을 수행하는 푸리에 변환부,
    상기 프레임의 배음 존재 여부를 판단하고, 각각의 상기 부분 파일에 대하여 배음이 존재하는 프레임의 개수를 카운트하여, 상기 카운트 된 배음이 존재하는 프레임의 개수가 기준 값보다 큰 부분 파일을 선택하는 제어부, 그리고
    상기 선택된 부분 파일의 개수가 많은 순서대로 헤더별로 상기 복원 파일을 정렬하는 정렬부를 포함하는 손상음성파일 복원 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 배음이 존재하는 프레임의 개수가 기준 값보다 큰 상기 부분 파일을 표시하고, 상기 표시된 부분 파일을 재생하는 손상음성파일 복원 장치.
  3. 손상된 음성파일을 복원하는 장치에 있어서,
    상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 복원파일 생성부,
    상기 복원파일을 복수의 프레임단위로 분할하는 파일 분할부,
    상기 분할된 프레임 단위로 푸리에 변환을 수행하는 푸리에 변환부,
    상기 프레임의 배음 존재 여부를 판단하고, 상기 배음이 존재하는 프레임의 개수를 카운트하는 제어부, 그리고
    상기 배음이 존재하는 프레임의 개수가 많은 순서대로 상기 복원 파일을 정렬하는 정렬부를 포함하는 손상음성파일 복원 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 배음이 존재하는 프레임의 개수가 기준 값 보다 더 많이 연속하여 존재하는 경우, 상기 연속된 배음이 존재하는 프레임을 표시하고, 상기 표시된 프레임을 재생하는 손상음성파일 복원 장치.
  5. 제1항 또는 제3항에 있어서,
    상기 복수의 헤더는,
    서로 다른 복수의 샘플링 레이트와 샘플링 비트 수를 포함하는 손상음성파일 복원 장치.
  6. 손상음성파일 복원 장치에 의해 수행되는 손상된 음성 파일을 복원하는 방법에 있어서,
    상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 단계,
    상기 복원파일을 복수의 부분 파일로 분할하는 단계,
    각각의 상기 부분 파일을 복수의 프레임단위로 분할하는 단계,
    상기 분할된 프레임 단위로 푸리에 변환을 수행하는 단계,
    상기 프레임의 배음 존재 여부를 판단하고, 각각의 상기 부분 파일에 대하여 배음이 존재하는 프레임의 개수를 카운트하는 단계,
    상기 카운트 된 배음이 존재하는 프레임의 개수가 기준 값보다 큰 부분 파일을 선택하는 단계, 그리고
    상기 선택된 부분 파일의 개수가 많은 순서대로 헤더별로 상기 복원 파일을 정렬하는 단계를 포함하는 손상음성파일 복원 방법.
  7. 제6항에 있어서,
    상기 배음이 존재하는 프레임의 개수가 기준 값보다 큰 상기 부분 파일을 표시하는 단계, 그리고
    상기 표시된 부분 파일을 재생하는 단계를 더 포함하는 손상음성파일 복원 방법.
  8. 손상음성파일 복원 장치에 의해 수행되는 손상된 음성 파일을 복원하는 방법에 있어서,
    상기 손상된 음성파일에 서로 다른 복수의 헤더를 각각 삽입하여 복수의 복원파일을 생성하는 단계,
    상기 복원파일을 복수의 프레임단위로 분할하는 단계,
    상기 분할된 프레임 단위로 푸리에 변환을 수행하는 단계,
    상기 프레임의 배음 존재 여부를 판단하고, 상기 배음이 존재하는 프레임의 개수를 카운트하는 단계, 그리고
    상기 배음이 존재하는 프레임의 개수가 많은 순서대로 상기 복원 파일을 정렬하는 단계를 포함하는 손상음성파일 복원 방법.
  9. 제8항에 있어서,
    상기 배음이 존재하는 프레임의 개수가 기준 값 보다 더 많이 연속하여 존재하는 경우, 상기 연속된 배음이 존재하는 프레임을 표시하는 단계, 그리고
    상기 표시된 프레임을 재생하는 단계를 더 포함하는 손상음성파일 복원 방법.
  10. 제6항 또는 제8항에 있어서,
    상기 복수의 헤더는,
    서로 다른 복수의 샘플링 레이트와 샘플링 비트 수를 포함하는 손상음성파일 복원 방법.
KR20140099215A 2014-08-01 2014-08-01 손상음성파일 복원 장치 및 그 방법 KR101465061B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140099215A KR101465061B1 (ko) 2014-08-01 2014-08-01 손상음성파일 복원 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140099215A KR101465061B1 (ko) 2014-08-01 2014-08-01 손상음성파일 복원 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101465061B1 true KR101465061B1 (ko) 2014-11-28

Family

ID=52291860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140099215A KR101465061B1 (ko) 2014-08-01 2014-08-01 손상음성파일 복원 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101465061B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101755238B1 (ko) * 2016-11-29 2017-07-10 대한민국 손상된 멀티미디어 파일의 음성 복원 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048558A (ko) * 2008-10-31 2010-05-11 삼성전자주식회사 음성복원장치 및 그 방법
KR20110005484A (ko) * 2009-07-10 2011-01-18 주식회사 코아로직 파일포맷 생성장치, 그 생성장치를 포함한 멀티미디어 장치, 및 그 생성장치를 이용한 파일 복구방법
JP2012208177A (ja) 2011-03-29 2012-10-25 Nippon Logics Kk 帯域拡張装置及び音声補正装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048558A (ko) * 2008-10-31 2010-05-11 삼성전자주식회사 음성복원장치 및 그 방법
KR20110005484A (ko) * 2009-07-10 2011-01-18 주식회사 코아로직 파일포맷 생성장치, 그 생성장치를 포함한 멀티미디어 장치, 및 그 생성장치를 이용한 파일 복구방법
JP2012208177A (ja) 2011-03-29 2012-10-25 Nippon Logics Kk 帯域拡張装置及び音声補正装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101755238B1 (ko) * 2016-11-29 2017-07-10 대한민국 손상된 멀티미디어 파일의 음성 복원 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US10776422B2 (en) Dual sound source audio data processing method and apparatus
US8467892B2 (en) Content-based audio comparisons
CN102214464B (zh) 音频信号的瞬态检测方法以及基于该方法的时长调整方法
JP2005531024A (ja) 圧縮されたマルチメディアコンテンツからのハッシュを生成する方法
KR20090130833A (ko) 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
JP4660275B2 (ja) 音響信号に対する情報の埋め込み装置および方法
KR101648931B1 (ko) 리듬 게임 제작 방법, 장치 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
JP5365380B2 (ja) 音響信号処理装置、その処理方法およびプログラム
JP4267463B2 (ja) 音声コンテンツを特定する方法、音声信号の記録の一部分を特定する特徴を形成する方法およびシステム、音声ストリームが音声信号の既知の記録の少なくとも一部分を含んでいるか否かを判断する方法、コンピュータ・プログラム、音声信号の記録を特定するシステム
JP4629495B2 (ja) 音響信号に対する情報の埋め込み装置および方法
US7580833B2 (en) Constant pitch variable speed audio decoding
KR101465061B1 (ko) 손상음성파일 복원 장치 및 그 방법
JP4985570B2 (ja) ディジタル音響信号処理方法及び処理装置
Cunningham et al. Subjective evaluation of music compressed with the ACER codec compared to AAC, MP3, and uncompressed PCM
JP4564416B2 (ja) 音声合成装置および音声合成プログラム
JP2006227330A (ja) 音響信号に対する情報の埋め込み装置・方法、音響信号からの情報の抽出装置・方法
EP3575989B1 (en) Method and device for processing multimedia data
JP4713181B2 (ja) 音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、および音響信号再生装置
Martin et al. Exemplar-based Assignment of Large Missing Audio Parts using String Matching on Tonal Features.
JPH10143193A (ja) 音声信号処理装置
JP4713180B2 (ja) 音響信号からの情報の抽出装置
JP2006050045A (ja) 動画像データ編集装置及び動画像データ編集方法
KR101002731B1 (ko) 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법
JP5392057B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
KR20080086762A (ko) 오디오 신호의 인코딩 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant