KR100619291B1 - 재생 속도 가변 방법 및 장치 - Google Patents
재생 속도 가변 방법 및 장치 Download PDFInfo
- Publication number
- KR100619291B1 KR100619291B1 KR1020040023454A KR20040023454A KR100619291B1 KR 100619291 B1 KR100619291 B1 KR 100619291B1 KR 1020040023454 A KR1020040023454 A KR 1020040023454A KR 20040023454 A KR20040023454 A KR 20040023454A KR 100619291 B1 KR100619291 B1 KR 100619291B1
- Authority
- KR
- South Korea
- Prior art keywords
- waveform
- region
- forming region
- waveform forming
- frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000005070 sampling Methods 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 10
- 238000006731 degradation reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- XOJVVFBFDXDTEG-UHFFFAOYSA-N Norphytane Natural products CC(C)CCCC(C)CCCC(C)CCCC(C)C XOJVVFBFDXDTEG-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
- G10L21/043—Time compression or expansion by changing speed
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10546—Audio or video recording specifically adapted for audio data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
- G11B2020/10981—Recording or reproducing data when the data rate or the relative speed between record carrier and transducer is variable
- G11B2020/1099—Recording or reproducing data when the data rate or the relative speed between record carrier and transducer is variable wherein a disc is spun at a variable speed
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B2020/1291—Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting serves a specific purpose
- G11B2020/1294—Increase of the access speed
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
본 발명은 재생 속도 가변 방법 및 장치에 관한 것으로서, 보다 상세하게는 음색의 변화없이 오디오 신호의 재생 속도를 가변하기 위한 방법 및 장치에 관한 것이다. 본 발명에 따른 재생 속도 가변 방법은 (a) 오디오를 재생하기 위한 장치를 식별하고, 장치로부터 오디오데이터를 수신하는 단계; (b) 입력부를 통하여 입력받은 재생 속도에 상응하여 데이터량을 감소시키기 위하여, 오디오데이터에 대하여 소정의 시간 스케일링 알고리즘을 수행하여 오디오데이터를 미리 설정된 크기의 윈도우를 사용하여, 오버랩하면서 프레임을 추출한 후, 프레임을 재생 속도에 상응하여 중복하면서 배치하고, 중복 부분에 상응하는 오버랩 영역을 생성하는 단계; (c) 오버랩 영역 중 파형 형성 영역에 대한 파형을 중앙부 영역 및 좌우 단부 영역으로 구분하여 생성하되, 파형 형성 영역은 원시 파형 형성 영역을 확장하여 생성하는 단계; (d) 오버랩 영역 중 파형 형성 영역의 앞부분은 선행 프레임의 파형을 이용하고, 파형 형성 영역의 뒷부분은 후행 프레임의 파형을 이용하여, 오디오 데이터에 상응하는 변환 데이터를 생성하는 단계; 및 (e) 재생 장치에서 재생 속도에 상응하여 재생하도록, 변환 데이터를 재생 장치로 송신하는 단계를 포함할 수 있다.
프레임, 재생, 속도, 배속, 오디오
Description
도 1은 종래 기술에 따른 재생 속도 가변 방법을 도시한 도면.
도 2a는 본 발명의 바람직한 실시예에 따른 재생 속도 가변 장치의 동작 원리를 설명한 도면.
도 2b는 본 발명의 바람직한 실시예에 따른 재생 속도 가변 장치의 구성을 도시한 도면.
도 3은 본 발명의 바람직한 실시예에 따른 재생 속도 가변 방법의 전체적인 절차를 도시한 순서도.
도 4는 본 발명의 바람직한 실시예에 따른 재생 속도 가변 방법을 도시한 순서도.
도 5는 본 발명의 바람직한 실시예에 따른 파형 형성 방법을 종래 기술과 비교하여 도시한 도면.
도 6a 및 6b는 본 발명의 바람직한 실시예에 따른 오버랩 영역의 구성을 도시한 도면.
도 6c는 본 발명의 바람직한 실시예에 따른 오버랩 영역의 파형 형성 방법을 도시한 도면.
도 7a 내지 도 7c는 본 발명의 바람직한 실시예에 따른 중앙부의 파형 형성 방법을 도시한 도면.
도 8a 내지 8d는 본 발명의 바람직한 실시예에 따른 좌우 단부의 파형 형성 방법을 도시한 도면.
도 9는 본 발명의 바람직한 실시예에 유저 인터페이스 화면을 도시한 도면.
<도면의 주요부분에 대한 설명>
200 : 재생 속도 가변 장치 210 : 통신부
230 : 변환부 231 : 프레임 추출부
233 : 프레임 배치부 235 : 프레임 합성부
237 : 파형 형성부 250 : 녹음/녹화부
253 : 포맷 변경부 255 : 저장부
270 : 유저 인터페이스부
본 발명은 재생 속도 가변 방법 및 장치에 관한 것으로서, 보다 상세하게는 음색의 변화없이 오디오 신호의 재생 속도를 가변하기 위한 방법 및 장치에 관한 것이다.
미국 미네소타대학 데니스 에드워드 박사의 논문 "A comparative study of two presentations of rate controlled audio instruction in relation to certain student characteristics"에 의하면, 속청은 고속의 청각 자극으로 집중적 및 기억력 향상시킴으로써 학습 능력을 증대시킬 수 있음을 알 수 있다. 즉, 속청에 의한 학습 방법은 학습 시간을 감소시킬 수 있는 장점 외에, 속청에 따른 청각 자극으로 두뇌 회전 속도가 빨라지며 학습 능력이 대폭 향상되며, 대뇌 내의 청각ㅇ이해ㅇ기억의 중추ㅇ베르니케 영역이 자극에 대응해 활성화되어 이해력, 기억력, 기초 속독 능력 등을 향상시킬 수 있다.
종래 기술에 의할 때, 상기와 같은 속청 학습 방법을 제공하기 위한 재생 속도 조절 방법이 존재하기는 하나, 재생 속도 조절시의 음질 변화로 인하여 일반인이 1.2 또는 1.5 배 이상으로 재생 속도를 조절할 수 없는 문제점이 있다. 또한, 종래 기술에 따른 음질 변화를 방지하며, 재생 속도를 조절하는 방식은 매우 복잡한 알고리즘을 사용하기 때문에 이를 네트워크 상에서 실시간으로 처리하는데 많은 문제점이 있다.
도 1은 종래 기술에 따른 음질 저하를 방지할 수 있는 재생 속도 조절 방법을 도시한 도면이다.
도 1과 같은 종래 기술에 따르면, 음질 저하를 방직하기 위하여 다양한 재생 속도 조절 알고리즘(예를 들면, WSOLA)을 수행한 후, 다운샘플링과 업샘플링을 통하여 음질 저하를 방지할 수 있다고 기재하고 있다
도 1을 참조하여, 종래 기술에 의하여 정상재생속도에 비해 2배 빠른 고속 재생을 하는 경우를 기준으로 설명하기로 한다.
단계 S110에서 정상재생시의 오디오 데이터가 프레젠테이션 시간간격에 따라 배열되어 있다. 2배의 고속재생이 사용자에 의해 지시되면, 단계 S120에서 재생장치는 시간 압축을 하여 각 오디오데이터의 샘플 프레젠테이션 시간간격을 1/2배로 로 단축시킨다. 여기서, 버퍼에 저장된 오디오데이터는 그대로 재생될 경우 ??t/2의 시간간격으로 재생될 것이므로, 재생음의 음색은 정상재생시의 그것에 비해 1옥타브 높아진 음색이 될 것이다.
따라서 단계 S130에서 상기 오디오 데이터에 대한 신호 처리 알고리즘(예를 들면, WSOLA)을 사용하여 음색 변화를 감소시킨 후 , 단계 S140에서 버퍼에 저장된 데이터에 대하여 시간 신장을 수행한다.
그리고 단계 S150에서 업샘플링 처리를 하여, 재생속도를 2배속 빠르게 함과 동시에 재생음은 정상재생시의 음색이 그대로 유지될 수 있도록 오디오데이터를 가공할 수 있다고 기재하고 있다.
따라서 종래 기술에 의한 WSOLA 처리 후의 오디오데이터는 재생시간이 정상재생에 비해 거의 1/4배로 줄어들어 비디오데이터와의 동기 불일치 문제가 발생함과 동시에 음색 또한 여전히 1옥타브가 높은 변조된 음색을 유지하게 되는 문제를 내포하므로, 이러한 문제를 해결하기 위해 WSOLA 처리 후에 얻어진 오디오데이터에 대하여 업샘플링 처리를 하도록 기재되어 있다.
그러나 시간 압축, WSOLA, 시간 신장 및 업샘플링이라는 매우 복잡한 알고리 즘을 통하여 데이터를 처리하므로, 계산량이 증가하여 실시간 처리에 문제가 있다. 또한, 업샘플링으로 인하여 데이터양이 증가함으로써, 종래 기술에 의하더라도 음질 변질의 문제는 여전히 존재한다. 그러나 실시간으로 재생 속도를 제어함에 있어, 다운 샘플링과 업샘플링 등의 부가 알고리즘으로 실시간 재생에 근본적이 한계가 있다.
또한, 종래 기술에 따른 재생 속도 조절 방법은 재생 소프트웨어와 함께 결합되어 제공되거나, 특정 재생 애플리케이션에 패치되어 사용되므로, 파일의 종류, 사용하는 애플리케이션의 종류에 상관없이 사용할 수 없는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출한 것으로서, 음색의 변화없이 오디오 신호의 재생 속도를 가변하기 위한 방법 및 장치를 제공함에 있다. 본 발명은 업샘플링, 다운 샘플링 등의 방법을 사용하지 아니하고 음질 변화를 최소화할 수 있는 재생 속도 가변 방법 및 장치를 제공할 수 있다.
또한, 본 발명의 다른 목적은 음색의 변화없이 오디오 신호의 재생 속도를 조정하기 위하여, 단위 시간당 재생되는 물리적인 오디오 신호의 크기를 효과적으로 제어하면서, 오디오 신호의 크기 변화에 따른 음색의 변조 및 음질 저하를 방지하기 위한 효과적인 합성 방법을 제공함에 있다.
또한, 본 발명의 또 다른 목적은 단말기 상의 다양한 재생 애플리케이션의 종류에 상관없이 별도의 사용자 인터페이스를 통하여 재생 속도를 변리하게 조절할 수 있는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 또 다른 목적은 사용자가 설정한 재생 속도로 재생함과 동시에 녹화 또는 녹음을 수행하여, 이 후, 일반 재생 애플리케이션을 통하여 상기 재생 속도로 디스플레이할 수 있는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 또 다른 목적은 파일의 종류, 재생 애플리케이션의 종류에 상관없이, 별도의 프로그램을 통하여 상기 재생 속도를 조절할 수 있는 방법 및 장치를 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명에 일 측면에 따르면, 음색의 변화없이 오디오 신호의 재생 속도를 가변하기 위한 방법이 제공될 수 있다.
바람직한 실시예에 의할 때, 재생 속도 가변 방법은 (a) 오디오를 재생하기 위한 장치를 식별하고, 상기 장치로부터 오디오데이터를 수신하는 단계; (b) 입력부를 통하여 입력받은 재생 속도에 상응하여 데이터량을 감소시키기 위하여, 상기 오디오데이터에 대하여 소정의 시간 스케일링 알고리즘을 수행하여 상기 오디오데이터를 미리 설정된 크기의 윈도우를 사용하여, 오버랩하면서 프레임을 추출한 후, 상기 프레임을 상기 재생 속도에 상응하여 중복하면서 배치하고, 상기 중복 부분에 상응하는 오버랩 영역을 생성하는 단계; (c) 상기 오버랩 영역 중 파형 형성 영역에 대한 파형을 중앙부 영역 및 좌우 단부 영역으로 구분하여 생성하되, 상기 파형 형성 영역은 원시 파형 형성 영역을 확장하여 생성하는 단계; (d) 상기 오버랩 영 역 중 상기 파형 형성 영역의 앞부분은 선행 프레임의 파형을 이용하고, 상기 파형 형성 영역의 뒷부분은 후행 프레임의 파형을 이용하여, 상기 오디오 데이터에 상응하는 변환 데이터를 생성하는 단계; 및 (e) 상기 재생 장치에서 상기 재생 속도에 상응하여 재생하도록, 상기 변환 데이터를 상기 재생 장치로 송신하는 단계를 포함할 수 있다.
여기서, 상기 재생 속도 가변 방법은 상기 입력부를 통하여 녹음 명령을 수신한 경우, 상기 변환 데이터를 소정의 포맷으로 저장하는 단계를 더 포함할 수 있다. 그리고 상기 (a)단계의 오디오 데이터는 소켓 방식으로 수신할 수 있다.
또한, 상기 (c)단계의 파형 형성 영역은 상기 오버랩 영역에 포함되는 상기 원시 파형 형성 영역의 경계면을 기준으로 상기 원시 파형 형성 영역의 외부 방향으로 미리 설정된 길이만큼 확장된 영역일 수 있다. 그리고 상기 (c)단계의 파형 형성 영역은 중앙부 영역 및 좌우 단부 영역을 포함하며, 상기 좌우 단부 영역은 상기 원시 파형 형성 영역의 경계면 각각에서, 상기 확장된 영역에 대응하여 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 포함하며, 상기 중앙부 영역은 상기 원시 파형 형성 영역에서 상기 좌우 단부 영역 중 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 제외한 영역을 포함할 수 있다.
그리고 상기 (c)단계의 상기 중앙부 영역의 파형은 상기 오버랩 영역에 대응하여 최대 상호 상관의 기준이 되는 지점에서 상기 선행 프레임 및 후행 프레임의 피치값을 이용하여 평균 피치값을 산출하는 단계; 상기 평균 피치값을 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 후행 프레임의 피치값과 비교하는 단계; 및 비교 결과, 상기 평균 피치값이 상기 선행 프레임 및 후행 프레임의 피치값 사이이면, 위로 볼록 또는 아래로 볼록한 파형을 형성하고, 상기 선행 프레임 및 후행 프레임의 피치값 범위 밖이면, 왼쪽 위에서 오른쪽 아래로 형성된 곡선, 또는 왼쪽 아래에서 오른쪽 위로 형성된 파형을 생성하되, 상기 파형은 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 후행 프레임의 피치값 및 평균 피치값을 경유하도록 형성되는 단계를 포함하여 생성될 수 있다.
또한, 상기 (c)단계의 상기 좌우 단부 영역의 파형은 상기 좌우 단부 영역의 경계선에 위치한 피치값을 이용하여 기준 기울기를 산출하는 단계; 미리 설정된 샘플링 주기를 추출한 후, 상기 샘플링 주기에 따라 샘플링을 수행하는 단계; 및 상기 샘플링된 피치값을 경유하면서, 파형의 기울기가 연속되도록 파형을 형성하되, 상기 원시 파형 형성 영역의 경계선의 피치값의 기울기는 상기 기준 기울기와 동일하도록 생성하는 단계를 포함하여 생성될 수 있다. 여기서, 상기 샘플링 주기는 좌우 단부 영역의 경계선 및 원시 파형 형성 영역의 경계선의 피치값을 샘플링하도록 설정될 수 있다.
상술한 목적을 달성하기 위한 본 발명에 다른 측면에 따르면, 음색의 변화없이 오디오 신호의 재생 속도를 가변하기 위한 장치가 제공될 수 있다.
바람직한 실시예에 의할 때, 재생 속도 가변 장치는 오디오를 재생하기 위한 재생 장치를 식별하고, 상기 재생 장치와 통신을 수행하여, 오디오 데이터를 수신하고, 미리 지정된 방식으로 변환된 출력 데이터를 상기 재생 장치로 송신하기 위한 변환부; 및 상기 재생 장치에서 상기 재생 속도에 상응하여 재생하도록, 상기 오디오 데이터를 미리 설정된 방법으로 변환하여 변환 데이터를 생성하기 위한 변환부를 포함하며, 상기 변환부는 상기 오디오 데이터를 미리 설정된 윈도우로 캐핑하여 추출하기 위한 프레임 추출부; 추출된 프레임을 재생 속도에 따라 중복되도록 배치하기 위한 프레임 배치부; 상기 중복 부분에 상응하는 오버랩 영역을 생성하고, 상기 오버랩 영역 중 파형 형성 영역에 대한 파형을 중앙부 영역 및 좌우 단부 영역으로 구분하여 생성하되, 상기 파형 형성 영역은 원시 파형 형성 영역을 확장하여 생성하기 위한 파형 형성부; 및 상기 오버랩 영역 중 상기 파형 형성 영역의 앞부분은 선행 프레임의 파형을 이용하고, 상기 파형 형성 영역의 뒷부분은 후행 프레임의 파형을 이용하여, 상기 오디오 데이터에 상응하는 변환 데이터를 생성하기 위한 프레임 합성부를 포함할 수 있다.
여기서, 상기 재생 속도 가변 장치는 상기 속도로 상기 오디도 데이터를 재생하기 위하여, 상기 변환 데이터를 저장하기 위한 녹음/녹화부를 더 포함하며, 상기 녹음/녹화부는 상기 오디오 데이터를 사용자에 의하여 지정된 형식으로 변환 데이터의 포맷을 변경하기 위한 포맷 변경부; 및 상기 포맷으로 변환 데이터를 저장하기 위한 저장부를 포함할 수 있다. 여기서, 상기 파형 형성부는 상기 오버랩 영역에 포함되는 상기 원시 파형 형성 영역의 경계면을 기준으로 상기 원시 파형 형성 영역의 외부 방향으로 미리 설정된 길이만큼 확장된 영역의 파형 형성 영역을 생성할 수 있다. 또한, 상기 파형 형성부는 중앙부 영역 및 좌우 단부 영역을 포함하는 파형 형성 영역을 생성하되, 상기 좌우 단부 영역은 상기 원시 파형 형성 영역의 경계면 각각에서, 상기 확장된 영역에 대응하여 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 포함하며, 상기 중앙부 영역은 상기 원시 파형 형성 영역에서 상기 좌우 단부 영역 중 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 제외한 영역을 포함할 수 있다.
그리고 상기 파형 형성부는 상기 오버랩 영역에 대응하여 최대 상호 상관의 기준이 되는 지점에서 상기 선행 프레임 및 후행 프레임의 피치값을 이용하여 평균 피치값을 산출하고, 상기 평균 피치값을 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 후행 프레임의 피치값과 비교한 후, 비교 결과, 상기 평균 피치값이 상기 선행 프레임 및 후행 프레임의 피치값 사이이면, 위로 볼록 또는 아래로 볼록한 파형을 형성하고, 상기 선행 프레임 및 후행 프레임의 피치값 범위 밖이면, 왼쪽 위에서 오른쪽 아래로 형성된 곡선, 또는 왼쪽 아래에서 오른쪽 위로 형성된 파형을 생성하되, 상기 파형은 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 후행 프레임의 피치값 및 평균 피치값을 경유하도록 상기 중앙부 영역의 파형을 형성할 수 있다.
또한, 상기 파형 형성부는 상기 좌우 단부 영역의 경계선에 위치한 피치값을 이용하여 기준 기울기를 산출하고, 미리 설정된 샘플링 주기를 추출한 후, 상기 샘플링 주기에 따라 샘플링을 수행한 후, 상기 샘플링된 피치값을 경유하면서, 파형의 기울기가 연속되도록 파형을 형성하되, 상기 원시 파형 형성 영역의 경계선의 피치값의 기울기는 상기 기준 기울기와 동일하도록 상기 좌우 단부의 파형을 형성할 수 있다. 여기서, 상기 샘플링 주기는 좌우 단부 영역의 경계선 및 원시 파형 형성 영역의 경계선의 피치값을 샘플링하도록 설정될 수 있다.
이하, 본 발명에 따른 재생 속도 가변 방법 및 장치의 구성을 첨부 도면을 참조하여 상세하게 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
재생 속도 가변 장치의 구성
본 발명에 따른 재생 속도 가변 장치는 업샘플링 및 다운 샘플링의 복잡한 재생 알고리즘을 사용하지 아니하고, 최종 출력되는 데이터를 처리하여 음색 변화없이 실시간 처리를 수행할 수 있다. 이하, 첨부 도면을 참조하여 도 2a에서는 재생 속도 가변 장치의 동작 원리를 설명하고, 도 2b에서는 재생 속도 가변 장치의 구성을 설명하기로 한다.
도 2a는 본 발명의 바람직한 실시예에 따른 재생 속도 가변 장치의 동작 원리를 도시한 도면이다.
본 발명에 따른 재생 속도 가변 장치는 소정의 재생 애플리케이션에 패치되어 동작하는 것이 아니라, 상기 재생 애플리케이션과 통신 방식으로 제생 속도만을 제어하도록 구성된다. 또한, 본 발명은 미디어 파일 데이터의 프레젠테이션 타임을 수정하지 아니하고, 데이터만을 조작하여 사용자가 지정한 재생 속도에 따라 재생할 수 있다.
설명의 편의를 위하여 재생 장치(100)의 구성을 간략화하여 설명하면, 미디어 파일을 상기 파일 포맷에 상응하여 판독하기 위한 판독부(110), 판독한 데이터를 디스플레이 장치, 또는 스피커 등의 출력 장치(130)로 출력하기 위한 출력부(120)를 포함할 수 있다. 본 발명의 실시예에 의할 때, 수신하는 미디어 데이터는 파일 및 재생 장치의 종류에 상관없이 출력되는 형태(예를 들면, PCM 방식)를 기준으로 수신하여 데이터를 변환하도록 구성함으로써, 파일 및 데이터의 종류에 관계없이 재생 속도를 제어할 수 있도록 구성된다.
그리고 본 발명에 따른 재생 속도 가변 장치(200)는 다른 재생 장치(100)와 미리 설정된 통신 방식을 통하여 통신을 수행하며, 상기 재생 장치(100)에서 판독한 미디어 데이터(오디오 또는 비디오 데이터를 포함할 수 있음)를 수신하고, 상시 수신한 데이터를 미리 설정된 방식으로 변환한 후, 변환한 변환 데이터를 상기 재생 장치(100)로 송신하도록 구성된다.
이와 같은 동작 원리를 통하여 상기 재생 장치(100)에서 재생 가능한 데이터이면, 데이터의 종류에 관계없이 재생 속도를 조절할 수 있다. 본 발명은 API(Application Programmer Interface) 기반 위에서 상기 재생 장치(100)는 그래픽카드/사운드카드/입출력장치 등의 주요 주변 기기를 제어할 수 있으므로, 이렇게 변환된 데이터는 프레젠테이션 타임에 따라 상기 재생 장치(100)의 출력부(120)를 통하여 출력장치(130)로 출력하도록 구성된다.
여기서, 본 발명에 따른 재생 속도 가변 장치(200)는 기존의 제어 방식 또는 향후 개발된 통신 등을 통하여 상기 출력부로 출력되는 데이터를 재생 속도에 따라 가변한 후, 다시 기존의 재생 장치로 돌려주는 기능을 수행하도록 구성된다.
본 발명의 실시예에 의할 때, 재생 속도 가변 장치(200)가 재상 장치(100)와 수행하는 통신 방식은 소켓 통신을 사용할 수 있다. 소켓 방식이란 매체 간 데이터를 송수신하는 경우, 데이터를 미리 설정된 소정의 크기로 나누어 송수신하며, 송수신마다 상대방 단말기의 상태를 확인하여 송수하는 방식을 지칭한다. 본 발명에 따라 출력되는 데이터는 시간 순서에 따라 재생되어야 하므로, 패킷의 도착 시간이 상이하더라도, 소정의 패킷이 이상없이 수신되면, 다시 번호에 따라 정렬을 수행한 후, 데이터를 변환하거나, 출력하도록 구성된다.
도 2b는 본 발명의 바람직한 실시예에 따른 재생 속도 가변 장치의 구성이 도시되어 있다.
도 2b를 참조하면, 본 발명에 따른 재생 속도 가변 장치(200)는 통신부(210), 변환부(220), 녹음/녹화부(230)를 포함하여 구성된다.
통신부(210)는 재생 장치와 통신을 수행하며, 미디어 데이터를 수신하고, 미리 지정된 방식으로 변환된 출력 데이터를 상기 재생 장치로 송신하는 기능을 수행한다.
변환부(230)는 상기 출력 데이터를 미리 설정된 방식으로 변환한 후, 데이터 양을 감소시킴과 동시에 데이터 크기를 변환하도록 구성된다.
본 발명에 따른 변환부(230)는 프레임 추출부(231), 프레임 배치부(233), 프레임 합성부(235) 및 파형 형성부(237)를 포함할 수 있다. 프레임 추출부(231)에서 상기 오디오 데이터를 미리 설정된 윈도우로 캐핑하여 추출하며, 프레임 배치부(233)는 추출된 프레임을 재생 속도에 따라 중복되도록 배치한다. 프레임 합성부(235)는 상기 중복된 영역(이하, 오버랩 영역이라 칭함)을 제외한 나머지 영역과 파형 형성부(237)에서 생성한 파형과 합성한다. 파형 형성부(237)에서 상기 오버랩 영역에 해당하는 파형을 생성하는 기능을 수행한다.
녹음/녹화부(250)는 변환 데이터를 저장하는 기능을 수행하며, 데이터를 사용자에 의하여 지정된 형식으로 변환 데이터의 포맷을 변경하기 위한 포맷 변경부(253) 및 상기 포맷으로 변환 데이터를 저장하기 위한 저장부(255)를 포함할 수 있다. 따라서 이후 상기 저장된 데이터를 재생하는 경우, 본 발명에 따른 재생 속도 변환 장치가 구비되지 아니한 환경에서도, 저장된 형식으로 변환 데이터를 기존 재생 장치로 재생하는 경우, 상기 속도로 재생할 수 있도록 구성될 수 있다.
전체 동작 절차 및 데이터 흐름
상술한 바와 같이 본 발명은 업샘플링 또는 다운샘플링 절차없이 데이터를 재생할 수 있을 뿐 아니라, 상기 재생 속도와 연동하여 영상 데이터의 재생 속도를 동기화할 수 있다. 종래 기술에 의할 때, 오디오신호의 재생속도를 사용자가 원하는 대로 조절할 수 있도록 해주는 오디오신호 처리기술이 여러 가지 제안되었다. 특히 원래의 음성신호가 갖는 특성과 유사한 특성을 유지하면서 데이터양을 시간 스케일상으로 늘이거나 줄이는 방식으로 재생속도를 가변 시킬 수 있는 여러 가지 오디오신호 처리기술들이 알려져 있는데, 그 중에서 대표적인 것으로서 1985년 Roucus와 Wilgus에 의해 오버랩가산법(overlap-addition: OLA)이 있다.
상기 OLA 알고리즘이 소개된 이후, 동기식 오버랩가산법(Synchronized OLA: SOLA), 파형유사성에 의거한 OLA법 즉, WSOLA(Waveform Similarity based Overlap-Add)법 등으로 발전해오고 있으며, 그 외에도 전체 및 국부 검색 시간스케일수정(Global and Local Search Time Scale Modification: GLS-TSM) 기술, 시간도메인 피치동기 오버랩가산법(Time-Domain Pitch-synchronized OLA: TD-PSOLA), 포인터 간격 제어 오버랩가산법(Pointer Interval Control OLA: PICOLA) 등과 같이 OLA 알고리즘이 존재한다.
본 발명은 상술한 알고리즘뿐만 아니라, 향후 개발될 알고리즘에 적용 가능함은 당연하며, 이하 설명의 편의를 위하여 WSOLA 알고리즘을 기준으로 설명하기로 한다. 이하, 도 3에서는 재생 속도 가변 장치의 동작 절차를 설명하고, 도 4에서는 재생 속도 가변 방법을 설명하고, 도 5에서는 파형 형성 방법을 종래 기술과 비교하여 설명하기로 한다.
도 3은 본 발명의 바람직한 실시예에 따른 전체 동작 순서를 나타낸 도면이다.
여기서, 비디오 데이터는 음색 변질 등의 문제가 없으므로, 프레젠테이션 타 임의 조정으로 재생 속도를 증가시키는 데 문제가 없으므로, 설명의 편의를 위하여 오디오 데이터를 중심으로 설명하기로 한다.
이하, 본 발명의 바람직한 실시예에 따른 동작 순서를 도 3을 참조하여 설명하면,
단계 S310에서, 현재 동작 중인 재생 장치를 식별하고, 상기 재생 장치에 대응하는 미디어 데이터를 상기 재생 장치로 요청한 후, 재생 장치로부터 미디어 데이터를 수신한다.
그리고 단계 S320에서, 사용자이 의하여 입력된 가변 속도에 상응하여 상기 출력 데이터에 대한 시간 스케일링을 수행한다. 본 발명의 실시예에 의할 때, 다양한 스케일링 방법이 존재하나, 바람직한 실시예에 의할 때, WSOLA 알고리즘을 이용하여 수행할 수 있다.
단계 S330에서, WSOLA 알고리즘을 이용하여 시간 스케일링을 수행한 후, 오버랩 영역에 대하여 미리 설정된 방법으로 파형을 형성한다. 즉, 본 발명은 WSOLA 알고리즘을 이용하여 시간 스케일링을 수행하되, 최종 파형의 오버랩 영역에 대하여는 본 발명에 따른 미리 설정된 알고리즘을 이용하여 수행하여 변환 데이터를 생성한다. 본 발명에 따른 오버랩 영역 파형 형성 알고리즘은 도 6a 내지 도 6b에서 후술하기로 한다.
종래 기술에 따르면, WSOLA 알고리즘을 그대로 사용한 후, 음질 향상을 위하여 다운샘플링 처리 또는 업샘플링을 수행하는 번잡한 절차를 거쳤으나, 본 발명은 이러한 과정없이 음질 저하를 최소화할 수 있는 파형 형성 방법을 통하여 효과적인 재생 속도 가변 방법을 제공할 수 있다.
단계 S340에서, 상기 미디어 데이터에 비디오 데이터가 포함된 경우, 단계 S340에서비디오 데이터와 동기를 맞추는 과정을 더 포함할 수 있다. WSOLA 알고리즘 알고리즘의 경우, 합성 부분에 대한 시간에 차이가 있으므로, 상기 시간 정보에 따라 동기를 맞추는 과정을 더 포함하도록 구성할 수 있다.
그리고 단계 S360에서 녹음 명령이 입력되었는지 여부를 판단하고, 녹음 명령이 입력된 경우 단계 S360에서, 상기 변환 데이터를 지정한 포맷으로 녹음을 수행하는 과정이 더 포함되도록 구성될 수 있다.
단계 S380에서, 재생 속도 가변 장치는 미디어 데이터데 대한 변환 데이터를 재생 장치로 송신한다.
상술한 바와 같이 본 발명은 번잡한 부가 알고리즘을 거치지 아니하고, 오버랩 영역에 대하여 본 발명에 따라 미리 설정된 파형 형성을 통하여 효과적으로 음색 변화를 방지할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 재생 속도 가변 방법을 도시한 순서도.
이하, WSOLA(Waveform Similarity based Overlap-Add) 기술을 활용하는 경우를 기준으로 본 발명에 따른 재생 속도 가변 방법을 설명하기로 한다. 먼저, 단계 S410에서 오디오 데이터를 일정한 크기의 윈도우(Window)를 사용하여 일정한 간격으로 오버랩 시키면서 윈도우를 캐핑하고, 단계 S420에서 해당하는 프레임을 추출 한다.
단계 S430에서 속도 변화에 상응하여 프레임을 미리 설정된 알고리즘에 따라 재배치하여 가산함으로써 원래의 신호를 시간 스케일상으로 늘어나거나 줄어든 데이터로 변환시킬 수 있다. 여기서, 단순히 시간스케일 간격만 변화시킨 후 서로 다른 블록간의 신호를 더하면 음질의 저하를 초래하므로, 음질이 원신호의 음질과 유사성을 보장하기 위하여 복수개의 프레임을 재배열할 때, 미리 설정된 소정의 범위(이하, 기준 범위라 칭함) 내에서 소정의 이동 간격으로 두 신호의 유사성을 판단할 수 있는 상관성(Cross Correlation)을 산출하고, 파형 유사성이 가장 큰 값에 해당하는 위치로 프레임을 합성하도록 구성된다.
WSOLA 알고리즘은 플레임 신호를 합성하면, 재생속도가 가변과 더불어 발생하는 음질 저하를 감소시킬 수 있으나, 여전히 음질 저하의 문제는 존재한다. 여기서, 본 발명은 이러한 WSOLA 알고리즘에서도 발생할 수 있는 음질저하를 방지하기 위하여, 상기 오버랩 영역에 해당하는 파형을 원음과 유사한 파형으로 생성하여 제공할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 파형 형성 방법을 종래 기술과 비교하여 도시한 도면이다.
먼저, 종래 기술에 따른 오디오 데이터 변형 과정을 설명함에 있어, 정상재생속도에 비해 2배 빠른 고속 재생을 하는 경우, 데이터 처리 단계별 오디오 데이터의 프레젠테이션 시간 간격의 변환 상태를 기준으로 설명하기로 한다. 여기서, X 축은 시간 축을 나타내고, Y 축은 데이터를 나타낸다.
단계 S510에서 정상재생시의 오디오데이터(S)가 프레젠테이션 시간간격에 따라 배열되어 있다. 2배의 고속재생이 사용자에 의해 지시되면, 단계 S520에서 재생장치는 시간 압축을 하여 각 오디오데이터(S)의 샘플 프레젠테이션 시간간격을 1/2배로 로 단축시킨다. 여기서, 버퍼에 저장된 오디오데이터는 그대로 재생될 경우 ??t/2의 시간간격으로 재생될 것이므로, 재생음의 음색은 정상재생시의 그것에 비해 1옥타브 높아진 음색이 될 것이다.
따라서 단계 S530에서 상기 오디오 데이터에 대한 WSOLA 알고리즘을 사용하여 음색 변화를 감소시킨 오디오 데이터(S1)를 생성한 후 , 단계 S540에서 버퍼에 저장된 데이터에 대하여 시간 신장을 수행한다. 그리고 단계 S550에서 업샘플링 처리를 하여, 재생속도를 2배속 빠르게 함과 동시에 재생음은 정상재생시의 음색이 그대로 유지될 수 있도록 오디오데이터(S2)를 가공하도록 구성된다.
이하, 본 발명에 따른 처리 과정을 설명하면, 단계 S560에서 정상재생시의 오디오데이터(S)가 프레젠테이션 시간간격에 따라 배열되어 있는 상태에서, 종래 기술의 같은 복잡한 알고리즘을 사용하지 아니하고, 단계 S570에서 WSOLA를 수행함과 동시에 오버랩 영역에 해당하는 파형을 생성하여 합성함으로써, 음질 저하가 최소화된 재생을 생성하도록 구성된다.
종래기술에 따른 다운샘플링 또는 업샘플링 처리는 사용자에 의해 지시된 재생 속도에 따라 데이터의 증감율을 정하고, 정해진 증감율에 따라 오디오데이터의 개수를 증감시키며, 각 오디오데이터의 크기는 WSOLA 알고리즘을 이용한 시간스케 일수정처리를 통해 얻어진 오디오데이터를 이용하도록 구성된다. 그러나 시간 압축, WSOLA, 시간 신장 및 업샘플링이라는 매우 복잡한 알고리즘을 통하여 데이터를 처리하므로, 계산량이 증가하여 실시간 처리에 문제가 있다.
오버랩 영역의 파형 생성 방법
본 발명에 따른 파형 생성 방법은 다양한 신호 처리 알고리즘에 존재하며, 실시간 처리를 위하여 데이터 연산량을 최적으로 유지하면서, 음질 저하를 최소화할 수 있는 효율적인 파형 생성 방법을 제공할 수 있다. 종래 기술에 의할 때, 오버랩 영역은 미리 설정된 가산 방식을 이용하여 중첩하여 가산하거나, 가중치를 이용하여 가산하는 방식을 사용하는 반면, 본 발명은 주위 피치값을 이용하여 파형을 형성하도록 구성된다. 따라서 오버랩 영역에 해당하는 프레임의 오디오 데이터에 대하여 일일이 연산을 수행하는 복잡한 계산 절차를 거치지 아니하고, 주위 피치값을 판독하여 오버랩 영역에 대한 파형을 형성할 수 있다. 이하, 도 6a 내지 6c에서는 파형 생성 방법을 설명하고,
도 6a는 본 발명의 바람직한 실시예에 따른 오버랩 영역의 구성을 도시한 도면이다.
먼저, 도 6a를 참조하면, 본 발명에 따른 오버랩 영역(600) 중 미리 설정된 영역(605)에 상응하는 파형 형성 영역(610)이 설정되도록 구성된다. 본 발명에 따른 오버랩 영역(600)에 대응하는 파형 형성 영역(610)은 오버랩 영역에 상응하여 오버랩 영역과 동일하도록 구성될 수도 있고, 오버랩 영역을 포함하여 형성될 수 있다.
즉, 본 발명은 오버랩 영역(600) 전체에 대하여 파형을 형성하는 것이 아니라, 상기 오버랩 영역 (600) 중 미리 설정된 영역(이하, 원시 파형 형성 영역이라 칭함)(605)에 상응하여 파형이 형성되도록 파형 형성 영역(610)이 구성될 수 있다.
본 발명에 따른 파형 형성 영역(610)은 좌우 단부(630) 및 중앙부(620)로 구분할 수 있다. 본 발명에 따른 중앙부(620)는 곡선의 전체적인 모양을 결정하고, 좌우 단부(630)는 상기 중앙부(620)에서 생성한 곡선을 이용하여 오버랩 영역(600)의 경계선에 파형을 형성하도록 구성될 수 있다. 이러한 파형 정보를 이용하여 파형 형성 영역(610)의 파형을 형성하도록 구성된다.
도 6a를 참조하면, 본 발명의 실시예에 따른 파형 형성 영역(610)이 도시되어 있다. 본 발명의 실시예에 따른 파형 형성 영역(610)은 오버랩 영역에 포함되며, 좌우 단부(630) 및 중앙부(620)로 구분할 수 있다. 본 발명에 따른 좌우 단부(630)는 상기 오버랩 영역의 경계선을 포함하며 위치하며, 중앙부(600)와 접하여 위치하며, 중앙부(600)의 좌우에 위치하도록 구성된다. 도면에는 도시되지 아니하였으나, 본 발명의 다른 실시예에 따른 파형 형성 영역은 오버랩 영역과 동일하도록 구성될 수 있다.
도 6b는 본 발명의 바람직한 실시예에 따른 파형 형성 영역을 설명한 도면이다.
단계 S610에서 윈도우 캐핑을 통하여 A 프레임 및 B 프레임을 형성하면, 단계 S615에서 미리 설정된 지점에서 상호상관(cross correlation coefficient)을 수행하여 최대 상관값이 추출되는 지점(650)을 산출하고, 상기 지점을 기준으로 오버랩 영역(600)을 결정한다. 본 발명의 실시예에 의할 때, 상기 오버랩 영역을 5msec로 결정할 수 있다.
단계 S620에서 상기 최대 상관값이 추출되는 지점을 기준으로 상기 오버랩 영역과 동일 또는 포함되도록 원시 파형 형성 영역(605)을 형성한다. 여기서, 상기 최대 상관값이 추출되는 지점(650)에서 A파형의 값 a1 및 B파형의 값 b1를 추출하고, 상기 a1 및 b1을 이용하여 c값을 추출한다. 여기서, 발명의 실시예에 의할 때, 상기 c는 a1 및 b1의 평균으로 산출할 수 있다.
단계 S625에서 원시 파형 형성 영역의 경계에 위하치는 A 프레임의 값 a2 및 B 프레임의 값 b2을 추출한다. 이하, a2, c, b2을 지나는 파형을 형성하되, 상기 파형의 모양은 후술하기로 한다.
이와 같이 파형을 형성한 후, 단계 S625에서, 상기 원시 파형 형성 영역(605)의 경계면을 축으로 미리 설정된 영역(예를 들면 좌우 0.5 msec)의 파형에 대하여 파형 완만화 작업을 수행한다. 여기서, 상기 원시 파형 형성 영역(605)이 좌우로 확장된 영역을 파형 형성 영역(610)이라 칭하기로 한다.
도 6c는 본 발명의 바람직한 실시예에 따른 오버랩 영역의 파형 형성 절차를 도시한 순서도이다.
이하, 도 6c를 참조하여 본 발명의 바람직한 실시예에 의할 때, 프레임이 중복되는 오버랩 영역에 해당되는 파형은 다음과 같은 절차에 따라 생성될 수 있다.
단계 S650에서 중앙부(620)에 상응하는 파형을 결정한다. 바람직한 실시예에 의할 때, 오버랩되는 영역에 대응하는 원 프레임에 대한 피치값과 상기 피치값을 이용한 평균 피치값을 비교하여, 파형의 모양을 결정할 수 있다.
그리고 단계 S655에서 상기 생성한 파형이 지나는 점을 결정한다. 바람직한 실시예에 의할 때, 원시 파형 형성 영역(605)의 좌우 경계의 피치값 및 최대 상호 상관값이 최대가 나오는 지점(650)의 평균 피치값을 통과하도록 설정할 수 있다.
단계 S660에서 좌우 단부(630)의 파형을 결정한다. 바람직한 실시예에 의할 때, 상기 원시 파형 형성 영역(605)의 경계면을 축으로 미리 설정된 영역(예를 들면 좌우 0.5 msec)을 좌우 단부(630)라 칭하며, 상기 좌우 단부(630)의 파형에 대하여 기울기가 연속되도록 파형 완만화 작업을 수행한다. 상기 파형 완만화 작업은 음색 변화를 줄이기 위하여 수행될 수 있다.
단계 S665에서 중앙부(620) 파형과 좌우 단부(630)의 파형을 이용하여 형성된 파형 형성 영역(610)의 파형을 생성할 수 있다.
중앙부의 파형 형성 방법
도 7a 내지 도 7e는 본 발명의 바람직한 실시예에 따른 중앙부의 파형 형성 방법을 도시한 도면이다. 도 7a는 중앙부의 .파형 형성 모양을 설명한 순서도이고, 도 7b 내지 도 7e는 파형 모양의 구체적인 예를 도시한 도면이다.
먼저, 도 7a를 참조하면, 본 바람직한 실시예에 따른 파형 생성 방법을 설명하면, 단계 S710에서, 오버랩되는 영역에 대응하여 최대 상호 상관의 기준이 되는 지점에서 원 프레임에 대응하는 평균 피치값을 구하고, 단계 S720에서, 상기 평균 피치값을 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 원 프레임의 피치값과 비교한다.
비교결과, 평균 피치값이 원 프레임의 피치값 범위 밖이면, 단계 S730에서, 위로 볼록 또는 아래로 볼록한 파형을 형성하도록 구성된다. 즉, 평균 피치값이 원 프레임의 피치값보다 작으면, 도 7b의 파형과 같이 a, b, c를 지나며, 아래로 처지다 올라오는(아래로 볼록한) 곡선으로 파형을 형성한다. 에 이러한 경우의 파형이 도시되어 있다. 그리고 비교결과 평균 피치값이 원 프레임의 피치값보다 크면, 도 7c와 같이, a, b, c를 지나며, 위로 올라갔다 아래로 처지는(위로 볼록한) 곡선으로 파형을 생성할 수 있다.
그리고 비교결과, 평균 피치값이 원 프레임의 피치값 범위 밖이면, 단계 S740에서, 왼쪽 위에서 오른쪽 아래로 형성된 곡선, 또는 왼쪽 아래에서 오른쪽 위로 형성된 파형을 생성하도록 구성된다.
예를 들어, 선행 프레임의 원시 파형 형성 영역의 경계에 위치하는 피치값(a)가 후행 프레임의 원시 파형 형성 영역의 경계에 위치하는 피치값(b)보다 크면, 도 7d의 파형과 같이 a, b, c를 지나며, 왼쪽 위에서 오른쪽 아래로 형성된 곡선을 생성한다. 그리고 행 프레임의 원시 파형 형성 영역의 경계에 위치하는 피치값(a)가 후행 프레임의 원시 파형 형성 영역의 경계에 위치하는 피치값(b)보다 작으면, 도 7e의 파형과 같이 a, b, c를 지나며, 왼쪽 아래에서 오른쪽 밑으로 형성된 곡선을 생성한다.
바람직한 실시예에 의할 때, 범위 밖에 존재하는 경우, a, b 및 c를 지나는 2차 함수로 구성할 수 있고, 범위 내에 존재하는 경우, a, b 및 c를 지나는 3차 함수로 이루어질 수 있다. 상기 2차 함수 및 3차 함수보다 고차의 함수를 이용할 수 있음은 당연하다.
좌우 단부의 파형 형성 방법
이하, 도 8a 내지 도 8d에서는 좌우 단부의 파형 모양 결정 방법을 설명하기로 한다. 도 8a에서는 좌우 단부의 파형을 형성하는 방법을 도시한 순서도를 설명하고, 도 8b에서는 상기 좌우 단부에 해당하는 영역을 설명하기로 한다. 도 8c에서는 본 발명의 바람직한 실시예에 따른 범위외 좌우 단부 파형을 설명하고, 도 8d에서는 본 발명의 바람직한 실시예에 따른 범위내 좌우 단부 파형을 설명하기로 한다.
도 8a는 좌우 단부의 파형을 형성하는 방법을 도시한 순서도를 설명하고, 도 8b는 상기 좌우 단부에 해당하는 영역을 설명한 도면이다.
단계 S810에서 좌우 단부 영역의 경계선에 위치한 피치값을 이용하여 기준 기울기를 산출한다. 도 8b를 참조하면, 미리 설정된 지점에서 상호상관(cross correlation coefficient)을 수행하여 최대 상관값이 추출되는 지점을 산출하고, 상기 지점을 기준으로 오버랩 영역(630)을 결정한다. 그리고 상기 오버랩 영역(600) 중 원시 파형 형성 영역(605)의 파형을 결정한 후, 상기 원시 파형 형성 영역의 경계선을 포함하는 좌우 단부 영역(630)에 대한 기울기 완만화 작업을 수행하도록 구성된다.
본 발명의 실시예에 의할 때, 원시 파형 형성 영역의 경계선 경계선을 기준으로 미리 설정된 범위(예를 들면 좌우 0.5msec 영역, 좌우 단부 영역)에 파형을 완만한 곡선으로 변형한다.
본 발명에 따른 기울기 완만화 방법은 단계 S820에서 미리 설정된 샘플링 주기를 추출한 후, 단계 S830에서 상기 샘플링 주기에 따라 샘플링을 수행한다. 여기서, 상기 샘플링 주기는 좌우 단부 영역의 경계선 및 원시 파형 형성 영역의 경계선의 값을 포함하여 샘플링하도록 설정될 수 있다.
그리고 단계 S840에서 상기 샘플을 지나면 완만한 기울기를 가지는 곡선을 형성하도록 구성된다. 여기서, 상기 샘플을 지나는 곡선은 기존의 알고리즘 또는 향우 개발될 알고리즘을 사용하여 생성할 수 있으며, 여기서, 상기 곡선의 기울기 중 원시 파형 형성 영역의 경계선의 기울기는 좌우 단부 영역의 경계선이 있는 피치값을 이용하여 기울기와 동일하도록 곡선을 생성하는 것이 바람직하다.
도 8c는 본 발명의 바람직한 실시예에 따른 범위외 좌우 단부 파형을 설명한 도면이다.
단계 S810-1에서 좌우 단부 영역의 경계선이 있는 피치값(m, n)을 이용하여 기울기를 산출한다. 단계 S820-1에서 미리 설정된 샘플링 주기를 추출한 후, 단계 S830-1에서 상기 샘플링 주기에 따라 샘플링을 수행한다. 여기서, 상기 샘플링 주기는 좌우 단부 영역의 경계선의 값(m, n) 및 원시 파형 형성 영역의 경계선(a)의 값을 포함하여 샘플링하도록 설정될 수 있다.
그리고 단계 S840-1에서 상기 샘플을 지나면 완만한 기울기를 가지는 곡선을 형성하도록 구성된다. 여기서, 상기 샘플을 지나는 곡선은 기존의 알고리즘 또는 향우 개발될 알고리즘을 사용하여 생성할 수 있으며, 여기서, 상기 곡선의 기울기 중 원시 파형 형성 영역의 경계선(a)의 피치값의 기울기는 좌우 단부 영역의 경계선이 있는 피치값을 이용하여 기울기와 동일하도록 곡선을 생성하는 것이 바람직하다.
도 8d는 본 발명의 바람직한 실시예에 따른 범위내 좌우 단부 파형을 설명한 도면이다.
단계 S810-2에서 좌우 단부 영역의 경계선이 있는 피치값(m, n)을 이용하여 기울기를 산출한다. 단계 S820-2에서 미리 설정된 샘플링 주기를 추출한 후, 단계 S830-2에서 상기 샘플링 주기에 따라 샘플링을 수행한다. 여기서, 상기 샘플링 주기는 좌우 단부 영역의 경계선의 값(m, n) 및 원시 파형 형성 영역의 경계선(a)의 값을 샘플링하도록 설정될 수 있다.
그리고 단계 S840-2에서 상기 샘플을 지나면 완만한 기울기를 가지는 곡선을 형성하도록 구성된다. 여기서, 상기 샘플을 지나는 곡선은 기존의 알고리즘 또는 향우 개발될 알고리즘을 사용하여 생성할 수 있으며, 여기서, 상기 곡선의 기울기 중 원시 파형 형성 영역의 경계선(a)의 기울기는 좌우 단부 영역의 경계선이 있는 피치값을 이용하여 기울기와 동일하도록 곡선을 생성하는 것이 바람직하다.
유저 인터페이스 화면
본 발명은 종래 기술에 따른 다양한 재생 장치(리얼 오디오, 윈도우 플레이어 등등)에서 재생을 수행하며, 상기 재생 장치와 결합하여 데이터를 사용자가 지정한 재생 속도로 변환하도록 구성될 수 있다. 하기의 도 9를 참조하여 본 발명에 따른 재생 속도 가변 방법에 따른 유저 인터페이스화면을 설명하기로 한다.
도 9를 참조하면, 화면 좌측에 종래 또는 향후 개발된 재생 장치(100)의 유저 인터페이스(910)가 표시되고 있으며, 우측에는 본 발명에 따른 재생 속도 가변 장치(200)의 유저 인터페이스 화면(920)이 표시되고 있다.
상기 유저 인터페이스 화면(920)의 조작부를 조작하여, 재생 속도 등을 설정하고, 재생 장치(100)의 유저 인터페이스(910)를 조작하여 미디어 파일을 실행하며, 상기 설정된 재생 속도에 따라 재생될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 재생 속도 가변 방법 및 장치는 음색의 변화없이 오디오 신호의 재생 속도를 가변할 수 있을 뿐 아니다, 업샘플링, 다운 샘플링 등의 방법을 사용하지 아니하고, 음질 변화를 최소화할 수 있는 재생 속도 가변 방법 및 장치를 제공할 수 있는 효과가 있다.
또한, 본 발명은 음색의 변화없이 오디오 신호의 재생 속도를 조정하기 위하여, 단위 시간당 재생되는 물리적인 오디오 신호의 크기를 효과적으로 제어하면서, 오디오 신호의 크기 변화에 따른 음색의 변조 및 음질 저하를 방지하기 위한 효과도 있다.
또한, 본 발명은 단말기 상의 다양한 재생 애플리케이션의 종류에 상관없이 별도의 사용자 인터페이스를 통하여 재생 속도를 변리하게 조절할 수 있는 효과도 있다.
또한, 본 발명은 사용자가 설정한 재생 속도로 재생함과 동시에 녹화 또는 녹음을 수행하여, 이 후, 일반 재생 애플리케이션을 통하여 상기 재생 속도로 디스플레이할 수 있는 효과도 있다.
또한, 본 발명은 파일의 종류, 재생 애플리케이션의 종류에 상관없이, 별도의 프로그램을 통하여 상기 재생 속도를 조절할 수 있는 효과도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (15)
- 재생 속도 가변 방법에 있어서,(a) 오디오를 재생하기 위한 장치를 식별하고, 상기 장치로부터 오디오데이터를 수신하는 단계;(b) 입력부를 통하여 입력받은 재생 속도에 상응하여 데이터량을 감소시키기 위하여, 상기 오디오데이터에 대하여 미리 설정된 시간 스케일링 알고리즘을 수행하여 상기 오디오데이터를 미리 설정된 크기의 윈도우를 사용하여, 오버랩하면서 프레임을 추출한 후, 상기 프레임을 상기 재생 속도에 상응하여 중복하면서 배치하고, 중복 부분에 상응하는 오버랩 영역을 생성하는 단계;(c) 상기 오버랩 영역 중 파형 형성 영역에 대한 파형을 중앙부 영역 및 좌우 단부 영역으로 구분하여 생성하되, 상기 파형 형성 영역은 원시 파형 형성 영역을 확장하여 생성하는 단계;(d) 상기 오버랩 영역 중 상기 파형 형성 영역의 앞부분은 선행 프레임의 파형을 이용하고, 상기 파형 형성 영역의 뒷부분은 후행 프레임의 파형을 이용하여, 상기 오디오 데이터에 상응하는 변환 데이터를 생성하는 단계; 및(e) 상기 재생 장치에서 상기 재생 속도에 상응하여 재생하도록, 상기 변환 데이터를 상기 재생 장치로 송신하는 단계;를 포함하는 것을 특징으로 하는 재생 속도 가변 방법.
- 제1항에 있어서,상기 입력부를 통하여 녹음 명령을 수신한 경우, 상기 변환 데이터를 소정의 포맷으로 저장하는 단계;를 더 포함하는 것을 특징으로 하는 재생 속도 가변 방법.
- 제1항에 있어서,상기 (a)단계의 오디오 데이터는 소켓 방식으로 수신하는 것을 특징으로 하는 재생 속도 가변 방법.
- 제1항에 있어서,상기 (c)단계의 파형 형성 영역은상기 오버랩 영역에 포함되는 상기 원시 파형 형성 영역의 경계면을 기준으로 상기 원시 파형 형성 영역의 외부 방향으로 미리 설정된 길이만큼 확장된 영역인 것을 특징으로 하는 재생 속도 가변 방법.
- 제1항에 있어서,상기 (c)단계의 파형 형성 영역은 중앙부 영역 및 좌우 단부 영역을 포함하며,상기 좌우 단부 영역은 상기 원시 파형 형성 영역의 경계면 각각에서, 상기 확장된 영역에 대응하여 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 포함하며,상기 중앙부 영역은 상기 원시 파형 형성 영역에서 상기 좌우 단부 영역 중 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 제외한 영역을 포함하는 것을 특징으로 하는 재생 속도 가변 방법.
- 제1항에 있어서,상기 (c)단계의 상기 중앙부 영역의 파형은 상기 오버랩 영역에 대응하여 최대 상호 상관의 기준이 되는 지점에서 상기 선행 프레임 및 상기 후행 프레임의 피치값을 이용하여 평균 피치값을 산출하는 단계;상기 평균 피치값을 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 상기 후행 프레임의 피치값과 비교하는 단계; 및비교 결과, 상기 평균 피치값이 상기 선행 프레임 및 상기 후행 프레임의 피치값 사이이면, 위로 볼록 또는 아래로 볼록한 파형을 형성하고, 상기 선행 프레임 및 상기 후행 프레임의 피치값 범위 밖이면, 왼쪽 위에서 오른쪽 아래로 형성된 파형 또는 왼쪽 아래에서 오른쪽 위로 형성된 파형을 생성하되, 상기 파형은 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 상기 후행 프레임의 피치값 및 평균 피치값을 경유하도록 형성되는 단계;를 포함하여 생성되는 것을 특징으로 하는 재생 속도 가변 방법.
- 제1항에 있어서,상기 (c)단계의 상기 좌우 단부 영역의 파형은상기 좌우 단부 영역의 경계선에 위치한 피치값을 이용하여 기준 기울기를 산출하는 단계;미리 설정된 샘플링 주기를 추출한 후, 상기 샘플링 주기에 따라 샘플링을 수행하는 단계; 및상기 샘플링된 피치값을 경유하면서, 파형의 기울기가 연속되도록 파형을 형성하되, 상기 원시 파형 형성 영역의 경계선의 피치값의 기울기는 상기 기준 기울기와 동일하도록 생성하는 단계를 포함하여 생성되는 것을 특징으로 하는 재생 속도 가변 방법.
- 제7항에 있어서,상기 샘플링 주기는 상기 좌우 단부 영역의 경계선 및 상기 원시 파형 형성 영역의 경계선의 피치값을 샘플링하도록 설정되는 것을 특징으로 하는 재생 속도 가변 방법.
- 재생 속도 가변 장치에 있어서,오디오를 재생하기 위한 재생 장치를 식별하고, 상기 재생 장치와 통신을 수행하여, 오디오 데이터를 수신하고, 미리 지정된 방식으로 변환된 출력 데이터를 상기 재생 장치로 송신하기 위한 통신부; 및상기 재생 장치에서 상기 재생 속도에 상응하여 재생하도록, 상기 오디오 데이터를 미리 설정된 방법으로 변환하여 변환 데이터를 생성하기 위한 변환부를 포함하며,상기 변환부는,상기 오디오 데이터를 미리 설정된 윈도우로 캐핑하여 추출하기 위한 프레임 추출부;추출된 프레임을 재생 속도에 따라 중복되도록 배치하기 위한 프레임 배치부;상기 중복 부분에 상응하는 오버랩 영역을 생성하고, 상기 오버랩 영역 중 파형 형성 영역에 대한 파형을 중앙부 영역 및 좌우 단부 영역으로 구분하여 생성하되, 상기 파형 형성 영역은 원시 파형 형성 영역을 확장하여 생성하기 위한 파형 형성부; 및상기 오버랩 영역 중 상기 파형 형성 영역의 앞부분은 선행 프레임의 파형을 이용하고, 상기 파형 형성 영역의 뒷부분은 후행 프레임의 파형을 이용하여, 상기 오디오 데이터에 상응하는 변환 데이터를 생성하기 위한 프레임 합성부를 포함하는 것을 특징으로 하는 재생 속도 가변 장치.
- 제9항에 있어서,상기 재생 속도 가변 장치는상기 속도로 상기 오디도 데이터를 재생하기 위하여, 상기 변환 데이터를 저장하기 위한 녹음/녹화부를 더 포함하며,상기 녹음/녹화부는 상기 오디오 데이터를 사용자에 의하여 지정된 형식으로 변환 데이터의 포맷을 변경하기 위한 포맷 변경부; 및상기 포맷으로 변환 데이터를 저장하기 위한 저장부를 포함하는 것을 특징으로 하는 재생 속도 가변 장치.
- 제9항에 있어서,상기 파형 형성부는 상기 오버랩 영역에 포함되는 상기 원시 파형 형성 영역의 경계면을 기준으로 상기 원시 파형 형성 영역의 외부 방향으로 미리 설정된 길이만큼 확장된 영역의 상기 파형 형성 영역을 생성하는 것을 특징으로 하는 재생 속도 가변 장치.
- 제9항에 있어서,상기 파형 형성부는 상기 중앙부 영역 및 상기 좌우 단부 영역을 포함하는 상기 파형 형성 영역을 생성하되, 상기 좌우 단부 영역은 상기 원시 파형 형성 영역의 경계면 각각에서, 상기 확장된 영역에 대응하여 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 포함하며, 상기 중앙부 영역은 상기 원시 파형 형성 영역에서 상기 좌우 단부 영역 중 상기 원시 파형 형성 영역 내부 방향으로 대칭적으로 확장된 영역을 제외한 영역을 포함하는 것을 특징으로 하는 재생 속도 가변 장치.
- 제9항에 있어서,상기 파형 형성부는상기 오버랩 영역에 대응하여 최대 상호 상관의 기준이 되는 지점에서 상기 선행 프레임 및 후행 프레임의 피치값을 이용하여 평균 피치값을 산출하고, 상기 평균 피치값을 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 후행 프레임의 피치값과 비교한 후, 비교 결과, 상기 평균 피치값이 상기 선행 프레임 및 후행 프레임의 피치값 사이이면, 위로 볼록 또는 아래로 볼록한 파형을 형성하고, 상기 선행 프레임 및 후행 프레임의 피치값 범위 밖이면, 왼쪽 위에서 오른쪽 아래로 형성된 곡선, 또는 왼쪽 아래에서 오른쪽 위로 형성된 파형을 생성하되, 상기 파형은 상기 원시 파형 형성 영역의 좌우 경계에 위치하는 상기 선행 프레임 및 후행 프레임의 피치값 및 평균 피치값을 경유하도록 상기 중앙부 영역의 파형을 형성하는 것을 특징으로 하는 재생 속도 가변 장치.
- 제9항에 있어서,상기 파형 형성부는상기 좌우 단부 영역의 경계선에 위치한 피치값을 이용하여 기준 기울기를 산출하고, 미리 설정된 샘플링 주기를 추출한 후, 상기 샘플링 주기에 따라 샘플링을 수행한 후, 상기 샘플링된 피치값을 경유하면서, 파형의 기울기가 연속되도록 파형을 형성하되, 상기 원시 파형 형성 영역의 경계선의 피치값의 기울기는 상기 기준 기울기와 동일하도록 상기 좌우 단부의 파형을 형성하는 것을 특징으로 하는 재생 속도 가변 장치.
- 제14항에 있어서,상기 샘플링 주기는 좌우 단부 영역의 경계선 및 원시 파형 형성 영역의 경계선의 피치값을 샘플링하도록 설정되는 것을 특징으로 하는 재생 속도 가변 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040023454A KR100619291B1 (ko) | 2004-04-06 | 2004-04-06 | 재생 속도 가변 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040023454A KR100619291B1 (ko) | 2004-04-06 | 2004-04-06 | 재생 속도 가변 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050098129A KR20050098129A (ko) | 2005-10-11 |
| KR100619291B1 true KR100619291B1 (ko) | 2006-08-31 |
Family
ID=37277700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040023454A KR100619291B1 (ko) | 2004-04-06 | 2004-04-06 | 재생 속도 가변 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100619291B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10638057B2 (en) | 2015-12-18 | 2020-04-28 | Samsung Electronics Co., Ltd. | Photographing device and control method thereof |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100777893B1 (ko) * | 2006-10-30 | 2007-11-21 | 주식회사 현대오토넷 | 차량용 오디오 시스템의 음악 믹싱 제어 장치 및 방법 |
-
2004
- 2004-04-06 KR KR1020040023454A patent/KR100619291B1/ko not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10638057B2 (en) | 2015-12-18 | 2020-04-28 | Samsung Electronics Co., Ltd. | Photographing device and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050098129A (ko) | 2005-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW504664B (en) | Method of reproducing audio signals without causing tone variation in fast or slow playback mode and reproducing apparatus for the same | |
| US20050273321A1 (en) | Audio signal time-scale modification method using variable length synthesis and reduced cross-correlation computations | |
| JPH11112936A (ja) | オーディオ・ビデオ同期再生装置および方法 | |
| JP2015515198A (ja) | オンラインビデオのリアルタイム可変速再生方法及びシステム | |
| GB2471195A (en) | Combining synchronised video and audio data | |
| JP2010283605A (ja) | 映像処理装置及び方法 | |
| KR100619291B1 (ko) | 재생 속도 가변 방법 및 장치 | |
| CN114339443B (zh) | 一种音视频倍速播放方法及装置 | |
| JP4390289B2 (ja) | 再生装置 | |
| JP2982697B2 (ja) | テロップ表示装置 | |
| US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
| JP2018064216A (ja) | 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム | |
| JP6486582B2 (ja) | 電子機器、音声制御方法、およびプログラム | |
| JP6575684B2 (ja) | 同期設定装置、配信システム、同期設定方法、及びプログラム | |
| JP2009205039A (ja) | オーディオデータ変換再生システム、オーディオデータ変換装置、オーディオデータ再生装置 | |
| KR100359988B1 (ko) | 실시간 화속 변환 장치 | |
| KR20070008232A (ko) | 디지털 멀티미디어 배속 조절 장치 및 방법 | |
| KR200214587Y1 (ko) | 에니메이션 속도 조절장치가 부착된 컴퓨터 음악반주기 | |
| JP2021139992A (ja) | 同期装置、同期方法、プログラム及び記録媒体 | |
| JPH1188844A (ja) | 話速／画速同時変換システムおよび方法並びに話速／画速同時変換制御プログラムを記録した記録媒体 | |
| JP2005204003A (ja) | 連続メディアデータ高速再生方法、複合メディアデータ高速再生方法、多チャンネル連続メディアデータ高速再生方法、映像データ高速再生方法、連続メディアデータ高速再生装置、複合メディアデータ高速再生装置、多チャンネル連続メディアデータ高速再生装置、映像データ高速再生装置、プログラム、および、記録媒体 | |
| WO2020043493A1 (en) | A system for recording an interpretation of a source media item | |
| JPH04240900A (ja) | 音声変換装置 | |
| JP2003309786A (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JP3747850B2 (ja) | 電子音楽装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110825 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20120817 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |