KR101512992B1 - 오디오 데이터를 처리하기 위한 디바이스 및 방법 - Google Patents

오디오 데이터를 처리하기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR101512992B1
KR101512992B1 KR1020097026429A KR20097026429A KR101512992B1 KR 101512992 B1 KR101512992 B1 KR 101512992B1 KR 1020097026429 A KR1020097026429 A KR 1020097026429A KR 20097026429 A KR20097026429 A KR 20097026429A KR 101512992 B1 KR101512992 B1 KR 101512992B1
Authority
KR
South Korea
Prior art keywords
audio
items
item
beginning
transition
Prior art date
Application number
KR1020097026429A
Other languages
English (en)
Other versions
KR20100017860A (ko
Inventor
아시 스. 헤르메
슈테판 엘. 요트. 데. 에. 반 데 파르
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20100017860A publication Critical patent/KR20100017860A/ko
Application granted granted Critical
Publication of KR101512992B1 publication Critical patent/KR101512992B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/038—Cross-faders therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명의 일 예시적인 실시예에 따라, 오디오 데이터(101, 102)를 처리하기 위한 디바이스(100)가 제공되고, 디바이스(100)는 제 1 오디오 아이템(104)의 트랜지션 부분을 트랜지션 부분의 시간-관련 오디오 속성이 수정되는(특히, 현실적인 방식으로 움직임의 시간적인 지연 효과들을 또한 시뮬레이팅하는 것이 가능하다) 방식으로 선택적으로 조작하기 위해 적응된 조작 유닛(103)(특히, 재샘플링 유닛)을 포함한다.
오디오 데이터, 오디오 아이템, 시간-관련 오디오 속성, 조작 유닛

Description

오디오 데이터를 처리하기 위한 디바이스 및 방법{A DEVICE FOR AND A METHOD OF PROCESSING AUDIO DATA}
본 발명은 오디오 데이터를 처리하기 위한 디바이스(device)에 관한 것이다.
이의 범위를 넘어서, 본 발명은 오디오 데이터를 처리하는 방법에 관한 것이다.
게다가, 본 발명은 프로그램 엘리먼트(element)에 관한 것이다.
또한, 본 발명은 컴퓨터-판독가능한 매체에 관한 것이다.
오디오 재생 디바이스들은 점점 더 중요해지고 있다. 특히, 증가하는 사용자들이 헤드폰 기반 오디오 플레이어들 및 확성기 기반 오디오 서라운드 시스템들을 구입한다.
상이한 오디오 아이템들이 차례로 오디오 플레이어에 의해 재생될 때, 2곡의 후속 트랙들 사이에 명백한 자연스러운 트랜지션(seamless transition)을 갖는 것이 바람직하다. 이것은 "믹싱(mixing)"으로서 표시될 수 있다. "크로스-페이드(cross-fade)" 동안, 하나의 트랙에서 또 다른 트랙으로 트랜지션 단계 동안 트랙들을 크로스 페이드하는 것이 가능하다. 자동화된 시스템에서, 트랙들 사이에 자연스러운 트랜지션을 제공하기 위해, 나가는 트랙(outgoing track)의 증폭은 전형 적으로 인입하는 트랙(incoming track)의 증폭이 증가되는 것과 동일한 비율로 감소될 것이다.
믹싱 및 크로스-페이딩을 포함하는 노래들의 자동 재생을 허용하여 연속적인 노래들 사이에 원활한 트랜지션을 갖도록 하는 방법들이 공지된다. 이러한 기술들은 자동 DJ로서 표시될 수 있다. 플레이 리스트가 제공될 때, 트랜지션 동안, 오디오 질의 주관적인 지각(subjective perception)이 적절하도록 플레이 리스트 내의 모든 노래들을 플레이하는 것은 규정에 따라 가능하지 않다.
종래의 자동 DJ 시스템은 템포(tempo) 및 하모니(harmony)의 충돌을 맹목적으로 허용하는 크로스-페이드를 수행하도록 허용한다. 이것은 지각적으로 불편한("불량한 DJ(bad DJ)") 경험을 제공할 수 있다. 일반적인 사용자에 의해 규정된 플레이 리스트의 경우에, 부합되지 않는 트랜지션들의 발생은 전문적인 디스크 쟈키(disc jockey)에 의해 구성된 플레이 리스트에서보다 훨씬 더 크다
또 다른 종래 시스템은 하모니의 믹싱이 발생하지 않고, 템포의 연속성(continuity)이 끊어지도록 2개의 재생 아이템들 사이에 짧은 브레이크(break)가 남는 규칙에 기초한다. 즉, 사운드가 나지 않는다. 이 방식은 효과적으로 2개의 재생 리스트 아이템들을 일시적으로 분리되도록 하고, 정지가 충분히 긴 경우, 리듬 또는 하모니의 불연속성의 경험이 존재하지 않는다. 임의의 자동 DJ 효과는 이러한 개념에서 분명히 존재하지 않는다.
오디오 플레이 리스트, 레코드 또는 다른 뮤직 모음집을 들을 때 사용자들이 공통적으로 행하는 것은 예를 들면, 플레이어 상의 "다음(next)", 또는 "이 전(previous)" 버튼을 누름으로써, 하나의 아이템으로부터 또 다른 아이템 앞으로, 또는 뒤쪽으로 건너 뛰는 것이다. 이것은 오디오 아이템의 처음과 끝 사이의 어디에서든지 수행될 수 있다. 이것이 오디오 플레이어들에서 구현되는 방식은 현재 아이템이 뮤트(mute)되고 새로운 트랙이 플레이를 시작하는 것이다.
하나의 오디오 트랙으로부터 또 다른 오디오 트랙으로 움직이는 더 복잡한 방식들은 하나의 트랙으로부터 또 다른 트랙으로의 움직임이 댄스 뮤직 디스크 쟈키가 하나의 아이템의 끝과 또 다른 아이템의 시작을 통합할 수 있는 방법과 유사하게 수행되는 방식으로 2곡의 트랙들을 믹싱하는 것을 목적으로 하는 자동 DJ 시스템이다. 2개의 신호들은 동기화될 수 있고 신호들은 점진적으로 크로스-페이드되어 하나의 아이템으로부터 또 다른 아이템으로의 원활한 트랜지션의 느낌을 제공한다.
US 2005/0047614 A1은 서라운드 환경에서와 같은 멀티-채널 오디오 환경에서 노래-대-노래 트랜지션들(song-to-song transitions)을 개선하기 위한 시스템 및 방법을 개시한다. 방법에서, 트랜지션들 동안, 각 프로그램의 다양한 채널들의 볼륨들을 독립적으로 조작함으로써, 움직임의 환영이 노래가 끝나는 느낌을 생성하기 위해 끝나고 있는 프로그램에 제공되는 반면에, 움직임은 노래가 시작하는 느낌을 생성하기 위해 시작하고 있는 프로그램에 제공된다.
그러나, US 2005/0047614 A1에 따른 2개의 오디오 피스들(pieces) 사이의 트랜지션은 여전히 청취자에 대해 인공적으로 들릴 수 있는데, 이것은 움직임이 극단적으로 단순화한 방식으로 시뮬레이팅(simulating)되기 때문이다.
본 발명의 목적은 오디오 아이템의 시작 또는 끝에서 적절한 오디오 경험을 허용하는 오디오 시스템을 제공하는 것이다.
상기 규정된 목적을 달성하기 위해, 독립 청구항들에 따른 오디오 데이터를 처리하기 위한 디바이스, 오디오 데이터를 처리하는 방법, 프로그램 엘리먼트 및 컴퓨터-판독가능한 매체가 제공된다. 이로운 실시예들이 종속 청구항들에 규정된다.
본 발명의 일 예시적인 실시예에 따라, 오디오 데이터를 처리하기 위한 디바이스가 제공되고, 디바이스는 트랜지션 부분(transition portion)의 시간-관련 오디오 속성이 수정되는 방식으로(특히, 현실적인 방식으로 움직임의 시간적인 지연 효과들을 또한 시뮬레이팅하는 것이 가능하다) 오디오 데이터의 제 1 오디오 아이템의 트랜지션 부분을 선택적으로 조작하기 위해(특히, 재샘플링하기 위해) 적응된 조작 유닛(특히, 재샘플링 유닛)을 포함하고; 조작 유닛은 제 1 오디오 아이템을 렌더링하여 가상 확성기-청취자 모델의 파라미터들의 파라메트릭 조작에 의해 동적인 공간 트랜지션 효과를 달성하도록 구성된다.
본 발명의 또 다른 예시적인 실시예에 따라, 오디오 데이터를 처리하는 방법이 제공되고, 방법은 트랜지션 부분의 시간-관련 오디오 속성이 수정되는 방식으로 오디오 데이터의 제 1 오디오 아이템의 트랜지션 부분을 선택적으로 조작하는 단계를 포함하고; 조작 단계는 제 1 오디오 아이템(104)을 렌더링하여 가상 확성기-청취자 모델의 파라미터들의 파라메트릭 조작에 의해 동적인 공간 트랜지션 효과를 달성하는 단계를 포함한다.
본 발명의 또 다른 예시적인 실시예에 따라, 처리기에 의해 실행될 때, 상기 언급된 특징들을 갖는 데이터 처리 방법을 수행하거나 제어하도록 적응되는 프로그램 엘리먼트(예를 들면, 소스 코드 또는 실행가능한 코드에서의 소프트웨어 루틴(software routine))가 제공된다.
본 발명의 또 다른 예시적인 실시예에 따라, 처리기에 의해 실행될 때, 상기 언급된 특징들을 갖는 데이터 처리 방법을 수행하거나 제어하도록 적응되는 컴퓨터 프로그램이 저장되는 컴퓨터-판독가능한 매체(예를 들면, CD, DVD, USB 스틱, 플로피 디스크 또는 하드디스크)가 제공된다.
본 발명의 실시예들에 따라 수행될 수 있는 오디오 템포 조작 및/또는 주파수 변경 목적들을 위한 데이터 처리는 컴퓨터 프로그램, 즉 소프트웨어에 의해, 또는 하나 이상의 특수한 전자 최적화 회로들을 사용함으로써, 즉 하드웨어로, 또는 하이브리드(hybrid) 형태로, 즉 소프트웨어 구성요소들 및 하드웨어 구성요소들에 의해 구현될 수 있다.
이 출원의 콘텍스트(context)에서, 용어 "조작하는(manipulating)"는 특히 오디오 데이터 스트림 또는 오디오 데이터 피스의 특정한 부분의 재계산을 표시하여 이 부분의 시간 또는 주파수 관련 속성들, 즉 사운드 재생성의 음높이(pitch) 및 템포에 관한 청취가능한 경험에 영향을 미치는 파라미터들(parameters)을 선택적으로 수정할 수 있다. 따라서, 템포 및/또는 음높이와 같은 속성들은 이러한 조작에 의해 수정되어, 특히 도플러 효과(Doppler effect)를 획득할 수 있다. 따라서, 조작 또는 재샘플링은 원래 레코딩된 파일에서보다 상이한 속성들을 갖는 사운드 파일에서의 샘플들을 재계산함으로써 수행될 수 있다. 이것은 오디오 피스들 사이의 트랜지션의 지각을 향상시키도록, 샘플들을 제거하는 단계, 이용가능한 주파수 범위를 수정하는 단계, 포즈들(pauses)을 도입하는 단계, 톤(tone)의 재생성 횟수들을 증가시키거나 감소시키는 단계, 등을 포함할 수 있다. 특히, 이것은 끝 및 시작 트랙의 지각적인 디커플링(perceptual decoupling)을 허용하는 음높이 트랜지션 효과들이 후속 오디오 피스들 사이의 템포 및 하모닉 충돌들을 회피할 수 있기 때문이다.
용어 오디오 아이템의 "트랜지션 부분(transition portion)"은 특히 트랜지션이 오디오 아이템과 또 다른(앞서는 또는 다음의) 오디오 아이템 사이 또는 오디오 아이템과 침묵 시간 구간(silent time interval) 사이에 발생하는 오디오 아이템의 시작 부분 및/또는 끝 부분을 표시할 수 있다.
용어 "시간-관련 오디오 속성(time-related audio property)"는 특히 시간 특성들 및 대응하는 오디오 파라미터들이 예를 들면, 오디오 피스를 페이드 인(fade in) 또는 페이드 아웃(fade out)하는 느낌을 강조하는 특정한 방식으로 조절될 수 있다. 이것은 소위 음향 도플러 효과(acoustic Doppler effect)로서 공지되고, 오디오 아이템의 페이딩 인 또는 페이딩 아웃을 나타내기 위한 직관에 의한 측정(intuitive measure)인 주파수 변화를 포함한다.
본 발명의 일 예시적인 실시예에 따라, 오디오 피스의 트랜지션 부분은 오디오 아이템과 이전 또는 후속 정보 사이의 트랜지션의, 인간의 귀에 대한 지각을 향상시키기 위해 선택적으로 처리된다. 페이드-인 및/또는 페이드-아웃 동안 시간 관련 오디오 재생 속성들을 변화시킴으로써, 각각 새로운 노래의 시작 또는 현재 재생된 노래의 끝으로서 심리적으로 상호관련된 접근하거나 떠나는 사운드 소스의 느낌이 생성될 수 있다.
따라서, 일 예시적인 실시예에 따라, 자동 DJ에 대한 동적인 믹싱이 가능하게 될 수 있다. 자동 디스크 쟈키 시스템들에서, 노래 트랜지션들은 어떠한 방해되는 불연속성들도 발생하지 않도록 행해질 수 있다. 이것은 일반적으로 2곡의 연속적인 노래들을 크로스-페이드함으로써 행해질 수 있다. 원활한 트랜지션을 얻기 위한 요구조건은 노래들의 템포 및 리듬이 믹싱 영역에 정렬되고 노래들이 믹싱 영역에서 부합하는 하모닉 속성들을 갖는 것이다. 이것은 종래적으로 차례로 플레이될 수 있는 노래들에 대해 제약들을 부여한다. 일 예시적인 실시예에 따라, 템포, 리듬 및 하모니를 정렬하기 위한 요구는 샘플링 주파수에서의 상이한 글라이딩 변화(gliding change)를 트랜지션 동안에 각 노래에 적용함으로써 극복될 수 있다. 글라이딩 샘플링 주파수들은 템포, 리듬 및 하모닉 충돌들이 중요하지 않도록 믹싱되는 2곡의 노래들의 자연적인 디커플링을 생성할 수 있다. 따라서, 본 발명의 실시예들은 모든 플레이 리스트(또는 노래들의 쌍)가 자동 DJ 방법으로 크로스-페이드되지 않을 수 있는 제한을 극복할 수 있다. 본 발명의 실시예들이 기초하는 인식은 포즈에 의한 시간적인 분리보다는 2개의 플레이 리스트 아이템들을 지각적으로 분리시키는 다른 가능한 방식들이 또한 존재하는 것이다. 이 목적을 위해 하나 또는 2개의 오디오 신호들의 스펙트럼들의 동적인 조직적 조작을 사용하는 것이 가능하다. 특히, 노래의 믹싱 영역에서, 한곡의 노래가 글라이드 다운(glide down)하는 주파수 및 템포를 갖는 반면에 다른 노래가 글라이드 업(glide up)하는 주파수 및 템포를 갖도록 노래들의 조작/재샘플링이 수행되는 방법을 수행하는 것이 가능하다. 따라서, 강요된 트랜지션들 및 자동 DJ 애플리케이션들(applications)에서 오디오 아이템들의 시간적인 조작이 사용될 수 있고 이는 주파수 글라이딩 효과를 야기하는 충분히 강한 도플러 시프트 효과가 유도될 수 있는 고려(consideration)에 기초할 수 있다. 따라서, 자동 DJ 애플리케이션들의 동적인 믹싱은 가능하게 행해질 수 있다. 자동 DJ 시스템에서 믹싱되는 2곡의 노래들의 자연적인 디커플링은 노래들이 템포, 리듬, 하모닉 콘텐트, 등에서 유사할 필요가 없도록 가능하게 행해질 수 있다. 이것은 끝나고 있는 노래의 주파수 및/또는 템포가 원래 주파수로부터 더 낮은 주파수로 글라이드 다운하고 있고, 시작하고 있는 노래의 주파수 및/또는 템포가 상이한 주파수 컨투어(frequency contour)를 갖는 원래 주파수를 향해 글라이드 다운하고 있도록 트랜지션 기간에서 2곡의 노래들을 조작함으로써 생성될 수 있다. 이것은 공간 트랜지션 효과의 부산물(by-product)로서 또한 달성될 수 있다. 2곡의 노래들의 가상 소스들의 움직임의 환영이 발생될 수 있고, 도플러 효과가 생성될 수 있다. 소스의 움직임의 환영을 발생시키는 방법에 따라, 이것은 종종 도플러 효과를 또한 생성할 수 있다. 즉, 도플러 효과는 움직임 효과의 결과이다.
다음, 오디오 데이터를 처리하기 위한 디바이스의 또 다른 예시적인 실시예들이 설명될 것이다. 그러나, 이들 실시예들은 오디오 데이터를 처리하는 방법, 프로그램 엘리먼트 및 컴퓨터-판독가능한 매체에 또한 적용한다.
제 1 오디오 아이템의 트랜지션 부분은 제 1 오디오 아이템의 끝 부분일 수 있다. 즉, 점진적이거나 순차적인 방식으로 시간 속성을 조절함으로써, 제 1 오디오 아이템의 끝을 원활하게 페이드 아웃하도록 조작이 수행될 수 있다.
부가적으로 또는 대안적으로, 제 1 오디오 아이템의 트랜지션 부분은 제 1 오디오 아이템의 시작 부분일 수 있다. 즉, 점진적이거나 순차적인 방식으로 시간 속성을 조절함으로써, 제 1 오디오 아이템의 시작을 원활하게 페이드 인하도록 조작이 수행될 수 있다. 따라서, 단지 오디오 아이템의 시작 부분, 단지 오디오 아이템의 끝 부분, 또는 오디오 아이템의 시작 부분 및 끝 부분 둘 모두를 조작하는 것이 가능하다. 오디오 아이템의 중간 부분이 이러한 방식으로 조작되는 것이 또한 가능하고, 예를 들면 사용자는 제 1 노래의 중간에서 재생을 멈출 수 있고, 제 2 노래의 시작이나 제 2 노래의 중간에서의 어딘가로부터 제 2 노래의 플레이를 시작할 수 있다. 즉, 오디오 아이템의 자연적인 시작 또는 자연적인 끝은 트랜지션 부분과 일치(coincide/fall together)할 수 있거나 일치할 수 없다. 따라서, 본 발명의 예시적인 실시예들에 따른 선택적인 시간적 조작은 노래의 중간에서 또한 수행될 수 있다.
특히, 조작 유닛은 제 1 오디오 아이템의 조작된 끝 부분의 주파수 및 템포로 구성되는 그룹 중 적어도 하나가 글라이드 아웃되고 있는 방식으로 제 1 오디오 아이템의 끝 부분을 조작하기 위해 적응될 수 있다. 따라서, 이러한 오디오 콘텐트를 재생할 때 오디오 지각에 영향을 미치는 이러한 시간-관련 오디오 파라미터들을 고려함으로써, 앰뷸런스의 떠나는 경적(departing horn)으로부터 공지된 바와 같이, 진폭 뿐만 아니라, 주파수에서의 감소가 존재하는 음향 도플러 효과의 느낌을 획득하는 것이 가능할 수 있다(떠나는 앰뷸런스 경적의 사운드의 주파수는 접근하는 앰뷸런스의 사운드보다 낮지만, 앰뷸런스가 관찰자에 관하여 속도를 가속하고 있거나 속도를 줄이고 있지 않다면, 주파수에서 감소(글라이딩)하지 않는다. 특히, 템포 및/또는 주파수는 페이드 아웃하는 오디오 아이템의 끝 부분이 조작될 때 감소될 수 있다.
비록 본 발명의 실시예들이 연속적으로 재생성된 오디오 아이템들 사이에 원활한 트랜지션들을 제공하는 것에 초점을 맞출 수 있다고 하더라도, 단지 정확한 하나의 오디오 아이템 예를 들면, 끝 부분에서 부드럽게 뮤트될 오디오 아이템을 처리하는 것이 가능하다.
그러나, 조작 유닛은 트랜지션 부분의 시간-관련 오디오 속성이 수정되는 방식으로 제 2 오디오 아이템(제 1 오디오 아이템의 뒤에 올 수 있는)의 트랜지션 부분을 조작하기 위해 또한 적응될 수 있다. 따라서, 제 1 오디오 아이템과 제 2 오디오 아이템 사이의 트랜지션은 트랜지션 부분들 둘 모두에서의 시간-관련 오디오 속성들을 고려함으로써 원활하게 행해질 수 있다. 트랜지션 부분(들) 동안, 제 1 및 제 2 오디오 아이템들 둘 모두는 동시에 재생될 수 있지만, 상이한 오디오 파라미터들을 갖는다.
특히, 제 2 오디오 아이템의 트랜지션 부분은 제 2 오디오 아이템의 시작 부분일 수 있다. 그 다음, 조작 유닛은 제 2 오디오 아이템의 조작된 시작 부분의 주파수 및 템포로 구성되는 그룹 중 적어도 하나가 글라이드 인하고/페이드 인되는 방식으로 제 2 오디오 아이템의 시작 부분을 조작하기 위해 적응될 수 있다. 이러한 페이드가 효과 있는 동안, 제 2 오디오 아이템의 트랜지션 부분이 완료될 때까지 템포 및 주파수를 증가시키는(점진적이거나 순차적인 방식으로) 것이 적절할 수 있다.
조작 유닛은 제 1 오디오 아이템의 단지 트랜지션 부분(시작 부분 또는 끝 부분) 또는 트랜지션 부분들(시작 부분 및 끝 부분)을 선택적으로 조작하기 위해 적응될 수 있는 반면에, 제 1 오디오 아이템의 나머지(중앙) 부분은 샘플링되지 않을 채로 남아 있을 수 있다. 즉, 변경되지 않는다. 따라서, 후속적으로 재생될 오디오 신호를 원활하게 페이드 인한 후에, 원래 데이터는 재생되어 트랜지션 영역(transition regime)의 완료 이후에 어떠한 오디오 아티팩트들(artefacts)도 발생하지 않을 수 있다.
조작 유닛은 제 1 오디오 아이템의 트랜지션 부분 및 제 2 오디오 아이템의 트랜지션 부분을 통합 방식(coordinated manner)으로 조작하기 위해 적응될 수 있다. 따라서, 페이드 아웃된 아이템(떠나는 오디오 소스의 도플러 효과를 야기하는)의 템포 및 주파수의 감소는 템포 및 주파수가 증가된(접근하는 오디오 소스의 도플러 효과) 후속 오디오 신호의 페이딩 인(fading in)과 조화된 방식으로 조합될 수 있다. 이것은 심지어 매우 상이한 기원(origin)의 오디오 콘텐트 사이의 음향적으로 적절한 트랜지션 부분을 허용하여 믹싱될 2곡의 노래들이 템포, 리듬 또는 하모닉 충돌들에 대해 서로 반드시 대응해야 할 필요가 없을 수 있다.
조작 유닛은 제 1 오디오 아이템을 재생성하는 오디오 소스가 트랜지션 부분 동안 움직이고 있는 청취가능한 경험을 생성하는 방식으로 제 1 오디오 아이템을 생성하기 위해 적응된 움직임 경험 생성 유닛(motion experience generation unit)으로서 또한 서브(serve)할 수 있다. 그러나, 움직이는 오디오 소스의 이러한 느낌이 오디오 아이템(접근하는 오브젝트에 대한 라우드니스(loudness)를 증가시키고 떠나는 오브젝트에 대한 라우드니스를 감소시키는)의 라우드니스의 단순한 변화에 반드시 제한되지 않지만, 이러한 움직임 지각은 오디오 소스의 현실적인 움직임과 연계된 시간 지연들을 채널에 걸쳐 발생시키는 시간 수정들을 고려함으로써 추가로 세련(refine)될 수 있다. 특히, 음향 도플러 효과는 떠나거나 접근하는 사운드 소스의 라우드니스 뿐만 아니라, 주파수, 템포 및 다른 시간-관련 오디오 파라미터들을 수정한다. 이러한 시간-관련 속성들을 고려함으로써, 재생된 오디오 데이터의 움직임은 단순한 라우드니스 조정 시스템과 비교하여 훨씬 더 자연스럽게 지각될 것이거나, 더 정확하게 움직이는 사운드 소스의 지각에 더 가깝다.
이러한 움직임 경험 생성 유닛은 제 1 오디오 아이템을 재생성하는 오디오 소스가 제 1 오디오 아이템의 끝 부분 동안 떠나고 있는 청취가능한 경험을 생성하기 위해 적응될 수 있다. 따라서, 대응하는 오디오 아이템 부분의 조작은 떠나는 사운드 소스의 음향 도플러 효과가 시뮬레이팅되는 방식으로 수행될 것이다.
움직임 경험 생성 유닛은 트랜지션 부분 동안 제 2 오디오 아이템을 재생성하는 오디오 소스가 움직이는, 특히 제 2 오디오 데이터의 시작 부분 동안 접근하고 있는 청취가능한 경험을 생성하는 방식으로 제 2 오디오 아이템을 처리하기 위해 추가로 적응될 수 있다. 즉, 이러한 실시예들에서, 제 2 오디오 아이템의 시작 부분의 처리는 접근하는 오디오 소스의 음향 도플러 효과의 느낌이 인간의 귀에 의해 지각될 수 있는 방식으로 수행될 수 있다.
심리학적인 관점으로부터, 페이딩 아웃은 떠나는 사운드 소스와 상호관련되고, 페이딩 인은 접근하는 사운드 소스와 상호관련된다.
움직임 경험 생성 유닛은 측정들의 다음 시퀀스에 따라 제 1 오디오 아이템의 끝 부분과 제 2 오디오 아이템의 시작 부분 사이의 트랜지션을 생성하기 위해 적응될 수 있다. 첫째, 제 2 오디오 아이템의 트랜지션 부분의 제 1 부분이 처리되어 제 2 오디오 아이템의 트랜지션 부분의 재생성이 멀리 떨어진 시작 위치로부터 시작하는 것으로서 지각가능할 수 있다. 즉, 제 2 오디오 아이템은 스위치 온(switch on)되고 멀리 위치되고, 작은 볼륨 및 대응하는 지향 속성(directional property)에 의해 시뮬레이팅될 수 있는 사운드 소스로부터 들어오는 것으로서 지각될 것이다. 후속적으로, 제 1 오디오 아이템의 트랜지션 부분의 제 1 부분은 제 1 오디오 아이템의 트랜지션 부분의 재생성이 중앙 위치로부터 멀리 떨어진 마지막 위치로 시프트되는 위치로부터 시작하는 것으로서 지각가능한 방식으로 처리될 수 있다. 즉, 제 1 오디오 아이템의 중앙 부분의 재생 동안, 이 오디오 데이터는 청취자가 제 1 오디오 아이템을 보내는(emitting) 사운드 소스가 중앙 위치에 위치되는 느낌을 갖는 방식으로 구성될 수 있다. 제 1 오디오 아이템이 후속적으로 페이드 아웃될 것을 나타내기 위해, 트랜지션 부분의 제 1 부분에서 제 1 오디오 아이템을 보내는 사운드 소스를 이 중앙 위치로부터 멀리 떨어진 마지막 위치로 가상적으로 이동시키는 것이 가능하다. 이 움직임을 점진적으로 수행될 수 있다. 동시에, 제 1 오디오 아이템을 보내는 가상 사운드 소스의 이 출발(departure)로, 제 2 오디오 아이템의 제 2 트랜지션 부분은 제 2 오디오 아이템의 트랜지션 부분의 제 2 부분의 재성성이 멀리 떨어진 마지막 위치로부터 중앙 위치(제 1 오디오 아이템을 보내는 (가상) 사운드 소스가 전에 위치되었던 동일한 위치, 또는 또 다른 위치)로 시프트되는(예를 들면, 점진적으로) 위치로부터 시작하는 것으로서 지각가능한 방식으로 처리될 수 있다. 따라서, 제 2 오디오 아이템이 페이드 인될 것이기 때문에, 청취자는 제 2 오디오 아이템을 나타내는 음향 파들을 보내는 가상 오디오 소스가 제 2 오디오 아이템의 주요 부분이 재생성될 위치에 접근하고 있는 느낌을 얻을 것이다. 후속적으로, 제 1 오디오 아이템의 트랜지션 부분의 제 3 부분이 처리되어 제 1 오디오 아이템의 트랜지션 부분이 뮤트된다. 따라서, 제 2 오디오 아이템이 (가상적으로) 마지막 또는 중간 위치에 접근한 후에, 제 1 오디오 아이템의 볼륨은 (점진적이거나 순차적인 방식으로) 감소되어, 페이드 아웃 절차가 끝이 난다. 선택적으로, 그 다음 제 2 오디오 아이템의 주요 부분을 보내는 가상 사운드 소스는 다시 재위치되거나, 중앙 위치에 유지될 수 있다.
"중앙 위치(central position)"는 헤드폰 신호들이 오디오의 "중앙 부분" 동안 원래 오디오 신호들로부터 생성되는 방식을 참조할 수 있다. 예를 들면, 어떠한 트랜지션도 행해지지 않을 때, 좌측 신호는 처리되지 않을 채로 좌측 귀로 이동하고 우측 신호는 우측 귀로 이동한다. 오디오 트랙의 "중앙 위치"에서, "중앙 위치(렌더링/재생성)"으로서 표시될 수 있는 처리 모델이 사용될 수 있다. 중앙 위치에서, 원래 좌측 및 우측 오디오 채널들(스테레오 신호의)을 표현하는 신호들은 전형적으로 직접적으로 좌측 및 우측 헤드폰들에 라우팅될 수 있거나, 일부 처리는 트랜지션 동안 처리에 관련되지 않은 신호에 적용된다. 이 유형의 부가적인 처리는 원래 오디오 데이터가 스테레오 포맷과 다른 포맷을 갖는 경우에, 스펙트럼 균등화(spectrum equalization), 공간 확장(spatial widening), 동적 압축(dynamic compression), 멀티채널-대-스테레오 변환(multichannel-to-stereo conversion)에 관련될 수 있거나, 다른 유형들의 오디오 처리 효과들 및 강화가 트랜지션 부분들 동안 사용된 트랜지션 방법의 독립적인 오디오 트랙들의 중앙 부분 동안 적용된다.
디바이스는 처리된 오디오 데이터를 재생성하기 위해 적응된 오디오 재생성 유닛을 포함할 수 있다. 이러한 (물리적이거나 실제) 오디오 재생성 유닛은 예를 들면, 재생을 위해 처리된 오디오 데이터를 제공받을 수 있는 헤드폰들, 이어폰들 또는 확성기들일 수 있다. 오디오 데이터는 재생된 오디오 데이터를 듣고 있는 사용자가 (가상) 오디오 재생성 유닛들이 또 다른 위치에 위치되는 느낌을 얻는 방식으로 처리될 수 있다.
제 1 오디오 아이템은 뮤직 아이템(예를 들면, 뮤직 클립 또는 CD 상의 뮤직 트랙), 음성 아이템(speech item)(예를 들면, 전화 대화의 일부분)일 수 있거나, 비디오/오디오비주얼 아이템(뮤직 비디오, 영화, 등과 같은)일 수 있다. 따라서, 본 발명의 실시예들은 오디오 데이터가 처리되어야 할, 특히 2개의 오디오 아이템들이 원활한 방식으로 서로 접속될 모든 분야들에서 구현될 수 있다.
본 발명의 예시적인 실시예들의 적용의 예시적인 분야들은 자동 디스크 쟈키 시스템들, 플레이 리스트에서 오디오 아이템들을 검색하기 위한 시스템들, 브로드캐스팅 채널 스위치 시스템, 공용 인터넷 페이지 스위치 시스템, 전화 채널 스위치 시스템, 오디오 아이템 재생 시작 시스템, 및 오디오 아이템 재생 정지 시스템이다. 플레이 리스트에서 오디오 아이템들을 검색하기 위한 시스템은 특정한 오디오 아이템들에 대한 플레이 리스트를 검색하거나 스캐닝(scanning)하는 것을 허용할 수 있고 후속적으로 이러한 오디오 아이템들을 재생하는 것을 허용할 수 있다. 2개의 후속적인 이러한 오디오 아이템들 사이의 트랜지션 부분들에서, 본 발명의 실시예들은 구현될 수 있다. 또한, 상이한 텔레비전 또는 라디오 채널들 사이, 즉 브로드캐스팅 채널 스위치 시스템에서 스위칭할 때, 이전 채널의 페이드 아웃 및 후속 채널의 페이드 인은 본 발명의 예시적인 실시예들에 따라 수행될 수 있다. 컴퓨터를 동작하는 사용자가 공용 인터넷 페이지 스위치 시스템을 사용하여, 상이한 인터넷 페이지들 사이를 스위칭할 때, 동일한 사실을 유지한다. 전화 대화 동안, 상이한 채널들 또는 통신 파트너들 사이에 스위치가 수행될 수 있을 때, 본 발명의 실시예들은 이러한 전화 채널 스위치 시스템에 대해 수행될 수 있다. 또한, 오디오 재생을 단순하게 시작하거나 정지하기 위해 즉, 묵음(mute)과 소리가 큰 재생 모드 사이의 변화를 위해, 본 발명의 실시예들이 구현될 수 있다.
본 발명의 실시예들은 공간 트랜지션 효과들을 사용할 부가적인 가능성과 조합되어 2곡의 노래들 사이에 공간 분리의 환영을 생성할 수 있다. "크로스-페이드되는" 2곡의 노래들은 상이한 움직임 궤도들을 가질 수 있어 현존하는 소스(제 1 노래)가 예를 들면, 죄측으로 멀리 이동하는 반면에, 새로운 노래(제 2 소스)는 우측으로부터 사운드 이미지로 이동한다.
2개의 아이템들을 분리하는데 있어서 상승 및 하강 하모닉 패턴들의 사용은 2개의 톤 컴플렉스들(tone complexes)의 상이한 주파수 변조 궤도들이 2개의 톤 컴플렉스들이 2개의 상이한 지각 스트림들에서 분리하도록 함이 관찰된 실험 심리학으로부터 강한 지원을 또한 가질 수 있다(예를 들면, A.S.Bregman(1990), "Auditory Scheme Analysis: The Perceptual Organization of Sound", Cambridge, MA: Bradford Books, MIT Press를 참조하라).
시간-관련 오디오 파라미터들의 조작의 효과는 노래들이 지각적으로 믹싱 영역에서 디커플링되어 그들이 더 이상 호환가능하지 않은 것으로서 지각되지 않는다는 것이다. 따라서, 이 방법을 사용하여, 템포, 리듬 또는 하모니가 부합함을 확실하게 하기 위해 낮은 특수한 케어(care)가 취해져야 한다. 이것은 어떤 임의의 쌍의 노래들의 믹싱을 허용하고, 따라서 본 발명의 일 예시적인 실시예에 따른 자동 DJ 방법에 의해 재생될 필요가 있는 임의의 플레이 리스트를 허용한다.
본 발명의 예시적인 실시예들은 노래 트랜지션들이 2곡의 연속적인 노래들의 시작 및 끝을 믹싱함으로써 생성되어 예를 들면, 자동 DJ 애플리케이션에서와 같은 원활한 트랜지션을 얻는 애플리케이션들에 적용될 수 있다.
본 발명의 또 다른 예시적인 실시예에 따라, 트랜지션 효과와 평상시의 청취(normal listening) 사이의 공간 트랜지션이 가능하게 행해질 수 있다. 공간 트랜지션 효과들은 오디오 아이템들 사이의 강요된 트랜지션들(forced transitions)에서 사용될 수 있다. 트랜지션 효과들은 전형적으로 모델 기반 렌더링 시나리오에서 오디오 스트림들의 동적인 특수화(dynamic specialisation)에 기초한다. 평상시의 헤드폰 청취에서 모델-기반 공간 처리를 구동하는 것이 바람직하지 않고 따라서, 트랜지션 렌더링에 대한 평상시의 청취를 위한 트랜지션들이 다시 규정될 수 있다.
따라서, 하나의 트랙에서 또 다른 트랙으로의 이동은 오디오 신호들의 공간 조작을 사용하여 수행될 수 있다. 목적은 예를 들면, 현재의 뮤직 트랙이 오른편으로 멀리 가버리고 또 다른 트랙이 왼편으로부터 슬라이드 인하는 방식으로 하나의 트랙이 물리적으로 멀리 이동하고 또 다른 트랙이 다가오는 지각을 제공하는 것일 수 있다. 이것이 오디오 플레이어 리스트의 콘텍스트에서 수행될 때, 그것은 플레이 리스트에 대해 매우 강한 공간 느낌을 제공한다. 공간 좌표들에서 이 유형의 오디오 플레이 리스트 아이템들의 표현은 오디오 기술의 새로운 애플리케이션들을 제공할 수 있다.
헤드폰 청취에서, 무엇이 좌측이고 무엇이 우측인지 명백하게 규정된다. 명백한 해결책은 예를 들면, 점진적으로 감소하고 단지 우측 귀 신호로 이동하는 방식으로 균형잡힌(balanced) 스테레오 이미지를 변화시키고, 동시에 좌측 귀로부터 시작하는 또 다른 트랙의 볼륨을 증가시키는 표준 진폭 패닝 규칙들(standard amplitude panning rules)을 사용하는 것이다. 그러나, 이 방식으로 획득된 트랜지션 효과는 매우 흥미롭지 않고 그것은 트랙 변화의 매우 강한 공간 느낌을 제공하지 않는다. 문제는 스테레오 오디오 자동기록 장치(recording)의 2개의 채널들이 자동기록 장치의 생성에 따라 매우 상이한 유형들의 청각적인 큐들(auditory cues)을 포함할 수 있다는 것일 수 있다.
일반적으로, 스테레오 오디오 아이템의 2개의 채널들은 상호관련된다. 그러나, 예를 들면 진폭 패닝 또는 스테레오 잔향(stereo reverberation)에서 생성된 상호관련은 오디오 소스들의 거리들과 같은 임의의 식별가능한 속성들, 또는 예를 들면 개인적인 뮤직 악기들의 사운드들의 도달의 명백한 각도들에 직접적인 관련이 없다. 따라서, 설득력있는 공간 오디오 트랙 변화들을 생성하는데 있어서의 문제는 제 1 장소에 공간 위치가 없기 때문에 훨씬 우측으로의 어딘가에 오디오 트랙을 단지 쓰루(throw)하는 것이 적절하지 않을 수 있다는 것이다. 이러한 문제들은 가상 확성기 청취자 시스템들에 기초한 렌더링 시나리오를 사용하여 충족될 수 있다. 그러나, 평상시의 청취 시나리오(헤드폰들, 또는 스테레오 또는 멀티-채널 확성기 재생성에서의)와 트랙 트랜지션 효과 사이의 트랜지션들을 고려하는 것이 또한 가능하다.
다음, 오디오 아이템들 사이의 공간 트랜지션들과 관련한 일 실시예가 설명될 것이다. 하나의 오디오 스트림으로부터 헤드폰 청취에서의 또 다른 스트림으로의 강요된 트랜지션들에서 직관적인 공간 오디오 효과들을 구현하기 위한 방법이 제공될 수 있다. 예를 들면, 사용자가 플레이 리스트를 통한 이동 시에 "다음" 또는 "이전" 버튼을 누르거나, 라디오 채널들의 리스트를 통해 검색하고 있을 때, 제안된 효과는 새로운 공간 차원을 청취 경험에 제공한다. 방법은 스테레오 신호를 공간 트랜지션들이 직관적이고 명백하게 행해질 수 있는 가상 확성기 청취자 모델에 매핑하는 것에 기초한다.
오디오 신호들의 공간 조작을 사용하여 하나의 트랙으로부터 또 다른 트랙으로 이동하는 방식은 예를 들면, 현재의 뮤직 트랙이 제 1 방향으로 떠나고 또 다른 트랙이 제 1 방향과 반대일 수 있는 제 2 방향으로부터 슬라이드 인하는 방식으로 하나의 트랙이 물리적으로 멀리 이동하고 다른 트랙이 다가오는 지각을 주기 위해 제공될 수 있다. 이것이 오디오 플레이 리스트의 콘텍스트에서 수행될 때, 그것은 플레이 리스트에 대해 매우 강한 공간 느낌을 제공한다. 예를 들면, 사용자는 제 1 노래가 제 2 노래의 왼편에 대해 우측이고 또 다른 노래는 우측 멀리 어딘가에 있음을 기억할 수 있다. 자연적으로, 시나리오는 북쪽, 동쪽, 남쪽 및 서쪽과 같은 방향들에 직접적으로 확장되어 사용자에게 오디오 자료의 2차원의 표현을 제공할 수 있다. 그러므로, 1차원, 2차원 또는 심지어 3차원 공간 효과들이 가능하게 행해질 수 있다. 따라서, 스테레오 오디오 자료의 2개의 오디오 채널들을 확성기 및 청취자의 귀들이 잘-규정된 기하학적인 위치들을 갖는 시뮬레이팅된 확성기 청취자 시나리오에 위치시키는 것이 가능하다. 일단 이것이 행해지면, 가상 확성기들을 임의의 위치들에 이동시켜 원하는 공간 효과들을 생성하는 것이 가능하다. 하나의 오디오 아이템의 또 다른 오디오 아이템으로의 스와핑(swapping)에서, 시뮬레이션은 제 1 오디오 아이템을 플레이하는 2개의 가상 확성기들이 사용자의 귀들로부터 좌측으로 멀리 이동되고 또 다른 아이템을 플레이하는 또 다른 쌍의 확성기들이 우측으로부터 적절하거나 최적의 재생 위치에 운반되도록 수행될 수 있다. 따라서, 상이한 공간 오디오 청취 시나리오들의 기하학적인 특성을 제공하는 것이 가능하고, 가상 음향 환경에서 사운드 전파들의 시뮬레이션들이 사용될 수 있다.
오디오 아이템이 끝나야 하고 또 다른 오디오 아이템이 시작되어야 할 때, 청취자로부터 제 1 방향으로 멀리 이동하는 제 1 오디오 아이템의 청각 이미지(aural image) 및 청취자 쪽으로 이동하는 제 2 오디오 아이템이 생성된다. 강요된 트랜지션 및 헤드폰 청취 동안 오디오를 트랜지션하는 방법이 제공될 수 있다. 방법은 가상 확성기를 시뮬레이팅함으로써 어떤 위치에서 새로운 아이템을 시작하는 단계, 현재 아이템을 헤드폰들로부터 가상 확성기 구성으로 이동시키는 단계, 현재 아이템을 타겟 위치로 이동시키고 동시에 새로운 아이템의 확성기 위치를 가상 확성기 위치로 이동시키는 단계, 새로운 아이템을 확성기 위치로부터 헤드폰 청취로 이동시키는 단계, 및 현재 아이템을 뮤트하는 단계를 포함한다.
플레이 리스트 상의 아이템들을 사전 검토하여 아이템들이 가상적으로 청취자 앞으로 패스(pass)하거나 아이템을 일시적으로 뮤트하는 동안, 방법을 사용하는 것이 추가로 가능하다.
오디오 데이터를 처리하기 위한 디바이스는 오디오 서라운드 시스템, 모바일 폰, 헤드셋, 확성기, 보청기, 텔레비전 디바이스, 비디오 레코더, 모니터, 게이밍 디바이스, 랩톱, 오디오 플레이어, DVD 플레이어, CD 플레이어, 하드디스크-기반 매체 플레이어, 인터넷 라디오 디바이스, 공용 엔터테인먼트 디바이스, MP3 플레이어, 하이-파이 시스템, 차량용 엔터테인먼트 디바이스(vehicle entertainment device), 차량 엔터테인먼트 디바이스(car entertainment device), 의료 통신 시스템, 신체-착용형 디바이스(body-worn device), 음성 통신 디바이스, 홈 시네마 시스템, 홈 극장 시스템, 평면 텔레비전, 환경 생성 디바이스(ambiance creation device), 서브우퍼, 및 뮤직 홀 시스템으로 구성되는 그룹 중 적어도 하나로서 구현될 수 있다. 다른 애플리케이션들도 또한 가능하다.
그러나, 본 발명의 일 실시예에 따른 시스템이 주로 사운드 또는 오디오 데이터의 질을 향상시키도록 의도한다고 하더라도, 오디오 데이터 및 비주얼 데이터의 조합을 위해 시스템을 적용하는 것이 또한 가능하다. 예를 들면, 본 발명의 일 실시예는 상이한 오디오비주얼 아이템들(뮤직 클립들 또는 비디오 시퀀스들과 같은) 사이에 트랜지션이 발생하는 비디오 플레이어 또는 홈 시네마 시스템과 같은 오디오비주얼 애플리케이션들에서 구현될 수 있다.
상기 규정된 양태들 및 본 발명의 또 다른 양태들은 이하에 설명될 실시예의 예들로부터 명백할 것이고 실시예의 이들 예들을 참조하여 설명된다.
본 발명은 본 발명이 제한되지 않는 실시예의 예들을 참조하여 이하에 더 상세하게 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른 오디오 데이터 처리 디바이스를 도시한 도면.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 트랜지션 모델에 기초한 사운드 렌더링의 파라메트릭 조작(parametric manipulation)에 의해 수행된 트랜지션 모델로의 및 트랜지션 모델로부터의 트랜지션을 도시한 도면들.
도 6은 확성기 청취자 모델의 특수한 경우로서 일반적인 헤드폰 청취의 기하학적인 설명을 도시한 도면.
도 7은 2-채널 확성기 청취 구성에서 청취자의 시뮬레이션을 도시한 도면.
도 8은 가상 마이크로폰 쌍으로부터 멀리 이동된 하나의 오디오 트랙을 표현하는 확성기 쌍, 및 또 다른 트랙을 플레이하는 새로운 쌍의 확성기들이 청취 위치로 이동됨을 도시한 도면.
도 9는 본 발명의 일 예시적인 실시예에 따른 입체음향(stereophonic) 확성 기 청취에서의 트랙 트랜지션을 예시한 도면.
도면에서의 예시는 개략적이다. 상이한 도면들에서, 동일하거나 같은 엘리먼트들은 동일한 참조 부호들로 제공된다.
다음에서, 도 1을 참조하면, 본 발명의 일 예시적인 실시예에 따른 오디오 데이터(101, 102)를 처리하기 위한 디바이스(100)가 설명될 것이다.
도 1에 도시된 디바이스(100)는 CD, 하드디스크, 등과 같은 오디오 데이터 소스(107)을 포함한다. 오디오 데이터 소스(107) 상에, 제 1 오디오 아이템(104), 제 2 오디오 아이템(105) 및 제 3 오디오 아이템(106)(예를 들면, 3개의 뮤직 피스들)과 같은, 복수의 뮤직 트랙들이 저장된다.
대응하는 제어 신호의 수신 시에, 오디오 데이터(101, 102)(예를 들면, 좌측 및 우측 확성기에 대한 데이터)는 오디오 데이터 소스(107)로부터 마이크로처리기(microprocessor) 또는 중앙 처리 장치(central processing unit; CPU)와 같은 제어 유닛(103)에 전송될 수 있다.
제어 유닛(103)은 사용자 인터페이스 유닛(114)과 양방향 통신 하에 있고 사용자 인터페이스 유닛(114)과 신호들(115)을 교환할 수 있다. 사용자 인터페이스 유닛(114)은 LCD 디스플레이 또는 플라즈마 디바이스와 같은 디스플레이 엘리먼트를 포함하고, 버튼, 키패드, 조이스틱 또는 심지어 음성 인식 시스템의 마이크로폰과 같은 입력 엘리먼트를 포함한다. 인간 사용자는 제어 유닛(103)의 작동을 제어할 수 있고 따라서, 디바이스(100)의 사용자 선호도들(user preferences)을 조절할 수 있다. 예를 들면, 인간 사용자는 플레이 리스트의 아이템들을 통해 스위치할 수 있다. 또한 제어 유닛(103)은 대응하는 재생 또는 처리된 정보를 출력할 수 있다.
오디오 데이터(101, 102)를 아래에 더 상세하게 설명될 방식으로 처리한 후에, 제 1 처리된 오디오 데이터(112)는 재생을 위해 제 1 확성기(108)에 인가되어, 음향파들(110)을 생성하고, 음향파들(111)을 생성할 수 있는, 접속된 제 2 확성기(109)에 의해 재생성될 수 있는 제 2 처리된 오디오 데이터(113)가 획득된다.
제 1 오디오 아이템(104)이 재생성되고, 후속적으로 제 2 오디오 아이템(105)이 재생성될 시나리오에서, 이전 제 1 오디오 아이템(104)과 후속 제 2 오디오 아이템(105) 사이에 원활하거나 한결같은(seamless) 트랜지션 부분을 갖는 것이 바람직할 수 있다. 이 목적을 위해, 제어 유닛(103)은 제 1 오디오 아이템(104)과 제 2 오디오 아이템(105) 사이의 트랜지션 부분을 트랜지션 부분의 시간-관련 오디오 속성이 수정되는 방식으로 조작하기 위한 조작 유닛의 역할을 할 수 있다. 특히, 제 1 오디오 아이템(104)의 끝 부분 및 제 2 오디오 아이템(105)의 시작 부분(starting portion or beginning portion)이 처리될 수 있다. 따라서, 제 1 오디오 아이템(104)이 글라이드 아웃(glide out)하거나 페이드 아웃하고, 제 2 오디오 아이템(105)이 글라이드 인하거나 페이드 인하는 청취가능한 지각이 획득될 수 있다. 이 목적을 위해, 제 1 및 제 2 오디오 아이템들(104, 105)의 시간 속성들이 단지 트랜지션 부분에서 조절될 수 있는 반면에, 제 1 및 제 2 오디오 아이템들(104, 105)의 중앙 부분이 수정들 없이 재생될 수 있다. 이것은 오디오 데이터(101, 102)의 주파수 및 템포 값들을 수정하는 단계를 포함하여 글라이드 아웃하는 제 1 오디오 아이템(104)이 음향 도플러 효과에 따라 조작될 수 있어 인간 청취자에 대한 조작된 제 1 오디오 아이템(104)의 지각은 볼륨과 주파수/템포 둘 모두가 끝 부분에서 감소되는 것이다.
따라서, 제 2 오디오 아이템(105)의 시작 부분은 음향 도플러 효과에 따라 조작되어 제 2 오디오 아이템(105)의 시작 부분의 지각된 청취가능한 효과는 증가된 라우드니스 및 증가된 주파수/템포의 지각된 청취가능한 효과이다. 이 측정을 취함으로써, 매우 직관적인 페이딩 인 특성이 획득될 수 있다.
제 1 오디오 아이템(104)의 조작된 끝 부분 및 제 2 오디오 아이템(105)의 조작된 시작 부분은 동시에 또는 중첩 방식으로 재생될 수 있다.
제 1 오디오 아이템(104)의 끝 부분 및 제 2 오디오 아이템(105)의 시작 부분의 시간 특성들의 변동들은 적절한 사운드를 달성하기 위해 조화되거나 조정(coordinate)된다.
특히, 제어 유닛(103)은 제 1 오디오 아이템(104)의 끝 부분에 따라 음향파들을 보내는 가상 오디오 소스가 제 1 오디오 아이템(104)의 끝 부분을 재생하는 동안 떠나는 지각을 또한 생성할 수 있다. 특히, 이러한 움직임 경험 생성 특징은 제 2 오디오 아이템(105)의 시작 부분을 재생하는 가상 재생 디바이스가 인간 청취자에게 접근하는 청취가능한 지각을 생성할 수 있다.
도 1의 시스템은 자동 DJ 시스템으로서 사용될 수 있다.
본 발명의 실시예들은 임의의 공간 트랜지션 효과가 암시적이거나 명백하게 확성기-청취자 시스템의 모델에 기초하는 식견(insight)에 기초한다. 모델은 오디 오 워크들(audio works)의 원래 오디오 신호들의 디지털 필터링에 의해 달성된 동적인 렌더링 작동들을 제어하기 위해 사용될 수 있다. 평상시의 청취 시나리오에서, 오디오 신호들은 재생성 시스템의 확성기들을 통해 직접적으로 재생될 수 있다. 일 예시적인 실시예에 따라, 확성기 시스템은 5.1 서라운드 시스템 또는 파동 장 합성 시스템(wave field synthesis system)과 같은 범위가 입체음향 헤드폰들에서 멀티-채널 확성기 시스템에 이르는 임의의 구성일 수 있다.
일 예시적인 실시예에 따라, 평상시의 청취로부터 공간 트랙 트랜지션 효과에서 사용된 렌더링 모델로의 트랜지션 및 다시 평상시의 청취 모드로의 반대로된 트랜지션을 위한 일반적인 방식이 제공된다. 이러한 실시예에서, 평상시의 청취 시나리오가 일반적으로 공간 트랜지션 효과에서 사용된 렌더링 모드의 특수한 경우로서 식별될 수 있음이 가능하다. 따라서, 트랜지션 모델로의 및 트랜지션 모델로부터의 트랜지션은 트랜지션 모델에 기초한 사운드 렌더링의 파라메트릭 조작에 의해 수행될 수 있다. 이것은 도 2 내지 도 5에 예시되고 아래에 더 상세하게 설명될 것이다.
도 2는 스킴(scheme)(200)을 도시한다.
스킴(200)은 평상시의 청취에서의 오디오 재생성 경로(202)에서 재생되는 오디오 워크(201)를 도시한다. 오디오 재생성 시스템은 참조 번호(203)으로 표시되고 헤드폰들, 스테레오 시스템, 또는 5.1 시스템으로서 구현될 수 있다.
또한, 가상 확성기-청취자 모델은 참조 번호(204)로 표시되고 평상시의 청취를 표현하는 특수한 경우의 모델(205), 트랜지션 효과의 오디오 재생성 경로(206), 및 트랜지션 효과의 다른 재생성 경로(207)를 포함한다.
도 3은 스킴(300)을 도시한다. 스킴(300)에서, 제 2 오디오 워크(301)가 또한 도시된다.
도 3으로부터 취해질 수 있는 것과 같이, 트랜지션의 시작에서, 제 1 오디오 워크(201)가 트랜지션 모델의 평상시의 청취를 표현하는 특수한 경우의 모델(205)을 통해 라우팅된다. 평상시의 청취를 표현하는 특수한 경우의 모델(205)로부터 트랜지션 효과의 오디오 재생성 경로(206)로의 트랜지션이 시작되고 그것은 가상 확성기-청취자 모델(204)의 파라미터들의 파라메트릭 조작에 기초한다. 제 2 오디오 워크(301)의 동적인 트랜지션 렌더링은 트랜지션 효과의 다른 재생성 경로(207)를 통해 이 단계에서 시작할 수 있다.
도 4는 이후 시간에서의 스킴(400)을 도시한다.
연속적인 트랜지션에서, 제 1 오디오 워크(201)와 제 2 오디오 워크(301) 둘 모두는 가상 확성기-청취자 모델(204)을 사용하여 렌더링되어 원하는 동적인 공간 트랜지션 효과들을 달성한다. 전형적으로, 제 1 오디오 워크(201)는 그것이 청취자로부터 멀어지는 반면에, 제 2 오디오 워크(301)가 청취자로 접근하고 있는 것으로 보이는 방식으로 재생성된다.
후속적인 스킴(500)이 도 5에 도시된다.
도 5를 참조하면, 제 2 오디오 워크(301)의 동적인 렌더링은 그것이 평상시의 청취 시나리오를 표현하는 등가 모드(equivalent mode)로 끝나는 방식으로 수정된다. 즉, 제 2 오디오 워크(301)는 트랜지션 효과의 다른 재생성 경로(207)로부터 평상시의 청취를 표현하는 특수한 경우의 모델(205)로 시프트된다. 마지막으로, 특수한 모드의 가상 확성기 청취자 렌더링 시나리오로부터의 재생성은 제 2 오디오 워크(301)에 대한 도 2의 일반적인 오디오 재생성 시나리오로 스위치된다.
본 발명의 일 예시적인 실시예에 따라, 가상 확성기로부터 플레이된 신호(x(n))는 캡쳐링(capturing)된 신호가 y(n)=x(n)*δ(dT)/d2 에 의해 주어지도록 가상 마이크로폰을 사용하여 캡쳐링되는 모델을 사용하는 것이 가능하고 여기서, 별표는 컨볼루션(convolution)을 표현하고, d는 미터 단위로 가상 확성기와 마이크로폰 사이의 거리이고, T=F/c이며 여기서, F는 샘플링 주파수이고 c는 사운드의 속도이다. 실제적으로, 아주 작은 시간 인덱스들(fractional time indices)(dT)은 라그랑주 보간기 필터(Lagrange interpolator filter)와 같은 아주 작은 지연 필터들을 사용하여 구현될 수 있다.
도 6은 특수한 경우의 확성기-청취자 모델과 같이 일반적인 헤드폰 청취의 기하학적인 설명과 관련하는 어레이(610)을 도시한다.
도 6은 오디오 콘텐트를 재생성하기 위한 헤드폰들(600)을 도시한다. 또한, 좌측 가상 확성기(601) 및 우측 가상 확성기(602)가 도시된다. 또한, 좌측 가상 마이크로폰(603) 및 우측 가상 마이크로폰(604)이 도시된다. 무한 거리는 참조 번호(605)로 표시된다.
이전 논의를 기초하여, 스테레오 채널들 사이의 크로스토크(crosstalk), 또는 상호관련들은 기하학적인 음향 감지에서의 신호들 사이의 상호관련이 하나의 오 디오 채널로부터 또 하나의 오디오 채널로의 사운드의 누설(leakage)로서 모델링되지 않도록 동시에 보여질 수 있다.
본 발명의 일 실시예에서 평상시의 청취 모드는 헤드폰 청취이다. 특수한 경우의 제시된 확성기-청취자 모델로서 어레이(610)에 따른 이러한 헤드폰 오디오 청취 시나리오의 기하학적인 설명이 도 6에 예시된다. 원칙적으로, 서로 무한적으로 멀리 떨어져 있는 좌측 및 우측 가상 확성기들(601, 602)로부터 사운드가 플레이된다. 사운드는 좌측 및 우측 가상 확성기들(601, 602)에 가까이 위치된 좌측 및 우측 가상 마이크로폰들(603, 604)에 의해 캡쳐링된다. 그 다음, 캡쳐링된 신호들이 헤드폰들(600)을 통해 사용자에게 재생된다. 원래의 좌측 및 우측 채널들로부터의 입체음향 레코딩의 합성은 헤드폰 청취에서 정확하게 원래 신호들을 생성한다. 이 기하학적인 설명의 무한 거리는 2개의 신호들 사이의 크로스토크의 부족을 모델링하는 단지 하나의 실시예이고, 동일한 결과는 크로스토크를 감소시키거나 캔슬(cancel)하는 마이크로폰들(또는 확성기들, 또는 둘 모두) 방향성(directivity) 속성들을 제공함으로써 획득될 수 있다.
일 예시적인 실시예에 따라, 자유 음장(free field)에서 단지 전방향 가상 스피커들 및 마이크로폰들 만이 고려된다. 그러나, 본 발명의 실시예들은 방향성의 사용 및 사운드 필드 시뮬레이션들을 또한 포함한다. 음향 모델로의 룸 모델들(room models) 및 더 많은 현실적인 방향성 속성들을 포함하는데 필요한 측정들은 당업자에 의해 공지된다. 실제적으로, 심지어 전방향 트랜스듀서들(omnidirectional transducers)을 갖는 소스들 사이에 무한 거리를 갖는 것이 필 요하지 않거나 가능하다. 자유 음장 조건들에서 및 전방향 소스에 대한 데시벨 단위의 사운드의 감쇄는 LR = 20log10(R)에 의해 주어진다.
예를 들면, 20미터의 분리는 이미 전형적인 스테레오 오디오 자료에서 공간 이미지에 부정적인 영향을 미칠 수 있는 26dB의 크로스토크 감쇄를 제공한다. 이러한 표현은 지각적으로 원래 스테레오 재생성과 동일하고 즉시 직관적인 특수한 트랙 트랜지션 방법들을 또한 제공하지 않는다. 그러나, 좌측 및 우측 가상 확성기들(601, 602)과 좌측 및 우측 가상 마이크로폰들(603, 604) 위치들을 인간 청취자의 헤드(701)를 부가적으로 도시하는, 도 7에 예시된 또 다른 셋업(700)으로 이동시키는 또 다른 변환을 하는 것이 가능하다.
도 7에서, 좌측 및 우측 가상 확성기들(601, 602)은 전형적인 확성기 청취에서의 좌측 및 우측 확성기들의 위치들로 이동된다. 좌측 및 우측 가상 마이크로폰들(603, 604)는 전형적인 청취 상황에서 청취자의 귀들의 위치들을 표현하는 위치들로 이동된다.
따라서, 도 7은 2-채널 확성기 청취 시스템에서 청취자의 헤드(701)의 시뮬레이션을 도시한다.
좌측 가상 확성기(601)와 좌측 가상 마이크로폰(603) 사이의 거리는 도 6의 시나리오로부터 도 7의 시나리오까지의 트랜지션에서 일정하게 유지된다. 따라서, 스테레오 오디오 재생성의 전체적인 라우드니스는 대략 동일하게 유지된다. 그러나, 현재 실시예에 대한 특성은 절대적으로 필요하지 않다.
도 8은 재생될 오디오 데이터의 제 1 오디오 아이템(104) 및 제 2 오디오 아이템(105)를 포함하는 스킴(800)을 개략적으로 도시한다.
제 1 오디오 아이템(104)을 표현하는 좌측 및 우측 가상 확성기들(601, 602)의 쌍은 좌측 및 우측 가상 마이크로폰들(603, 604)의 쌍으로부터 멀리 이동될 수 있고, 제 2 오디오 아이템(105)과 관련된 확성기들(801, 802)의 새로운 쌍은 청취 위치로 이동된다.
전형적인 애플리케이션에서, 하나의 오디오 아이템(A)로부터 오디오 아이템(B)로의 점프(jump)는 다음의 절차를 취할 수 있다. 시퀀스는 사용자가 아이템(A)을 청취하고 있는 상황으로부터 시작될 수 있다.
1. 아이템(B)의 확성기 세트를 시작 위치에 위치시킨다. 시작 위치는 예를 들면, 사용자의 귀로부터 오른쪽에 대해 먼 위치일 수 있다.
2. 아이템(A)를 헤드폰 청취(도 6)로부터 확성기 청취(도 7)로 이동시키고 가상 확성기들을 청취 위치에 위치시킨다.
3. 아이템(A)를 타겟 위치(예를 들면, 사용자의 귀들로부터 좌측으로 먼 어딘가에)로 이동시키고 동시에 아이템(B)를 시작 위치로부터 청취 위치로 이동시킨다.
4. 아이템(B)를 표현하는 확성기들을 확성기 시뮬레이션으로부터 헤드폰 시뮬레이팅 구성들로 이동시킨다.
5. 아이템(A)를 뮤트한다.
동일한 알고리즘이 플레이 리스트에서 오디오 아이템들의 빠른 스캐닝이나 검색에 또한 사용될 수 있다. 이 경우, 오디오 아이템의 시퀀스가 우측에서 좌측으로(또는 그 반대로) 흘러(flow) 사용자에게 플레이 리스트의 콘텐트(content)의 개요(사전 검토)를 제공하거나, 특정한 아이템을 식별하는데 도움을 준다. 이 특정한 애플리케이션에서, 그것은 헤드폰 청취 시뮬레이션을 보내는데 유용할 수 있어 아이템들이 확성기 재생 구성에서 재생된다. 이 대안은 청취자를 지난 오디오 아이템들의 원활한 흐름을 제공한다. 이 유형의 시나리오에서, 플레이 리스트는 사용자가 좌측/우측, 앞으로/뒤로, 위/아래, 또는 그의 조합의 방향들로 자유롭게 조종(navigate)하는 2차원 또는 3차원 맵으로서 또한 표현될 수 있다.
동일한 실시예가 상이한 오디오 스트림들 사이의 트랜지션들을 수반하는 다른 가능한 애플리케이션들, 예를 들면 라디오 또는 TV 채널들, 배경 오디오를 갖는 인터넷 페이지들의 변경, 개인용 컴퓨터, 등에서 하나의 오디오 애플리케이션으로부터 또 다른 오디오 애플리케이션으로의 변경에 직접적으로 또한 적용될 수 있다.
동일한 시나리오가 단지 하나의 아이템을 수반하는 트랜지션들에 대한 새로운 유형들의 효과들을 발생시키기 위해 또한 사용될 수 있다. 예를 들면, 공간 트랜지션 효과는 오디오 아이템의 재생을 시작하고 정지시키는 것으로서, 또는 오디오 아이템을 일시적으로 뮤트하는데 있어서 사용될 수 있다.
또한, 공간 트랜지션들에 대한 동일한 매커니즘(mechanism)이 다양한 상이한 전화 애플리케이션들에서 또한 사용되어 상이한 토커들(talkers) 사이를 스위칭할 수 있다.
또 다른 실시예에서, 재생성 시스템은 도 9에 예시된 바와 같이 입체음향 확성기 시스템(900)일 수 있다.
도 9는 제 2 오디오 아이템(105)를 재생하는 가상 확성기들(901, 902) 및 제 2 오디오 아이템(105)을 재생하는 가상 확성기들(903, 904)을 도시한다. 또한, 좌측 및 우측 부가적 확성기들(905, 906)이 도시된다. 따라서, 도 9는 입체음향 확성기 청취에서의 트랙 트랜지션을 도시한다. 가상 확성기들(901 내지 904)은 이러한 바와 같이, 당업자들에 공지되는 3D 오디오 렌더링 기술들 중 임의의 하나를 사용하여 좌측 및 우측 부가적 확성기들(905, 906)에 공급되는 오디오 신호들을 처리함으로써 발생된다.
도 9의 시나리오에서, 신호들이 좌측 및 우측 부가적 확성기(905, 906)을 통해 직접적으로 플레이되는 평상시의 오디오 청취로의 트랜지션은 렌더링된 가상 확성기들의 위치들 및 방향 속성들이 실제 확성기들과 일치하는 방식으로 가상 확성기들(901 내지 904)을 포함하는 "버블(bubble)"을 이동시킴으로써 획득된다.
처리의 관점에서, 가상 확성기 청취자 시스템을 통한 제 2 오디오 아이템(105)의 재생으로부터 실제 좌측 및 우측 부가적 확성기들(905, 906)을 통한 재생으로의 트랜지션에 대한 다음 설명을 제공하는 것이 가능하다. 동적인 렌더링 알고리즘은 다음의 상이한 방정식들에 의해 설명될 수 있는 입력 신호들의 선형 디지털 필터링에 기초한다:
y(n)1 = x(n)1*h(n,t)ll + x(n)r*h(n,t)rl
y(n)r = x(n)1*h(n,t)rl + x(n)r*h(n,t)rr
여기서, 별표는 컨볼루션을 표현하고 렌더링 필터들은 임펄스 응답들(impulse responses)에 의해 표현된다. 직접적인 좌측 대 좌측(ll) 및 우측 대 우측(rr) 필터들이 단위 이득들 및 크로스토크 항목들(좌측 대 우측(lr) 및 우측 대 좌측(rl))로 감소되는 이 렌더링 모델의 하나의 특수한 경우는 없어진다. 이 특수한 경우는 확성기들을 통한 평상시의 청취와 똑같다. 따라서, 동적인 렌더링에서 트랜지션은 원래 랜더링 필터들로부터 특수한 경우를 표현하는 기능부들로의 계수들의 원활한 전개(evolution)를 구현하는 동적인 트랜지션 경로를 사용함으로써 임의의 공간 렌더링 시나리오로부터 달성될 수 있다.
용어 "포함하는(comprising)"는 다른 엘리먼트들이나 특징들을 제외하지 않고 부정관사 "a" 또는 "an"는 복수를 제외하지 않음이 주의되어야 한다. 또한, 상이한 실시예들에 연관하여 설명된 엘리먼트들은 조합될 수 있다.
청구항들에서의 참조 부호들은 청구항들의 범위를 제한하는 것으로서 해석되지 않아야 함이 또한 주의되어야 한다.

Claims (26)

  1. 연속 오디오 아이템들 간의 트랜지션(transitioning)을 위한 디바이스에 있어서,
    좌측 및 우측 오디오 데이터를 포함하는 시작 부분 및 끝 부분을 가지는 복수의 오디오 아이템들을 구비하는 오디오 소스; 및
    재생을 위한 상기 복수의 오디오 아이템들의 제 1 및 제 2 연속 아이템들의 상기 시작 부분 및 끝 부분들의 시간-관련 오디오 속성을 수정하도록 구성되고, 상기 오디오 소스에 접속되는 제어기를 포함하는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  2. 제 1 항에 있어서,
    상기 제 1 오디오 아이템의 상기 끝 부분 및 상기 연속 제 2 오디오 아이템의 상기 시작 부분은 동시 및 중첩으로부터 선택되는 방식으로 재생을 위해 수정되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  3. 제 1 항에 있어서,
    상기 시간-관련 속성은 템포(tempo), 피치(pitch), 및 주파수 중 적어도 하나로부터 선택되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  4. 제 1 항에 있어서,
    연속 오디오 아이템들을 선택하기 위한 인터페이스를 더 포함하는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  5. 제 1 항에 있어서,
    상기 제 1 오디오 아이템의 상기 끝 부분 및 상기 연속 제 2 오디오 아이템의 시작 부분은 조화(harmonized) 또는 조정되는(coordinated) 것으로부터 선택되는 방식으로 수정되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  6. 제 5 항에 있어서,
    상기 시간-관련 오디오 속성은 템포 및 주파수 중 적어도 하나로부터 선택되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  7. 제 1 항에 있어서,
    상기 제 1 및 제 2 연속 아이템들의 상기 시작 부분 및 끝 부분만이 수정되고, 상기 제 1 및 제 2 연속 아이템들의 나머지 부분들은 수정되지 않는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  8. 제 1 항에 있어서,
    상기 제어기는 또한 상기 제 1 및 제 2 연속 오디오 아이템들의 상기 오디오 데이터를 순차로 수신하도록 구성되어 있는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  9. 제 1 항에 있어서,
    수정된 상기 제 1 및 제 2 연속 오디오 아이템들은 재생 동안 이동하고 있는 청취가능한 경험(audible experience)을 제공하는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  10. 제 1 항에 있어서,
    수정된 상기 제 1 및 제 2 연속 오디오 아이템들의 재생은 상기 제 1 오디오 아이템의 상기 끝 부분 동안 떠나고 있는 청취가능한 경험(audible experience of departing)을 제공하는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  11. 삭제
  12. 삭제
  13. 제 8 항에 있어서,
    상기 제어기는 또한
    멀리 떨어진 시작 위치로부터 시작하는(originating) 것으로서 지각가능하도록 상기 제 2 오디오 아이템의 상기 시작 부분을 제 1 처리하고;
    중앙 위치로부터 멀리 떨어진 마지막 위치로 시프트되는 위치로부터 시작하는 것으로서 지각가능하도록 상기 제 1 오디오 아이템의 상기 끝 부분을 제 2 처리하고;
    상기 멀리 떨어진 시작 위치로부터 상기 중앙 위치로 시프트되는 위치로부터 시작하는 것으로서 지각가능하도록 상기 제 2 오디오 아이템의 상기 시작 부분을 제 3 처리하고;
    상기 제 1 오디오 아이템의 상기 끝 부분을 뮤트(mute)되도록 제 4 처리하여,
    상기 제 1 및 제 2 연속 아이템들의 끝 및 시작 사이의 트랜지션을 발생하도록 구성되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  14. 제 1 항에 있어서,
    상기 좌측 및 우측 오디오 데이터의 상기 시간-관련 오디오 속성은 점진적으로 수정되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  15. 제 1 항에 있어서,
    상기 좌측 및 우측 오디오 데이터의 상기 시간-관련 오디오 속성은 음향 도플러 효과(acoustic Doppler effect)에 따라 청취가능한 경험을 생성하도록 수정되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  16. 제 1 항에 있어서,
    상기 좌측 및 우측 오디오 데이터의 상기 시간-관련 오디오 속성은 상기 제 1 및 제 2 연속 오디오 아이템의 상기 시작 부분 및 끝 부분 및 중앙 부분들 사이의 원활한 접속(smooth connection)을 달성하기 위해 수정되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  17. 제 1 항에 있어서,
    상기 시작 부분 및 끝 부분의 상기 오디오 데이터의 상기 시간-관련 오디오 속성은 라우드니스(loudness)를 부가하기 위해 수정되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  18. 제 1 항에 있어서,
    상기 시작 부분 및 끝 부분의 상기 오디오 데이터의 상기 시간-관련 오디오 속성은 상기 오디오 데이터를 시간 지연시키기 위해 수정되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  19. 제 1 항에 있어서,
    좌측 및 우측 오디오 데이터의 각각의 재생을 위한 좌측 및 우측 출력 장치를 더 포함하고, 상기 출력 장치는 헤드폰들, 이어폰들(earpieces), 및 확성기들 중 적어도 하나로부터 선택되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  20. 제 1 항에 있어서,
    상기 복수의 오디오 아이템들은 뮤직, 음성(speech), 및 오디오비주얼 신호들 중 적어도 하나를 포함하는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  21. 제 1 항에 있어서,
    상기 제어기는 자동 디스크 쟈키 시스템(automatic disc jockey system), 플레이 리스트에서 오디오 아이템들을 검색하기 위한 시스템, 브로드캐스팅 채널 스위치 시스템, 공용 인터넷 페이지 스위치 시스템, 전화 통신(telephony) 채널 스위치 시스템, 오디오 아이템 재생 시작 시스템, 및 오디오 아이템 재생 정지 시스템 중 하나로부터 선택되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  22. 제 1 항에 있어서,
    상기 제어기는 오디오 서라운드 시스템, 모바일 폰, 헤드셋, 헤드폰 재생 장치, 확성기 재생 장치, 보청기, 텔레비전 디바이스, 비디오 레코더, 모니터, 게이밍 디바이스, 랩톱, 오디오 플레이어, DVD 플레이어, CD 플레이어, 하드디스크-기반 미디어 플레이어, 라디오 디바이스, 인터넷 라디오 디바이스, 공용 엔터테인먼트 디바이스, MP3 플레이어, 하이-파이 시스템, 차량용 엔터테인먼트 디바이스(vehicle entertainment device), 차량 엔터테인먼트 디바이스(car entertainment device), 의료 통신 시스템, 신체-착용형 디바이스(body-worn device), 음성 통신 디바이스, 홈 시네마 시스템, 홈 극장 시스템, 평면 텔레비전 장치, 환경 생성 디바이스(ambiance creation device), 서브우퍼, 및 뮤직 홀 시스템 중 하나로부터 선택되는, 연속 오디오 아이템들 간의 트랜지션을 위한 디바이스.
  23. 삭제
  24. 연속 오디오 아이템들 간의 트랜지션을 위한 방법에 있어서,
    좌측 및 우측 오디오 데이터를 포함하고 시작 부분 및 끝 부분을 가지는 복수의 오디오 아이템들을 포함하는 오디오 소스를 제공하는 단계;
    상기 복수의 오디오 아이템의 제 1 및 제 2 연속 아이템들을 수신하는 단계; 및
    재생을 위한 제 1 및 제 2 수신 오디오 아이템들의 시작 부분 및 끝 부분의 시간-관련 오디오 속성을 수정하는 단계를 포함하는, 연속 오디오 아이템들 간의 트랜지션을 위한 방법.
  25. 프로세서에 의해 실행될 때 연속 오디오 아이템들 간의 트랜지션을 위한 방법을 수행하도록 상기 프로세서를 구성하는 컴퓨터 명령들을 포함하는 컴퓨터-판독가능한 기록 매체에 있어서, 상기 방법은
    좌측 및 우측 오디오 데이터를 포함하고 시작 부분 및 끝 부분들을 가지는 복수의 오디오 아이템들을 포함하는 오디오 소스를 제공하는 단계;
    상기 복수의 연속 오디오 아이템들의 제 1 및 제 2 연속 아이템들을 수신하는 단계; 및
    재생을 위한 상기 제 1 및 제 2 수신 오디오 아이템들의 상기 시작 부분 및 끝 부분의 시간-관련 오디오 속성을 수정하는 단계를 포함하는, 컴퓨터-판독가능한 기록 매체.
  26. 삭제
KR1020097026429A 2007-05-22 2008-05-21 오디오 데이터를 처리하기 위한 디바이스 및 방법 KR101512992B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07108601.1 2007-05-22
EP07108601 2007-05-22
PCT/IB2008/051998 WO2008142651A1 (en) 2007-05-22 2008-05-21 A device for and a method of processing audio data

Publications (2)

Publication Number Publication Date
KR20100017860A KR20100017860A (ko) 2010-02-16
KR101512992B1 true KR101512992B1 (ko) 2015-04-17

Family

ID=39680996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097026429A KR101512992B1 (ko) 2007-05-22 2008-05-21 오디오 데이터를 처리하기 위한 디바이스 및 방법

Country Status (6)

Country Link
US (1) US20100215195A1 (ko)
EP (1) EP2153441A1 (ko)
JP (1) JP5702599B2 (ko)
KR (1) KR101512992B1 (ko)
CN (1) CN101681663B (ko)
WO (1) WO2008142651A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
TWM333022U (en) * 2007-05-08 2008-05-21 Hsin-Yuan Kuo Surrounding-audio earphone
US8384916B2 (en) 2008-07-24 2013-02-26 Massachusetts Institute Of Technology Dynamic three-dimensional imaging of ear canals
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US20120288122A1 (en) 2010-01-15 2012-11-15 Bang & Olufsen A/S Method and a system for an acoustic curtain that reveals and closes a sound scene
WO2012002467A1 (ja) * 2010-06-29 2012-01-05 Kitazawa Shigeyoshi 音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体
US8963722B2 (en) * 2010-10-14 2015-02-24 Sony Corporation Apparatus and method for playing and/or generating audio content for an audience
US9326082B2 (en) * 2010-12-30 2016-04-26 Dolby International Ab Song transition effects for browsing
US9626975B2 (en) 2011-06-24 2017-04-18 Koninklijke Philips N.V. Audio signal processor for processing encoded multi-channel audio signals and method therefor
US20130290818A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation Method and apparatus for switching between presentations of two media items
US20130308800A1 (en) * 2012-05-18 2013-11-21 Todd Bacon 3-D Audio Data Manipulation System and Method
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
CN104035826A (zh) * 2013-03-07 2014-09-10 安凯(广州)微电子技术有限公司 一种消除软件噪声方法及装置
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015006112A1 (en) 2013-07-08 2015-01-15 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US9654076B2 (en) 2014-03-25 2017-05-16 Apple Inc. Metadata for ducking control
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
JP6360253B2 (ja) * 2014-09-12 2018-07-18 ドルビー ラボラトリーズ ライセンシング コーポレイション サラウンドおよび／または高さスピーカーを含む再生環境におけるオーディオ・オブジェクトのレンダリング
US9774974B2 (en) 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10531182B2 (en) 2015-12-28 2020-01-07 Zound Industries International Ab Multi-function control of one or several multimedia playback devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
EP3280159B1 (en) * 2016-08-03 2019-06-26 Oticon A/s Binaural hearing aid device
CN108076415B (zh) * 2016-11-16 2020-06-30 南京大学 一种多普勒音效的实时实现方法
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
CN109714697A (zh) * 2018-08-06 2019-05-03 上海头趣科技有限公司 三维声场多普勒音效的仿真方法及仿真系统
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047614A1 (en) * 2003-08-25 2005-03-03 Magix Ag System and method for generating sound transitions in a surround environment

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5337363A (en) * 1992-11-02 1994-08-09 The 3Do Company Method for generating three dimensional sound
US5521981A (en) * 1994-01-06 1996-05-28 Gehring; Louis S. Sound positioner
JPH07230283A (ja) * 1994-02-18 1995-08-29 Roland Corp 音像定位装置
JP3464290B2 (ja) * 1994-10-13 2003-11-05 ローランド株式会社 自動演奏装置
JP3472643B2 (ja) * 1995-04-14 2003-12-02 ローランド株式会社 補間装置
US6011851A (en) * 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
EP1162621A1 (en) * 2000-05-11 2001-12-12 Hewlett-Packard Company, A Delaware Corporation Automatic compilation of songs
GB2378626B (en) * 2001-04-28 2003-11-19 Hewlett Packard Co Automated compilation of music
JP4646099B2 (ja) * 2001-09-28 2011-03-09 パイオニア株式会社 オーディオ情報再生装置及びオーディオ情報再生システム
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
JP3799360B2 (ja) * 2004-04-19 2006-07-19 株式会社ソニー・コンピュータエンタテインメント 楽音再生装置、楽音再生方法、楽音再生プログラム及び記録媒体
JP4232685B2 (ja) * 2004-05-07 2009-03-04 ヤマハ株式会社 ミキサ装置の制御方法、ミキサ装置およびプログラム
US20050259532A1 (en) * 2004-05-13 2005-11-24 Numark Industries, Llc. All-in-one disc jockey media player with fixed storage drive and mixer
JP4397330B2 (ja) * 2005-01-24 2010-01-13 ヤマハ株式会社 楽曲再生装置及び楽曲再生プログラム
WO2006104162A1 (ja) * 2005-03-28 2006-10-05 Pioneer Corporation 楽曲データ調整装置
EP1959427A4 (en) * 2005-12-09 2011-11-30 Sony Corp MUSIC EDITING DEVICE, MUSIC EDITING INFORMATION GENERATION METHOD AND RECORDING MEDIUM ON WHICH MUSIC EDITOR INFORMATION IS RECORDED
US8280539B2 (en) * 2007-04-06 2012-10-02 The Echo Nest Corporation Method and apparatus for automatically segueing between audio tracks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047614A1 (en) * 2003-08-25 2005-03-03 Magix Ag System and method for generating sound transitions in a surround environment

Also Published As

Publication number Publication date
CN101681663B (zh) 2013-10-16
JP5702599B2 (ja) 2015-04-15
KR20100017860A (ko) 2010-02-16
JP2010528335A (ja) 2010-08-19
WO2008142651A1 (en) 2008-11-27
CN101681663A (zh) 2010-03-24
US20100215195A1 (en) 2010-08-26
EP2153441A1 (en) 2010-02-17

Similar Documents

Publication Publication Date Title
KR101512992B1 (ko) 오디오 데이터를 처리하기 위한 디바이스 및 방법
US8204615B2 (en) Information processing device, information processing method, and program
JP2019097204A (ja) 三次元拡張オーディオを提供するシステム及び方法
KR102430769B1 (ko) 몰입형 오디오 재생을 위한 신호의 합성
US8903525B2 (en) Sound processing device, sound data selecting method and sound data selecting program
KR20140027954A (ko) 3차원 오디오 사운드트랙의 인코딩 및 재현
JP2010538572A (ja) オーディオ信号デコーディング方法及び装置
CN102972047A (zh) 用于再现立体声的方法和设备
CN101489173B (zh) 信号处理装置和信号处理方法
JP6868093B2 (ja) 音声信号処理装置及び音声信号処理システム
KR102527336B1 (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
JP2022548400A (ja) ハイブリッド式近距離／遠距離場スピーカー仮想化
JP2003009296A (ja) 音響処理装置および音響処理方法
KR20050064442A (ko) 이동통신 시스템에서 입체음향 신호 생성 장치 및 방법
CN114915874A (zh) 音频处理方法、装置、设备、介质及程序产品
JP2022537513A (ja) 音場関連レンダリング
JP2006287878A (ja) 携帯電話端末
JPH0415693A (ja) 音源情報制御装置
JP2003079000A (ja) 映像音響装置の臨場感制御方式
CN105979468A (zh) 一种音频处理方法及装置
KR100566131B1 (ko) 음상 정위 기능을 가진 입체 음향을 생성하는 장치 및 방법
US20120078399A1 (en) Sound processing device, sound fast-forwarding reproduction method, and sound fast-forwarding reproduction program
JPH09163500A (ja) バイノーラル音声信号生成方法及びバイノーラル音声信号生成装置
WO2022124084A1 (ja) 再生装置、再生方法、情報処理装置、情報処理方法、およびプログラム
Brandenburg et al. Audio Codecs: Listening pleasure from the digital world

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee