KR100561867B1 - 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
KR100561867B1
KR100561867B1 KR1020040013679A KR20040013679A KR100561867B1 KR 100561867 B1 KR100561867 B1 KR 100561867B1 KR 1020040013679 A KR1020040013679 A KR 1020040013679A KR 20040013679 A KR20040013679 A KR 20040013679A KR 100561867 B1 KR100561867 B1 KR 100561867B1
Authority
KR
South Korea
Prior art keywords
audio signal
information
terminal
network
bit rate
Prior art date
Application number
KR1020040013679A
Other languages
English (en)
Other versions
KR20040080982A (ko
Inventor
오은미
김상욱
이상조
김미영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US10/793,098 priority Critical patent/US7561933B2/en
Priority to EP04251309.3A priority patent/EP1455504B1/en
Priority to CN200410063134.4A priority patent/CN1551588B/zh
Priority to JP2004064664A priority patent/JP4970710B2/ja
Publication of KR20040080982A publication Critical patent/KR20040080982A/ko
Application granted granted Critical
Publication of KR100561867B1 publication Critical patent/KR100561867B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65—Arrangements characterised by transmission systems for broadcast
    • H04H20/76—Wired systems
    • H04H20/82—Wired systems using signals not modulated onto a carrier
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D5/00—Bulkheads, piles, or other structural elements specially adapted to foundation engineering
    • E02D5/74—Means for anchoring structural elements or bulkheads
    • E02D5/80—Ground anchors
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D5/00—Bulkheads, piles, or other structural elements specially adapted to foundation engineering
    • E02D5/22—Piles
    • E02D5/60—Piles with protecting cases
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D2600/00—Miscellaneous
    • E02D2600/20—Miscellaneous comprising details of connection between elements
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D2600/00—Miscellaneous
    • E02D2600/30—Miscellaneous comprising anchoring details

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체가 개시된다. 네트워크과 연결된 단말이 재생할 오디오 신호를 처리하는 이 장치는, 오디오 신호를 입력하는 입력부 및 네트워크 정보 및 단말 정보 중 적어도 하나와 신호 정보를 이용하여 오디오 신호를 처리하는 신호 처리부를 구비하고, 네트워크 정보는 수시로 변하는 상태를 갖는 네트워크에 대한 정보이고, 단말 정보는 수시로 변하는 상태를 갖는 단말에 대한 정보이고, 신호 정보는 오디오 신호에 대한 정보인 것을 특징으로 한다. 그러므로, 항상 일정하지 않고 수시로 변하는 네트워크 및/또는 단말 정보를 실시간으로 이용하여 오디오 신호를 효율적으로 스트리밍 처리할 수 있기 때문에, 서버등으로부터 전달되는 오디오 신호가 끊김없이 지속적으로 단말에 수신될 수 있도록 하면서 아울러 그 단말에 적합한 우수한 음질로 재생될 수 있도록 하는 효과를 갖는다.

Description

오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체{Apparatus and method for processing audio signal, and computer-readable recording media for storing computer program}
도 1은 본 발명에 의한 오디오 신호 처리 장치의 블럭도이다.
도 2는 네트워크의 가용 대역폭을 예시적으로 나타내는 그래프이다.
도 3은 도 1에 도시된 주 처리부의 본 발명에 의한 바람직한 실시예의 블럭도이다.
도 4는 도 1에 도시된 신호 처리부의 본 발명에 의한 다른 실시예의 블럭도이다.
도 5는 도 4에 도시된 동작 결정부의 본 발명에 의한 일 실시예의 블럭도이다.
도 6은 도 4에 도시된 동작 결정부의 본 발명에 의한 다른 실시예의 블럭도이다.
도 7은 본 발명에 의한 오디오 신호 처리 방법을 설명하기 위한 플로우차트이다.
도 8은 도 7에 도시된 제502 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 9는 도 7에 도시된 제502 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 10은 도 7에 도시된 제502 단계에 대한 본 발명에 의한 또 다른 실시예를 설명하기 위한 플로우차트이다.
도 11은 도 10에 도시된 제804 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 12는 오디오 신호 처리 방법에 대한 문법의 본 발명에 의한 실시예를 나타내는 도면이다.
도 13은 오디오 신호 처리 방법에 대한 의미의 본 발명에 의한 실시예를 나타내는 도면이다
도 14는 오디오 신호 처리 방법에 대한 문법의 본 발명에 의한 다른 실시예를 나타내는 도면이다.
도 15는 오디오 신호 처리 방법에 대한 의미의 본 발명에 의한 다른 실시예를 나타내는 도면이다.
도 16은 채널 개수 조정 동작의 문법에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
도 17은 채널 개수 조정 동작의 의미에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
도 18은 대역 제거 동작의 문법에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
도 19는 대역 제거 동작의 의미에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
도 20은 데이타 선택 동작의 문법에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
도 21은 데이타 선택 동작의 의미에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
도 22는 채널 개수 조정 동작에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
도 23은 MPEG-21 DIA 툴들의 편성을 나타내는 도면이다.
도 24는 데이타 선택 동작의 내용을 예시적으로 나타내는 도면이다.
도 25는 채널 개수 조정 동작의 내용을 예시적으로 나타내는 도면이다.
도 26은 대역 제거 동작의 내용을 예시적으로 나타내는 도면이다.
도 27은 일반적인 스트리밍 시스템의 개략적인 외관을 나타내는 도면이다.
도 28은 ODG를 이용하여 표현된 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면이다.
도 29는 DI를 이용하여 표현된 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면이다.
도 30은 ODG를 이용하여 표현된 뉴스에 대한 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면이다.
도 31은 ODG를 이용하여 표현된 팝 음악에 대한 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면이다.
도 32는 XML로서 표현된 테이블의 본 발명에 의한 실시예를 나타내는 도면이다.
도 33은 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면이다.
도 34는 BSAC에 gBSD를 적용한 일 실시예를 나타내는 도면이다.
도 35는 BSAC에 gBSD를 적용한 다른 실시예를 나타내는 도면이다.
본 발명은 오디오 신호를 처리하는 장치나 소프트웨어, 오디오 신호를 유선이나 무선으로 공급하는 서비스 시스템이나 장치 등에 관한 것으로서, 특히 스트리밍(steaming)되는 오디오 신호를 처리하는 장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
인터넷(internet)을 이용한 주문형 음악(MOD:Music On Demand) 또는 주문형 오디오(AOD:Audio On Demand) 또는 유선이나 무선 휴대 기기 등은 실시간 멀티미디어 스트리밍을 요구한다. 이러한 스트리밍을 요구하는 상황에서, 단말(미도시)에 연결된 네트워크(미도시)가 허용하는 대역폭보다 서버(미도시)로부터 단말로 보내야할 오디오 신호의 데이타의 량이 클 경우, 종래의 오디오 신호 처리 방법은 라우터(router)의 버퍼링 및 병목 현상으로 인해 패킷의 지연과 손실을 발생시킬 수 있 는 문제점을 갖는다.
또한, 스트리밍을 요구하는 상황에서, 종래의 오디오 신호 처리 방법은 오디오 신호를 재생하는 단말의 능력이나 종류등 단말이 처한 환경을 고려하지 않고 오디오 신호를 처리하였다. 예컨대, 단말이 개인용 컴퓨터(PC:Personal Computer)인가 그렇지 않으면 개인용 디지탈 휴대장치(PDA:Personal Digital Assitanct)인가에 무관하게 동일한 비트율로 오디오 신호를 스트리밍하였다.
결국, 전술한 종래의 오디오 신호 처리 방법은 오디오 신호의 비트율 뿐만 아니라 단말의 종류에 무관하게 오디오 신호를 처리하여 스트리밍한다. 이로 인하여, 종래의 오디오 신호 처리 방법은 패킷의 지연과 손실을 야기시키거나 단말기 내부의 처리 속도 지연으로 단말에서 오디오 신호를 재생하는 음질을 저하시키는 문제점을 갖는다.
따라서, 서비스 질을 향상시키기 위한 적응 방법(Adaptation Quality of Service)의 필요성이 대두된다.
본 발명이 이루고자 하는 제1 기술적 과제는, 오디오 신호를 재생할 단말 및 그 단말에 연결된 네트워크가 처한 물리적 환경에 적합하게 오디오 신호를 처리하여 스트리밍할 수 있는 오디오 신호 처리 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 제2 기술적 과제는, 오디오 신호를 재생할 단말 및 그 단말에 연결된 네트워크가 처한 물리적 환경에 적합하게 오디오 신호를 처리하여 스트리밍할 수 있는 오디오 신호 처리 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 제3 기술적 과제는, 오디오 신호를 재생할 단말 및 그 단말에 연결된 네트워크가 처한 물리적 환경에 적합하게 오디오 신호를 처리하여 스트리밍할 수 있는 오디오 신호 처리 장치를 제어하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기 제1 과제를 이루기 위해, 네트워크과 연결된 단말이 재생할 오디오 신호를 처리하는 본 발명에 의한 오디오 신호 처리 장치는, 상기 오디오 신호를 입력하는 입력부 및 네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여, 상기 입력부로부터 입력한 오디오 신호를 처리하는 신호 처리부로 구성되고, 상기 네트워크 정보는 수시로 변하는 상태를 갖는 상기 네트워크에 대한 정보이고, 상기 단말 정보는 수시로 변하는 상태를 갖는 상기 단말에 대한 정보이고, 상기 신호 정보는 상기 오디오 신호에 대한 정보인 것이 바람직하다.
상기 제2 과제를 이루기 위해, 네트워크과 연결된 단말이 재생할 오디오 신호를 처리하는 본 발명에 의한 오디오 신호 처리 방법은, 상기 오디오 신호를 입력하는 단계 및 네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여 상기 오디오 신호를 처리하는 단계로 이루어지고, 상기 네트워크 정보는 수시로 변하는 상태를 갖는 상기 네트워크에 대한 정보이고, 상기 단말 정보는 수시로 변하는 상태를 갖는 상기 단말에 대한 정보이고, 상기 신호 정보는 상기 오디오 신호에 대한 정보인 것이 바람직하다.
상기 제3 과제를 이루기 위해, 네트워크과 연결된 단말이 재생할 오디오 신 호를 처리하는 오디오 신호 처리 장치를 제어하는 적어도 하나의 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 본 발명에 의한 기록 매체는, 상기 오디오 신호를 입력시키는 단계 및 네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여 상기 오디오 신호를 처리시키는 단계를 수행하기 위한 컴퓨터 프로그램을 저장하고, 상기 네트워크 정보는 수시로 변하는 상태를 갖는 상기 네트워크에 대한 정보이고, 상기 단말 정보는 수시로 변하는 상태를 갖는 상기 단말에 대한 정보이고, 상기 신호 정보는 상기 오디오 신호에 대한 정보인 것이 바람직하다.
이하, 본 발명에 의한 오디오 신호 처리 장치 및 그 실시예들 각각의 구성 및 동작을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 의한 오디오 신호 처리 장치의 블럭도로서, 입력부(10), 신호 처리부(12) 및 출력부(14)로 구성된다.
도 1에 도시된 오디오 신호 처리 장치는 네트워크(미도시)와 연결된 단말(미도시)이 재생할 오디오 신호를 처리하는 역할을 한다. 여기서, 단말과 연결된 네트워크의 상태는 항상 일정하지 않고 수시로 변하며, 단말의 상태 역시 네트워크의 상태와 마찬가지로 수시로 변한다.
이 때, 본 발명의 일 실시예에 의하면, 도 1에 도시된 오디오 신호 처리 장치는 오디오 신호를 단말로 스트리밍하는 서버측(미도시)에 포함될 수 있다. 여기서, 서버측은 서버(미도시) 등을 포함할 수 있다.
본 발명의 다른 실시예에 의하면, 도 1에 도시된 오디오 신호 처리 장치는 단말에 포함될 수도 있다.
본 발명의 또 다른 실시예에 의하면, 도 1에 도시된 오디오 신호 처리 장치는 서버측 뿐만 아니라 단말에 각각 포함될 수 있다.
도 1에 도시된 입력부(10)는 오디오 신호를 입력하여 신호 처리부(12)로 출력한다.
신호 처리부(12)는 입력부(10)로부터 출력되는 오디오 신호를 입력하고, 입력단자 IN1을 통해 네트워크 정보 및 단말 정보중 적어도 하나를 입력한다. 이 때, 신호 처리부(12)는 입력한 네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여 오디오 신호를 처리하고, 처리된 결과를 출력한다. 여기서, 네트워크 정보 및 단말 정보는 단말로부터 제공될 수 있다. 또한, 신호 처리부(12)는 신호 정보를 입력부(10)로부터 입력할 수도 있고, 입력부(10)로부터 입력한 오디오 신호로부터 신호 정보를 생성할 수도 있다.
본 발명에 의하면, 전술한 네트워크 정보란 네트워크에 대한 정보로서, 네트워크의 상태를 포함할 수 있다. 예를 들면, 네트워크 정보는, 네트워크의 가용 대역폭(available bandwidth), 네트워크의 정적(static) 능력 및 네트워크의 시변(time-varying) 조건중 적어도 하나를 포함할 수 있다. 여기서, 네트워크의 가용 대역폭은 네트워크와 연결된 경로를 통해 이용하는 이용자가 얼마나 많은가에 따라 항상 변할 수 있다.
만일, 네트워크가 CDMA2000 1x 라고 할 때, 자동차의 이동 속도가 변함에 따라 네트워크 모니터링 프로그램(network monitoring program)에 의해 평균 가용 대역폭(BW)이 측정될 수 있다.
도 2는 네트워크의 가용 대역폭을 예시적으로 나타내는 그래프로서, 횡축은 초(sec)의 단위를 갖는 시간을 나타내고, 종축은 네트워크의 가용 대역폭(BW) 및 자동차가 움직이는 속도를 각각 나타낸다. 여기서, 가용 대역폭(BW)은 초당 킬로 비트수(kbps:kilo bit per second)의 단위를 가지며 ■로서 표현되고, 속도는 킬로 미터(㎞)의 단위를 가지며 ◆로서 표현된다.
전술한 평균 가용 대역폭(BW)은 도 2에 도시된 바와 같이 변할 수 있다.
전술한 네트워크의 정적 능력이란 초당 비트수(bits/sec)로 표현되는 네트워크의 최대 대역폭 등을 의미하고, 네트워크의 시변 조건이란 잇다른 패킷들(successive packets)의 단방향 패킷 지연차(one-way packet delay difference) 또는 특정 채널에 대한 패킷 손실율 등을 의미한다. 예를 들어, 패킷 손실율은 '0'부터 '1'까지 변할 수 있다. 여기서, 패킷 손실율이 '0'이라는 것은 손실이 없다는 것을 의미하고, 패킷 손실율이 '1'이라는 것은 모든 패킷이 손실되었다는 것을 의미한다.
한편, 단말 정보란 단말에 대한 정보로서, 상기 단말의 능력, 단말의 종류 및 단말의 상태중 적어도 하나를 포함할 수 있다. 예를 들면, 단말 정보는 단말의 허용 비트율, 단말의 데이타 처리 능력(computation time), 단말의 전력에 대한 정보, 단말의 저장 능력에 대한 정보 및 단말의 종류중 적어도 하나를 포함할 수 있다. 여기서, 단말의 허용 비트율이란 kbps의 단위를 가질 수 있으며 단말이 받을 수 있는 데이타의 량을 의미한다. 이 때, 단말의 데이타 처리 능력은 예를 들면, 단말에 내장될 수 있는 중앙 처리 장치(CPU:Central Processing Uint)의 처리 능력 등을 포함할 수 있다. 또한, 단말의 전력에 대한 정보는 시간당 암페어(Ampere-Hours)의 단위를 갖는 단말의 평균 전력 소비 등을 포함할 수 있고, 단말의 저장 능력은 메가 바이트(Mbytes)의 단위를 갖는 단말의 저장 용량 등을 포함할 수 있다. 단말의 종류는 예를 들어 단말이 개인용 컴퓨터(PC)인가 개인용 디지탈 휴대장치(PDA)를 나타내는 정보를 포함할 수 있다.
전술한 단말 정보와 네트워크 정보를 측정하는 종래의 방법들중 하나가 "System and method of network adaptive real-time multimedia streaming"라는 제목의 미국 공개 번호 US2003/0083870에 개시되어 있다.
한편, 전술한 신호 정보란 오디오 신호에 대한 정보로서, 오디오 신호의 비트율 또는 오디오 신호의 종류에 대한 정보를 포함할 수 있다. 여기서, 오디오 신호의 비트율이 높다는 것은 스트리밍할 데이타의 량이 많다는 것을 의미한다. 오디오 신호의 종류란 오디오 신호의 속성으로서, 예를 들어 오디오 신호가 뉴스(news)인가 팝(pop)인가 클래식(classic) 음악인가 모노(mono)인가 스테레오 (stereo)인가 다중 채널(multi-channel) 인가 등을 나타낸다.
이 때, 출력부(14)는 신호 처리부(12)에서 처리된 오디오 신호를 출력단자 OUT1을 통해 스트리밍한다. 출력부(14)는 신호 처리부(12)에서 처리된 오디오 신호를 저장 및 재생할 수도 있다.
여기서, 본 발명에 의하면, 전술한 본 발명에 의한 오디오 신호 처리 장치 및 그 장치의 실시예들 각각은 입력부(10)와 신호 처리부(12)만으로 구현될 수도 있다. 예컨대, 도 1에 도시된 오디오 신호 처리 장치가 단말에 포함될 경우, 도 1 에 도시된 오디오 신호 처리 장치는 입력부(10)와 신호 처리부(12)만으로 구현될 수 있다.
본 발명의 일 실시예에 의하면, 도 1에 도시된 신호 처리부(12)는 주 처리부(20)로 구현될 수 있다. 여기서, 주 처리부(20)는 '채널 개수 조정 동작', '데이타 선택 동작' 및 '대역 제거 동작'중 적어도 하나를 입력단자 IN1을 통해 입력한 네트워크 정보 및 단말 정보중 적어도 하나에 상응하여 오디오 신호의 처리로서 수행하며, 수행된 결과를 출력부(14)로 출력한다.
본 발명에 의하면, 데이타 선택 동작이란, 주 처리부(20)가 입력부(10)로부터 입력한 오디오 신호에 포함된 데이타들중 일부만을 선택하는 동작을 의미한다. 예를 들어, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 비트율이 허용 비트율이나 가용 대역폭보다 크면 그 오디오 신호의 상위(enhancement) 데이타를 제거(truncation)한다. 여기서, 하위 데이타 대신에 상위 데이타를 제거하는 이유는, 상위 데이타보다 하위 데이타에 비교적 중요한 데이타가 담겨 있기 때문이다. 이와 같이, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 상위 데이타를 오디오 신호의 비트율에 따라 제거할 수 있다. 이 때, 본 발명에 의하면, 데이타 선택 동작을 수행할 때, 상위 데이타들을 비트 단위로 제거할 수도 있고 층(layer) 단위로 제거할 수도 있다. 이 때 본 발명에 의하면, 오디오 신호의 상위 데이타들중 제거될 수 있는 상위 데이타의 최대량은 사전에 결정될 수 있으며, 이러한 최대량에 대한 정보는 입력부(10)로부터 출력되는 오디오 신호에 포함될 수 있다.
본 발명에 의하면, 전술한 대역 제거 동작이란, 주 처리부(20)가 입력부(10)로부터 입력한 오디오 신호의 고주파 성분을 제거하는 동작을 의미한다. 예를 들어, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 비트율이 허용 비트율이나 가용 대역폭보다 크면 그 오디오 신호의 고주파 성분부터 제거한다. 여기서, 고주파 성분이 제거되는 이유는, 인간의 청각 체계가 매우 높은 고주파 성분의 변화에 상대적으로 덜 민감하기 때문이다. 이와 같이, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 고주파 성분을 오디오 신호의 비트율에 따라 제거할 수 있다. 이 때 본 발명에 의하면, 오디오 신호의 고주파 성분에서 제거될 수 있는 최대량은 사전에 결정될 수 있으며, 이러한 최대량에 대한 정보는 입력부(10)로부터 출력되는 오디오 신호에 포함될 수 있다.
본 발명에 의하면, 채널 개수 조정 동작이란, 주 처리부(20)가 입력부(10)로부터 입력한 오디오 신호의 채널의 개수를 조정하는 동작을 의미한다. 여기서, 오디오 신호는 스테레오 모드, 모노 모드 또는 예를 들면 5.1 서라운드(surround) 모드 같은 다중 채널 모드(multi channel mode)로서, 입력부(10)로부터 신호 처리부(12)로 전달될 수 있다. 예를 들어, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 비트율이 허용 비트율이나 가용 대역폭보다 크면 그 오디오 신호의 채널의 개수를 드롭(drop)시킨다. 그러나, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 비트율이 허용 비트율이나 가용 대역폭보다 적다면 그 오디오 신호의 채널의 개수를 부가(add)시킬 수 있다. 이와 같이, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 채널을 비트율에 따라 드롭시키거나 부가하 여 조정할 수 있다. 이 때 본 발명에 의하면, 드롭 또는 부가될 수 있는 채널의 최대 개수 및/또는 번호 및 채널 형태(configuration)중 적어도 하나는 사전에 결정될 수 있으며, 이러한 개수, 번호 및/또는 채널 형태에 대한 정보는 입력부(10)로부터 출력되는 오디오 신호에 포함될 수 있다. 여기서, 채널 형태는, 드롭될 채널이 오른쪽 채널인가 왼쪽 채널인가 또는 서라운드 채널인가를 나타낸다.
여기서, 채널 개수 조정 동작은 데이타 선택 동작이나 대역 제거 동작보다 오디오 신호의 데이타량을 훨씬 많이 제거할 수 있다. 따라서, 주 처리부(20)는 오디오 신호의 비트율이 매우 클 경우 채널 개수 조정 동작을 이용하고, 오디오 신호의 비트율이 크지 않을 경우 데이타 선택 동작 및/또는 대역 제거 동작을 이용할 수 있다.
예를 들어, 주 처리부(20)는 입력부(10)로부터 입력한 오디오 신호의 비트율이 허용 비트율 및 가용 대역폭 각각과 동일하다면, 전술한 데이타 선택 동작, 대역 제거 동작 및 채널 개수 조정 동작의 어느 것도 수행하지 않고, 그 오디오 신호의 전체를 출력부(14)로 출력할 수 있다. 따라서, 출력부(14)는 신호 처리부(12)의 주 처리부(20)를 경유하여 입력부(10)로부터 입력한 오디오 신호의 전체를 출력단자 OUT1을 통해 스트리밍할 수 있다. 만일, 도 1에 도시된 오디오 신호 처리 장치가 서버측에 마련될 경우, 출력부(14)는 오디오 신호를 단말로 스트리밍한다.
도 1에 도시된 입력부(10)로부터 신호 처리부(12)로 입력되는 오디오 신호는 압축된 오디오 신호일 수도 있고 압축되지 않은 오디오 신호일 수도 있다. 여기서, 압축된 오디오 신호는 프레임 단위로 변환된 후 압축될 수 있으며, 예를 들면 계층 성(functionally of scalability)을 갖는 비트 스트림 즉, 오디오 미세 계층(FGS:Fine Grain Scalability)을 제공하는 엠펙(MPEG:Moving Picture Expert Group)-4 BSAC(Bit Sliced Arithmetic Coding) 비트 스트림(bitstream) 및/또는 MPEG-4 AAC(Advanced Audio Coding) Scalable 비트 스트림을 포함할 수 있다. 여기서, BSAC는 ISO/IEC 14495-3:2001에 자세히 설명되어 있다. 압축되지 않은 오디오 신호는, 예를 들면, 펄스 코드 변조(PCM:Pulse Coding Modulation)된 데이타 또는 웨이브(wave)데이타를 포함할 수 있다.
도 1에 도시된 신호 처리부(12)는 압축된 오디오 신호인 비트 스트림에 대해서만 데이타 선택 동작을 수행할 수 있다. 그러나, 신호 처리부(12)는 압축되거나 압축되지 않은 오디오 신호 어느 것에 대해서도 채널 개수 조정 동작이나 대역 제거 동작을 수행할 수 있다.
도 3은 도 1에 도시된 주 처리부(20)의 본 발명에 의한 바람직한 실시예(20A)의 블럭도로서, 제1 및 제2 비교부들(40 및 42) 및 종 처리부(44)로 구성된다.
도 3에 도시된 제1 비교부(40)는 입력단자 IN2를 통해 네트워크 정보를 입력하고, 입력단자 IN3을 통해 신호 정보를 입력하며, 입력한 네트워크 정보와 신호 정보를 비교하며, 비교된 결과를 종 처리부(44)로 출력한다.
제2 비교부(42)는 입력단자 IN3을 통해 신호 정보를 입력하고 입력단자 IN4를 통해 단말 정보를 입력하며, 입력한 신호 정보와 단말 정보를 비교하며, 비교된 결과를 종 처리부(44)로 출력한다.
종 처리부(44)는 입력부(10)로부터 입력단자 IN3을 통해 입력한 오디오 신호를 제1 및 제2 비교부들(40 및 42)에서 비교된 결과들에 응답하여 처리하고, 처리된 결과를 출력단자 OUT2를 통해 출력부(14)로 출력한다. 예컨대, 종 처리부(44)는 제1 및 제2 비교부들(40 및 42)에서 비교된 결과들에 응답하여, 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중 적어도 하나의 동작으로 오디오 신호를 처리한다.
도 4는 도 1에 도시된 신호 처리부(12)의 본 발명에 의한 다른 실시예(12A)의 블럭도로서, 주 처리부(60) 및 동작 결정부(62)로 구성된다.
본 발명의 다른 실시예에 의하면, 도 4에 도시된 주 처리부(60)는 입력단자 IN5를 통해 네트워크 정보 및 단말 정보중 적어도 하나를 입력하고, 입력단자 IN6을 통해 오디오 신호 및/또는 신호 정보를 입력한다. 이 때, 주 처리부(60)는 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중 동작 결정부(62)에서 결정된 동작으로 오디오 신호를 처리하고, 처리된 결과를 출력부(14)로 출력단자 OUT3을 통해 출력한다.
여기서, 도 1에 도시된 주 처리부(20)는 네트워크 정보 및 단말 정보중 적어도 하나에 상응하는 동작을 자체적으로 결정하여 오디오 신호를 처리한다. 이에 반하여, 도 4에 도시된 주 처리부(60)는 동작 결정부(62)에서 결정된 동작으로 오디오 신호를 처리한다. 이를 제외하면, 주 처리부(60)는 도 1에 도시된 주 처리부(20)와 동일하다. 따라서, 주 처리부(60)는 도 3에 도시된 바와 같이 구현될 수 있다. 만일, 주 처리부(60)가 도 3에 도시된 바와 같이 구현될 경우, 종 처리부(44)는 제1 및 제2 비교부들(40 및 42)에서 비교된 결과들을 통해 오디오 신호를 채널 개수 동작, 데이타 선택 동작 및 대역 제거 동작들중 적어도 하나의 동작으로 처리할 필요성이 있다고 인지되면, 동작 결정부(62)에서 결정된 동작으로 오디오 신호를 처리한다.
도 4에 도시된 동작 결정부(62)는 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중에서, 입력단자 IN5를 통해 입력한 네트워크 정보 및 단말 정보중 적어도 하나에 상응하는 동작을 결정하고, 결정된 결과를 주 처리부(60)로 출력한다.
본 발명의 일 실시예에 의하면, 동작 결정부(62)는 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중에서, 단말에서 오디오 신호를 재생할 때의 음질을 최대화시킬 수 있는 동작을 결정할 수 있다.
본 발명의 다른 실시예에 의하면, 동작 결정부(62)는 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중에서, 입력부(10)로부터 입력된 오디오 신호에 포함된 부가 정보중 적어도 하나를 만족시키는 동작을 결정할 수도 있다. 여기서, 부가 정보란, 사용자의 선호도 및 메타 데이타(meta data)중 적어도 하나를 포함할 수 있다. 여기서, 메타 데이타란, 오디오 신호의 기본적인 데이타가 자체가 아니라 그 기본적인 데이타의 특성을 나타내는 데이타이다.
본 발명의 또 다른 실시예에 의하면, 동작 결정부(62)는 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중에서, 음질을 최대화시키고 부가 정보를 만족시킬 수 있는 동작을 결정할 수도 있다.
이를 위해, 본 발명에 의하면, 동작 결정부(62)는 테이블을 이용하여 동작을 결정할 수 있다. 이 경우, 동작 결정부(62)는 외부에서 생성된 테이블을 입력단자 IN7을 통해 입력할 수도 있고, 입력단자 IN5를 통해 입력된 단말 정보 및 네트워크 정보중 적어도 하나 및 입력단자 IN6을 통해 입력된 오디오 신호를 이용하여 테이블을 자체에서 생성할 수도 있다.
도 5는 도 4에 도시된 동작 결정부(62)의 본 발명에 의한 일 실시예(62A)의 블럭도로서, 동작 종류 선택부(80) 및 처리량 결정부(82)로 구성된다.
도 5에 도시된 동작 종류 선택부(80)는 입력단자 IN8을 통해 네트워크 정보 및 단말 정보중 적어도 하나를 입력하고, 입력단자 IN9를 통해 외부에서 생성된 테이블을 입력한다.
본 발명의 일 실시예에 의하면, 테이블은 네트워크 정보 및 단말 정보중 적어도 하나를 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시킨다. 따라서, 동작 종류 선택부(80)는 입력단자 IN8을 통해 입력한 네트워크 정보 및 단말 정보중 적어도 하나에 해당하는 동작을 테이블을 통해 찾고, 찾아진 동작을 출력단자 OUT4를 통해 주 처리부(60)로 출력한다. 이를 위해, 동작 종류 선택부(80)는 네트워크 정보 및 단말 정보중 적어도 하나를 어드레스(ADDRESS)로서 갖고 해당하는 동작을 데이타(DATA)로서 갖는 룩 업 테이블(미도시)로 구현될 수 있다.
본 발명의 다른 실시예에 의하면, 테이블은 네트워크 정보 및 단말 정보중 적어도 하나와 음질 및 부가 정보중 적어도 하나를 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시킨다. 따라서, 동작 종류 선택부(80)는 입력단자 IN8을 통해 입력한 네트워크 정보 및 단말 정보중 적어도 하나에 해당할 뿐만 아니라 음질 및 부가 정보중 적어도 하나에도 해당하는 동작을 테이블을 통해 찾고, 찾아진 동작을 출력단자 OUT4를 통해 주 처리부(60)로 출력한다. 이를 위해, 동작 종류 선택부(80)는 네트워크 정보 및 단말 정보중 적어도 하나와 음질 및 부가 정보중 적어도 하나로 이루어지는 어드레스(ADDRESS)와 해당하는 동작을 데이타(DATA)로서 갖는 룩 업 테이블(미도시)로 구현될 수 있다.
따라서, 주 처리부(60)는 동작 종류 선택부(80)로부터 출력단자 OUT4를 통해 출력되는 선택된 동작에 대한 정보를 입력하고, 입력한 정보를 통해 인식한 동작으로 오디오 신호를 처리한다.
한편, 본 발명의 일 실시예에 의하면, 테이블에 포함되는 음질은 객관적 차이 등급(ODG:Objective Difference Grade)과 왜곡 인덱스(DI:Distortion Index)중 적어도 하나로서 표현될 수 있다. 여기서, ODG와 DI는 오디오 음질(PEAQ:Perceptual Evaluation of Audio Quality)의 객관적 평가법에 의해 구해질 수 있으며, 왜곡이 적을수록 큰 값을 갖는다. PEAQ라는 객관적 평가법에 대해서는 ITU-R Recommendation BS.1387에 기재되어 있다. 예를 들어, ODG는 '-4'부터 '0'까지 변할 수 있으며, 이러한 범위는 ITU-R BS.562에 의하면 5등급의 장애 눈금들(1 ~ 5)에 해당한다. 이 때, DI는 ODG와 동일한 의미를 지니지만, 제한된 범위를 갖지 않는다. 일반적으로, 높은 음질(high quality)을 표현할 때 ODG를 이용하고, 높지 않은 음질 즉, 낮거나(low)나 중간(intermediate) 음질을 표현할 때 DI를 이용할 수 있다. 즉, 높은 음질을 갖는 테이블은 ODG를 이용하여 구하고, 높지 않은 음질을 갖는 테이블은 DI를 이용하여 구할 수 있다.
본 발명의 다른 실시예에 의하면, 테이블에 포함되는 음질은 음질 선명도(brightness), 음상 폭 정보(wideness) 및 음질 명료도(cleanness)중 적어도 하나로서 표현될 수 있다. 여기서, 음질 선명도는 오디오 신호의 주파수 예를 들면, 주파수 대역폭과 관련된다. 음상 폭 정보는 음원 위치에 따른 음질과 관련된다. 예를 들어, 스테레오로부터 모노로 갈수록 음상 폭은 좁아진다. 음질 명료도는 왜곡 잡음과 관련된다.
먼저, 본 발명에 의하면, 음질 선명도, 음상 폭 정보 및 음질 명료도는 주관적 평가법을 이용하여 구해질 수 있다. 여기서, 주관적 평가(subjective listening test)법이란, 음악의 경우에 히든 참조 및 앵커를 갖는 멀티 자극 테스트(MUSHRA:MUlti Stimulus test with Hidden Reference and Anchors) 또는 ITU-R Recommendation BS.1116이 될 수 있다. 이러한, 주관적 평가법은 음질 선명도. 음상 폭 정보 및 음질 명료도를 하나씩 세분화하여 구하지 않고 음질을 전체적으로 평가한다.
다음으로, 본 발명에 의하면, 음질 선명도와 음질 명료도를 구분하기 위해서 객관적 평가법을 이용할 수 있다. 여기서, 객관적 평가법은 ITU-R Recommendation BS.1387이 될 수 있으며, 특성 추출에 기반한 PEAQ에 따른 중간 모델 출력 값(MOV:Model Output Value)들을 이용할 수 있다. 예컨대, 객관적 평가법의 마지막 과정에서, 추출된 특성들인 MOV값들을 맵핑하여 기본적인 오디오 음질을 ODG와 DI로서 표현할 수 있다.
한편, 도 5에 도시된 동작 결정부(62A)는 처리량 결정부(82)를 더 마련할 수도 있다. 여기서, 처리량 결정부(82)는 동작 종류 선택부(80)에서 동작이 선택될 때, 처리량을 입력단자 IN9를 통해 외부에서 입력한 테이블 및 입력단자 IN8을 통해 입력한 네트워크 정보 및 단말 정보중 적어도 하나를 이용하여 결정하고, 결정된 처리량을 출력단자 OUT5를 통해 주 처리부(60)로 출력한다. 여기서, 처리량이란, 채널 개수 조정 동작에서 조정될 채널의 개수, 데이타 선택 동작에서 선택될 데이타의 량 및 대역 제거 동작에서 제거될 오디오 신호의 고주파 성분의 량중 적어도 하나를 의미한다.
이를 위해, 입력단자 IN9를 통해 입력되는 테이블은 동작별 처리량을 네트워크 정보 및 단말 정보중 적어도 하나에 매핑시킬 수 있다. 예를 들면, 처리량 결정부(82)는 동작 종류 선택부(80)에서 선택된 동작과 입력단자 IN8을 통해 입력한 네트워크 정보 및 단말 정보중 적어도 하나로 이루어지는 어드레스(ADDRESS)에 응답하여 데이타(DATA)로서 저장한 처리량을 출력단자 OUT5를 통해 주 처리부(60)로 출력하는 룩 업 테이블(미도시) 따위로 구현될 수도 있다. 이 때, 주 처리부(60)는 처리량 결정부(82)에서 결정된 처리량으로 오디오 신호를 처리한다.
본 발명에 의하면, 처리량 결정부(82)는 오디오 신호의 종류를 검사하고, 검사된 결과와 테이블을 이용하여 처리량을 결정하며, 결정된 처리량을 출력단자 OUT5를 통해 주 처리부(60)로 출력할 수도 있다. 이를 위해, 처리량 결정부(82)는 입력단자 IN10을 통해 오디오 신호의 종류를 나타내는 신호 정보를 입력할 수 있다.
도 6은 도 4에 도시된 동작 결정부(62)의 본 발명에 의한 다른 실시예(62B)의 블럭도로서, 테이블 생성부(100), 동작 종류 선택부(102) 및 처리량 결정부(104)로 구성된다.
도 6에 도시된 동작 결정부(62B)는 도 5에 도시된 동작 결정부(62A)와 달리 테이블을 자체적으로 생성하기 위해 테이블 생성부(100)를 더 마련한다. 이를 제외하면, 도 6에 도시된 동작 결정부(62B)는 도 5에 도시된 동작 결정부(62A)와 동일한 동작을 수행한다. 따라서, 도 6에 도시된 동작 종류 선택부(102) 및 처리량 결정부(104)는 도 5에 도시된 동작 종류 선택부(80) 및 처리량 결정부(82)와 각각 동일한 기능을 수행하므로 이들에 대한 상세한 설명을 생략한다.
도 6에 도시된 테이블 생성부(100)는 입력단자 IN8을 통해 입력한 네트워크 정보와 단말 정보중 적어도 하나와 입력부(10)로부터 입력단자 IN10을 통해 입력한 오디오 신호를 이용하여 전술한 바와 같은 여러 가지 형태의 테이블을 생성하고, 생성된 테이블을 동작 종류 선택부(102)로 출력한다. 이를 위해, 테이블 생성부(100)는 예를 들면 ITU-R Recommendation BS.1387을 이용하여 네트워크 정보와 단말 정보중 적어도 하나와 오디오 신호로부터 테이블을 생성할 수 있다.
이하, 본 발명에 의한 오디오 신호 처리 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 7은 본 발명에 의한 오디오 신호 처리 방법을 설명하기 위한 플로우차트 로서, 입력된 오디오 신호를 네트워크 정보와 단말 정보중 적어도 하나를 이용하여 처리하여 스트리밍하는 단계(제500 ~ 제504 단계들)로 이루어진다.
본 발명에 의한 오디오 신호 처리 방법은 오디오 신호를 입력한다(제500 단계).
제500 단계후에, 네트워크 정보 및 단말 정보중 적어도 하나 및 신호 정보를 이용하여 오디오 신호를 처리한다(제502 단계). 이 때, 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중에서 네트워크 정보 및 단말 정보중 적어도 하나에 상응하는 적어도 하나의 동작으로 오디오 신호를 처리할 수 있다.
제502 단계후에, 처리된 오디오 신호를 스트리밍한다(제504 단계).
도 7에 도시된 제500, 제502 및 제504 단계들은 도 1에 도시된 입력부(10), 신호 처리부(12) 및 출력부(14)에서 각각 수행될 수 있다.
도 7에 도시된 오디오 신호 처리 방법은 서버측에서 수행되거나, 단말에서 수행되거나 서버측과 단말에서 모두 수행될 수도 있다. 예를 들어, 도 7에 도시된 오디오 신호 처리 방법이 단말에서 수행될 경우, 도 7에 도시된 오디오 신호 처리 방법은 제500 및 제502 단계들만으로 구현될 수 있다.
이하, 네트워크 정보가 네트워크의 가용 대역폭이고, 단말 정보가 단말의 허용 비트율이며, 신호 정보가 오디오 신호의 비트율이라고 가정하면서, 도 7에 도시된 제502 단계에 대한 본 발명에 의한 실시예들을 다음과 같이 첨부된 도면들을 참조하여 살펴본다.
도 8은 도 7에 도시된 제502 단계에 대한 본 발명에 의한 실시예(502A)를 설 명하기 위한 플로우차트로서, 오디오 신호의 비트율과 허용 비트율 및 가용 대역폭을 각각 비교한 결과를 이용하여 오디오 신호를 처리하는 단계(제600 ~ 제604 단계들)로 이루어진다.
제500 단계후에, 오디오 신호의 비트율이 단말의 허용 비트율보다 적은가를 판단한다(제600 단계). 만일, 오디오 신호의 비트율이 허용 비트율보다 적다고 판단되면, 오디오 신호의 비트율이 네트워크의 가용 대역폭보다 큰가를 판단한다(제602 단계).
만일, 오디오 신호의 비트율이 네트워크의 가용 대역폭보다 크지 않다고 판단되면, 제504 단계로 진행한다. 이 경우, 제500 단계에서 입력된 오디오 신호 자체가 스트리밍된다.
그러나, 오디오 신호의 비트율이 허용 비트율보다 적지 않다고 판단되거나 오디오 신호의 비트율이 가용 대역폭 보다 크다고 판단되면, 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작들중 적어도 하나를 수행하여 오디오 신호를 처리한다(제604 단계).
본 발명에 의하면, 도 8에 도시된 바와 달리, 제602 단계가 제600 단계보다 먼저 수행될 수도 있다. 이 경우, 제602 단계에서 오디오 신호의 비트율이 가용 대역폭보다 크지 않다고 판단되면 제600 단계로 진행하고 오디오 신호의 비트율이 가용 대역폭보다 크다고 판단되면 제604 단계로 진행한다. 이 때, 제600 단계에서, 오디오 신호의 비트율이 허용 비트율보다 적다고 판단되면 제504 단계로 진행하고 오디오 신호의 비트율이 허용 비트율보다 적지 않다고 판단되면 제604 단계로 진행 한다.
도 8에 도시된 제600 ~ 제604 단계들은 도 1 또는 도 4에 도시된 주 처리부(20 또는 60)에서 수행될 수도 있고, 제600 및 제602 단계들은 제2 및 제1 비교부들(42 및 40)에서 각각 수행될 수도 있다. 이 때, 제604 단계는 도 3에 도시된 종 처리부(44)에서 수행된다.
도 9는 도 7에 도시된 제502 단계에 대한 본 발명에 의한 실시예(502B)를 설명하기 위한 플로우차트로서, 오디오 신호의 비트율과 허용 비트율 및 가용 대역폭을 각각 비교한 결과를 이용하여 오디오 신호를 처리하는 단계(제700 ~ 제708 단계들)로 이루어진다.
도 9에 도시된 제502B 단계는 도 8에 도시된 제502A 단계와 달리, 데이타 선택 동작이나 대역 제어 동작 보다 채널 개수 조정 동작을 먼저 수행한다. 여기서, 채널 개수 조정 동작을 데이타 선택 동작이나 대역 제거 동작보다도 먼저 수행하는 이유는, 전술한 바와 같이, 채널 개수 조정 동작에 의해 오디오 신호를 처리할 때가, 데이타 선택 동작이나 대역 제거 동작에 의해 오디오 신호를 처리할 때보다, 오디오 신호에 포함된 데이타량을 더 많이 제거할 수 있기 때문이다.
제500 단계후에, 오디오 신호의 비트율이 단말의 허용 비트율보다 적은가를 판단한다(제700 단계). 만일, 오디오 신호의 비트율이 허용 비트율보다 적다고 판단되면, 오디오 신호의 비트율이 네트워크의 가용 대역폭보다 큰가를 판단한다(제702 단계). 만일, 오디오 신호의 비트율이 가용 대역폭 보다 크다고 판단되거나 오디오 신호의 비트율이 허용 비트율보다 적지 않다고 판단되면, 채널 개 수 조정 동작을 수행한다(제704 단계). 제704 단계후에, 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 가용 대역폭보다 큰가를 판단한다(제706 단계). 만일, 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 가용 대역폭 보다 큰 것으로 판단되면, 데이타 선택 동작 및 대역 제거 동작중 적어도 하나를 수행하여 오디오 신호를 처리한다(제708 단계).
그러나, 제702 단계에서 오디오 신호의 비트율이 네트워크의 가용 대역폭보다 크지 않다고 판단되거나, 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 가용 대역폭보다 크지 않다고 판단되거나 제708 단계후에, 제504 단계로 진행한다. 이 경우, 제500 단계에서 입력된 오디오 신호 자체가 그대로 스트리밍된다(제504 단계).
본 발명에 의하면, 도 9에 도시된 바와 달리, 제702 단계가 제700 단계보다 먼저 수행될 수도 있다. 이 경우, 제702 단계에서, 오디오 신호의 비트율이 가용 대역폭보다 크지 않다고 판단되면 제700 단계로 진행하고 오디오 신호의 비트율이 가용 대역폭보다 크다고 판단되면 제704 단계로 진행한다. 이 때, 제700 단계에서, 오디오 신호의 비트율이 허용 비트율보다 적다고 판단되면 제504 단계로 진행하고 오디오 신호의 비트율이 허용 비트율보다 적지 않다고 판단되면 제704 단계로 진행한다.
도 9에 도시된 제700 ~ 제708 단계들은 도 1 또는 도 4에 도시된 주 처리부(20 또는 60)에서 수행될 수도 있다.
또는, 제700 단계는 제2 비교부(42)에서 수행되고 제702 및 제706 단계들은 제1 비교부(40)에서 수행될 수도 있다. 이 경우, 제704 및 제706 단계들은 도 3에 도시된 종 처리부(44)에서 수행된다.
도 10은 도 7에 도시된 제502 단계에 대한 본 발명에 의한 또 다른 실시예(502C)를 설명하기 위한 플로우차트로서, 테이블을 이용하여 결정된 동작으로 오디오 신호를 처리하는 단계(제800 ~ 제804 단계들)로 이루어진다.
먼저, 네트워크 정보와 단말 정보중 적어도 하나와 오디오 신호를 이용하여 전술한 바와 같은 테이블을 생성한다(제800 단계). 제800 단계후에, 테이블을 통해 채널 개수 동작, 데이타 선택 동작 및 대역 제거 동작들중에서 적어도 하나의 해당하는 동작을 결정한다(제802 단계). 제802 단계후에, 결정된 동작으로 오디오 신호를 처리한다(제804 단계). 본 발명에 의하면, 도 10에 도시된 제502C 단계는 제800 단계를 마련하지 않을 수도 있다. 이 경우, 사전에 생성된 테이블이 주어진다.
본 발명에 의하면, 도 10에 도시된 제502C 단계는 도 8에 도시된 제604 단계 또는 도 9에 도시된 제708 단계의 일 실시예가 될 수도 있다.
이 때, 도 10에 도시된 제800 단계는 도 6에 도시된 테이블 생성부(100)에서 수행되고, 제802 단계는 도 4에 도시된 동작 결정부(62), 도 5 또는 도 6에 도시된 동작 종류 선택부(80 또는 102)에서 수행될 수 있다. 제804 단계는 도 4에 도시된 주 처리부(60)에서 수행될 수 있다.
도 11은 도 10에 도시된 제804 단계에 대한 본 발명에 의한 실시예(804A)를 설명하기 위한 플로우차트로서, 오디오 신호의 종류에 따라 처리량을 결정하는 단계(제900 ~ 제904 단계들)로 이루어진다.
제802 단계후에, 신호 정보로부터 오디오 신호의 종류를 체크한다(제900 단계). 제900 단계후에, 체크된 결과와 테이블을 이용하여 전술한 바와 같이 처리량을 결정한다(제902 단계). 제902 단계후에, 결정된 처리량으로 오디오 신호를 처리하고, 제504 단계로 진행한다(제904 단계). 여기서, 도 11에 도시된 제900 및 제902 단계들은 도 5 또는 도 6에 도시된 처리량 결정부(82 또는 104)에서 수행되고, 제904 단계는 도 4에 도시된 주 처리부(60)에서 수행될 수 있다.
이하, 본 발명에 의한 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체를 다음과 같이 설명한다.
네트워크과 연결된 단말이 재생할 오디오 신호를 처리하는 전술한 오디오 신호 처리 장치를 제어하는 적어도 하나의 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 본 발명에 의한 기록 매체는, 오디오 신호를 입력시키는 단계 및 네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여 오디오 신호를 처리시키는 단계를 수행하기 위한 컴퓨터 프로그램을 저장한다. 이 때, 기록매체에 저장되는 컴퓨터 프로그램은 처리된 오디오 신호를 스트리밍시키는 단계를 더 수행할 수 있다.
이 때, 오디오 신호를 처리시키는 단계는 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작중에서 적어도 하나의 동작을 네트워크 정보 및 단말 정보중 적어도 하나에 상응하여 결정하고, 결정된 동작으로 오디오 신호를 처리시킬 수 있다.
본 발명의 일 실시예에 의하면, 오디오 신호를 처리시키는 단계는 오디오 신 호의 비트율이 단말 정보에 해당하는 단말의 허용 비트율보다 적은가를 판단하는 단계와, 오디오 신호의 비트율이 허용 비트율보다 적다고 판단되면 오디오 신호의 비트율이 네트워크의 가용 대역폭보다 큰가를 판단하는 단계 및 오디오 신호의 비트율이 허용 비트율보다 적지 않거나 가용 대역폭 보다 크다고 판단되면, 동작들중 적어도 하나를 수행시키는 단계를 수행한다.
본 발명의 다른 실시예에 의하면, 오디오 신호를 처리시키는 단계는 오디오 신호의 비트율이 단말의 허용 비트율보다 적은가를 판단하는 단계와, 오디오 신호의 비트율이 허용 비트율보다 적다고 판단되면 오디오 신호의 비트율이 네트워크의 가용 대역폭보다 큰가를 판단하는 단계와, 오디오 신호의 비트율이 가용 대역폭 보다 크다고 판단되거나 오디오 신호의 비트율이 허용 비트율보다 적지 않다고 판단되면 채널 개수 조정 동작을 수행시키는 단계와, 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 가용 대역폭보다 큰가를 판단하는 단계 및 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 가용 대역폭 보다 큰 것으로 판단되면 데이타 선택 동작 및 대역 제거 동작중 적어도 하나를 수행시키는 단계를 수행한다.
한편, 오디오 신호를 처리시키는 단계는 테이블을 통해 동작들중에서 적어도 하나의 해당하는 동작을 결정하는 단계 및 결정된 동작으로 오디오 신호를 처리시키는 단계를 수행할 수 있다. 여기서, 오디오 신호를 처리시키는 단계는 네트워크 정보와 단말 정보중 적어도 하나와 오디오 신호를 이용하여 테이블을 생성시키는 단계를 더 수행할 수도 있다.
이 때, 오디오 신호를 처리시키는 단계는 테이블을 이용하여 처리량을 구하고, 처리량으로 오디오 신호를 처리시킬 수 있다. 이 경우, 오디오 신호를 처리시키는 단계는 오디오 신호의 종류를 체크시키는 단계와, 체크된 결과와 테이블을 이용하여 처리량을 결정시키는 단계와, 결정된 처리량으로 오디오 신호를 처리시키는 단계를 수행할 수 있다.
결국, 본 발명에 의한 오디오 신호 처리 장치 및 그 장치의 실시예의 각 부에서 수행되는 과정들은 소프트웨어적으로 구현될 수 있으며, 이러한 소프트웨어는 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 컴퓨터를 제어하기 위해 실행될 수 있다.
한편, 전술한 본 발명에 의한 오디오 신호 처리 장치와 방법 및 그를 위한 기록 매체는 MPEG-21 디지탈 아이템 적응(DIA:Digital Item Adaptation)을 위해 적용될 수 있다.
이하, 본 발명의 이해를 돕기 위해, MPEG-21 DIA에 적용되는 본 발명에 의한 오디오 신호 처리 장치 및 방법에 대한 하나의 모습을 첨부된 도면들을 참조하여 다음과 같이 살펴본다. 여기서, 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작을 ChannelDropping, auudio FGS 및 spectralBandReduction으로 각각 표기한다.
도 12 ~ 도 21은 오디오 적응을 위한 문법(syntax) 및 의미(semantics)의 실시예들에 대한 하나의 모습을 MPEG-21에서 사용하는 언어로 나타내는 도면이다.
도 12 ~ 도 21에서, 본 발명에 의한 오디오 신호 처리 장치 및 방법에 의해 도출된 부분은 박스(920, 922, 924 및 926)로 표시하였다. 예를 들면, 5.1 서라운드 모드로 오디오 신호가 전달될 때, 채널의 개수는 도 17에 도시된 바와 같이 각 채널에 할당될 수 있다. 그러나, 본 발명은 이에 국한되지 않고 5.1 채널 이상의 다중 채널 모드에 확대 적용될 수 있다. 이 때, 채널 개수 조정 동작은 데이타 선택 동작 및 대역 제거 동작의 속성(attributes)으로서 구현될 수도 있다.
도 22는 채널 개수 조정 동작에 대한 본 발명에 의한 실시예를 나타내는 도면이다.
만일, 채널 개수 조정 동작이 데이타 선택 동작의 속성으로서 구현된다면, 채널 개수 조정 동작은 예를 들면 도 22와 같이 표현될 수 있다. 여기서, 네트워크의 최초 가용 대역폭은 128kbps이고, 가용 대역폭이 예를 들어 90kbps로 감소할 때 신호 처리부(12)에서 데이타 선택 동작이 수행되고, 가용 대역폭이 예를 들어 54kbps로 감소할 때 신호 처리부(12)에서 채널 개수 조정 동작이 수행된다고 가정한다.
이하, 본 발명의 이해를 돕기 위해, MPEG-21 DIA에 적용되는 본 발명에 의한 오디오 신호 처리 장치 및 방법에 대한 다른 모습을 첨부된 도면들을 참조하여 다음과 같이 살펴본다. 여기서, 채널 개수 조정 동작, 데이타 선택 동작 및 대역 제거 동작을 ChannelDropping, Scalable Audio 및 Spectral Band Reduction으로 각각 표기한다.
도 23은 MPEG-21 DIA 툴들(tools)의 편성(organization)을 나타내는 도면이다.
도 23에 도시된 바와 같이 MPEG-21 DIA의 툴들에는 세 가지의 종류가 있다. 여기서, 본 발명에 의한 오디오 신호 처리 장치 및 방법은 도 23에 도시된 편성에서 단말 및 네트워크(Terminal and Network) 서비스질(QoS:Quality of Service)(1000)에 적용될 수 있다.
도 24는 2O03년 10월에 호주 Brisbane에서 발표된 Study of ISO/IEC 21000-7 FCD-Part 7 : Digital Item Adaptation, ISO/IEC JTC1/SC29/WG11/N5933 및 2003년 12월에 하와이(Hawaii)에서 발표된 ISO/IEC 21000-7 FDIS-Part 7 : Digital Item Adaptation, ISO/IEC JTC1/SC29/WG11/N6168의 Adaptation QoS Classfication Scheme에 채택된 데이타 선택 동작의 내용을 나타내는 도면이다. 여기서, termID는 분류표(classification scheme)에 입각한 항목의 번호를 나타낸다.
만일, 네트워크 정보가 kbps의 단위를 갖는 가용 대역폭이고, 단말 정보가 밀리 세컨드(miliseconds)의 단위를 갖는 단말의 데이타 처리 능력이고, 음질은 평균 의견 점수(MOS:Mean Opinion Score)에 의해 신호 대 잡음비로서 표현된다고 할 때, 신호 처리부(12)에서 수행되는 데이타 선택 동작은 도 24에 도시된 바와 같이 표현될 수도 있다.
도 25는 2O03년 10월에 호주 Brisbane에서 발표된 Study of ISO/IEC 21000-7 FCD-Part 7 : Digital Item Adaptation, ISO/IEC JTC1/SC29/WG11/N5933 및 2003년 12월에 하와이(Hawaii)에서 발표된 ISO/IEC 21000-7 FDIS-Part 7 : Digital Item Adaptation, ISO/IEC JTC1/SC29/WG11/N6168의 Adaptation QoS Classfication Scheme에 채택된 채널 개수 조정 동작의 내용을 나타내는 도면이다.
예를 들어, 오디오 신호가 5.1 서라운드 모드로 전달되고 단말은 스테레오 모드만을 지원할 수 있을 때, 채낼 개수 조정 동작에 의해 신호 처리부(12)에서 드롭될 채널의 개수는 '4'로 설정되고 채널 형태는 'L', 'R' 및 'S'로 설정될 수 있다. 여기서, 'L', 'R' 및 'S'는 왼쪽, 오른쪽 및 서라운드 채널들을 각각 의미한다. 또는, 오디오 신호가 스테레오 모드로 전달될 때, 드롭될 채널의 개수는 '1'로 설정되고 채널의 형태는 모노를 의미하는 'M'으로 설정될 수 있다. 채널 개수 조정 동작은 도 25에 도시된 바와 같이 표현될 수 있다.
도 26은 2O03년 10월에 호주 Brisbane에서 발표된 Study of ISO/IEC 21000-7 FCD-Part 7 : Digital Item Adaptation, ISO/IEC JTC1/SC29/WG11/N5933 및 2003년 12월에 하와이(Hawaii)에서 발표된 ISO/IEC 21000-7 FDIS-Part 7 : Digital Item Adaptation, ISO/IEC JTC1/SC29/WG11/N6168의 Adaptation QoS Classfication Scheme에 채택된 대역 제거 동작의 내용을 나타내는 도면이다.
예를 들면, 대역 제거 동작은 도 26에 도시된 바와 같이 표현될 수 있다.
이하, 전술한 본 발명에 의한 오디오 신호 처리 장치와 방법 및 기록 매체에서 이용되는 테이블의 본 발명에 의한 실시예들에 대해 첨부된 도면들을 참조하여 다음과 같이 설명한다. 여기서, 네트워크는 CDMA2000 1x이라고 가정한다.
도 27은 일반적인 스트리밍 시스템의 개략적인 외관을 나타내는 도면으로서, 서버(1100), 스위칭 허브(switching hub)들(1102 및 1112), 라우터들(1104 및 1108), 제어부들(1106 및 1110), 단말(1114) 및 네트워크(1116)로 구성된다.
도 27에 도시된 서버(1100)는 도 1에 도시된 장치를 포함할 수 있고, 단말(1114)은 스위칭 허브(1112)를 통해 네트워크(1116)와 연결되어 있다. 이 때, 네트워크(1116)가 도 2에 도시된 바와 같은 가용 대역폭을 가질 경우, 서버(1100)가 더미 패킷들(dummy packets)을 발생하여 단말(1114)로 보내고, 더미 패킷들의 비트율은 4kbps부터 86kbps까지 변하고, 서버(1100)에서 데이타 선택 동작에 의해 처리되는 오디오 신호는 MPEG-4 BSAC이고 데이타 선택 동작에 의해 처리되지 않은 오디오 신호는 AAC라고 가정한다. 이 때, 오디오 신호의 종류는 팝, 뉴스 및 클래식 음악이라고 가정한다. 여기서, BSAC의 최상위 층(top layer)은 CDMA2000 1x의 가용 대역폭의 최대값 예를 들면 86kbps를 제공하기 위해 생성되고 BSAC의 하위 층들(lower layers)은 채널당 1kbps의 스텝 크기(step size)의 FGS 계층성을 갖고, AAC는 86kbps로 부호화된다고 가정한다.
이 경우, 가용 대역폭이 시간이 경과함에 따라 변하더라도 단말(1114)에서 재생하는 동안 버퍼링 시간없이 BSAC를 스트리밍할 수 있다. 반면에, AAC의 경우에는 인터럽트가 빈번하게 발생한다. 신호 처리부(12)에서 수행되는 데이타 선택 동작에 의한 끊김없는 데이타의 재생은 음질의 손실 덕분에 가능하다.
도 28은 ODG를 이용하여 표현된 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면으로서, 횡축은 데이타 선택 동작에 의해 제거되는 층의 개수(#)를 나타내고 종축은 ODG를 각각 나타낸다.
도 29는 DI를 이용하여 표현된 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면으로서, 횡축은 데이타 선택 동작에 의해 제거되는 층의 개수(#)를 나타내고 종축은 ODG를 각각 나타낸다.
도 28 및 도 29 각각에서, ■는 뉴스에 해당하고, ◆은 팝에 해당하고, ▲은 클래식 음악에 해당한다.
도 28 및 도 29에 도시된 그래프는 일종의 테이블이라고 볼 수 있다. 예컨대, 도 28 또는 도 29에 도시된 그래프로 표현되는 테이블은 네트워크 정보 및 단말 정보중 적어도 하나, ODG 및/또는 DI로서 표현되는 음질 및 #를 서로 매칭시켜 저장한다. 도 28 또는 도 29에 도시된 그래프를 통해, 도 5 또는 도 6에 도시된 처리량 결정부(82 또는 104)는 오디오 신호를 처리할 처리량을 결정할 수 있다. 예컨대, 동작 결정부(62)의 동작 종류 선택부(80 도는 102)에서 동작의 종류가 데이타 선택 동작으로 결정된 경우, 처리량 결정부(82 또는 104)는 IN8을 통해 네트워크 정보 및 단말 정보중 적어도 하나를 입력하고, 입력한 네트워크 정보 및 단말 정보중 적어도 하나에 매칭하는 음질에 해당하는 도 28 또는 도 29에 각각 도시된 ODG 또는 DI값을 테이블에서 찾는다. 이 때, 처리량 결정부(82 또는 104)는 찾아진 ODG 또는 DI값과 매칭되는 #를 도 28 또는 도 29에서 처리량으로서 찾는다.
이 때, 주 처리부(60)는 처리량 결정부(82 또는 104)에서 결정된 처리량(#)만큼 오디오 신호의 상위 층을 제거하면 된다. 이 때, 처리량 결정부(82 또는 104)는 처리량을 결정할 때, 오디오 신호의 종류가 뉴스인가 팝인가 클래식 음악인가를 고려할 수 있다.
도 30은 ODG를 이용하여 표현된 뉴스에 대한 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면으로서, 횡축은 네트워크의 가용 대역폭을 kbps로 나타내고 종축은 ODG를 각각 나타낸다.
도 31은 ODG를 이용하여 표현된 팝 음악에 대한 음질을 포함하는 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면으로서, 횡축은 네트워크의 가용 대역폭을 kbps로 나타내고 종축은 ODG를 각각 나타낸다.
도 30 및 도 31 각각에서, 신호 처리부(12)에서 데이타 선택 동작만을 이용하여 오디오 신호를 처리할 경우 예상되는 음질은 ■로서 표기하고, 데이타 선택 동작과 채널 개수 조정 동작을 모두 사용하여 오디오 신호를 처리할 경우 예상되는 오디오 신호의 음질은 ◆로서 표기한다.
도 30 및 도 31에 도시된 그래프는 일종의 테이블이라고 볼 수 있다. 예컨대, 도 30 또는 도 31에 도시된 그래프로 표현되는 테이블은 네트워크 정보인 가용 대역폭, 신호 정보인 음악의 종류 및 ODG로 표현되는 음질을 서로 매칭시키면서 저장한다. 도 30 또는 도 31에 도시된 그래프를 통해, 도 4에 도시된 동작 결정부(62)는 오디오 신호를 처리할 동작의 종류를 결정할 수 있다. 이 때, 동작 결정부(62)는 입력단자 IN7을 통해 도 30 및/또는 도 31에 도시된 그래프에 해당하는 테이블을 입력할 수도 있고, 입력단자 IN5를 통해 입력한 네트워크 정보 및 단말 정보중 적어도 하나와 입력단자 IN6을 통해 입력한 오디오 신호를 이용하여 도 30 및/또는 도 31에 도시된 그래프에 해당하는 테이블을 생성할 수도 있다.
먼저, 동작 결정부(62)는 입력단자 IN6을 통해 입력한 신호 정보를 통해 오디오 신호가 뉴스인가 팝 음악인가를 검사한다. 만일, 오디오 신호가 뉴스인 것으로 인식되면, 동작 결정부(62)는 도 30에 도시된 그래프를 이용하여 오디오 신호를 처리할 동작의 종류를 결정할 수 있다. 그러나, 오디오 신호가 팝 음악인 것으로 인식되면, 동작 결정부(62)는 도 31에 도시된 그래프를 이용하여 오디오 신호를 처리할 동작의 종류를 결정할 수 있다. 이와 같이, 오디오 신호의 종류에 따라 참조할 그래프가 결정될 경우, 동작 결정부(62)는 입력단자 IN5를 통해 입력한 네트워크 정보인 가용 대역폭이 도 30 또는 도 31에 도시된 가용 대역폭의 범위들[(A, B, C 및 D) 또는 (E, F, G 및 H)]에서 어디 범위에 속하는가를 판단한다.
만일, 입력단자 IN5를 통해 입력된 가용 대역폭이 도 30 또는 도 31에 도시된 범위(A 또는 E)에 속한다고 인식되면, 범위(A 또는 E)에 ◆만 존재하므로, 동작 결정부(62)는 오디오 신호를 처리할 동작의 종류를 데이타 선택 동작과 채널 개수 조정 동작으로 결정한다. 그러나, 입력단자 IN5를 통해 입력된 가용 대역폭이 도 30 또는 도 31에 도시된 범위(D 또는 H)에 속한다고 인식되면, 범위(D 또는 H)에 ■만 존재하므로, 동작 결정부(62)는 오디오 신호를 처리할 동작의 종류를 데이타 선택 동작으로서 결정한다.
그러나, 입력단자 IN5를 통해 입력된 가용 대역폭이 범위(B, C, F 또는 G)에 속한다고 인식되면, 범위(B, C, F 또는 G)에 ■과 ◆이 모두 존재하므로, 동작 결정부(62)는 ■과 ◆중에서 음질을 표현하는 ODG를 최대화시킬 수 있도록 것을 선택한다. 예를 들어, 가용 대역폭이 범위(B)에 속할 경우 동일한 가용 대역폭에서 ■이 ◆보다 높은 ODG 즉, 높은 음질을 제공하기 때문에, 동작 결정부(62)는 오디오 신호를 처리할 동작의 종류를 데이타 선택 동작만으로 결정한다. 그러나, 가용 대역폭이 범위(C, F 또는 G)에 속할 경우 동일한 가용 대역폭에서 ◆이 ■보다 높은 ODG 즉, 높은 음질을 제공하기 때문에, 동작 결정부(62)는 오디오 신호를 처리할 동작의 종류를 데이타 선택 동작과 채널 개수 조정 동작을 모두 사용하는 것으로서 결정한다. 이 때, 주 처리부(60)는 동작 결정부(62)에서 결정된 동작으로 오디오 신호를 처리한다.
도 32는 XML로서 표현된 테이블의 본 발명에 의한 실시예를 MPEG-21에서 사용하는 언어로 나타내는 도면으로서, 네트워크 정보인 가용 대역폭(BANDWIDTH) 영역(1200), 데이타 선택 동작(SCALABLE_AUDIO) 영역(1202), 채널 개수 조정 동작 영역(1204 및 1206) 및 음질(Utility) 영역(1208)으로 구성된다.
도 32에 도시된 가용 대역폭 영역(1200)은 플로트 벡터(Float Vector)로 가용 대역폭값들을 표현하였고, 데이타 선택 동작 영역(1202)은 정수 벡터(Integer Vector)로 제거될 상위 층의 개수를 표현하였고, 채널 개수 조정 영역(1204)은 정수 벡터로 드롭될 채널의 개수를 표현하였고, 채널 개수 조정 영역(1206)은 채널 형태를 표현하였고, 음질 영역(1208)은 플로트 벡터로 ODG에 의해 음질을 표현하였다. 이 때, 채널 형태에서, M, L 및 R은 채널의 모노, 오른쪽 및 왼쪽을 각각 나타낸다.
도 32에 도시된 테이블에서, 가용 대역폭, 데이타 선택 동작의 처리량, 채널 개수 조정 동작의 처리량, 음질의 각 값은 서로 매칭되어 있다. 예를 들어, 가용 대역폭이 '16'인 경우, '16'의 가용 대역폭은 데이타 선택 동작의 처리량 '27'과 매칭되고(1300), 처리량 '27'은 드롭될 채널의 개수 '1'과 매칭되고(1302), 드롭될 채널의 개수 '1'은 모노 채널 형식(M)과 매칭되고(1304), 모노 채널 형식(M)은 '-3.86'이라는 음질과 매칭된다(1306).
이하, 단말의 종류는 개인용 컴퓨터이고, 단말 정보는 단말의 데이타 처리 능력이고, 채널당 64kbps의 비트율을 갖는 비트 스트림인 BSAC의 상위 층이 단말로 제공될 때 단말의 데이타 처리 능력을 일종의 소프트웨어인 Entrek Toolbox를 이용하여 계산할 경우, 테이블의 다른 례를 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 33은 테이블의 다른 표현인 그래프의 본 발명에 의한 실시예를 나타내는 도면으로서, 횡축은 데이타 선택 동작에 의해 제거될 층의 개수(#)를 나타내고 종축은 단말의 데이타 처리 능력(CPU)을 백분율(%)로 나타낸다. 여기서, ◆는 오디오 신호가 모노인 경우를 나타내고, ■은 오디오 신호가 스테레오인 경우를 각각 나타낸다.
도 33에 도시된 그래프는 일종의 테이블이라고 볼 수 있다. 예컨대, 도 33에 도시된 그래프로 표현되는 테이블은 단말 정보인 단말의 데이타 처리 능력(CPU%), 신호 정보인 오디오 신호의 종류 및 #를 서로 매칭시키면서 저장한다. 예를 들어, 오디오 신호를 처리할 동작의 종류가 동작 종류 선택부(80 또는 102)에서 데이타 선택 동작으로 결정된 경우, 도 33에 도시된 그래프를 통해, 도 5 또는 도 6에 도시된 처리량 결정부(82 또는 104)는 처리량(#)을 결정할 수 있다. 예컨대, 처리량 결정부(82 또는 104)는 IN8을 통해 단말 정보를 입력하고, 입력한 단말 정보인 단말의 데이타 처리 능력에 매칭하는 #을 테이블에서 찾는다. 이 때, 처리량 결정부(82 또는 104)는 찾아진 처리량(#)을 주 처리부(60)로 출력한다. 이 때, 주 처리부(60)는 처리량 결정부(82 또는 104)에서 찾아진 처리량(#)만큼 오디오 신호 의 상위 층을 제거하면 된다. 이 경우, 처리량 결정부(82 또는 104)는 처리량을 결정할 때, 오디오 신호의 종류가 모노인가 스테리오인가 또는 다중 채널인가를 고려할 수 있다.
이하, 신호 처리부(12)에서 수행되는 데이타 선택 동작에서 상위 데이타를 층 단위가 아니라 비트 단위로 제거할 경우, 전술한 본 발명에 의한 오디오 신호 처리 장치 및 방법과 그 기록 매체에 대해 다음과 같이 설명한다.
본 발명에 의하면, 포괄적 비트 스트림 기술(gBSD:generic Bitstream Descriptions)은 MPEG-4 오디오 BSAC에 적용될 수 있다. 이 때, 비트 슬라이스 연산 부호화(BSAC)된 오디오 신호는 전술한 바와 같이 데이타 선택 동작에 의해 처리될 수 있다. 이 경우, 오디오 신호의 모든 상위 층들은 비트 단위로 완전히 제거될 수 있지만 기본적인 층들의 길이는 변하지 않는다. 여기서, 변하지 않는 길이는 디코딩 과정에서 필요한 정보를 제공하기 때문에 ,데이타 선택 동작이 수행되는 동안에 갱신될 필요는 있다. 또한, BSAC로 압축된 오디오 신호는 데이타 선택 동작이 수행될 때 변하지 않은 헤더로 시작한다.
도 34는 BSAC에 gBSD를 적용한 일 실시예를 MPEG-21에서 사용하는 언어로 나타내는 도면이고, 도 35는 BSAC에 gBSD를 적용한 다른 실시예를 MPEG-21에서 사용하는 언어로 나타내는 도면이다.
도 34 또는 35를 참조하면, 비트 스트림의 묘사가 어떻게 서로 비슷해보이는가를 알 수 있으며, 프레임들은 절대 모드에서 어드레스되고 층들은 상대 모드에서 어드레스된다. "비트율(bitrate)"이라는 표시자(marker)를 갖는 서브 유닛(subunit)에 상위 층이 리스트된다. 따라서, 데이타 선택 동작을 수행할 때, 표시자를 이용하여 삭제될 상위 층들이 확인될 수 있다.
비트 스트림 즉, 압축된 오디오 신호를 처리할 때, 샘플링 주파수, 채널의 개수 및 윈도우 길이는 더 이상 필요없으며 데이타 선택 동작에서 제거될 상위 데이타의 개수 및/또는 번호만이 필요하다. 상위 층의 상대적 크기로 표시된 옵셋에 따라 프레임이 삭제되고 파라미터들(frame_size 및 top_layer)이 적합된다. 이 경우, 본 발명에 의하면, 데이타 선택 동작에서 상위 데이타를 비트 단위로 제거할 때, 제거된 부분의 경계가 층의 경계와 일치할 경우 음질이 개선될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체는 항상 일정하지 않고 수시로 변하는 네트워크 및/또는 단말 정보를 실시간으로 이용하여 오디오 신호를 효율적으로 스트리밍 처리할 수 있기 때문에, 예를 들면 서버측등으로부터 전달되는 오디오 신호가 끊김없이 지속적으로 단말에 수신될 수 있도록 하면서 아울러 그 단말에 적합한 우수한 음질로 재생될 수 있도록 하는 효과를 갖는다.

Claims (55)

  1. 네트워크과 연결된 단말이 재생할 오디오 신호를 처리하는 오디오 신호 처리 장치에 있어서,
    상기 오디오 신호를 입력하는 입력부; 및
    네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여, 상기 입력부로부터 입력한 오디오 신호를 처리하는 신호 처리부를 구비하고,
    상기 네트워크 정보는 수시로 변하는 상태를 갖는 상기 네트워크에 대한 정보이고, 상기 단말 정보는 수시로 변하는 상태를 갖는 상기 단말에 대한 정보이고, 상기 신호 정보는 상기 오디오 신호에 대한 정보인 것을 특징으로 하는 오디오 신호 처리 장치.
  2. 제1 항에 있어서, 상기 오디오 신호 처리 장치는
    상기 처리된 오디오 신호를 스트리밍하는 출력부를 더 구비하는 것을 특징으로 하는 오디오 신호 처리 장치.
  3. 제1 항에 있어서, 상기 신호 처리부는
    상기 오디오 신호의 채널의 개수를 조정하는 채널 개수 조정 동작, 상기 오디오 신호에 포함된 데이타들중 일부만을 선택하는 데이타 선택 동작 및 상기 오디오 신호의 고주파 성분을 제거하는 대역 제거 동작중 적어도 하나를 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 상응하여 상기 오디오 신호의 처리로서 수행하는 주 처리부를 구비하는 것을 특징으로 하는 오디오 신호 처리 장치.
  4. 제3 항에 있어서, 상기 네트워크 정보는 상기 네트워크의 상태를 포함하고, 상기 단말 정보는 상기 단말의 능력, 종류 및 상태중 적어도 하나를 포함하고, 상 기 신호 정보는 상기 오디오 신호의 비트율을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  5. 제4 항에 있어서, 상기 네트워크의 상태는 상기 네트워크의 가용 대역폭, 상기 네트워크의 정적 능력 및 상기 네트워크의 시변 조건중 적어도 하나를 포함하고,
    상기 단말 정보는 상기 단말의 허용 비트율, 상기 단말의 데이타 처리 능력, 상기 단말의 전력에 대한 정보, 상기 단말의 저장 능력에 대한 정보 및 상기 단말의 종류중 적어도 하나를 포함하고,
    상기 신호 정보는 상기 오디오 신호의 종류를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  6. 제3 항에 있어서, 상기 주 처리부는
    상기 입력부로부터 압축된 오디오 신호를 입력하여 상기 데이타 선택 동작을 수행하는 것을 특징으로 하는 오디오 신호 처리 장치.
  7. 제6 항에 있어서, 상기 압축된 오디오 신호는 계층성을 갖는 비트 스트림을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  8. 제7 항에 있어서, 상기 압축된 오디오 신호는 BSAC 비트 스트림 및 AAC 비트 스트림중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제3 항에 있어서, 상기 주 처리부는
    상기 입력부로부터 압축되거나 압축되지 않은 오디오 신호를 입력하여 상기 채널 개수 조정 동작 및 상기 대역 제거 동작 각각을 수행하는 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 제3 항에 있어서, 상기 주 처리부는
    상기 데이타 선택 동작을 수행할 때, 상기 데이타들중 일부만을 비트 단위로 선택하는 것을 특징으로 하는 오디오 신호 처리 장치.
  11. 제3 항에 있어서, 상기 주 처리부는
    상기 데이타 선택 동작을 수행할 때, 상기 데이타들중 일부를 층 단위로 선택하는 것을 특징으로 하는 오디오 신호 처리 장치.
  12. 제3 항에 있어서, 상기 주 처리부는
    상기 신호 정보와 상기 네트워크 정보를 비교하는 제1 비교부;
    상기 신호 정보와 상기 단말 정보를 비교하는 제2 비교부; 및
    상기 입력부로부터 입력한 상기 오디오 신호를 상기 제1 및 상기 제2 비교부들에서 비교된 결과들에 응답하여 처리하는 종 처리부를 구비하는 것을 특징으로 하는 오디오 신호 처리 장치.
  13. 제3 항에 있어서, 상기 신호 처리부는
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 상응하여, 상기 데이타 선택 동작을 수행할 때, 상기 데이타들의 하위 부분을 상기 일부분으로서 선택하는 것을 특징으로 하는 오디오 신호 처리 장치.
  14. 제3 항에 있어서, 상기 신호 처리부는
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 상응하여, 상기 채널 개수 조정 동작을 수행할 때, 상기 오디오 신호의 채널의 개수를 드롭시켜 조정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  15. 제3 항에 있어서, 상기 신호 처리부는
    상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작중에서, 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 상응하는 동작을 결정하는 동작 결정부를 더 구비하고,
    상기 주 처리부는 상기 동작 결정부에서 결정된 동작으로 상기 오디오 신호를 처리하는 것을 특징으로 하는 오디오 신호 처리 장치.
  16. 제15 항에 있어서, 상기 동작 결정부는
    상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작중에서, 상기 단말의 음질 및 상기 입력부로부터 입력된 오디오 신호에 포함된 부가 정보중 적어도 하나를 만족시키는 동작을 결정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  17. 제16 항에 있어서, 상기 부가 정보는 사용자의 선호도 및 메타 데이타중 적어도 하나에 해당하는 것을 특징으로 하는 오디오 신호 처리 장치.
  18. 제15 항에 있어서, 상기 동작 결정부는
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 테이블을 이용하여 상기 동작을 선택하는 동작 종류 선택부를 구비하는 것을 특징으로 하는 오디오 신호 처리 장치.
  19. 제16 항에 있어서, 상기 동작 결정부는
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나와 상기 음질 및 상기 부가 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 테이블을 이용하여 상기 동작을 선택하는 동작 종류 선택부를 구비하는 것을 특징으로 하는 오디오 신호 처리 장치
  20. 제19 항에 있어서, 상기 음질을 포함하는 테이블은 객관적 차이 등급과 왜곡 인덱스중 적어도 하나를 이용하여 결정되는 것을 특징으로 하는 오디오 신호 처리 장치.
  21. 제20 항에 있어서, 높은 상기 음질을 포함하는 테이블은 상기 객관적 차이 등급을 이용하여 결정되고, 높지 않은 상기 음질을 포함하는 테이블은 상기 왜곡 인덱스를 이용하여 결정되는 것을 특징으로 하는 오디오 신호 처리 장치.
  22. 제19 항에 있어서, 상기 음질을 포함하는 테이블은 음질 선명도, 음상 폭 정보 및 음질 명료도중 적어도 하나를 이용하여 결정되고,
    상기 음질 선명도는 상기 오디오 신호의 주파수와 관련되고, 상기 음상 폭 정보는 음원 위치에 따른 음질과 관련되고, 상기 음질 명료도는 상기 왜곡 잡음과 관련되는 것을 특징으로 하는 오디오 신호 처리 장치.
  23. 제22 항에 있어서, 상기 음질 선명도, 상기 음상 폭 정보 및 상기 음질 명료도는 주관적 평가법을 이용하여 구해지는 것을 특징으로 하는 오디오 신호 처리 장치.
  24. 제23 항에 있어서, 상기 주관적 평가법은 히든 참조 및 앵커를 갖는 멀티 자 극 테스트인 것을 특징으로 하는 오디오 신호 처리 장치.
  25. 제23 항에 있어서, 상기 주관적 평가법은 ITU-R Recommendation BS.1116인 것을 특징으로 하는 오디오 신호 처리 장치.
  26. 제22 항에 있어서, 상기 음질 선명도와 음질 명료도는 객관적 평가법을 이용하여 구분되는 것을 특징으로 하는 오디오 신호 처리 장치.
  27. 제26 항에 있어서, 상기 객관적 평가법은 ITU-R Recommendation BS.1387인 것을 특징으로 하는 오디오 신호 처리 장치..
  28. 제18 항에 있어서, 상기 동작 결정부는
    상기 채널 개수 조정 동작에서 조정될 상기 채널의 개수, 상기 데이타 선택 동작에서 선택될 데이타의 량, 상기 대역 제거 동작에서 제거될 상기 오디오 신호의 고주파 성분의 량중 적어도 하나인 처리량을 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 매핑시키는 상기 테이블을 이용하여 상기 처리량을 결정하는 처리량 결정부를 더 구비하고,
    상기 주 처리부는 상기 처리량 결정부에서 결정된 상기 처리량으로 상기 오디오 신호를 처리하는 것을 특징으로 하는 오디오 신호 처리 장치.
  29. 제19 항에 있어서, 상기 동작 결정부는
    상기 채널 개수 조정 동작에서 조정될 상기 채널의 개수, 상기 데이타 선택 동작에서 선택될 데이타의 량 및 상기 대역 제거 동작에서 제거될 상기 오디오 신호의 고주파 성분의 량중 적어도 하나인 처리량을 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 매핑시키는 상기 테이블을 이용하여 상기 처리량을 결정하는 처리량 결정부를 더 구비하고,
    상기 주 처리부는 상기 처리량 결정부에서 결정된 상기 처리량으로 상기 오디오 신호를 처리하는 것을 특징으로 하는 오디오 신호 처리 장치.
  30. 제29 항에 있어서, 상기 처리량 결정부는
    상기 오디오 신호의 종류를 검사하고, 검사된 결과와 상기 테이블을 이용하여 상기 처리량을 결정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  31. 제18 항, 제19 항, 제28 항 및 제29 항 중 어느 한 항에 있어서, 상기 동작 결정부는
    상기 네트워크 정보와 상기 단말 정보중 적어도 하나와 상기 입력부로부터 입력된 오디오 신호를 이용하여 상기 테이블을 생성하고, 생성된 상기 테이블을 상기 동작 종류 선택부로 출력하는 테이블 생성부를 더 구비하는 것을 특징으로 하는 오디오 신호 처리 장치.
  32. 제31 항에 있어서, 상기 테이블 생성부는 ITU-R Recommendation BS.1387을 이용하여 상기 네트워크 정보와 상기 단말 정보중 적어도 하나와 상기 오디오 신호로부터 상기 테이블을 생성하는 것을 특징으로 하는 오디오 신호 처리 장치.
  33. 제1 항에 있어서, 상기 오디오 신호 처리 장치는 MPEP-21에 적용되는 것을 특징으로 하는 오디오 신호 처리 장치.
  34. 네트워크과 연결된 단말이 재생할 오디오 신호를 처리하는 오디오 신호 처리 방법에 있어서,
    상기 오디오 신호를 입력하는 단계; 및
    네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여 상기 오디오 신호를 처리하는 단계를 구비하고,
    상기 네트워크 정보는 수시로 변하는 상태를 갖는 상기 네트워크에 대한 정보이고, 상기 단말 정보는 수시로 변하는 상태를 갖는 상기 단말에 대한 정보이고, 상기 신호 정보는 상기 오디오 신호에 대한 정보인 것을 특징으로 하는 오디오 신호 처리 방법.
  35. 제34 항에 있어서, 상기 오디오 신호 처리 방법은
    상기 처리된 오디오 신호를 스트리밍하는 단계를 더 구비하는 것을 특징으로 하는 오디오 신호 처리 방법.
  36. 제34 항에 있어서, 상기 오디오 신호를 처리하는 단계는
    상기 오디오 신호의 채널의 개수를 조정하는 채널 개수 조정 동작, 상기 오디오 신호에 포함된 데이타들중 일부만을 선택하는 데이타 선택 동작 및 상기 오디오 신호의 고주파 성분을 제거하는 대역 제거 동작중에서 적어도 하나의 동작을 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 상응하여 수행하는 단계를 구비하는 것을 특징으로 하는 오디오 신호 처리 방법.
  37. 제36 항에 있어서, 상기 오디오 신호를 처리하는 단계는
    상기 신호 정보에 해당하는 상기 오디오 신호의 비트율이 상기 단말 정보에 해당하는 상기 단말의 허용 비트율보다 적은가를 판단하는 단계;
    상기 오디오 신호의 비트율이 상기 허용 비트율보다 적다고 판단되면, 상기 오디오 신호의 비트율이 상기 네트워크 정보에 해당하는 상기 네트워크의 가용 대역폭보다 큰가를 판단하는 단계; 및
    상기 오디오 신호의 비트율이 상기 허용 비트율보다 적지 않거나 상기 가용 대역폭 보다 크다고 판단되면, 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나를 수행하는 단계를 구비하는 것을 특징으로 하는 오디오 신호 처리 방법.
  38. 제36 항에 있어서, 상기 오디오 신호를 처리하는 단계는
    상기 신호 정보에 해당하는 상기 오디오 신호의 비트율이 상기 단말 정보에 해당하는 상기 단말의 허용 비트율보다 적은가를 판단하는 단계;
    상기 오디오 신호의 비트율이 상기 허용 비트율보다 적다고 판단되면, 상기 오디오 신호의 비트율이 상기 네트워크 정보에 해당하는 상기 네트워크의 가용 대역폭보다 큰가를 판단하는 단계;
    상기 오디오 신호의 비트율이 상기 가용 대역폭 보다 크다고 판단되거나 오디오 신호의 비트율이 허용 비트율보다 적지 않다고 판단되면, 상기 채널 개수 조정 동작을 수행하는 단계;
    상기 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 상기 가용 대역폭보다 큰가를 판단하는 단계; 및
    상기 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 상기 가용 대역폭 보다 큰 것으로 판단되면, 상기 데이타 선택 동작 및 상기 대역 제거 동작중 적어도 하나를 수행하는 단계를 구비하는 것을 특징으로 하는 오디오 신호 처리 방법.
  39. 제36 항에 있어서, 상기 오디오 신호를 처리하는 단계는
    테이블을 통해 상기 동작들중에서 적어도 하나의 해당하는 동작을 결정하는 단계; 및
    상기 결정된 동작으로 상기 오디오 신호를 처리하는 단계를 구비하고,
    상기 테이블은 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 것을 특징으로 하는 오디오 신호 처리 방법.
  40. 제39 항에 있어서, 상기 오디오 신호를 처리하는 단계는
    상기 네트워크 정보와 상기 단말 정보중 적어도 하나와 상기 오디오 신호를 이용하여 상기 테이블을 생성하는 단계를 더 구비하는 것을 특징으로 하는 오디오 신호 처리 방법.
  41. 제39 항에 있어서, 상기 테이블은
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나와 상기 단말의 음질 및 상기 부가 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 것을 특징으로 하는 오디오 신호 처리 방법.
  42. 제40 항에 있어서, 상기 테이블은
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나와 상기 단말의 음질 및 상기 부가 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 것을 특징으로 하는 오디오 신호 처리 방법.
  43. 제39 항, 제40 항, 제41 항 및 제42 항 중 어느 한 항에 있어서, 상기 테이블은 상기 채널 개수 조정 동작에서 조정될 상기 채널의 개수, 상기 데이타 선택 동작에서 선택될 데이타의 량 및 상기 대역 제거 동작에서 제거될 상기 오디오 신호의 고주파 성분의 량중 적어도 하나인 처리량을 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 매핑시키고,
    상기 오디오 신호를 처리하는 단계는 상기 처리량으로 상기 오디오 신호를 처리하는 것을 특징으로 하는 오디오 신호 처리 방법.
  44. 제43 항에 있어서, 상기 오디오 신호를 처리하는 단계는
    상기 오디오 신호의 종류를 체크하는 단계;
    상기 체크된 결과와 상기 테이블을 이용하여 상기 처리량을 결정하는 단계; 및
    상기 결정된 처리량으로 상기 오디오 신호를 처리하는 단계를 구비하는 것을 특징으로 하는 오디오 신호 처리 방법.
  45. 네트워크과 연결된 단말이 재생할 오디오 신호를 처리하는 오디오 신호 처리 장치를 제어하는 적어도 하나의 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    상기 오디오 신호를 입력시키는 단계; 및
    네트워크 정보 및 단말 정보중 적어도 하나와 신호 정보를 이용하여 상기 오디오 신호를 처리시키는 단계를 수행하기 위한 컴퓨터 프로그램을 저장하고,
    상기 네트워크 정보는 수시로 변하는 상태를 갖는 상기 네트워크에 대한 정보이고, 상기 단말 정보는 수시로 변하는 상태를 갖는 상기 단말에 대한 정보이고, 상기 신호 정보는 상기 오디오 신호에 대한 정보인 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
  46. 제45 항에 있어서, 상기 기록 매체는
    상기 처리된 오디오 신호를 스트리밍시키는 단계를 더 수행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  47. 제45 항에 있어서, 상기 오디오 신호를 처리시키는 단계는
    상기 오디오 신호의 채널의 개수를 조정하는 채널 개수 조정 동작, 상기 오디오 신호에 포함된 데이타들중 일부만을 선택하는 데이타 선택 동작 및 상기 오디오 신호의 고주파 성분을 제거하는 대역 제거 동작중에서 적어도 하나의 동작을 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 상응하여 수행시키는 단계를 수행하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
  48. 제47 항에 있어서, 상기 오디오 신호를 처리시키는 단계는
    상기 신호 정보에 해당하는 상기 오디오 신호의 비트율이 상기 단말 정보에 해당하는 상기 단말의 허용 비트율보다 적은가를 판단하는 단계;
    상기 오디오 신호의 비트율이 상기 허용 비트율보다 적다고 판단되면, 상기 오디오 신호의 비트율이 상기 네트워크 정보에 해당하는 상기 네트워크의 가용 대역폭보다 큰가를 판단하는 단계; 및
    상기 오디오 신호의 비트율이 상기 허용 비트율보다 적지 않거나 상기 가용 대역폭 보다 크다고 판단되면, 상기 동작들중 적어도 하나를 수행시키는 단계를 수행하는 것을 특징으로 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  49. 제47 항에 있어서, 상기 오디오 신호를 처리시키는 단계는
    상기 신호 정보에 해당하는 상기 오디오 신호의 비트율이 상기 단말 정보에 해당하는 상기 단말의 허용 비트율보다 적은가를 판단하는 단계;
    상기 오디오 신호의 비트율이 상기 허용 비트율보다 적다고 판단되면, 상기 오디오 신호의 비트율이 상기 네트워크 정보에 해당하는 상기 네트워크의 가용 대역폭보다 큰가를 판단하는 단계;
    상기 오디오 신호의 비트율이 상기 가용 대역폭 보다 크다고 판단되거나 상기 오디오 신호의 비트율이 상기 허용 비트율보다 적지 않다고 판단되면, 상기 채널 개수 조정 동작을 수행시키는 단계;
    상기 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 상기 가용 대역폭보다 큰가를 판단하는 단계; 및
    상기 채널 개수 조정 동작에 의해 처리된 오디오 신호의 비트율이 상기 가용 대역폭 보다 큰 것으로 판단되면, 상기 데이타 선택 동작 및 상기 대역 제거 동작 중 적어도 하나를 수행시키는 단계를 수행하는 것을 특징으로 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  50. 제47 항에 있어서, 상기 오디오 신호를 처리시키는 단계는
    테이블을 통해 상기 동작들중에서 적어도 하나의 해당하는 동작을 결정하는 단계; 및
    상기 결정된 동작으로 상기 오디오 신호를 처리시키는 단계를 수행하고,
    상기 테이블은 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 것을 특징으로 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  51. 제50 항에 있어서, 상기 오디오 신호를 처리하는 단계는
    상기 네트워크 정보와 상기 단말 정보중 적어도 하나와 상기 오디오 신호를 이용하여 상기 테이블을 생성시키는 단계를 더 수행하는 것을 특징으로 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  52. 제50 항에 있어서, 상기 테이블은
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나와 상기 단말의 음질 및 상기 부가 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 것을 특징으로 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  53. 제51 항에 있어서, 상기 테이블은
    상기 네트워크 정보 및 상기 단말 정보중 적어도 하나와 상기 단말의 음질 및 상기 부가 정보중 적어도 하나를 상기 채널 개수 조정 동작, 상기 데이타 선택 동작 및 상기 대역 제거 동작들중 적어도 하나의 해당하는 동작에 매핑시키는 것을 특징으로 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  54. 제50 항, 제51 항, 제52 항 및 제53 항 중 어느 한 항에 있어서, 상기 테이블은 상기 채널 개수 조정 동작에서 조정될 상기 채널의 개수, 상기 데이타 선택 동작에서 선택될 데이타의 량 및 상기 대역 제거 동작에서 제거될 상기 오디오 신호의 고주파 성분의 량중 적어도 하나인 처리량을 상기 네트워크 정보 및 상기 단말 정보중 적어도 하나에 매핑시키고,
    상기 오디오 신호를 처리시키는 단계는 상기 처리량으로 상기 오디오 신호를 처리시키는 것을 특징으로 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
  55. 제54 항에 있어서, 상기 오디오 신호를 처리시키는 단계는
    상기 오디오 신호의 종류를 체크시키는 단계;
    상기 체크된 결과와 상기 테이블을 이용하여 상기 처리량을 결정시키는 단계; 및
    상기 결정된 처리량으로 상기 오디오 신호를 처리시키는 단계를 수행하는 것을 특징으로 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체.
KR1020040013679A 2003-03-07 2004-02-27 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 KR100561867B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US10/793,098 US7561933B2 (en) 2003-03-07 2004-03-05 Apparatus and method for processing audio signal and computer readable recording medium storing computer program for the method
EP04251309.3A EP1455504B1 (en) 2003-03-07 2004-03-05 Apparatus and method for processing audio signal and computer readable recording medium storing computer program for the method
CN200410063134.4A CN1551588B (zh) 2003-03-07 2004-03-08 处理音频信号的装置和方法
JP2004064664A JP4970710B2 (ja) 2003-03-07 2004-03-08 オーディオ信号処理装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US45253403P 2003-03-07 2003-03-07
US60/452,534 2003-03-07
US48726403P 2003-07-16 2003-07-16
US60/487,264 2003-07-16

Publications (2)

Publication Number Publication Date
KR20040080982A KR20040080982A (ko) 2004-09-20
KR100561867B1 true KR100561867B1 (ko) 2006-03-17

Family

ID=37365492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040013679A KR100561867B1 (ko) 2003-03-07 2004-02-27 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체

Country Status (2)

Country Link
US (1) US7561933B2 (ko)
KR (1) KR100561867B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100773539B1 (ko) * 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
KR100716984B1 (ko) * 2004-10-26 2007-05-14 삼성전자주식회사 복수 채널 오디오 신호의 잡음 제거 방법 및 장치
PL1839297T3 (pl) * 2005-01-11 2019-05-31 Koninklijke Philips Nv Skalowalne kodowanie/dekodowanie sygnałów audio
US7953224B2 (en) * 2005-05-20 2011-05-31 Microsoft Corporation MPEG-4 encryption enabling transcoding without decryption
US8081755B2 (en) * 2005-05-20 2011-12-20 Microsoft Corporation JPEG2000 syntax-compliant encryption with full scalability
KR101227487B1 (ko) * 2006-01-21 2013-01-29 엘지전자 주식회사 디지털 방송 신호의 전송 방법 및 디지털 방송 신호 디코딩 방법 및 장치
KR101322392B1 (ko) * 2006-06-16 2013-10-29 삼성전자주식회사 스케일러블 코덱의 부호화 및 복호화 방법 및 장치
US20080120114A1 (en) * 2006-11-20 2008-05-22 Nokia Corporation Method, Apparatus and Computer Program Product for Performing Stereo Adaptation for Audio Editing
TWI333361B (en) * 2006-11-23 2010-11-11 Inst Information Industry Resource allocation apparatus, method, application program, and computer readable medium thereof
KR100954303B1 (ko) * 2008-01-22 2010-04-21 갤럭시아커뮤니케이션즈 주식회사 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법
US9275482B1 (en) * 2011-04-01 2016-03-01 The Mathworks, Inc. Display selection based on data format recognition
US10346126B2 (en) * 2016-09-19 2019-07-09 Qualcomm Incorporated User preference selection for audio encoding
CN112151017B (zh) * 2020-11-24 2021-02-23 北京声智科技有限公司 语音处理方法、装置、系统、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5996022A (en) * 1996-06-03 1999-11-30 Webtv Networks, Inc. Transcoding data in a proxy computer prior to transmitting the audio data to a client
US6961754B2 (en) * 2001-01-12 2005-11-01 Telefonaktiebolaget Lm Ericsson Interactive access, manipulation, sharing and exchange of multimedia data
EP1248431B1 (en) 2001-03-27 2007-10-31 Sony Deutschland GmbH Method for achieving end-to-end quality of service negotiation for distributed multimedia applications
US7151749B2 (en) * 2001-06-14 2006-12-19 Microsoft Corporation Method and System for providing adaptive bandwidth control for real-time communication
US6789123B2 (en) * 2001-12-28 2004-09-07 Microsoft Corporation System and method for delivery of dynamically scalable audio/video content over a network
US20030156108A1 (en) * 2002-02-20 2003-08-21 Anthony Vetro Consistent digital item adaptation
US7133925B2 (en) * 2002-07-15 2006-11-07 Hewlett-Packard Development Company, L.P. System, method, and format thereof for scalable encoded media delivery

Also Published As

Publication number Publication date
US20040176948A1 (en) 2004-09-09
KR20040080982A (ko) 2004-09-20
US7561933B2 (en) 2009-07-14

Similar Documents

Publication Publication Date Title
JP4970710B2 (ja) オーディオ信号処理装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体
KR100561867B1 (ko) 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
JP4724452B2 (ja) デジタルメディア汎用基本ストリーム
US11170791B2 (en) Systems and methods for implementing efficient cross-fading between compressed audio streams
JP5174027B2 (ja) ミックス信号処理装置及びミックス信号処理方法
CN110945494A (zh) 向客户端提供媒体内容的方法和系统
US20040174911A1 (en) Method and apparatus for encoding and/or decoding digital data using bandwidth extension technology
CN106133828A (zh) 编码装置和编码方法、解码装置和解码方法及程序
IL295809B1 (en) Decoding bitstreams with a spectral band duplication meta-method enhanced by at least one filler element
JP5519230B2 (ja) オーディオエンコーダ及び音信号処理システム
US7567897B2 (en) Method for dynamic selection of optimized codec for streaming audio content
KR101038442B1 (ko) 매립된 데이터의 시그널링
US20110064229A1 (en) Audio signal decoding device and balance adjustment method for audio signal decoding device
JP4944317B2 (ja) デジタルオーディオ圧縮アプリケーションにおいてオーディオ材料を事前に分類する方法および装置
US20070198256A1 (en) Method for middle/side stereo encoding and audio encoder using the same
KR101322392B1 (ko) 스케일러블 코덱의 부호화 및 복호화 방법 및 장치
Feiten et al. Audio adaptation according to usage environment and perceptual quality metrics
US10346126B2 (en) User preference selection for audio encoding
US11961538B2 (en) Systems and methods for implementing efficient cross-fading between compressed audio streams
CN113838470B (zh) 音频处理方法、装置、电子设备及计算机可读介质及产品
CN108206983A (zh) 兼容现有音视频系统的三维声信号的编码器及其方法
KR100609173B1 (ko) Ａａｃ복호화 방법
Motta et al. An Audio Compression Method Based on Wavelet Packet Decomposition, Ordering, and Polynomial Approximation of Expressive Coefficients
TWI296406B (ko)
CN117476016A (zh) 音频编解码方法、装置、存储介质及计算机程序产品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee