KR101374353B1 - 음향 재생 장치 - Google Patents

음향 재생 장치 Download PDF

Info

Publication number
KR101374353B1
KR101374353B1 KR1020120116285A KR20120116285A KR101374353B1 KR 101374353 B1 KR101374353 B1 KR 101374353B1 KR 1020120116285 A KR1020120116285 A KR 1020120116285A KR 20120116285 A KR20120116285 A KR 20120116285A KR 101374353 B1 KR101374353 B1 KR 101374353B1
Authority
KR
South Korea
Prior art keywords
sound
information
azimuth
sound source
image
Prior art date
Application number
KR1020120116285A
Other languages
English (en)
Inventor
김홍국
전찬준
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020120116285A priority Critical patent/KR101374353B1/ko
Priority to CN201380056925.1A priority patent/CN104813682A/zh
Priority to CN201510357749.6A priority patent/CN105187994B/zh
Priority to PCT/KR2013/008909 priority patent/WO2014061931A1/ko
Priority to US14/435,720 priority patent/US9877129B2/en
Application granted granted Critical
Publication of KR101374353B1 publication Critical patent/KR101374353B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명에 따른 음향 재생 장치에는, 한 쌍으로 제공되는 적어도 하나의 스테레오 음향 정보로부터 음원의 방위각 정보를 추출하는 방위각 정보 추출기; 이미지가 디스플레이되는 터치 스크린; 상기 터치 스크린의 터치상태를 판독하는 판독기; 및 상기 터치상태에 따라서, 상기 이미지 상에서 터치되는 곳과 대응되는 상기 방위각 정보를 가지는 음원이, 그 외의 음원과 비교할 때 특징화되고 합성되어 출력되는 합성기가 포함된다. 본 발명에 따르면, 음원의 방위각 정보를 활용하여 사용자의 다양한 니즈를 충족시킬 수 있고, 음향뿐만 아니라 이미지의 재생에 대한 사용자의 니즈도 충족시킬 수 있고, 동영상 재생기와 음향정보를 적극적으로 활용하여 더욱 활용성이 높은 이미지 재생기를 구현할 수 있다.

Description

음향 재생 장치{SOUND PROCESSING APPARATUS}
본 발명은 음향 재생 장치에 관한 것이다.
스테레오 음향을 이용하여 스테레오 음향에 수록되어 있는 음원의 방위각(Azimuth)을 알아낼 수 있는 기술이 알려진 바가 있다. 대표적인 선행기술로서, Dan barry와 Bob Lawlor가 공동저자인 "sound source separation: azimuth discrimination and resynthesis"가 Proc. of the 7th Int. conference on Digital Audio Effects(DAFX-04), Naples, Italy, October 5-8, 2004에 알려진 바가 있다.
상기 선행기술에 따르면, 스테레오 마이크를 통하여 녹음된 음향의 강도차이(interaural intensity difference:IID)를 이용하여 음원의 방위각을 알아낼 수 있다. 이를 이용하여 여러 음원이 합성되어 저장되어 있는 음향에서 각 음원만을 재생하는 기술이 개진된 바가 있다.
제목: sound source separation: azimuth discrimination and resynthesis 출처: Proc. of the 7th Int. conference on Digital Audio Effects(DAFX-04), Naples, Italy, October 5-8, 2004 저자: Dan barry, Bob Lawlor 상기 논문의 전문
본 발명은 스테레오 음향을 이용하여 음원 정보를 적극적으로 활용할 수 있는 음향 재생 장치 및 음향 재생 방법을 제안한다. 이를 통하여 소비자의 다양한 니즈에 대응할 수 있는 장치 및 방법을 제안한다.
본 발명에 따른 음향 재생 장치에는, 한 쌍으로 제공되는 적어도 하나의 스테레오 음향 정보로부터 음원의 방위각 정보를 추출하는 방위각 정보 추출기; 이미지가 디스플레이되는 터치 스크린; 상기 터치 스크린의 터치상태를 판독하는 판독기; 및 상기 터치상태에 따라서, 상기 이미지 상에서 터치되는 곳과 대응되는 상기 방위각 정보를 가지는 음원이, 그 외의 음원과 비교할 때 특징화되고 합성되어 출력되는 합성기가 포함된다.
또한, 상기 판독기에서 판독되는 상기 터치상태를 바탕으로, 상기 이미지에서 터치된 곳의 적어도 방위각이 포함되는 터치정보를 산출하는 방위각 산출기가 더 포함될 수 있고, 상기 터치정보에는 영역정보가 더 포함될 수 있고, 상기 방위각 정보 추출기의 앞 단에 시간 도메인 정보를 주파수 도메인 정보를 변환하는 도메인 변환기가 포함되고, 상기 합성기의 후단에는 주파수 도메인 정보를 시간 도메인 정보로 변환하는 도메인 변환기가 더 포함될 수 있다.
본 발명에 따른 음향 재생 방법에는, 이미지 디스플레이 되는 터치 스크린이 터치되는 것; 터치된 곳의 적어도 방위각 정보를 추출하는 것; 한 쌍으로 제공되는 적어도 하나의 스테레오 음향 중에서, 상기 방위각 정보와 방위각이 메칭되는 메칭음원을 식별하는 것; 및 상기 메칭음원을 특징화하여, 그 외의 음원과 합성하여 출력하는 것이 포함될 수 있다.
다른 측면에 따른 본 발명의 음행 재생 방법에는, 스테레오 음향 정보과 대응되는 이미지 정보가 디스플레이되는 터치 스크린이 터치되는 것; 상기 이미지 정보 상에서 터치된 곳의 위치와, 방위각이 대응되는 메칭음원을 식별하는 것; 및 상기 메칭음원을 특징화하여, 그 외의 음원과 합성하여 출력하는 것이 포함될 수 있다.
상기 음향 재생 방법에는, 상기 터치 스크린의 터치되는 곳에 식별자가 표시되는 것; 및 상기 식별자가 드래그 가능한 것이 더 포함될 수 있고, 상기 식별자는 소정의 영역을 가지는 영역 식별자일 수도 있다.
상기 음향 재생 방법에는, 상기 터치 스크린의 터치되는 곳에 소정의 영역을 가지는 영역 식별자가 표시되는 것이 더 포함되고, 상기 영역 식별자는 확대, 축소, 및 이동 중의 어느 하나는 가능하도록 제어될 수 있다.
상기 음향 재생 방법에서, 상기 스테레오 음향 정보와 상기 이미지 정보는 서로 시간적으로 대응되어 있을 수 있다.
상기 음향 재생 방법에서, 보조음향을 선택하는 것; 및 상기 보조음향이 함께 출력되는 것이 더 포함될 수 있고, 상기 보조음향은, 보컬정보일 수 있다.
본 발명에 따르면, 음원의 방위각 정보를 활용하여 사용자의 다양한 니즈를 충족시킬 수 있고, 음향뿐만 아니라 이미지의 재생에 대한 사용자의 니즈도 충족시킬 수 있다.
도 1은 실시예에 따른 음향 재생 장치의 블록도.
도 2는 두 개의 음원에 대하여 방위각 정보를 계산한 결과의 일 예를 설명하는 그패프.
도 3은 제 1 실시예에 따른 음향 재생 방법을 설명하는 상태도
도 4는 제 1 실시예에 따른 음향 재생 방법을 설명하는 흐름도.
도 5는 제 2 실시예에 따른 음향 재생 방법을 설명하는 상태도.
도 6은 제 2 실시예에 따른 음향 재생 방법을 설명하는 흐름도.
도 7은 제 3 실시예에 따른 음향 재생 방법을 설명하는 상태도.
도 8은 제 3 실시예에 따른 음향 재생 방법을 설명하는 흐름도.
도 9는 제 4 실시예에 따른 음향 재생 방법을 설명하는 상태도.
도 10은 제 4 실시예에 따른 음향 재생 방법을 설명하는 흐름도.
이하에서 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 발명의 사상은 이하의 실시예에 제한되지 아니하고, 그 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 그 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이다. 그러나 그러한 실시예 또한 본 발명의 사상에 포함된다고 할 것이다.
<음향 재생 장치>
도 1은 실시예에 따른 음향 재생 장치의 블록도이다.
도 1에 제시되는 음향 재생 장치는 다양한 장치가 해당될 수 있다. 예를 들어, 이미지 재생 장치가 구비되어 있는, 휴대단말기, 디지털 카메라, 및 컴퓨터 등이 해당될 수 있고, 제약되는 사항은 없다. 상기 음향 재생 장치에는, 스테레오 음향 정보 및 이미지 정보가 저장되는 메모리(1)가 포함된다. 상기 스테레오 음향 정보로는, 좌측 음향 및 우측 음향이 시간정보로서 저장되어 있고, 각각이 제 1 도메인 변환기(2) 및 제 2 도메인 변환기(3)로 입력되어 주파수 정보로 변환된다. 주파수 정보로서의 스테레오 음향 정보는 방위각 정보 추출기(5)로 입력되어 스테레오 음향에 포함되어 개별적인 음향을 제공하는 각 음원의 방위각을 알아낸다.
상기 방위각 정보 추출기(5)의 동작을 더 상세하게 설명한다.
수학식 1은 스테레오 음향 정보를 모델링한 것이다.
Figure 112012084988846-pat00001
상기 수학식 1에서 Sj는 J번째 음원이고, Plj, Prj는 각각 좌측 및 우측의 J번째 음원의 전개계수(Panning coefficient)이고, L과 R은 각각 좌측음향 및 우측음향을 나타낸다. 그러면, 상기 L(t)와 R(t)는 기존에 알고 있는 정보이므로 특정 음원에 대한 좌측 음향 및 우측 음향의 강도정보를 구할 수 있다. 상기 수학식 1에 따르면, J번째 음원의 강도비율(intensity ration)은 하기 수학식 2와 같이 주어질 수 있다.
Figure 112012084988846-pat00002
상기 강도비율은, 좌측음향 및 우측음향의 강도에 대한 비율이다. 스테레오 마이크의 위치를 중심으로 할 때, 음원이 놓이는 방위각에 따라서 좌측음향과 우측음향의 강도가 다르게 된다. 따라서, 예를 들어, 마이크를 중심으로 할 때 좌측에 놓이는 음원(예를 들어, j음원)은 좌측음향 강도가 더 크게 재생될 것이고, 이 경우에 j음원의 강도비율 g(j)는 1보다 크게 될 것이다. 나아가서, 좌측으로 치우진 정도가 더 크다면 좌측 음향의 크기가 더 커지게 될 것임도 알 수 있다. 그 반대의 경우도 마찬가지로 이해될 수 있을 것이다.
결국, 상기 강도비율 g(j)를 이용함으로써, 스테레오 마이크를 중심으로 하는 음원의 방위각 정보를 알아낼 수 있다. 이는 g(j)의 값으로 환산되어 표현될 수 있다.
두 개의 음원에 대하여 방위각 정보를 계산한 결과의 일 예가 도 2에 제시하고 있다. 도 2를 참조하면, 상기 g값을 0에서 100까지의 환산값으로 스케일링하여 방위각 정보(azimuth)로서 표시하였다. 어느 방위각에서의 음원은 일정간격의 하모닉이 주파수정보(frequency bin)로서 나타나고 있는 것을 볼 수 있는데, 이는 악기의 경우에는 특정 하모닉이 특징적으로 나타나기 때문이다. 또한, 각 주파수의 크기(magnitude)가 나타난다.
상기되는 설명에 따르면, 스테레오 음향 정보를 이용하여 각 음원의 방위각 정보를 알아낼 수 있는 것은 볼 수 있다. 이 방법은 IID방법으로서 이미 제시된 바가 있으며, 본 발명에서는 IID방법이 아닌 다른 방법을 통해서도 방위각 정보를 알아낼 수 있는 것을 배제하지 아니한다.
상기 방법을 통하여 추출된 각 음원의 방위각 정보와 음향정보는 합성기(7)로 제공된다. 상기 합성기(7)는 방위각 정보를 참조하여 특정의 방위각 정보와 메칭되는, 이미지 정보 상의 특정 위치에 놓여 있는 음원을 특징화하여 합성할 수 있다. 상기 특정 위치는 사용자의 지시 등과 같은 형식으로 외부로부터 입력되는 방위각 정보의 형식으로 입력될 수 있다.
외부로부터 방위각 정보를 입력하는 구성에 대하여 더 상세하게 설명한다. 상기 메모리(1)에는 음향정보와 함께 이미지 정보가 저장되어 있다. 상기 이미지 정보는 터치 스크린(4)으로 출력된다. 여기서, 상기 터치 스크린(4)에는, 이미지가 재생되는 장치와, 외부 물체의 터치상태를 감지할 수 장치, 전기신호로 이를 정보처리할 수 있는 장치, 및 터치 장소를 터치 스크린(5) 상에 나타낼 수 있는 장치를 포함할 수 있다. 이러한 터치 스크린(4)의 구성 및 작용은 주지의 사실이라 할 수 있으므로, 자세한 설명은 생략하도록 한다.
상기 터치 스크린(4)이 터치되면, 터치되는 신호를 판독하는 판독기(5)는 터치되는 곳을 판독해 낼 수도 있고, 판독된 터치 상태를 바탕으로 터치 스크린을 제어할 수도 있다. 예를 들어, 터치된 곳에 음영처리된 영역을 표시할 수도 있고, 커서를 위치시킬 수도 있고, 터치의 변화에 따라서 상기 영역을 이동/확대/축소시킬 수도 있다. 상기 방위각 산출기(6)에서는, 터치된 곳이 전체 이미지에 대비되는 방위각 및 영역으로 예시되는 터치정보를 산출해 낸다. 이때 방위각 산출기(6)에서는, 미리 스케일링 등의 과정을 통하여 상기 방위각 정보 추출기(5)의 방위각과 전체 이미지에 대응되는 방위각을 서로 메칭시켜 둔 정보를 활용할 수도 있다. 경우에 따라서는 방위각 산출기(6)는 따로이 없이, 합성기(7)에서 판단하여 터치 스크린에서 터치되는 곳과 방위각 정보 산출기(5)에서 산출되는 방위각을 서로 메칭시킬 수도 있을 것이다. 다만, 이미지 상에서 터치되는 곳과, 음원에서 산출된 방위각 정보가, 적어도 상기 합성기(7)에서 일정한 관계로 서로 대응되는 것은 이해할 수 있을 것이다.
상기 합성기(7)에서는, 터치되는 곳(즉 외부에서 입력되는 방위각 정보)이, 방위각 정보 추출기(5)에서 추출된 방위각과 메칭되는 음원을 확인하여, 터치되는 곳에 놓이는 음원, 즉, 메칭되는 곳에 놓이는 j번째 음원을 특징화하여 합성시킬 수 있다. 예를 들어, 특징화방법으로서는, 터치되는 곳과 메칭되는 곳에 놓여 있는 음원만을 합성시키고, 그 외의 음원은 합성하지 않고 재생시킬 수 있다. 이 경우에는 터치된 곳의 음원만이 재생되는 효과를 얻을 수 있다. 물론, 그 반대의 경우로서, 터치되는 곳과 메칭되는 곳에 놓여 있는 음원만을 제외하여 다른 음원만을 합성시켜서, 터치되는 곳과 메칭되는 곳에 놓여있는 음원은 합성하지 않고 재생시킬 수 있다. 이 경우에는 터치된 곳의 음원만이 재생에서 배제되는 효과를 얻을 수 있다.
합성기(7)에서 합성되는 음원은, 제 3 도메인 변환기(8)를 거쳐서 시간 도메인으로 변환되고, 음향으로 출력될 수 있다. 한편, 상기 메모리(1)에 보컬, 추가 악기의 음원 등과 같은 보조음향이 더 제공되는 경우에는, 제 3 도메인변환기(8)에서 변환되어 출력되는 시간영역의 음향신호와 합성되어 출력되도록 할 수도 있다.
상기되는 음향 재생 장치에 따르면, 이미지 정보의 이미지 상에서 사용자가 원하는 곳의 음원만을 특징화하여 재생할 수 있는 효과를 기대할 수 있다. 이로써 사용자의 편의성, 만족감을 증진시킬 수 있는 효과를 얻을 수 있다. 또한, 동영상으로서의 이미지가 제공되는 경우에는 동영상의 재생과 함께 음향의 조작상태를 연속적으로 조작하여 사용자의 만족감을 더욱 높일 수 있다. 이미지가 동영상인 경우에는, 이미지와 스테레오 음향 정보는 시간적으로 동기화되어 있을 수 있다.
<음향 재생 방법>
본 발명의 음향 재생 방법은, 본 발명의 음향 재생 장치를 적용함으로써 그 효과를 더 높일 수 있고, 더 쉽게 이해할 수 있다. 따라서, 구체적인 지시나 설명이 없는 부분은 본 발명의 음향 재생 장치의 설명이 그대로 적용되는 것으로 한다.
<제 1 실시예>
도 3은 제 1 실시예에 따른 음향 재생 방법을 설명하는 상태도이고, 도 4는 제 1 실시예에 따른 음향 재생 방법을 설명하는 흐름도이다. 도 3을 참조하면, 휴대단말기, 디지털 카메라, 및 컴퓨터 등으로 예시되는 이미지 재생기(10)에는, 터치 스크린(4)과 스피커(12)가 제공되어 있다. 상기 터치 스크린에는 이미지가 재생되고 있고, 사용자는 손으로 예시되는 소정의 도구로서 터치 스크린을 터치할 수 있다. 이때에는 터치된 곳의 음원이 특징화되어 재생될 수 있다. 상기 특징화의 일 예로는 터치된 곳의 음원만이 재생되거나, 터치된 곳의 음원만이 재생되지 아니하거나, 터치된 곳의 음원만이 약화되거나 강화되어 재생될 수 있을 것이다.
도 4를 참조하여 제 1 실시예에 따른 음향 재생 방법의 수행과정을 더 상세하게 설명한다. 먼저, 터치 스크린을 터치한다(S11). 상기 이미지 재생기(10)에서는 터치 지점의 방위각을 추출하고(S12), 추출된 방위각의 음원을 식별해낸다(S13). 상기 추출된 방위각의 음원을 식별하는 과정은 음향 재생 장치에서 설명된 구성 및 방법이 적용될 수 있다. 이때, 방위각은 도 3의 이미지를 기준으로 좌우방향의 축을 기준으로 선정될 수 있다. 예를 들어, 이미지의 가장 좌측을 0으로 가장 우측으로 100으로 선정할 수 있다. 이후에는 식별된 음원은 터치 지점의 음원으로서 특징화되어 합성된다(S14). 합성된 음향은 스피커(12)를 통하여 출력된다(S15). 사용자는 터치 지점의 음원이 특징화되어 있는 음향을 청취할 수 있다.
상기 터치 지점의 방위각 추출(S12), 및 상기 추출된 방위각의 음원식별(S13)은 함께 수행될 수도 있는 것으로서, 터치 지점에 놓인 음원이 추출되는 것으로 이해될 수도 있다.
상기되는 방법에 따르면, 사용자는 이미지를 보면서 자신이 지정한 음원에 대하여 특징화 처리된 음향을 청취할 수 있는 효과를 기대할 수 있다. 이로써, 사용자의 니즈를 다양한 방법으로 충족시킬 수 있다.
<제 2 실시예>
제 2 실시예는 제 1 실시예를 바탕으로 하는 것으로서, 구체적인 설명이 없는 부분은 제 1 실시예의 설명을 원용하는 것으로 한다.
도 5는 제 2 실시예에 따른 음향 재생 방법을 설명하는 상태도이고, 도 6은 제 2 실시예에 따른 음향 재생 방법을 설명하는 흐름도이다. 도 5를 참조하면, 상기 터치 스크린(4)에는 이미지가 재생되고 있고, 사용자는 손으로 예시되는 소정의 도구로서 터치 스크린을 터치할 수 있다. 상기 판독기(5)는 터치상태를 감지하여 터치 스크린(4)을 제어하여 소정 형태의 식별자가 디스플레이되도록 한다. 도 5에는 상기 식별자가 직사각형의 음영영역으로 예시되어 있으나, 커서 또는 십자가의 형태가 사용될 수도 있다. 그러면, 식별자가 표시되는 영역의 내부에 포함되는 방위각을 가지는 음원이 특징화되어 합성되고 재생될 수 있다. 상기 특징화의 일 예로는 터치된 곳의 음원만이 재생되거나, 터치된 곳의 음원만이 재생되지 아니하거나, 터치된 곳의 음원만이 약화되거나 강화되어 재생될 수 있을 것이다. 사용자가 상기 식별자를 드래그하면, 이동된 상태에서 식별자가 위치하는 곳의 내부에 있는 음원이 특징화되어 합성 및 재생될 수 있다.
도 6을 참조하여 제 1 실시예에 따른 음향 재생 방법의 수행과정을 더 상세하게 설명한다. 먼저, 터치 스크린을 터치한다(S21). 상기 이미지 재생기(10)에서는 터치 지점을 소정 형태의 식별자로 디스플레이한다(S22). 식별자가 위치하는 곳으로서, 예를 들어 그 내부에 포함되는 방위각을 가지는 음원을 특징화해서 합성하고 출력할 수 있다(S23). 이때, 합성되어야 하는 음원의 식별, 합성, 및 출력은, 제 1 실시예에서의 상기 터치 지점의 방위각 추출(S12), 상기 추출된 방위각의 음원식별(S13), 상기 음원의 합성(S14), 및 상기 합성된 음원의 출력(S15)과 대응하는 것으로 이해할 수 있다.
사용자는 상기 식별자를 보면서 식별자를 드래그할 수 있다(S24). 사용자가 식별자를 드래그하는 경우에는, 식별자의 내부에 포함되는 음원을 다시 파악하여, 해당되는 음원을 특징화, 합성, 및 출력할 수 있다.
제 2 실시예에 따른 음향 재생 방법에 따르면, 사용자가 이미지를 보면서 원하는 곳의 음원을 실시간으로 재생해 낼 수 있는 효과를 기대할 수 있다.
<제 3 실시예>
제 3 실시예는 제 1, 2 실시예를 바탕으로 하는 것으로서, 구체적인 설명이 없는 부분은 제 1, 2 실시예의 설명을 원용하는 것으로 한다.
도 7은 제 3 실시예에 따른 음향 재생 방법을 설명하는 상태도이고, 도 8은 제 3 실시예에 따른 음향 재생 방법을 설명하는 흐름도이다. 도 7을 참조하면, 상기 터치 스크린(4)에는 이미지가 재생되고 있고, 사용자는 손으로 예시되는 소정의 도구로서 터치 스크린을 터치할 수 있다. 상기 판독기(5)는 터치상태를 감지하고 터치 스크린(4)을 제어하여 소정 형태의 영역 식별자가 디스플레이되도록 한다. 도 7에는 상기 영역 식별자가 직사각형의 음영으로 예시되어 있다. 그러면, 영역 식별자가 표시되는 곳의 내부에 포함되어 있는 음원이 특징화되어 합성되고 재생될 수 있다. 이 경우에는, 상기 방위각 산출기(6)에서는 특정 포인트로서의 방위각뿐만 아니라, 상기 영역 식별자가 위치하는 방위각의 영역으로서의 정보를 산출하여, 상기 합성기(7)로 전달할 수도 있을 것이다. 상기 특징화의 일 예로는 터치된 곳의 음원만이 재생되거나, 터치된 곳의 음원만이 재생되지 아니하거나, 터치된 곳의 음원만이 약화되거나 강화되어 재생될 수 있을 것이다. 사용자가 상기 영역 식별자를 확대 또는 축소하면, 확대 또는 축소된 상태에서 상기 영역 식별자가 위치하는 곳의 내부에 있는 음원이 특징화되어 합성 및 재생될 수 있다.
도 8을 참조하여 제 1 실시예에 따른 음향 재생 방법의 수행과정을 더 상세하게 설명한다. 먼저, 터치 스크린을 터치한다(S31). 상기 이미지 재생기(10)에서는 터치 지점을 소정 형태의 영역 식별자로 디스플레이한다(S32). 상기 영역 식별자가 위치하는 곳으로서, 예를 들어 그 내부에 포함되는 음원을 특징화해서 합성하고 출력할 수 있다(S33). 이때, 합성되어야 하는 음원의 식별, 합성, 및 출력은, 제 1 실시예에서의 상기 터치 지점의 방위각 추출(S12), 상기 추출된 방위각의 음원식별(S13), 상기 음원의 합성(S14), 및 상기 합성된 음원의 출력(S15)과 대응하는 것으로 이해할 수 있다.
사용자는 상기 영역 식별자를 보면서 상기 영역 식별자를 확대 또는 축소할 수 있다(S34). 사용자가 식별자를 확대 또는 축소하는 경우에는, 상기 영역 식별자의 내부에 포함되는 음원을 다시 파악하여, 해당되는 음원을 특징화, 합성, 및 출력할 수 있다.
제 3 실시예에 따른 음향 재생 방법에 따르면, 사용자가 이미지를 보면서 원하는 음원을 실시간으로 편리하게 다수를 선택 또는 제거하여 재생해 낼 수 있는 효과를 기대할 수 있다.
<제 4 실시예>
제 3 실시예는 제 1, 2, 3 실시예를 바탕으로 하는 것으로서, 구체적인 설명이 없는 부분은 제 1, 2, 3 실시예의 설명을 원용하는 것으로 한다.
도 9는 제 4 실시예에 따른 음향 재생 방법을 설명하는 상태도이고, 도 10은 제 4 실시예에 따른 음향 재생 방법을 설명하는 흐름도이다. 도 9를 참조하면, 상기 터치 스크린(4)에는 이미지가 재생되고 있고, 상기 영역 식별자가 제공되고 있다. 사용자는 손으로 예시되는 소정의 도구로서 추가 음원부(13)에 제공되는 소정의 음원을 터치하여 상기 영역 식별자의 내부로 드래그할 수 있다. 상기 판독기(5)는 터치상태를 감지하고 선택되어 드래그되는 음원의 이미지를 터치 스크린(4)에 디스플레이 되도록 할 수 있다. 상기 음원으로는 입술모양으로 제시되는 보컬, 및 나팔모양의 관악기가 예시될 수 있다. 도 9와 같이 입술모양이 상기 영역 식별자의 내부로 드래그 되는 경우에는, 기존에 상기 영역 식별자의 내부에 있는 음원과 함께, 가수의 보컬이 함께 특징화되어 합성되고 재생될 수 있다. 반대의 경우로서, 입술모양의 아이콘을 상기 영역 식별자의 내부에 외부로 이동시키는 경우에는 보컬이 제거된 상태에서, 상기 영역 식별자의 내부에 있는 음원이 특징화되어 합성되고 재생될 수 있다.
이때 상기 입술모양에 해당되는 음원은 보조음향으로서, 메모리(도 1의 1참조)에 별도로 저장되어 있다가 제 3 도메인 변환기(8)의 출력단에서 합성되어 음향으로 출력되도록 할 수 있다.
도 10을 참조하여 제 4 실시예에 따른 음향 재생 방법의 수행과정을 더 상세하게 설명한다. 먼저 터치 스크린을 터치하여 음원을 선택하여(S41). 선택된 음원을 상기 영역 식별자의 내부 또는 외부로 드래그 한다(S42). 이때, 상기 이미지 재생기(10)에서는 드래그 상태를 디스플레이할 수 있는 것은 물론이다. 상기 영역 식별자가 위치하는 곳으로서, 예를 들어 상기 영역 식별자의 내부에 포함되는 음원을 특징화해서 합성하고 출력할 수 있다(S33). 이때, 음원선택단계(S42)에서 선택된 음원이 보컬인 경우에는 보컬이 다양한 악기와 함께 출력될 수 있다.
제 4 실시예에 따른 음향 재생 방법에 따르면, 무성음 신호가 많이 포함되는 보컬의 경우에, 하모닉 성분이 많이 포함되는 일반 악기의 음향과는 다르므로 별도로 처리하여 추가 또는 삭제가 가능하도록 한다. 이로써, 보컬에 대한 합성 및 재생의 만족감을 더 높일 수 있으면서도, 음향의 선택성을 높인다는 본 발명의 일 특징에 대한 만족도를 높일 수 있다. 이는 사람의 육성은 비하모닉성분과 하모닉성분이 함께 많이 포함되는 특징을 가지는 반면에, 악기는 하모닉 성분이 큰 특징으로 인하여 방위각 정보를 추출하는 과정 또는 음향을 식별하는 과정에 어려움이 있는 경우에 더 바람직하게 적용될 수 있다.
본 발명은 이상의 실시예에 제한되지 아니하며, 이하의 다른 실시예를 더 포함할 수 있다. 예를 들어, 상기되는 실시예에서는 스테레오 마이크가 한 개의 경우, 즉 일차원의 경우(도 3에서의 좌우방향))에 대해서 방위각 정보를 알아낼 수 있는 것을 예로 들어 설명하였다. 그러나 그와 같은 경우에 제한되지 아니하고, 스테레오 마이크가 두 개 마련되는 경우에는 2차원의 방위각 정보를 알아내어 이를 상하 및 좌우로 각각 마련되는 디스플레이 기기에 이용할 수도 있다. 이 경우에는 터치 스크린의 화면의 상하좌우방향의 어느 위치에 놓인 음원에 대해서도 이를 식별하여 특징화하여 재생할 수 있다. 마찬가지로, 스테레오 마이크가 세 개 마련되는 경우에는 3차원의 방위각 정보를 알아내어 전후, 좌우, 및 상하로 마련되는 디스플레이 기기에 이를 이용할 수도 있을 것이다. 이 또한 본 발명의 사상에 포함된다고 할 것이다.
또한, 상기 방위각 정보 추출기는 IID방식으로 방위각 정보를 산출하는 것으로 설명되어있다. 그러나 그러한 경우에 제한되지 아니하고, 음향의 추가적인 전처리 또는 후처리를 더 적용하는 등의 다른 방식으로 방위각 정보를 산출할 수도 있다.
본 발명에 따르면, 음원의 방위각 정보를 활용하여 사용자의 다양한 니즈를 충족시킬 수 있고, 음향뿐만 아니라 이미지의 재생에 대한 사용자의 니즈도 충족시킬 수 있고, 동영상 재생기와 음향정보를 적극적으로 활용하여 더욱 활용성이 높은 이미지 재생기를 구현할 수 있다.
5: 방위각 정보 추출기
7: 합성기

Claims (13)

  1. 한 쌍으로 제공되는 적어도 하나의 스테레오 음향 정보로부터 음원의 방위각 정보를 추출하는 방위각 정보 추출기;
    이미지가 디스플레이되는 터치 스크린;
    상기 터치 스크린의 터치상태를 판독하는 판독기;
    상기 터치상태에 따라서, 상기 이미지 상에서 터치되는 곳과 대응되는 상기 방위각 정보를 가지는 음원이, 그 외의 음원과 비교할 때 특징화되고 합성되어 출력되는 합성기; 및
    상기 방위각 정보 추출기의 앞 단에 시간 도메인 정보를 주파수 도메인 정보로 변환하는 도메인 변환기와, 상기 합성기의 후단에는 주파수 도메인 정보를 시간 도메인 정보로 변환하는 도메인 변환기가 포함되는 음향 재생 장치.
  2. 제 1 항에 있어서,
    상기 판독기에서 판독되는 상기 터치상태를 바탕으로, 상기 이미지에서 터치된 곳의 적어도 방위각이 포함되는 터치정보를 산출하는 방위각 산출기가 더 포함되는 음향 재생 장치.
  3. 제 2 항에 있어서,
    상기 터치정보에는 영역과 관련된 정보가 더 포함되는 음향 재생 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020120116285A 2012-10-18 2012-10-18 음향 재생 장치 KR101374353B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120116285A KR101374353B1 (ko) 2012-10-18 2012-10-18 음향 재생 장치
CN201380056925.1A CN104813682A (zh) 2012-10-18 2013-10-04 用于播放声音的设备和方法
CN201510357749.6A CN105187994B (zh) 2012-10-18 2013-10-04 用于播放声音的设备和方法
PCT/KR2013/008909 WO2014061931A1 (ko) 2012-10-18 2013-10-04 음향 재생 장치 및 음향 재생 방법
US14/435,720 US9877129B2 (en) 2012-10-18 2013-10-04 Device and method for playing sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116285A KR101374353B1 (ko) 2012-10-18 2012-10-18 음향 재생 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140983A Division KR101471602B1 (ko) 2013-11-19 2013-11-19 음향 재생 장치 및 음향 재생 방법

Publications (1)

Publication Number Publication Date
KR101374353B1 true KR101374353B1 (ko) 2014-03-17

Family

ID=50488448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116285A KR101374353B1 (ko) 2012-10-18 2012-10-18 음향 재생 장치

Country Status (4)

Country Link
US (1) US9877129B2 (ko)
KR (1) KR101374353B1 (ko)
CN (2) CN104813682A (ko)
WO (1) WO2014061931A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875080B2 (en) 2014-07-17 2018-01-23 Nokia Technologies Oy Method and apparatus for an interactive user interface
KR20160024002A (ko) * 2014-08-21 2016-03-04 삼성전자주식회사 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치
KR20170058839A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 부가 영상 객체 기반의 음향 객체 제어 장치 및 방법
KR20170101629A (ko) 2016-02-29 2017-09-06 한국전자통신연구원 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법
CN108196675B (zh) * 2017-12-29 2021-04-16 珠海市君天电子科技有限公司 用于触控终端的交互方法、装置及触控终端
GB2589870A (en) * 2019-12-10 2021-06-16 Nokia Technologies Oy Placing a sound within content
US20230214004A1 (en) * 2020-05-21 2023-07-06 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041878A (ko) * 2007-10-25 2009-04-29 엘지전자 주식회사 이동통신 단말기에서의 오디오 출력 제어장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983251B1 (en) * 1999-02-15 2006-01-03 Sharp Kabushiki Kaisha Information selection apparatus selecting desired information from plurality of audio information by mainly using audio
US7742609B2 (en) * 2002-04-08 2010-06-22 Gibson Guitar Corp. Live performance audio mixing system with simplified user interface
KR100532605B1 (ko) * 2003-12-22 2005-12-01 한국전자통신연구원 이동통신 단말기의 가상 입체 음향 제공 장치 및 그 방법
DE102006015269A1 (de) 2006-04-01 2007-10-25 Carl Zeiss Microimaging Gmbh Spektrometrisches Messsystem und Verfahren zur Kompensation von Falschlicht
JP5194985B2 (ja) * 2008-04-18 2013-05-08 ヤマハ株式会社 制御装置
KR20090111943A (ko) * 2008-04-23 2009-10-28 주식회사 케이티테크 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법
KR101545875B1 (ko) * 2009-01-23 2015-08-20 삼성전자주식회사 멀티미디어 아이템 조작 장치 및 방법
US20110116665A1 (en) * 2009-11-17 2011-05-19 King Bennett M System and method of providing three-dimensional sound at a portable computing device
KR20120110928A (ko) * 2011-03-30 2012-10-10 삼성전자주식회사 음원처리 장치 및 방법
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041878A (ko) * 2007-10-25 2009-04-29 엘지전자 주식회사 이동통신 단말기에서의 오디오 출력 제어장치 및 방법

Also Published As

Publication number Publication date
CN105187994B (zh) 2019-01-15
CN104813682A (zh) 2015-07-29
CN105187994A (zh) 2015-12-23
WO2014061931A1 (ko) 2014-04-24
US9877129B2 (en) 2018-01-23
US20150271618A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
KR101374353B1 (ko) 음향 재생 장치
JP5082327B2 (ja) 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4543261B2 (ja) 再生装置
US8917972B2 (en) Modifying audio in an interactive video using RFID tags
EP3236346A1 (en) An apparatus and associated methods
US10798518B2 (en) Apparatus and associated methods
EP2669893A2 (en) Apparatus and method for high speed visualization of audio stream in an electronic device
JP2008271157A (ja) 音声強調装置及び制御プログラム
CN105141992A (zh) 移动终端视频播放方法及装置
EP2706762A2 (en) Multimedia processing system and audio signal processing method
KR20200087130A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
KR101471602B1 (ko) 음향 재생 장치 및 음향 재생 방법
US9445210B1 (en) Waveform display control of visual characteristics
US9704276B1 (en) Enhancement and display methods for intuitively read three-dimensional visual representations of digital audio files
JP5371574B2 (ja) 背景映像中の顔画像を避けるように歌詞字幕を表示するカラオケ装置
WO2013008869A1 (ja) 電子機器及びデータ生成方法
JP6456171B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101218336B1 (ko) 오디오 신호의 시각화 장치
JP6390112B2 (ja) 音楽情報処理装置及びプログラム並びに方法
KR20170068795A (ko) 소리의 시각화 방법 및 이를 이용한 모바일 단말
JP2006178052A (ja) 音声発生装置およびそのためのコンピュータプログラム
JP6028489B2 (ja) 動画再生装置、動画再生方法、及びプログラム
JP2005249872A (ja) 音楽再生パラメータ設定装置および音楽再生パラメータ設定方法
JP2017092832A (ja) 再生方法および再生装置
Gerhard et al. Focus-Plus-Context Displays for Audio Interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 7