KR101869002B1 - 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법 - Google Patents

개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법 Download PDF

Info

Publication number
KR101869002B1
KR101869002B1 KR1020160076764A KR20160076764A KR101869002B1 KR 101869002 B1 KR101869002 B1 KR 101869002B1 KR 1020160076764 A KR1020160076764 A KR 1020160076764A KR 20160076764 A KR20160076764 A KR 20160076764A KR 101869002 B1 KR101869002 B1 KR 101869002B1
Authority
KR
South Korea
Prior art keywords
portable terminal
sound
audio
personal broadcasting
tilting
Prior art date
Application number
KR1020160076764A
Other languages
English (en)
Other versions
KR20170142747A (ko
Inventor
김성권
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020160076764A priority Critical patent/KR101869002B1/ko
Publication of KR20170142747A publication Critical patent/KR20170142747A/ko
Application granted granted Critical
Publication of KR101869002B1 publication Critical patent/KR101869002B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에 관한 것이다.
본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법은, 개인방송 시스템에 의해 다수의 마이크를 통해 획득된 음을 처리하고, 사용자의 휴대용 단말기의 스피커를 통해 오디오를 출력하는 단계; 휴대용 단말기를 원하는 방향으로 기울이거나 화면을 확대 또는 축소하는 제어를 수행하는 단계; 휴대용 단말기 내에 설치된 센서에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소를 감지하는 단계; 및 휴대용 단말기의 제어부에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소에 각각 대응되는 시청 포인트를 감지하여 오디오의 음상 및 음량을 변화시켜 스피커로 출력하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 휴대용 단말기 내에 설치된 센서를 이용하여 단말기의 기울어짐을 감지하고, 단말기에서 출력되는 특정 위치의 음원의 소리를 다른 위치의 음원의 소리보다 부각시켜 단말기의 스피커를 통해 출력함으로써, 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있다.

Description

개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법{Method for providing immersive audio with linked to portable terminal in personal broadcasting}
본 발명은 실감 오디오 제공 방법에 관한 것으로서, 더 상세하게는 휴대용 단말기의 자이로 센서를 이용하여 단말기의 기울어짐을 감지하고, 단말기에서 출력되는 특정 위치의 음원의 소리를 다른 위치의 음원의 소리보다 부각시켜 출력함으로써, 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있는, 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에 관한 것이다.
최근 스마트폰, LTE, Wi-Fi 등의 보급이 이루어지고, 밀레니엄 세대 (Millenials)가 주요 소비층으로 부각되고 있다. 이에 따라 밀레니엄 세대가 선호하는 주제의 모바일 동영상 시청이 증가하고 있고, 인터넷과 모바일 서비스들도 밀레니엄 세대의 이용 행태를 고려하여 플랫폼을 제공하고 있으며, 개인 방송 제작자는 이러한 플랫폼을 통해 젊은 층의 관심사인 게임, 음악, 코미디, 스포츠 등의 주제를 다룸으로써 기존 매스 미디어의 틈새를 공략하고 있다. 그러나 개인 방송은 방송 제작 인원이 한정적이고 사용하는 장비 또한 제한적이기 때문에, 시청자로 하여금 단순히 시청하도록 하는 것 이외에는 다른 미디어와 차별성을 갖지 못하고 있다. 특히 미디어는 시청자들의 오감을 만족시켜주는 실감형으로 발전하고 있는 추세에서 개인 방송 컨텐츠는 이에 부합하는 것이 어렵다고 할 수 있다. 따라서 개인 방송 컨텐츠의 실감성을 극대화한다면 시청자의 오감을 만족시켜 줄 수 있는 미디어 컨텐츠 제작이 가능할 것이다.
이러한 실감성이 요구되는 개인 방송 컨텐츠에서 시청자들에게 실감 미디어를 제공하기 위해서는 영상뿐만 아니라 음향 서비스 또한 실감적이어야 한다. 그러나 기존의 개인방송에서는 영상의 확대는 가능하였으나 이와 연동되는 음향의 구현은 미비한 상황이다. 따라서 영상의 변화에 대응하여 음향이 연동되어 변화될 수 있는 영상 및 음향 신호처리 시스템이 필요하다.
한편, 공개특허공보 제10-2015-0081856호(특허문헌 1)에는 "영상 표시 기기 및 그의 동작 방법"이 개시되어 있는바, 이에 따른 영상 표시 기기의 동작 방법은, 영상 표시 기기의 진동을 감지하는 단계; 감지된 진동의 크기가 기설정된 기준 크기 이상인지 판단하는 단계; 감지된 진동의 크기가 기설정된 기준 크기 이상이면, 진동 감지 시의 음성 신호를 확인하는 단계; 확인된 음성 신호가 기저장된 음성 신호인지 판단하는 단계; 및 확인된 음성 신호가 기저장된 음성 신호인지 여부에 따라 영상 표시 기기의 오디오 출력을 조절하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우는 사운드 바이브레이션이 발생하는 음성 신호에 대한 오디오 출력의 조절이 가능하여 사운드 바이브레이션의 발생을 방지할 수 있는 효과가 있을지는 몰라도, 기기의 기울어짐을 감지하여 기기에서 출력되는 특정 위치의 소리를 다른 위치의 소리보다 부각시켜 출력함으로써 실감성을 극대화하는 효과를 기대할 수는 없다.
공개특허공보 제10-2015-0081856호(2015.07.15.)
본 발명은 상기와 같은 사항을 감안하여 창출된 것으로서, 개인방송 환경에서의 실감성을 증대시키기 위한 입체음향 기술로 휴대용 단말기의 자이로 센서를 이용하여 단말기의 기울어짐을 감지하고, 단말기에서 출력되는 특정 위치의 음원의 소리를 다른 위치의 음원의 소리보다 부각시켜 단말기의 스피커를 통해 출력함으로써, 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있는, 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법은,
a) 개인방송 시스템에 의해 다수의 마이크를 통해 획득된 음을 처리하고, 사용자의 휴대용 단말기의 스피커를 통해 오디오를 출력하는 단계;
b) 상기 휴대용 단말기를 원하는 방향으로 기울이거나 화면을 확대 또는 축소하는 제어를 수행하는 단계;
c) 상기 휴대용 단말기 내에 설치된 센서에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소를 감지하는 단계; 및
d) 상기 휴대용 단말기의 제어부에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소에 각각 대응되는 시청 포인트를 감지하여 오디오의 음상 및 음량을 변화시켜 스피커로 출력하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 a)에서 상기 개인방송 시스템에 의해 마이크를 통해 획득된 음을 처리함에 있어서, 획득된 음에 혼입되어 있는 잡음(noise)을 제거하고, 획득된 음의 세기가 미리 설정된 음의 세기보다 작을 경우 획득된 음의 세기를 증폭하며, ADC(analog-to-digital converter)에 의해 아날로그 신호를 디지털 데이터로 변환할 수 있다.
또한, 상기 단계 d)에서 상기 휴대용 단말기의 제어부에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소에 각각 대응되는 시청 포인트를 감지하여 오디오의 음상 및 음량을 변화시킴에 있어서, 제어부에 의해 화면에서 감지된 시청 포인트에 해당하는 위치 정보(데이터)를 추출하고, 상기 개인방송 시스템 측의 다수의 마이크 중 상기 추출된 위치 정보(데이터)에 해당하는 지점의 마이크를 호출하며, 호출된 마이크의 오디오(음향 데이터)의 음성 및 음량을 변화시킬 수 있다.
또한, 상기 휴대용 단말기 내에 설치된 센서는 자이로 센서, 지자기 센서, 가속도 센서, 중력 센서, 터치 센서, 조도 센서 등을 포함할 수 있다.
또한, 상기 휴대용 단말기에는 복수의 스피커가 설치되되, 휴대용 단말기의 길이방향의 양측 단부 및 중심부에 스피커가 각각 설치될 수 있다.
이와 같은 본 발명에 의하면, 휴대용 단말기 내에 설치된 센서를 이용하여 단말기의 기울어짐을 감지하고, 단말기에서 출력되는 특정 위치의 음원의 소리를 다른 위치의 음원의 소리보다 부각시켜 단말기의 스피커를 통해 출력함으로써, 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있는 장점이 있다.
도 1은 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법을 구현하기 위해 채용되는 실감 오디오 제공 시스템의 개략적인 구성을 나타낸 도면이다.
도 2는 도 1에 도시된 실감 오디오 제공 시스템의 휴대용 단말기의 외관을나타낸 도면이다.
도 3은 도 1에 도시된 실감 오디오 제공 시스템의 휴대용 단말기의 내부 시스템 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법의 실행 과정을 나타낸 흐름도이다.
도 5는 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에서, 다수의 마이크와 단일 음향표출 장치에 의한 음향표출 개념을 나타낸 도면이다.
도 6은 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에서, 복수의 음향표출 장치에 의한 음향표출 개념을 나타낸 도면이다.
도 7은 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에서, 영상에서 객체의 확대 및 축소에 따른 음향표출 개념을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법을 구현하기 위해 채용되는 실감 오디오 제공 시스템의 개략적인 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법을 구현하기 위해 채용되는 실감 오디오 제공 시스템 (100)은 마이크(110)와 개인방송 시스템(120) 및 휴대용 단말기(130)를 포함하여 구성될 수 있다.
마이크(110)는 개인방송 제작자의 음성이나 다른 사람의 음성 또는 스포츠경기 중계 등에 따른 각종 음향을 획득한다. 이와 같은 마이크(110)는 도시된 바와 같이 다수의 마이크(110a∼110n)로 구성될 수 있다.
개인방송 시스템(120)은 다수의 마이크(110)를 통해 획득된 음을 처리하고, 처리된 음(오디오 신호) 및 영상(비디오) 신호를 무선 전송한다.
휴대용 단말기(130)는 개인방송 시스템(120)으로부터 전송된 영상 신호 및 오디오 신호를 수신하여 영상 신호는 디스플레이 패널을 통해, 그리고 오디오 신호는 스피커를 통해 각각 출력한다. 여기서, 이와 같은 휴대용 단말기(130)는 스마트폰이나 태블릿 PC 등을 포함할 수 있다. 또한, 상기 휴대용 단말기(130)에는 복수의 스피커가 설치될 수 있으며, 이때 이와 같은 복수의 스피커는 휴대용 단말기(130)의 길이방향의 양측 단부 및 중심부에 각각 설치될 수 있다.
도 2 및 도 3은 도 1에 도시된 실감 오디오 제공 시스템의 휴대용 단말기를 나타낸 것으로서, 도 2은 휴대용 단말기의 외관을 보여주는 도면이고, 도 3은 휴대용 단말기의 내부 시스템 구성을 개략적으로 보여주는 도면이다.
도 2 및 도 3을 참조하면, 휴대용 단말기(130)는 무선통신부(131), 센서부(132), 카메라부(133), 디스플레이부(134), 오디오 처리부(135), 키입력부 (136), 제어부(137) 등을 포함하여 구성될 수 있다.
무선통신부(131)는 외부와 통신채널을 형성하는 것으로서, 제어부(137)의 제어하에 안테나를 통해 입출력되는 데이터의 무선신호를 송수신 처리한다.
센서부(132)는 휴대용 단말기(130)의 자세 변화 또는 디스플레이부(134)를 통해 입력되는 명령을 감지하여 대응되는 동작을 수행하거나 감지 신호를 제어부(137)로 전송한다. 여기서, 이와 같은 센서부(132)는 자이로 센서, 지자기 센서, 가속도 센서, 중력 센서, 터치 센서, 조도 센서 등을 포함할 수 있다.
카메라부(133)는 광신호를 비디오 신호로 변환하는 것으로, 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 이렇게 처리된 화상 프레임은 제어부(137)의 제어하에 디스플레이부(134)에 표시될 수 있다.
디스플레이부(134)는 제어부(137)로부터 입력받은 다양한 정지영상 및 동영상, 숫자, 문자, 특수기호, 상태 정보 등을 포함하는 영상 데이터(디지털 신호)를 아날로그 신호로 변환하여 표시한다.
오디오 처리부(135)는 제어부(137)의 명령에 따라 휴대용 단말기의 마이크를 통해 입력된 음성 신호를 변조하여 음성 데이터로 변환하고, 무선통신부(131)로부터 입력된 음성 데이터 및 메모리(미도시)에 저장된 음성 데이터를 음성신호로 복조하여 스피커를 통해 출력한다.
키입력부(136)는 휴대용 단말기(100)의 기능 제어와 관련한 키 신호를 생성하여 제어부(137)로 전달한다. 이와 같은 키입력부(136)에 의한 키신호는 전원 온/오프 신호, 볼륨 조절 신호, 화면 온/오프 신호 등을 포함할 수 있다.
제어부(137)는 중앙 처리장치로서, 명령어의 해석과 자료의 연산, 비교 등의 처리를 수행하고, 입력장치를 통해 입력된 데이터를 처리한 후 결과를 출력장치로 보내는 일련의 과정을 제어하고 조정한다. 이러한 제어부(190)는 위에서 설명한 바와 같은 제 구성요소들의 동작이나 기능, 구성요소들 상호 간의 신호 흐름을 제어한다.
그러면, 이하에서는 이상과 같은 구성의 실감 오디오 제공 시스템을 바탕으로, 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에 대하여 간략히 설명해 보기로 한다.
도 4는 본 발명의 실시예에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법의 실행 과정을 나타낸 흐름도이다.
도 4를 참조하면, 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에 따라, 먼저 개인방송 시스템(120)에 의해 다수의 마이크(110)를 통해 획득된 음을 처리한 후 방송을 송출한다. 그러면, 사용자의 휴대용 단말기(130)는 그 방송을 수신하고 스피커를 통해 오디오를 출력한다(단계 S401). 여기서, 개인방송 시스템(120)에 의해 마이크(110)를 통해 획득된 음을 처리함에 있어서, 획득된 음에 혼입되어 있는 잡음(noise)을 제거하고, 획득된 음의 세기를 미리 설정된 음의 세기와 비교하여 획득된 음의 세기가 미리 설정된 음의 세기보다 작을 경우 획득된 음의 세기를 증폭하며, ADC(analog-to-digital converter)에 의해 아날로그 신호를 디지털 데이터로 변환할 수 있다.
이렇게 하여 사용자가 휴대용 단말기(130)를 통해 개인방송을 시청하던 중에 사용자에 의해 휴대용 단말기(130)를 원하는 방향으로 기울이거나 화면을 확대 또는 축소하는 제어를 수행한다(단계 S402).
그러면, 휴대용 단말기 내에 설치된 센서부(132)의 센서에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소를 감지한다(단계 S403). 여기서, 휴대용 단말기 내에 설치된 센서는 전술한 바와 같이, 자이로 센서, 지자기 센서, 가속도 센서, 중력 센서, 터치 센서, 조도 센서 등을 포함할 수 있다.
이후, 휴대용 단말기(130)의 제어부(137)에 의해 휴대용 단말기(130)의 기울어짐(도 5 및 도 6 참조)이나 화면의 확대 또는 축소(도 7 참조)에 각각 대응되는 시청 포인트를 감지하여 오디오의 음상 및 음량을 변화시켜 스피커로 출력한다(단계 S404).
여기서, 상기와 같이 휴대용 단말기(130)의 제어부(137)에 의해 휴대용 단말기(130)의 기울어짐이나 화면의 확대 또는 축소에 각각 대응되는 시청 포인트를 감지하여 오디오의 음상 및 음량을 변화시킴에 있어서, 제어부(137)에 의해 화면에서 감지된 시청 포인트(예를 들면, 좌우 길이방향의 화면에서 좌측 끝 또는 우측 끝)에 해당하는 위치 정보(데이터)를 추출하고, 그 추출된 정보(데이터)를 바탕으로 도 5에 도시된 바와 같이, 개인방송 시스템(120) 측의 다수의 마이크(110) 중 상기 추출된 위치 정보(데이터)에 해당하는 지점의 마이크를 호출하며, 호출된 마이크의 오디오(음향 데이터)의 음성 및 음량을 변화시킬 수 있다. 그리고 이렇게 하여 변화된 오디오(음향)을 최종적으로 스피커를 통해 출력하는 것이다. 즉, 휴대용 단말기(130)의 기울임을 통하여 영상에서 포커싱된 지점의 음원을 부각시켜 표출하는 것이다.
한편, 도 5는 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에서, 다수의 마이크와 단일 음향표출 장치에 의한 음향표출 개념을 나타낸 도면이다.
도 5를 참조하면, 개인방송 제작환경에서 다수의 마이크(110)로부터 다수의 음원을 획득하고 휴대용 단말기(130)의 기울임을 통해 영상에서 포커싱된 지점의 음원을 부각시켜 표출시키게 된다. 즉, 도 5의 (A)는 휴대용 단말기(130)의 디스플레이부(134)를 통해 표시된 영상에서 화면의 좌측 끝 부분에 포커싱된 지점의 음원(마이크)을 부각시켜 표출시키는 것을 나타낸 것이고, (B)는 영상에서 화면의 우측 끝 부분에 포커싱된 지점의 음원(마이크)을 부각시켜 표출시키는 것을 나타낸 것이다. 이와 같이 휴대용 단말기(130)의 기울임을 통해 영상에서 포커싱된 지점에 대응되는 음원을 부각시켜 표출함으로써, 사용자(시청자)는 3차원 입체 음향감을 느낄 수 있게 되고, 이는 결국 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있는 효과를 가져오게 된다.
도 6은 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에서, 복수의 음향표출 장치에 의한 음향표출 개념을 나타낸 도면이다.
도 6을 참조하면, 이는 개인방송 시청환경에서 획득한 오디오 데이터에 대한 신호 처리 과정을 통해 휴대용 단말기(130)의 기울임에 의해 포커싱된 지점과 일치하는 외부 스피커 혹은 내부의 복수의 스피커를 통해 입체 음향을 표출하는 것을 나타낸 것이다. 이때, 스피커는 휴대용 단말기(130)의 외부(실내 혹은 실외의 특정 공간)에 설치될 수도 있고, 휴대용 단말기(130)의 내부에 설치될 수도 있다. 즉, 휴대용 단말기(130)의 내부에 설치되는 경우, 휴대용 단말기(130)에는 복수(예를 들면, 3개)의 스피커가 설치될 수 있으며, 이때 이와 같은 복수(3개)의 스피커는 휴대용 단말기(130)의 길이방향의 양측 단부 및 중심부에 각각 설치될 수 있다.
여기에서는 휴대용 단말기(130)의 기울임을 통해 영상에서 포커싱된 지점과 일치하는 스피커로부터 음향을 표출시키게 된다. 즉, 도 6의 (A)에서와 같이 휴대용 단말기(130)의 디스플레이부(134)를 통해 표시된 영상에서 화면의 좌측 끝 부분에 포커싱된 지점과 일치하는 스피커로부터 음향을 표출(포커싱된 지점과 일치하는 스피커로부터 출력되는 오디오의 음상 및 음량을 변화시켜 출력)시키거나, (B)에서와 같이 영상에서 화면의 우측 끝 부분에 포커싱된 지점과 일치하는 스피커로부터 음향을 표출시키게 된다. 이와 같이 휴대용 단말기(130)의 기울임을 통해 영상에서 포커싱된 지점과 일치하는 스피커로부터 음향을 표출시킴으로써, 사용자(시청자)는 마찬가지로 3차원 입체 음향감을 느낄 수 있게 되고, 이는 결국 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있는 효과를 가져오게 된다.
도 7은 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법에서, 영상에서 객체의 확대 및 축소에 따른 음향표출 개념을 나타낸 도면이다.
도 7을 참조하면, 이는 개인방송에서 영상 객체의 변화에 따라 대응되는 음향 데이터를 적용하여 휴대용 단말기(130)의 스피커를 통해 출력하는 것을 나타낸 것이다. 도 7의 (A)의 영상에서의 객체의 크기를 기준으로 할 때, (B)의 영상에서와 같이 객체가 3배로 확대될 경우 그것에 대응하여 음향 데이터의 크기도 증대되어 출력된다. 이에 따라 사용자(시청자)는 이 경우에서도 3차원 입체 음향감을 느낄 수 있게 되고, 이는 결국 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있는 효과를 가져오게 된다.
이상의 설명과 같이, 본 발명에 따른 개인방송에서의 휴대용 단말기와 연동는 실감 오디오 제공방법은 휴대용 단말기 내의 센서를 이용하여 단말기의 기울어짐을 감지하고, 단말기에서 출력되는 특정 위치의 음원의 소리를 다른 위치의 음원의 소리보다 부각시켜 단말기의 스피커를 통해 출력함으로써, 개인방송 환경에 더욱 최적화되고 실감성을 극대화할 수 있는 장점이 있다.
또한, 이상과 같은 본 발명의 실감 오디오 제공방법은 개인방송 환경에 적합한 입체음향 기술로서 본 발명이 개인방송 시스템에 적용될 경우 향후 시청자의 개인방송 시청 시 능동적인 시청 포인트의 선택에 의해 한층 더 실감나는 시청이 가능해 질 것이다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 마이크 120: 개인방송 시스템
130: 휴대용 단말기 131: 무선통신부
132: 센서부 133: 카메라부
134: 디스플레이부 135: 오디오 처리부
136: 키입력부 137: 제어부

Claims (5)

  1. a) 개인방송 시스템에 의해 다수의 마이크를 통해 획득된 음을 처리하고, 사용자의 휴대용 단말기의 스피커를 통해 오디오를 출력하는 단계;
    b) 상기 휴대용 단말기를 원하는 방향으로 기울이거나 화면을 확대 또는 축소하는 제어를 수행하는 단계;
    c) 상기 휴대용 단말기 내에 설치된 센서에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소를 감지하는 단계; 및
    d) 상기 휴대용 단말기의 제어부에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소에 각각 대응되는 시청 포인트를 감지하여 오디오의 음상 및 음량을 변화시켜 스피커로 출력하는 단계를 포함하고,
    상기 단계 a)에서 상기 개인방송 시스템에 의해 마이크를 통해 획득된 음을 처리함에 있어서, 획득된 음에 혼입되어 있는 잡음(noise)을 제거하고, 획득된 음의 세기를 미리 설정된 음의 세기와 비교하여 획득된 음의 세기가 미리 설정된 음의 세기보다 작을 경우 획득된 음의 세기를 증폭하며, ADC(analog-to-digital converter)에 의해 아날로그 신호를 디지털 데이터로 변환하며,
    상기 단계 d)에서 상기 휴대용 단말기의 제어부에 의해 휴대용 단말기의 기울어짐이나 화면의 확대 또는 축소에 각각 대응되는 시청 포인트를 감지하여 오디오의 음상 및 음량을 변화시킴에 있어서, 제어부에 의해 화면에서 감지된 시청 포인트에 해당하는 위치 정보(데이터)를 추출하고, 상기 개인방송 시스템 측의 다수의 마이크 중 상기 추출된 위치 정보(데이터)에 해당하는 지점의 마이크를 호출하며, 호출된 마이크의 오디오(음향 데이터)의 음성 및 음량을 변화시키고,
    휴대용 단말기의 기울임을 통해 영상에서 포커싱된 지점과 일치하는 스피커로부터 출력되는 오디오의 음상 및 음량을 변화시키며,
    영상에서의 객체의 크기를 기준으로 할 때, 객체의 크기가 n배로 확대될 경우 그것에 대응하여 음향 데이터의 크기도 증대되어 출력되는 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020160076764A 2016-06-20 2016-06-20 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법 KR101869002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160076764A KR101869002B1 (ko) 2016-06-20 2016-06-20 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160076764A KR101869002B1 (ko) 2016-06-20 2016-06-20 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법

Publications (2)

Publication Number Publication Date
KR20170142747A KR20170142747A (ko) 2017-12-28
KR101869002B1 true KR101869002B1 (ko) 2018-06-19

Family

ID=60939822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160076764A KR101869002B1 (ko) 2016-06-20 2016-06-20 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법

Country Status (1)

Country Link
KR (1) KR101869002B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600622A (zh) * 2018-08-31 2019-04-09 北京微播视界科技有限公司 音视频信息处理方法、装置和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079334A (ko) 2020-12-04 2022-06-13 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치, 그 동작 방법 및 저장 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752231B1 (ko) * 2007-02-08 2007-08-29 (주)유비코드 인터넷 개인 방송 시스템
WO2013008386A1 (ja) * 2011-07-11 2013-01-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯機器及び通知音出力方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101705122B1 (ko) * 2010-07-19 2017-02-23 주식회사 비즈모델라인 증강현실을 이용한 오디오객체 운영 방법
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
KR20150081856A (ko) 2014-01-07 2015-07-15 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752231B1 (ko) * 2007-02-08 2007-08-29 (주)유비코드 인터넷 개인 방송 시스템
WO2013008386A1 (ja) * 2011-07-11 2013-01-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯機器及び通知音出力方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600622A (zh) * 2018-08-31 2019-04-09 北京微播视界科技有限公司 音视频信息处理方法、装置和电子设备
CN109600622B (zh) * 2018-08-31 2021-04-02 北京微播视界科技有限公司 音视频信息处理方法、装置和电子设备

Also Published As

Publication number Publication date
KR20170142747A (ko) 2017-12-28

Similar Documents

Publication Publication Date Title
CN108141696A (zh) 用于空间音频调节的系统和方法
CN114205324B (zh) 消息显示方法、装置、终端、服务器及存储介质
CN107168518B (zh) 一种用于头戴显示器的同步方法、装置及头戴显示器
EP2627073B1 (en) Terminal apparatus
US9219961B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
CN107211208A (zh) 基于相机选择的音频处理
WO2020017261A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20150144547A (ko) 영상 표시 기기 및 그의 동작 방법
JP7467513B2 (ja) 端末、音声連携再生システム及びコンテンツ表示装置
KR101869002B1 (ko) 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법
CN103729121B (zh) 图像显示设备及其操作方法
CN116097655A (zh) 显示装置及其操作方法
CN112073768B (zh) 蓝牙通信方法及显示设备
KR20180016805A (ko) 디스플레이 장치 및 그의 동작 방법
CN114667737B (zh) 基于用户输入的多路输出控制
JPWO2015079865A1 (ja) 入力装置、コミュニケーション情報の特定方法、処理装置、表示装置、プログラム、および記録媒体
CN107124677B (zh) 声音输出控制系统、装置及方法
KR20130122349A (ko) 영상표시장치 및 휴대 단말기의 동작 방법
US20140373051A1 (en) Method and apparatus for informing occurrence of event of communication terminal in digital tv
CN112752190A (zh) 音频调整方法以及音频调整装置
WO2018135393A1 (ja) 情報処理装置およびゲーム画音生成方法
US20220303707A1 (en) Terminal and method for outputting multi-channel audio by using plurality of audio devices
KR20240028868A (ko) 디스플레이 장치 및 그의 동작 방법
KR101491575B1 (ko) 디스플레이장치 및 그 제어방법
CN118202669A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant