KR20230034063A - 디스플레이 장치 및 그 동작 방법 - Google Patents

디스플레이 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20230034063A
KR20230034063A KR1020210117196A KR20210117196A KR20230034063A KR 20230034063 A KR20230034063 A KR 20230034063A KR 1020210117196 A KR1020210117196 A KR 1020210117196A KR 20210117196 A KR20210117196 A KR 20210117196A KR 20230034063 A KR20230034063 A KR 20230034063A
Authority
KR
South Korea
Prior art keywords
output
audio
audio data
output device
audio input
Prior art date
Application number
KR1020210117196A
Other languages
English (en)
Inventor
최길수
김세현
박혜은
윤석언
이종인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210117196A priority Critical patent/KR20230034063A/ko
Priority to PCT/KR2022/013151 priority patent/WO2023033574A1/ko
Publication of KR20230034063A publication Critical patent/KR20230034063A/ko
Priority to US18/592,886 priority patent/US20240201933A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

실시예들에 따라, 디스플레이 장치 및 그 동작 방법이 개시된다. 개시된 디스플레이 장치는, 디스플레이, 통신 인터페이스, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하고, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하도록 상기 통신 인터페이스를 제어한다.

Description

디스플레이 장치 및 그 동작 방법{A display apparatus and a method of operating the display apparatus}
다양한 실시예들은 디스플레이 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는, 블루투스 통신 연결된 복수의 디바이스들간에 동기화를 제공할 수 있는 디스플레이 장치 및 그 동작 방법에 관한 것이다.
텔레비전과 같은 디스플레이 장치는 화면을 복수개의 윈도우로 구분하고 각 윈도우에 서로 다른 컨텐츠를 표시할 수 있다. 복수개의 윈도우 중 각 윈도우에 서로 다른 컨텐츠를 표시하는 경우, 각 컨텐츠에 대응하는 오디오 데이터는 각 윈도우에 대응하여 연결된 오디오 출력 장치를 통해서 출력할 수 있다. 이와 같이 멀티뷰 윈도우의 각 윈도우를 통해서 서로 다른 컨텐츠를 표시하는 경우 각 컨텐츠에 대응하는 오디오 데이터도 독립적으로 재생되므로 멀티뷰 윈도우의 복수의 윈도우에 대응하여 출력되는 오디오 데이터 간에 동기화 문제는 발생하지 않을 수 있다. 그러나, 디스플레이 장치의 멀티뷰 윈도우에 포함된 복수의 윈도우에서 동일한 컨텐츠를 표시하는 경우 해당 컨텐츠에 대응하는 오디오 데이터는 각 윈도우에 대응하는 오디오 출력 장치를 통해서 각각 출력될 수 있지만, 이 경우에 동일한 컨텐츠에 대응하는 오디오 데이터이므로 복수의 오디오 출력 장치로 출력되는 오디오 데이터 간에 동기화를 해주어야 할 필요가 생길 수 있다.
다양한 실시예들은, 디스플레이 장치에서 표시되는 컨텐츠에 대응하는 오디오 데이터를 복수개의 오디오 입출력 장치로 출력하는 상황에서 복수개의 오디오 입출력 장치로 출력되는 오디오 데이터의 동기화를 제공할 수 있는 디스플레이 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 통신 인터페이스, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하고, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하도록 상기 통신 인터페이스를 제어한다.
일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 적어도 제1윈도우 및 제2윈도우를 포함하는 멀티 윈도우에서 상기 제1윈도우를 통해 제1컨텐츠의 제1영상을 표시하고 상기 제2윈도우를 통해 상기 제1컨텐츠의 제2영상을 표시하도록 상기 디스플레이를 제어하고, 상기 제1영상에 대응하는 제1오디오 데이터 와 상기 제2영상에 대응하는 제2오디오 데이터를 믹싱함으로써 상기 오디오 데이터를 획득할 수 있다.
일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하고, 상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 상기 동기화 버퍼의 상기 미리 정해진 사이즈는 상기 제1오디오 입출력 장치에 마련된 버퍼의 사이즈에 대응하는 크기를 가질 수 있다.
일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 동기화 버퍼의 지연 시간을 조정할 수 있도록 하는 그래픽 사용자 인터페이스를 표시하도록 상기 디스플레이를 제어하고, 상기 그래픽 사용자 인터페이스를 통해 수신된 사용자 입력에 따라 상기 동기화 버퍼의 지연 시간을 조정할 수 있다.
일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1컨텐츠를 표시하도록 상기 디스플레이를 제어하고, 상기 제1컨텐츠에 대응하는 상기 오디오 데이터를 획득할 수 있다.
일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하고, 상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 디스플레이 장치의 동작 방법은, 오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하는 동작, 및 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하는 동작을 포함한다.
일 실시예에 따라 디스플레이 장치의 동작 방법의 구현을 위해 디스플레이 장치의 프로세서에 의해 실행되는 하나 이상의 프로그램이 기록된 컴퓨터 판독가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은, 오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하는 동작, 및 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하는 동작을 포함한다.
본 개시서의 다양한 실시예들에 따르면, 디스플레이 장치의 화면에 표시된 컨텐츠에 대응하는 오디오 데이터를 복수개의 오디오 입출력 장치로 출력할 때 복수개의 오디오 입출력 장치로 출력되는 오디오 데이터의 동기화를 제공할 수 있다.
본 개시서의 다양한 실시예들에 따르면, 멀티 윈도우를 제공하는 디스플레이 장치에서 멀티 윈도우의 각 윈도우에서 출력되는 컨텐츠에 대응하는 오디오 데이터를 각 대응하는 오디오 입출력 장치로 출력할 때 복수개의 오디오 입출력 장치로 출력되는 오디오 데이터의 동기화를 제공할 수 있다.
도 1은 일 예에 따라 관련 기술에 따라 TV와 같은 디스플레이 장치를 통하여 게임 컨텐츠를 이용하는 형태를 설명하기 위한 참고도이다.
도 2는 일 실시예에 따라 디스플레이 장치 100, 제1오디오 입출력 장치 200, 제2오디오 입출력 장치 300를 포함하는 시스템 50의 일 예를 나타낸다.
도 3은 일 실시예에 따라 디스플레이 장치, 제1오디오 입출력 장치 및 제2오디오 입출력 장치의 블록도의 일 예이다.
도 4는 일 실시예에 따라 디스플레이 장치 200의 구체적인 블록도이다.
도 5는 일 실시예에 따라 디스플레이 장치의 동작 방법의 일 예를 나타내는 흐름도이다.
도 6은 일 실시예에 따라 오디오 데이터 동기화를 수행하기 위한 디스플레이 장치 100의 일부의 세부 구성의 일 예를 나타낸다.
도 7은 일 예에 따라 멀티유저 게임 선택에 따라 디스플레이 장치가 멀티뷰를 제공하는 예를 설명하기 위한 참고도이다.
도 8은 일 예에 따라 멀티 유저 게임의 경우 오디오 출력 방법의 일 예를 나타낸다.
도 9는 일 예에 따라 멀티 유저 게임 도중 하나의 사용자에 의해 음성 통화 서비스를 수행하는 경우의 동작을 설명하기 위한 참고도이다.
도 10은 일 예에 따라 도 9에 도시된 상황에서의 디스플레이 장치의 동작을 설명하기 위한 참고도이다.
도 11은 일 예에 따라 와치 투게더 서비스 선택에 따라 디스플레이 장치가 영상을 표시하는 예를 설명하기 위한 참고도이다.
도 12는 일 예에 따라 도 11에 도시된 상황에서의 디스플레이 장치의 동작을 설명하기 위한 참고도이다.
도 13은 일 실시예에 따라 버퍼의 지연 시간을 조정할 수 있는 그래픽 사용자 인터페이스의 일 예를 나타낸다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 제어 장치를 이용하여 컴퓨팅 장치 또는 전자 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
도 1은 일 예에 따라 관련 기술에 따라 TV와 같은 디스플레이 장치를 통하여 게임 컨텐츠를 이용하는 형태를 설명하기 위한 참고도이다.
도 1을 참조하면, 디스플레이 장치 100는 디스플레이 화면을 복수개의 윈도우로 분할하고, 분할된 복수개의 윈도우 각각에 컨텐츠를 표시하는 멀티 윈도우 기능을 제공할 수 있다. 멀티 윈도우 기능은 멀티뷰 기능이라고도 지칭될 수 있다. 디스플레이 장치 100는 멀티 윈도우 기능을 제공하기 위해 디스플레이 화면을 두 개 이상의 윈도우로 나눌 수 있다. 이와 같이 나누어진 윈도우는, 뷰 또는 서브 화면으로 지칭될 수도 있다. 예를 들어, 디스플레이 장치 10는 디스플레이 화면을 2개의 윈도우, 3개의 윈도우, 4개의 윈도우 등 다양한 개수의 윈도우로 나눌 수 있다. 디스플레이 장치 100는 멀티 윈도우 기능을 제공하기 위해 디스플레이 화면을 복수개의 윈도우로 나눌 수 있을 뿐만 아니라, 각 윈도우의 크기도 다양하게 결정할 수 있고 또한 각 윈도우의 레이아웃도 다양하게 결정할 수 있다. 예를 들어, 도 1에서 디스플레이 장치 100는 디스플레이 화면을 두개의 윈도우, 즉, 제1윈도우 11 및 제2윈도우 12로 나누어 멀티 윈도우 기능을 제공하는 것을 나타낸다.
디스플레이 장치 100는 멀티 윈도우의 각 윈도우를 통해 서로 다른 컨텐츠를 독립적으로 표시할 수 있다. 물론 사용자의 선택에 따라 멀티 윈도우의 각 윈도우를 통해 동일한 컨텐츠를 표시할 수 있음은 물론이다. 멀티 윈도우의 각 윈도우는 서로 다른 원격 제어 장치에 의해 제어될 수 있고, 또한 각 윈도우에 표시되는 컨텐츠에 대응하는 오디오 데이터는 서로 다른 오디오 출력 장치로 출력될 수 있다. 예를 들어, 도 1을 참조하면, 제1윈도우 11은 제1 사용자 21에 의해 제1콘트롤러 31을 통해서 제어되고, 또한 제1윈도우 11에 표시되는 컨텐츠에 대응하는 오디오 데이터는 제1오디오 입출력 장치 41로 출력될 수 있다. 제2윈도우 12는 제2사용자 22에 의해 제2콘트롤러 32를 통해서 제어되고, 또한 제2윈도우 12에 표시되는 컨텐츠에 대응하는 오디오 데이터는 제2오디오 입출력 장치 42로 출력될 수 있다.
일 예에 따라 제1윈도우 11과 제2윈도우 12를 통해 서로 독립적인 컨텐츠가 표시되는 경우에는 각 컨텐츠에 대응하는 오디오 데이터도 서로 독립적일 것이므로 디스플레이 장치 10는 제1오디오 출력 장치 41로 제1컨텐츠에 대응하는 제1오디오 데이터를 출력할 수 있다. 또한 디스플레이 장치 100는 제2오디오 출력 장치 42로 제2컨텐츠에 대응하는 제2오디오 데이터를 출력할 수 있다. 이러한 경우에 제1오디오 데이터와 제2오디오 데이터는 서로 독립적이므로 동기화 문제가 발생하지 않는다. 예를 들어, 제1윈도우 11는 방송 프로그램을 표시하고 제2윈도우 12는 게임 컨텐츠를 표시하는 경우 등이 될 수 있다.
일 예에 따라 제1윈도우 11과 제2윈도우 12를 통해서 동일한 컨텐츠가 표시되는 경우에 오디오 데이터의 동기화 문제가 발생할 수 있다. 제1윈도우 11과 제2윈도우 12를 통해서 동일한 컨텐츠가 표시되는 경우에 디스플레이 장치 100는 제1윈도우 11에 표시되는 컨텐츠에 대응하는 오디오 데이터와 제2윈도우 12에 표시되는 컨텐츠에 대응하는 오디오 데이터를 믹싱하고 믹싱된 오디오 데이터를 각각 제1오디오 입출력 장치 41과 제2오디오 입출력 장치 42로 출력할 수 있다. 예를 들어 게임 컨텐츠와 같이 실시간 양방향 서비스 컨텐츠의 경우에는 제1사용자와 제2사용자가 동일한 게임 컨텐츠를 플레이한다고 하더라도 동일한 컨텐츠의 서로 다른 장소나 서로 다른 장면을 플레이할 수 있다. 따라서 이 경우에는 제1윈도우와 제2윈도우에서 표시되는 컨텐츠의 영상도 달라질 수 있고 그에 따라서 제1윈도우에 대응하여 출력되는 오디오 데이터와 제2윈도우에 대응하여 출력되는 오디오 데이터도 달라질 수 있다. 예를 들어, 디스플레이 장치 100의 제1윈도우 11가 게임 컨텐츠의 제1영상을 표시하고 제2윈도우 12가 게임 컨텐츠의 제2영상을 표시하는 경우에, 디스플레이 장치 100는 제1윈도우 11에 대응하여 출력되는 제1오디오 데이터와 제2윈도우 12에 대응하여 출력되는 제2오디오 데이터를 믹싱하여 믹싱된 오디오 데이터를 각각 제1오디오 입출력 장치 41과 제2오디오 입출력 장치 42로 출력할 수 있다. 이때 디스플레이 장치 100는 오디오 전송 전용을 위한 블루투스 프로파일에 기반하여 믹싱된 오디오 데이터를 출력할 수 있다. 만약 제1사용자와 제2사용자 중 어느 하나의 사용자, 예를 들어 제2사용자가 음성 통화 기능을 사용하는 경우, 음성 통화 기능을 위해서는 오디오 전송 전용 블루투스 프로파일이 아니라 양방향 음성 통화를 위한 별도의 블루투스 프로파일을 이용하여야 한다. 따라서 디스플레이 장치 100는 제1오디오 입출력 장치로는 오디오 전용 블루투스 프로파일을 이용하여 믹싱된 오디오 데이터를 출력하고 제2오디오 입출력 장치로는 양방향 음성 통화를 위한 블루투스 프로파일을 이용하여 믹싱된 오디오 데이터와 음성 통화 사운드를 출력하여야 한다. 그런데 오디오 전송 전용 블루투스 프로파일을 이용하여 전송되는 데이터와 양방향 음성 통화용 블루투스 프로파일을 이용하여 전송되는 데이터는 그 전송 속도에 있어서 차이가 나기 때문에, 제1사용자와 제2사용자가 듣는 오디오 데이터의 동기를 맞출 필요성이 있다.
일 실시예에 따라 디스플레이 장치 100는 오디오 전송 전용 블루투스 프로파일을 이용하여 전송되는 오디오 데이터와 양방향 음성 통화용 블루투스 프로파일을 이용하여 전송되는 오디오 데이터의 동기화를 위해 지연 수단을 이용할 수 있다. 일 실시예에 따라 디스플레이 장치 100는 지연 수단으로서 버퍼를 이용할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 오디오 전송 전용 블루투스 프로파일을 이용하여 전송되는 오디오 데이터와 양방향 음성 통화용 블루투스 프로파일을 이용하여 전송되는 오디오 데이터의 동기화를 위한 버퍼에서의 지연 시간을 조정할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 동기화 버퍼에서의 지연 시간 조정을 가능하게 하는 그래픽 사용자 인터페이스를 제공하고, 그래픽 사용자 인터페이스를 통해 수신한 사용자 입력에 기반하여 동기화 버퍼에서의 지연 시간을 조정할 수 있다.
도 2는 일 실시예에 따라 디스플레이 장치 100, 제1오디오 입출력 장치 200, 제2오디오 입출력 장치 300를 포함하는 시스템 50의 일 예를 나타낸다.
도 2를 참조하면, 시스템 50은 컨텐츠를 표시하는 디스플레이 장치 100, 디스플레이 장치 100와 블루투스 통신 프로토콜에 따라 연결하여 통신하는 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300를 포함할 수 있다.
디스플레이 장치 100는 디스플레이를 구비하여 영상 컨텐츠, 비디오 컨텐츠, 게임 컨텐츠, 그래픽 컨텐츠 등을 표시할 수 있는 장치를 나타낼 수 있다. 디스플레이 장치 100는 외부 입력 장치나 서버 컴퓨터로부터 수신되는 영상이나 컨텐츠를 출력 또는 표시할 수 있다. 디스플레이 장치 100는 예를 들어, 네트워크 TV, 스마트 TV, 인터넷 TV, 웹 TV, IPTV, PC 등과 같이 컨텐츠를 수신하여 출력할 수 있는 다양한 형태의 전자 장치를 포함할 수 있다. 디스플레이 장치 100는 컨텐츠를 수신하여 표시하는 측면이라는 점에서 디스플레이 장치로 언급될 수 있는 것이고, 그 외에도 컨텐츠 수신 장치, 전자 장치, 컴퓨팅 장치 등으로 언급될 수도 있다.
일 실시예에 따라 디스플레이 장치 100는 디스플레이 화면을 복수개의 윈도우로 나누어 각 윈도우에 서로 다른 컨텐츠를 표시할 수 있는 멀티 윈도우를 제공할 수 있다. 멀티 윈도우는 멀티 뷰로 지칭될 수 있다. 멀티 윈도우에 포함된 각각의 윈도우는 뷰 또는 서브 화면으로 지칭될 수 있다. 멀티 윈도우에 포함되는 복수의 윈도우는 두개, 세 개, 네 개 등 다양하게 결정될 수 있다. 멀티 윈도우에 포함되는 복수의 윈도우의 사이즈는 다양하게 결정될 수 있으며 복수의 윈도우의 배치도 다양하게 결정될 수 있다. 또한 디스플레이 화면의 적어도 일부에 작은 서브 화면이 오버레이되는 PIP(Picture In Picture) 의 경우에도 본 개시서에 따른 방법이 적용될 수 있음은 물론이다. 도 2에서는 멀티 윈도우가 제1윈도우와 제2윈도우를 포함하는 것으로 도시되었으며 이하에서는 예를 들어 멀티 윈도우가 제1윈도우와 제2윈도우를 포함하는 것으로 설명하지만, 더 많은 개수의 윈도우를 포함하는 경우에도 적용될 수 있음은 물론이다.
오디오 입출력 장치는 오디오 데이터를 출력하고 오디오 데이터를 입력할 수 있는 장치를 나타낼 수 있다. 구체적으로 오디오 입출력 장치는 오디오 데이터를 출력하기 위한 스피커와 오디오 데이터를 입력하기 위한 마이크로폰을 포함하는 장치를 나타낼 수 있다. 예를 들어, 오디오 입출력 장치는 유선 또는 무선으로 디스플레이 장치 100와 통신할 수 있다. 개시된 예에서 제1오디오 입출력 장치 200와 제2오디오 입출력 장치 300는 블루투스 통신 프로토콜을 이용하여 디스플레이 장치 100와 통신할 수 있다.
디스플레이 장치 100는 하나 이상의 오디오 입출력 장치와 연결하여 디스플레이에 표시되는 컨텐츠에 대응하는 오디오 데이터를 연결된 오디오 입출력 장치로 출력할 수 있다. 디스플레이 장치 100가 멀티 윈도우를 통해서 복수의 윈도우에 컨텐츠를 표시하기 위해 디스플레이 장치 100는 복수의 오디오 입출력 장치와 통신 연결할 수 있다. 디스플레이 장치 100는 제1윈도우에 표시되는 제1 컨텐츠에 대응하는 제1오디오 데이터를 출력하기 위해 제1오디오 입출력 장치 200와 통신 연결할 수 있다. 디스플레이 장치 100는 제2윈도우에 표시되는 제2 컨텐츠에 대응하는 제2오디오 데이터를 출력하기 위해 제2오디오 입출력 장치 300와 통신 연결할 수 있다. 디스플레이 장치 100는 다양한 통신 프로토콜을 이용하여 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300와 연결할 수 있다. 예를 들어, 디스플레이 장치 100는 블루투스 통신 프로토콜을 이용하여 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300와 연결할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 제1윈도우와 제2윈도우에 서로 다른 컨텐츠를 표시할 수 있다. 예를 들어, 디스플레이 장치 100는 제1윈도우에 제1컨텐츠를 표시하고 제2윈도우에 제2컨텐츠를 표시할 수 있다. 이 경우 만약 디스플레이 장치 100에 제1오디오 입출력 장치 200와 제2오디오 입출력 장치 300가 연결되어 있다면, 디스플레이 장치 100는 제1컨텐츠에 대응하는 제1오디오 데이터를 제1오디오 입출력 장치 200로 출력하고 제2컨텐츠에 대응하는 제2오디오 데이터를 제2오디오 입출력 장치 300로 출력할 수 있다. 이 경우, 제1컨텐츠와 제2컨텐츠는 서로 독립적이므로 제1오디오 데이터와 제2오디오 데이터도 독립적으로 각각 블루투스 통신 프로토콜을 이용하여 제1오디오 입출력 장치 41 및 제2오디오 입출력 장치 300에 출력할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 제1윈도우와 제2윈도우에 서로 다른 컨텐츠를 표시할 수 있다. 예를 들어, 디스플레이 장치 100는 제1윈도우에 제1컨텐츠를 표시하고 제2윈도우에 제2컨텐츠를 표시할 수 있다. 이 경우 만약 디스플레이 장치 100에 제1오디오 입출력 장치 200와 제2오디오 입출력 장치 300가 연결되어 있다면, 디스플레이 장치 100는 제1컨텐츠에 대응하는 제1오디오 데이터를 제1오디오 입출력 장치 200로 출력하고 제2컨텐츠에 대응하는 제2오디오 데이터를 제2오디오 입출력 장치 300로 출력할 수 있다. 이 경우, 제1컨텐츠와 제2컨텐츠는 서로 독립적이므로 디스플레이 장치 100는 제1오디오 데이터와 제2오디오 데이터의 동기화 이슈가 발생하지 않는다. 따라서 디스플레이 장치 100는 각각 블루투스 통신 프로토콜을 이용하여 제1오디오 데이터와 제2오디오 데이터를 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300에 출력할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 제1윈도우와 제2윈도우에 동일한 컨텐츠, 예를 들어 제1컨텐츠를 표시할 수 있다. 제1컨텐츠는 실시간 양방향 서비스 컨텐츠를 포함할 수 있다. 실시간 양방향 서비스 컨텐츠는 예를 들어, 게임 컨텐츠 와 같은 것을 포함할 수 있다. 이 경우 제1윈도우와 제2윈도우는 동일한 제1컨텐츠의 서로 다른 영상 또는 장면을 표시할 수 있다. 예를 들어, 제1윈도우는 제1컨텐츠에 포함된 제1영상을 표시하고 제2윈도우는 제1컨텐츠에 포함된 제2영상을 표시할 수 있다. 예를 들어 제1컨텐츠가 MMORPG와 같은 다중 사용자에 의해 수행되는 롤 플레잉 게임인 경우, 예를 들어 제1윈도우는 제1사용자의 제어에 따라 제1컨텐츠의 제1 장소에 대응하는 영상 (제1영상)을 표시할 수 있고 제2윈도우는 제2사용자의 제어에 따라 제1컨텐츠의 제2장소에 대응하는 영상 (제2영상)을 표시할 수 있다. 따라서 제1영상에 대응하는 제1오디오 데이터와 제2영상에 대응하는 제2오디오 데이터는 서로 다를 수 있지만, 제1윈도우와 제2윈도우에서 표시되는 영상은 모두 하나의 제1컨텐츠에 의한 것이다. 따라서, 사용자들에게는 모두 하나의 공간에서 이루어지는 것과 같은 상황을 경험하게 해주어야 하므로, 제1사용자 나 제2 사용자 모두 제1오디오 데이터와 제2오디오를 함께 듣도록 해줄 수 있다. 따라서, 디스플레이 장치 100는 제1영상에 대응하는 제1오디오 데이터와 제2영상에 대응하는 제2오디오 데이터를 믹싱하고, 믹싱된 오디오 데이터를 제1오디오 입출력 장치 200과 제2오디오 입출력 장치 42로 출력할 수 있다. 디스플레이 장치 100는 믹싱된 오디오 데이터를 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 42로 출력하기 위해 오디오 전송 전용 블루투스 프로파일을 이용할 수 있다. 오디오 전송 전용 블루투스 프로파일은 예를 들어, A2DP를 포함할 수 있다.
이와 같이 디스플레이 장치 100가 오디오 전송 전용 블루투스 프로파일을 통해서 믹싱된 오디오 데이터를 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300로 전송하는 동안 예를 들어 제1사용자가 음성통화 서비스 이용을 선택하는 경우에, 디스플레이 장치 100는 믹싱된 오디오 데이터와 음성 통화 사운드를 함께 제1오디오 입출력 장치 200로 제공하기 위해 음성 통화 전용 블루투스 프로파일을 이용할 수 있다. 그런데 통상적으로 음성 통화 전용 블루투스 프로파일과 오디오 전송 전용 블루투스 프로파일은 그 데이터 전송 속도 면에서 차이가 나기 때문에 제1 오디오 입출력 장치 200로 전송되는 오디오 데이터의 전송 속도와 제2오디오 입출력 장치 300로 전송되는 오디오 데이터의 전송 속도는 차이가 발생할 수 있다. 그러나 제1사용자와 제2사용자는 동일한 제1컨텐츠를 플레이하고 있는 것이므로 제1 오디오 입출력 장치 200로 전송되는 오디오 데이터의 전송 속도와 제2오디오 입출력 장치 300로 전송되는 오디오 데이터의 전송 속도에서 차이가 나는 경우 제1사용자와 제2사용자가 듣는 오디오 데이터에 차이가 나기 때문에 이를 보완해줄 필요성이 있다.
따라서, 일 실시예에 따라 디스플레이 장치 100는 제1윈도우에 대응하여 출력되는 음성통화 사운드 및 오디오 데이터 와 제2윈도우에 대응하여 출력되는 오디오 데이터의 동기화를 맞추기 위한 수단을 구비할 수 있다. 구체적으로, 디스플레이 장치 100는 제1윈도우에 대응하여 출력되는 음성통화 사운드 및 오디오 데이터 와 제2윈도우에 대응하여 출력되는 오디오 데이터의 동기화를 맞추기 위해 제2윈도우에 대응하여 출력되는 오디오 데이터의 출력을 지연시키는 지연 수단, 예를 들어 지연 버퍼를 구비할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 제1윈도우에 대응하여 출력되는 음성통화 사운드 및 오디오 데이터 와 제2윈도우에 대응하여 출력되는 오디오 데이터의 동기화를 맞추기 위해 제2윈도우에 대응하여 출력되는 오디오 데이터의 출력을 지연시키는 지연 수단의 지연 정도를 조정할 수 있다. 또한 일 실시예에 따라 디스플레이 장치 100는 지연 수단의 지연 정도를 설정할 수 있는 그래픽 사용자 인터페이스를 제공하고, 그래픽 사용자 인터페이스를 통해서 지연 정도에 대한 사용자 입력을 수신함으로써 지연 정도를 설정할 수 있다.
디스플레이 장치 100는 예를 들어 와치 투게더 (watch together)와 같은 서비스를 제공할 수 있다. 와치 투게더는 원거리에 있는 사용자들이 각자의 디스플레이 장치로 동일한 컨텐츠를 감상할 수 있고 또한 컨텐츠를 시청하면서 음성 통화 기능 서비스를 이용할 수 있는 서비스를 나타낼 수 있다. 예를 들어, 제1사용자와 제3사용자가 와치 투게더 서비스를 이용하여 동일한 컨텐츠를 시청하고 있고, 제2사용자는 제1사용자와 함께 디스플레이 장치 100의 싱글 윈도우를 통해서 컨텐츠를 감상할 수 있다. 이 때 디스플레이 장치 100는 단일 화면에 컨텐츠를 표시하고, 컨텐츠에 대응하는 오디오 데이터를 제1사용자의 제1오디오 입출력 장치 및 제2사용자의 제2오디오 입출력 장치로 출력할 수 있다. 이때, 제1 사용자가 음성 통화 기능을 사용할 수 있다. 이 경우 디스플레이 장치 100는 오디오 데이터만 수신하는 제2오디오 입출력 장치로는 오디오 전송 전용 블루투스 파일을 통해서 오디오 데이터를 출력하고, 음성 통화 기능을 함께 사용하는 제1오디오 입출력 장치로는 음성 통화 전용 블루투스 프로파일을 통해서 오디오 데이터와 음성 통화 사운드를 출력하게 될 수 있다. 이 경우 디스플레이 장치 100는 동일한 컨텐츠에 대한 오디오 데이터에 대해서 서로 다른 블루투스 프로파일을 사용하게 되므로 제1사용자와 제2사용자가 듣게 되는 오디오 데이터에 있어서 시간차가 발생할 수 있다. 제1사용자와 제2사용자는 동일한 화면을 보고 있으므로 자연스러운 시청을 위해서는 오디오 데이터의 전송 속도도 동일해야 하지만, 음성 통화 기능 사용으로 인해서 시간 차가 발생할 수 있다. 따라서 디스플레이 장치 100는 제1오디오 입출력 장치로 출력하는 오디오 데이터와 제2오디오 입출력 장치로 출력하는 오디오 데이터의 동기화를 맞추기 위해 앞서 설명한 바와 같은 지연 수단을 이용할 수 있다.
도 3은 일 실시예에 따라 디스플레이 장치, 제1오디오 입출력 장치 및 제2오디오 입출력 장치의 블록도의 일 예이다.
도 3을 참조하면, 디스플레이 장치 100는 통신부 110, 디스플레이 120, 메모리 130, 제어부 140를 포함할 수 있다.
통신부 110는 디스플레이 장치 100과 무선 통신 시스템 사이 또는 디스플레이 장치 100과 다른 전자 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
일 실시예에 따라 통신부 110는 블루투스 통신 프로토콜에 따라 통신을 수행하는 블루투스 통신 모듈을 포함할 수 있다. 블루투스 통신 모듈은 제1오디오 입출력 장치 200의 블루투스 통신 모듈 및 제2오디오 입출력 장치 300의 블루투스 통신 모듈과 블루투스 통신 프로토콜에 따라 데이터를 송수신할 수 있다.
일 실시예에 따라, 제어부 140의 제어에 따라 블루투스 통신 모듈 111은 오디오 데이터를 오디오 전송 전용 블루투스 프로파일에 따라서 블루투스 통신 모듈 211과 블루투스 통신 모듈 311 중 적어도 하나로 출력할 수 있다.
일 실시예에 따라, 블루투스 통신 모듈 111은 제어부 140의 제어에 따라 음성 통화 사운드를 음성 통화 서비스 전용 블루투스 프로파일에 따라서 블루투스 통신 모듈 211과 블루투스 통신 모듈 311 중 적어도 하나로 출력할 수 있다.
일 실시예에 따라, 블루투스 통신 모듈 111은 제어부 140의 제어에 따라 오디오 데이터와 음성 통화 사운드를 믹싱하여 음성 통화 서비스 전용 블루투스 프로파일에 따라서 블루투스 통신 모듈 211과 블루투스 통신 모듈 311 중 적어도 하나로 출력할 수 있다.
일 실시예에 따라, 블루투스 통신 모듈 111은 제어부 140의 제어에 따라 제1오디오 입출력 장치 200의 블루투스 통신 모듈 211로는 음성 통화 서비스 전용 블루투스 프로파일에 따라서 오디오 데이터를 출력하고, 제2오디오 입출력 장치 300의 블루투스 통신 모듈 311로는 오디오 전송 전용 블루투스 프로파일에 따라서 오디오 데이터를 출력하는 경우, 블루투스 통신 모듈 211로 출력되는 오디오 데이터와 블루투스 통신 모듈 311로 출력되는 오디오 데이터의 동기화를 맞추기 위해 오디오 전송 전용 블루투스 프로파일에 따라서 출력되는 오디오 데이터를 지연 수단을 이용하여 지연시켜 출력할 수 있다.
디스플레이 120는 서버 컴퓨터로부터 컨텐츠를 수신하여 표시하거나 또는 메모리 130에 저장된 컨텐츠를 표시할 수 있다.
메모리 130는 디스플레이 장치 100의 동작에 관련된 프로그램, 디스플레이 장치 100의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.
제어부 140는 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써 디스플레이 장치 100의 전반적인 동작을 제어할 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하고, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 적어도 제1윈도우 및 제2윈도우를 포함하는 멀티 윈도우에서 상기 제1윈도우를 통해 제1컨텐츠의 제1영상을 표시하고 상기 제2윈도우를 통해 상기 제1컨텐츠의 제2영상을 표시하도록 상기 디스플레이를 제어하고, 상기 제1영상에 대응하는 제1오디오 데이터 와 상기 제2영상에 대응하는 제2오디오 데이터를 믹싱함으로써 상기 오디오 데이터를 획득할 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하고, 상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 상기 동기화 버퍼의 상기 미리 정해진 사이즈는 상기 제1오디오 입출력 장치에 마련된 버퍼의 사이즈에 대응하는 크기를 가질 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 동기화 버퍼의 지연 시간을 조정할 수 있도록 하는 그래픽 사용자 인터페이스를 표시하도록 상기 디스플레이를 제어하고, 상기 그래픽 사용자 인터페이스를 통해 수신된 사용자 입력에 따라 상기 동기화 버퍼의 지연 시간을 조정할 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1컨텐츠를 표시하도록 상기 디스플레이를 제어하고, 상기 제1컨텐츠에 대응하는 상기 오디오 데이터를 획득할 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하고, 상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 제어부 140는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 상기 통신 인터페이스를 제어할 수 있다.
제1오디오 입출력 장치 200와 제2오디오 입출력 장치 300는 디스플레이 장치 100와 통신 연결하여 오디오 데이터를 송수신할 수 있다. 특히, 음성 통화 기능에 대응하는 동작을 수행하는 경우 제1오디오 입출력 장치 200 나 제2오디오 입출력 장치 300는 오디오 데이터 에 더하여 음성 통화 사운드를 더 송수신할 수 있다.
제1오디오 입출력 장치 200는 통신부 210, 오디오 출력부 220, 오디오 입력부 230, 제어부 240를 포함할 수 있다.
통신부 210는 제1오디오 입출력 장치 200과 무선 통신 시스템 사이 또는 제1오디오 입출력 장치 200과 다른 전자 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
일 실시예에 따라 통신부 210는 블루투스 통신 프로토콜에 따라 통신을 수행하는 블루투스 통신 모듈 211을 포함할 수 있다. 블루투스 통신 모듈 211은 디스플레이 장치 100의 블루투스 통신 모듈 111과 블루투스 통신 프로토콜에 따라 데이터를 송수신할 수 있다.
오디오 출력부 220는 제1오디오 입출력 장치 200에서 처리된 오디오 데이터를 출력할 수 있다. 특히 오디오 출력부 220는 블루투스 통신 프로토콜을 통해 디스플레이 장치 100로부터 수신한 오디오 데이터를 출력할 수 있다. 오디오 출력부 220는 예를 들어 스피커를 포함할 수 있다.
오디오 입력부 230는 오디오 데이터를 외부로부터 수신하여 제어부 240로 제공할 수 있다. 오디오 입력부 230는 예를 들어 마이크로폰을 포함할 수 있다.
제어부 240는 제1오디오 입출력 장치 200의 전반적인 동작을 제어할 수 있다.
제2오디오 입출력 장치 300는 통신부 310, 오디오 출력부 320, 오디오 입력부 330, 제어부 340를 포함할 수 있다.
통신부 310는 제2오디오 입출력 장치 300과 무선 통신 시스템 사이 또는 제2오디오 입출력 장치 300과 다른 전자 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
일 실시예에 따라 통신부 310는 블루투스 통신 프로토콜에 따라 통신을 수행하는 블루투스 통신 모듈 311을 포함할 수 있다. 블루투스 통신 모듈 311은 디스플레이 장치 100의 블루투스 통신 모듈 111과 블루투스 통신 프로토콜에 따라 데이터를 송수신할 수 있다.
오디오 출력부 320는 제2오디오 입출력 장치 300에서 처리된 오디오 데이터를 출력할 수 있다. 특히 오디오 출력부 320는 블루투스 통신 프로토콜을 통해 디스플레이 장치 100로부터 수신한 오디오 데이터를 출력할 수 있다. 오디오 출력부 320는 예를 들어 스피커를 포함할 수 있다.
오디오 입력부 330는 오디오 데이터를 외부로부터 수신하여 제어부 340로 제공할 수 있다. 오디오 입력부 330는 예를 들어 마이크로폰을 포함할 수 있다.
제어부 340는 제2오디오 입출력 장치 300의 전반적인 동작을 제어할 수 있다.
도 4는 일 실시예에 따라 디스플레이 장치 200의 구체적인 블록도이다.
도 4를 참조하면, 디스플레이 장치 100는 통신부 110, 디스플레이 120, 메모리 130, 제어부 140 외에, 영상처리부 150, 오디오 처리부 160, 오디오 출력부 170, 수신부 180, 감지부 190를 더 포함할 수 있다.
통신부 110는 디스플레이 장치 100과 무선 통신 시스템 사이 또는 디스플레이 장치 100과 다른 전자 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부 110는 블루투스 통신 모듈 111, 와이파이 통신 모듈 112, 이동 통신 모듈 113, 무선 인터넷 모듈 114를 포함할 수 있다.
블루투스 통신 모듈 111은 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300과 블루투스 통신 연결을 수행하고 블루투스 통신 프로토콜에 따라 통신을 수행할 수 있다.
이동통신 모듈 112는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈 113은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈 114은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
영상 처리부 150는 제어부 140의 제어에 따라, 수신부 180 또는 통신부 110로부터 수신되는 영상신호를 처리하여 디스플레이 120로 출력할 수 있다.
디스플레이 110는 영상 처리부 150로부터 수신된 영상 신호를 화면에 표시할 수 있다.
오디오 처리부 160는 제어부 140의 제어에 따라, 수신부 180 또는 통신부 110로부터 수신되는 오디오 신호를 아날로그 오디오 신호로 변환하여 오디오 출력부 170로 출력할 수 있다.
오디오 출력부 170는 수신되는 아날로그 오디오 신호를 스피커를 통해 출력할 수 있다.
수신부 180는 제어부 140의 제어에 따라 외부 입력 장치로부터 수신되는 영상신호 및 오디오신호를 연결된 프로토콜에 따라 수신하여 이를 영상 처리부 150 및 오디오 처리부 160로 출력할 수 있다.
수신부 180는 제어부 140의 제어에 의해 디스플레이 장치 100의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신할 수 있다. 수신부 180는 HDMI 포트(High-Definition Multimedia Interface port, 181, 컴포넌트 잭(component jack, 182), PC 포트(PC port, 183), 및 USB 포트(USB port, 184) 중 하나를 포함하거나, 하나 이상의 조합을 포함할 수 있다. 수신부 180는 HDMI 포트 이외에도 디스플레이 포트 (DisplayPort; DP), 썬더볼트 (Thunderbolt), MHL (Mobile High-Definition Link)를 더 포함할 수 있다.
메모리 130는 디스플레이 장치 100의 동작에 관련된 프로그램, 디스플레이 장치 100의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.
도 5는 일 실시예에 따라 디스플레이 장치의 동작 방법의 일 예를 나타내는 흐름도이다.
도 5를 참조하면, 동작 510에서, 디스플레이 장치 100는 디스플레이 장치 100에 적어도 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300가 연결된 것을 확인할 수 있다.
구체적으로, 디스플레이 장치 100는 디스플레이 장치 100에 적어도 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300이 블루투스 통신 연결을 통해 연결된 것을 확인할 수 있다.
사전에 디스플레이 장치 100와 제1오디오 입출력 장치 200는 블루투스 통신을 위해 페어링 및 연결 동작을 수행할 수 있다. 블루투스 페어링은 블루투스 통신을 시도하는 두개의 장치 사이에 처음으로 자신에 대한 정보를 제공하여 서로를 인증하고 블루투스 통신 연결을 위한 약속을 정의하는 것을 나타낼 수 있다. 이와 같이 블루투스 페어링을 수행하면 디스플레이 장치 100과 제1오디오 입출력 장치 200는 블루투스 페어링 정보를 저장하고 있을 수 있다. 이와 같은 블루투스 페어링 정보를 저장하고 있으면 디스플레이 장치 100와 제1오디오 입출력 장치 200는 블루투스 연결 수행시 서로를 인증하는 정보의 교환 없이 저장된 페어링 정보를 이용하여 서로 연결을 수행할 수 있다. 디스플레이 장치 100는 제2오디오 입출력 장치 300도 위와 같은 방법에 따라 블루투스 연결 수행할 수 있다.
디스플레이 장치 100는 이와 같이 디스플레이 장치 100에 서로 다른 두 개 이상의 오디오 입출력 장치, 예를 들어 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300이 연결되어 있는지를 확인할 수 있다.
동작 520에서, 디스플레이 장치 100는 동일한 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치에 동시에 출력하는지 판단할 수 있다. 여기서 동일한 오디오 데이터는 하나의 단일 화면에 표시되는 컨텐츠에 대응하는 하나의 오디오 데이터를 의미할 뿐만 아니라, 멀티 윈도우에 대응하는 서로 다른 오디오 데이터를 믹싱하여 믹싱된 오디오 데이터를 포함할 수 있다.
디스플레이 장치 100는 서로 다른 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치 각각으로 출력할 수 있다. 구체적으로, 디스플레이 장치 100는 디스플레이 화면에 멀티 윈도우를 제공하고, 멀티 윈도우의 제1윈도우에 표시되는 제1컨텐츠에 대응하는 제1오디오 데이터를 제1오디오 입출력 장치로 출력하고 제2윈도우에 표시되는 제2컨텐츠에 대응하는 제2오디오 데이터를 제2오디오 입출력 장치로 출력할 수 있다. 예를 들어, 디스플레이 장치 100에서 제공하는 멀티뷰 시스템을 사용자는 리모트 콘트롤러의 특정 버튼을 이용하여 선택한 경우에, 디스플레이 장치 100는 디스플레이 화면을 멀티 윈도우로 제공하고 멀티 윈도우의 각 윈도우에 서로 다른 컨텐츠를 표시할 수 있다. 예를 들어 사용자는 디스플레이 장치 100가 제공하는 멀티 윈도우 중 하나의 윈도우에는 방송 프로그램을 표시하고 다른 하나의 윈도우에는 게임 컨텐츠를 표시하도록 제어할 수 있다.
디스플레이 장치 100는 동일한 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치 각각으로 출력할 수 있다. 구체적으로, 디스플레이 장치 100는 디스플레이 화면에 제1컨텐츠를 표시하고, 제1컨텐츠에 대응하는 제1오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치로 출력할 수 있다. 예를 들어, 디스플레이 장치 100에서 하나의 컨텐츠, 예를 들어 영화를 표시하고, 이러한 영화를 두 명의 사용자가 각자 자신의 블루투스 헤드셋을 이용하여 오디오 데이터를 듣는 경우에, 디스플레이 장치 100는 화면에 표시된 제1컨텐츠에 대응하는 제1오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치로 동시에 출력할 수 있다.
디스플레이 장치 100는 디스플레이 화면에 멀티 윈도우를 제공하고, 멀티 윈도우의 제1윈도우와 제2윈도우에는 동일한 제1컨텐츠를 표시하지만 사용자의 제어에 따라 제1윈도우에는 제1컨텐츠의 제1영상을 표시하고 제2윈도우에는 제1컨텐츠의 제2영상을 표시할 수 있다. 예를 들어, 제1컨텐츠가 게임 컨텐츠인 경우 디스플레이 장치 100는 사용자의 제어에 따라서 제1윈도우에는 게임 컨텐츠의 제1장소에 대응하는 제1영상을 표시하고 제2윈도우에는 게임 컨텐츠의 제2장소에 대응하는 제2영상을 표시할 수 있다. 이경우 제1윈도우와 제2윈도우에 표시되는 영상은 서로 다르지만 공통적으로 동일한 제1컨텐츠에 대응하는 것이므로 제1영상에 대응하는 제1오디오 데이터 및 제2영상에 대응하는 제2오디오 데이터를 믹싱하고 믹싱된 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치로 동시에 출력할 수 있다.
동작 520에서 디스플레이 장치 100는 동일한 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치에 동시에 출력하는지 판단한 결과, 동일한 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치에 동시에 출력하는 것이 아니라고 판단한 경우 동작 550으로 진행할 수 있다.
동작 550에서, 디스플레이 장치 100는 제1오디오 입출력 장치 및 제2오디오 입출력 장치에 각각 오디오 데이터를 출력할 수 있다. 예를 들어, 디스플레이 장치 100는 멀티 윈도우의 제1윈도우에 표시되는 제1컨텐츠에 대응하는 제1오디오 데이터를 제1오디오 입출력 장치로 출력하고 제2윈도우에 표시되는 제2컨텐츠에 대응하는 제2오디오 데이터를 제2오디오 입출력 장치로 출력할 수 있다. 이 경우 각 윈도우에 표시되는 컨텐츠는 서로 다른 컨텐츠 이므로 디스플레이 장치 100는 제1오디오 데이터와 제2오디오 데이터를 독립적으로 출력할 수 있다.
디스플레이 장치 100는 다양한 블루투스 프로파일을 이용하여 오디오 데이터를 오디오 입출력 장치로 전송할 수 있다. 전송해야 할 오디오 데이터가 일방향으로 전송되는 컨텐츠 오디오 스트림 인 경우 디스플레이 장치는 A2DP 블루투스 프로파일을 이용하여 오디오 데이터를 전송할 수 있다. 전송해야 할 오디오 데이터가 음성 통화 서비스에 의한 양방향 음성 사운드 인 경우, 디스플레이 장치는 HFP 블루투스 프로파일을 이용하여 오디오 데이터를 전송할 수 있다. 만약 사용자가 영화나 게임과 같은 컨텐츠를 이용하다가 음성 통화 서비스를 선택하는 경우 디스플레이 장치 100는 컨텐츠에 대응하는 오디오 스트림과 양방향 음성 사운드를 함께 전송해야 하므로 디스플레이 장치 100는 HFP 블루투스 프로파일을 이용하여 오디오 스트림과 음성 사운드를 전송할 수 있다. 디스플레이 장치 100가 제1오디오 입출력 장치 및 제2오디오 입출력 장치에 각각 서로 독립적인 오디오 데이터를 출력하는 경우, 이러한 출력 동작은 각각 독립적으로 수행되고 서로 영향을 주지 않는다. 따라서, 디스플레이 장치 100는 동일한 블투투스 프로파일을 이용하여 오디오 출력 동작을 수행할 수 있거나 또는 서로 다른 블루투스 프로파일을 이용하여 오디오 출력 동작을 수행할 수 있다. 예를 들어, 디스플레이 장치 100는 제1오디오 입출력 장치로는 HFP 블루투스 프로파일을 이용하여 제1오디오 데이터를 출력하고 제2오디오 입출력 장치로는 A2DP 블루투스 프로파일을 이용하여 제2오디오 데이터를 출력할 수 있다.
동작 520에서, 디스플레이 장치 100는 동일한 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치에 동시에 출력하는지 판단한 결과, 동일한 오디오 데이터를 제1오디오 입출력 장치 및 제2오디오 입출력 장치에 동시에 출력하는 것이라고 판단한 경우 동작 530으로 진행할 수 있다.
동작 530에서, 디스플레이 장치 100는 제1오디오 입출력 장치 및 제2 오디오 입출력 장치와의 통신을 위해 동일한 블루투스 프로파일을 이용하는지 판단할 수 있다. 디스플레이 장치 100는 오디오 전송 전용을 위해서는 A2DP 블루투스 프로파일을 이용할 수 있고, 음성 통화 서비스를 위해서는 HFP 블루투스 프로파일을 이용할 수 있다. 예를 들어, 디스플레이 장치 100는 제1오디오 입출력 장치 및 제2 오디오 입출력 장치와의 통신을 위해 동일한 블루투스 프로파일로서 A2DP 를 이용하는지, HFP를 이용하는지, 또는 제1오디오 입출력 장치 및 제2오디오 입출력 장치 중 하나는 A2DP 를 이용하고 다른 하나는 HFP를 이용하는지 판단할 수 있다.
디스플레이 장치 100는 제1오디오 입출력 장치 및 제2 오디오 입출력 장치와의 통신을 위해 동일한 블루투스 프로파일을 이용하는지 판단 결과, 동일한 블루투스 프로파일을 이용한다고 판단한 경우 동작 570으로 진행할 수 있다.
동작 560에서, 디스플레이 장치 100는 동일한 오디오 데이터, 예를 들어 제1오디오 데이터를 동일한 블루투스 프로파일을 이용하여 제1오디오 입출력 장치 및 제2 오디오 입출력 장치로 출력하는 경우에, 디스플레이 장치 100는 단지 제1오디오 데이터의 출력 패스를 분리하여 제1오디오 입출력 장치 200 및 제2 오디오 입출력 장치 300로 출력할 수 있다. 동일한 블루투스 프로파일을 이용하는 경우에 제1오디오 입출력 장치 200으로 출력되는 오디오 데이터와 제2오디오 입출력 장치 300으로 출력되는 오디오 데이터 간에 전송 속도면에서 차이가 나지 않으므로 그대로 출력하면 된다.
예를 들어 디스플레이 장치 100는 디스플레이 화면에 표시된 제1컨텐츠에 대응하는 제1오디오 데이터를 A2DP 블루투스 프로파일을 이용하여 제1오디오 입출력 장치 200 및 제2 오디오 입출력 장치 300로 출력할 수 있다.
예를 들어, 디스플레이 장치 100가 디스플레이 화면에 제1컨텐츠를 표시하는 동안 제1사용자 및 제2사용자 모두 각각 음성 통화 서비스 이용을 선택하는 경우 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300로의 출력 모두 HFP 블루투스 프로파일을 이용하여야 하므로, 디스플레이 장치 100는 제1컨텐츠에 대응하는 제1오디오 데이터를 HFP 블루투스 프로파일을 이용하여 제1오디오 입출력 장치 200 및 제2 오디오 입출력 장치 300로 출력할 수 있다.
동작 530에서, 디스플레이 장치 100는 제1오디오 입출력 장치 및 제2 오디오 입출력 장치와의 통신을 위해 동일한 블루투스 프로파일을 이용하는지 판단 결과, 동일한 블루투스 프로파일을 이용하지 않는다고 판단한 경우 동작 540으로 진행할 수 있다.
동작 540에서, 디스플레이 장치 100는 프로파일별로 분리하여 사운드 동기화를 수행할 수 있다. 구체적으로, 동일한 오디오 데이터를 제1오디오 입출력 장치 200과 제2오디오 입출력 장치 300으로 출력하는 것이므로 제1오디오 입출력 장치 200으로 출력되는 오디오 데이터의 전송 속도와 제2오디오 입출력 장치 300으로 출력되는 오디오 데이터의 전송 속도를 동일해야 제1사용자와 제2사용자는 자연스럽게 오디오를 청취할 수 있다. 그러나 통상 제1오디오 입출력 장치 200로 출력할 때는 A2DP 블루투스 프로파일을 이용하고 제2오디오 입출력 장치 300으로 출력할 때는 HFP 프로파일을 이용하는 경우, 전송 속도의 차이가 발생할 수 있다. A2DP 는 일반적으로 음원 스트리밍을 위한 프로파일이기 때문에 실시간 성이 중요하지 않고 끊김을 방지하기 위해서 오디오 출력 장치에서 버퍼링을 수행한다. HFP는 통화와 같은 기능에 사용되기 때문에 실시간성이 중요하여 더 빠르게 소리를 출력하게 된다.
즉, A2DP 블루투스 프로파일의 경우에는 오디오 출력 장치 쪽에 버퍼링을 위한 버퍼가 존재하여 HFP 보다 오디오 출력에 지연이 발생할 수 있다. 이러한 오디오 지연을 방지하고 오디오 데이터의 동기화를 위해서 디스플레이 장치 100 는 오디오 출력 장치에 존재하는 버퍼 만큼의 버퍼를 두어 HFP 블루투스 프로파일을 이용하여 출력되는 오디오 데이터의 지연을 발생하게 할 수 있다. 이와 같이 하면 HFP와 A2DP 블루투스 프로파일을 이용하여 출력되는 오디오 데이터 간에 동기화를 수행할 수 있다.
도 6은 일 실시예에 따라 오디오 데이터 동기화를 수행하기 위한 디스플레이 장치 100의 일부의 세부 구성의 일 예를 나타낸다.
도 6을 참조하면, 디스플레이 장치 100의 일부는 제어부 140, 오디오 처리부 160, 블루투스 통신 모듈 111을 포함할 수 있다.
제어부 140는 오디오 처리부 160와 블루투스 통신 모듈 111을 제어하여 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300로 출력되는 오디오 데이터의 동기화 동작을 수행할 수 있다.
오디오 처리부 160는 다양한 소스로부터 오디오 데이터를 수신하여 디코딩을 포함하는 처리를 수행하고 처리된 오디오 데이터를 블루투스 통신 모듈 111로 제공할 수 있다.
오디오 처리부 160는 제1오디오 디코더 161, 제2오디오 디코더 162, 제1믹서 163, 제2믹서 164, 제3믹서 165를 포함할 수 있다. 도 6에서는 오디오 디코더가 2개 있는 것으로 도시되었지만, 디스플레이 장치에 연결될 수 있는 오디오 입출력 장치의 개수 만큼 마련될 수 있다. 예를 들어, 디스플레이 장치 100가 오디오 입출력 장치를 4개 까지 연결할 수 있다면 오디오 처리부 160는 4개의 오디오 디코더를 포함할 수 있다.
제1오디오 디코더 161는 제1오디오 데이터를 수신하여 디코딩하고 디코딩된 제1오디오 데이터를 제1믹서 163 또는 제1블루투스 인터페이스 610로 출력할 수 있다.
제2오디오 디코더 162는 제2오디오 데이터를 수신하여 디코딩하고 디코딩된 제2오디오 데이터를 제1믹서 163 또는 제2블루투스 인터페이스 620로 출력할 수 있다.
제1믹서 163는 제1오디오 디코더 161로부터 수신된 디코딩 제1오디오 데이터 및 제2오디오 디코더 162로부터 수신된 디코딩된 제2오디오 데이터를 믹싱하여 믹싱된 오디오 데이터를 제1블루투스 인터페이스 610 및 제2블루투스 인터페이스 620로 출력할 수 있다. 예를 들어 제1오디오 디코더 161로부터의 제1오디오 데이터와 제2오디오 디코더 162로부터의 제2오디오 데이터를 믹싱하여 오디오 입출력 장치로 출력할 필요 있는 경우에 제1믹서 163는 믹싱 동작을 수행할 수 있다.
제2믹서 164는 제1오디오 디코더 161로부터 수신된 믹싱된 제1오디오 데이터와 음성 통화 사운드를 믹싱하여 믹싱된 데이터를 제1블루투스 인터페이스 610로 출력할 수 있다. 예를 들어 제1오디오 입출력 장치 200를 사용하는 사용자가 음성통화기능을 사용하는 경우에 제2믹서 164는 제1오디오 디코더로부터 출력된 오디오 데이터와 음성 통화 사운드를 믹싱할 수 있다.
제3믹서 165는 제2오디오 디코더 162로부터 수신된 믹싱된 제2오디오 데이터와 음성 통화 사운드를 믹싱하여 믹싱된 데이터를 제2블루투스 인터페이스 620로 출력할 수 있다. 예를 들어 제2오디오 입출력 장치 300를 사용하는 사용자가 음성통화기능을 사용하는 경우에 제3믹서 165는 제2오디오 디코더로부터 출력된 오디오 데이터와 음성 통화 사운드를 믹싱할 수 있다.
블루투스 통신 모듈 111은 제1블루투스 인터페이스 610, 제2블루투스 인터페이스 620, 블루투스 프로세서 630을 포함할 수 있다.
블루투스 프로세서 630는 블루투스 코어 631, 페어링 정보 저장부 632, 프로파일 저장부 633를 포함할 수 있다.
페어링 정보 저장부 632는 블루투스 코어가 오디오 입출력 장치와 블루투스 통신을 수행하기 위한 페어링 정보를 저장할 수 있다. 예를 들어, 페어링 정보 저장부 632는 제1오디오 입출력 장치 200와의 블루투스 통신을 수행하기 위한 페어링 정보 및 제2오디오 입출력 장치 300와의 블루투스 통신을 수행하기 위한 페어링 정보를 저장할 수 있다.
프로파일 저장부 633는 복수의 서로 다른 종류의 블루투스 통신 프로파일을 저장할 수 있다. 서로 다른 종류의 블루투스 통신 프로파일은 예를 들어, 진보된 오디오 분배 프로파일(A2DP), 오디오/비디오 제어 전송 프로토콜(AVCTP), 오디오/비디오 분배 전송 프로토콜(AVDTP), 오디오/비디오 원격 제어 프로파일(AVRCP), 베이직 이미징 프로파일(BIP), 베이직 프린팅 프로파일(BPP), 공통 ISDN 액세스 프로파일(CIP), 코드리스 전화 통신 프로파일(CTP), 다이얼-업 네트워킹 프로파일(DUN), 확장 서비스 디스커버리 프로파일(ESDP), 팩스 프로파일(FAX), 파일 전송 프로파일(FTP), 포괄 액세스 프로파일(GAP), 범용 오디오/비디오 분배 프로파일(GAVDP), 포괄 객체 교환 프로파일(GOEP), 핸즈-프리 프로파일(HFP), 하드 카피 케이블 대체 프로파일(HCRP), 헤드셋 프로파일(HSP), 휴먼 인터페이스 디바이스 프로파일(HID), 인터컴 프로파일(ICP), 객체 교환(OBEX), 객체 푸쉬 프로파일(OPP), 개인 영역 네트워킹 프로파일(PAN), RFCOMM, 서비스 디스커버리 프로토콜(SDP), 서비스 디스커버리 어플리케이션 프로파일(SDAP), SIM 액세스 프로파일(SAP), 직렬 포트 프로파일(SPP), 동기화 프로파일(SYNC), 전화 통신 제어 상세(TCS-바이너리 또는 TCP), 비디오 분배 프로파일(VDP), WAP 오버 블루투스 프로파일(WAP)이 있다.
블루투스 코어 631는 내부 메모리에 블루투스 통신 규격에 따라서 블루투스 통신을 수행하기 위한 프로토콜 정의, 통신 펌웨어 정의를 저장하고 있고, 오디오 처리부 160로부터 오디오 포맷 신호를 수신하는 경우 프로파일 저장부 633를 탐색하여 수신한 오디오 포맷 신호에 해당하는 프로파일(예컨대 A2DP, HSF, HFP) 설정 값을 호출하고, 수신된 오디오 포맷 신호를 호출된 프로파일의 오디오신호로 변환하여 제1블루투스 인터페이스 610 및/또는 제2블루투스 인터페이스 620으로 전송할 수 있다.
예를 들어, 블루투스 코어 631는 오디오 처리부 160로부터 A2DP 프로파일의 오디오 포맷 신호를 수신하는 경우 프로파일 저장부 633를 탐색하여 A2DP 프로파일 설정값을 호출하고, 수신된 A2DP 프로파일의 오디오 포맷 신호를 호출된 A2DP 프로파일의 오디오신호로 변환하여 출력할 수 있다.
예를 들어, 블루투스 코어 631는 오디오 처리부 160로부터 HFP 프로파일의 오디오 포맷 신호를 수신하는 경우 프로파일 저장부 633를 탐색하여 HFP 프로파일 설정값을 호출하고, 수신된 HFP 프로파일의 오디오 포맷 신호를 호출된 HFP 프로파일의 오디오신호로 변환하여 출력할 수 있다.
제1블루투스 인터페이스 610는 제1오디오 입출력 장치 200와 송수신하는 오디오 신호를 인터페이싱한다.
제1블루투스 인터페이스 610는 제1버퍼 611 및 블루투스 송수신기 612를 포함할 수 있다.
제1버퍼 611는 제1블루투스 송수신기 612를 통해서 송수신되는 오디오 신호를 임시 저장하는 역할을 한다.
제1블루투스 송수신기 612는 외부의 오디오 입출력 기기, 예를 들어 제1 오디오 입출력 장치 200을 통해서 입력되는 오디오신호를 블루투스 코어가 처리할 수 있는 오디오 포맷 신호로 변환하거나 그 역의 동작을 수행한다.
제2블루투스 인터페이스 620는 제2오디오 입출력 장치 300와 송수신하는 오디오 신호를 인터페이싱한다.
제2블루투스 인터페이스 620는 제2버퍼 621 및 블루투스 송수신기 622를 포함할 수 있다.
제2버퍼 621는 제1블루투스 송수신기 622를 통해서 송수신되는 오디오 신호를 임시 저장하는 역할을 한다.
제2블루투스 송수신기 622는 외부의 오디오 입출력 기기, 예를 들어 제2오디오 입출력 장치 300을 통해서 입력되는 오디오신호를 블루투스 코어가 처리할 수 있는 오디오 포맷 신호로 변환하거나 그 역의 동작을 수행한다.
제1오디오 입출력 장치 200로 출력되는 오디오 데이터와 제2오디오 입출력 장치 300로 출력되는 오디오 데이터의 포맷 처리에 동일한 블루투스 프로파일을 이용하는 경우에는 양 장치 즉, 제1오디오 입출력 장치 200과 제2오디오 입출력 장치 300로 출력되는 오디오 데이터의 출력 속도를 조절할 필요가 없다. 그러나, 제1오디오 입출력 장치 200과 제2오디오 입출력 장치 300로 송수신되는 오디오 데이터의 포맷 처리에 상이한 블루투스 프로파일을 이용하는 경우에는 양자간에 출력 속도 차이가 발생할 수 있다. 예를 들어, A2DP 프로파일의 경우에는 끊김없는 재생을 위해 오디오 입출력 장치 단에 지연 버퍼를 마련하고 있다. 따라서 동일한 오디오 데이터를 제1오디오 입출력 장치 200와 제2오디오 입출력 장치 300에 동시에 출력해야 하는 상황에서 서로 다른 프로파일을 이용한다면 양 장치간에 출력 속도의 차이가 발생하므로, 제1오디오 입출력 장치 200의 제1사용자와 제2오디오 입출력 장치 300의 제2사용자가 동일한 시점에서 듣는 오디오 데이터의 부분은 다를 수 있다. 따라서 이러한 시간 차를 보상하기 위해서 블루투스 코어 631는 제1오디오 입출력 장치 200과 제2오디오 입출력 장치 300 중 어느 하나에는 A2DP 프로파일을 이용하여 통신하고 다른 하나에는 HFP 프로파일을 이용하여 통신하는 경우, 블루투스 코어 631은 HFP 프로파일을 이용하여 포맷처리되는 오디오 데이터는 버퍼를 이용하여 출력이 지연되도록 처리할 수 있다.
도 6에 도시된 예에서 오디오 데이터의 동기화 수행을 위한 동작은, 제어부 140의 제어에 따라서 블루투스 통신 모듈 111에 의해 수행되거나, 또는 블루투스 통신 모듈 111의 동작 단독으로 수행될 수 있을 것이다.
이하에서는 도 6에 도시된 디스플레이 장치의 구성을 이용하여 오디오 데이터 동기화를 수행하는 다양한 시나리오를 설명한다.
도 7 내지 도 10을 참조하여 디스플레이 장치 100에서 멀티 유저 게임을 표시하는 경우의 오디오 동기화 동작을 설명한다.
도 7은 일 예에 따라 멀티유저 게임 선택에 따라 디스플레이 장치가 멀티뷰를 제공하는 예를 설명하기 위한 참고도이다.
도 7을 참조하면, 디스플레이 장치 100는 사용자의 선택에 따른 게임 컨텐츠를 표시할 수 있다. 이와 함께 디스플레이 장치 100는 멀티유저 게임 진행을 선택할 수 있는 아이템 730을 표시할 수 있다. 사용자가 멀티 유저 게임 진행 아이템 730을 선택하면, 디스플레이 장치 100는 디스플레이 화면을 두개의 윈도우로 나누어 각 윈도우를 두명의 사용자가 각각 제어할 수 있도록 표시할 수 있다. 디스플레이 장치 100는 멀티 윈도우에 포함된 제1윈도우 710는 제1사용자에 의해 제어되고 제2윈도우 720는 제2사용자에 의해 제어되도록 할 수 있다.
디스플레이 장치 100는 제1윈도우 710가 제1사용자에 의해 제어될 수 있도록 제1윈도우 710에 제1사용자가 사용하는 제1게임 콘트롤러를 연결하고, 또한 제1윈도우 710에 제1사용자가 사용하는 제1오디오 입출력 장치를 연결할 수 있다. 디스플레이 장치 100는 제1윈도우 710에 제1오디오 입출력 장치를 연결할 때 블루투스 통신 프로토콜을 이용할 수 있다.
디스플레이 장치 100는 제2윈도우 720가 제2사용자에 의해 제어될 수 있도록 제2윈도우 720에 제2사용자가 사용하는 제2게임 콘트롤러를 연결하고, 또한 제2윈도우 720에 제2사용자가 사용하는 제2오디오 입출력 장치를 연결할 수 있다. 디스플레이 장치 100는 제2윈도우 720에 제1오디오 입출력 장치를 연결할 때 블루투스 통신 프로토콜을 이용할 수 있다.
멀티 유저에 의해 플레이되는 게임 컨텐츠는 각 사용자의 제어에 따라서 서로 다른 장면이 표시될 수 있다. 따라서 디스플레이 장치 100는 동일한 제1컨텐츠를 제1윈도우와 제2윈도우를 통해서 표시하더라도 실제 제1윈도우 710와 제2윈도우 720에서 표시되는 실제 영상은 다를 수 있다. 예를 들어 제1윈도우에서 표시되는 영상은 제1컨텐츠의 제1장소에 대응하는 제1영상이고 제2윈도우에서 표시되는 영상은 제1컨텐츠의 제2장소에 대응하는 제2영상 일 수 있다.
도 8은 일 예에 따라 멀티 유저 게임의 경우 오디오 출력 방법의 일 예를 나타낸다.
도 8을 참조하면, 디스플레이 장치 100는 사용자들의 제어에 따라서 제1윈도우 710에는 제1컨텐츠의 제1영상을 표시하고 제2윈도우 720에는 제1컨텐츠의 제2영상을 표시할 수 있다. 이 경우 제1윈도우에 표시되는 제1영상과 제2윈도우에 표시되는 제2영상은 서로 다른 장소에서 발생되는 장면을 나타내기 때문에 대응하는 오디오 데이터도 서로 다를 수 있다. 예를 들어 도 8에 도시된 바와 같이 제1윈도우 710에 표시된 제1영상에 대응해서는 <탕탕탕> 이라는 오디오 데이터가 출력되고 제2윈도우 720에 표시된 제2영상에 대응해서는 <피융> 이라는 오디오 데이터가 출력될 수 있다. 이때 제1사용자와 제2사용자는 동일한 하나의 제1컨텐츠를 플레이하고 있는 것이므로 제1사용자 및 제2사용자 모두에게 제1영상에 대응하는 <탕탕탕> 사운드와 제2영상에 대응하는 <피융> 사운드를 들려주는 것이 바람직하다. 따라서, 디스플레이 장치 100는 제1윈도우 710에 표시된 제1영상에 대응하는 제1오디오 데이터와 제2윈도우 720에 표시된 제2영상에 대응하는 제2오디오 데이터를 믹싱하고, 믹싱된 오디오 데이터를 제1오디오 입출력 장치 200 및 제2오디오 입출력 장치 300에 각각 출력할 수 있다. 믹싱된 오디오 데이터를 출력할 때 디스플레이 장치 100는 오디오 전송 전용 블루투스 프로파일인 A2DP 를 이용하여 믹싱된 오디오 데이터를 출력할 수 있다.
도 9는 일 예에 따라 멀티 유저 게임 도중 하나의 사용자에 의해 음성 통화 서비스를 수행하는 경우의 동작을 설명하기 위한 참고도이다.
도 9를 참조하면, 디스플레이 장치 100의 멀티 윈도우를 통해서 게임 컨텐츠를 플레이하는 동안 제2사용자는 음성 통화 서비스를 이용하기를 희망할 수 있다. 따라서 제2사용자는 음성 통화 서비스 아이템 900를 선택하면, 디스플레이 장치 100는 음성 통화 서비스 아이템 900의 선택에 따라 제2사용자가 통신 네트워크 910를 통하여 원격에 있는 제3사용자와 음성 통화 수행할 수 있도록 서비스를 제공할 수 있다. 이와 같이 제2사용자에 의해 음성통화 서비스가 선택됨에 따라 디스플레이 장치 100는 제2오디오 입출력 장치 300로 믹싱된 오디오 데이터 뿐만 아니라 제2사용자와 제3사용자 간에 송수신되는 음성 통화 사운드 (예를 들어, <북쪽으로 이동해!>)를 더 믹싱하여 출력하는 것이 필요하다. 음성 통화 사운드를 블루투스 통신 프로토콜에 따라 출력하기 위해서 디스플레이 장치 100는 HFP 블루투스 프로파일을 이용할 수 있다.
따라서 제1사용자가 이용하는 제1오디오 입출력 장치 200로는 A2DP 프로파일에 따라 믹싱된 오디오 데이터를 출력하고, 제2사용자가 이용하는 제2오디오 입출력 장치 300로는 HFP 프로파일에 따라 믹싱된 오디오 데이터 + 음성 통화 사운드를 출력할 수 있다. 그런데 이 경우 제1사용자와 제2사용자는 동일한 제1 게임 컨텐츠를 플레이 하고 있는 상황이므로 제1사용자와 제2사용자가 듣는 믹싱된 오디오 데이터는 동기화가 맞아야 한다. 그러나, 일반적으로 A2DP 프로파일에 따르면 오디오 입출력 장치에 존재하는 버퍼가 속도를 지연시키므로 결국 제1사용자가 듣는 믹싱된 오디오 데이터와 제2사용자가 듣는 믹싱된 오디오 데이터는 시간차가 발생하게 될 수 있다. 따라서 디스플레이 장치 100는 디스플레이 장치 100의 통신 인터페이스 단에서 HFP 프로파일에 대응하는 블루투스 인터페이스에 버퍼를 마련하여 HFP 에 따라 출력되는 오디오 데이터를 지연시킴으로써 HFP에 따른 오디오 데이터와 A2DP 에 따른 오디오 데이터의 동기화를 맞출 수 있다.
도 10은 일 예에 따라 도 9에 도시된 상황에서의 디스플레이 장치의 동작을 설명하기 위한 참고도이다.
도 10을 참조하면, 제1오디오 디코더 161는 제1윈도우에 표시되는 제1컨텐츠의 제1영상에 대응하는 제1오디오 데이터를 수신하여 디코딩하고 디코딩된 제1오디오 데이터를 제1믹서 163으로 출력할 수 있다. 제2오디오 디코더 162는 제2윈도우에 표시되는 제2컨텐츠의 제2영상에 대응하는 제2오디오 데이터를 수신하여 디코딩하고 디코딩된 제2오디오 데이터를 제1믹서 163으로 출력할 수 있다.
제1믹서 163는 제1오디오 데이터와 제2오디오 데이터를 믹싱하여 믹싱된 오디오 데이터를 제1블루투스 인터페이스 610으로 출력할 수 있다.
제2사용자의 음성 통화 서비스 선택에 따라 제3믹서 165는 제1믹서 163으로부터의 믹싱된 오디오 데이터와 음성 통화 사운드를 믹싱하여 믹싱된 데이터를 제2블루투스 인터페이스로 출력할 수 있다.
블루투스 코어 631는 믹싱된 오디오 데이터에 대해서는 A2DP 프로파일에 따라 신호 변환하여 제1오디오 입출력 장치 200로 출력되도록 제어할 수 있다.
블루투스 코어 631는 믹싱된 오디오 데이터와 음성 통화 사운드에 대해서는 HFP 프로파일에 따라 신호 변환하여 제2오디오 입출력 장치 300로 출력되도록 제어할 수 있다.
이 경우 제1오디오 입출력 장치 200로 출력되는 오디오 데이터와 제2오디오 입출력 장치 300로 출력되는 오디오 데이터의 동기화를 맞추기 위해 HFP 블루투스 프로파일에 따라 처리하는 오디오 데이터 + 음성 통화 사운드에 대해서는 미리 정해진 시간 임시 저장하도록 버퍼 621를 제어할 수 있다. 만약 디스플레이 장치 100가 제1오디오 입출력 장치 200에 포함된 A2DP 프로파일을 위한 버퍼의 사이즈를 알 수 있다면, 디스플레이 장치 100는 HFP 프로파일에 따라 데이터를 처리하는 제2블루투스 인터페이스의 버퍼 6212의 지연 시간을, A2DP 프로파일을 위한 버퍼의 사이즈와 동일하게 설정할 수 있다. 만약 디스플레이 장치 100가 제1오디오 입출력 장치 200에 포함된 A2DP 프로파일을 위한 버퍼의 사이즈를 알 수 없다면, 디스플레이 장치 100는 HFP 프로파일에 따라 데이터를 처리하는 제2블루투스 인터페이스의 버퍼 6212의 지연 시간을, 사용자에 의해 조정할 수 있도록 하는 그래픽 사용자 인터페이스를 제공할 수 있다.
도 11 내지 도 12를 참조하여 디스플레이 장치 100에서 와치 투게더 (watch together) 서비스에 따라 영상을 표시하는 경우의 오디오 동기화 동작을 설명한다. 와치 투게더 서비스는 서로 원격에 있는 복수의 사용자들이 하나의 컨텐츠를 동시에 자신의 집에서 시청하면서 서로 대화를 할 수 있도록 제공하는 서비스를 말하는 것으로, 대화는 예를 들어 음성 통화, 영상 통화, 또는 문자 채팅 등을 이용할 수 있다.
도 11은 일 예에 따라 와치 투게더 서비스 선택에 따라 디스플레이 장치가 영상을 표시하는 예를 설명하기 위한 참고도이다.
도 11을 참조하면, 제1디스플레이 장치의 제1사용자는 제2디스플레이 장치의 제3사용자와 와치 투게더 서비스를 이용하여 영상을 함께 보면서 음성 통화를 하기를 원할 수 있다.
따라서 디스플레이 장치 100는 디스플레이에 표시된 영상에 대응하는 오디오 데이터와 음성 통화 사운드를 믹싱하여 제1오디오 입출력 장치 200로 출력할 수 있다. 이 경우 디스플레이 장치 100는 출력되는 오디오 데이터에 음성 통화 사운드가 포함되어 있으므로 디스플레이 장치 100는 HFP 프로파일을 이용하여 제1오디오 입출력 장치 200로 출력할 수 있다.
한편, 제1디스플레이 장치 100에서는 제1사용자 이외에 제2사용자도 자신의 제2오디오 입출력 장치 300를 이용하여 제1디스플레이 장치 100에 표시된 컨텐츠를 시청하기를 원할 수 있다. 이 경우 디스플레이 장치 100는 제2오디오 입출력 장치 30로는 A2DP 프로파일을 이용하여 오디오 데이터를 출력할 수 있다.
이 경우, 제1사용자와 제2사용자는 제1디스플레이 장치 100를 통해서 동일한 영상을 시청하고 있는 상황이므로 오디오 데이터의 동기화가 맞아야 영상을 감상하는데 문제가 발생하지 않을 수 있다. 그러나 디스플레이 장치 100는 제1오디오 입출력 장치 200로는 블루투스 프로파일 HFP를 이용하고 제2오디오 입출력 장치 300로는 A2DP를 이용하기 때문에, 오디오 데이터의 출력 속도 면에서 차이가 발생할 수 있다. 따라서 제1디스플레이 장치 100는 오디오 데이터 동기화를 위해 제1오디오 입출력 장치 200으로 출력되는 오디오 데이터 + 음성 통화 사운드에 대해서 제2오디오 입출력 장치 300에 포함된 버퍼의 사이즈 만큼의 지연을 시켜서 제1오디오 입출력 장치 200로 출력할 수 있다.
도 12는 일 예에 따라 도 11에 도시된 상황에서의 디스플레이 장치의 동작을 설명하기 위한 참고도이다.
도 12를 참조하면, 제1오디오 디코더 161는 제1디스플레이 장치 100의 화면에 표시되는 제1컨텐츠에 대응하는 제1오디오 데이터를 수신하여 디코딩하고 디코딩된 제1오디오 데이터를 제2믹서 164으로 출력할 수 있다. 그리고 또한 제1오디오 디코더 161는 디코딩된 제1오디오 데이터를 제2블루투스 인터페이스 620로 출력할 수 있다.
제2믹서 164는 제1오디오 데이터와 음성 통화 사운드를 믹싱하여 믹싱된 데이터를 제1블루투스 인터페이스 610으로 출력할 수 있다.
블루투스 코어 631는 제1 오디오 데이터에 대해서는 A2DP 프로파일에 따라 신호 변환하여 제2오디오 입출력 장치 300로 출력되도록 제어할 수 있다.
블루투스 코어 631는 제1오디오 데이터와 음성 통화 사운드에 대해서는 HFP 프로파일에 따라 신호 변환하여 제1오디오 입출력 장치 200로 출력되도록 제어할 수 있다.
이 경우 제1오디오 입출력 장치 200로 출력되는 오디오 데이터와 제2오디오 입출력 장치 300로 출력되는 오디오 데이터의 동기화를 맞추기 위해, 블루투스 코어 631는 HFP 블루투스 프로파일에 따라 처리하는 제1오디오 데이터 + 음성 통화 사운드에 대해서는 미리 정해진 시간 임시 저장하도록 버퍼 611를 제어할 수 있다. 만약 디스플레이 장치 100가 제2오디오 입출력 장치 300에 포함된 A2DP 프로파일을 위한 버퍼의 사이즈를 알 수 있다면, 디스플레이 장치 100는 HFP 프로파일에 따라 데이터를 처리하는 제1블루투스 인터페이스의 버퍼 611의 지연 시간을, A2DP 프로파일을 위한 버퍼의 사이즈와 동일하게 설정할 수 있다. 만약 디스플레이 장치 100가 제2오디오 입출력 장치 300에 포함된 A2DP 프로파일을 위한 버퍼의 사이즈를 알 수 없다면, 디스플레이 장치 100는 HFP 프로파일에 따라 데이터를 처리하는 제1블루투스 인터페이스의 버퍼 611의 지연 시간을, 사용자에 의해 조정할 수 있도록 하는 그래픽 사용자 인터페이스를 제공할 수 있다.
도 13은 일 실시예에 따라 버퍼의 지연 시간을 조정할 수 있는 그래픽 사용자 인터페이스의 일 예를 나타낸다.
도 13을 참조하면, 디스플레이 장치 100는 <제1블루투스 헤드셋과 제2블루투스 헤드셋의 오디오 싱크를 위해 조정량을 조정할 수 있습니다. 아래 조정 바를 이용하여 조정해주세요!> 라는 메시지와 함께 조정량을 조정할 수 있는 조정 바를 포함하는 그래픽 사용자 인터페이스 1300를 표시할 수 있다. 이와 같은 그래픽 사용자 인터페이스 1300에 따라서 조정 바를 움직여서 출력되는 오디오를 체크함으로써 사용자는 적절한 조정량을 설정할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적’은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제 3 장치로 전송되거나, 제 3 장치로부터 디바이스로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 디바이스 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제 3 장치가 컴퓨터 프로그램 제품을 실행하여, 제 3 장치와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 제 3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제 3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드 된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제 3 장치는 프리로드 된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (19)

  1. 디스플레이 장치에 있어서,
    디스플레이,
    통신 인터페이스,
    하나 이상의 인스트럭션을 저장하는 메모리, 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하고,
    상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하도록 상기 통신 인터페이스를 제어하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    적어도 제1윈도우 및 제2윈도우를 포함하는 멀티 윈도우에서 상기 제1윈도우를 통해 제1컨텐츠의 제1영상을 표시하고 상기 제2윈도우를 통해 상기 제1컨텐츠의 제2영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 제1영상에 대응하는 제1오디오 데이터 와 상기 제2영상에 대응하는 제2오디오 데이터를 믹싱함으로써 상기 오디오 데이터를 획득하는, 디스플레이 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하고,
    상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하는, 디스플레이 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 상기 통신 인터페이스를 제어하는, 디스플레이 장치.
  5. 제4항에 있어서,
    상기 동기화 버퍼의 상기 미리 정해진 사이즈는 상기 제1오디오 입출력 장치에 마련된 버퍼의 사이즈에 대응하는 크기를 갖는, 디스플레이 장치.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 동기화 버퍼의 지연 시간을 조정할 수 있도록 하는 그래픽 사용자 인터페이스를 표시하도록 상기 디스플레이를 제어하고,
    상기 그래픽 사용자 인터페이스를 통해 수신된 사용자 입력에 따라 상기 동기화 버퍼의 지연 시간을 조정하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1컨텐츠를 표시하도록 상기 디스플레이를 제어하고,
    상기 제1컨텐츠에 대응하는 상기 오디오 데이터를 획득하는, 디스플레이 장치.
  8. 제7항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하고,
    상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하도록 상기 통신 인터페이스를 제어하는, 디스플레이 장치.
  9. 제8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 상기 통신 인터페이스를 제어하는, 디스플레이 장치.
  10. 디스플레이 장치의 동작 방법에 있어서,
    오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하는 동작, 및
    상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하는 동작을 포함하는, 디스플레이 장치의 동작 방법.
  11. 제10항에 있어서,
    적어도 제1윈도우 및 제2윈도우를 포함하는 멀티 윈도우에서 상기 제1윈도우를 통해 제1컨텐츠의 제1영상을 표시하고 상기 제2윈도우를 통해 상기 제1컨텐츠의 제2영상을 표시하는 동작, 및
    상기 제1영상에 대응하는 제1오디오 데이터 와 상기 제2영상에 대응하는 제2오디오 데이터를 믹싱함으로써 상기 오디오 데이터를 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하는 동작, 및
    상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 제어하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 동기화 버퍼의 상기 미리 정해진 사이즈는 상기 제1오디오 입출력 장치에 마련된 버퍼의 사이즈에 대응하는 크기를 갖는, 디스플레이 장치의 동작 방법.
  15. 제14항에 있어서,
    상기 동기화 버퍼의 지연 시간을 조정할 수 있도록 하는 그래픽 사용자 인터페이스를 표시하는 동작, 및
    상기 그래픽 사용자 인터페이스를 통해 수신된 사용자 입력에 따라 상기 동기화 버퍼의 지연 시간을 조정하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  16. 제10항에 있어서,
    제1컨텐츠를 디스플레이 화면에 표시하는 동작, 및
    상기 제1컨텐츠에 대응하는 상기 오디오 데이터를 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  17. 제16항에 있어서,
    상기 오디오 데이터를 상기 제1오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터를 A2DP 블루투스 프로파일에 따라 처리하는 동작, 및
    상기 오디오 데이터와 함께 음성 통화 사운드를 상기 제2오디오 입출력 장치로 출력하기 위해 상기 오디오 데이터와 상기 음성 통화 사운드의 믹싱 데이터를 HFP 블루투스 프로파일에 따라 처리하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  18. 제17항에 있어서,
    상기 A2DP 블루투스 프로파일에 따라 처리되는 상기 오디오 데이터와 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터의 동기화를 위해 상기 HFP 블루투스 프로파일에 따라 처리되는 상기 믹싱 데이터를 상기 동기화 버퍼를 이용하여 상기 미리 정해진 시간 동안 지연되도록 제어하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  19. 디스플레이 장치의 동작 방법의 구현을 위해 디스플레이 장치의 프로세서에 의해 실행되는 하나 이상의 프로그램이 기록된 컴퓨터 판독가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은,
    오디오 데이터가 블루투스 통신 프로토콜을 이용하여 출력될 제1 오디오 입출력 장치 및 제2오디오 입출력 장치가 연결된 것을 확인하는 동작, 및
    상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치로 상기 오디오 데이터를 출력하는 블루투스 통신에 서로 다른 블루투스 통신 프로파일을 이용하는 것을 확인함에 따라, 상기 제1오디오 입출력 장치로 출력되는 오디오 데이터 및 상기 제2오디오 입출력 장치로 출력되는 상기 오디오 데이터의 동기를 맞추기 위해, 상기 제1오디오 입출력 장치 및 상기 제2오디오 입출력 장치 중 하나로 출력되는 상기 오디오 데이터를 동기화 버퍼를 이용하여 미리 정해진 시간 동안 지연시켜서 출력하는 동작을 포함하는, 컴퓨터 판독가능 기록 매체.



KR1020210117196A 2021-09-02 2021-09-02 디스플레이 장치 및 그 동작 방법 KR20230034063A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210117196A KR20230034063A (ko) 2021-09-02 2021-09-02 디스플레이 장치 및 그 동작 방법
PCT/KR2022/013151 WO2023033574A1 (ko) 2021-09-02 2022-09-02 디스플레이 장치 및 그 동작 방법
US18/592,886 US20240201933A1 (en) 2021-09-02 2024-03-01 Display device and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210117196A KR20230034063A (ko) 2021-09-02 2021-09-02 디스플레이 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230034063A true KR20230034063A (ko) 2023-03-09

Family

ID=85411339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117196A KR20230034063A (ko) 2021-09-02 2021-09-02 디스플레이 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20240201933A1 (ko)
KR (1) KR20230034063A (ko)
WO (1) WO2023033574A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI545971B (zh) * 2014-10-03 2016-08-11 絡達科技股份有限公司 藍牙發聲裝置的音頻同步方法
US11233836B2 (en) * 2019-05-31 2022-01-25 Apple Inc. Concurrent audio streaming to multiple wireless audio output devices
KR20210008779A (ko) * 2019-07-15 2021-01-25 엘지전자 주식회사 스피커를 포함하는 복수의 전자기기들에 다채널 서라운드 오디오 신호를 제공하는 방법 및 장치
KR20210101696A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 버퍼를 제어하기 위한 전자 장치 및 방법
KR102660576B1 (ko) * 2020-02-13 2024-04-26 삼성전자주식회사 오디오 장치 및 그 제어방법

Also Published As

Publication number Publication date
WO2023033574A1 (ko) 2023-03-09
US20240201933A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
WO2021103846A1 (zh) 一种投屏音视频播放方法及电子设备
KR100594065B1 (ko) 다수개의 이동통신단말기를 이용하여 분할 디스플레이하는시스템 및 그 구현 방법
EP3096531A1 (en) One-screen sharing method, apparatus, and system
US9497499B2 (en) Display apparatus and method for remotely outputting audio
US11425447B2 (en) Universal mirroring receiver
US8738072B1 (en) Devices and methods for transferring a multimedia mobile call data from a mobile device to a device having a display
KR101925027B1 (ko) 영상표시장치 및 이를 이용한 사용자 인터페이스 제공 방법
KR20140001726A (ko) 화면 동기화 가능한 원격 제어 장치
US10244207B2 (en) Videoconference communication device
US20210195256A1 (en) Decoder equipment with two audio links
KR20220018849A (ko) 디스플레이장치 및 그 제어방법
US20240201933A1 (en) Display device and operation method thereof
GB2527182A (en) Information/Entertainment system
KR20160056165A (ko) 영상 입력 장치, 디스플레이 장치 및 그 동작 방법
JP2002158888A (ja) リモコン付きテレビジョン受信機
CN108011874B (zh) 一种低延迟的娃娃机直播方法及系统
KR20210142393A (ko) 영상표시장치 및 그의 동작방법
KR20210065636A (ko) 휴대용 멀티미디어 단말기 화면의 실시간 송수신 시스템 및 장치
JP2013005409A (ja) 携帯端末
KR102279395B1 (ko) 디지털방송 출력 시스템, 셋톱박스 및 그 디지털방송신호 출력방법, 이동통신단말기 및 그 오디오신호 출력방법
JP2012227571A (ja) アンプ機器、及びそのアンプ機器を含むａｖシステム
KR101493772B1 (ko) 멀티미디어 데이터 중계장치
KR102184324B1 (ko) 디스플레이 미러링을 위한 멀티미디어 콘텐츠의 실시간 무선 송수신 시스템 및 방법
KR20160149991A (ko) 멀티미디어 디스플레이 장치
JP2017058431A (ja) 表示制御システム、表示制御装置及び表示制御方法