KR20140019083A - 질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기 - Google Patents

질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기 Download PDF

Info

Publication number
KR20140019083A
KR20140019083A KR1020120081966A KR20120081966A KR20140019083A KR 20140019083 A KR20140019083 A KR 20140019083A KR 1020120081966 A KR1020120081966 A KR 1020120081966A KR 20120081966 A KR20120081966 A KR 20120081966A KR 20140019083 A KR20140019083 A KR 20140019083A
Authority
KR
South Korea
Prior art keywords
user
input
information
content
frame
Prior art date
Application number
KR1020120081966A
Other languages
English (en)
Other versions
KR102084630B1 (ko
Inventor
신인영
최원종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120081966A priority Critical patent/KR102084630B1/ko
Priority to IN1452DEN2015 priority patent/IN2015DN01452A/en
Priority to PCT/KR2013/006006 priority patent/WO2014017757A1/en
Priority to CN201380039703.9A priority patent/CN104509127B/zh
Priority to EP13175365.9A priority patent/EP2690849B1/en
Priority to US13/950,916 priority patent/US10228810B2/en
Publication of KR20140019083A publication Critical patent/KR20140019083A/ko
Application granted granted Critical
Publication of KR102084630B1 publication Critical patent/KR102084630B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

디스플레이 장치에서 소정 콘텐트를 재생하는 단계; 재생 중인 콘텐트와 관련된 사용자로부터의 입력을 수신하는 단계; 수신된 사용자로부터의 입력에 기초하여 콘텐트에 관한 질문 메시지를 생성하는 단계; 재생 중인 콘텐트로부터 상기 수신된 사용자로부터의 입력과 관련된 정보를 추출하는 단계; 및 추출된 정보와 질문 메시지를 디스플레이 장치에 연결된 외부 기기로 전송하는 단계를 포함하는 디스플레이 장치에서의 질문 메시지 전송 방법을 개시한다.

Description

질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기{METHOD FOR TRANSMITTING INQUIRY MESSAGE, DISPLAY DEVICE, METHOD FOR SHARING INFORMATION, AND MOBILE TERMINAL}
본 발명은 외부 기기 간 정보를 공유하기 위한 디스플레이 장치에서의 질문 메시지 전송 방법 및 이동 단말에서의 정보 공유 방법에 관한 것이다.
스마트TV란 TV에 인터넷 접속 기능을 결합, 각종 앱(application: 응용프로그램)을 설치해 웹 서핑 및 VOD 시청, 소셜 네트워크 서비스(Social Networking Service, 이하 SNS), 게임 등의 다양한 기능을 활용할 수 있는 다기능 TV를 의미한다.
스마트TV의 가장 큰 특징은, 사용자와 TV가 서로 정보를 주고받을 수 있다는 점이다. 이는 정보를 일방적으로 전달하기만 하는 기존의 TV와의 가장 큰 차이점이다. 이 때문에 스마트 TV를 ‘쌍방향 TV(Interactive TV)’라 부르기도 한다.
하지만, 현재는 사용자가 스마트 TV의 다양한 기능을 이용하기는 데 많은 불편이 따른다. 특히, 스마트 TV에서 재생되는 콘텐트와 관련하여 외부에 있는 다른 사용자와 실시간으로 정보를 공유할 필요가 있는 경우, 스마트 TV를 통해서 외부에 있는 다른 기기와 인터랙션하기 어렵다.
본 발명은 콘텐트 재생 중에 사용자의 입력이 감지되는 경우, 감지된 사용자의 입력 정보 및 사용자의 입력 감지 시점에 기초하여 선택된 적어도 하나 이상의 프레임에 대응하는 관련 정보를 외부의 기기와 공유하는 방법을 제공한다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 디스플레이 장치에서 소정 콘텐트를 재생하는 단계; 재생 중인 콘텐트와 관련된 사용자로부터의 입력을 수신하는 단계; 수신된 사용자로부터의 입력에 기초하여 콘텐트에 관한 질문 메시지를 생성하는 단계; 재생 중인 콘텐트로부터 수신된 사용자로부터의 입력과 관련된 정보를 추출하는 단계; 및 추출된 정보와 질문 메시지를 디스플레이 장치에 연결된 외부 기기로 전송하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 추출된 정보는 사용자로부터의 입력이 수신된 시점에서 재생중인 콘텐트의 화면 프레임 정보 및 상기 프레임의 부가 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 사용자로부터의 입력을 분석하여, 사용자로부터의 입력 정보가 콘텐트와 관련된 정보인지 판단하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 사용자로부터의 입력을 파싱하여 적어도 하나 이상의 의미 단위를 추출하는 단계; 및 콘텐트의 메타 데이터를 기초로, 추출된 의미 단위와 콘텐트의 관련성을 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 콘텐트의 메타 데이터로부터 콘텐트와 관련된 의미 단위를 온톨로지를 이용하여 획득하는 단계; 및 콘텐트와 관련된 의미 단위와, 사용자로부터의 입력 정보로부터 추출된 의미 단위를 비교하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 사용자로부터의 입력이 기 설정된 문장 구조에 대응하는지 판단하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 콘텐트와 관련된 사용자의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 인식하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 사용자로부터의 입력에 의해 발생하는 문자 메시지, 음성 메시지, 및 이미지 중 적어도 하나를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 사용자로부터의 입력 발생 시점, 사용자로부터의 입력 유지 시간, 및 사용자로부터의 입력 종료 시점 중 적어도 하나에 기초하여, 콘텐트의 적어도 하나 이상의 프레임 및 프레임의 부가 정보 중 적어도 하나를 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 사용자로부터의 입력이 유지되는 동안, 콘텐트의 재생 화면이 변화되는 시점에 대응하는 프레임을 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 프레임의 부가 정보는, 프레임의 재생 위치 정보, 프레임의 시퀀스 정보, 및 프레임에 포함된 오브젝트 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 프레임의 압축률, 프레임의 해상도, 및 전송할 프레임의 수 중 적어도 하나를 조정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 외부 기기의 사용자로부터의 입력 정보를 외부 기기로부터 수신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 외부의 모바일 기기와 정보를 공유하기 위한 공유 창에, 질문 메시지 및 외부 기기의 사용자로부터의 입력을 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 공유 창은, 공유 메모장, 공유 칠판(white board), 및 메시지 창 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 공유 창을 콘텐트가 표시되는 영역에 오버레이하여 표시할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 공유 창을 디스플레이 장치와 연결된 또 다른 디바이스에 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트는, 방송 콘텐트, 교육 콘텐트, 음악 콘텐트, 영화 콘텐트, 사진 콘텐트 및 전자책 콘텐트 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 음성 통화 신호, 영상 통화 신호, 및 메시지 전송 신호 중 적어도 하나를 통해 질문 메시지를 전송하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 외부 기기로부터 연결 요청을 수신하는 단계; 및 연결 요청에 응답하여, 외부 기기의 연결을 인증하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 외부 기기의 식별 정보, 외부 기기의 사용자의 식별 정보, 및 일회용 인증 정보 중 적어도 하나를 기초로 외부 기기의 연결을 인증하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 질문 메시지 전송 방법은, 외부 기기에 연결을 요청하는 단계; 및 요청에 대한 응답으로, 외부 기기로부터 연결 수락 메시지를 수신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 외부의 디스플레이 장치에서 콘텐트 재생 중에 획득된 제 1 사용자의 입력 정보, 및 재생 중인 콘텐트의 적어도 하나 이상의 프레임에 대응하는 관련 정보를 외부의 디스플레이 장치로부터 수신하는 단계; 제 1 사용자의 입력 정보 및 적어도 하나 이상의 프레임을 디스플레이하는 단계; 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 획득하는 단계; 및 제 2 사용자의 입력 정보를 외부의 디스플레이 장치로 전송하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 프레임에 대응되는 정보는, 제 1 사용자의 입력 정보 획득 시점에 기초하여 선택된 프레임, 선택된 프레임의 재생 위치 정보, 선택된 프레임의 시퀀스 정보 및 선택된 프레임에 포함된 오브젝트 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 외부의 디스플레이 장치에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하여 화면에 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 외부의 디스플레이 장치와 정보를 공유하기 위한 공유 창에, 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 콘텐트가 표시되는 영역에 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 오버레이하여 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 모바일 기기와 연결된 또 다른 디바이스에 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 외부의 디스플레이 장치에 연결을 요청하는 단계; 및 요청에 대한 응답으로, 외부의 디스플레이 장치로부터 연결 수락 메시지를 수신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 원격 제어에 대한 권한 인증을 외부의 디스플레이 장치에 요청하는 단계; 및 요청에 대한 응답으로, 외부의 디스플레이 장치로부터 원격 제어 수락 메시지를 수신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 공유 방법은, 외부의 디스플레이 장치에서 재생 중인 콘텐트의 재생 위치 변경, 재생 정지, 재생 속도 조절, 볼륨 조절, 및 재생 콘텐트 변경 중 적어도 하나를 제어하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치는, 콘텐트를 재생하여 화면에 표시하는 표시부; 재생 중인 콘텐트와 관련된 사용자로부터의 입력을 수신하고, 수신된 사용자로부터의 입력에 기초하여 콘텐트에 관한 질문 메시지를 생성하는 사용자 입력부; 재생 중인 콘텐트로부터 수신된 사용자로부터의 입력과 관련된 정보를 추출하는 추출부; 추출된 정보와 질문 메시지를 디스플레이 장치에 연결된 외부 기기로 전송하는 통신부; 및 표시부, 사용자 입력부, 추출부, 및 통신부를 제어하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 추출부는, 사용자로부터의 입력이 수신된 시점에서 재생중인 콘텐트의 화면 프레임 정보 및 프레임의 부가 정보 중 적어도 하나를 추출할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 제어부는, 사용자로부터의 입력을 분석하여, 사용자로부터의 입력이 콘텐트와 관련된 정보인지 판단할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 제어부는, 사용자로부터의 입력을 파싱하여 적어도 하나 이상의 의미 단위를 추출하고, 콘텐트의 메타 데이터를 기초로, 추출된 의미 단위와 콘텐트의 관련성을 판단할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 제어부는, 콘텐트의 메타 데이터로부터 콘텐트와 관련된 의미 단위를 온톨로지를 이용하여 획득하고, 콘텐트와 관련된 의미 단위와 사용자로부터의 입력 정보로부터 추출된 의미 단위를 비교할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 제어부는, 사용자로부터의 입력이 기 설정된 문장 구조에 대응하는지 판단할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 사용자 입력부는, 사용자로부터의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 수신할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 추출부는, 사용자로부터의 입력 발생 시점, 사용자로부터의 입력 유지 시간, 및 사용자로부터의 입력 종료 시점 중 적어도 하나에 기초하여, 콘텐트의 적어도 하나 이상의 프레임을 선택하고, 선택된 적어도 하나 이상의 프레임에 대응하는 관련 정보를 획득할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 추출부는, 사용자로부터의 입력이 유지되는 동안, 콘텐트의 재생 화면이 변화되는 시점에 대응하는 프레임을 추출할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 제어부는, 프레임의 압축률, 프레임의 해상도, 및 전송할 프레임의 수 중 적어도 하나를 조정할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 통신부는, 외부 기기의 사용자로부터의 입력 정보를 외부 기기로부터 수신할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 표시부는, 외부 기기와 정보를 공유하기 위한 공유 창에, 질문 메시지 및 외부 기기의 사용자로부터의 입력을 표시할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 표시부는, 공유 창을 콘텐트가 표시되는 영역에 오버레이하여 표시할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 표시부는, 공유 창을 디스플레이 장치와 연결된 또 다른 디바이스에 표시할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 통신부는, 음성 통화 신호, 영상 통화 신호, 및 메시지 전송 신호 중 적어도 하나를 통해 질문 메시지를 전송할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 통신부는, 외부 기기로부터 연결 요청을 수신하고, 본 발명의 일 실시예에 따른 디스플레이 장치의 제어부는, 연결 요청에 응답하여, 외부 기기의 연결을 인증할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 제어부는, 외부 기기의 식별 정보, 외부 기기의 사용자의 식별 정보, 및 일회용 인증 정보 중 적어도 하나를 기초로 외부 기기의 연결을 인증할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치의 통신부는, 외부 기기에 연결을 요청하고, 요청에 대한 응답으로, 외부 기기로부터 연결 수락 메시지를 수신할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기는, 외부의 디스플레이 장치에서 콘텐트 재생 주에 획득된 제 1 사용자의 입력 정보, 및 재생 중인 콘텐트의 적어도 하나 이상의 프레임에 대응하는 관련 정보를 외부의 디스플레이 장치로부터 수신하고, 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 외부의 디스플레이 장치로 전송하는 통신부; 제 1 사용자의 입력 정보 및 적어도 하나 이상의 프레임을 디스플레이하는 표시부; 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 획득하는 사용자 입력부; 및 통신부, 표시부, 및 사용자 입력부를 제어하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기의 표시부는, 외부의 디스플레이 장치에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하여 화면에 표시할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기의 표시부는, 외부의 디스플레이 장치와 정보를 공유하기 위한 공유 창에, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 표시할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기의 표시부는, 콘텐트가 표시되는 영역에 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 오버레이하여 표시할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기의 표시부는, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 모바일 기기와 연결된 또 다른 디바이스에 표시할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기의 통신부는, 외부의 디스플레이 장치에 연결을 요청하고, 요청에 대한 응답으로, 외부의 디스플레이 장치로부터 연결 수락 메시지를 수신할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기의 통신부는, 원격 제어에 대한 권한 인증을 외부의 디스플레이 장치에 요청하고, 요청에 대한 응답으로, 외부의 디스플레이 장치로부터 원격 제어 수락 메시지를 수신할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기의 제어부는, 외부의 디스플레이 장치에서 재생 중인 콘텐트의 재생 위치 변경, 재생 정지, 재생 속도 조절, 볼륨 조절, 및 재생 콘텐트 변경 중 적어도 하나를 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 정보 공유 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예와 관련된 디스플레이 장치에서의 질문 메시지 전송 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예와 관련된 프레임 선택 화면을 나타내는 도면이다.
도 4는 본 발명의 일 실시예와 관련된 프레임에 대응하는 관련 정보를 공유하는 화면을 나타내는 도면이다.
도 5는 본 발명의 일 실시예와 관련된 영상 통화 중에 정보를 공유하는 화면을 나타내는 도면이다.
도 6은 본 발명의 일 실시예와 관련된 디스플레이 장치의 정보 공유 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예와 관련된 인증 화면을 나타내는 도면이다.
도 8은 본 발명의 또 다른 실시예와 관련된 인증 화면을 나타내는 도면이다.
도 9는 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 콘텐트 재생 화면에 오버레이하여 표시하는 화면을 나타내는 도면이다.
도 10은 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 공유 창에 표시하는 도면이다.
도 11은 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 디스플레이 장치와 연결된 또 다른 디바이스(2nd Screen)에 표시하는 화면을 나타내는 도면이다.
도 12는 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 팝업창에 표시하는 화면을 나타내는 도면이다.
도 13은 본 발명의 일 실시예와 관련된 모바일 기기의 정보 공유 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시예와 관련된 모바일 기기가 디스플레이 장치에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하는 화면을 나타내는 도면이다.
도 15는 본 발명의 일 실시예와 관련된 모바일 기기에서 사용자의 입력 정보를 표시하는 화면을 나타내는 도면이다.
도 16은 본 발명의 일 실시예와 관련된 모바일 기기에서 사용자의 입력 정보를 콘텐트 재생 화면에 오버레이하여 표시하는 화면을 나타내는 도면이다.
도 17은 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 모바일 기기와 연결된 또 다른 디바이스(2nd Screen)에 표시하는 화면을 나타내는 도면이다.
도 18은 본 발명의 일 실시예와 관련된 모바일 기기에서 복수의 프레임 각각에 대응되는 제 2 사용자의 입력 정보를 획득하는 화면을 나타내는 도면이다.
도 19는 본 발명의 일 실시예와 관련된 공유 칠판 세션을 나타내는 도면이다.
도 20은 본 발명의 일 실시예와 관련된 공유 메모장 세션을 나타내는 도면이다.
도 21은 본 발명의 일 실시예와 관련된 서버를 통해 정보를 공유하는 방법을 설명하기 위한 순서도이다.
도 22는 본 발명의 일 실시예와 관련된 디스플레이 장치의 구성을 설명하기 위한 블록 구성도이다.
도 23은 본 발명의 일 실시예와 관련된 모바일 기기의 구성을 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 정보 공유 시스템을 나타내는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 정보 공유 시스템은 제 1 기기(100), 제 2 기기(200) 서버(300) 등을 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 정보 공유 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 정보 공유 시스템은 구현될 수 있다. 예를 들어, 정보 공유 시스템은 제 1 기기(100) 및 제 2 기기(200)로 구성될 수도 있고, 제 1 기기(100), 제 2 기기(200) 및 서버(300)로 구성될 수도 있는 것이다.
제 1 기기(100)는, 디스플레이 패널을 포함하는 다양한 종류의 디스플레이 장치를 의미한다. 예를 들어, 본 명세서에서 기술되는 디스플레이 장치에는 스마트TV, IPTV(Internet Protocol Television), DTV(Digital television), 컴퓨터, 노트북 컴퓨터, 전자북 단말기, 태블릿 PC, 휴대폰, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, CE(Consumer Electronics) 기기(예컨대, 디스플레이 패널을 갖는 냉장고, 에어컨 등) 등이 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제 1 기기(100)는 다양한 종류의 콘텐트를 재생할 수 있다. 예를 들어, 제 1 기기(100)는, 동영상 콘텐트(예컨대, TV 프로그램 영상, VOD(Video On Demand), 개인 영상(UCC: User-Created Contents), 뮤직비디오, 유투브 영상 등), 정지 영상 콘텐트(예컨대, 사진, 그림 등), 텍스트 콘텐트(예컨대, 전자책(시, 소설), 편지, 업무 파일, 웹 페이지 등), 음악 콘텐트(예컨대, 음악, 연주곡, 라디오 방송 등), 애플리케이션(위젯, 게임, 화상 통화 등) 등을 재생할 수 있다.
또한, 본 발명의 일 실시예에 따른 제 1 기기(100)는 네트워크를 통해 제 2 기기(200), 서버(300) 등과 통신이 가능하다. 본 발명의 일 실시예에 따른 네트워크는 Wi-Fi(Wireless Fidelity), 홈RF, 블루투스, HR WPAN, UWB, LR WPAN, IEEE 1394 등과 같은 무선 통신 기술로 구현될 수 있다.
본 발명의 일 실시예에 따른 제 1 기기(100)는, 재생 중인 콘텐트와 관련된 정보 및 사용자로부터 입력된 정보를 제 2 기기(200)에 전송함으로써, 제 2 기기(200)와 정보를 공유할 수 있다. 이하에서는, 설명의 편의상, 사용자로부터 입력된 정보를 사용자의 입력 정보 또는 사용자로부터의 입력 정보로 표현하기로 한다.
한편, 본 발명의 일 실시예에 따른 제 1 기기(100)는 사용자의 입력을 수신할 수 있는 사용자 입력부(120)를 포함할 수 있다. 본 발명의 일 실시예에 따른 사용자 입력부(120)는 제 1 기기(100)에 장착되어 있을 수도 있고, 외부에 원격 제어 장치(remote control) 형태로 존재할 수도 있다. 본 발명의 일 실시예에 따르면 원격 제어 장치(remote control)는 다양한 형태로 구현될 수 있다. 예를 들어, 원격 제어 장치((remote control)에는 디스플레이 장치 전용 리모콘, 스마트 폰, 핸드폰, 태블릿 PC 등이 있을 수 있다.
제 2 기기(200)는, 외부로부터 콘텐트를 획득하고, 획득된 콘텐트를 표시, 재생, 또는 저장할 수 있는 디바이스를 의미한다. 제 2 기기(200)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 제 2 기기(200)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 스마트 TV, CE(Consumer Electronics) 기기(예컨대, 디스플레이 패널을 갖는 냉장고, 에어컨 등) 등이 있을 수 있다.
제 2 기기(200)는 인증을 통해 제 1 기기(100)와 통신을 할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 제 2 기기(200)는 제 1 기기(100)와 영상 통화 세션, 음성 통화 세션, 메시지 송수신 세션 등을 형성할 수 있다.
한편, 본 발명의 구현 예에 따라서, 제 2 기기(200)는, 제 1 기기(100)의 콘텐트 재생/정지, 볼륨 조절, 채널 변경 등을 원격에서 제어할 수도 있다.
본 발명의 일 실시예에 따른 서버(300)는 제 1 기기(100)와 제 2 기기(200) 간의 정보 공유를 중계하기 위한 서버일 수 있다. 따라서, 본 발명의 일 실시예에 따른 서버(300)는, 제 1 기기(100) 및 제 2 기기(200)와 네트워크를 통해 통신이 가능하다.
예를 들어, 서버(300)는, 제 1 기기(100)로부터 제 1 사용자의 입력 정보 및 적어도 하나 이상의 프레임에 대응하는 관련 정보를 수신하여, 제 2 기기(200)로 전송할 수 있다. 또한, 서버(300)는, 제 2 기기(200)로부터 제 1 사용자의 입력 정보에 대응되는 제 2 사용자의 입력 정보를 수신하여, 제 1 기기(100)로 전송해 줄 수도 있다. 제 1 사용자는 제 1 기기(100)와 근접한 거리에서 제 1 기기(100)를 직접 제어하는 사용자를 의미하고, 제 2 사용자는 제 2 기기(200)와 근접한 거리에서 제 2 기기(200)를 직접 제어하는 사용자를 의미한다. 또한, 제 1 사용자의 입력 정보는 제 1 기기(100)에서 재생 중인 콘텐트에 관한 제 1 사용자의 질문을 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 서버(300)는, 제 1 기기(100)와 제 2 기기(200)가 인터랙션 세션을 설정할 수 있도록 제 1 기기(100) 또는 제 2 기기(200)를 인증할 수도 있다.
이하에서는, 설명의 편의상 제 1 기기(100)의 일례로 디스플레이 장치를 들어 설명하기로 한다. 또한, 제 2 기기(200)의 일례로 모바일 기기를 들어 설명하기로 한다. 한편, 설명예에 따라서 제 1 기기(100)는 외부의 디스플레이 장치로 표현될 수 있고, 제 2 기기(200)는 외부 기기로 표현될 수 있다.
도 2를 참조하여 디스플레이 장치(100)가 외부 기기(200)와 정보를 공유하는 방법에 대해서 자세히 살펴보기로 한다.
도 2는 본 발명의 일 실시예와 관련된 디스플레이 장치의 질문 메시지 전송 방법을 설명하기 위한 순서도이다.
도 2에 도시된 바와 같이, 디스플레이 장치(100)는 콘텐트를 재생하여 화면에 표시할 수 있다[S210]. 본 발명의 일 실시예에 따른 콘텐트는 정지 영상뿐 아니라 동영상을 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 콘텐트에는, 방송 콘텐트, 교육 콘텐트, 음악 콘텐트, 영화 콘텐트, 사진 콘텐트, 전자책(electronic book) 콘텐트 등이 있을 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 콘텐트를 재생하여 화면 전체 영역에 표시할 수도 있고, 화면의 일부 영역에 표시할 수도 있다.
디스플레이 장치(100)는 콘텐트를 재생하여 화면에 표시하는 동안에 제 1 사용자로부터의 입력을 수신할 수 있다[S220]. 제 1 사용자의 입력 정보란, 재생되고 있는 콘텐트와 관련하여 디스플레이 장치(100)의 사용자로부터가 입력한 정보로서, 외부 기기(200)와 인터랙션(interaction)하기 위한 입력 정보를 의미한다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는, 제 1 사용자의 입력 정보를 분석하여, 제 1 사용자의 입력 정보가 재생되고 있는 콘텐트와 관련된 정보인지 여부를 판단할 수 있다. 즉, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 온톨로지를 이용하여, 제 1 사용자의 입력 정보와 콘텐트의 관련성을 비교할 수 있는 것이다.
온톨로지(ontology)는 공유된 개념화(shared conceptualization)에 대한 정형화되고 명시적인 명세(formal and explicit specification)를 의미한다. 온톨로지는 단어와 관계들로 구성된 일종의 사전으로서 볼 수 있으며, 그 속에는 특정 도메인에 관련된 단어들이 계층적으로 표현되어 있고, 추가적으로 이를 확장할 수 있는 추론 규칙이 포함되어 있다.
구체적으로 살펴보면, 디스플레이 장치(100)는 온톨로지를 이용하여 재생되고 있는 콘텐트의 메타 데이터로부터 콘텐트와 관련된 의미 단위를 획득할 수 있다. 콘텐트의 메타 데이터에는 콘텐트의 명칭, 콘텐트의 종류, 콘텐트의 줄거리, 콘텐트에 포함된 대표 오브젝트 정보 등이 있을 수 있다. 한편, 의미 단위란 의미를 가지는 가장 작은 말의 단위를 의미하는 것으로 국어의 형태소, 영어의 단어를 의미할 수 있다.
디스플레이 장치(100)는, 제 1 사용자의 입력이 발생하는 경우, 제 1 사용자의 입력 정보를 파싱하여 적어도 하나 이상의 의미 단위를 추출할 수 있다. 그리고 디스플레이 장치(100)는, 온톨로지를 통해 획득된 콘텐트와 관련된 의미 단위와, 제 1 사용자의 입력 정보로부터 추출된 의미 단위를 비교하여 제 1 사용자의 입력 정보와 콘텐트의 관련성을 판단할 수 있다.
예를 들어, 콘텐트 명칭이 “어린이를 위한 동물 세계 탐험”인 경우, 디스플레이 장치(100)는 온톨로지를 이용하여, 어린이, 유아, child, children, 동물, 짐승, 사자, 코끼리, 호랑이, 기린, 표범, 세계, 세상, 탐험, 여행 등의 콘텐트와 관련된 의미 단위를 획득할 수 있다. 이때, 제 1 사용자로부터 “엄마, 저 동물은 뭐에요?”라는 입력 정보가 수신되면, 디스플레이 장치(100)는 제 1 사용자로부터의 입력 정보를 분석하여, “동물”이란 의미 단위를 추출할 수 있다. 그리고 추출된 의미 단어 “동물”이 온톨로지를 통해 획득된 콘텐트와 관련된 의미 단위에 존재하므로, 디스플레이 장치(100)는 제 1 사용자의 입력 정보가 콘텐트와 관련된 정보라고 판단하게 되는 것이다.
한편, 본 발명의 다른 실시예에 의하면, 디스플레이 장치(100)는 제 1 사용자의 입력 정보를 파싱하여, 제 1 사용자의 입력 정보가 기 설정된 문장 구조에 대응하는지 판단할 수 있다. 예를 들어, 디스플레이 장치(100)는 제 1 사용자의 입력 정보에 포함된 동사의 종류, 조동사 존부, 의문사 존부 등을 통해 제 1 사용자의 입력 정보가 질문 형태의 문장 구조인지를 판단할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는, 재생 중인 콘텐트와 관련된 제 1 사용자의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 인식할 수 있다. 따라서, 제 1 사용자는 터치 입력, 음성 입력, 키 입력, 모션 입력, 벤딩 입력 등 다양한 방식으로 재생 중인 콘텐트에 관한 메시지를 디스플레이 장치(100)에 입력하게 된다.
예를 들어, 디스플레이 장치(100)가 터치 패드를 포함하는 경우, 제 1 사용자는 디스플레이 장치(100)의 스크린을 터치함으로써, 재생 중인 콘텐트와 관련된 메시지를 입력할 수 있으며, 디스플레이 장치(100)가 터치 패드를 포함하지 않는 경우, 제 1 사용자는 터치 입력이 가능한 원격 제어 장치(120)를 통해서 터치 입력을 할 수 있다.
또한, 제 1 사용자는 원격 제어 장치(120)를 3차원 공간 상에서 이동하거나 회전하는 등의 모션 입력을 통해서 재생 중인 콘텐트에 관한 메시지를 디스플레이 장치(100)에 입력할 수도 있다. 한편, 디스플레이 장치(100)가 플렉서블 디스플레이를 포함하거나, 원격 제어 장치(120)가 플렉서블 디스플레이를 포함하는 경우, 제 1 사용자는 디스플레이 장치(100) 또는 원격 제어 장치(120)에 기 설정된 벤딩 동작을 수행함으로써, 재생 중인 콘텐트에 관한 메시지를 디스플레이 장치(100)에 입력할 수도 있다.
본 발명의 일 실시예에 따른 제 1 사용자의 입력 정보는, 제 1 사용자의 입력에 의해 발생하는 문자 메시지, 음성 메시지, 및 이미지 중 적어도 하나를 포함할 수 있다. 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 제 1 사용자의 입력이 감지되면, 제 1 사용자의 입력을 분석하여, 재생 중인 콘텐트와 관련된 제 1 사용자의 입력 메시지, 제 1 사용자의 입력 발생 시점, 제 1 사용자의 입력 유지 시간, 제 1 사용자의 입력 종료 시점, 제 1 사용자의 입력 발생 위치 등의 정보를 획득할 수 있다.
예를 들어, 제 1 사용자가 키 또는 버튼을 통해 텍스트를 입력하는 경우, 디스플레이 장치(100)는 텍스트 입력의 시작 시점과 종료 시점을 인식할 수 있다. 또한, 제 1 사용자가 텍스트 또는 그림을 터치로 입력하는 경우, 디스플레이 장치(100)는 터치 시작 시점 또는 터치 종료 시점을 인식하거나, 화면 상에 터치 위치(지점)를 인식할 수 있다. 본 발명의 일 실시예에 따른 제 1 사용자의 입력 발생 위치는 절대적인 위치일 수도 있고, 상대적인 위치일 수도 있다.
한편, 제 1 사용자가 재생 중인 콘텐트와 관련된 메시지를 음성으로 입력하는 경우, 디스플레이 장치(100)는 음성 발화의 시작 시점과 종료 시점을 인식할 수 있다. 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 재생 중인 콘텐트에 대한 정지/일시 정지/구간 반복/ 빠르게 재생/ 느리게 재생 등의 입력을 인식할 수도 있다.
디스플레이 장치(100)는 제 1 사용자로부터의 입력에 기초하여, 제 1 사용자의 입력 정보를 획득할 수 있다. 제 1 사용자의 입력 정보란, 제 1 사용자가 외부 기기(200)와 인터랙션(interaction)하기 위해 입력한 정보를 의미한다. 본 발명의 일 실시예에 따른 사용자의 입력 정보에는 재생 중인 콘텐트에 관한 질문 이 포함될 수 있다.
즉, 디스플레이 장치(100)는 제 1 사용자로부터의 입력에 기초하여, 콘텐트에 관한 질문 메시지를 생성할 수 있는 것이다[S230].
그리고 본 발명의 일 실시예에 따른 디스플레이 장치(100)는, 제 1 사용자로부터의 입력 수신 시점에 기초하여, 재생 중인 콘텐트로부터, 제 1 사용자의 입력과 관련된 정보를 추출할 수 있다[S240]. 콘텐트로부터 추출된 정보는 프레임 자체일 수도 있고, 프레임의 부가 정보일 수도 있다. 프레임의 부가 정보는, 프레임의 재생 위치 정보, 프레임의 시퀀스 정보, 프레임에 포함된 오브젝트 정보 등이 포함될 수 있다.
즉, 디스플레이 장치(100)는, 제 1 사용자의 입력 정보 획득 시점에 기초하여, 재생 중인 콘텐트의 적어도 하나 이상의 프레임 또는 적어도 하나 이상의 프레임의 부가 정보를 추출할 수 있는 것이다.
디스플레이 장치(100)는, 제 1 사용자의 입력 발생 시점, 제 1 사용자의 입력 유지 시간, 및 제 1 사용자의 입력 종료 시점 중 적어도 하나에 기초하여, 재생 중인 콘텐트에 포함된 적어도 하나 이상의 프레임을 선택할 수 있다.
예를 들어, 디스플레이 장치(100)는 제 1 사용자의 입력 발생 시점에 대응되는 프레임을 선택하거나, 제 1 사용자의 입력 종료 시점에 대응되는 프레임을 선택할 수 있다. 즉, 디스플레이 장치(100)는 제 1 사용자의 입력이 발생하는 때에 화면에 표시되고 있는 프레임을 선택할 수도 있고, 제 1 사용자의 입력이 종료한 때에 화면에 표시되고 있는 프레임을 선택할 수도 있는 것이다.
또한, 디스플레이 장치(100)는 제 1 사용자의 입력 발생 시점에 대응되는 프레임과 제 1 사용자의 입력 종료 시점에 대응되는 프레임을 모두 선택할 수도 있다. 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 제 1 사용자의 입력이 발생한 시점부터 제 1 사용자의 입력이 종료한 시점 사이의 프레임을 모두 선택할 수도 있고, 소정 주기로 프레임을 선택할 수도 있다.
본 발명의 일 실시예에 따른 디스플레이 장치(100)는 제 1 사용자가 콘텐트를 일시 정지한 경우, 일시 정지하는 시점에 대응되는 프레임을 선택할 수도 있다. 예를 들어, 디스플레이 장치(100)는, 제 1 사용자의 입력이 발생하는 경우, 콘텐트의 재생을 자동으로 정지하고, 정지 시에 화면에 표시되는 프레임을 선택할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는, 제 1 사용자의 입력이 유지되는 동안, 콘텐트의 재생 화면이 변화되는 시점에 대응되는 프레임을 선택할 수도 있다. 즉, 디스플레이 장치(100)는, 제 1 사용자의 입력이 유지되는 동안 장면의 변화가 있는 프레임을 선택할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는, 콘텐트로부터 추출된 정보와 질문 메시지를 외부 기기(200)로 전송할 수 있다[S250].
본 발명의 일 실시예에 따른 콘텐트로부터 추출된 정보는, 사용자로부터의 입력이 수신되는 시점에 디스플레이 장치(200)에서 재생 중인 콘텐트의 화면 프레임에 대응하는 관련 정보일 수 있다. 예를 들어 프레임, 프레임의 재생 위치 정보, 프레임의 시퀀스 정보, 프레임에 포함된 오브젝트 정보 등이 포함될 수 있다.
즉, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 선택된 프레임 자체를 외부 기기(200)로 전송할 수도 있고, 선택된 프레임 대신 선택된 프레임의 재생 위치 정보 또는 시퀀스 정보만을 외부 기기(200)로 전송할 수도 있다.
특히, 외부 기기(200)가 디스플레이 장치(100)에서 재생되는 콘텐트와 동일한 콘텐트를 재생하고 있는 경우, 디스플레이 장치(100)가 선택된 프레임의 재생 위치 정보(예컨대, Timestamp), 선택된 프레임의 시퀀스 정보만을 외부 기기(200)로 전송하더라도, 외부 기기(200)는 해당 프레임을 추출할 수 있다. 따라서, 디스플레이 장치(100)는 전송되는 데이터 량을 줄이기 위해 프레임 대신 프레임의 재생 위치 정보 또는 시퀀스 정보를 외부 기기(200)로 전송할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는, 선택된 프레임의 압축률, 선택된 프레임의 해상도, 및 전송할 프레임의 수 중 적어도 하나를 조정할 수 있다. 예를 들어, 외부 기기(200)의 해상도가 디스플레이 장치(100)의 해상도보다 낮은 경우, 디스플레이 장치(100)는 선택된 프레임의 해상도를 낮춰서 전송할 수 있는 것이다. 또한, 디스플레이 장치(100)는, 전송 데이터 량을 줄이기 위해, 선택된 프레임의 압축률을 높이거나, 전송할 프레임의 수를 줄일 수도 있다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는, 선택된 프레임이 1 개인 경우 단일 이미지 파일을 외부 기기(200)에 전송할 수 있고, 선택된 프레임이 2개 이상인 경우, 복수의 이미지 파일을 전송할 수 있다. 또한, 디스플레이 장치(100)는 선택된 프레임이 2개 이상인 경우, 선택된 2개 이상의 프레임을 움직이는 gif 파일(animation gif)로 변환하여 전송할 수도 있고, 플래쉬(flash)로 변환하여 전송할 수도 있고, 동영상 포맷으로 전송할 수도 있다. 한편, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 선택된 프레임에 포함된 일부 오브젝트(예컨대, 대표 오브젝트, 주요 오브젝트)를 추출하여 외부 기기(200)로 전송할 수도 있다.
이때, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 선택된 프레임에 대응하는 관련 정보와 함께 제 1 사용자의 입력 정보(예컨대, 질문 메시지)를 외부 기기(200)로 전송할 수 있다. 즉, 디스플레이 장치(100)는 제 1 사용자의 입력 메시지, 제 1 사용자의 입력 발생 위치 정보 등을 기기(200)로 전송함으로써, 외부 기기(200)와 정보를 공유(인터랙션)할 수 있는 것이다.
본 발명의 일 실시예에 따른 디스플레이 장치(100)는 음성 통화 신호, 영상 통화 신호, 및 메시지 전송 신호 중 적어도 하나를 통해 제 1 사용자의 입력 정보(예컨대, 질문 메시지)를 전송할 수 있다. 예를 들어, 디스플레이 장치(100)와 외부 기기(200) 간에 음성 통화 세션이 설정된 경우, 디스플레이 장치(100)는 음성 통화 세션을 통해서 제 1 사용자의 입력 정보(예컨대, 질문 메시지)를 전송할 수 있는 것이다.
한편, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 제 1 사용자로부터 입력된 정보가 재생 중인 콘텐트와 관련이 있는 경우에만, 프레임에 대응하는 정보 및 제 1 사용자의 입력 정보(예컨대, 질문 메시지)를 외부 기기(200)로 전송할 수 있다. 즉, 상기 살펴본 바와 같이, 디스플레이 장치(100)는 제 1 사용자의 입력 정보로부터 추출된 의미 단위가 온톨로지를 통해 획득된 콘텐트와 관련된 의미 단위에 포함되어 있는 경우에만, 제 1 사용자의 입력 정보 및 프레임에 대응하는 정보를 외부 기기(200)로 전송할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 제 1 사용자로부터 입력된 정보가 소정 길이 이하인 경우, 제 1 사용자의 입력 정보 및 프레임에 대응하는 정보를 외부 기기(200)로 전송하지 않을 수 있다. 예를 들어, ‘음..’ 이나 ‘어..’, 기침 소리 등과 같이 짧은 소리가 입력되는 경우에는, 디스플레이 장치(100)가 의미 없는 입력을 판단하여, 제 1 사용자의 입력 정보 및 프레임에 대응하는 관련 정보를 전송하지 않을 수 있는 것이다.
한편, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는, 테스트 문장을 통해서 사용자의 음색 정보를 저장해 두고, 해당 음색의 사용자 입력이 수신되는 경우에만, 프레임 또는 프레임의 부가 정보를 추출하여, 외부 기기(200)로 전송해 줄 수도 있다.
또한, 본 발명의 또 다른 실시예에 의하면, 디스플레이 장치(100)는, 제 1 사용자의 입력 정보가 기 설정된 문장 구조에 대응하는 경우에, 제 1 사용자의 입력 정보 및 프레임에 대응하는 관련 정보를 외부 기기(200)로 전송할 수 있다. 예를 들어, 제 1 사용자로부터 입력된 정보가 질문 형태의 문장인 경우에, 제 1 사용자의 입력 정보 및 프레임에 대응하는 관련 정보를 외부 기기(200)로 전송해 줄 수 있는 것이다.
따라서, 본 발명의 일 실시예에 의하면, 사용자가 의도하지 않은 경우에 제 1 사용자의 입력 정보 및 프레임에 대응하는 관련 정보가 외부 기기로 잘못 전달되는 오류를 줄일 수 있게 된다.
디스플레이 장치(100)가 외부 기기(200)와 정보를 공유하는 방법에 대해서 도 3 내지 도 5를 참조하여 더 자세히 살펴보기로 한다.
도 3은 본 발명의 일 실시예와 관련된 프레임 선택 화면을 나타내는 도면이다.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 전자책 콘텐트를 재생하여 표시할 수 있다. 제 1 사용자가 디스플레이 장치(100)에 표시된 전자책 콘텐트를 보다가 질문이 생기는 경우, 제 1 사용자는 외부 기기(200)로 전자책 콘텐트와 관련된 질문 메시지를 입력하여 전송할 수 있다. 예를 들어, 제 1 사용자는 “먹이 사슬은 어떻게 만들어요?”라는 메시지를 키보드를 통해 입력하거나 터치 패드상에 나타나는 가상의 키보드를 터치함으로써 메시지를 입력할 수 있다. 또한, 제 1 사용자는 “먹이 사슬은 어떻게 만들어요?”라고 음성으로 메시지를 입력할 수도 있다.
이 경우, 디스플레이 장치(100)는 제 1 사용자의 입력을 감지하게 된다. 그리고 디스플레이 장치(100)는 제 1 사용자의 입력 발생 시점(12시 40분 10초), 제 1 사용자의 입력 종료 시점(12시 40분 30초), 제 1 사용자의 입력 발생 위치(X,Y=0.6, 0.4), 제 1 사용자의 입력 메시지(먹이 사실은 어떻게 만들어요?), 제 1 사용자의 입력 유지 시간(20초) 등의 정보를 획득하게 된다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 전자책 콘텐트에서 제 1 사용자의 입력 발생 시점(12시 40분 10초)에 화면에 표시된 프레임(310)을 선택할 수 있다. 이 경우, 디스플레이 장치(100)는 제 1 사용자의 입력 발생 시점(12시 40분 10초)에 화면에 표시된 프레임(310)과 제 1 사용자의 입력 메시지 정보(먹이 사실은 어떻게 만들어요?)를 외부 기기(200)로 전송하여, 외부 기기(200)와 정보를 공유하게 된다.
도 4는 본 발명의 일 실시예와 관련된 프레임에 대응하는 관련 정보를 공유하는 화면을 나타내는 도면이다.
도 4에 도시된 바와 같이, 디스플레이 장치(100)는 전자책 콘텐트에서 제 1 사용자의 입력 발생 시점(12시 40분 10초)에 화면에 표시된 프레임(310)을 선택할 수 있다. 그리고 디스플레이 장치(100)는 선택된 프레임(310) 중에서 대표 오브젝트(410)인 오른쪽 그림을 추출하여 모바일 기기(200)로 전송할 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 제 1 사용자의 입력 메시지를 파싱하여, 선택된 프레임에 포함된 특정 오브젝트를 추출할 수 있다. 예를 들어, “문제 3번이 잘 이해가 안 가요”라고 제 1 사용자가 메시지를 디스플레이 장치(100)에 입력하면, 디스플레이 장치(100)는 제 1 사용자의 메시지를 파싱하여, ‘문제 3번’에 해당하는 오브젝트만을 추출할 수 있는 것이다.
한편, 본 발명의 일 실시예에 의하면, 제 1 사용자가 재생 중인 콘텐트와 관련된 메시지를 음성으로 입력한 경우, 디스플레이 장치(100)는 제 1 사용자의 음성 입력을 텍스트 형태로 변경하여 외부 기기(200)에 전송할 수도 있고, 제 1 사용자의 음성 입력을 음성 메시지 형태로 외부 기기(200)에 전송할 수도 있다.
도 5는 본 발명의 일 실시예와 관련된 영상 통화 중에 정보를 공유하는 화면을 나타내는 도면이다.
도 5(a)에 도시된 바와 같이, 제 1 사용자가 외부 기기(200)의 제 2 사용자와 영상 통화 중인 경우, 디스플레이 장치(100)는 제 1 사용자의 입력 정보를 영상 통화 신호를 통해서 외부 기기(200)로 전송할 수 있다. 이때, 디스플레이 장치(100)는 제 1 사용자의 음성 발화 시점에 대응되는 프레임을 선택하고, 영상 통화 신호와 별도의 신호로 선택된 프레임을 외부 기기(200)에 전송할 수 있다. 즉, 디스플레이 장치(100)는 영상 통화 중인 사용자의 음성을 인식하고, 음성이 인식되는 시점에 재생되는 콘텐트의 프레임을 외부 기기(200)로 전송할 수 있는 것이다.
도 5(b)에 도시된 바와 같이, 제 1 사용자의 입력 정보는 영상 통화 신호를 통해서 전송되므로, 외부 기기(200)에는 선택된 프레임에 대응하는 관련 정보(510, 520)만이 표시될 수 있다.
이하에서는 도 6을 참조하여 디스플레이 장치(100)가 외부 기기(200)와 정보를 공유하는 방법에 대해서 더 상세히 살펴보기로 한다.
도 6은 본 발명의 일 실시예와 관련된 디스플레이 장치의 정보 공유 방법을 설명하기 위한 순서도이다.
단계 605에서, 디스플레이 장치(100)는 외부 기기(200)와 인터랙션 세션을 설정할 수 있다. 인터랙션 세션이란 디스플레이 장치(100)와 외부 기기(200)가 정보를 공유하기 위한 세션을 의미한다. 예를 들어, 영상 통화 세션, 음성 통화 세션 채팅 세션, 공유 칠판 세션, 공유 메모장 세션 등이 있을 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 외부 기기(200)로부터 연결 요청을 수신할 수 있다. 이때, 디스플레이 장치(100)는 연결 요청에 응답하여, 외부 기기(200)의 연결을 인증할 수 있다. 본 발명의 일 실시예에 따른 디스플레이 장치(100)가 외부 기기(200)를 인증하는 방법은 다양할 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 외부 기기(200)의 식별 정보, 제 2 사용자의 식별 정보, 및 일회용 인증 정보 중 적어도 하나를 기초로 외부 기기(200)의 연결을 인증할 수 있다. 이와 관련하여 도 7 및 도 8을 참조하기로 한다.
도 7은 본 발명의 일 실시예와 관련된 인증 화면을 나타내는 도면이다.
도 7에 도시된 바와 같이, 외부 기기(200)가 디스플레이 장치(100)에 연결 요청을 하는 경우, 디스플레이 장치(100)는 제 2 사용자의 식별 정보(예컨대, 제 2 사용자의 영상, 아이디, 성명, 연락처 등)를 외부 기기(200)로부터 수신하여 화면에 표시할 수 있다.
본 발명의 일 실시예에 따른 외부 기기(200)는, 제 2 사용자의 얼굴을 카메라로 촬영하고, 촬영된 제 2 사용자의 얼굴 이미지를 디스플레이 장치(100)로 전송하면서 연결 요청을 할 수 있다. 이때 전송되는 제 2 사용자의 얼굴 이미지는 정지 영상일 수도 있고, 실시간 전송되는 동영상일 수도 있다.
한편, 본 발명의 일 실시예에 따른 연결 요청은 영상 통화 연결 요청, 음성 통화 연결 요청, 채팅 요청 등을 포함할 수 있다.
본 발명의 일 실시예에 의하면, 제 1 사용자는 디스플레이 장치(100)의 화면에 표시되는 제 2 사용자의 연결 요청을 확인한 후, 제 2 사용자의 연결 요청을 수락하거나 거절할 수 있다. 제 1 사용자가 제 2 사용자의 연결 요청을 수락하는 경우, 디스플레이 장치(100)는 외부 기기(200)로 연결 요청에 대한 수락 메시지를 전송하고, 디스플레이 장치(100)와 외부 기기(200)는 인터랙션 세션을 설정할 수 있다.
도 8은 본 발명의 또 다른 실시예와 관련된 인증 화면을 나타내는 도면이다.
도 8에 도시된 바와 같이, 디스플레이 장치(100)는 제 2 사용자가 입력한 아이디 및 비밀 번호에 기초하여, 외부 기기(200)의 연결 요청을 인증할 수 있다. 즉, 디스플레이 장치(100)에 제 2 사용자의 아이디 및 비밀 번호에 관한 정보가 기 저장되어 있는 경우, 디스플레이 장치(100)는 외부 기기(200)로부터 수신된 제 2 사용자의 아이디 및 비밀 번호와 메모리에 기 저장된 제 2 사용자의 아이디 및 비밀 번호를 비교함으로써, 외부 기기(200)의 연결을 인증할 수 있는 것이다.
한편, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)에서 생성된 일회용 인증 정보에 기초하여, 외부 기기(200)의 연결을 인증할 수도 있다. 즉, 디스플레이 장치(100)가 일회용 인증 정보를 생성하여 외부 기기(200)로 전송하면, 제 2 사용자는 일회용 인증 정보를 확인한 후, 외부 기기(200)에 일회용 인증 정보를 입력하게 된다. 이때, 외부 기기(200)는 제 2 사용자에 의해 입력된 일회용 인증 정보를 디스플레이 장치(100)로 전송하게 되고, 디스플레이 장치(100)는 기 생성된 일회용 인증 정보와 외부 기기(200)로부터 수신된 일회용 인증 정보를 비교함으로써, 외부 기기(200)의 연결을 인증할 수 있는 것이다. 일회용 인증 정보의 일례로 OTP(One Time Password)가 있을 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 외부 기기(200)의 식별 정보를 기초로, 외부 기기(200)의 연결을 인증할 수도 있다. 외부 기기(200)의 식별 정보에는, 디바이스 아이디, 기기 명, 맥 어드레스, 시리얼 넘버 등이 포함될 수 있다. 즉, 디스플레이 장치(100)에 외부 기기(200)의 식별 정보가 저장되어 있는 경우, 디스플레이 장치(100)는 외부 기기(200)로부터 수신된 외부 기기(200)의 식별 정보와 메모리에 기 저장된 외부 기기(200)의 식별 정보를 비교함으로써, 외부 기기(200)의 연결을 인증할 수 있는 것이다.
한편, 디스플레이 장치(100)가 외부 기기(200)로 먼저 연결을 요청할 수도 있다. 이 경우, 디스플레이 장치(100)는 연결 수락 메시지를 외부 기기(200)로부터 수신할 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 외부 기기(200)로부터 정보 공유를 위한 소정 애플리케이션의 출력을 수신할 수도 있다. 이 경우, 디스플레이 장치(100)는 소정 애플리케이션의 출력을 가상의 방송 채널과 맵핑할 수 있다. 이는 제 1 사용자가 디스플레이 장치(100)의 채널을 가상의 방송 채널로 설정함으로써, 외부 기기(200)의 제 2 사용자와 인터랙션할 수 있도록 하기 위함이다.
도 6으로 다시 돌아가면, 단계 610에서, 디스플레이 장치(100)는 제 1 사용자의 입력 정보를 획득할 수 있다. 그리고 단계 615에서, 디스플레이 장치(100)는 제 1 사용자의 입력 정보에 기초하여, 재생 중인 콘텐트에 포함된 적어도 하나 이상의 프레임을 선택할 수 있다. 도 6의 단계 610 및 단계 615는 도 2의 단계 220 및 단계 230에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 620에서, 디스플레이 장치(100)는 프레임 전송 시작 메시지를 외부 기기(200)로 전송할 수 있다. 이때, 단계 625에서, 디스플레이 장치(100)는 외부 기기(200)로부터 외부 기기 정보(기기 상태, 기기의 capability)를 수신할 수 있다. 외부 기기 정보에는 외부 기기(200)의 네트워크 정보(예컨대, 대역폭, 지원 가능한 통신 방식), 외부 기기(200)의 해상도 등이 포함될 수 있다.
단계 630에서, 디스플레이 장치(100)는 외부 기기(200)의 네트워크 정보에 기초하여, 전송 방식을 결정할 수 있다. 전송 방식에는 유선 통신 방식, 무선 통신 방식(무선랜, 근거리 통신), 이동 통신 방식(2G/3G/4G/Wibro) 등이 있을 수 있다.
단계 635에서, 디스플레이 장치(100)는 선택된 프레임의 압축률 및 전송할 프레임의 수를 조정할 수 있다. 또한, 디스플레이 장치(100)는 외부 기기(200)의 해상도를 고려하여 선택된 프레임의 해상도를 조정할 수도 있다. 즉, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 선택된 프레임의 압축률을 높이거나, 전송할 프레임의 수를 줄이거나, 선택된 프레임의 해상도를 낮춤으로써, 데이터 전송 량을 줄일 수 있는 것이다.
단계 640에서, 디스플레이 장치(100)는, 선택된 프레임에 대응하는 관련 정보, 제 1 사용자의 입력 정보를 외부 기기(200)로 전송할 수 있다. 이 경우, 단계 645에서, 외부 기기(200)는 제 1 사용자의 입력 정보를 수신하여, 화면에 표시할 수 있다. 또한, 외부 기기(200)는 수신된 프레임에 대응하는 관련 정보에 기초하여, 해당 프레임을 화면에 표시할 수 있다. 즉, 본 발명의 일 실시예에 의하면, 외부 기기(200)는 디스플레이 장치(100)에서 재생되고 있는 콘텐트를 재생하여 화면에 표시할 수 있는 것이다.
단계 650에서, 디스플레이 장치(100)는 외부 기기(200)로부터 수신 완료 알림 메시지를 수신할 수 있다.
단계 655에서, 외부 기기(200)는 제 1 사용자의 입력 정보에 대응하는 제 2 사용자의 입력 정보를 획득할 수 있다. 제 2 사용자의 입력 정보는, 제 1 사용자의 입력 메시지에 대해 제 2 사용자의 응답 메시지를 포함하는 것으로서, 제 2 사용자가 디스플레이 장치(100)의 제 1 사용자와 인터랙션(interaction)하기 위해 입력한 정보를 의미한다. 이에 관하여는 도 13을 참조하여 후에 더 자세히 살펴보기로 한다.
단계 660에서, 디스플레이 장치(100)는, 제 2 사용자의 입력 정보를 수신할 수 있다. 이때, 디스플레이 장치(100)는 제 2 사용자의 입력 정보를 유무선 통신 네트워크 또는 이동 통신 네트워크를 통해서 수신할 수 있다.
단계 665에서 디스플레이 장치(100)는 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 화면에 표시할 수 있다. 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 외부 기기(200)와 정보를 공유하기 위한 공유 창에 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 표시할 수 있다.
본 발명의 일 실시예에 따른 공유 창은 공유 메모장, 공유 칠판(White board), 메시지 창 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 따른 공유 창은 디스플레이 장치(100)의 화면상에서 다양하게 표시될 수 있다. 도 9 내지 도 12를 참조하여, 자세히 살펴보기로 한다. 한편, 본 발명의 구현 예에 따라서, 단계 605 내지 단계 665의 순서가 변경될 수 있으며, 일부 단계가 생략될 수 있다.
도 9는 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 콘텐트 재생 화면에 오버레이하여 표시하는 화면을 나타내는 도면이다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 교육 콘텐트를 재생하여 화면에 표시할 수 있다. 이때, 교육 콘텐트를 시청하던 제 1 사용자가 “넓이를 못 구하겠어요”라는 메시지를 12시 40분에 입력하는 경우, 디스플레이 장치(100)는 교육 콘텐트 재생 화면에 제 1 사용자의 입력 정보를 오버레이하여 표시할 수 있다.
또한, 외부 기기(200)로부터 제 2 사용자의 “넓이를 구하는 공식이 뭐지?”라는 입력 메시지를 수신하는 경우, 디스플레이 장치(100)는 교육 콘텐트 재생 화면에 제 2 사용자의 입력 정보도 오버레이하여 표시할 수 있다. 즉, 디스플레이 장치(100)는 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 발생 시점에 따라 순차적으로 교육 콘텐트 재생 화면에 오버레이하여 표시할 수 있는 것이다.
도 10은 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 공유 창에 표시하는 도면이다.
도 10에 도시된 바와 같이, 디스플레이 장치(100)는 교육 콘텐트를 재생하여 화면의 제 1 영역에 표시하고, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 화면의 제 2 영역에 표시할 수 있다. 즉, 디스플레이 장치(100)는 콘텐트가 표시되는 영역과 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보가 표시되는 영역을 분리할 수 있는 것이다.
도 11은 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 디스플레이 장치와 연결된 또 다른 디바이스(2nd Screen)에 표시하는 화면을 나타내는 도면이다.
도 11에 도시된 바와 같이, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 디스플레이 장치(100)의 화면에는 콘텐트만을 재생하여 표시하고, 디스플레이 장치(100)와 연결된 또 다른 디바이스(100-2)에 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 표시할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치(100)와 연결된 또 다른 디바이스(100-2)는, 디스플레이 장치(100)를 제어하는 원격 제어 장치(120)일 수 있다. 예를 들어, 제 1 사용자가 태블릿 PC를 원격 제어 장치(120)로 사용하여 디스플레이 장치(100)를 제어하는 경우를 가정하자. 이때, 디스플레이 장치(100)가 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 획득하는 경우, 디스플레이 장치(100)는 태블릿 PC에 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 표시할 수도 있다. 즉, 제 1 사용자는 태블릿 PC를 이용하여 디스플레이 장치(100)를 제어할 수도 있고, 태블릿 PC를 이용하여 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 확인할 수도 있는 것이다.
도 12는 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 팝업창에 표시하는 화면을 나타내는 도면이다.
도 12에 도시된 바와 같이, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100)는 제 2 사용자의 입력 정보가 수신되는 경우, 제 2 사용자의 입력 정보를 포함하는 팝업 창(1210)을 콘텐트 재생 화면에 표시할 수 있다.
이하에서는 모바일 기기(200)가 디스플레이 장치(100)와 정보를 공유하는 방법에 대해서 도 13을 참조하여 자세히 살펴보기로 한다.
도 13은 본 발명의 일 실시예와 관련된 모바일 기기의 정보 공유 방법을 설명하기 위한 순서도이다.
모바일 기기(200)는 외부의 디스플레이 장치(100)에서 콘텐트 재생 중에 획득된 제 1 사용자의 입력 정보, 및 재생 중인 콘텐트에 포함된 적어도 하나 이상의 프레임에 대응하는 관련정보를 외부의 디스플레이 장치(100)로부터 수신할 수 있다[S1310].
본 발명의 일 실시예에 따른 제 1 사용자의 입력 정보는, 제 1 사용자의 입력에 의해 발생하는 문자 메시지, 음성 메시지, 및 이미지 중 적어도 하나를 포함할 수 있다. 또한, 제 1 사용자 입력 정보는 제 1 사용자의 입력 발생 시점, 제 1 사용자의 입력 유지 시간, 제 1 사용자의 입력 종료 시점, 제 1 사용자의 입력 발생 위치 등을 포함할 수도 있다. 제 1 사용자의 입력 발생 위치는 디스플레이 장치(100)의 화면 상에서 제 1 사용자의 입력 발생한 위치를 의미하는 것으로서, 상대적인 좌표 값으로 표현될 수 있다. 예를 들어, 디스플레이 장치(100) 화면의 가로 길이 및 세로 길이를 각각 100%로 보는 경우, 왼쪽에서부터 가로 길이의 60%인 지점 및 위에서부터 세로 길이의 40%인 지점에서 제 1 사용자의 입력이 발생되었다면, 제 1 사용자의 입력 발생 위치는 (0.6, 0.4)으로 표현 될 수 있는 것이다.
본 발명의 일 실시예에 따른 적어도 하나 이상의 프레임은 디스플레이 장치(100)에서 제 1 사용자의 입력 정보 획득 시점에 기초하여 선택된 프레임일 수 있다. 예를 들어, 제 1 사용자의 입력 발생 시점에 대응되는 프레임, 제 1 사용자의 입력 종료 시점에 대응되는 프레임, 제 1 사용자의 입력 유지 시간에 소정 주기로 선택된 프레임, 제 1 사용자의 입력이 유지되는 동안 장면의 변화가 있는 프레임 등일 수 있다.
본 발명의 일 실시예에 따른 프레임에 대응하는 관련 정보는 제 1 사용자의 입력 정보 획득 시점에 기초하여 선택된 프레임, 상기 선택된 프레임의 재생 위치 정보, 상기 선택된 프레임의 시퀀스 정보, 상기 선택된 프레임에 포함된 오브젝트 정보 등이 포함될 수 있다.
즉, 모바일 기기(200)가 디스플레이 장치(100)에서 재생되고 있는 콘텐트를 재생하고 있지 않은 경우, 모바일 기기(200)는 디스플레이 장치(100)로부터 프레임 또는 프레임에 포함된 오브젝트를 직접 수신할 수 있다. 그러나, 모바일 기기(200)가 디스플레이 장치(100)에서 재생되고 있는 콘텐트를 재생하고 있는 경우, 모바일 기기(200)는 디스플레이 장치(100)로부터 프레임 대신에 프레임의 재생 위치 정보 또는 시퀀스 정보를 수신할 수도 있다. 모바일 기기(200)는 수신된 프레임의 재생 위치 정보 또는 시퀀스 정보 기초로 재생 중인 콘텐트에서 해당 프레임을 선택할 수 있기 때문이다.
모바일 기기(200)는 디스플레이 장치(100)로부터 수신된 제 1 사용자의 입력 정보 및 적어도 하나 이상의 프레임을 디스플레이할 수 있다[S1320]. 즉, 모바일 기기(200)는 수신된 프레임(또는 오브젝트)을 제 1 사용자의 입력 정보와 함께 화면에 표시하거나, 수신된 프레임의 재생 위치 정보 또는 시퀀스 정보를 기초로, 해당 프레임을 추출하여 제 1 사용자의 입력 정보와 함께 화면에 표시할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 모바일 기기(200)는 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 획득할 수 있다[S1330]. 예를 들어, 모바일 기기(200)는, 화면에 표시된 제 1 사용자의 입력 정보에 대응되는 제 2 사용자의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 인식할 수 있다. 즉, 제 2 사용자는 터치 입력, 음성 입력, 키 입력, 모션 입력, 벤딩 입력 등 다양한 방식으로 제 1 사용자의 입력 메시지에 관한 응답 메시지를 모바일 기기(200)에 입력할 수 있는 것이다.
본 발명의 일 실시예에 따른 제 2 사용자의 입력 정보는, 텍스트뿐 아니라 그림, 도형, 검색 결과, 재생 중인 콘텐트에 포함된 적어도 하나 이상의 프레임 등을 포함할 수 있다. 예를 들어, 제 1 사용자가 디스플레이 장치(100)에서 재생 중인 콘텐트와 연관된 질문을 하는 경우, 제 2 사용자는 제 1 사용자의 질문에 대답하거나, 제 1 사용자의 질문과 관련된 내용을 검색 사이트에서 검색하거나, 디스플레이 장치(100)에서 재생 중인 콘텐트와 관련된 새로운 질문을 모바일 기기(200)에 입력할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 모바일 기기(200)는 제 2 사용자의 입력 정보를 외부의 디스플레이 장치(100)로 전송할 수 있다[S1340]. 본 발명의 일 실시예에 따른 모바일 기기(200)는 제 2 사용자의 입력 정보 및 제 2 사용자의 입력 정보에 기초하여 선택된 적어도 하나 이상의 프레임을 모바일 기기(200)로 전송할 수도 있다. 이때, 본 발명의 일 실시예에 따른 모바일 기기(200)는 선택된 프레임의 압축률 또는 프레임 수를 조절할 수 있다.
도 14 내지 도 17을 참조하여 모바일 기기(200)가 디스플레이 장치(100)와 정보를 공유하는 방법에 대해서 더 자세히 살펴보기로 한다.
도 14는 본 발명의 일 실시예와 관련된 모바일 기기가 디스플레이 장치에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하는 화면을 나타내는 도면이다.
도 14에 도시된 바와 같이, 디스플레이 장치(100) 및 모바일 기기(200)는 동일한 교육 콘텐트를 재생할 수 있다. 이때, 도 14(a)에 도시된 바와 같이, 제 1 사용자가 “넓이를 못 구하겠어요”라는 메시지를 디스플레이 장치(100)에 입력하게 되면, 디스플레이 장치(100)는 제 1 사용자의 입력을 인식하고, 제 1 입력 발생 시점에 대응되는 프레임을 선택할 수 있다. 그리고 디스플레이 장치(100)는 제 1 사용자의 입력 정보(“입력 메시지: 넓이를 못 구하겠어요”, “입력 발생 시간: 12시 40분” 등) 및 선택된 프레임의 재생 위치 정보 또는 시퀀스 정보를 모바일 기기(200)로 전송할 수 있다.
도 14(b)에 도시된 바와 같이, 모바일 기기(200)는 재생 위치 정보 또는 시퀀스 정보를 기초로 해당 프레임을 추출하여 제 1 영역(1430)에 표시하게 되고, 수신된 제 1 사용자의 입력 정보(“입력 메시지: 넓이를 못 구하겠어요”, “입력 발생 시간: 12시 40분” 등)를 제 2 영역(1440)에 표시할 수 있다.
이때, 디스플레이 장치(100)에서 콘텐트가 표시되는 영역(1410) 및 제 1 사용자의 입력 정보가 표시되는 영역(1420)의 비율과, 모바일 기기(200)에서 콘텐트가 표시되는 영역(1430) 및 제 1 사용자의 입력 정보가 표시되는 영역(1440)의 비율은 상이할 수 있다.
도 15는 본 발명의 일 실시예와 관련된 모바일 기기에서 사용자의 입력 정보를 표시하는 화면을 나타내는 도면이다.
본 발명의 일 실시예에 따른 모바일 기기(200)는 외부의 디스플레이 장치(100)와 정보를 공유하기 위한 공유 창에, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 표시할 수 있다. 본 발명의 일 실시예에 따른 공유 창은, 공유 메모장, 공유 칠판(white board), 및 메시지 창 중 적어도 하나를 포함할 수 있다.
예를 들어, 도 15에 도시된 바와 같이, 모바일 기기(200)는 디스플레이 장치(100)로부터 수신된 제 1 사용자의 입력 정보(“입력 메시지: 넓이를 못 구하겠어요”, “입력 발생 시간: 12시 40분” 등) 및 제 1 사용자의 입력 정보에 대응되는 제 2 사용자의 입력 정보(“입력 메시지: 넓이 구하는 공식이 뭐지?”, “입력 발생 시간: 12시 41분” 등)를 화면에 표시할 수 있다.
이때, 모바일 기기(200)는 디스플레이 장치(100)에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하고 있지 않으므로, 모바일 기기(200)는 디스플레이 장치(100)로부터 수신된 프레임(또는 오브젝트)(1510)을 제 1 사용자의 입력 정보와 함께 공유 창에 표시할 수도 있다.
도 16은 본 발명의 일 실시예와 관련된 모바일 기기에서 사용자의 입력 정보를 콘텐트 재생 화면에 오버레이하여 표시하는 화면을 나타내는 도면이다.
본 발명의 일 실시예에 따른 모바일 기기(200)는, 콘텐트가 표시되는 영역에 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 오버레이하여 표시할 수 있다. 예를 들어, 도 16에 도시된 바와 같이, 교육 콘텐트 재생 화면에 제 1 사용자의 입력 정보(예컨대, “밑변은 10 Cm 요”) 및 제 2 사용자의 입력 정보(예컨대, “밑변의 길이는 몇일까?”)를 겹쳐서 표시할 수 있는 것이다.
도 17은 본 발명의 일 실시예와 관련된 사용자의 입력 정보를 모바일 기기와 연결된 또 다른 디바이스(2nd Screen)에 표시하는 화면을 나타내는 도면이다.
본 발명의 일 실시예에 따른 모바일 기기(200)는, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 모바일 기기(200)와 연결된 또 다른 디바이스에 표시할 수 있다. 또 다른 디바이스(2nd Screen)는 모바일 기기(200)와 유선으로 연결되어 있을 수도 있고, 근거리 통신을 통해 연결될 수도 있다. 근거리 통신 기술로 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 17에 도시된 바와 같이, 모바일 기기(200)는, 모바일 기기(200)의 화면에는 콘텐트를 재생하여 표시하고, 모바일 기기(200)와 연결된 또 다른 디바이스(200-2)에는 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 표시할 수 있다.
도 18은 본 발명의 일 실시예와 관련된 모바일 기기에서 복수의 프레임 각각에 대응되는 제 2 사용자의 입력 정보를 획득하는 화면을 나타내는 도면이다.
도 18(a), (b)에 도시된 바와 같이, 모바일 기기(200)는 디스플레이 장치(100)로부터 복수의 프레임(1810, 1820)을 순차적으로 수신하여 화면에 표시할 수 있다. 이 경우, 제 2 사용자가 응답하고자 하는 프레임(1810)을 하나 선택하게 되면, 모바일 기기(200)는 선택된 프레임(1810)에 대한 응답 메시지를 입력할 수 있는 가상의 키보드를 표시해 줄 수 있다. 그리고 제 2 사용자가 가상의 키보드를 통해 메시지를 입력하게 되면, 모바일 기기(100)는 선택된 프레임(1810) 정보와 함께 제 2 사용자의 입력 정보를 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 모바일 기기(200)는 선택된 프레임(1810)에 제 2 사용자의 입력 메시지를 오버레이하여 디스플레이 장치(100)에 전송할 수 있는 것이다.
따라서, 제 1 사용자는 자신의 어떤 질문에 대한 응답으로 제 2 사용자가 메시지를 입력하였는지 쉽게 확인할 수 있게 된다.
도 19는 본 발명의 일 실시예와 관련된 공유 칠판 세션을 나타내는 도면이다.
도 19에 도시된 바와 같이, 본 발명의 일 실시예에 의하면, 디스플레이 장치(100) 및 모바일 기기(200)는 공유 칠판 세션을 통해서 정보를 공유할 수 있다. 공유 칠판 세션에 의할 경우, 제 1 사용자 및 제 2 사용자는 동시에 정보 입력이 가능하다.
예를 들어, 도 19(a)에 도시된 바와 같이, 제 1 사용자는 디스플레이 장치(100)에 “이거 맞춰봐! 뭐 같아? 토끼 or 오리?”와 같은 텍스트를 입력할 수 있다. 이때, 도 19(b)에 도시된 바와 같이, 제 2 사용자도 모바일 기기(200)에 “글쎄..토끼♡”와 같은 텍스트 및 그림을 입력할 수 있다. 즉, 전자 칠판 세션에서 제 1 사용자 및 제 2 사용자 각각은 상대방의 입력과 무관하게 자신이 입력하고 싶은 텍스트 또는 그림을 입력할 수 있는 것이다.
본 발명의 일 실시예에 의하면, 전자 칠판 세션에서 디스플레이 장치(100)는 제 1 사용자의 입력 정보(1910)를 모바일 기기(200)로 전송하고, 모바일 기기(200)는 제 2 사용자의 입력 정보(1920)를 디스플레이 장치(100)로 전송하게 된다. 이때, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보에는 입력 발생 위치 정보도 포함될 수 있다. 따라서, 디스플레이 장치(100) 및 모바일 기기(200)는 제 1 사용자의 입력 메시지 및 제 2 사용자의 입력 메시지를 발생 위치에 표시할 수 있게 된다.
도 20은 본 발명의 일 실시예와 관련된 공유 메모장 세션을 나타내는 도면이다.
본 발명의 일 실시예에 따른 공유 메모장 세션에서는 디스플레이 장치(100) 및 모바일 기기(200) 중 하나의 입력 기능만이 활성화될 수 있다. 즉, 제 1 사용자가 디스플레이 장치(100)의 공유 메모장에 텍스트를 입력하고 있는 경우, 제 2 사용자는 모바일 기기(200)의 공유 메모장에 텍스트를 입력할 수 없고, 제 2 사용자가 모바일 기기(200)의 공유 메모장에 텍스트를 입력하고 있는 경우, 제 1 사용자는 디스플레이 장치(100)의 공유 메모장에 텍스트를 입력할 수 없다.
예를 들어, 도 20(a)에 도시된 바와 같이, 제 1 사용자가 디스플레이 장치(100)에서 “이 그림은 뭐에요? 오리 or 토끼” 등의 텍스트를 입력하고 있는 경우, 제 2 사용자는 모바일 기기(200)의 화면에 표시된 공유 메모장을 통해서 제 1 사용자가 입력하고 있는 텍스트의 내용을 확인할 수는 있지만, 공유 메모장에 텍스트를 입력할 수는 없다.
반대로 도 20(b)에 도시된 바와 같이, 제 2 사용자가 모바일 기기(200)에서 “이 그림은 비트겐트슈타인-곰브리치의 애매 도형이구나!” 등의 텍스트를 입력하고 있는 경우, 제 1 사용자는 디스플레이 장치(100)의 화면에 표시된 공유 메모장을 통해서 제 2 사용자가 입력하고 있는 텍스트의 내용을 확인할 수는 있지만, 공유 메모장에 텍스트를 입력할 수는 없다.
즉, 디스플레이 장치(100)가 제 1 사용자의 입력 정보와 함께 현재 제 1 사용자가 공유 메모장에 텍스트를 입력하고 있다는 정보를 모바일 기기(200)로 전송하는 경우, 모바일 기기(200)는 공유 메모장의 입력 기능을 제한할 수 있는 것이다. 또한, 디스플레이 장치(100)가 제 2 사용자의 입력 정보와 함께 현재 제 2 사용자가 공유 메모장에 텍스트를 입력하고 있다는 정보를 모바일 기기(200)로부터 수신하는 경우, 디스플레이 장치(100)는 공유 메모장의 입력 기능을 제한할 수 있는 것이다.
한편, 본 발명의 일 실시예에 따른 모바일 기기(200)는 외부의 디스플레이 장치(100)에 연결을 요청할 수 있다. 그리고 모바일 기기(200)는 요청에 대한 응답으로, 외부의 디스플레이 장치(100)로부터 연결 수락 메시지를 수신할 수 있다.
또한, 모바일 기기(200)는, 원격 제어에 대한 권한 인증을 디스플레이 장치(100)에 요청할 수 있다. 모바일 기기(200)가 상기 요청에 대한 응답으로, 외부의 디스플레이 장치(100)로부터 원격 제어 수락 메시지를 수신하는 경우, 모바일 기기(200)는 원격에서 디스플레이 장치(100)를 제어할 수 있다. 본 발명의 일 실시예에 따른 디스플레이 장치(100)는, 제 2 사용자의 식별 정보, 모바일 기기(200)의 식별 정보, 일회용 인증 정보 등을 통해 모바일 기기(200)의 제어 권한을 인증할 수 있다.
제어 권한을 인증 받은 모바일 기기(200)는 외부의 디스플레이 장치(100)에서 재생 중인 콘텐트의 재생 위치 변경, 재생 정지, 재생 속도 조절, 볼륨 조절, 및 재생 콘텐트 변경 중 적어도 하나를 제어할 수 있다. 예를 들어, 제 2 사용자가 모바일 기기(200)에서 표시되고 있는 콘텐트의 재생 위치를 조절하는 경우, 모바일 기기(200)는 디스플레이 장치(100)에서 재생되는 콘텐트의 재생 위치가 모바일 기기(200)의 콘텐트의 재생 위치와 일치하도록, 디스플레이 장치(100)의 재생 위치를 변경할 수 있다.
한편, 제어 권한을 인증 받은 모바일 기기(200)는 외부 디스플레이 장치(100)의 애플리케이션의 설치, 제거, 실행 등을 제어할 수도 있다.
도 21은 본 발명의 일 실시예와 관련된 서버를 통해 정보를 공유하는 방법을 설명하기 위한 순서도이다.
단계 2105에서, 디스플레이 장치(100) 및 모바일 기기(200)는 서버(300)를 통해서 인터랙션 세션을 설정할 수 있다. 예를 들어, 본 발명의 일 실시예에 의하면, 모바일 기기(200)가 서버(300)에 디스플레이 장치(100)와의 연결을 요청하는 경우, 서버(300)는 모바일 기기(200)를 인증한 후, 모바일 기기(200)와 디스플레이 장치(100) 간의 인터랙션 세션을 설정할 수 있는 것이다.
서버(300)가 모바일 기기(200)를 인증하는 방법은 다양할 수 있다. 본 발명의 일 실시예에 의하면, 서버(300)는 모바일 기기(200)의 식별 정보, 제 2 사용자의 식별 정보, 일회용 인증 정보를 기초로 모바일 기기(200)를 인증할 수 있다.
본 발명의 또 다른 실시예에 의하면, 서버(300)는 모바일 기기(200)의 연결 요청 및 모바일 기기(200)의 식별 정보(또는 제 2 사용자의 식별 정보 또는 일회용 인증 정보)를 디스플레이 장치(100)로 전송해 줄 수도 있다. 이 경우, 디스플레이 장치(100)가 모바일 기기(200)의 식별 정보(또는 제 2 사용자의 식별 정보 또는 일회용 인증 정보)를 기초로 모바일 기기(200)의 연결을 인증할 수 있다.
단계 2110에서, 서버(300)는 디스플레이 장치(100)로부터 프레임 전송 시작 메시지를 수신하여, 단계 2115에서, 모바일 기기(200)로 전송할 수 있다. 그리고 단계 2120에서, 서버(300)는 모바일 기기(200)로부터 모바일 기기 정보(기기 상태, 기기 capability)를 수신하여, 단계 2125에서 디스플레이 장치(100)로 전송해 줄 수 있다. 모바일 기기 정보에는 모바일 기기(200)의 네트워크 정보(예컨대, 대역폭, 지원 가능한 통신 방식), 모바일 기기(200)의 해상도 등이 포함될 수 있다.
단계 2130에서 디스플레이 장치(100)는 전송 방식을 결정하고, 단계 2135에서 디스플레이 장치(100)는 모바일 기기(200)로 전송할 프레임의 압축률, 프레임의 수, 해상도 등을 조정할 수 있다.
단계 2140에서 서버(300)는 디스플레이 장치(100)로부터 제 1 사용자의 입력 정보 및 선택된 프레임에 대응하는 관련 정보를 수신하여, 단계 2145에서 모바일 기기(200)로 전송할 수 있다. 단계 2150에서, 모바일 기기(200)는 수신된 제 1 사용자의 입력 정보 및 적어도 하나의 프레임을 화면에 표시하고, 디스플레이 장치(100)에서 재생되는 콘텐트와 동일한 콘텐트를 재생할 수도 있다.
단계 2155에서, 서버(300)는 모바일 기기(200)로부터 수신 완료 알림 메시지를 수신하여, 단계 2160에서 디스플레이 장치(100)로 전송해 줄 수 있다.
즉, 본 발명의 일 실시예에 따른 서버(300)는 디스플레이 장치(100)와 모바일 기기(200)의 정보 공유를 중계할 수 있는 것이다.
도 22는 본 발명의 일 실시예와 관련된 디스플레이 장치의 구성을 설명하기 위한 블록 구성도이다.
도 22에 도시된 바와 같이, 디스플레이 장치(100)는 표시부(110), 사용자 입력부(120), 추출부(130), 통신부(140), 제어부(150)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디스플레이 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디스플레이 장치(100)는 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
표시부(110)는, 디스플레이 장치(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 표시부(110)는 콘텐트를 재생하여 화면에 표시할 수 있다. 본 발명의 일 실시예에 따른 콘텐트는, 방송 콘텐트, 교육 콘텐트, 음악 콘텐트, 영화 콘텐트, 사진 콘텐트, 전자책 콘텐트 등이 있을 수 있다.
표시부(110)는, 외부 기기(200)와 정보를 공유하기 위한 공유 창에, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 표시할 수 있다. 공유 창의 일례로, 공유 메모장, 공유 칠판(white board), 메시지 창 등이 있을 수 있다.
표시부(110)는, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 콘텐트가 표시되는 영역에 오버레이하여 표시할 수 있다. 또한, 표시부(110)는, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 디스플레이 장치(100)와 연결된 또 다른 디바이스에 표시할 수도 있다.
본 발명의 일 실시예에 의하면, 표시부(110)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 표시부(110)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 표시부(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
사용자 입력부(120)는, 사용자가 디스플레이 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자는 사용자 입력부(120)를 통해 전원 온오프, 채널 변경, 볼륨 조정, 텍스트 입력 등을 할 수 있다.
본 발명의 일 실시예에 따른 사용자 입력부(120)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
본 발명의 일 실시예에 따른 사용자 입력부(120)는 디스플레이 장치(100)를 원격에서 제어하기 위한 원격 제어 장치를 포함할 수 있다. 본 발명의 일 실시예에 따른 원격 제어 장치에는 TV 전용 리모콘, 통합 리모콘, 원격 제어 기능을 포함하는 이동 단말(예컨대, 휴대폰, 스마트 폰, 태블릿 PC, MP3 플레이어) 등이 있을 수 있다.
또한, 사용자 입력부(120)는 사용자로부터 데이터를 입력받기 위한 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 사용자 입력부(120)는, 모션 인식 모듈, 터치 인식 모듈, 음성 인식 모듈, 벤딩 동작 인식 모듈 등을 포함할 수 있다.
모션 인식 모듈은 원격 제어 장치 또는 사용자의 움직임을 인식하고, 인식된 움직임에 관한 정보를 제어부(150)로 전달할 수 있다. 본 발명의 일 실시예에 의하면, 모션 인식 모듈은 카메라를 통해 사용자 또는 원격 제어 장치의 움직임을 감지할 수 있다. 본 발명의 일 실시예에 따른 카메라는 깊이 카메라(depth camera), 다시점 카메라(Multi-view Camera) 등일 수 있다. 깊이 카메라(depth camera)는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정하며, 측정된 값은 깊이 영상으로 출력되어 양안식 혹은 다시점 카메라와 함께 장면의 고화질 깊이 맵을 제작하는 데 사용될 수 있다.
터치 인식 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(150)로 전달할 수 있다. 터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 상기 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.
음성 인식 모듈은 음성 인식 엔진을 이용하여 사용자의 음성을 인식하고, 인식된 음성을 제어부(150)로 전달할 수 있다.
본 발명의 일 실시예에 의하면, 벤딩 동작 인식 모듈은 벤딩 동작을 감지하기 위한 벤딩 센서를 포함할 수 있다. 벤딩 동작 인식 모듈은 복수의 벤딩 센서로부터 벤딩 동작에 관한 정보를 수집, 분석할 수 있다. 벤딩 동작 인식 모듈은 벤딩 동작과 관련하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 세기, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간에 관한 정보를 획득할 수 있다.
예를 들어, 벤딩 동작 인식 모듈은 벤딩되는 부분의 압력과 다른 부분의 압력이 다른 특징을 이용하여, 벤딩 위치, 벤딩 방향을 구할 수 있다. 또한, 벤딩 동작 인식 모듈은 벤딩되는 부분의 힘의 변화량에 기초하여 벤딩되는 각도, 반경, 횟수, 속도 등을 구할 수도 있다. 한편, 벤딩 동작 인식 모듈은 가속도 센서를 통해 각 부분이 변형되는 속도를 측정하고, 속도의 변화가 큰 위치를 연결하여 벤딩 위치 및 벤딩 각도를 구할 수도 있다.
사용자 입력부(120)는, 콘텐트를 재생하여 화면에 표시하는 동안에 제 1 사용자의 입력 정보를 획득할 수 있다. 사용자 입력부(120)는, 재생 중인 콘텐트와 관련된 제 1 사용자의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 수신할 수 있다. 본 발명의 일 실시예에 따른 제 1 사용자의 입력 정보는, 제 1 사용자의 입력에 의해 발생하는 문자 메시지, 음성 메시지, 및 이미지 중 적어도 하나를 포함할 수 있다.
사용자 입력부(120)는, 제 1 사용자의 입력 메시지, 제 1 사용자의 입력 발생 시점, 제 1 사용자의 입력 유지 시간, 제 1 사용자의 입력 종료 시점, 및 제 1 사용자의 입력 발생 위치 중 적어도 하나를 인식할 수 있다.
또한, 사용자 입력부(120)는 사용자로부터의 입력에 기초하여, 콘텐트에 관한 질문 메시지를 생성할 수 있다.
추출부(130)는, 상기 수신된 사용자로부터의 입력과 관련된 정보를 재생 중인 콘텐트로부터 추출할 수 있다. 즉, 추출부(130)는, 제 1 사용자의 입력 정보 획득 시점(사용자로부터의 입력 수신 시점)에 기초하여, 디스플레이 장치(100)에서 재생 중인 콘텐트의 적어도 하나 이상의 프레임을 선택할 수 있다. 본 발명의 일 실시예에 의하면, 추출부(130)는, 제 1 사용자의 입력 발생 시점, 제 1 사용자의 입력 유지 시간, 및 제 1 사용자의 입력 종료 시점 중 적어도 하나에 기초하여, 콘텐트에 포함된 적어도 하나 이상의 프레임을 선택할 수 있다. 또한, 추출부(130)는, 제 1 사용자의 입력이 유지되는 동안, 콘텐트의 재생 화면이 변화되는 시점에 대응되는 프레임을 선택할 수도 있다.
즉, 추출부(130)는, 제 1 사용자의 입력 발생 시점에 대응되는 프레임, 제 1 사용자의 입력 종료 시점에 대응되는 프레임, 제 1 사용자의 입력 유지 시간에 소정 주기로 선택된 프레임, 제 1 사용자의 입력이 유지되는 동안 장면의 변화가 있는 프레임 등을 선택할 수 있는 것이다.
통신부(140)는, 디스플레이 장치(100)와 모바일 기기(200) 간의 통신 또는 디스플레이 장치(100)와 서버(300) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(140)는 방송 수신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈 등을 포함할 수 있다.
방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 디스플레이 장치(100)에 내장되거나 외장될 수 있다. 유선 인터넷 모듈은 유선 인터넷 접속을 위한 모듈을 의미한다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
통신부(140)는, 선택된 프레임에 대응하는 관련 정보 및 제 1 사용자의 입력 정보를 외부 기기(200)로 전송할 수 있다. 이때, 본 발명의 일 실시예에 의하면, 통신부(140)는, 프레임 자체를 외부 기기(200)로 전송할 수도 있고, 프레임 대신에 프레임의 재생 위치 정보, 프레임의 시퀀스 정보, 또는 프레임에 포함된 오브젝트 정보를 외부 기기(200)로 전송할 수도 있다. 또한, 통신부(140)는, 음성 통화 신호, 영상 통화 신호, 및 메시지 전송 신호 중 적어도 하나를 통해 제 1 사용자의 입력 정보를 전송할 수 있다.
한편, 통신부(140)는, 외부 기기(200)로부터 연결 요청을 수신하고, 연결 수락 메시지를 외부 기기(200)로 전송해 줄 수 있다. 또한, 통신부(140)는, 제 1 사용자의 입력 정보에 대한 응답으로, 외부 기기(200)로부터 제 2 사용자의 입력 정보를 수신할 수도 있다.
본 발명의 일 실시예에 의하면, 통신부(140)는 외부 기기(200)에 연결을 요청하고, 외부 기기(200)로부터 연결 수락 메시지를 수신할 수도 있다.
제어부(150)는, 통상적으로 디스플레이 장치(100)의 전반적인 동작을 제어한다. 즉, 제어부(150)는 표시부(110), 사용자 입력부(120), 추출부(130), 통신부(140)를 전반적으로 제어할 수 있다.
제어부(150)는, 선택된 프레임의 압축률, 선택된 프레임의 해상도, 및 전송할 프레임의 수 중 적어도 하나를 조정할 수 있다. 또한, 제어부(150)는, 외부 기기(200)의 연결 요청에 응답하여, 외부 기기(200)의 연결을 인증할 수 있다. 이때, 제어부(150)는, 외부 기기(200)의 식별 정보, 제 2 사용자의 식별 정보, 및 일회용 인증 정보 중 적어도 하나를 기초로 외부 기기(200)의 연결을 인증할 수 있다.
제어부(150)는 외부 기기(200)의 소정 애플리케이션의 출력 신호와 가상의 방송 채널을 맵핑할 수도 있다. 소정 애플리케이션은 외부 기기(200)가 디스플레이 장치(100)와 정보를 공유하기 위한 애플리케이션일 수 있다.
도 23은 본 발명의 일 실시예와 관련된 모바일 기기의 구성을 설명하기 위한 블록 구성도이다.
도 23에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 기기(200)는 통신부(210), 표시부(220), 사용자 입력부(230), 제어부(240)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 모바일 기기(200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 모바일 기기(200)는 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(210)는, 모바일 기기(200)과 디스플레이 장치(100) 간의 통신 또는 모바일 기기(200)와 서버(300) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(210)는, 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치 정보 모듈 등을 포함할 수 있다.
이동 통신 모듈은, 이동 통신망 상에서 기지국, 외부의 디스플레이 장치(100), 서버(300) 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 상기 무선 신호는, 음성 호 신호, 영상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 모바일 기기(200)에 내장되거나 외장될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
통신부(210)는, 외부의 디스플레이 장치(100)에서 재생 중인 콘텐트에 관한 제 1 사용자의 입력 정보, 및 콘텐트 재생 중에 획득된 적어도 하나 이상의 프레임에 대응하는 관련 정보를 외부의 디스플레이 장치(100)로부터 수신할 수 있다. 또한, 통신부(210)는, 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 외부의 디스플레이 장치(100)로 전송할 수 있다.
통신부(210)는, 외부의 디스플레이 장치(100)에 연결을 요청하고, 외부의 디스플레이 장치(100)로부터 연결 수락 메시지를 수신할 수 있다. 또한, 통신부(210)는, 원격 제어에 대한 권한 인증을 디스플레이 장치(100)에 요청하고, 외부의 디스플레이 장치(100)로부터 원격 제어 수락 메시지를 수신할 수도 있다.
표시부(220)는, 모바일 기기(200)에서 처리되는 정보를 표시 출력한다. 예를 들어, 표시부(220)는, 제 1 사용자의 입력 정보 및 상기 적어도 하나 이상의 프레임을 화면에 디스플레이할 수 있다. 이때, 표시부(220)는, 외부의 디스플레이 장치(100)와 정보를 공유하기 위한 공유 창에, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 표시할 수 있다. 또한, 표시부(220)는, 콘텐트가 표시되는 영역에 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 오버레이하여 표시할 수도 있다.
본 발명의 일 실시예에 의하면, 표시부(220)는, 제 1 사용자의 입력 정보 및 제 2 사용자의 입력 정보를 포함하는 공유 창을 모바일 기기(200)와 연결된 또 다른 디바이스에 표시할 수도 있다.
한편, 표시부(220)는, 디스플레이 장치(100)에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하여 화면에 표시할 수 있다.
사용자 입력부(230)는, 사용자가 모바일 기기(200)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 사용자 입력부(230)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 표시부(220)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.
본 발명의 일 실시예에 따른 사용자 입력부(230)는, 제 2 사용자의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 인식할 수 있다. 즉, 사용자 입력부(230)는 사용자로부터 데이터를 입력받기 위한 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 사용자 입력부(230)는, 모션 인식 모듈, 터치 인식 모듈, 음성 인식 모듈, 벤딩 동작 인식 모듈 등을 포함할 수 있다. 모션 인식 모듈은 모바일 기기(200)의 움직임을 인식하고, 모바일 기기(200)의 움직임에 관한 정보를 제어부(240)로 전달할 수 있다.
모션 인식 모듈은 모바일 기기(200)의 움직임을 인식하기 위한 다양한 센서를 포함할 수 있다. 예를 들어, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 포함할 수 있다.
터치 인식 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(240)로 전달할 수 있다. 음성 인식 모듈은 음성 인식 엔진을 이용하여 사용자의 음성을 인식하고, 인식된 음성을 제어부(240)로 전달할 수 있다. 본 발명의 일 실시예에 의하면, 벤딩 동작 인식 모듈은 복수의 벤딩 센서로부터 벤딩 동작에 관한 정보를 수집, 분석할 수 있다.
사용자 입력부(230)는, 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 획득할 수 있다. 제 2 사용자의 입력 정보는, 제 1 사용자의 입력 메시지에 대해 제 2 사용자의 응답 메시지를 포함하는 것으로서, 제 2 사용자가 디스플레이 장치(100)의 제 1 사용자와 인터랙션(interaction)하기 위해 입력한 정보를 의미한다. 제 2 사용자의 입력 정보에는 콘텐트 재생 중에 획득된 제 2 사용자의 입력 메시지, 제 2 사용자의 입력 발생 시점, 제 2 사용자의 입력 유지 시간, 제 2 사용자의 입력 종료 시점, 및 제 2 사용자의 입력 발생 위치 등과 관련된 정보가 포함될 수 있다.
제어부(240)는 통상적으로 모바일 기기(200)의 전반적인 동작을 제어한다. 즉, 제어부(240)는, 통신부(210), 표시부(220), 사용자 입력부(230)를 전반적으로 제어할 수 있다.
본 발명의 일 실시예에 따른 제어부(240)는, 모바일 기기(200)가 디스플레이 장치(100)로부터 원격 제어 권한을 인정받은 경우, 외부의 디스플레이 장치(100)를 제어할 수 있다. 예를 들어, 제어부(240)는, 디스플레이 장치(100)에서 재생 중인 콘텐트의 재생 위치를 변경하거나, 재생을 정지하거나, 재생 속도를 조절하거나, 볼륨을 조절하거나, 재생 콘텐트를 변경할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100: 제 1 기기, 디스플레이 장치, 외부의 디스플레이 장치
110: 표시부
120: 사용자 입력부
130: 추출부
140: 통신부
200: 제 2 기기, 모바일 기기, 외부 기기
210: 통신부
220: 표시부
230: 사용자 입력부
300: 서버

Claims (67)

  1. 디스플레이 장치에서의 질문 메시지 전송 방법에 있어서,
    상기 디스플레이 장치에서 소정 콘텐트를 재생하는 단계;
    상기 재생 중인 콘텐트와 관련된 사용자로부터의 입력을 수신하는 단계;
    상기 수신된 사용자로부터의 입력에 기초하여 상기 콘텐트에 관한 질문 메시지를 생성하는 단계;
    상기 재생 중인 콘텐트로부터 상기 수신된 사용자로부터의 입력과 관련된 정보를 추출하는 단계; 및
    상기 추출된 정보와 상기 질문 메시지를 상기 디스플레이 장치에 연결된 외부 기기로 전송하는 단계를 포함하는 질문 메시지 전송 방법.
  2. 제 1항에 있어서, 상기 추출된 정보는
    상기 사용자로부터의 입력이 수신된 시점에서 상기 재생중인 콘텐트의 화면 프레임 정보 및 상기 프레임의 부가 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  3. 제 1 항에 있어서, 상기 재생 중인 콘텐트와 관련된 사용자로부터의 입력을 수신하는 단계는,,
    상기 사용자로부터의 입력을 분석하여, 상기 사용자로부터의 입력이 상기 콘텐트와 관련된 정보인지 판단하는 단계를 더 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  4. 제 3 항에 있어서, 상기 판단하는 단계는,
    상기 사용자로부터의 입력을 파싱하여 적어도 하나 이상의 의미 단위를 추출하는 단계; 및
    상기 콘텐트의 메타 데이터를 기초로, 상기 추출된 의미 단위와 상기 콘텐트의 관련성을 판단하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  5. 제 4 항에 있어서, 상기 관련성을 판단하는 단계는,
    상기 콘텐트의 메타 데이터로부터 상기 콘텐트와 관련된 의미 단위를 온톨로지를 이용하여 획득하는 단계; 및
    상기 콘텐트와 관련된 의미 단위와 상기 추출된 의미 단위를 비교하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  6. 제 1 항에 있어서, 상기 재생 중인 콘텐트와 관련된 사용자로부터의 입력을 수신하는 단계는,
    상기 사용자로부터의 입력이 기 설정된 문장 구조에 대응하는지 판단하는 단계를 더 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  7. 제 1 항에 있어서, 상기 사용자로부터의 입력을 수신하는 단계는,
    사용자의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 인식하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  8. 제 1 항에 있어서, 상기 사용자로부터의 입력을 수신하는 단계는,
    사용자로부터의 입력에 의해 발생하는 문자 메시지, 음성 메시지, 및 이미지 중 적어도 하나를 획득하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  9. 제 1 항에 있어서, 상기 추출하는 단계는,
    사용자로부터의 입력 발생 시점, 사용자로부터의 입력 유지 시간, 및 사용자로부터의 입력 종료 시점 중 적어도 하나에 기초하여, 상기 콘텐트로부터 적어도 하나 이상의 프레임 및 상기 프레임의 부가 정보 중 적어도 하나를 추출하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  10. 제 1 항에 있어서, 상기 추출하는 단계는,
    사용자로부터의 입력이 유지되는 동안, 상기 콘텐트의 재생 화면이 변화되는 시점에 대응하는 프레임을 추출하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  11. 제 2 항에 있어서, 상기 프레임의 부가 정보는,
    상기 프레임의 재생 위치 정보, 상기 프레임의 시퀀스 정보, 및 상기 프레임에 포함된 오브젝트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  12. 제 1 항에 있어서, 상기 전송하는 단계는,
    프레임의 압축률, 프레임의 해상도, 및 전송할 프레임의 수 중 적어도 하나를 조정하는 단계를 더 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  13. 제 1 항에 있어서, 상기 질문 메시지 전송 방법은,
    상기 외부 기기의 사용자로부터의 입력 정보를 상기 외부 기기로부터 수신하는 단계를 더 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  14. 제 13 항에 있어서, 상기 질문 메시지 전송 방법은,
    상기 외부 기기와 정보를 공유하기 위한 공유 창에, 상기 질문 메시지 및 상기 외부 기기의 사용자로부터의 입력을 표시하는 단계를 더 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  15. 제 14 항에 있어서, 상기 공유 창은,
    공유 메모장, 공유 칠판(white board), 및 메시지 창 중 적어도 하나를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  16. 제 14 항에 있어서, 상기 질문 메시지 전송 방법은,
    상기 공유 창을 상기 콘텐트가 표시되는 영역에 오버레이하여 표시하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  17. 제 14 항에 있어서, 상기 질문 메시지 전송 방법은,
    상기 공유 창을 상기 디스플레이 장치와 연결된 또 다른 디바이스에 표시하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  18. 제 1 항에 있어서, 상기 콘텐트는,
    방송 콘텐트, 교육 콘텐트, 음악 콘텐트, 영화 콘텐트, 사진 콘텐트 및 전자책 콘텐트 중 적어도 하나를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  19. 제 1 항에 있어서, 상기 질문 메시지를 전송하는 단계는,
    음성 통화 신호, 영상 통화 신호, 및 메시지 전송 신호 중 적어도 하나를 통해 상기 질문 메시지를 전송하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  20. 제 1 항에 있어서, 상기 질문 메시지 전송 방법은,
    상기 외부 기기로부터 연결 요청을 수신하는 단계; 및
    상기 연결 요청에 응답하여, 상기 외부 기기의 연결을 인증하는 단계를 더 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  21. 제 20 항에 있어서, 상기 인증하는 단계는,
    상기 외부 기기의 식별 정보, 상기 외부 기기의 사용자의 식별 정보, 및 일회용 인증 정보 중 적어도 하나를 기초로 상기 외부 기기의 연결을 인증하는 단계를 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  22. 제 1 항에 있어서, 상기 질문 메시지 전송 방법은,
    상기 외부 기기에 연결을 요청하는 단계; 및
    상기 요청에 대한 응답으로, 상기 외부 기기로부터 연결 수락 메시지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 질문 메시지 전송 방법.
  23. 모바일 기기가 외부의 디스플레이 장치와 정보를 공유하는 방법에 있어서,
    상기 외부의 디스플레이 장치에서 콘텐트 재생 중에 획득된 제 1 사용자의 입력 정보, 및 상기 재생 중인 콘텐트의 적어도 하나 이상의 프레임에 대응하는 관련 정보를 상기 외부의 디스플레이 장치로부터 수신하는 단계;
    상기 제 1 사용자의 입력 정보 및 상기 적어도 하나 이상의 프레임을 디스플레이하는 단계;
    상기 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 획득하는 단계; 및
    상기 제 2 사용자의 입력 정보를 상기 외부의 디스플레이 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 정보 공유 방법.
  24. 제 23 항에 있어서, 상기 프레임에 대응하는 관련 정보는,
    상기 제 1 사용자의 입력 정보 획득 시점에 기초하여 선택된 프레임, 상기 선택된 프레임의 재생 위치 정보, 상기 선택된 프레임의 시퀀스 정보 및 상기 선택된 프레임에 포함된 오브젝트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 공유 방법.
  25. 제 23 항에 있어서, 상기 정보 공유 방법은,
    상기 외부의 디스플레이 장치에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하여 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 정보 공유 방법.
  26. 제 23 항에 있어서, 상기 정보 공유 방법은,
    상기 외부의 디스플레이 장치와 정보를 공유하기 위한 공유 창에, 상기 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 표시하는 단계를 더 포함하는 것을 특징으로 하는 정보 공유 방법.
  27. 제 26 항에 있어서, 상기 공유 창은,
    공유 메모장, 공유 칠판(white board), 및 메시지 창 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 공유 방법.
  28. 제 25 항에 있어서, 상기 정보 공유 방법은,
    상기 콘텐트가 표시되는 영역에 상기 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 오버레이하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 정보 공유 방법.
  29. 제 26 항에 있어서, 상기 정보 공유 방법은,
    상기 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 포함하는 상기 공유 창을 상기 모바일 기기와 연결된 또 다른 디바이스에 표시하는 단계를 더 포함하는 것을 특징으로 하는 정보 공유 방법.
  30. 제 23 항에 있어서, 상기 콘텐트는,
    방송 콘텐트, 교육 콘텐트, 음악 콘텐트, 영화 콘텐트, 사진 콘텐트 및 전자책 콘텐트 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 공유 방법.
  31. 제 23 항에 있어서, 상기 정보 공유 방법은,
    상기 외부의 디스플레이 장치에 연결을 요청하는 단계; 및
    상기 요청에 대한 응답으로, 상기 외부의 디스플레이 장치로부터 연결 수락 메시지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 정보 공유 방법.
  32. 제 23 항에 있어서, 상기 정보 공유 방법은,
    원격 제어에 대한 권한 인증을 상기 외부의 디스플레이 장치에 요청하는 단계; 및
    상기 요청에 대한 응답으로, 상기 외부의 디스플레이 장치로부터 원격 제어 수락 메시지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 정보 공유 방법.
  33. 제 32 항에 있어서, 상기 정보 공유 방법은,
    상기 외부의 디스플레이 장치에서 재생 중인 콘텐트의 재생 위치 변경, 재생 정지, 재생 속도 조절, 볼륨 조절, 및 재생 콘텐트 변경 중 적어도 하나를 제어하는 단계를 더 포함하는 것을 특징으로 하는 정보 제공 방법.
  34. 콘텐트를 재생하여 화면에 표시하는 표시부;
    상기 재생 중인 콘텐트와 관련된 사용자로부터의 입력을 수신하고, 상기 수신된 사용자로부터의 입력에 기초하여 상기 콘텐트에 관한 질문 메시지를 생성하는 사용자 입력부;
    상기 재생 중인 콘텐트로부터 상기 수신된 사용자로부터의 입력과 관련된 정보를 추출하는 추출부;
    상기 추출된 정보와 상기 질문 메시지를 상기 디스플레이 장치에 연결된 외부 기기로 전송하는 통신부; 및
    상기 표시부, 상기 사용자 입력부, 상기 추출부, 및 상기 통신부를 제어하는 제어부를 포함하는 것을 특징으로 하는 디스플레이 장치.
  35. 제 34 항에 있어서, 상기 추출부는,
    상기 사용자로부터의 입력이 수신된 시점에서 상기 재생중인 콘텐트의 화면 프레임 정보 및 상기 프레임의 부가 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 디스플레이 장치.
  36. 제 34 항에 있어서, 상기 제어부는,
    상기 사용자로부터의 입력을 분석하여, 상기 사용자로부터의 입력이 상기 콘텐트와 관련된 정보인지 판단하는 것을 특징으로 하는 디스플레이 장치.
  37. 제 36 항에 있어서, 상기 제어부는,
    상기 사용자로부터의 입력을 파싱하여 적어도 하나 이상의 의미 단위를 추출하고, 상기 콘텐트의 메타 데이터를 기초로, 상기 추출된 의미 단위와 상기 콘텐트의 관련성을 판단하는 것을 특징으로 하는 디스플레이 장치.
  38. 제 37 항에 있어서, 상기 제어부는,
    상기 콘텐트의 메타 데이터로부터 상기 콘텐트와 관련된 의미 단위를 온톨로지를 이용하여 획득하고, 상기 콘텐트와 관련된 의미 단위와 상기 추출된 의미 단위를 비교하는 것을 특징으로 하는 디스플레이 장치.
  39. 제 34 항에 있어서, 상기 제어부는,
    상기 사용자로부터의 입력이 기 설정된 문장 구조에 대응하는지 판단하는 것을 특징으로 하는 디스플레이 장치.
  40. 제 34 항에 있어서, 상기 사용자 입력부는,
    사용자의 터치 입력, 음성 입력, 키 입력, 모션 입력, 및 벤딩 입력 중 적어도 하나를 수신하는 것을 특징으로 하는 디스플레이 장치.
  41. 제 34 항에 있어서, 상기 추출부는,
    사용자로부터의 입력 발생 시점, 사용자로부터의 입력 유지 시간, 및 사용자로부터의 입력 종료 시점 중 적어도 하나에 기초하여, 상기 콘텐트로부터 적어도 하나 이상의 프레임 및 상기 프레임의 부가 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 디스플레이 장치.
  42. 제 34 항에 있어서, 상기 추출부는,
    사용자로부터의 입력이 유지되는 동안, 상기 콘텐트의 재생 화면이 변화되는 시점에 대응하는 프레임을 추출하는 것을 특징으로 하는 디스플레이 장치.
  43. 제 35 항에 있어서, 상기 프레임의 부가 정보는,
    상기 프레임의 재생 위치 정보, 상기 프레임의 시퀀스 정보, 및 상기 프레임에 포함된 오브젝트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  44. 제 34 항에 있어서, 상기 제어부는,
    상기 프레임의 압축률, 상기 프레임의 해상도, 및 전송할 프레임의 수 중 적어도 하나를 조정하는 것을 특징으로 하는 디스플레이 장치.
  45. 제 34 항에 있어서, 상기 통신부는,
    상기 외부 기기의 사용자로부터의 입력 정보를 상기 외부 기기로부터 수신하는 것을 특징으로 하는 디스플레이 장치.
  46. 제 45 항에 있어서, 상기 표시부는,
    상기 외부 기기와 정보를 공유하기 위한 공유 창에, 상기 질문 메시지 및 상기 외부 기기의 사용자로부터의 입력을 표시하는 것을 특징으로 하는 디스플레이 장치.
  47. 제 46 항에 있어서, 상기 공유 창은,
    공유 메모장, 공유 칠판(white board), 및 메시지 창 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  48. 제 46 항에 있어서, 상기 표시부는,
    상기 공유 창을 상기 콘텐트가 표시되는 영역에 오버레이하여 표시하는 것을 특징으로 하는 디스플레이 장치.
  49. 제 46 항에 있어서, 상기 표시부는,
    상기 공유 창을 상기 디스플레이 장치와 연결된 또 다른 디바이스에 표시하는 것을 특징으로 하는 디스플레이 장치.
  50. 제 34 항에 있어서, 상기 콘텐트는,
    방송 콘텐트, 교육 콘텐트, 음악 콘텐트, 영화 콘텐트, 사진 콘텐트 및 전자책 콘텐트 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  51. 제 34 항에 있어서, 상기 통신부는,
    음성 통화 신호, 영상 통화 신호, 및 메시지 전송 신호 중 적어도 하나를 통해 상기 질문 메시지를 전송하는 것을 특징으로 하는 디스플레이 장치.
  52. 제 34 항에 있어서, 상기 통신부는,
    상기 외부 기기로부터 연결 요청을 수신하고,
    상기 제어부는,
    상기 연결 요청에 응답하여, 상기 외부 기기의 연결을 인증하는 것을 특징으로 하는 디스플레이 장치.
  53. 제 52 항에 있어서, 상기 제어부는,
    상기 외부 기기의 식별 정보, 상기 외부 기기의 사용자의 식별 정보, 및 일회용 인증 정보 중 적어도 하나를 기초로 상기 외부 기기의 연결을 인증하는 것을 특징으로 하는 디스플레이 장치.
  54. 제 34 항에 있어서, 상기 통신부는,
    상기 외부 기기에 연결을 요청하고, 상기 요청에 대한 응답으로, 상기 외부 기기로부터 연결 수락 메시지를 수신하는 것을 특징으로 하는 디스플레이 장치.
  55. 외부의 디스플레이 장치와 정보를 공유하는 모바일 기기에 있어서,
    상기 외부의 디스플레이 장치에서 콘텐트 재생 중에 획득된 제 1 사용자의 입력 정보, 및 상기 재생 중인 콘텐트의 적어도 하나 이상의 프레임에 대응하는 관련 정보를 상기 외부의 디스플레이 장치로부터 수신하고, 상기 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 상기 외부의 디스플레이 장치로 전송하는 통신부;
    상기 제 1 사용자의 입력 정보 및 상기 적어도 하나 이상의 프레임을 디스플레이하는 표시부;
    상기 제 1 사용자 입력 정보에 대응되는 제 2 사용자의 입력 정보를 획득하는 사용자 입력부; 및
    상기 통신부, 상기 표시부, 및 상기 사용자 입력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 모바일 기기.
  56. 제 55 항에 있어서, 상기 프레임에 대응하는 관련 정보는,
    상기 제 1 사용자의 입력 정보 획득 시점에 기초하여 선택된 프레임, 상기 선택된 프레임의 재생 위치 정보, 상기 선택된 프레임의 시퀀스 정보, 및 상기 선택된 프레임에 포함된 오브젝트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 모바일 기기.
  57. 제 55 항에 있어서, 상기 표시부는,
    상기 외부의 디스플레이 장치에서 재생 중인 콘텐트와 동일한 콘텐트를 재생하여 화면에 표시하는 것을 특징으로 하는 모바일 기기.
  58. 제 55 항에 있어서, 상기 표시부는,
    상기 외부의 디스플레이 장치와 정보를 공유하기 위한 공유 창에, 상기 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 표시하는 것을 특징으로 하는 모바일 기기.
  59. 제 58 항에 있어서, 상기 공유 창은,
    공유 메모장, 공유 칠판(white board), 및 메시지 창 중 적어도 하나를 포함하는 것을 특징으로 하는 모바일 기기.
  60. 제 57 항에 있어서, 상기 표시부는,
    상기 콘텐트가 표시되는 영역에 상기 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 오버레이하여 표시하는 것을 특징으로 하는 모바일 기기.
  61. 제 58 항에 있어서, 상기 표시부는,
    상기 제 1 사용자의 입력 정보 및 상기 제 2 사용자의 입력 정보를 포함하는 상기 공유 창을 상기 모바일 기기와 연결된 또 다른 디바이스에 표시하는 것을 특징으로 하는 모바일 기기.
  62. 제 55 항에 있어서, 상기 콘텐트는,
    방송 콘텐트, 교육 콘텐트, 음악 콘텐트, 영화 콘텐트, 사진 콘텐트 및 전자책 콘텐트 중 적어도 하나를 포함하는 것을 특징으로 하는 모바일 기기.
  63. 제 55 항에 있어서, 상기 통신부는,
    상기 외부의 디스플레이 장치에 연결을 요청하고, 상기 요청에 대한 응답으로, 상기 외부의 디스플레이 장치로부터 연결 수락 메시지를 수신하는 것을 특징으로 하는 모바일 기기.
  64. 제 55 항에 있어서, 상기 통신부는,
    원격 제어에 대한 권한 인증을 상기 외부의 디스플레이 장치에 요청하고, 상기 요청에 대한 응답으로, 상기 외부의 디스플레이 장치로부터 원격 제어 수락 메시지를 수신하는 것을 특징으로 하는 모바일 기기.
  65. 제 64 항에 있어서, 상기 제어부는,
    상기 외부의 디스플레이 장치에서 재생 중인 콘텐트의 재생 위치 변경, 재생 정지, 재생 속도 조절, 볼륨 조절, 및 재생 콘텐트 변경 중 적어도 하나를 제어하는 것을 특징으로 하는 모바일 기기.
  66. 제 1 항 내지 제 22 항 중 어느 한 항의 질문 메시지 전송 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  67. 제 23 항 내지 제 33 항 중 어느 한 항의 정보 공유 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020120081966A 2012-07-26 2012-07-26 질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기 KR102084630B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020120081966A KR102084630B1 (ko) 2012-07-26 2012-07-26 질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기
IN1452DEN2015 IN2015DN01452A (ko) 2012-07-26 2013-07-05
PCT/KR2013/006006 WO2014017757A1 (en) 2012-07-26 2013-07-05 Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal
CN201380039703.9A CN104509127B (zh) 2012-07-26 2013-07-05 发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端
EP13175365.9A EP2690849B1 (en) 2012-07-26 2013-07-05 Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal
US13/950,916 US10228810B2 (en) 2012-07-26 2013-07-25 Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120081966A KR102084630B1 (ko) 2012-07-26 2012-07-26 질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기

Publications (2)

Publication Number Publication Date
KR20140019083A true KR20140019083A (ko) 2014-02-14
KR102084630B1 KR102084630B1 (ko) 2020-03-05

Family

ID=48792975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120081966A KR102084630B1 (ko) 2012-07-26 2012-07-26 질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기

Country Status (6)

Country Link
US (1) US10228810B2 (ko)
EP (1) EP2690849B1 (ko)
KR (1) KR102084630B1 (ko)
CN (1) CN104509127B (ko)
IN (1) IN2015DN01452A (ko)
WO (1) WO2014017757A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9444518B2 (en) 2014-01-31 2016-09-13 Sony Corporation One touch product information on mobile communication device using near field communication
CN105278843B (zh) * 2014-06-24 2020-11-06 鸿合科技股份有限公司 一种基于远程控制的手势快捷操作方法及系统
US10429968B2 (en) * 2014-11-06 2019-10-01 Visteon Global Technologies, Inc. Reconfigurable messaging assembly
CN106342717A (zh) * 2015-07-18 2017-01-25 吉林农业大学 基于物联网的家兔标准化养殖智能监控系统
CN105338399A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 图像获取方法及装置
US10848482B1 (en) * 2016-02-18 2020-11-24 Trusona, Inc. Image-based authentication systems and methods
KR102582543B1 (ko) * 2016-03-10 2023-09-25 삼성전자주식회사 무선 전력 전송 장치 및 무선 전력 전송 장치의 동작 방법
JP6733393B2 (ja) * 2016-07-25 2020-07-29 株式会社リコー 共有端末、通信システム、画像送信方法、及びプログラム
CN109716779B (zh) * 2016-09-15 2022-08-23 麦克赛尔株式会社 影像显示装置和影像显示装置的协作控制方法
CN108459833B (zh) * 2017-02-17 2021-10-01 北京京东尚科信息技术有限公司 用于显示文本的方法、系统和装置
KR102551550B1 (ko) 2018-04-20 2023-07-06 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
US11871082B2 (en) * 2019-12-30 2024-01-09 MyFitnessPal, Inc. Methods and apparatus for media playback based on cue points
US11106335B1 (en) * 2020-11-30 2021-08-31 Kpn Innovations, Llc. Methods and systems for providing alimentary elements
US20230393799A1 (en) * 2022-06-06 2023-12-07 T-Mobile Usa, Inc. Enabling bidirectional visual communication between two devices associated with a wireless telecommunication network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090083064A (ko) * 2008-01-29 2009-08-03 삼성전자주식회사 미디어 재생 시스템의 사용자 간에 정보를 공유하는 방법및 시스템
KR20090104292A (ko) * 2008-03-31 2009-10-06 삼성전자주식회사 디스플레이장치 및 그 제어 방법과 외부 디바이스의 제어방법
KR20100131603A (ko) * 2009-06-08 2010-12-16 엘지전자 주식회사 방송 콘텐츠 관련 데이터 전송 방법, 방송 콘텐츠 표시 방법 및 이를 적용한 이동 통신 단말기

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524110A (en) * 1993-11-24 1996-06-04 Intel Corporation Conferencing over multiple transports
US5822525A (en) * 1996-05-22 1998-10-13 Microsoft Corporation Method and system for presentation conferencing
US6637032B1 (en) * 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
US6314569B1 (en) * 1998-11-25 2001-11-06 International Business Machines Corporation System for video, audio, and graphic presentation in tandem with video/audio play
US20020056123A1 (en) * 2000-03-09 2002-05-09 Gad Liwerant Sharing a streaming video
US6549751B1 (en) * 2000-07-25 2003-04-15 Giuseppe Li Mandri Multimedia educational system
AU2001295029B2 (en) * 2000-09-08 2006-11-09 Ack Ventures Holdings, Llc Video interaction
US7010761B2 (en) 2001-10-18 2006-03-07 Sony Computer Entertainment America Inc. Controller selectable hyperlinks
US7269633B2 (en) * 2002-12-06 2007-09-11 International Business Machines Corporation Method and system for playback of dynamic HTTP transactions
JP4228304B2 (ja) * 2003-06-26 2009-02-25 ソニー株式会社 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US7398470B2 (en) * 2003-08-22 2008-07-08 Vistaprint Technologies Limited System and method for remote assistance
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
JP4576377B2 (ja) * 2004-04-30 2010-11-04 株式会社モリタ製作所 生体観察機器、口腔内撮影装置及び医療用診療器具
US7995064B2 (en) * 2004-10-12 2011-08-09 Imvu, Inc. Computer-implemented chat system having dual channel communications and self-defining product structures
JP4543261B2 (ja) * 2005-09-28 2010-09-15 国立大学法人電気通信大学 再生装置
US8464164B2 (en) * 2006-01-24 2013-06-11 Simulat, Inc. System and method to create a collaborative web-based multimedia contextual dialogue
WO2008023531A1 (fr) * 2006-08-21 2008-02-28 Brother Kogyo Kabushiki Kaisha système de sauvegarde à dispersion de contenus, procédé d'acquisition d'image de trame, dispositif de nœud, et support de mémoire comprenant un programme de traitement de nœud stocké dans celui-ci
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
EP2095351B1 (de) * 2006-10-13 2014-06-25 Continental Teves AG & Co. oHG System zur bestimmung von objekten
US8583030B2 (en) * 2006-11-22 2013-11-12 Bindu Rama Rao Mobile based learning and testing system for automated test assignment, automated class registration and customized material delivery
US7957510B2 (en) * 2007-01-23 2011-06-07 Microsoft Corporation Notifying network contacts of inquiries
WO2009024831A1 (en) * 2007-08-17 2009-02-26 Nokia Corporation A method of and a mobile communication device for producing personalised maps
JP2009117974A (ja) * 2007-11-02 2009-05-28 Fujifilm Corp 興味情報作成方法、装置およびシステム
KR101163526B1 (ko) 2007-12-21 2012-07-11 남기원 아이 피 티브이를 이용한 외부 데이터 인터페이스 시스템및 그 방법
KR101458030B1 (ko) * 2008-02-13 2014-11-04 삼성전자 주식회사 디지털 방송 수신기의 채널 정보 표시 방법 및 장치
US8881040B2 (en) * 2008-08-28 2014-11-04 Georgetown University System and method for detecting, collecting, analyzing, and communicating event-related information
US8352873B2 (en) * 2008-06-06 2013-01-08 Apple Inc. Media content and chat integration
US8156442B2 (en) * 2008-06-30 2012-04-10 Nokia Corporation Life recorder and sharing
US20100042682A1 (en) * 2008-08-15 2010-02-18 Evan John Kaye Digital Rights Management for Music Video Soundtracks
US20100077289A1 (en) * 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
KR101027412B1 (ko) 2009-03-18 2011-04-11 (주)다인시스 디지털티비와 네트워크 사용의 감시가 가능한 원격제어시스템
US20110047388A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for remotely controlling access to pornographic content of an image
CN102053903A (zh) * 2009-10-30 2011-05-11 国际商业机器公司 用于为在线运行程序保存和查询场景数据的方法和系统
KR20120004650A (ko) * 2010-07-07 2012-01-13 에스케이 텔레콤주식회사 학습 관련 질문/답변 서비스 시스템 및 방법
EP2472452A1 (en) * 2010-12-28 2012-07-04 Amadeus S.A.S. Method of providing assistance to the end-user of a software application
WO2012142510A1 (en) * 2011-04-15 2012-10-18 Skyfire Labs, Inc. Real-time video detector
US9867025B2 (en) * 2011-04-28 2018-01-09 Lg Electronics Inc. Mobile terminal and method for controlling same
US20120278736A1 (en) * 2011-04-30 2012-11-01 Samsung Electronics Co., Ltd. Collaborative decision-making for deriving micro-recommendations for offsite users
US9948988B2 (en) * 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
US8881028B2 (en) * 2011-12-01 2014-11-04 International Business Machines Corporation Reverse metadata viewing by multiple parties
KR20130100813A (ko) * 2012-01-31 2013-09-12 한국전자통신연구원 ｅ-Ｂｏｏｋ 기반 온라인 방송 학습 시스템 및 방법
US9571342B2 (en) * 2012-02-14 2017-02-14 Inetco Systems Limited Method and system for generating transaction data from network traffic data for an application system
US20130254071A1 (en) * 2012-03-25 2013-09-26 Michael Oley Method and system for providing anonymity to a consumer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090083064A (ko) * 2008-01-29 2009-08-03 삼성전자주식회사 미디어 재생 시스템의 사용자 간에 정보를 공유하는 방법및 시스템
KR20090104292A (ko) * 2008-03-31 2009-10-06 삼성전자주식회사 디스플레이장치 및 그 제어 방법과 외부 디바이스의 제어방법
KR20100131603A (ko) * 2009-06-08 2010-12-16 엘지전자 주식회사 방송 콘텐츠 관련 데이터 전송 방법, 방송 콘텐츠 표시 방법 및 이를 적용한 이동 통신 단말기

Also Published As

Publication number Publication date
US10228810B2 (en) 2019-03-12
WO2014017757A1 (en) 2014-01-30
US20140033050A1 (en) 2014-01-30
KR102084630B1 (ko) 2020-03-05
CN104509127B (zh) 2018-10-19
EP2690849A2 (en) 2014-01-29
EP2690849A3 (en) 2016-11-16
EP2690849B1 (en) 2019-09-04
CN104509127A (zh) 2015-04-08
IN2015DN01452A (ko) 2015-07-03

Similar Documents

Publication Publication Date Title
KR102084630B1 (ko) 질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기
KR101971624B1 (ko) 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
KR102281341B1 (ko) 싱크 디바이스 및 그 제어 방법
KR102071579B1 (ko) 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
WO2020007013A1 (zh) 搜索页面交互方法、装置、终端及存储介质
US11521608B2 (en) Methods and systems for correcting, based on speech, input generated using automatic speech recognition
US9437246B2 (en) Information processing device, information processing method and program
US20180137097A1 (en) Electronic device and control method therefor
KR102037419B1 (ko) 영상 표시 장치 및 그 동작 방법
EP3438852B1 (en) Electronic device and control method thereof
KR20170069599A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20150110319A (ko) 영상을 디스플레이 하는 방법 및 디바이스
US11997341B2 (en) Display apparatus and method for person recognition and presentation
KR102576388B1 (ko) 디스플레이 장치 및 그의 동작 방법
CN106993211A (zh) 基于人工智能的网络电视控制方法及装置
KR102169609B1 (ko) 객체 표시 방법, 객체 제공 방법 및 이를 위한 시스템
US20230282209A1 (en) Display device and artificial intelligence server
CN116257159A (zh) 多媒体内容的分享方法、装置、设备、介质及程序产品
CN112053688A (zh) 一种语音交互方法及交互设备、服务器
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
KR20200053322A (ko) 영상 표시 방법 및 그에 따른 디스플레이 장치
EP4236329A1 (en) Display device and operating method therefor
EP4436187A1 (en) Artificial intelligence device for sharing content between plurality of display devices, and content sharing method
EP3690647A1 (en) Display apparatus and method for providing a user interface
KR20200062868A (ko) 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant