KR102071576B1 - 콘텐트 재생 방법 및 이를 위한 단말 - Google Patents

콘텐트 재생 방법 및 이를 위한 단말 Download PDF

Info

Publication number
KR102071576B1
KR102071576B1 KR1020130025255A KR20130025255A KR102071576B1 KR 102071576 B1 KR102071576 B1 KR 102071576B1 KR 1020130025255 A KR1020130025255 A KR 1020130025255A KR 20130025255 A KR20130025255 A KR 20130025255A KR 102071576 B1 KR102071576 B1 KR 102071576B1
Authority
KR
South Korea
Prior art keywords
content
external device
terminal
metadata
predetermined section
Prior art date
Application number
KR1020130025255A
Other languages
English (en)
Other versions
KR20140081636A (ko
Inventor
김종현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201380067329.3A priority Critical patent/CN104885476A/zh
Priority to US14/132,907 priority patent/US9210367B2/en
Priority to PCT/KR2013/011793 priority patent/WO2014098465A1/en
Priority to EP13865570.9A priority patent/EP2936824A4/en
Publication of KR20140081636A publication Critical patent/KR20140081636A/ko
Priority to US14/934,820 priority patent/US9736422B2/en
Priority to US15/664,437 priority patent/US10499004B2/en
Application granted granted Critical
Publication of KR102071576B1 publication Critical patent/KR102071576B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier

Abstract

단말이, 콘텐트를 재생하는 방법에 있어서, 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하는 단계; 획득된 메타데이터에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 단계; 선택된 적어도 하나의 외부 기기로 제어 명령을 전송하는 단계; 및 제어 명령이 전송된 적어도 하나의 외부 기기와 연동하여 콘텐트의 소정 구간을 재생하는 단계를 포함하는 것을 특징으로 하는 콘텐트 재생 방법을 개시한다.

Description

콘텐트 재생 방법 및 이를 위한 단말{METHOD AND TERMINAL FOR REPRODUCING CONTENT}
본 발명은 단말이 단말에 연결된 외부 기기와 함께 콘텐트를 재생하는 방법 및 이를 위한 단말에 관한 것이다.
통신 기술이 점차 발전하면서, 디바이스는 애플리케이션을 다양한 주변 기기들과 연동하여 실행할 수도 있고, 디바이스는 애플리케이션을 통해서 다양한 주변 기기들을 제어할 수도 있다.
또한, 애플리케이션을 통해 연결되는 다양한 주변 기기들의 보급이 확대됨에 따라, 사용자가 디바이스에서 콘텐트를 감상할 때도, 주변 기기를 이용하여, 다양한 방식으로 콘텐트를 감상할 수 있도록 하는 콘텐트 재생 시스템이 필요하다.
본 발명은, 단말이 콘텐트의 소정 구간을 단말에 연결된 외부 기기와 연동하여 재생하는 콘텐트 재생 방법 및 이를 위한 단말에 관한 것이다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하는 단계; 획득된 메타데이터에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 단계; 선택된 적어도 하나의 외부 기기로 제어 명령을 전송하는 단계; 및 제어 명령이 전송된 적어도 하나의 외부 기기와 연동하여 콘텐트의 소정 구간을 재생하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 콘텐트를 재생하기 위한 제 1 애플리케이션을 실행하는 단계; 및 적어도 하나의 외부 기기를 제어하기 위한 제 2 애플리케이션을 실행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 제 1 애플리케이션은, 획득된 메타데이터에 포함된 제어 정보를 제 2 애플리케이션으로 전송하고, 제 2 애플리케이션은, 적어도 하나의 외부 기기의 제어 프로토콜에 따라 제어 정보를 제어 명령으로 변환할 수 있다.
본 발명의 일 실시예에 따른 콘텐트는, 교육 콘텐트, 영화 콘텐트, 방송 콘텐트, 및 게임 콘텐트 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 메타데이터는, 소정 구간에 관한 정보, 적어도 하나의 외부 기기의 식별 정보, 및 적어도 하나의 외부 기기가 수행해야 하는 기능 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 메타데이터를 획득하는 단계는, 콘텐트에 삽입된 메타데이터를 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 메타데이터를 획득하는 단계는, 콘텐트와 별도로 콘텐트의 소정 구간에 대응하는 메타데이터를 외부로부터 수신하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 메타데이터를 획득하는 단계는, 콘텐트에 대한 영상 처리를 수행하여, 콘텐트의 소정 구간에 대한 메타데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 메타데이터를 생성하는 단계는, 단말에 연결된 외부 기기의 종류를 고려하여, 소정 구간에 대응하는 메타데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 메타데이터를 생성하는 단계는, 콘텐트를 재생하는 중에 또 다른 외부 기기의 연결을 감지하는 단계; 및 또 다른 외부 기기의 연결을 더 고려하여, 소정 구간에 대응하는 메타데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 콘텐트의 재생이 완료되는 경우, 생성된 메타데이터를 삭제하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 콘텐트가 삭제되는 경우, 생성된 메타데이터를 삭제하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 메타데이터를 획득하는 단계는, 단말과 적어도 하나의 외부 기기를 연결하는 게이트웨이로 콘텐트를 전송하면서 콘텐트의 소정 구간에 대응하는 메타데이터를 요청하는 단계; 및 게이트웨이에서 콘텐트를 영상 처리하여 생성된 콘텐트의 소정 구간에 대응하는 메타데이터를 수신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 콘텐트의 소정 구간을 재생하기 전에 적어도 하나의 외부 기기와 연결을 형성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 적어도 하나의 외부 기기와 근거리 통신 연결을 수행하는 단계를 포함하고, 본 발명의 일 실시예에 따른 근거리 통신은, 무선랜, 블루투스, WFD, UWB, 및 Zigbee 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 단말에 연결된 적어도 하나의 외부 기기 중 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 단말에 연결된 적어도 하나의 외부 기기 목록을 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 단말과 적어도 하나의 외부 기기를 연결하는 게이트웨이를 통해 적어도 하나의 외부 기기로 제어 명령을 전송하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 게이트웨이는, 적어도 하나의 외부 기기의 제어 프로토콜에 따라 제어 명령을 변환할 수 있다.
본 발명의 일 실시예에 따른 콘텐트 재생 방법은, 제어 명령이 적어도 하나의 외부 기기로 전송되는 경우, 콘텐트의 재생을 중지하는 단계; 및 적어도 하나의 외부 기기로부터 제어 명령에 대응하는 메시지가 수신됨에 따라, 중지된 콘텐트를 이어서 재생하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 제어 명령은, 콘텐트에 포함된 문제(question)를 적어도 하나의 외부 기기에서 표시하도록 하는 명령을 포함하고, 본 발명의 일 실시예에 따른 제어 명령에 대응하는 메시지는, 콘텐트에 포함된 문제(question)에 대한 응답 메시지를 포함할 수 있다.
본 발명의 일 실시예에 따른 제어 명령은, 콘텐트에 포함된 설정 값으로 적어도 하나의 외부 기기를 설정하도록 하는 명령을 포함하고, 본 발명의 일 실시예에 따른 제어 명령에 대응하는 메시지는, 설정에 대한 완료 메시지를 포함할 수 있다.
본 발명의 일 실시예에 따른 단말은, 적어도 하나의 프로그램을 저장하는 메모리; 및 적어도 하나의 프로그램을 실행함으로써 콘텐트를 재생하는 제어부를 포함하고, 적어도 하나의 프로그램은, 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하는 단계; 획득된 메타데이터에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 단계; 선택된 적어도 하나의 외부 기기로 제어 명령을 전송하는 단계; 및 제어 명령이 전송된 적어도 하나의 외부 기기와 연동하여 콘텐트의 소정 구간을 재생하는 단계;를 실행하는 명령어들을 포함할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 콘텐트를 재생하기 위한 제 1 애플리케이션 및 적어도 하나의 외부 기기를 제어하기 위한 제 2 애플리케이션을 실행할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 콘텐트에 삽입된 메타데이터를 추출할 수 있다.
본 발명의 일 실시예에 따른 단말은, 콘텐트와 별도로 콘텐트의 소정 구간에 대응하는 메타데이터를 외부로부터 수신하는 통신부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 콘텐트에 대한 영상 처리를 수행하여, 콘텐트의 소정 구간에 대한 메타데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 단말에 연결된 외부 기기의 종류를 고려하여, 소정 구간에 대응하는 메타데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 콘텐트를 재생하는 중에 또 다른 외부 기기의 연결을 감지하고, 또 다른 외부 기기의 연결을 더 고려하여, 소정 구간에 대응하는 메타데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 콘텐트의 재생이 완료되는 경우, 생성된 메타데이터를 삭제할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 콘텐트가 삭제되는 경우, 생성된 메타데이터를 삭제할 수 있다.
본 발명의 일 실시예에 따른 단말은, 단말과 적어도 하나의 외부 기기를 연결하는 게이트웨이로 콘텐트를 전송하면서 콘텐트의 소정 구간에 대응하는 메타데이터를 요청하고, 게이트웨이에서 콘텐트를 영상 처리하여 생성된 콘텐트의 소정 구간에 대응하는 메타데이터를 수신하는 통신부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 콘텐트의 소정 구간을 재생하기 전에 적어도 하나의 외부 기기와 연결을 형성할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 단말에 연결된 적어도 하나의 외부 기기 중 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택할 수 있다.
본 발명의 일 실시예에 따른 단말은, 단말에 연결된 적어도 하나의 외부 기기 목록을 표시하는 디스플레이부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 단말은, 단말과 적어도 하나의 외부 기기를 연결하는 게이트웨이를 통해 적어도 하나의 외부 기기로 제어 명령을 전송하는 통신부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 단말의 제어부는, 제어 명령이 적어도 하나의 외부 기기로 전송되는 경우, 콘텐트의 재생을 중지하고, 적어도 하나의 외부 기기로부터 제어 명령에 대응하는 메시지가 수신됨에 따라, 중지된 콘텐트를 이어서 재생할 수 있다.
도 1은 본 발명의 일 실시예와 관련된 콘텐트 재생 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예와 관련된 단말이 외부 기기를 연결하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예와 관련된 콘텐트 재생 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예와 관련된 메타데이터의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예와 관련된 메타데이터를 획득하는 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시예와 관련된 메타데이터를 삽입하기 위한 GUI(Graphical User Interface)를 나타내는 도면이다.
도 7은 본 발명의 일 실시예와 관련된 메타데이터 생성 방법을 설명하기 위한 순서도이다.
도 8은 영상 처리 알고리즘의 일례를 나타내는 도면이다.
도 9는 본 발명의 일 실시예와 관련된 콘텐트의 소정 구간에 대응하는 메타데이터를 생성하는 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 일 실시예와 관련된 애플리케이션을 실행하는 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 애니메이션 콘텐트를 재생하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 영화 콘텐트를 재생하는 방법을 설명하기 위한 도면이다.
도 13은 단말에 연결된 외부 기기 목록을 표시하는 GUI(graphical user interface )의 일례를 나타내는 도면이다.
도 14는 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 콘텐트를 재생하는 방법을 설명하기 위한 순서도이다.
도 15 및 도 16은 본 발명의 일 실시예와 관련된 교육 콘텐트를 재생하는 화면을 나타내는 도면이다.
도 17은 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 요리 강좌 콘텐트를 재생하는 화면을 나타내는 도면이다.
도 18은 본 발명의 또 다른 실시예와 관련된 콘텐트 재생 시스템을 나타내는 도면이다.
도 19는 본 발명의 일 실시예와 관련된 게이트웨이를 통해 메타데이터를 획득하는 방법을 설명하기 위한 순서도이다.
도 20은 본 발명의 일 실시예와 관련된 게이트웨이를 통해 제어 명령을 변환하는 방법을 설명하기 위한 순서도이다.
도 21은 본 발명의 일 실시예와 관련된 단말을 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 “애플리케이션”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 애플리케이션은 다양할 수 있다. 예를 들어, 게임 애플리케이션, 악기 연주 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
명세서 전체에서 “토폴로지”는 디바이스들(노드들) 간의 연결 형태를 의미한다. 토폴로지는 물리적 토폴로지 및 논리적 토폴로지를 포함할 수 있다. 즉, 토폴로지는 토폴로지 구조(topology structure)에 속한 디바이스들 사이의 물리적 또는 논리적 연결 구성에 의해 결정될 수 있다. 예를 들어, 디바이스들의 연결 관계, 디바이스 간의 연결 방법, 디바이스 간의 데이터 전송 속도, 디바이스 간에 전송되는 데이터의 흐름(data flow), 디바이스 간에 전송되는 신호의 종류 및 디바이스에 설치된 애플리케이션의 종류 중 적어도 하나에 의해, 서로 다른 토폴로지가 구성될 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 명세서에서 토폴로지를 형성하는 호스트 단말, 메인 외부 기기 및 서브 외부 기기는, 토폴로지 구조 내에서의 디바이스의 위치, 및 디바이스의 절대적 또는 상대적 역할에 의해 결정될 수 있다. 따라서, 소정의 디바이스는, 토폴로지 내에서 호스트 단말, 메인 외부 기기 및 서브 외부 기기 중 적어도 하나로 동작할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예와 관련된 콘텐트 재생 시스템을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 애플리케이션 실행 시스템은 단말(100), 외부 기기(200)를 포함할 수 있다. 그러나 도시된 구성요소가 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 콘텐트 재생 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 콘텐트 재생 시스템은 구현될 수 있다. 예를 들어, 콘텐트 재생 시스템은 단말(100)과 외부 기기(200)를 연결하기 위한 게이트웨이를 더 포함할 수도 있다. 이에 관하여는 도 18을 참조하여 후에 살펴보기로 한다.
본 발명의 일 실시예에 따른 단말(100)은, 외부 기기(200)와 유무선으로 연결될 수 있다. 특히, 본 발명의 일 실시예에 의하면, 단말(100)은 외부 기기(200)와 근거리 통신을 통해 연결될 수 있다. 근거리 통신의 예로, 무선 랜(Wi-Fi), NFC(Near Field Communication), 블루투스, BLE(Bluetooth Low Energy), 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
단말(100)은 외부 기기(200)와 연관된 애플리케이션을 실행함으로써, 외부 기기(200)를 제어할 수 있다. 또한, 단말(100)은 애플리케이션이 실행되는 경우, 애플리케이션과 연관된 외부 기기(200)를 자동으로 검색하여 연결할 수도 있다. 예를 들어, 본 발명의 일 실시예에 의하면, 단말(100)은 콘텐트 재생 애플리케이션 또는 외부 기기(200)를 제어하기 위한 제어 애플리케이션을 실행함으로써, 외부 기기(200)와 연결될 수 있다.
또한, 본 발명의 일 실시예에 따른 단말(100)은 콘텐트 재생 애플리케이션 또는 외부 기기(200)를 제어하기 위한 제어 애플리케이션을 통해 소정 콘텐트를 외부 기기(200)와 함께 재생할 수 있다.
한편, 본 발명의 일 실시예에 따른 단말(100)은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말(100)은 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 스마트 TV, CE(Consumer Electronics) 기기(예컨대, 디스플레이 패널을 갖는 냉장고, 에어컨 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 외부 기기(200)는 단말(100)에서 실행되는 애플리케이션과 관련된 디바이스일 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 외부 기기(200)는 콘텐트 재생 애플리케이션 또는 제어 애플리케이션과 관련된 디바이스일 수 있다. 외부 기기(200)는 구현 예에 따라서 하나일 수도 있고, 복수일 수도 있다.
본 발명의 일 실시예에 따른 외부 기기(200)는 단말(100)과 근거리 통신을 통해 연결될 수 있다. 이때, 외부 기기(200)는 근거리 통신을 통해 단말(100)로부터 제어 명령을 수신할 수 있다. 또한, 외부 기기(200)는 근거리 통신을 통해 단말(100)로 입출력 데이터(예컨대, 메시지)를 전송할 수도 있다.
본 발명의 일 실시예에 따른 외부 기기(200)는 BLE(Bluetooth Low Energy) 모듈 및/또는 NFC(Near Field Communications) 모듈을 포함할 수 있다. 외부 기기(200)는 BLE 및/또는 NFC를 통해 단말(100)로부터 연결 요청을 수신하여, 와이파이 모듈 또는 블루투스 모듈을 활성화할 수 있다. 또한, 외부 기기(200)는 BLE 및/또는 NFC를 통해서 인증 정보, 연결 정보 등을 단말(100)로 전송할 수 있다. 본 발명의 일 실시예에 따른 외부 기기(200)는 단말(100)로부터 제어 명령을 수신하고, 수신된 제어 명령을 수행할 수도 있다.
본 발명의 일 실시예에 따른 외부 기기(200)는 다양한 형태로 구현될 수 있다. 본 발명의 일 실시예에 따른 외부 기기(200)는 입력 장치, 출력 장치, 제어 장치 등을 포함할 수 있으며, 예를 들어, 외부 기기(200)는, 마이크(microphone), 스피커, 페달, 조이스틱, 악기(예컨대, 피아노, 오르간, 전자 키보드, 기타, 바이올린, 첼로 등), 게임 조작 장치, 인형, 의료 기구, 운동 기구, CE 기기(에어컨, 오븐, 냉장고, 선풍기 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
이하에서는 도 2를 참조하여 단말(100)이 외부 기기(200)를 등록하고, 연결하는 방법에 대해서 먼저 살펴보기로 한다.
도 2는 본 발명의 일 실시예와 관련된 단말이 외부 기기를 연결하는 방법을 설명하기 위한 도면이다.
단계 210에서, 단말(100)은 제 1 근거리 통신 발생을 감지할 수 있다. 본 발명의 일 실시예에 따른 제 1 근거리 통신은 NFC(Near Field Communications)통신, BLE(Bluetooth Low Energy) 통신 등일 수 있으나, 이에 한정되는 것은 아니다.
제 1 근거리 통신이 NFC 통신 기반인 경우, 단말(100)은, 외부 기기(200)가 NFC 통신 반경 내에 위치하면, 제 1 근거리 통신 발생을 감지할 수 있다. 또한, 제 1 근거리 통신이 BLE 통신 기반인 경우, 단말(100)은 외부 기기(200)에서 블루투스 통신 기반으로 브로드캐스트되는 신호를 수신하면 제 1 근거리 통신 발생을 감지할 수 있다.
단계 220에서, 단말(100)은 제 1 근거리 통신을 통해 외부 기기(200)에 관한 기기 정보를 수신할 수 있다. 외부 기기(200)에 관한 기기 정보는, 외부 기기(200)의 식별 정보, 제 2 근거리 통신 연결을 위한 연결 정보, 외부 기기(200)의 종류, 외부 기기(200)에 의해 제공되는 기능(capability), 카테고리 및 외부 기기(200)의 제어에 이용되는 프로토콜 중 적어도 하나를 포함할 수 있다. 외부 기기(200)에 의해 제공되는 기능(capability)은, 예를 들어, 지원 가능한 통신 기능, 오디오 출력 기능, 비디오 출력 기능, 음성 녹음 기능, 영상 촬영 기능, 풍향 조절 기능, 습도 감지 기능 등을 포함할 수 있으나, 이에 제한되지 않는다.
본 발명의 일 실시예에 따른 제 2 근거리 통신은 무선 랜 통신, 블루투스 통신 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 무선 랜(Wi-Fi)은, AP(액세스 포인트: access point, 무선 공유기 등)를 이용하는 인프라 스트럭쳐(infrastructure) 모드, AP 없이 단말기끼리 P2P(Peer to Peer)형태로 데이터를 주고 받는 애드 혹(ad hoc) 모드를 포함할 수 있다.
따라서, 본 발명의 일 실시예에 따른 제 2 근거리 통신 연결을 위한 연결 정보에는 외부 기기(200)의 통신 방식, 외부 기기(200)가 이용하는 무선랜의 연결 정보(SSID, IP 주소, MAC 주소, 채널 번호, 보안 키 등), 외부 기기(200)의 맥 주소, 외부 기기(200)의 블루투스 어드레스(BT Address), 외부 기기(200)의 기기명(Product Name), 외부 기기(200)의 프로파일(Profile) 정보 등이 있을 수 있다. 통신 방식에는 무선 랜(애드혹 모드 또는 인프라 스트럭쳐 모드), 블루투스, 지그비, WFD, UWB 등이 있을 수 있다.
본 발명의 일 실시예에 따른 외부 기기(200)에 관한 기기 정보는, 외부 기기(200)와 관련된 애플리케이션에 관한 정보를 더 포함할 수 있다. 애플리케이션에 관한 정보에는, 애플리케이션의 식별 정보(예컨대, 애플리케이션 아이디, 애플리케이션 명칭, 애플리케이션 분류 코드), 애플리케이션의 버전 정보, 애플리케이션의 링크 정보(예컨대, 애플리케이션을 다운로드할 수 있는 웹 페이지 접속 정보) 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.
단계 230에서, 단말(100)은 외부 기기(200)로부터 수신된 애플리케이션에 관한 정보에 기초하여, 외부 기기(200)와 관련된 애플리케이션이 기 설치되었는지 검색할 수 있다. 단계 240에서 단말(100)이, 외부 기기(200)와 관련된 애플리케이션이 단말(100)에 설치되지 않다고 판단하는 경우, 단계 250에서, 단말(100)은 외부 기기(200)와 관련된 애플리케이션을 다운로드하여 설치할 수 있다.
단계 260에서, 단말(100)은 애플리케이션을 실행할 수 있다. 그리고 단계 270에서, 단말(100)은 제 2 근거리 통신 연결을 수행할 수 있다. 예를 들어, 제 2 근거리 통신이 블루투스 통신인 경우, 단말(100)은 블루투스 통신 모듈을 활성화하고, 제 2 근거리 통신 모듈이 무선 랜 통신인 경우, 와이파이 모듈을 활성화할 수 있다. 그리고 단말(100)은 외부 기기(200)에 연결을 요청할 수 있다. 단계 280에서, 외부 기기(200)가 연결을 수락한 경우, 단말(100)과 외부 기기(200)는 제 2 근거리 통신으로 연결될 수 있다.
단계 290에서, 단말(100)은, 외부 기기(200)에 관한 기기 정보를 메모리에 저장하고, 관리할 수 있다. 예를 들어, 외부 기기(200)에 관한 기기 정보가 변경되는 경우, 단말(100)은 메모리에 저장된 기기 정보를 갱신할 수 있다.
한편, 본 발명의 다른 실시예에 의하면, 단말(100)은 UPnP(universal plug and play)에 기반하여 외부 기기(200)를 검색할 수도 있다. 예를 들어, 네트워크에 새로운 외부 기기(200)가 연결되는 경우, 단말(100)은 외부 기기(200)와 통신을 연결하고, 외부 기기(200)로부터 외부 기기(200)에 관한 기기 정보(예컨대, 식별 정보, 제 2 근거리 통신 연결을 위한 연결 정보, 외부 기기(200)와 관련된 애플리케이션에 관한 정보 등)를 수신할 수도 있다. 이때, 본 발명의 일 실시예에 따른 단말(100)은 외부 기기(200)와 관련된 애플리케이션을 실행하고, 외부 기기(200)와 제 2 근거리 통신을 연결할 수 있다.
본 발명의 일 실시예에 의하면, 단계 210 내지 단계 290은, 단말(100)에서 콘텐트를 재생하기 전에 수행될 수도 있고, 콘텐트를 재생하는 초기에 수행될 수도 있다. 한편, 단계 210 내지 단계 290은, 단말(100)에서 콘텐트를 재생하는 중에 수행될 수도 있다. 예를 들어, 단말(100)에서 콘텐트를 재생하는 중에 외부 기기(200)가 네트워크에 진입하거나, 외부 기기(200)에 의한 제 1 근거리 통신 발생이 감지되는 경우, 단말(100)은 콘텐트 재생 중에 단계 220 내지 단계 290을 수행할 수 있다.
본 발명의 구현 예에 따라서 단계 210 내지 단계 290의 순서가 변경될 수 있으며, 일부 단계가 생략될 수도 있다.
도 2에서는 단말(100)과 외부 기기(200)가 근거리 통신(예컨대, 와이파이 또는 블루투스)으로 연결되는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 즉, 단말(100)과 외부 기기(200)는 유선으로 연결될 수도 있고, 이동 통신 망을 통해서 연결될 수도 있고, 또 다른 근거리 통신(예컨대, WFD, UWB, 및 Zigbee 등)으로 연결 될 수도 있다.
이하에서는, 도 3을 참조하여, 단말(100)과 외부 기기(200)가 유선 또는 무선으로 연결되어 있는 상태에서, 콘텐트의 소정 구간을 연동하여 재생하는 방법에 대해서 자세히 살펴보기로 한다.
도 3은 본 발명의 일 실시예와 관련된 콘텐트 재생 방법을 설명하기 위한 순서도이다.
단계 310에서, 단말(100)은 콘텐트의 소정 구간에 대응하는 메타데이터를 획득할 수 있다.
본 발명의 일 실시예에 의하면, 단말(100)은 콘텐트에 기 삽입된 소정 구간에 대응하는 메타데이터를 추출할 수 있다. 본 발명의 다른 실시예에 의하면, 단말(100)은 콘텐트에 대한 영상 처리를 수행하여 소정 구간에 대응하는 메타데이터를 생성할 수도 있다. 또한, 본 발명의 또 다른 실시예에 의하면, 단말(100)은, 콘텐트와 별도로 콘텐트의 소정 구간에 대응하는 메타데이터를 외부로부터 수신할 수도 있다. 각 실시예에 대해서는 후에 자세히 살펴보기로 한다.
본 발명의 일 실시예에 따른 콘텐트는 멀티미디어 콘텐트를 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 콘텐트는, 교육 콘텐트, 영화 콘텐트, 방송 콘텐트, 및 게임 콘텐트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 콘텐트의 소정 구간이란 콘텐트가 재생되는 일정 구간을 의미한다. 본 발명의 일 실시예에 의하면, 소정 구간은 적어도 하나의 프레임으로 구성될 수도 있고, 적어도 하나의 시퀀스로 구성될 수도 있고, 적어도 하나의 장면으로 구성될 수도 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 소정 구간에 대응하는 메타데이터란 콘텐트의 소정 구간을 재생하는 데 필요한 정보를 의미할 수 있다. 본 발명의 일 실시예에 따른 메타데이터는, 소정 구간에 관한 정보(예컨대, 타임 스탬프, 인덱스 등), 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기(200)의 식별 정보, 및 적어도 하나의 외부 기기(200)가 수행해야 하는 기능 정보 중 적어도 하나를 포함할 수 있다. 이와 관련하여 도 4를 참조하기로 한다.
도 4는 본 발명의 일 실시예와 관련된 메타데이터의 구성을 설명하기 위한 도면이다.
도 4(a)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 메타데이터(400)는 소정 구간을 나타내는 정보(410) 및 외부 기기(200)를 제어하기 위한 제어 정보(420)를 포함할 수 있다. 이때, 제어 정보(420)는 소정 구간을 재생하는 데 필요한 외부 기기(200)의 식별 정보(421), 외부 기기(200)가 수행해야 하는 기능 정보(422), 기능에 관한 추가 정보(423)를 포함할 수 있다.
예를 들어, 도 4(b)에 도시된 바와 같이, 콘텐트의 소정 구간(예컨대, Time Stamp: 930000)을 재생하는 데 스피커와 로봇 청소기가 필요한 경우, 콘텐트의 소정 구간(예컨대, Time Stamp: 930000)에 대응하는 메타데이터(400)는, 스피커에 관한 제어 정보(420-1) 및 로봇 청소기에 관한 제어 정보(420-2)를 포함할 수 있다.
스피커에 관한 제어 정보(420-1)에는, 스피커를 식별하기 위한 식별 정보(예컨대, Device category: speaker), 스피커가 수행해야 하는 기능 정보(예컨대, 사운드 출력), 기능에 관한 추가 정보(예컨대, 스피커가 출력해야 하는 사운드 데이터)가 포함될 수 있다.
또한, 로봇 청소기에 관한 제어 정보(420-2)에는, 로봇 청소기를 식별하기 위한 식별 정보(예컨대, Device category: Robot Cleaner), 로봇 청소기가 수행해야 하는 기능 정보(예컨대, 청소 시작), 기능에 관한 추가 정보(예컨대, 오토 모드 설정) 등이 포함될 수 있다.
다시 도 3으로 돌아오면, 단계 320에서, 단말(100)은 획득된 소정 구간에 대응하는 메타데이터에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기(200)를 선택할 수 있다.
예를 들어, 도 4(b)에 도시된 바와 같이, 소정 구간(예컨대, Time Stamp 930000)에 대응하는 메타데이터에 스피커에 관한 제어 정보 및 로봇 청소기에 관한 제어 정보가 포함되어 있는 경우, 단말(100)은 소정 구간을 재생하는 데 필요한 외부 기기(200)로 스피커 및 로봇 청소기를 선택할 수 있다.
이때, 스피커 및 로봇 청소기는 콘텐트의 소정 구간을 재생하기 전에 단말(100)에 미리 연결되어 있을 수 있다. 또한, 스피커 및 로봇 청소기는, 단말(100)의 제어 명령을 즉각적으로 수행할 수 있는 대기 상태에 있을 수 있다.
즉, 본 발명의 일 실시예에 따른 단말(100)은, 단말(100)에 물리적으로 연결되어 있는 적어도 하나의 외부 기기 중 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기(200)를 선택할 수 있다. 물리적 연결은 능동적 연결, 수동적 연결, 원격 연결, 유선 연결, 무선 연결, 근거리 통신 연결 등을 포함할 수 있다.
본 발명의 다른 실시예에 의하면, 단말(100)은 소정 구간을 재생하는 데 필요한 외부 기기(200)를 선택하고, 선택된 외부 기기(200)를 UPnP에 기반하여 검색할 수도 있다.
한편, 소정 구간에 대응하는 메타데이터에 외부 기기(200)의 식별 정보가 포함되어 있지 않고, 외부 기기(200)가 수행해야 하는 기능 정보만 포함되어 있는 경우, 단말(100)은 기능 맵핑 테이블을 이용하여 적어도 하나의 외부 기기(200)를 선택할 수도 있다. 기능 맵핑 테이블은 특정 기능과 특정 기능을 수행하는 외부 기기(200)의 식별 정보가 맵핑된 테이블일 수 있다.
예를 들어, 소정 구간에 대응하는 메타데이터에 “사운드 출력”이라는 기능 정보만이 포함되어 있는 경우, 단말(100)은 기능 맵핑 테이블을 이용하여, “사운드 출력” 기능을 수행하는 ‘스피커’를 콘텐트의 소정 구간을 재생하는 데 필요한 외부 기기(200)로 선택할 수 있다.
단계 330에서, 단말(100)은, 선택된 적어도 하나의 외부 기기(200)로 제어 명령을 전송할 수 있다. 본 발명의 일 실시예에 따른 단말(100)은 제어 명령을 유무선 통신을 통해 적어도 하나의 외부 기기(200)로 전송할 수 있다.
이때, 본 발명의 일 실시예에 의하면, 단말(100)은, 선택된 적어도 하나의 외부 기기(200)의 제어 프로토콜에 따라, 메타데이터에 포함된 제어 정보를 제어 명령으로 변환할 수 있다.
단계 340에서, 단말(100)은 적어도 하나의 외부 기기(200)와 연동하여, 콘텐트의 소정 구간을 재생할 수 있다. 예를 들어, 단말(100)은 적어도 하나의 외부 기기(200)와 함께 콘텐트의 소정 구간을 재생할 수 있다. 또한, 단말(100)은 제어 명령이 적어도 하나의 외부 기기(200)로 전송되는 경우, 콘텐트의 재생을 중지하고, 적어도 하나의 외부 기기(200)로부터 제어 명령에 대응하는 메시지가 수신됨에 따라, 중지된 콘텐트를 이어서 재생할 수도 있다.
따라서, 본 발명의 일 실시예에 따른 단말(100)은 외부 기기(200)와 연동하여, 사용자에게 새로운 콘텐트 재생 경험을 제공할 수 있다.
도 5는 본 발명의 일 실시예와 관련된 메타데이터를 획득하는 방법을 설명하기 위한 순서도이다.
단계 510에서, 단말(100)은 메타데이터가 삽입된 콘텐트를 획득할 수 있다.
예를 들어, 단말(100)은, 콘텐트 제작자 또는 콘텐트 제공자에 의해 메타데이터가 삽입된 콘텐트를 외부로부터 수신할 수 있다. 또한, 단말(100)은 콘텐트를 소비하는 사용자가 직접 메타데이터를 삽입한 콘텐트를 메모리로부터 획득할 수도 있다. 콘텐트 제작자, 콘텐트 제공자, 또는 사용자가 메타데이터를 삽입하는 방법에 대해서는 도 6을 참조하여, 후에 자세히 살펴보기로 한다.
단계 520에서, 단말(100)은 콘텐트에 삽입된 소정 구간에 대응하는 메타데이터를 추출할 수 있다.
본 발명의 일 실시예에 의하면, 단말(100)은 콘텐트 재생 전에 소정 구간에 대응하는 메타데이터를 추출할 수 있다. 본 발명의 다른 실시예에 의하면, 단말(100)은 콘텐트 재생 시작 명령이 수신되는 경우, 콘텐트 재생 초기에 콘텐트의 전체 구간에 대응하는 메타데이터를 인식하여 전처리 할 수도 있다. 본 발명의 또 다른 실시예에 의하면, 단말(100)은 콘텐트 재생 중에 소정 구간에 대응하는 메타데이터를 추출할 수도 있다.
한편, 본 발명의 일 실시예에 따른 단말(100)은 콘텐트와 별도로 콘텐트의 전체 구간에 대한 메타데이터 파일을 수신할 수도 있다.
단계 530에서, 단말(100)은 추출된 메타데이터에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기(200)를 선택할 수 있다. 단계 540에서, 단말(100)은 선택된 적어도 하나의 외부 기기로 제어 명령을 전송할 수 있다. 단계 550에서, 단말(100)은 적어도 하나의 외부 기기와 연동하여 콘텐트의 소정 구간을 재생할 수 있다.
단계 530 내지 단계 550은 도 3의 단계 320 내지 단계 340에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 6은 본 발명의 일 실시예와 관련된 메타데이터를 삽입하기 위한 GUI(graphical user interface)를 나타내는 도면이다.
도 6에 도시된 바와 같이, 메타데이터를 삽입하기 위한 GUI(600)는, 콘텐트의 소정 구간에 대응하는 프리뷰 이미지가 표시되는 프리뷰 필드(610), 소정 구간을 선택하는 타임 라인 필드(620) 및 소정 구간에 대응하는 메타데이터 목록을 표시하는 메타데이터 목록 필드(630), 제어 정보를 추가하는 제어 필드(640)를 포함할 수 있다.
콘텐트 제작자, 콘텐트 제공자 또는 콘텐트 소비자는 메타데이터를 삽입하기 위한 GUI(600)를 이용하여, 콘텐트의 소정 구간에 대응하는 메타데이터를 생성할 수 있다. 예를 들어, 콘텐트 소비자는, 타임 라인 필드(620)에서 콘텐트의 소정 구간을 선택할 수 있다. 이때, 프리뷰 필드(610)에는 콘텐트 소비자에 의해 선택된 소정 구간에 대응하는 프리뷰 이미지가 표시될 수 있다.
한편 콘텐트 소비자는, 제어 필드(640)에서 소정 구간에 대응하는 제어 정보를 입력할 수 있다. 예를 들어, 콘텐트 소비자는, 소정 구간을 재생하는 데 필요한 외부 기기의 종류(641)를 선택하고, 선택된 외부 기기가 수행해야 하는 기능(642) 및 추가 데이터(643)를 입력한 후, 추가(Add) 버튼(644)을 선택할 수 있다. 이때, 소정 구간에 대응하는 메타데이터가 생성되고, 생성된 소정 구간에 대응하는 메타데이터는, 메타데이터 목록 필드(630)에 추가될 수 있다.
도 7은 본 발명의 일 실시예와 관련된 메타데이터 생성 방법을 설명하기 위한 순서도이다.
단계 710에서, 단말(100)은 콘텐트에 대한 영상 처리를 수행할 수 있다. 이때, 단말(100)은 다양한 영상 처리 알고리즘을 이용하여, 콘텐트에 대한 영상 처리를 수행할 수 있다(도 8 참조).
단말(100)은 콘텐트에 대한 영상 처리를 통해 콘텐트의 소정 구간에서 나타나는 분위기, 감성, 디바이스 등을 인식할 수 있다.
본 발명의 일 실시예에 따른 단말(100)은 콘텐트에 포함된 오디오 데이터를 분석할 수도 있다.
단계 720에서, 본 발명의 일 실시예에 따른 단말(100)은, 영상 처리 수행 결과에 기반하여, 콘텐트의 각각의 구간에 대응하는 메타데이터를 생성할 수 있다. 즉, 본 발명의 일 실시예에 따른 단말(100)은, 콘텐트 재생 전에 콘텐트의 전체 구간에 대한 메타데이터를 미리 생성해 놓을 수 있다. 이때, 본 발명의 일 실시예에 따른 단말(100)은, 콘텐트의 전체 구간에 대한 메타데이터에 기반하여, 콘텐트를 재생하는 데 필요한 외부 기기(200)의 전원을 콘텐트 재생 전에 미리 켜거나, 외부 기기(200)와 미리 통신 연결을 형성해 놓을 수도 있다.
한편, 본 발명의 일 실시예에 따른 단말(100)은 단말(100)에 연결된 외부 기기(200)의 종류에 기초하여, 메타데이터를 생성할 수도 있다. 예를 들어, A 기기, B 기기, C 기기가 단말(100)에 유무선 통신으로 연결되어 있는 경우, 단말(100)은 콘텐트의 소정 구간을 재생할 때 A 기기, B 기기, C 기기를 이용하도록 메타데이터를 생성할 수 있다. 즉, 단말(100)은 단말(100)에 연결되어 있지 않은 D 기기에 관한 제어 정보를 메타데이터에 포함시키지 않을 수 있다. 또한, 단말(100)은, 콘텐트를 재생하는 중에 또 다른 외부 기기의 연결을 감지하는 경우, 연결이 감지된 또 다른 외부 기기를 더 고려하여, 소정 구간에 대응하는 메타데이터를 생성할 수도 있다.
본 발명의 일 실시예에 따른 단말(100)은, 영상 처리를 통해 생성된 메타데이터를 콘텐트 자체에 삽입할 수도 있고, 콘텐트와 분리하여 별도의 메타데이터 파일로 관리할 수도 있다.
단계 730에서, 본 발명의 일 실시예에 따른 단말(100)은, 콘텐트의 재생을 시작할 수 있다. 단계 740에서, 단말(100)은 콘텐트의 소정 구간에 대응하는 메타데이터를 이용하여, 제어 정보를 확인할 수 있다. 즉, 단말(100)은, 콘텐트를 재생하면서, 기 생성된 소정 구간에 대응하는 메타데이터를 확인할 수 있는 것이다.
본 발명의 일 실시예에 따른 단말(100)은 메타데이터에 포함된 제어 정보에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기(200)를 선택하고, 선택된 외부 기기(200)가 수행해야 하는 기능 정보를 확인할 수 있다.
단계750에서, 단말(100)은 콘텐트의 소정 구간에 대응하는 메타데이터에 포함된 제어 정보를 이용하여, 제어 명령을 생성할 수 있다. 예를 들어, 단말(100)은 제어 정보에 포함된 적어도 하나의 외부 기기(200)가 수행해야 하는 기능 정보를 외부 기기(200)의 제어 프로토콜에 따른 제어 명령으로 변환할 수 있다.
단계 760에서, 단말(100)은 외부 기기(200)로 제어 명령을 전송할 수 있다. 본 발명의 일 실시예에 따른 제어 명령은, 외부 기기(200)가 수행해야 하는 기능 정보(예컨대, 사운드 출력 등), 외부 기기(200)가 기능을 수행해야 하는 시점 정보(예컨대, 1분 후 등) 등을 포함할 수 있다.
단계 770에서, 단말(100)은 외부 기기(200)와 연동하여 콘텐트의 소정 구간을 재생할 수 있다. 즉, 단말(100)이 콘텐트의 소정 구간을 재생할 때, 외부 기기(200)도 제어 명령을 수행할 수 있다[S780].
도 8은 영상 처리 알고리즘의 일례를 나타내는 도면이다.
본 발명의 일 실시예에 따른 단말(100)은, 기본적으로 장면으로 표현될 수 있는 비디오 클립을 샷 단위로 분할하고, 매 샷 마다 키 프레임을 얻은 후, 장면 내의 여러 키 프레임에서 평균 색상 히스토그램(average color histogram), 평균 밝기(average brightness), 평균 에지 히스토그램(average edge histogram), 평균 샷 시간(average shot duration), 점진적 샷 변화율(gradual change rate)의 5가지 특징을 추출할 수 있다.
색상은 비디오의 내용을 표현하는 가장 기본적인 특징이며, 특정 감정을 나타내는 데도 효과적이다. 예를 들어, 따뜻한 영상의 경우 주로 붉은 성분의 요소가 많고, 찬 영상의 경우에는 청색 성분의 요소가 많다. 비디오의 경우에도 일반적으로 “action” 장면에서는 적색, 보라색 등의 색상이 “quietness” 장면에서는 청색, 녹색, 백색 등의 색상이 포함되는 경우가 많다.
밝은 영상은 가벼운 느낌, 행복한 느낌 등을 표현하고, 반대로 어두운 영상은 딱딱하고 무거우며 침울한 느낌을 표현한다. 비디오에서도 “quietness” 장면은 주로 밝은 톤의 정보가 포함되는 경우가 많다.
우울한 영상은 영상 전체가 뭉개진(Blurring) 것 같이 주요한 에지의 개수가 적고, 유쾌한 분위기의 영상은 상대적으로 주요한 에지의 개수가 많다.
“action”, “excitement” 등의 장면은 일반적으로 빠르게 샷이 변화하며, “quietness”, “relaxation”, “happiness” 등의 장면은 샷의 길이가 길고 샷 내의 변화도 심하지 않다.
비디오에서 점진적 변화에 의한 샷의 경계는 특정한 감성을 불러 일으키는 경우가 있다. “quietness” 장면에서는 디졸브(dissolve) 와 같은 점진적 샷의 변화 등을 포함하는 경우가 많다.
따라서, 본 발명의 일 실시예에 의한 단말(100)은, 추출된 5가지 특징(평균 색상 히스토그램(average color histogram), 평균 밝기(average brightness), 평균 에지 히스토그램(average edge histogram), 평균 샷 시간(average shot duration), 점진적 샷 변화율(gradual change rate))을 이용하여 각 장면에서 나타나는 감성을 분석할 수 있다.
본 발명의 또 다른 실시예에 의하면, 단말(100)은, 에지 검출(edge detection) 기법, 주파수 기반, 템플릿(template) 기반 기법 등을 통해 각 장면에서의 특징 요소를 추출할 수 있다. 예를 들어, 단말(100)은, 차량이 상하좌우 대칭성을 지닌다는 점, 차량의 아래 지역은 어두운 그림자가 진다는 점, 차량의 뒷부분은 대체로 사각 형태를 이루며 에지가 많이 존재한다는 점 등을 이용하여, 장면에 차량이 포함되어 있음을 인식할 수 있다.
한편, 본 발명의 일 실시예에 따른 단말(100)은, 위에서 설명된 영상 처리 알고리즘 이외에도 다양한 영상 처리 알고리즘을 이용하여, 메타데이터를 생성할 수 있다. 영상 처리 방법은 당업자에게 자명하므로, 구체적인 설명은 생략한다.
도 9는 본 발명의 일 실시예와 관련된 콘텐트의 소정 구간에 대응하는 메타데이터를 생성하는 방법을 설명하기 위한 순서도이다.
단계 905에서, 본 발명의 일 실시예에 따른 단말(100)은, 콘텐트의 재생을 시작할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 단말(100)은, 콘텐트의 재생 시작 명령이 사용자로부터 입력되는 경우, 콘텐트 재생 애플리케이션을 통해 콘텐트의 재생을 시작할 수 있다.
단계 910에서, 본 발명의 일 실시예에 따른 단말(100)은, 콘텐트의 제 n 구간에 대한 영상 처리를 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 단말(100)은, 콘텐트의 재생과 별도로 콘텐트의 소정 구간에 대한 영상 처리를 실시간으로 수행할 수 있다.
본 발명의 일 실시예에 따른 단말(100)은, 제 n 구간에 대한 영상 처리를 통해, 제 n 구간과 관련된 외부 기기(200) 정보 및 제 n 구간을 재생할 때 외부 기기(200)가 수행해야 하는 기능 정보 등을 추출할 수 있다.
단계 915에서, 본 발명의 일 실시예에 따른 단말(100)은 콘텐트의 제 n 구간에 대응하는 메타데이터를 생성할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 단말(100)은, 제 n 구간에 대한 영상 처리를 통해 추출된 제 n 구간과 관련된 외부 기기(200) 정보 및 제 n 구간을 재생할 때 외부 기기(200)가 수행해야 하는 기능 정보를 이용하여, 제 n 구간에 대응하는 메타데이터를 생성할 수 있다.
단계 920에서, 단말(100)은 제 n 구간에 대응하는 메타데이터에 포함된 제어 정보를 확인할 수 있다. 단계 925에서, 단말(100)은 외부 기기(200)의 제어 프로토콜에 따라, 제어 정보를 제어 명령으로 변환할 수 있다.
단계 930에서, 단말(100)은 제어 명령을 외부 기기(200)로 전송할 수 있다. 본 발명의 일 실시예에 의하면, 단말(100)은 근거리 통신을 통해 제어 명령을 외부 기기(200)로 전송할 수 있다.
단계 935에서, 단말(100)은 외부 기기(200)와 연동하여 콘텐트의 소정 구간을 재생할 수 있다. 이때, 단계 940에서, 외부 기기(200)도 제어 명령을 수행할 수 있다. 즉, 단말(100)과 외부 기기(200)는 함께 콘텐트의 소정 구간을 재생할 수 있다. 단계 920 내지 단계 940은 도 7의 단계 740 내지 단계 780에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 945에서, 단말(100)은, 콘텐트의 재생 완료 여부를 확인할 수 있다.
단계 950에서, 콘텐트의 재생이 완료되지 않은 경우, 단말(100)은 다음 구간(제 n+1 구간)에 대한 영상 처리를 수행하여, 다음 구간(제 n+1 구간)에 대응하는 메타데이터를 생성할 수 있다. 즉, 단계 910 내지 단계 945가 반복적으로 수행될 수 있다.
단계 955에서, 단말(100)은, 콘텐트의 재생이 완료된 경우, 사용자의 삭제 요청에 따라 콘텐트가 삭제되었는지 여부를 확인할 수 있다. 단계 960에서, 단말(100)은 콘텐트가 삭제되지 않은 경우, 단계 910 내지 단계 915를 통해 생성된 메타데이터를 저장할 수 있다. 이때, 단말(100)은 메타데이터를 콘텐트에 삽입하여 저장할 수도 있고, 별도의 메타데이터 파일로 저장할 수도 있다.
단계 965에서, 단말(100)은, 콘텐트의 재생이 완료되고, 콘텐트가 삭제된 경우, 단계 910 내지 단계 915를 통해 생성된 메타데이터를 삭제하여, 메모리를 효율적으로 관리할 수도 있다.
본 발명의 일 실시예에 의하면, 단말(100)은 콘텐트의 삭제 여부에 무관하게 콘텐트의 재생이 완료되는 경우, 영상 처리를 통해 생성된 메타데이터를 삭제할 수도 있다.
도 10은 본 발명의 일 실시예와 관련된 애플리케이션을 실행하는 방법을 설명하기 위한 순서도이다.
단계 1010에서, 단말(100)은 콘텐트를 재생하기 위한 제 1 애플리케이션을 실행할 수 있다.
단계 1020에서, 단말(100)은 제 1 애플리케이션을 통해서 콘텐트의 소정 구간에 대응하는 메타데이터를 획득할 수 있다. 예를 들어, 제 1 애플리케이션은 콘텐트에 삽입된 소정 구간에 대응하는 메타데이터를 추출할 수도 있고, 콘텐트에 대한 영상 처리를 수행하여 소정 구간에 대응하는 메타데이터를 생성할 수도 있다. 또한, 제 1 애플리케이션은 외부 서버에 소정 구간에 대응하는 메타데이터를 요청하여 수신할 수도 있다.
단계 1030에서, 단말(100)은 제 1 애플리케이션을 통해서 소정 구간에 대응하는 메타데이터에 포함된 제어 정보를 확인할 수 있다. 이때, 본 발명의 일 실시예에 따른 제 1 애플리케이션은, 소정 구간에 대응하는 메타데이터에 포함된 제어 정보를 제 2 애플리케이션으로 전송할 수 있다.
단계 1040에서, 단말(100)은 적어도 하나의 외부 기기(200)를 제어하기 위한 제 2 애플리케이션을 실행할 수 있다.
단계 1050에서, 단말(100)은 제 2 애플리케이션을 통해 제어 명령을 생성할 수 있다. 본 발명의 일 실시예에 따른 제 2 애플리케이션은, 적어도 하나의 외부 기기(200)의 제어 프로토콜 정보를 가지고 있을 수 있다. 따라서, 본 발명의 일 실시예에 따른 제 2 애플리케이션은, 제 1 애플리케이션으로부터 수신한 제어 정보를 적어도 하나의 외부 기기(200)의 제어 프로토콜에 따른 제어 명령으로 변환할 수 있다.
단계 1060에서, 단말(100)은, 적어도 하나의 외부 기기(200)로 제어 명령을 전송할 수 있다.
단계 1070에서, 단말(100)은 외부 기기(200)와 연동하여 콘텐트의 소정 구간을 재생할 수 있다. 즉, 단계 1080에서, 외부 기기(200)는, 단말(100)이 콘텐트의 소정 구간을 재생할 때 제어 명령을 수행할 수 있다.
본 발명의 일 실시예에 의하면, 제 1 애플리케이션과 제 2 애플리케이션은, 메인 애플리케이션과 서브 애플리케이션 관계일 수 있다, 또한, 제 1 애플리케이션과 제 2 애플리케이션은 하나의 애플리케이션 내에서 별도의 기능 블록으로 구현될 수도 있다.
도 11은 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 애니메이션 콘텐트를 재생하는 방법을 설명하기 위한 도면이다.
도 11(a)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(100)은 애니메이션 콘텐트를 재생할 수 있다. 이때, 단말(100)은 애니메이션 콘텐트의 제 n 구간에 대응하는 메타데이터를 획득하고, 획득된 메타데이터에 포함된 제어 정보를 확인할 수 있다.
예를 들어, 애니메이션 콘텐트의 제 n 구간에 X 캐릭터와 Y 캐릭터가 등장하는 경우, 제 n 구간에 대응하는 메타데이터에는, X 캐릭터 인형(1110) 및 Y 캐릭터 인형(1120)을 제어하라는 제어 정보가 포함되어 있을 수 있다.
본 발명의 일 실시예에 따른 단말(100)은 제어 정보에 기초하여, X 캐릭터 인형(1110) 및 Y 캐릭터 인형(1120) 각각에 제어 명령을 전송할 수 있다. 그리고 단말(100)은 X 캐릭터 인형(1110) 및 Y 캐릭터 인형(1120)과 함께 애니메이션 콘텐트의 제 n 구간을 재생할 수 있다.
도 11(b)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(100)은 애니메이션 콘텐트의 제 n+1 구간을 재생할 수 있다. 이때, 단말(100)은 제 n+1 구간에 대응하는 메타데이터를 획득하고, 획득된 메타데이터에 포함된 제어 정보를 확인할 수 있다. 애니메이션 콘텐트의 제 n+1 구간에 X 캐릭터와 Y 캐릭터 외에 Z 캐릭터가 더 등장하는 경우, 제 n+1 구간에 대응하는 메타데이터에는, X 캐릭터 인형(1110), Y 캐릭터 인형(1120), Z 캐릭터 인형(1130)을 제어하라는 제어 정보가 포함되어 있을 수 있다.
단말(100)은, 제어 정보에 기초하여, X 캐릭터 인형(1110), Y 캐릭터 인형(1120), Z 캐릭터 인형(1130) 각각에 제어 명령을 전송할 수 있다. 그리고 단말(100)은 X 캐릭터 인형(1110), Y 캐릭터 인형(1120), Z 캐릭터 인형(1130)과 함께 애니메이션 콘텐트의 제 n+1 구간을 재생할 수 있다.
따라서, 본 발명의 일 실시예에 의하면, 단말(100)은, 애니메이션 콘텐트 재생 시, 애니메이션 콘텐트의 각 장면에 등장하는 캐릭터 인형과 함께 애니메이션 콘텐트를 재생할 수 있게 된다.
도 12는 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 영화 콘텐트를 재생하는 방법을 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 단말(100)은 영화 콘텐트를 재생할 수 있다. 단말(100)은, 영화 콘텐트에 대한 영상 처리를 수행하여, 영화 콘텐트의 소정 구간에 대응하는 메타데이터를 생성할 수 있다. 예를 들어, 영화 콘텐트의 소정 구간에 회오리 바람이 몰아치는 장면이 포함되어 있는 경우, 단말(100)은 ‘에어컨(1210): 냉방 작동’, ‘오디오 시스템(1220): 음향 출력’, ‘태블릿 PC(1230): 강한 진동 발생, 음향 출력’, ‘로봇 청소기(1240): 주행 시작, 강한 흡입’ 등의 제어 정보를 포함하는 메타데이터를 생성할 수 있다. 이때, 에어컨(1210), 오디오 시스템(1220), 태블릿 PC(1230), 로봇 청소기(1240)는, 단말(100)에 미리 유무선으로 연결되어 있을 수 있다.
단말(100)은, 영화 콘텐트의 소정 구간을 재생하기 전에, 에어컨(1210), 오디오 시스템(1220), 태블릿 PC(1230), 로봇 청소기(1240) 각각으로 제어 명령을 전송할 수 있다. 제어 명령에는 각각의 외부 기기(1210 내지 1240)가 수행해야 하는 기능 정보가 포함되어있을 수 있다.
이후, 단말(100)이 회오리 바람이 몰아치는 장면을 재생할 때, 에어컨(1210), 오디오 시스템(1220), 태블릿 PC(1230), 로봇 청소기(1240) 각각은 단말(100)로부터 수신된 제어 명령을 수행할 수 있다. 따라서, 본 발명의 일 실시예에 따른 단말(100)은 외부 기기(200)와 연동하여 실감나는 영화 콘텐트 재생을 제공할 수 있다.
도 13은 단말에 연결된 외부 기기 목록을 표시하는 GUI의 일례를 나타내는 도면이다.
본 발명의 일 실시예에 따른 단말(100)은, 사용자의 요청에 따라, 단말(100)에 연결된 외부 기기의 정보(예컨대, 기기 식별 값, 기능 등)를 표시할 수 있다. 예를 들어, 단말(100)은 단말(100)에 연결된 외부 기기 목록을 GUI 형태로 표시할 수 있다.
도 13에 도시된 바와 같이, 단말(100)에 유무선으로 스피커(1310), 로봇 청소기(1320), 에어컨(1330)이 연결되어 있는 경우, 단말(100)은 스피커(1310), 로봇 청소기(1320), 에어컨(1330)의 식별 정보가 포함된 외부 기기 목록을 제공할 수 있다.
이때, 사용자는, 외부 기기 목록에서 콘텐트 재생 시 이용할 외부 기기와 이용하지 않을 외부 기기를 선택할 수 있다. 예를 들어, 사용자는 콘텐트 재생 시 스피커(1310)와 로봇 청소기(1320)는 이용하고, 에어컨(1330)은 이용하지 않는 것으로 설정할 수 있다.
이 경우, 단말(100)은 콘텐트 재생 시 사용자가 이용하기로 선택한 스피커(1310)와 로봇 청소기(1320)에만 제어 명령을 전송하고, 에어컨(1330)에는 제어 명령을 전송하지 않을 수 있다.
또한, 단말(100)이 영상 처리를 통해 메타데이터를 생성하는 경우에도, 단말(100)은, 스피커(1310)와 로봇 청소기(1320)에 관한 제어 정보만을 포함하는 메타데이터를 생성할 수 있다.
도 14는 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 콘텐트를 재생하는 방법을 설명하기 위한 순서도이다.
단계 1400에서, 단말(100)과 외부 기기(200)는 근거리 통신으로 연결되어 있을 수 있다. 예를 들어, 단말(100)과 외부 기기(200)는 와이파이 또는 블루투스로 연결될 수 있다.
단계 1410에서, 단말(100)은, 사용자의 입력에 따라 콘텐트 재생을 시작할 수 있다.
단계 1420에서, 단말(100)은 콘텐트의 소정 구간에 대응하는 메타데이터를 획득할 수 있다. 단계 1430에서, 단말(100)은 메타데이터를 이용하여 제어 정보를 확인할 수 있다. 즉, 단말(100)은, 콘텐트를 재생 중에 콘텐트의 소정 구간에 대응하는 메타데이터에 포함된 제어 정보를 확인할 수 있는 것이다. 단말(100)은, 메타데이터에 포함된 제어 정보에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기(200)를 선택하고, 선택된 외부 기기(200)가 수행해야 하는 기능 정보를 이용하여 제어 명령을 생성할 수 있다.
단계 1440에서, 단말(100)은 제어 명령을 외부 기기(200)로 전송할 수 있다. 이때, 단계 1450에서, 단말(100)은 콘텐트 재생을 중지할 수 있다. 즉, 제어 명령이 외부 기기(200)로 전송되는 경우, 단말(100)은 콘텐트의 재생을 중지할 수 있는 것이다.
본 발명의 일 실시예에 따른 제어 명령은, 콘텐트에 포함된 문제(question)를 적어도 하나의 외부 기기에서 표시하도록 하는 명령, 콘텐트에 포함된 설정 값으로 적어도 하나의 외부 기기(200)를 설정하도록 하는 명령 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 1460에서, 외부 기기(200)는 단말(100)로부터 수신된 제어 명령을 수행할 수 있다.
본 발명의 구현 예에 따라서, 단계 1450 및 단계 1460은 동시에 수행될 수도 있고, 단계 1450보다 단계 1460이 먼저 수행될 수도 있다.
단계 1470에서, 단말(100)은 외부 기기(200)로부터 제어 명령에 대응하는 메시지를 수신할 수 있다. 본 발명의 일 실시예에 따른 제어 명령에 대응하는 메시지는, 콘텐트에 포함된 문제(question)에 대한 응답 메시지, 설정 완료 메시지 등을 포함할 수 있다.
단계 1480에서, 단말(100)은, 외부 기기(200)로부터 수신된 메시지를 확인할 수 있다. 그리고 단계 1490에서, 단말(100)은 중지된 콘텐트를 이어서 재생할 수 있다. 즉, 단말(100)은 외부 기기(200)로부터 제어 명령에 대응하는 메시지가 수신됨에 따라, 중지된 콘텐트를 이어서 재생할 수 있다.
한편, 단계 1480에서, 단말(100)은 확인된 메시지 내용에 따라, 콘텐트를 이어서 재생하지 않고, 외부 기기(200)로 다시 제어 명령을 전송할 수도 있다.
이하에서는, 단말(100)이 외부 기기(200)와 연동하여, 콘텐트의 소정 구간을 재생하는 방법에 대해서 도 15 내지 도 17을 참조하여, 좀 더 자세히 살펴보기로 한다.
도 15는 본 발명의 일 실시예와 관련된 교육 콘텐트를 재생하는 화면을 나타내는 도면이다.
도 15(a)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(100)은 교육 콘텐트를 재생할 수 있다. 그리고 단말(100)은 교육 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하고, 메타데이터에 포함된 제어 정보를 확인할 수 있다. 예를 들어, 교육 콘텐트의 소정 구간이 수학 문제를 사용자가 직접 풀어보는 구간인 경우, 소정 구간에 대응하는 메타데이터에는, 사용자의 휴대 단말(1500)에서 수학 문제를 표시하라는 제어 정보가 포함되어 있을 수 있다.
이 경우, 단말(100)은, 교육 콘텐트의 소정 구간을 재생하는 데 필요한 외부 기기로서 사용자의 휴대 단말(1500)을 선택하고, 선택된 사용자의 휴대 단말(1500)로 수학 문제를 표시하라는 제어 명령을 전송할 수 있다. 그리고 단말(100)은 사용자의 휴대 단말(1500)로부터 응답 메시지가 수신될 때까지 교육 콘텐트의 재생을 중지할 수 있다.
도 15(b)에 도시된 바와 같이, 사용자의 휴대 단말(1500)은, 단말(100)로부터 수신된 제어 명령에 따라 수학 문제를 화면에 표시할 수 있다. 또한, 사용자의 휴대 단말(1500)은, 사용자로부터 수학 문제에 대한 답을 입력 받고, 입력된 답을 제어 명령에 대한 응답 메시지로 단말(100)에 전송할 수 있다.
본 발명의 일 실시예에 따른 단말(100)은 사용자의 휴대 단말(1500)로부터 수신된 응답 메시지(답)를 확인할 수 있다. 만일, 응답 메시지에 포함된 답이 정답인 경우, 단말(100)은 재생이 중지된 콘텐트를 이어서 재생할 수 있다. 한편, 응답 메시지에 포함된 답이 오답인 경우, 단말(100)은, 새로운 답을 요청하는 GUI를 화면에 표시하라는 제어 명령을 사용자의 휴대 단말(1500)로 전송할 수도 있다.
따라서, 본 발명의 일 실시예에 따른 단말(100)은, 단말(100)에 연결된 외부 기기(1500)와의 인터랙션을 통해 교육 콘텐트를 재생할 수 있다.
도 16은 본 발명의 일 실시예와 관련된 교육 콘텐트를 재생하는 화면을 나타내는 도면이다.
도 16(a)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(100)은 외국어 교육 콘텐트를 재생할 수 있다. 그리고 단말(100)은 외국어 교육 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하고, 메타데이터에 포함된 제어 정보를 확인할 수 있다. 예를 들어, 외국어 교육 콘텐트의 소정 구간이 사용자가 출력되는 음성을 잘 듣고 따라 하는 구간인 경우, 소정 구간에 대응하는 메타데이터에는, 사용자의 휴대 단말(1600)에서 사용자의 음성을 녹음하라는 제어 정보가 포함되어 있을 수 있다.
이 경우, 단말(100)은, 외국어 교육 콘텐트의 소정 구간을 재생하는 데 필요한 외부 기기로서 사용자의 휴대 단말(1600)을 선택하고, 선택된 사용자의 휴대 단말(1600)로 사용자의 음성을 녹음해서 전송하라는 제어 명령을 전송할 수 있다. 그리고 단말(100)은 사용자의 휴대 단말(1600)로부터 응답 메시지가 수신될 때까지 외국어 교육 콘텐트의 재생을 중지할 수 있다.
도 16(b)에 도시된 바와 같이, 사용자의 휴대 단말(1600)은 단말(100)로부터 수신된 제어 명령에 따라 사용자의 음성을 녹음하고, 녹음된 음성 파일을 제어 명령에 대한 응답 메시지로 단말(100)에 전송할 수 있다.
단말(100)은 사용자의 휴대 단말(1600)로부터 수신된 응답 메시지(녹음된 음성 파일)를 확인할 수 있다. 그리고 단말(100)은 응답 메시지에 포함된 음성과 단말(100)에서 출력된 음성을 비교할 수 있다. 예를 들어, 단말(100)은 음성의 패턴, 속도, 높낮이 등을 비교할 수 있다.
만일, 응답 메시지에 포함된 음성과 단말(100)에서 출력된 음성과의 차가 오차 범위 내인 경우, 단말(100)은 외국어 교육 콘텐트를 이어서 재생할 수 있다. 한편, 응답 메시지에 포함된 음성과 단말(100)에서 출력된 음성과의 차가 오차 범위 밖인 경우, 단말(100)은, 다시 음성을 녹음하라는 제어 명령을 사용자의 휴대 단말(1600)로 전송할 수도 있다.
도 17은 본 발명의 일 실시예와 관련된 외부 기기와 연동하여 요리 강좌 콘텐트를 재생하는 화면을 나타내는 도면이다.
도 17(a)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(100)은 요리 강좌 콘텐트를 재생할 수 있다. 그리고 단말(100)은 요리 강좌 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하고, 메타데이터에 포함된 제어 정보를 확인할 수 있다. 예를 들어, 요리 강좌 콘텐트의 소정 구간이 요리사가 오븐을 이용하기 위해 오븐의 온도, 시간, 파워 등을 설정하는 구간인 경우, 소정 구간에 대응하는 메타데이터에는, 사용자의 오븐(1700)의 설정 값을 요리사가 설정한 값으로 변경하라는 제어 정보가 포함되어 있을 수 있다.
이 경우, 단말(100)은, 요리 강좌 콘텐트의 소정 구간을 재생하는 데 필요한 외부 기기로서 사용자의 오븐(1700)을 선택하고, 선택된 사용자의 오븐(1700)으로 설정 값을 변경하라는 제어 명령을 전송할 수 있다. 그리고 단말(100)은 사용자의 오븐(1700)으로부터 응답 메시지가 수신될 때까지 요리 강좌 콘텐트의 재생을 중지할 수 있다.
도 17(b)에 도시된 바와 같이, 사용자의 오븐(1700)은, 단말(100)로부터 수신된 제어 명령에 따라 온도, 시간, 파워 등의 설정 값을 요리사가 설정한 값으로 변경할 수 있다. 그리고 사용자의 오븐(1700)은, 설정 완료 메시지를 제어 명령에 대한 응답 메시지로 단말(100)에 전송할 수 있다.
단말(100)은 사용자의 휴대 단말(1600)로부터 수신된 응답 메시지(설정 완료 메시지)를 확인할 수 있다. 그리고 단말(100)은 요리 강좌 콘텐트를 이어서 재생할 수 있다. 즉, 단말(100)은 요리사가 오븐을 설정하는 장면 이후 구간부터 다시 요리 강좌 콘텐트를 재생할 수 있다.
도 18은 본 발명의 또 다른 실시예와 관련된 콘텐트 재생 시스템을 나타내는 도면이다.
도 18에 도시된 바와 같이, 본 발명의 일 실시예에 따른 콘텐트 재생 시스템은, 단말(100) 및 외부 기기(200) 이외에 중계기(gateway)(300)를 더 포함할 수 있다.
단말(100) 및 외부 기기(200)에 대한 설명은 도 1 의 설명 부분과 중복되므로 생략하고, 중계기(gateway)(300)에 대해서만 살펴보기로 한다.
본 발명의 일 실시예에 따른 중계기(gateway)(300)는 홈 게이트웨이, 무선 중계 기지국 등을 포함할 수 있다. 예를 들어, 중계기(gateway)(300)는 인터넷 공유 기능을 갖는 유무선 인터넷 공유기일 수 있다. 또한, 중계기(gateway)(300)는 무선과 유선을 연동하는 기능을 갖는 액세스 포인트(Access Point) 또는 액세스 포인트와 인터넷 공유 기능을 갖는 무선 공유기일 수 있다.
본 발명의 일 실시예에 따른 중계기(gateway)(300)는 단말(100)과 유무선 통신으로 연결될 수 있다. 또한, 중계기(gateway)(300)는 외부 기기(200)와도 유무선으로 연결될 수 있다.
본 발명의 일 실시예에 따른 중계기(gateway)(300)는 콘텐트에 대한 영상 처리를 수행하여, 콘텐트에 대한 메타데이터를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따른 중계기(gateway)(300)는 외부 기기(200)의 제어 프로토콜 정보를 관리할 수 있으며, 외부 기기(200)의 제어 프로토콜에 따라 제어 명령을 생성할 수 있다. 중계기(gateway)(300)를 이용하여 단말(100)이 콘텐트를 재생하는 방법에 관하여 도 19 및 도 20을 참조하여, 좀 더 살펴보기로 한다.
도 19는 본 발명의 일 실시예와 관련된 게이트웨이를 통해 메타데이터를 획득하는 방법을 설명하기 위한 순서도이다.
단계 1900에서, 단말(100)은 재생하고자 하는 콘텐트를 메타데이터 생성 장치(400)로 전송하면서, 콘텐트에 대한 메타데이터를 요청할 수 있다. 본 발명의 일 실시예에 따른 메타데이터 생성 장치(400)는 중계기(gateway)(300)일 수도 있고, 중계기(gateway)(300)와 별도로 메타데이터만을 생성하는 장치일 수도 있다.
단계 1910에서, 본 발명의 일 실시예에 따른 메타데이터 생성 장치(400)는 콘텐트에 대한 영상 처리를 수행할 수 있다. 이때, 단말(100)은 다양한 영상 처리 알고리즘을 이용하여, 콘텐트에 대한 영상 처리를 수행할 수 있다(이에 관하여는 도 8 참조).
본 발명의 일 실시예에 따른 메타데이터 생성 장치(400)는, 콘텐트에 대한 영상 처리를 통해 콘텐트의 소정 구간에서 나타나는 분위기, 감성, 디바이스 등을 인식할 수 있다. 본 발명의 일 실시예에 따른 메타데이터 생성 장치(400)는 콘텐트에 포함된 오디오 데이터를 분석할 수도 있다.
단계 1920에서, 본 발명의 일 실시예에 따른 메타데이터 생성 장치(400)는 영상 처리 수행 결과에 기반하여, 콘텐트의 각각의 구간에 대응하는 메타데이터를 생성할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 메타데이터 생성 장치(400)는, 제 n 구간에 대한 영상 처리를 통해 추출된 제 n 구간과 관련된 외부 기기(200) 정보 및 제 n 구간을 재생할 때 외부 기기(200)가 수행해야 하는 기능 정보 등을 이용하여, 제 n 구간에 대응하는 메타데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 메타데이터 생성 장치(400)는, 영상 처리를 통해 생성된 메타데이터를 콘텐트 자체에 삽입할 수도 있고, 콘텐트와 분리하여 별도의 메타데이터 파일로 관리할 수도 있다.
단계 1930에서, 메타데이터 생성 장치(400)는 생성된 메타데이터를 단말(100)로 전송할 수 있다.
단계 1940에서, 단말(100)은 콘텐트의 소정 구간에 대응하는 메타데이터를 이용하여, 제어 정보를 확인할 수 있다. 즉, 단말(100)은, 콘텐트를 재생하면서, 소정 구간에 대응하는 메타데이터를 확인할 수 있는 것이다.
단계 1950에서, 단말(100)은 제어 정보에 기초하여, 콘텐트의 소정 구간을 재생하는 데 필요한 외부 기기(200)를 선택할 수 있다. 단계 1960에서, 단말(100)은 선택된 외부 기기(200)의 제어 프로토콜에 따라 제어 명령을 생성할 수 있다.
단계 1970에서, 단말(100)은 외부 기기(200)로 제어 명령을 전송할 수 있다. 이때, 본 발명의 일 실시예에 의하면, 단말(100)은 근거리 통신을 통해 제어 명령을 외부 기기(200)로 전송할 수 있다.
단계 1980에서, 단말(100)은, 외부 기기(200)와 연동하여 콘텐트의 소정 구간을 재생할 수 있다. 이때, 단계 1990에서, 외부 기기(200)도 제어 명령을 수행할 수 있다. 즉, 단말(100)과 외부 기기(200)는 함께 콘텐트의 소정 구간을 재생할 수 있는 것이다.
도 20은 본 발명의 일 실시예와 관련된 게이트웨이를 통해 제어 명령을 변환하는 방법을 설명하기 위한 순서도이다.
단계 2000에서, 단말(100)은 중계기(gateway)(300)와 유선 또는 무선으로 연결될 수 있다. 단계 2010에서, 외부 기기(200)도 중계기(gateway)(300)와 유선 또는 무선으로 연결될 수 있다.
단계 2020에서, 단말(100)은 콘텐트의 재생을 시작할 수 있다.
단계 2030에서, 단말(100)은, 콘텐트의 소정 구간에 대응하는 메타데이터를 획득할 수 있다. 예를 들어, 단말(100)은, 콘텐트에 삽입된 소정 구간에 대응하는 메타데이터를 추출할 수도 있고, 콘텐트에 대한 영상 처리를 수행하여 소정 구간에 대응하는 메타데이터를 생성할 수도 있다. 또한, 단말(100)은, 외부 서버에 소정 구간에 대응하는 메타데이터를 요청하여 수신할 수도 있다.
단계 2040에서, 단말(100)은 소정 구간에 대응하는 메타데이터에 포함된 제어 정보를 확인할 수 있다. 예를 들어, 콘텐트의 소정 구간이 구급차가 사이렌을 울리며 지나가는 장면인 경우, 메타데이터에는, ‘디바이스 종류: 로봇 청소기, 수행해야 하는 기능: 앰블란스 사운드 출력 및 이동, 추가 데이터: 앰블란스 사운드 데이터’ 등의 제어 정보가 포함되어 있을 수 있다.
단계 2050에서, 단말(100)은 확인된 제어 정보를 중계기(gateway)(300)로 전송할 수 있다.
단계 2060에서, 중계기(gateway)(300)는, 수신된 제어 정보를 확인하고, 소정 구간을 재생하는 데 필요한 외부 기기(200)를 선택할 수 있다. 그리고 중계기(gateway)(300)는, 선택된 외부 기기(200)의 제어 프로토콜에 따라 수신된 제어 정보를 제어 명령으로 변환할 수 있다.
단계 2070에서, 중계기(gateway)(300)는, 제어 명령을 외부 기기(200)로 전송할 수 있다. 단계 2080에서, 단말(100)은 외부 기기(200)와 연동하여 콘텐트의 소정 구간을 재생할 수 있다. 이때, 단계 2090에서, 외부 기기(200)도 제어 명령을 수행할 수 있다. 즉, 단말(100)과 외부 기기(200)는 함께 콘텐트의 소정 구간을 재생하거나, 상호 인터랙션을 통해 콘텐트의 소정 구간을 재생할 수 있다.
도 21은 본 발명의 일 실시예와 관련된 단말을 설명하기 위한 블록 구성도이다.
도 21에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(100)은 통신부(110), 출력부(120), 사용자 입력부(130), 제어부(140), 메모리(150)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 단말(100)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 단말(100)은 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(110)는, 단말(100)과 적어도 하나의 외부 기기(200) 또는 단말(100)과 중계기(gateway)(300) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(110)는, 이동 통신부(111), 근거리 통신부(112), 유선 통신부(113), 무선 통신부(114)를 포함할 수 있다.
본 발명의 일 실시예예 따른 근거리 통신 기술에는 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
통신부(110)는, 단말(100)과 적어도 하나의 외부 기기(200)를 연결하는 게이트웨이(300)로 콘텐트를 전송하면서 콘텐트의 소정 구간에 대응하는 메타데이터를 요청할 수 있다. 그리고 통신부(110)는 게이트웨이(300)에서 콘텐트를 영상 처리하여 생성한 콘텐트의 소정 구간에 대응하는 메타데이터를 게이트웨이(300)로부터 수신할 수 있다.
통신부(110)는, 단말(100)과 적어도 하나의 외부 기기(200)를 연결하는 게이트웨이(300)를 통해 적어도 하나의 외부 기기(200)로 제어 명령을 전송할 수도 있다.
출력부(120)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(121)와 음향 출력부(122), 진동 모터(123) 등이 포함될 수 있다.
디스플레이부(121)는 단말(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(121)는, 콘텐트의 재생 화면, 단말(100)에 연결된 외부 기기 목록, 메타데이터를 편집하기 위한 GUI 등을 표시할 수 있다.
한편, 디스플레이부(121)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(121)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 단말(100)의 구현 형태에 따라 단말(100)은 디스플레이부(121)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(121)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(122)는 통신부(110)로부터 수신되거나 메모리(150)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향 출력부(122)는 단말(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력할 수 있다. 이러한 음향 출력부(122)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(123)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(123)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(123)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
사용자 입력부(130)는, 사용자가 단말(100)을 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(130)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
제어부(140)는, 통상적으로 단말(100)의 전반적인 동작을 제어한다. 즉, 제어부(140)는, 메모리(150)에 저장된 프로그램들을 실행함으로써, 통신부(110), 출력부(120), 사용자 입력부(130), 메모리(150) 등을 전반적으로 제어할 수 있다.
제어부(140)는 애플리케이션 프로세서(미도시) 및 커뮤니케이션 프로세서(미도시)를 포함할 수도 있다. 애플리케이션 프로세서는 메모리(150)에 저장된 각종 애플리케이션의 실행을 제어할 수 있다. 커뮤니케이션 프로세서는 다양한 통신 기능을 제어할 수 있다.
제어부(140)는 콘텐트의 소정 구간을 재생하기 전에 적어도 하나의 외부 기기(200)와 연결을 형성할 수 있다. 즉, 본 발명의 일 실시예에 따른 단말(100)은, 외부 기기(200)를 미리 검색함으로써, 콘텐트의 소정 구간을 버퍼링 없이 빠르게 재생할 수 있다.
메모리(150)는 제어부(140)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예를 들어, 멀티미디어 콘텐트, 외부 기기(200)에 관한 기기 정보, 외부 기기(200)와 관련된 애플리케이션, 외부 기기(200)의 제어 프로토콜 정보 등)을 저장할 수도 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 단말(100)은 인터넷(internet)상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
메모리(150)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(151), 외부 기기 등록 모듈(152), 메타데이터 관리 모듈(153), 콘텐트 재생 모듈(154), 제어 명령 변환 모듈(155), 애플리케이션 모듈(156) 등으로 분류될 수 있으나, 이에 한정되는 것은 아니다.
UI 모듈(151)은, 애플리케이션 별로 외부 기기(200)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. UI 모듈(151)은 터치 스크린 모듈을 포함할 수 있다. 터치 스크린 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(140)로 전달할 수 있다. 터치 스크린 모듈은 별도의 컨트롤러(H/W)로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 상기 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)을 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 즉, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
“핀치(pinch)”는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대값이나 축소값이 결정된다.
“스와이프(swipe)”는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
메모리(150)는, 음성 인식 엔진을 이용하여 사용자의 음성을 인식하고, 인식된 음성을 제어부(140)로 전달하기 위한 음성 인식 모듈(미도시)을 포함할 수도 있다.
외부 기기 등록 모듈(152)은, 제 1 근거리 통신을 통해 외부 기기(200)에 관한 기기 정보를 수신할 수 있다. 외부 기기(200)에 관한 기기 정보는, 외부 기기(200)의 식별 정보, 제 2 근거리 통신 연결을 위한 연결 정보, 외부 기기(200)의 종류, 외부 기기(200)에 의해 제공되는 기능(capability), 카테고리 및 외부 기기(200)의 제어에 이용되는 프로토콜 정보, 외부 기기(200)를 제어하기 위한 애플리케이션 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
외부 기기 등록 모듈(152)은, 외부 기기(200)와 관련된 애플리케이션이 단말(100)에 설치되어 있지 않은 경우, 외부 기기(200)와 관련된 애플리케이션을 다운로드하여 설치할 수 있다.
외부 기기 등록 모듈(152)은, 외부 기기(200)에 관한 기기 정보를 외부 기기 DB에 저장하고, 관리할 수 있다. 외부 기기 등록 모듈(152)은, 외부 기기(200)에 관한 기기 정보가 변경되는 경우, 외부 기기 DB에 저장된 기기 정보를 갱신할 수 있다.
메타데이터 관리 모듈(153)은 콘텐트의 소정 구간에 대응하는 메타데이터를 획득할 수 있다. 예를 들어, 메타데이터 관리 모듈(153)은, 콘텐트에 삽입된 메타데이터를 추출할 수도 있고, 콘텐트의 소정 구간에 대응하는 메타데이터를 외부로부터 수신할 수도 있고, 콘텐트에 대한 영상 처리를 수행하여, 콘텐트의 소정 구간에 대한 메타데이터를 생성할 수도 있다. 이때, 메타데이터 관리 모듈(153)은, 단말(100)에 연결된 외부 기기의 종류를 고려하여, 소정 구간에 대응하는 메타데이터를 생성할 수 있다. 또한, 메타데이터 관리 모듈(153)은, 콘텐트를 재생하는 중에 또 다른 외부 기기의 연결이 감지되는 경우, 연결이 감지된 또 다른 외부 기기를 더 고려하여, 소정 구간에 대응하는 메타데이터를 생성할 수도 있다.
메타데이터 관리 모듈(153)은, 콘텐트의 재생이 완료되거나 콘텐트가 삭제되는 경우, 메모리(150)를 효율적으로 관리하기 위해, 생성된 메타데이터를 삭제할 수 있다.
콘텐트 재생 모듈(154)은 사용자의 요청에 따라 콘텐트를 재생할 수 있다. 이때, 콘텐트 재생 모듈(154)은 외부 기기(200)와 연동하여 콘텐트의 소정 구간을 재생할 수 있다. 본 발명의 일 실시예에 따른 콘텐트는 교육 콘텐트, 영화 콘텐트, 방송 콘텐트, 및 게임 콘텐트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
콘텐트 재생 모듈(154)은 제어 명령이 적어도 하나의 외부 기기(200)로 전송되는 경우, 콘텐트의 재생을 중지하고, 적어도 하나의 외부 기기(200)로부터 제어 명령에 대응하는 메시지가 수신됨에 따라, 중지된 콘텐트를 이어서 재생할 수도 있다.
한편, 콘텐트 재생 모듈(154)은, 콘텐트의 소정 구간에 대응하는 메타데이터에 포함된 제어 정보를 확인하고, 확인된 제어 정보를 제어 명령 변환 모듈(155)로 전송할 수 있다.
제어 명령 변환 모듈(155)은 수신된 제어 정보에 기초하여, 단말(100)에 연결된 적어도 하나의 외부 기기 중 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기(200)를 선택할 수 있다. 그리고 제어 명령 변환 모듈(155)은, 선택된 적어도 하나의 외부 기기(200)의 제어 프로토콜에 따라, 수신된 제어 정보를 제어 명령으로 변환할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 제어 명령 변환 모듈(155)은 각각의 외부 기기(200)를 제어하기 위한 애플리케이션에 포함되어 있을 수도 있다. 즉, 각각의 외부 기기(200)를 제어하기 위한 애플리케이션은, 각각의 외부 기기(200)에 대한 제어 프로토콜 정보를 가지고 있을 수 있으며, 제어 프로토콜 정보를 이용하여 각각의 외부 기기(200)가 읽을 수 있는 제어 명령을 생성할 수 있다.
애플리케이션 모듈(156)은, 애플리케이션 DB 및 외부 기기 DB와 연결될 수 있다. 애플리케이션 DB에는, 적어도 하나의 외부 기기(200)를 제어하기 위한 적어도 하나의 애플리케이션이 저장될 수 있다. 예를 들어, 애플리케이션 DB에는, 의료 기기를 제어하기 위한 애플리케이션, 운동 기구를 제어하기 위한 애플리케이션, 홈 게이트웨이를 제어하기 위한 애플리케이션, CE 기기를 제어하기 위한 애플리케이션 등이 저장될 수 있다. 외부 기기 DB에는 외부 기기(200)에 관한 기기 정보 등이 저장될 수 있다.
애플리케이션 모듈(165)은 외부 기기(200)를 제어하기 위한 애플리케이션을 이용하여, 외부 기기(200)를 제어할 수 있다. 즉, 애플리케이션 모듈(165)은 외부 기기(200)를 제어하기 위한 제어 명령을 외부 기기(200)로 전송할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (40)

  1. 단말이, 콘텐트를 재생하는 방법에 있어서,
    상기 콘텐트에 대한 영상 처리를 수행하여, 상기 콘텐트의 특징을 추출하는 단계;
    상기 추출된 콘텐트의 특징에 기초하여, 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하는 단계;
    상기 획득된 메타데이터에 기초하여, 상기 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 단계;
    상기 선택된 적어도 하나의 외부 기기로 제어 명령을 전송하는 단계; 및
    상기 제어 명령이 전송된 적어도 하나의 외부 기기와 연동하여 상기 콘텐트의 소정 구간을 재생하는 단계를 포함하며
    상기 메타데이터를 획득하는 단계는,
    단말에 연결된 외부 기기의 종류를 고려하여, 상기 소정 구간에 대응하는 메타데이터를 획득하는 단계;
    상기 콘텐트를 재생하는 중에 또 다른 외부 기기의 연결을 감지하는 단계; 및
    상기 또 다른 외부 기기의 연결을 더 고려하여, 상기 소정 구간에 대응하는 메타데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  2. 제 1 항에 있어서, 상기 콘텐트 재생 방법은,
    상기 콘텐트를 재생하기 위한 제 1 애플리케이션을 실행하는 단계; 및
    상기 적어도 하나의 외부 기기를 제어하기 위한 제 2 애플리케이션을 실행하는 단계를 더 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  3. 제 2 항에 있어서, 상기 제 1 애플리케이션은,
    상기 획득된 메타데이터에 포함된 제어 정보를 상기 제 2 애플리케이션으로 전송하고,
    상기 제 2 애플리케이션은, 상기 적어도 하나의 외부 기기의 제어 프로토콜에 따라 상기 제어 정보를 상기 제어 명령으로 변환하는 것을 특징으로 하는 콘텐트 재생 방법.
  4. 제 1 항에 있어서, 상기 콘텐트는,
    교육 콘텐트, 영화 콘텐트, 방송 콘텐트, 및 게임 콘텐트 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  5. 제 1 항에 있어서, 상기 메타데이터는,
    상기 소정 구간에 관한 정보, 상기 적어도 하나의 외부 기기의 식별 정보, 및 상기 적어도 하나의 외부 기기가 수행해야 하는 기능 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  6. 제 1 항에 있어서, 상기 메타데이터를 획득하는 단계는,
    상기 콘텐트에 삽입된 상기 메타데이터를 추출하는 단계를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  7. 제 1 항에 있어서, 상기 메타데이터를 획득하는 단계는,
    상기 콘텐트와 별도로 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 외부로부터 수신하는 단계를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 1 항에 있어서, 상기 콘텐트 재생 방법은,
    상기 콘텐트의 재생이 완료되는 경우, 상기 획득된 메타데이터를 삭제하는 단계를 더 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  12. 제 1 항에 있어서, 상기 콘텐트 재생 방법은,
    상기 콘텐트가 삭제되는 경우, 상기 획득된 메타데이터를 삭제하는 단계를 더 포함하는 것을 특징으로 하는 콘텐트 재생 방법
  13. 제 1 항에 있어서, 상기 메타데이터를 획득하는 단계는,
    상기 단말과 상기 적어도 하나의 외부 기기를 연결하는 게이트웨이로 상기 콘텐트를 전송하면서 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 요청하는 단계; 및
    상기 게이트웨이에서 상기 콘텐트를 영상 처리하여 생성한 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 상기 게이트웨이로부터 수신하는 단계를 더 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  14. 제 1 항에 있어서, 상기 콘텐트 재생 방법은,
    상기 콘텐트의 소정 구간을 재생하기 전에 상기 적어도 하나의 외부 기기와 연결을 형성하는 단계를 더 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  15. 제 14 항에 있어서, 상기 연결을 형성하는 단계는,
    상기 적어도 하나의 외부 기기와 근거리 통신 연결을 수행하는 단계를 포함하고,
    상기 근거리 통신은,
    무선랜, 블루투스, WFD, UWB, 및 Zigbee 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  16. 제 1 항에 있어서, 상기 선택하는 단계는,
    상기 단말에 연결된 적어도 하나의 외부 기기 중 상기 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 단계를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  17. 제 16 항에 있어서, 상기 콘텐트 재생 방법은,
    상기 단말에 연결된 적어도 하나의 외부 기기 목록을 표시하는 단계를 더 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  18. 제 1 항에 있어서, 상기 제어 명령을 전송하는 단계는,
    상기 단말과 상기 적어도 하나의 외부 기기를 연결하는 게이트웨이를 통해 상기 적어도 하나의 외부 기기로 상기 제어 명령을 전송하는 단계를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  19. 제 18 항에 있어서, 상기 게이트웨이는,
    상기 적어도 하나의 외부 기기의 제어 프로토콜에 따라 상기 제어 명령을 변환하는 것을 특징으로 하는 콘텐트 재생 방법.
  20. 제 1 항에 있어서, 상기 콘텐트의 소정 구간을 재생하는 단계는,
    상기 제어 명령이 상기 적어도 하나의 외부 기기로 전송되는 경우, 상기 콘텐트의 재생을 중지하는 단계; 및
    상기 적어도 하나의 외부 기기로부터 상기 제어 명령에 대응하는 메시지가 수신됨에 따라, 상기 중지된 콘텐트를 이어서 재생하는 단계를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  21. 제 20 항에 있어서,
    상기 제어 명령은,
    상기 콘텐트에 포함된 문제(question)를 상기 적어도 하나의 외부 기기에서 표시하도록 하는 명령을 포함하고,
    상기 제어 명령에 대응하는 메시지는,
    상기 콘텐트에 포함된 문제(question)에 대한 응답 메시지를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  22. 제 20 항에 있어서,
    상기 제어 명령은,
    상기 콘텐트에 포함된 설정 값으로 상기 적어도 하나의 외부 기기를 설정하도록 하는 명령을 포함하고,
    상기 제어 명령에 대응하는 메시지는,
    상기 설정에 대한 완료 메시지를 포함하는 것을 특징으로 하는 콘텐트 재생 방법.
  23. 적어도 하나의 프로그램을 저장하는 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 콘텐트를 재생하는 제어부를 포함하고,
    상기 적어도 하나의 프로그램은,
    상기 콘텐트에 대한 영상 처리를 수행하여, 상기 콘텐트의 특징을 추출하는 단계;
    상기 추출된 콘텐트의 특징에 기초하여, 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 획득하는 단계;
    상기 획득된 메타데이터에 기초하여, 상기 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 단계;
    상기 선택된 적어도 하나의 외부 기기로 제어 명령을 전송하는 단계; 및
    상기 제어 명령이 전송된 적어도 하나의 외부 기기와 연동하여 상기 콘텐트의 소정 구간을 재생하는 단계;
    를 실행하는 명령어들을 포함하며,
    상기 제어부는,
    단말에 연결된 외부 기기의 종류를 고려하여, 상기 소정 구간에 대응하는 메타데이터를 획득하고,
    상기 콘텐트를 재생하는 중에 또 다른 외부 기기의 연결을 감지하고 상기 또 다른 외부 기기의 연결을 더 고려하여, 상기 소정 구간에 대응하는 메타데이터를 획득하는 것을 특징으로 하는 단말.
  24. 제 23 항에 있어서, 상기 제어부는,
    상기 콘텐트를 재생하기 위한 제 1 애플리케이션 및 상기 적어도 하나의 외부 기기를 제어하기 위한 제 2 애플리케이션을 실행하는 것을 특징으로 하는 단말.
  25. 제 24 항에 있어서, 상기 제 1 애플리케이션은,
    상기 획득된 메타데이터에 포함된 제어 정보를 상기 제 2 애플리케이션으로 전송하고,
    상기 제 2 애플리케이션은, 상기 적어도 하나의 외부 기기의 제어 프로토콜에 따라 상기 제어 정보를 상기 제어 명령으로 변환하는 것을 특징으로 하는 단말.
  26. 제 23 항에 있어서, 상기 메타데이터는,
    상기 소정 구간에 관한 정보, 상기 적어도 하나의 외부 기기의 식별 정보, 및 상기 적어도 하나의 외부 기기가 수행해야 하는 기능 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 단말.
  27. 제 23 항에 있어서, 상기 제어부는,
    상기 콘텐트에 삽입된 상기 메타데이터를 추출하는 것을 특징으로 하는 단말.
  28. 제 23 항에 있어서, 상기 단말은,
    상기 콘텐트와 별도로 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 외부로부터 수신하는 통신부를 더 포함하는 것을 특징으로 하는 단말.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 제 23 항에 있어서, 상기 제어부는,
    상기 콘텐트의 재생이 완료되는 경우, 상기 획득된 메타데이터를 삭제하는 것을 특징으로 하는 단말.
  33. 제 23 항에 있어서, 상기 제어부는,
    상기 콘텐트가 삭제되는 경우, 상기 획득된 메타데이터를 삭제하는 것을 특징으로 하는 단말.
  34. 제 23 항에 있어서, 상기 단말은,
    상기 단말과 상기 적어도 하나의 외부 기기를 연결하는 게이트웨이로 상기 콘텐트를 전송하면서 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 요청하고, 상기 게이트웨이에서 상기 콘텐트를 영상 처리하여 생성한 상기 콘텐트의 소정 구간에 대응하는 메타데이터를 상기 게이트웨이로부터 수신하는 통신부를 더 포함하는 것을 특징으로 하는 단말.
  35. 제 23 항에 있어서, 상기 제어부는,
    상기 콘텐트의 소정 구간을 재생하기 전에 상기 적어도 하나의 외부 기기와 연결을 형성하는 것을 특징으로 하는 단말.
  36. 제 23 항에 있어서, 상기 제어부는,
    상기 단말에 연결된 적어도 하나의 외부 기기 중 상기 콘텐트의 소정 구간을 재생하는 데 필요한 적어도 하나의 외부 기기를 선택하는 것을 특징으로 하는 단말.
  37. 제 36 항에 있어서, 상기 단말은,
    상기 단말에 연결된 적어도 하나의 외부 기기 목록을 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 단말.
  38. 제 23 항에 있어서, 상기 단말은,
    상기 단말과 상기 적어도 하나의 외부 기기를 연결하는 게이트웨이를 통해 상기 적어도 하나의 외부 기기로 상기 제어 명령을 전송하는 통신부를 더 포함하는 것을 특징으로 하는 단말.
  39. 제 23 항에 있어서, 상기 제어부는,
    상기 제어 명령이 상기 적어도 하나의 외부 기기로 전송되는 경우, 상기 콘텐트의 재생을 중지하고, 상기 적어도 하나의 외부 기기로부터 상기 제어 명령에 대응하는 메시지가 수신됨에 따라, 상기 중지된 콘텐트를 이어서 재생하는 것을 특징으로 하는 단말.
  40. 제 1 항의 콘텐트 재생 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020130025255A 2012-12-21 2013-03-08 콘텐트 재생 방법 및 이를 위한 단말 KR102071576B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201380067329.3A CN104885476A (zh) 2012-12-21 2013-12-18 用于再现内容的方法和终端
US14/132,907 US9210367B2 (en) 2012-12-21 2013-12-18 Method and terminal for reproducing content
PCT/KR2013/011793 WO2014098465A1 (en) 2012-12-21 2013-12-18 Method and terminal for reproducing content
EP13865570.9A EP2936824A4 (en) 2012-12-21 2013-12-18 METHOD AND DEVICE FOR REPRODUCING CONTENTS
US14/934,820 US9736422B2 (en) 2012-12-21 2015-11-06 Method and terminal for reproducing content
US15/664,437 US10499004B2 (en) 2012-12-21 2017-07-31 Method and terminal for reproducing content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120150931 2012-12-21
KR1020120150931 2012-12-21

Publications (2)

Publication Number Publication Date
KR20140081636A KR20140081636A (ko) 2014-07-01
KR102071576B1 true KR102071576B1 (ko) 2020-03-02

Family

ID=51732889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130025255A KR102071576B1 (ko) 2012-12-21 2013-03-08 콘텐트 재생 방법 및 이를 위한 단말

Country Status (5)

Country Link
US (3) US9210367B2 (ko)
EP (1) EP2936824A4 (ko)
KR (1) KR102071576B1 (ko)
CN (1) CN104885476A (ko)
WO (1) WO2014098465A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356165B1 (ko) * 2012-03-09 2014-01-24 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
JP6253250B2 (ja) * 2013-05-01 2017-12-27 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
US10334651B2 (en) * 2013-12-24 2019-06-25 Lg Electronics Inc. Mobile terminal and control method thereof
KR20150121889A (ko) * 2014-04-22 2015-10-30 에스케이플래닛 주식회사 재생 음악 관련 이미지 제공 장치 및 이를 이용한 방법
KR20160053462A (ko) * 2014-11-04 2016-05-13 삼성전자주식회사 단말장치 및 그 제어 방법
US10739737B2 (en) * 2015-09-25 2020-08-11 Intel Corporation Environment customization
CN105244048B (zh) * 2015-09-25 2017-12-05 小米科技有限责任公司 音频播放控制方法和装置
CN105376708B (zh) * 2015-10-09 2019-06-07 Oppo广东移动通信有限公司 一种蓝牙设备选择目标设备的连接方法及系统
MX2018004623A (es) 2015-10-17 2019-04-08 Halkey Roberts Corp Valvula desinfectable con vastago de valvula curvilineo.
KR102557735B1 (ko) * 2016-03-16 2023-07-20 삼성전자주식회사 전자 장치 및 그 동작 방법
KR102498714B1 (ko) * 2016-05-10 2023-02-13 삼성전자주식회사 콘텐트 제공을 위한 전자 장치 및 방법
KR102336565B1 (ko) * 2020-07-14 2021-12-07 (주)에스엘미디어 휴먼인터페이스(hid) 신호를 이용한 프로그램 및 주변 장치 제어방법
CN112506411A (zh) * 2020-12-07 2021-03-16 珠海格力电器股份有限公司 一种家电设备的显示控制方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP2011155532A (ja) * 2010-01-28 2011-08-11 Sharp Corp 体感効果再生装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269843B2 (en) * 2000-04-26 2007-09-11 Minolta Co., Ltd. Broadcasting system and media player
BRPI0416321A (pt) * 2003-11-10 2007-01-09 Thomson Licensing método e aparelho para proporcionar exibição dinámica de informação de conteúdo associada com um dispositivo em uma rede
JP4364217B2 (ja) * 2006-05-30 2009-11-11 株式会社東芝 映像再生装置、方法、プログラムおよび記録媒体
KR20080048308A (ko) 2006-11-28 2008-06-02 삼성전자주식회사 기본 장치와 확장 장치의 연동 장치 및 방법
JP4618291B2 (ja) * 2007-11-30 2011-01-26 ソニー株式会社 送信装置、受信装置および受信装置における操作情報送信方法
KR100990120B1 (ko) * 2008-05-06 2010-11-02 진재텍(주) 통합 인터넷 프로토콜 텔레비전 셋탑박스
KR101078641B1 (ko) * 2008-07-14 2011-11-01 명지대학교 산학협력단 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
JP5323413B2 (ja) 2008-07-25 2013-10-23 シャープ株式会社 付加データ生成システム
US20100018539A1 (en) * 2008-07-28 2010-01-28 Paul Andrew Brinkley Smokeless tobacco products and processes
KR20100061078A (ko) * 2008-11-28 2010-06-07 삼성전자주식회사 메타 데이터를 이용하는 컨텐츠 소비 방법 및 그 장치
JP2010187363A (ja) * 2009-01-16 2010-08-26 Sanyo Electric Co Ltd 音響信号処理装置及び再生装置
JP5577057B2 (ja) 2009-07-02 2014-08-20 ダイヤモンド電機株式会社 車載用充電装置
EP2499613A2 (en) * 2009-11-13 2012-09-19 Samsung Electronics Co., Ltd. Method and apparatus for managing content
US8422859B2 (en) * 2010-03-23 2013-04-16 Vixs Systems Inc. Audio-based chapter detection in multimedia stream
KR20120009536A (ko) * 2010-07-19 2012-02-02 엘지전자 주식회사 디스플레이장치 및 그의 제어 방법
JP5305493B2 (ja) * 2010-11-12 2013-10-02 パナソニック株式会社 サーバ、通信端末、およびそれらを備えた機器連携システム
US10057631B2 (en) 2011-02-11 2018-08-21 Sony Interactive Entertainment America Llc Interface for browsing and playing content over multiple devices
KR20120110594A (ko) 2011-03-30 2012-10-10 현대자동차주식회사 차량 내 실감 콘텐츠 제공 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP2011155532A (ja) * 2010-01-28 2011-08-11 Sharp Corp 体感効果再生装置

Also Published As

Publication number Publication date
WO2014098465A1 (en) 2014-06-26
US20160065885A1 (en) 2016-03-03
EP2936824A1 (en) 2015-10-28
US10499004B2 (en) 2019-12-03
US20140178034A1 (en) 2014-06-26
US9736422B2 (en) 2017-08-15
US20170332038A1 (en) 2017-11-16
KR20140081636A (ko) 2014-07-01
CN104885476A (zh) 2015-09-02
EP2936824A4 (en) 2016-08-03
US9210367B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
KR102071576B1 (ko) 콘텐트 재생 방법 및 이를 위한 단말
WO2020187086A1 (zh) 一种视频剪辑方法、装置、设备和存储介质
WO2016177296A1 (zh) 一种生成视频的方法和装置
TWI592021B (zh) 生成視頻的方法、裝置及終端
KR102071579B1 (ko) 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
CN106804000A (zh) 直播回放方法及装置
CN105488145B (zh) 网页内容的显示方法、装置及终端
CN105230005A (zh) 显示装置及其控制方法
TW201327226A (zh) 電子設備及其根據臉部表情提供心情服務的方法
KR20160024002A (ko) 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치
US20100103132A1 (en) Information processing apparatus, information processing method, and program
CN104958898A (zh) 游戏控制方法、装置及系统
US11445144B2 (en) Electronic device for linking music to photography, and control method therefor
CN107820131A (zh) 分享评论信息的方法及装置
KR101123370B1 (ko) 휴대단말용 객체기반 콘텐츠 제공방법 및 장치
JPWO2016136104A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6400293B2 (ja) 電子装置でコンテンツを制御する装置及びその方法
KR102186815B1 (ko) 컨텐츠 스크랩 방법, 장치 및 기록매체
CN106598432A (zh) 多媒体播放的方法和装置
US20120314043A1 (en) Managing multimedia contents using general objects
US20180088751A1 (en) Electronic apparatus and controlling method thereof
KR20150136314A (ko) 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
KR20210047112A (ko) 전자장치 및 그 제어방법
KR101738513B1 (ko) 동영상 미디어를 제공하기 위한 이동 단말기, 이를 포함한 시스템 및 그 제어 방법
JP2013232904A (ja) 画像処理装置、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant