WO2019198951A1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2019198951A1
WO2019198951A1 PCT/KR2019/003559 KR2019003559W WO2019198951A1 WO 2019198951 A1 WO2019198951 A1 WO 2019198951A1 KR 2019003559 W KR2019003559 W KR 2019003559W WO 2019198951 A1 WO2019198951 A1 WO 2019198951A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
electronic device
input
group
Prior art date
Application number
PCT/KR2019/003559
Other languages
English (en)
French (fr)
Inventor
김성현
김용덕
김건희
나준일
성진영
유영재
이상호
Original Assignee
삼성전자 주식회사
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 서울대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to US17/046,494 priority Critical patent/US11627383B2/en
Publication of WO2019198951A1 publication Critical patent/WO2019198951A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • 1 is a diagram schematically illustrating an embodiment.
  • FIG. 9 is a diagram for describing an example of generating summary image data, according to an exemplary embodiment.
  • the display 110 displays the video included in the broadcast signal received through the tuner 140 (FIG. 3) under the control of the processor 130 on the screen.
  • the display 110 may display content (for example, a video) input through the communication unit 150 or the input / output unit 170.
  • the display 110 may output an image stored in the memory 120 under the control of the processor 130.
  • the display 110 converts an image signal, a data signal, an OSD signal, a control signal, and the like processed by the processor 130 to generate a driving signal.
  • the display 110 may be implemented as a PDP, an LCD, an OLED, a flexible display, or a 3D display.
  • the display 110 may be configured as a touch screen and used as an input device in addition to the output device.
  • the option setting unit 132 may set or change a unit time for dividing original image data based on a user input. According to an embodiment, the option setting unit 132 may set a predetermined unit time as a default. In addition, the option setting unit 132 may set or change a unit time for dividing the original image data based on a user input.
  • the first section 801 is a section including the image sequences of c1 to c15
  • the second section (802) is c16.
  • the third section (before) 803 is a section including the image sequence of c31 to c45
  • the fourth section (grain) 804 is a section including the image sequence of c46 to c60. It may be an included section.
  • the electronic device 100 may set or change an option regarding section information based on a user input.
  • the electronic device 100 may display a user selection input regarding whether to include 10 image sequences for each input image group or a user interface 1402 requesting a user to directly input the number of input image sequences. Can be.
  • the processor 130 of FIG. 16 may be an example of the processor 130 of FIGS. 2 and 3.
  • the model updater 1320-5 may cause the data recognition model to be updated based on the evaluation of the recognition result provided by the recognition result provider 1320-4. For example, the model updater 1320-5 provides the model learning unit 1310-4 with the recognition result provided by the recognition result providing unit 1320-4 so that the model learner 1310-4 provides the recognition result.
  • the data recognition model can be updated.
  • the description "at least one of a1, a2 and a3” includes “a1”, “a2”, “a3”, “a1 and a2", “a1 and a3", “a2 and a3”, and One of “a1, a2 and a3” is represented.
  • the description “at least one of a1, at least one of a2 and at least one of a3” means “at least one of a1", "a2” It should be noted that "at least one of” and “at least one of a3” are not interpreted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 그 동작 방법이 제공된다. 전자 장치는, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 원본 영상 데이터를 복수의 영상 시퀀스로 분할하고, 복수의 영상 시퀀스 중 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정하고, 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여, 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고 선택된 영상 시퀀스를 하이라이트 영상 그룹에 추가하고, 하이라이트 영상 그룹에 포함된 영상 시퀀스를 이용하여 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성할 수 있다.

Description

전자 장치 및 그 동작 방법
다양한 실시 예들은, 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는, 원본 영상 데이터로부터 요약 영상 데이터를 생성하는 전자 장치 및 그 동작 방법에 관한 것이다.
디스플레이 장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 디스플레이 장치를 통하여 방송을 시청할 수 있다. 디스플레이 장치는 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
또한, 디지털 방송 기능에 더하여 다양한 컨텐츠를 제공하는 스마트 티브이가 제공되고 있다. 스마트 티브이는 사용자의 선택에 따라 수동적으로 동작하는 것이 아니라, 사용자의 조작 없이도 사용자가 원하는 것을 분석하여 제공하는 것을 목표로 한다.
최근, 방대한 영상 데이터를 자동으로 요약하여 사용자에게 요약된 영상 데이터를 제공하는 방법에 대한 연구가 요구되고 있다.
본 개시는, 영상 데이터를 자동으로 요약하는 전자 장치 및 그 동작 방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 측면에 따른 전자 장치는, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 원본 영상 데이터를 복수의 영상 시퀀스로 분할하고, 복수의 영상 시퀀스 중 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정하고, 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여, 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고 선택된 영상 시퀀스를 하이라이트 영상 그룹에 추가하고, 하이라이트 영상 그룹에 포함된 영상 시퀀스를 이용하여 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성할 수 있다.
일 측면에 따른 전자 장치의 동작 방법은, 원본 영상 데이터를 복수의 영상 시퀀스로 분할하는 단계, 복수의 영상 시퀀스 중 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정하는 단계, 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여, 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고 선택된 영상 시퀀스를 하이라이트 영상 그룹에 추가하는 단계, 및 하이라이트 영상 그룹에 포함된 영상 시퀀스를 이용하여 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성하는 단계를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 일 실시 예를 개략적으로 설명하기 위한 도면이다.
도 2 및 도 3은 일 실시예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 4는 일 실시 예에 따른 프로세서의 블록 구성도(block diagram)이다.
도 5는 일 실시 예에 따른 전자 장치의 동작 방법의 흐름도이다.
도 6 내지 도 7은 일 실시 예에 따른 입력 영상을 결정하는 예를 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 구간 정보에 기초하여 하이라이트 영상 그룹에 추가할 영상 시퀀스를 선택하는 예를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 요약 영상 데이터를 생성하는 예를 설명하기 위한 도면이다.
도 10 내지 도 14는 일 실시 예에 따른 요약 영상 데이터 생성과 관련된 사용자 입력을 수신하기 위한 사용자 인터페이스의 예를 설명하기 위한 도면이다.
도 15는 일 실시 예에 따른 요약 영상 데이터를 표시하는 예를 설명하기 위한 도면이다.
도 16은 일 실시 예에 따른 프로세서의 블록도이다.
도 17은 일 실시 예에 따른 데이터 학습부의 블록도이다.
도 18은 일 실시 예에 따른 데이터 인식부의 블록도이다.
도 19는 일 실시 예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시 예를 개략적으로 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(100, 도 2, 3)(이하, 전자 장치(100))는 원본 영상 데이터를 자동으로 요약함으로써 요약 영상 데이터를 생성할 수 있다. 예를 들어, 전자 장치(100)는 60분의 재생 시간을 갖는 원본 영상 데이터로부터 주요 장면들만을 추출한 5분의 재생 시간을 갖는 요약 영상 데이터를 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 인공 지능 알고리즘을 이용하여 학습된 학습 모델(20)을 이용하여, 입력된 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성할 수 있다. 일 실시 예에 따른 학습 모델은, 원본 영상과, 사람 또는 소정 알고리즘에 의해 제작된 요약 영상의 셋트에 대한 방대한 데이터를 학습한 모델일 수 있다.
학습 모델은, 학습 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 학습 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, RNN(Recurrent Neural Network), DNN(Deep Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 학습 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
도 1을 참조하면, 일 실시 예에 따른 전자 장치(100)는 원본 영상 데이터(10)를 복수의 영상 시퀀스(예컨대, 1분 단위의 영상 시퀀스)로 분할할 수 있다. 전자 장치(100)는 복수의 영상 시퀀스 중, 요약 영상 데이터(40)로 생성할 중요 장면을 포함하는 하나 이상의 영상 시퀀스를 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 복수의 영상 시퀀스 중 요약 영상에 포함시킬 중요 장면을 포함하는 영상 시퀀스를 하나씩 선택하고 선택된 영상 시퀀스를 메모리 영역(30)(하이라이트 영상 그룹, 도 4, 도 5)에 저장하는 스텝을 복수 회 반복할 수 있다. 이 때, 전자 장치(100)는, 각 스텝마다, 메모리 영역(30)에 기 저장된 영상 시퀀스와의 상관 관계를 고려하여, 메모리 영역(30)에 추가할 영상 시퀀스를 선택할 수 있다.
전자 장치(100)는 메모리 영역(30)에 저장된 하나 이상의 영상 시퀀스 조합의 재생 시간이 기 설정된 요약 영상 데이터의 타겟 시간(예컨대, 5분)에 도달할 때까지, 영상 시퀀스를 하나씩 선택하는 스텝을 반복할 수 있다.
일 실시 예에 따른 전자 장치(100)는 메모리 영역(30)에 저장된 영상 시퀀스를 조합하여 요약 영상 데이터(40)를 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 요약 영상 데이터에 포함시킬 영상 시퀀스를 선택할 때마다 메모리 영역(30)에 기 저장된 영상 시퀀스와 상관 관계를 고려함으로써, 중요한 장면들이 보다 자연스럽게 연결되는 요약 영상 데이터를 생성할 수 있다. 예를 들어, 상관 관계란, 영상의 시나리오, 주제 등을 고려할 때 줄거리가 연결되거나, 공통적인 오브젝트, 등장 인물, 배경 등을 포함하고 있음을 의미할 수 있으며, 이에 제한되지 않는다.
일 실시 예에 따르면, 영상 데이터는, 2D 동영상, 360도 영상을 포함할 수 있으며, 이에 제한되지 않는다.
일 실시 예에 따르면, 전자 장치(100)는 영상 데이터를 구성하는 영상 프레임으로부터 복수의 특징점을 추출할 수 있다. 전자 장치(100)는 영상 프레임으로부터 추출된 특징점을 이용하여, 영상 데이터를 벡터 데이터로 변환할 수 있다. 전자 장치(100)는 소정의 연산 식을 이용하여 높은 스코어를 갖는 벡터 데이터를 결정함으로써, 하이라이트 영상 그룹(메모리 영역(30))으로 분류할 영상 시퀀스를 선택할 수 있다.
일 실시 예에 따라 전자 장치(100)가 요약 영상 데이터를 생성하는 방법에 대해 후술할 도 5 내지 도 9에 관한 설명에서 보다 상세히 설명하기로 한다.
한편, 일 실시 예에 따른 전자 장치(100, 도 2, 3)(이하, 전자 장치(100))는, 디스플레이(110, 도 3)를 포함하는 장치로 구현될 수 있다.
일 실시 예에 따른 전자 장치(100)는, TV일 수 있으나, 이에 한정되지 않는다. 예를 들어, 전자 장치(100)는 데스크탑, 태블릿 PC, 노트북 컴퓨터(laptop computer), 휴대폰, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션, 디지털 카메라, 캠코더, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 또한, 전자 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
또한, 일 실시 예에 따른 전자 장치(100)는, 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 전자 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
도 1은 일 실시 예를 설명하기 위한 것으로 이에 한정되지 않는다.
도 2 및 도 3은 일 실시 예에 따른 영상 표시 장치의 블록 구성도(block diagram)이다.
도 2에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(100)는, 메모리(120) 및 프로세서(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 영상 표시 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 영상 표시 장치(100)는 구현될 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 일 실시 예에 따른 영상 표시 장치(100)는, 메모리(120), 프로세서(130) 외에, 디스플레이(110), 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170), 비디오 처리부(180), 오디오 처리부(115), 오디오 출력부(126), 전원부(190), 센싱부(191)를 더 포함할 수도 있다.
도 3의 전자 장치(100a)는 도 1, 도 2의 전자 장치(100)의 일 실시예일 수 있다.
이하 상기 구성요소들에 대해 살펴본다.
프로세서(130)는, 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(130)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(120)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(130)는 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬 및 프로세서를 포함할 수 있다.
프로세서(130)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(130)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(130)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
또한, 프로세서(130)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 원본 영상 데이터를 복수의 영상 시퀀스로 분할할 수 있다. 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 원본 영상 데이터를 미리 정해진 시간 단위에 기초하여 상기 복수의 영상 시퀀스로 분할할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 복수의 영상 시퀀스 중 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 분할된 복수의 영상 시퀀스 중, 재생 시간 순서에 따라 인접하여 배열된 상기 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 제1 입력 영상 그룹에 포함된 복수의 영상 시퀀스 중 제1 영상 시퀀스가 하이라이트 영상 그룹으로 추가되면, 재생 시간 순서에 따라 제1 영상 시퀀스에 인접하여 배열된 제2 영상 시퀀스로부터 미리 정해진 수의 영상 시퀀스를 제2 입력 영상 그룹으로 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 기초하여, 요약 영상 데이터의 타겟 시간을 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여, 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고 선택된 영상 시퀀스를 하이라이트 영상 그룹에 추가할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 타겟 시간에 기초하여 하이라이트 영상 그룹에 추가할 영상 시퀀스를 복수 회 선택할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 하이라이트 영상 그룹에 포함된 영상 시퀀스를 이용하여 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성할 수 있다.
또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 생성된 요약 영상 데이터를 썸네일 이미지로 표시하도록 디스플레이(110)를 제어할 수 있다.
메모리(120)는, 프로세서(130)의 제어에 의해 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(120)는 비디오 처리부(180), 디스플레이(110), 오디오 처리부(115), 오디오 출력부(126), 전원부(130), 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.
메모리(120)는 전자 장치(100) 및 프로세서(130)의 제어를 위한 오퍼레이팅 시스템(121), 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션(122), 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
또한, 메모리(120)는 원격 제어 장치(미도시)로부터의 입력 신호를 수신하고 이에 따라 입력 신호에 대응하는 채널 제어를 수행하거나 또는, 입력 신호가 미리 지정된 입력에 대응하는 경우 채널 스크롤 유저 인터페이스 모드로 진입하기 위한 하나 이상의 인스트럭션을 포함하는 TV 뷰어 모듈(123), 외부 장치(미도시)로부터 수신된 컨텐츠로부터 정보를 인식하기 위한 하나 이상의 인스트럭션을 포함하는 문자 인식 모듈(124), 외부 장치(미도시)로부터의 채널 제어를 위한 하나 이상의 인스트럭션을 포함하는 MBR 모듈(125)를 포함할 수 있다.
메모리(120)는, 롬, 램 또는 전자 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리(120)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
일 실시 예에 따라, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시 예에 따라, 메모리(120)는, 원본 영상 데이터를 저장할 수 있다.
일 실시 예에 따라, 메모리(120)는, 원본 영상 데이터를 분할한 복수의 영상 시퀀스 각각을, 입력 영상 그룹과 하이라이트 영상 그룹으로 분류하여 서로 다른 메모리 영역에 저장할 수 있다.
또한, 일 실시 예에 따라, 메모리(120)는, 생성된 요약 영상 데이터를 저장할 수 있다.
디스플레이(110)는 프로세서(130)의 제어에 의해 튜너부(140, 도3)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이(110)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(110)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 영상을 출력할 수 있다.
디스플레이(110)는, 프로세서(130)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(110)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(110)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시 예에 따라, 전자 장치(100)의 디스플레이(110)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.
일 실시 예에 따라, 디스플레이(110)는, 원본 영상 데이터를 표시할 수 있다.
또한, 일 일 실시 예에 따라, 디스플레이(110)는, 원본 영상 데이터로부터 요약 영상 데이터를 생성하기 위해 필요한 사용자 입력을 요청하는 사용자 인터페이스를 표시할 수 있다.
또한, 일 일 실시 예에 따라, 디스플레이(110)는, 생성된 요약 영상 데이터를 표시할 수 있다.
튜너부(140)는, 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(140)는 사용자 입력(예를 들어, 원격 제어 장치(미도시)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(140)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(140)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(140)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(130)의 제어에 의해 메모리(120)에 저장될 수 있다.
전자 장치(100)의 튜너부(140)는 하나이거나 복수일 수 있다. 튜너부(140)는 전자 장치(100)와 일체형(all-in-one)으로 구현되거나, 또는 전자 장치(100)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋톱박스(set-top box, 도시되지 아니함), 입/출력부(170)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부(150)는, 프로세서(130)의 제어에 의해 전자 장치(100)를 외부 장치(예를 들어, 오디오 장치 등)(미도시)와 연결할 수 있다. 프로세서(130)는 통신부(150)를 통해 연결된 외부 장치(미도시)로 컨텐츠를 송/수신, 외부 장치(미도시)에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(150)는 전자 장치(100)의 성능 및 구조에 대응하여 무선 랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153) 중 하나를 포함할 수 있다. 또한, 통신부(150)는 무선랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153)의 조합을 포함할 수 있다.
또한, 통신부(150)는 프로세서(130)의 제어에 의해 원격 제어 장치(미도시)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
또한, 통신부(150)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
감지부(160)는, 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(161), 카메라부(162) 및 광 수신부(163)를 포함할 수 있다.
마이크(161)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(161)는 수신된 음성을 전기 신호로 변환하여 프로세서(130)로 출력할 수 있다. 사용자 음성은 예를 들어, 전자 장치(100)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(162)는 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라부(162)에서 처리된 화상 프레임은 메모리(1200)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라부(162)는 전자 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
광 수신부(163)는 외부의 원격 제어 장치(미도시)로부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(163)는 원격 제어 장치(미도시)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(130)의 제어에 의해 제어 신호가 추출될 수 있다. 예를 들어, 광 수신부(163)는 원격 제어 장치(미도시)로부터 채널 전환을 위한 채널 업/다운 버튼에 대응하는 제어 신호를 수신할 수 있다.
입/출력부(170)는, 프로세서(130)의 제어에 의해 전자 장치(100)의 외부로부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(170)는, HDMI 포트(High-Definition Multimedia Interface port)(171), 컴포넌트 잭(component jack)(172), PC 포트(173), 및 USB 포트(174) 중 적어도 하나를 포함할 수 있다. 입/출력부(170)는 HDMI 포트(171), 컴포넌트 잭(172), PC 포트(173), 및 USB 포트(174) 중 적어도 하나의 조합을 포함할 수 있다. 외부 영상 제공 장치(미도시)는 HDMI 포트(171)을 통해 연결될 수 있다.
비디오 처리부(180)는, 전자 장치(100)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
그래픽 처리부(181)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 감지부(160)를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(110)의 디스플레이 영역 내에 표시된다.
오디오 처리부(115)는, 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(115)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(115)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(126)는, 프로세서(130)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(126)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(126)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(129) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 및 S/PDIF 출력 단자(129)의 적어도 하나의 조합을 포함할 수 있다.
전원부(190)는, 프로세서(130)의 제어에 의해 전자 장치(100) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(190)는 프로세서(130)의 제어에 의해 전자 장치(100) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)로부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
센싱부(191)는, 전자 장치(100)의 상태 또는 전자 장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(130)로 전달할 수 있다.
센싱부(191)는, 지자기 센서(Magnetic sensor)(192), 가속도 센서(Acceleration sensor)(193), 온/습도 센서(194), 적외선 센서(195), 자이로스코프 센서(196), 위치 센서(예컨대, GPS)(1970), 기압 센서(198), 근접 센서(199), 및 RGB 센서(illuminance sensor)(200) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
또한, 디스플레이(110)를 포함하는 전자 장치(100)는 튜너부(140)를 포함하는 별도의 외부 장치(예를 들어, 셋톱 박스, 도시되지 아니함)와 전기적으로 연결될 수 있다.
또한, 전자 장치(100)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도시된 전자 장치(100, 100a)의 블록도는 일 실시 예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시 예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 4는 일 실시 예에 따른 프로세서의 블록 구성도(block diagram)이다.
도 4의 프로세서(130a)는 도 2, 도 3의 프로세서(130)의 일 실시예일 수 있다.
일 실시 예에 따른 프로세서(130a)는, 옵션 설정부(132), 영상 추출부(134)를 포함할 수 있다.
일 실시 예에 따라, 옵션 설정부(132)는, 요약 영상 데이터의 타겟 시간을 설정 또는 변경할 수 있다. 일 실시 예에 따라, 옵션 설정부(132)는, 소정 시간의 타겟 시간을 디폴트로 설정할 수 있다. 또한, 옵션 설정부(132)는, 사용자 입력에 기초하여 타겟 시간을 설정 또는 변경할 수 있다.
또한, 일 실시 예에 따라, 옵션 설정부(132)는, 원본 영상 데이터의 전체 구간에서 균등하게 요약 영상 시퀀스를 선택할 것인지에 관한 옵션을 설정 또는 변경할 수 있다.
또한, 일 실시 예에 따라, 옵션 설정부(132)는, 구간 정보에 관한 옵션을 설정 또는 변경할 수 있다.
일 실시 예에 따라, 옵션 설정부(132)는, 원본 영상 데이터를 분할하는 구간의 개수, 구간의 시점을 설정 또는 변경할 수 있다. 일 실시 예에 따라, 옵션 설정부(132)는, 소정 개수의 구간의 개수를 디폴트로 설정할 수 있다. 또한, 옵션 설정부(132)는, 소정 시점을 디폴트로 설정할 수 있다. 또한, 옵션 설정부(132)는, 사용자 입력에 기초하여 구간의 개수 및/또는 구간의 시점을 설정 또는 변경할 수 있다.
또한, 일 실시 예에 따라, 옵션 설정부(132)는, 영상 시퀀스의 단위 시간을 설정 또는 변경할 수 있다.
일 실시 예에 따라, 옵션 설정부(132)는, 사용자 입력에 기초하여, 원본 영상 데이터를 분할할 단위 시간을 설정 또는 변경할 수 있다. 일 실시 예에 따라, 옵션 설정부(132)는, 소정 단위 시간을 디폴트로 설정할 수 있다. 또한, 옵션 설정부(132)는, 사용자 입력에 기초하여 원본 영상 데이터를 분할할 단위 시간을 설정 또는 변경할 수 있다.
또한, 일 실시 예에 따라, 옵션 설정부(132)는, 입력 영상 그룹(120a)으로 포함시킬 입력 영상 시퀀스의 개수를 설정 또는 변경할 수 있다.
또한, 일 실시 예에 따라, 옵션 설정부(132)는, 최초의 입력 영상 그룹으로 포함시킬 입력 영상 시퀀스의 개수를 설정 또는 변경할 수 있다.
일 실시 예에 따라, 영상 추출부(134)는, 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹(120b)으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여 입력 영상 그룹(120a)에 포함된 영상 시퀀스 중 하나를 선택하고 선택된 영상 시퀀스를 하이라이트 영상 그룹(120b)에 추가할 수 있다.
또한, 일 실시 예에 따라, 영상 추출부(134)는, 입력 영상 그룹(120a)에 포함된 영상 시퀀스 각각에 대응하는 구간 정보에 기초하여, 입력 영상 그룹(120a)에 포함된 영상 시퀀스 중 하나를 선택하고 선택된 영상 시퀀스를 하이라이트 영상 그룹(120b)에 추가할 수 있다.
도 4의 프로세서(130a)의 블록도는 일 실시 예를 위한 블록도이다. 블록도의 구성 요소로 도시된 옵션 설정부(132), 영상 추출부(134)에 제한되지 않으며, 실제 구현되는 전자 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 일부 구성요소는 전자 장치(100)와 연결 가능한 외부 장치(미도시)로서 구현될 수도 있다.
도 1 내지 도 4는 일 실시 예를 도시한 것으로서, 이에 한정되지 않는다.
도 5는 일 실시 예에 따른 전자 장치의 동작 방법의 흐름도이다. 도 6 내지 도 7은 일 실시 예에 따른 입력 영상을 결정하는 예를 설명하기 위한 도면이다. 도 8은 일 실시 예에 따른 구간 정보에 기초하여 하이라이트 영상 그룹에 추가할 영상 시퀀스를 선택하는 예를 설명하기 위한 도면이다. 도 9는 일 실시 예에 따른 요약 영상 데이터를 생성하는 예를 설명하기 위한 도면이다. 도 5의 흐름도를 설명하면서, 도 6 내지 도 9의 도면을 참조하여 설명하기로 한다.
도 5의 단계 S501에서 일 실시 예에 따른 전자 장치(100)는, 원본 영상 데이터를 복수의 영상 시퀀스로 분할할 수 있다.
일 실시 예에 따른 전자 장치(100)는, 원본 영상 데이터를 미리 정해진 시간 단위에 기초하여 복수의 영상 시퀀스로 분할할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 원본 영상 데이터를 분할할 단위 시간을 설정 또는 변경할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 디폴트로 설정된 단위 시간에 기초하여 원본 영상 데이터를 복수의 영상 시퀀스로 분할할 수 있다. 또한, 전자 장치(100)는 사용자 입력에 기초하여 원본 영상 데이터를 분할할 단위 시간을 설정 또는 변경할 수 있다.
도 6을 참조하면, 예를 들어, 전자 장치(100)는 재생 시간이 60분인 원본 영상 데이터(601)를 1분 단위의 영상 시퀀스(602)로 분할할 수 있다. 즉, 60분의 재생 시간을 갖는 원본 영상 데이터는 1분 단위의 영상 시퀀스 60개(예컨대, c1~c60)로 분할될 수 있다.
도 5의 단계 S502에서 일 실시 예에 따른 전자 장치(100)는, 복수의 영상 시퀀스 중 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정할 수 있다.
일 실시 예에 따른 전자 장치(100)는, 원본 영상 데이터를 미리 정해진 시간 단위에 기초하여 복수의 영상 시퀀스로 분할하고, 분할된 복수의 영상 시퀀스 중, 재생 시간 순서에 따라 인접하여 배열된 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정할 수 있다.
일 실시 예에 따른 ‘입력 영상 그룹’은, 프로세서가 각각의 영상 시퀀스에 대해 분석하여 요약 영상 데이터에 포함시킬지 판단할 때, 한번에 입력 받아 처리하는 시간 순서대로 배열된 복수의 영상 시퀀스 집합을 의미할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 입력 영상 그룹의 영상 시퀀스의 개수를 설정 또는 변경할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 디폴트로 설정된 입력 영상 시퀀스의 개수에 기초하여 입력 영상 그룹을 결정할 수 있다. 또한, 전자 장치(100)는 사용자 입력에 기초하여 입력 영상 시퀀스의 개수를 설정 또는 변경할 수 있다.
도 6을 참조하면, 예를 들어, 전자 장치(100)는, 60분의 재생 시간을 갖는 원본 영상 데이터(601)를 미리 정해진 단위 시간 1분에 기초하여 60개의 영상 시퀀스(602)로 분할하고, 60개의 영상 시퀀스 중, 재생 시간 순서에 따라 인접하여 배열된 10개의 영상 시퀀스를 입력 영상 그룹(603)으로 결정할 수 있다.
일 실시 예에 따른 전자 장치(100)는, 제1 입력 영상 그룹에 포함된 복수의 영상 시퀀스 중 제1 영상 시퀀스가 하이라이트 영상 그룹으로 추가되면, 재생 시간 순서에 따라 제1 영상 시퀀스에 인접하여 배열된 제2 영상 시퀀스로부터 미리 정해진 수의 영상 시퀀스를 제2 입력 영상 그룹으로 결정할 수 있다.
도 7에 도시한 바와 같이, 일 실시 예에 따른 전자 장치(100)는, 제1 입력 영상 그룹(701)으로 결정한 입력 영상 시퀀스(c1~c10) 중 요약 영상 데이터로 생성할 영상 시퀀스로서 다섯 번 째 영상 시퀀스(c5)(702)를 결정하였다면, 영상 시퀀스(c5)(702)를 하이라이트 영상 그룹(703)으로 추가할 수 있다.
일 실시 예에 따른 ‘하이라이트 영상 그룹’은, 프로세서가 입력 영상 그룹에 포함된 각각의 영상 시퀀스를 분석하여 요약 영상 데이터에 포함시키기로 결정한 영상 시퀀스들의 집합을 의미할 수 있다.
도 7을 참조하면, 일 실시 예에 따른 전자 장치(100)는, 다섯 번 째 영상 시퀀스(c5)(702)를 하이라이트 영상 그룹으로 추가하면, 재생 시간 순서에 따라 영상 시퀀스(c5)(702)에 인접하여 배열된 영상 시퀀스(c6)(704)로부터 10개의 영상 시퀀스(c6~c15)를 제2 입력 영상 그룹(705)으로 결정할 수 있다.
일 실시 예에 따른 전자 장치(100)는 제2 입력 영상 그룹(705)으로 결정한 입력 영상 시퀀스(c6~c15) 중 요약 영상 데이터로 생성할 영상 시퀀스로서 일곱 번 째 영상 시퀀스(c12)(706)를 결정하였다면, 영상 시퀀스(c12)(706)를 하이라이트 영상 그룹(703)으로 추가할 수 있다.
도 5의 단계 S503에서 일 실시 예에 따른 전자 장치(100)는, 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고 선택된 영상 시퀀스를 하이라이트 영상 그룹에 추가할 수 있다.
일 실시 예에 따른 전자 장치(100)는 입력된 원본 영상 데이터로부터 요약 영상 데이터를 생성하도록 학습된 학습 모델을 이용하여, 입력 영상 그룹에 포함된 복수의 영상 시퀀스 중 요약 영상 데이터를 생성하기에 가장 적합한 중요 장면을 포함하는 영상 시퀀스를 선택할 수 있다.
전자 장치(100)는 하나의 원본 영상 데이터로부터 요약 영상 데이터를 생성하기 위해, 각각의 입력 영상 그룹으로부터 하나의 영상 시퀀스를 선택하는 스텝을 복수 회 반복할 수 있다. 이에 따라, 하이라이트 영상 그룹에는 선택된 영상 시퀀스가 하나씩 추가될 수 있다.
예를 들어, 전자 장치(100)는 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 통해 산출된 소정의 파라미터를 이용하여 입력 영상 그룹에 포함된 복수의 영상 시퀀스 각각이 갖는 스코어를 산출할 수 있다. 전자 장치(100)는 산출된 스코어에 기초하여, 각각의 영상 시퀀스 중 요약 영상 데이터로 생성하기에 최적의 영상 시퀀스를 선택할 수 있다.
일 실시 예에 따른 전자 장치(100)는 입력 영상 그룹으로부터 하나의 영상 시퀀스를 선택할 때, 하이라이트 영상 그룹으로 기 분류되어 있는 영상 시퀀스와의 상관 관계를 고려할 수 있다.
전자 장치(100)는 하이라이트 영상 그룹으로 기 분류되어 있는 영상 시퀀스가 있다면, 하이라이트 영상 그룹에 포함된 영상 시퀀스에 기초하여, 입력 영상 그룹에 포함된 복수의 영상 시퀀스가 갖는 스코어를 산출할 수 있다. 전자 장치(100)는 하이라이트 영상 그룹으로 기 분류된 영상 시퀀스와의 상관 관계가 고려된 스코어에 기초하여, 하이라이트 영상 그룹으로 추가할 영상 시퀀스를 선택할 수 있다.
이에 따라, 하이라이트 영상 그룹으로 이미 분류된 영상 시퀀스와의 관계에서 연관성이 높은 영상 시퀀스가 선택될 수 있다.
또한, 일 실시 예에 따른 전자 장치(100)는, 입력 영상 그룹에 포함된 영상 시퀀스 각각에 대응하는 구간 정보에 기초하여, 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택할 수 있다. 일 실시 예에 따르면, 전자 장치(100)가 구간 정보에 기초하여 영상 시퀀스를 선택함으로써, 생성된 요약 영상 데이터는, 원본 영상 데이터의 전체 재생 시간 흐름에 기초할 때 비교적 균등하게 분포된 영상 시퀀스의 조합으로 구성될 수 있다.
일 실시 예에 따른 ‘구간 정보’는, 원본 영상 데이터가 분할된 복수의 구간 중에 각각의 영상 시퀀스가 속하는 구간에 관한 정보를 포함할 수 있다.
도 8에 도시한 바와 같이, 예를 들어, 전자 장치(100)는 60분의 재생 시간을 갖는 원본 영상 데이터를 4개의 구간으로 분할할 수 있다. 전자 장치(100)는 60분의 재생 시간을 갖는 원본 영상 데이터를 균등한 시간으로 분배하여 각 구간이 15분의 간격을 갖도록 분할 할 수 있다.
예컨대, 1분의 단위 시간을 갖는 영상 시퀀스가 60개 일 때, 제1 구간(기)(801)은 c1~c15의 영상 시퀀스가 포함된 구간이고, 제2 구간(승)(802)은 c16~c30의 영상 시퀀스가 포함된 구간이고, 제3 구간(전)(803)은 c31~c45의 영상 시퀀스가 포함된 구간이고, 제4 구간(결)(804)은 c46~c60의 영상 시퀀스가 포함된 구간일 수 있다.
일 실시 예에 따라, 전자 장치(100)는 원본 영상 데이터를 분할하는 구간의 개수, 구간의 시점을 설정 또는 변경할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 디폴트로 설정된 구간의 개수에 기초하여 원본 영상 데이터를 분할할 수 있다. 또한, 전자 장치(100)는 디폴트로 설정된 분할되는 구간의 시점에 기초하여 원본 영상 데이터를 분할할 수 있다. 또한, 전자 장치(100)는 사용자 입력에 기초하여 구간의 개수 및/또는 구간의 시점을 설정 또는 변경할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 원본 영상 데이터를 n개의 구간으로 분할하고, 각각의 영상 시퀀스가 속하는 구간을 가리키는 구간 정보를 생성할 수 있다. 예를 들어, 도 8을 참조하면, 영상 시퀀스 c1~c15에 대응하여 제1 구간(기)에 속한다는 구간 정보가 생성될 수 있다.
일 실시 예에 따르면, 전자 장치(100)는, 영상 시퀀스 각각에 대응하는 구간 정보에 기초하여, 하이라이트 그룹으로 추가할 영상 시퀀스를 선택할 수 있다.
도 8을 참조하면, 일 실시 예에 따른 전자 장치(100)는, 제1 입력 영상 그룹으로부터 영상 시퀀스(c8)을 하이라이트 영상 그룹(807)으로 추가하면, 영상 시퀀스(c9~c18)을 제2 입력 영상 그룹(809)으로 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)가 각 구간 별로 균등한 비율로 하이라이트 영상 그룹을 선택하기로 설정되어 있다면, 전자 장치(100)는 제2 입력 영상 그룹(c9~c18)(809)에 포함된 영상 시퀀스 중 하나를 선택할 때, 각각의 영상 시퀀스에 대응하는 구간 정보를 고려할 수 있다.
예컨대, 영상 시퀀스 c9~c15는 제1 구간(기)(801)에 속하고, 제1 구간(기)(801)에 속하는 영상 시퀀스(c8)(806)가 이미 하이라이트 영상 그룹으로 선택되었기 때문에, 제1 구간(기)(805)에 대한 가중치가 낮게 조정될 수 있다. 이에 따라, 제2 입력 영상 그룹(c9~c18)(809) 중 제1 구간(기)에 속하는 영상 시퀀스(c9~c15)(808)에 대한 가중치가 낮게 조정됨으로써, 하이라이트 영상 그룹으로 선택될 확률이 낮아질 수 있다.
한편, 일 실시 예에 따라, 전자 장치(100)가 각 구간 별로 균등한 비율로 하이라이트 영상 그룹을 선택하기로 설정된 경우가 아니라면, 전자 장치(100)는 구간 정보와 무관하게, 하이라이트 영상 그룹에 추가할 영상 시퀀스를 선택할 수도 있다.
도 5의 단계 S504 에서 일 실시 예에 따른 전자 장치(100)는, 하이라이트 영상 그룹에 포함된 영상 시퀀스를 이용하여 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성할 수 있다.
일 실시 예에 따른 전자 장치(100)는, 타겟 시간에 기초하여 하이라이트 영상 그룹에 추가할 영상 시퀀스를 복수 회 선택할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 요약 영상 데이터의 타겟 시간을 설정 또는 변경할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 디폴트로 설정된 요약 영상 데이터의 타겟 시간에 기초하여 요약 영상 데이터를 생성할 수 있다. 또한, 전자 장치(100)는 사용자 입력에 기초하여 타겟 시간을 설정 또는 변경할 수 있다.
예를 들어, 전자 장치(100)는, 60분의 재생 시간을 갖는 원본 영상 데이터를 타겟 시간 5분을 갖는 요약 영상 데이터로 생성하기 위해, 1분 단위의 영상 시퀀스 5개가 하이라이트 영상 그룹에 포함될 때까지, 영상 시퀀스를 복수 회 선택할 수 있다.
도 9에 도시한 바와 같이, 일 실시 예에 따른 전자 장치(100)는, 하이라이트 영상 그룹(901)에 포함된 영상 시퀀스 c5(902), c12(903), c29(904), c38(905), c50(906)를 조합함으로써 요약 영상 데이터(907)를 생성할 수 있다.
도 10 내지 도 14는 일 실시 예에 따른 요약 영상 데이터 생성과 관련된 사용자 입력을 수신하기 위한 사용자 인터페이스의 예를 설명하기 위한 도면이다. 도 15는 일 실시 예에 따른 요약 영상 데이터를 표시하는 예를 설명하기 위한 도면이다.
일 실시 예에 따른 전자 장치(100)는 요약 영상 데이터를 생성하기 위한 사용자 인터페이스를 디스플레이(110, 도3)(이하, 디스플레이(110))에 표시할 수 있다.
도 10을 참조하면, 전자 장치(100)는 하나 이상의 영상 데이터에 대응하는 썸네일 이미지(1001, 1002, 1003, 1004)를 디스플레이(110)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 메모리(120, 도2, 3)에 저장되어 있는 영상 데이터를 디스플레이(110)에 표시할 수 있다. 또한, 전자 장치(100)는 전자 장치(100)에 연결되어 있는 외부 장치(미도시)의 메모리에 저장된 영상 데이터를 디스플레이(110)에 표시할 수 있다. 또한, 전자 장치(100)는 웹 상의 다운로드 가능한 영상 데이터를 디스플레이(110)에 표시할 수도 있다.
일 실시 예에 따르면, 전자 장치(100)는 표시된 영상 데이터 중 어느 하나(1002)를 선택하는 사용자 입력을 수신할 수 있다. 전자 장치(100)는 사용자 입력에 기초하여 선택된 영상 데이터(1002)를 요약 영상 데이터를 생성할 원본 영상 데이터로 결정할 수 있다.
한편, 일 실시 예에 따르면, 전자 장치(100)는 제어 장치(400)를 통해 사용자 입력을 수신할 수 있다. 일 실시 예에 따른 제어 장치(400)는, 리모컨 또는 휴대폰과 같이 전자 장치(100)를 제어하기 위한 다양한 형태의 장치로 구현될 수 있다.
또는, 전자 장치(100)가 디스플레이를 포함하고 디스플레이가 터치스크린으로 구현되는 경우, 제어 장치(400)는 사용자의 손가락이나 입력 펜 등으로 대체될 수 있다.
또한, 제어 장치(400)는 적외선(infrared) 또는 블루투스(bluetooth)를 포함하는 근거리 통신을 이용하여 전자 장치(100)를 제어할 수 있다. 제어 장치(400)는, 구비된 키(버튼을 포함), 터치 패드(touchpad), 사용자의 음성의 수신이 가능한 마이크(도시되지 아니함), 및 제어 장치(400)의 모션 인식이 가능한 센서(도시되지 아니함) 중 적어도 하나를 이용하여, 전자 장치(100)의 기능을 제어할 수 있다.
제어 장치(400)는 전자 장치(100)의 전원을 온(on)시키거나 오프(off)시키기 위한 전원 온/오프 버튼을 포함할 수 있다. 또한, 제어 장치(400)는 사용자 입력에 의해 전자 장치(100)의 채널 변경, 음량 조정, 지상파 방송/케이블 방송/위성 방송 선택, 또는 환경 설정(setting)을 할 수 있다.
또한, 제어 장치(400)는 포인팅 장치일 수도 있다. 예를 들어, 제어 장치(400)는, 특정 키 입력을 수신하는 경우에 포인팅 장치로 동작할 수 있다.
도 11을 참조하면, 일 실시 예에 따라, 전자 장치(100)는 사용자 입력에 기초하여 타겟 시간을 설정 또는 변경할 수 있다.
예를 들어, 전자 장치(100)는 60분의 재생 시간을 갖는 원본 영상 데이터를 몇 분의 재생 시간을 갖는 요약 영상으로 생성할 것인지에 관한 사용자 입력을 요청하는 사용자 인터페이스를 표시할 수 있다. 전자 장치(100)는 타겟 시간(예컨대, 5분)(1101)을 입력하는 사용자 입력을 수신할 수 있다. 이에 따라, 전자 장치(100)는 요약 영상 데이터의 타겟 시간을 5분으로 설정할 수 있다.
도 12를 참조하면, 일 실시 예에 따라, 전자 장치(100)는 사용자 입력에 기초하여, 원본 영상 데이터의 전체 구간에서 균등하게 요약 영상 시퀀스를 선택할 것인지에 관한 옵션을 설정 또는 변경할 수 있다.
예를 들어, 전자 장치(100)는 60분의 재생 시간을 갖는 원본 영상 데이터를 n개(예컨대, 4개)의 구간으로 분할한다고 가정할 때, 각각의 구간에서 가급적 골고루 하이라이트 영상 그룹이 선택되도록 설정할지에 관한 사용자 입력을 요청하는 사용자 인터페이스를 표시할 수 있다.
예를 들어, 전자 장치(100)는 전체 구간에서 균등하게 요약하기를 선택하는 사용자 입력(1201)을 수신할 수 있다. 이에 따라, 전자 장치(100)는 각각의 영상 시퀀스에 대응하는 구간 정보를 고려하여, 하이라이트 영상 그룹을 선택할 수 있다.
도 13을 참조하면, 일 실시 예에 따라, 전자 장치(100)는 사용자 입력에 기초하여, 구간 정보에 관한 옵션을 설정 또는 변경할 수 있다.
예를 들어, 전자 장치(100)는 원본 영상 데이터를 n개(예컨대, 4개)의 구간으로 분할한다고 가정할 때, 균등한 비율로 각각 15분씩 하나의 구간을 구성하도록 설정할지에 관한 사용자 입력을 요청하는 사용자 인터페이스(1301)를 표시할 수 있다.
또한, 전자 장치(100)는 사용자가 직접 입력한 비율로 구간을 분할하기 위한 사용자 입력을 요청하는 사용자 인터페이스(1302)를 표시할 수 있다. 예컨대, 전자 장치(100)는 원본 영상 데이터를 사용자 입력에 기초하여 10분, 20분, 20분, 10분의 비율로 분할할 수 있다.
도 14를 참조하면, 일 실시 예에 따라, 전자 장치(100)는 사용자 입력에 기초하여, 영상 시퀀스의 단위 시간을 설정 또는 변경할 수 있다.
예를 들어, 전자 장치(100)는 원본 영상 데이터를 1분 단위 시간의 영상 시퀀스로 분할할지에 관한 사용자 선택 입력 또는 사용자가 단위 시간을 직접 입력하도록 요청하는 사용자 인터페이스(1401)를 표시할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 사용자 입력에 기초하여, 입력 영상 그룹으로 포함시킬 입력 영상 시퀀스의 개수를 설정 또는 변경할 수 있다.
예를 들어, 전자 장치(100)는 각각의 입력 영상 그룹마다 10개의 영상 시퀀스를 포함시킬지에 관한 사용자 선택 입력 또는 사용자가 입력 영상 시퀀스의 개수를 직접 입력하도록 요청하는 사용자 인터페이스(1402)를 표시할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 사용자 입력에 기초하여, 최초의 입력 영상 그룹으로 포함시킬 입력 영상 시퀀스의 개수를 설정 또는 변경할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 하이라이트 영상 그룹에 포함시킬 영상 시퀀스를 선택하는 스텝을 복수 회 수행할 때, 최초의 입력 영상 그룹에 포함시킬 입력 영상 시퀀스의 개수를 설정 또는 변경할 수 있다.
일 실시 예에 따르면, 최초의 입력 영상 그룹으로부터 요약 영상 데이터로 생성될 첫 번째 영상 시퀀스가 선택되므로, 더 많은 개수의 입력 영상 시퀀스를 대상으로 하여 보다 중요도가 높은 입력 시퀀스가 선택되도록 설정할 수 있다.
예를 들어, 전자 장치(100)는 최초의 입력 영상 그룹에 10개의 영상 시퀀스를 포함시킬지에 관한 사용자 선택 입력 또는 사용자가 최초의 입력 영상 시퀀스의 개수를 직접 입력하도록 요청하는 사용자 인터페이스(1403)를 표시할 수 있다.
도 15에 도시한 바와 같이, 일 실시 예에 따른 전자 장치(100)는, 생성된 요약 영상 데이터로부터 캡쳐된 이미지(1501)를 디스플레이(110)에 표시할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 사용자 입력에 기초하여 요약 영상 데이터를 재생시킬 수 있다.
또한, 일 실시 예에 따른 전자 장치(100)는 요약 영상 데이터를 구성하는 복수의 영상 시퀀스 별로 캡쳐 이미지를 생성하고 각각의 캡쳐 이미지를 썸네일 형태로 표시하도록 디스플레이(110)를 제어할 수 있다.
도 15를 참조하면, 예컨대, 5 개의 썸네일 이미지(1502)가 디스플레이될 수 있다.
도 10 내지 도 15는 일 실시 예를 도시한 것으로서 이에 한정되지 않는다.
도 16은 일부 실시예에 따른 프로세서(130)의 블록도이다.
도 16의 프로세서(130)는 도 2, 3의 프로세서(130)의 일 예일 수 있다.
블록도의 구성 요소로 도시된 데이터 학습부(1310), 데이터 인식부(1320)에 에 제한되지 않으며, 실제 구현되는 전자 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 일부 구성요소는 전자 장치(100)와 연결 가능한 외부 장치(미도시)로서 구현될 수도 있다.
도 16을 참조하면, 일부 실시예에 따른 프로세서(130)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.
데이터 학습부(1310)는 상황 판단을 위한 기준을 학습할 수 있다. 데이터 학습부(1310)는 소정의 상황을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 상황 판단을 위한 기준을 학습할 수 있다.
데이터 인식부(1320)는 데이터에 기초한 상황을 판단할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 상황을 인식할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초한 소정의 상황을 판단할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.
한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 17은 일 실시예에 따른 데이터 학습부의 블록도이다.
도 17을 참조하면, 일부 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.
데이터 획득부(1310-1)는 상황 판단에 필요한 데이터를 획득할 수 있다. 데이터 획득부(1310-1)는 상황 판단을 위한 학습을 위하여 필요한 데이터를 획득할 수 있다.
일 실시 예에 따라, 데이터 획득부(1310-1)는, 원본 영상 데이터와 요약 영상 데이터에 대한 데이터를 획득할 수 있다. 예를 들어, 데이터 획득부(1310-1)는, 원본 영상 데이터와, 사람 또는 소정 알고리즘에 의해 제작된 요약 영상 데이터 셋트에 대한 데이터를 입력 받을 수 있다.
또는, 데이터 획득부(1310-1)는 전자 장치와 통신하는 외부 장치를 통해 데이터를 획득할 수 있다.
일 실시 예에 따라, 영상 데이터는 복수의 이미지(또는, 프레임(frame))들로 구성될 수 있다. 일 예로, 데이터 획득부(1310-1)는 데이터 학습부(1310)를 포함하는 전자 장치의 카메라, 또는 데이터 학습부(1310)를 포함하는 전자 장치와 통신 가능한 외부의 카메라(예로, CCTV 또는 블랙박스 등)를 통하여 동영상을 입력 받을 수도 있다.
여기서, 카메라는 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전처리부(1310-2)는 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 상황 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(1310-2)는 입력된 동영상의 적어도 일부를 구성하는 복수의 이미지(또는 프레임(frame))들 각각에 포함된 공통 영역을 기초로, 복수의 이미지들의 적어도 일부를 중첩하여 하나의 합성 이미지를 생성할 수 있다. 이 경우, 하나의 동영상에서 복수 개의 합성 이미지들이 생성될 수도 있다. 공통 영역은, 복수의 이미지들 각각에서 동일 또는 유사한 공통 오브젝트(예로, 물체, 동식물 또는 사람 등)를 포함한 영역이 될 수 있다. 또는, 공통 영역은, 복수의 이미지들 각각에서 색, 음영, RGB 값 또는 CMYK 값 등이 동일 또는 유사한 영역이 될 수 있다.
학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 상황 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1310-4)는 학습 데이터에 기초하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 상황 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1310-4)는 상황 판단에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 샘플 이미지 등)을 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(1310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도 없이 상황 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 상황 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 동영상 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1310) 내의 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 18은 일 실시예에 따른 데이터 인식부의 블록도이다.
도 18을 참조하면, 일부 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.
데이터 획득부(1320-1)는 상황 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 상황 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 상황 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 상황 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에게 제공될 수 있다. 인식 데이터 선택부(1320-3)는 상황 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 상황을 판단할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.
모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 19는 일 실시예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 19는 일부 실시 예에 따른 전자 장치(100) 및 서버(2000)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 19를 참조하면, 서버(2000)는 상황 판단을 위한 기준을 학습할 수 있으며, 디바이스(100)는 서버(2000)에 의한 학습 결과에 기초하여 상황을 판단할 수 있다.
이 경우, 서버(2000)의 모델 학습부(2340)는 도 17에 도시된 데이터 학습부(1310)의 기능을 수행할 수 있다. 서버(2000)의 모델 학습부(2340)는 소정의 상황을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 상황 판단을 위한 기준을 학습할 수 있다.
또한, 디바이스(100)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 의해 생성된 데이터 인식 모델에 적용하여 상황을 판단할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에게 전송하고, 서버(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 상황을 판단할 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버(2000)에 의해 판단된 상황에 관한 정보를 서버(2000)로부터 수신할 수 있다.
또는, 전자 장치(100)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 생성된 인식 모델을 서버(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 상황을 판단할 수 있다. 이 경우, 디바이스(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)로부터 수신된 데이터 인식 모델에 적용하여 상황을 판단할 수 있다.
상기 살펴 본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.
또한 본 명세서에서, "a1, a2 및 a3 중 적어도 하나"라는 기재는, "a1", "a2", "a3", "a1 및 a2", "a1 및 a3", "a2 및 a3", 및 "a1, a2 및 a3" 중에서 한 가지를 나타낸다. 따라서, "a1 중 적어도 하나, a2 중 적어도 하나 및 a3 중 적어도 하나"라고 명시적으로 기재되지 않는 이상, "a1, a2 및 a3 중 적어도 하나"라는 기재는 "a1 중 적어도 하나", "a2 중 적어도 하나" 및 "a3 중 적어도 하나"라고 해석되지 않음에 유의하여야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    원본 영상 데이터를 복수의 영상 시퀀스로 분할하고,
    상기 복수의 영상 시퀀스 중 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정하고,
    인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여, 상기 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고 상기 선택된 영상 시퀀스를 상기 하이라이트 영상 그룹에 추가하고,
    상기 하이라이트 영상 그룹에 포함된 영상 시퀀스를 이용하여 상기 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 입력 영상 그룹에 포함된 영상 시퀀스 각각에 대응하는 구간 정보에 기초하여, 상기 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고,
    상기 구간 정보는,
    상기 원본 영상 데이터가 분할된 복수의 구간 중에 각각의 영상 시퀀스가 속하는 구간에 관한 정보를 포함하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 원본 영상 데이터를 미리 정해진 시간 단위에 기초하여 상기 복수의 영상 시퀀스로 분할하고,
    상기 분할된 복수의 영상 시퀀스 중, 재생 시간 순서에 따라 인접하여 배열된 상기 미리 정해진 수의 영상 시퀀스를 상기 입력 영상 그룹으로 결정하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 입력 영상 그룹에 포함된 복수의 영상 시퀀스 중 제1 영상 시퀀스가 상기 하이라이트 영상 그룹으로 추가되면, 재생 시간 순서에 따라 상기 제1 영상 시퀀스에 인접하여 배열된 제2 영상 시퀀스로부터 상기 미리 정해진 수의 영상 시퀀스를 제2 입력 영상 그룹으로 결정하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    사용자 입력에 기초하여, 상기 요약 영상 데이터의 타겟 시간을 결정하는, 전자 장치.
  6. 제5 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 타겟 시간에 기초하여 상기 하이라이트 영상 그룹에 추가할 영상 시퀀스를 복수 회 선택하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 생성된 요약 영상 데이터를 썸네일 이미지로 표시하도록 디스플레이를 제어하는, 전자 장치.
  8. 전자 장치의 동작 방법에 있어서,
    원본 영상 데이터를 복수의 영상 시퀀스로 분할하는 단계;
    상기 복수의 영상 시퀀스 중 미리 정해진 수의 영상 시퀀스를 입력 영상 그룹으로 결정하는 단계;
    인공 지능 알고리즘을 이용하여 학습된 학습 모델을 이용하여, 하이라이트 영상 그룹으로 기 분류된 하나 이상의 영상 시퀀스에 기초하여, 상기 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하고 상기 선택된 영상 시퀀스를 상기 하이라이트 영상 그룹에 추가하는 단계; 및
    상기 하이라이트 영상 그룹에 포함된 영상 시퀀스를 이용하여 상기 원본 영상 데이터로부터 추출된 요약 영상 데이터를 생성하는 단계를 포함하는, 동작 방법.
  9. 제8 항에 있어서,
    상기 선택된 영상 시퀀스를 상기 하이라이트 영상 그룹에 추가하는 단계는,
    상기 입력 영상 그룹에 포함된 영상 시퀀스 각각에 대응하는 구간 정보에 기초하여, 상기 입력 영상 그룹에 포함된 영상 시퀀스 중 하나를 선택하는 단계를 포함하고,
    상기 구간 정보는,
    상기 원본 영상 데이터가 분할된 복수의 구간 중에 각각의 영상 시퀀스가 속하는 구간에 관한 정보를 포함하는, 동작 방법.
  10. 제8 항에 있어서,
    상기 입력 영상 그룹으로 결정하는 단계는,
    상기 원본 영상 데이터를 미리 정해진 시간 단위에 기초하여 상기 복수의 영상 시퀀스로 분할하는 단계; 및
    상기 분할된 복수의 영상 시퀀스 중, 재생 시간 순서에 따라 인접하여 배열된 상기 미리 정해진 수의 영상 시퀀스를 상기 입력 영상 그룹으로 결정하는 단계를 포함하는, 동작 방법.
  11. 제8 항에 있어서,
    상기 입력 영상 그룹으로 결정하는 단계는,
    제1 입력 영상 그룹에 포함된 복수의 영상 시퀀스 중 제1 영상 시퀀스가 상기 하이라이트 영상 그룹으로 추가되면, 재생 시간 순서에 따라 상기 제1 영상 시퀀스에 인접하여 배열된 제2 영상 시퀀스로부터 상기 미리 정해진 수의 영상 시퀀스를 제2 입력 영상 그룹으로 결정하는, 동작 방법.
  12. 제8 항에 있어서,
    사용자 입력에 기초하여, 상기 요약 영상 데이터의 타겟 시간을 결정하는 단계를 더 포함하는, 동작 방법.
  13. 제12 항에 있어서,
    상기 선택된 영상 시퀀스를 상기 하이라이트 영상 그룹에 추가하는 단계는,
    상기 타겟 시간에 기초하여 상기 하이라이트 영상 그룹에 추가할 영상 시퀀스를 복수 회 선택하는, 동작 방법.
  14. 제8 항에 있어서,
    상기 생성된 요약 영상 데이터를 썸네일 이미지로 표시하도록 디스플레이를 제어하는 단계를 더 포함하는, 동작 방법.
  15. 제8 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2019/003559 2018-04-10 2019-03-27 전자 장치 및 그 동작 방법 WO2019198951A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/046,494 US11627383B2 (en) 2018-04-10 2019-03-27 Electronic device and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0041709 2018-04-10
KR1020180041709A KR102464907B1 (ko) 2018-04-10 2018-04-10 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2019198951A1 true WO2019198951A1 (ko) 2019-10-17

Family

ID=68163602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/003559 WO2019198951A1 (ko) 2018-04-10 2019-03-27 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11627383B2 (ko)
KR (1) KR102464907B1 (ko)
WO (1) WO2019198951A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212013A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR20220102418A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 멀티미디어 콘텐트를 제공하는 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005166063A (ja) * 1998-12-25 2005-06-23 Matsushita Electric Ind Co Ltd データ処理装置、データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム
JP2005353006A (ja) * 2004-06-14 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ配信システム及び配信方法
CN102214304A (zh) * 2010-04-09 2011-10-12 索尼公司 信息处理设备、信息处理方法、和程序
WO2016038522A1 (en) * 2014-09-08 2016-03-17 Google Inc. Selecting and presenting representative frames for video previews
CN104123396B (zh) * 2014-08-15 2017-07-07 三星电子（中国）研发中心 一种基于云电视的足球视频摘要生成方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160066A (ja) 1998-12-25 2001-06-12 Matsushita Electric Ind Co Ltd データ処理装置、データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム
WO2011013349A1 (ja) 2009-07-31 2011-02-03 パナソニック株式会社 映像データ処理装置及び映像データ処理システム
JP2011254342A (ja) 2010-06-03 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> 映像編集方法，映像編集装置および映像編集プログラム
US9514536B2 (en) * 2012-10-10 2016-12-06 Broadbandtv, Corp. Intelligent video thumbnail selection and generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005166063A (ja) * 1998-12-25 2005-06-23 Matsushita Electric Ind Co Ltd データ処理装置、データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム
JP2005353006A (ja) * 2004-06-14 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ配信システム及び配信方法
CN102214304A (zh) * 2010-04-09 2011-10-12 索尼公司 信息处理设备、信息处理方法、和程序
CN104123396B (zh) * 2014-08-15 2017-07-07 三星电子（中国）研发中心 一种基于云电视的足球视频摘要生成方法及装置
WO2016038522A1 (en) * 2014-09-08 2016-03-17 Google Inc. Selecting and presenting representative frames for video previews

Also Published As

Publication number Publication date
KR102464907B1 (ko) 2022-11-09
US11627383B2 (en) 2023-04-11
KR20190118415A (ko) 2019-10-18
US20210136467A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
WO2020101453A1 (en) Electronic device and method of recognizing audio scene
WO2020251283A1 (en) Selecting artificial intelligence model based on input data
WO2018043985A1 (en) Image display apparatus and method of operating the same
WO2020101143A1 (en) Image processing apparatus and method of operating the same
WO2018034462A1 (en) Image display apparatus and method of operating the same
WO2017105021A1 (en) Display apparatus and method for controlling display apparatus
WO2017048076A1 (en) Display apparatus and method for controlling display of display apparatus
WO2018216865A1 (en) Display device and operating method thereof
WO2017111252A1 (en) Electronic device and method of scanning channels in electronic device
WO2019182323A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2021261836A1 (en) Image detection apparatus and operation method thereof
WO2018155859A1 (en) Image display device and operating method of the same
WO2019013447A1 (en) REMOTE CONTROL DEVICE AND METHOD FOR RECEIVING VOICE FROM AN ASSOCIATED USER
WO2020067759A1 (en) Display apparatus control method and display apparatus using the same
WO2019203499A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2017069434A1 (en) Display apparatus and method for controlling display apparatus
WO2019198951A1 (ko) 전자 장치 및 그 동작 방법
WO2020050508A1 (en) Image display apparatus and operation method of the same
WO2020171657A1 (en) Display device and image display method of the same
WO2020050593A1 (en) Electronic device and operation method thereof
WO2019190134A1 (ko) 전자 장치 및 그 동작방법
WO2020111567A1 (en) Electronic device and operation method thereof
WO2022045613A1 (ko) 비디오 품질 향상 방법 및 장치
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
WO2022050433A1 (ko) 음성 인식 기동어의 인식 민감도를 조절하는 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19784381

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19784381

Country of ref document: EP

Kind code of ref document: A1