KR20200049047A - 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 - Google Patents
컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 Download PDFInfo
- Publication number
- KR20200049047A KR20200049047A KR1020180131848A KR20180131848A KR20200049047A KR 20200049047 A KR20200049047 A KR 20200049047A KR 1020180131848 A KR1020180131848 A KR 1020180131848A KR 20180131848 A KR20180131848 A KR 20180131848A KR 20200049047 A KR20200049047 A KR 20200049047A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- information
- page
- user terminal
- server
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004891 communication Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000000691 measurement method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 비디오 슬라이드 서비스를 제공하는 사용자 단말의 동작 방법에 관한 것으로, UGC 동영상을 서버로 업로드하는 단계; 상기 서버로부터 상기 UGC 동영상에 관한 재생 구간별 장면메타정보를 수신하고, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 파일을 생성하는 단계; 상기 비디오 슬라이드 파일을 구성하는 복수의 페이지 정보들을 카테고리 별로 분류하는 단계; 및 상기 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 상기 UGC 동영상에 관한 스토리북을 생성하는 단계를 포함한다.
Description
본 발명은 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법에 관한 것으로서, 보다 구체적으로는 사용자 제작 컨텐츠(User Generated Content, UGC)로부터 추출된 정보를 이용하여 비디오 슬라이드 서비스(Video Slide Service)를 제공할 수 있는 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법에 관한 것이다.
정보 통신 기술과 대중 문화의 발달로 인하여 다양한 영상 컨텐츠가 제작되어 세계 전역으로 전파되고 있다. 그러나 영상 컨텐츠는 책과 달리 시청자가 동영상의 진행 정도를 임의로 제어할 수 없어서 동영상에 대한 시청자의 이해 여부와 무관하게 해당 동영상을 감상해야 하는 문제점이 있다. 따라서 이와 같은 문제점을 해결하기 위해 동영상의 재생 시점을 제어하거나 동영상을 탐색하기 위한 다양한 방법이 제시되고 있다.
동영상의 재생 시점을 제어하기 위하여 가장 대표적으로 사용되는 방법으로는, 진행 바(progress bar)를 이용한 제어가 있다. 이는 시청자가 진행 바의 임의 지점을 선택하는 경우, 상기 선택된 지점으로 동영상의 재생 시점이 이동하게 되는 방식이다.
그런데, 이러한 진행 바는 동영상의 재생 시간에 상관없이 일정한 길이를 갖기 때문에, 동영상의 재생 시간이 긴 경우 상기 진행 바에서의 작은 이동만으로도 동영상의 재생 시점이 크게 변경되어 재생 시점의 미세한 제어가 어려워진다. 특히 모바일 환경에서 동영상을 감상하는 경우, 디스플레이의 크기가 작고, 손가락으로 진행 바를 제어해야 하는 경우가 많아 동영상의 재생 시점을 제어하는 것이 더욱 어려워지는 문제가 있다.
또한, 사용자의 통신 속도가 제한되는 환경에서 동영상의 내용을 파악하고자 할 때, 동영상이 대용량이거나 고화질인 경우 서버로부터 컨텐츠 제공 단말에 동영상이 원활히 제공될 수 없어 동영상의 모든 장면을 실시간으로 감상하는 것이 어려운 문제가 있다. 따라서, 시청자가 영상 컨텐츠를 책처럼 페이지 단위로 넘겨볼 수 있는 새로운 동영상 서비스가 필요하다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 사용자 제작 컨텐츠(UGC)로부터 추출된 정보를 기반으로 재생 구간별 장면메타정보를 생성하고, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 서비스를 제공할 수 있는 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법을 제공함에 있다.
또 다른 목적은 사용자 제작 컨텐츠(UGC)에 관한 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 서비스를 제공하기 위한 복수의 페이지들을 생성하고, 상기 복수의 페이지들을 카테고리 별로 그룹핑하여 제공할 수 있는 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법을 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, UGC 동영상을 서버로 업로드하는 단계; 상기 서버로부터 상기 UGC 동영상에 관한 재생 구간별 장면메타정보를 수신하고, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 파일을 생성하는 단계; 상기 비디오 슬라이드 파일을 구성하는 복수의 페이지 정보들을 카테고리 별로 분류하는 단계; 및 상기 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 상기 UGC 동영상에 관한 스토리북(stroybook)을 생성하는 단계를 포함하는 사용자 단말의 동작 방법을 제공한다.
본 발명의 다른 측면에 따르면, 디스플레이부; 서버와의 통신 인터페이스를 제공하는 통신부; 및 UGC 동영상을 서버로 업로드하고, 상기 서버로부터 상기 UGC 동영상에 관한 재생 구간별 장면메타정보를 수신한 경우, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 파일을 생성하고, 상기 비디오 슬라이드 파일을 구성하는 복수의 페이지 정보들을 카테고리 별로 분류하며, 상기 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 상기 UGC 동영상에 관한 스토리북을 생성하는 제어부를 포함하는 사용자 단말을 제공한다.
본 발명의 또 다른 측면에 따르면, UGC 동영상을 서버로 업로드하는 과정; 상기 서버로부터 상기 UGC 동영상에 관한 재생 구간별 장면메타정보를 수신하고, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 파일을 생성하는 과정; 상기 비디오 슬라이드 파일을 구성하는 복수의 페이지 정보들을 카테고리 별로 분류하는 과정; 및 상기 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 상기 UGC 동영상에 관한 스토리북을 생성하는 과정을 컴퓨터로 실행시키기 위하여 컴퓨터로 판독 가능한 저장매체에 기록된 프로그램을 제공한다.
본 발명의 실시 예들에 따른 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, UGC 동영상으로부터 추출된 정보를 이용하여 재생 구간별 장면메타정보를 생성하고, 상기 장면메타정보를 기반으로 비디오 슬라이드 서비스를 제공함으로써, 시청자(사용자)로 하여금 UGC 동영상을 책처럼 페이지 단위로 시청할 수 있도록 하는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 비디오 슬라이드 서비스를 제공하기 위한 복수의 페이지들을 생성하고, 상기 복수의 페이지들을 카테고리 별로 그룹핑하여 제공함으로써, 시청자(사용자)로 하여금 UGC 동영상에 포함된 다양한 주제 중 관심 있는 주제만을 선별해서 볼 수 있도록 하는 장점이 있다.
다만, 본 발명의 실시 예들에 따른 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 제공 시스템의 구성을 도시하는 도면;
도 2는 본 발명의 일 실시 예에 따른 서버의 구성을 도시하는 블록도;
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 구성을 도시하는 블록도;
도 4는 본 발명의 일 실시 예에 따른 장면메타정보 생성장치의 구성을 도시하는 블록도;
도 5는 본 발명의 일 실시 예에 따른 장면메타정보 프레임의 구성을 나타내는 도면;
도 6은 본 발명의 일 실시 예에 따른 컨텐츠 제공 시스템의 시그널링 흐름도;
도 7은 본 발명의 일 실시 예에 따른 사용자 단말의 동작을 설명하는 흐름도;
도 8은 비디오 슬라이드 애플리케이션의 메인 화면을 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면;
도 9 및 도 10은 UGC 동영상을 업로드하여 재생 구간별 장면메타정보를 수신하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면;
도 11 및 도 12는 UGC 동영상을 페이지 단위로 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면;
도 13 내지 도 15는 복수의 페이지들을 카테고리 별로 그룹핑하여 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면.
도 2는 본 발명의 일 실시 예에 따른 서버의 구성을 도시하는 블록도;
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 구성을 도시하는 블록도;
도 4는 본 발명의 일 실시 예에 따른 장면메타정보 생성장치의 구성을 도시하는 블록도;
도 5는 본 발명의 일 실시 예에 따른 장면메타정보 프레임의 구성을 나타내는 도면;
도 6은 본 발명의 일 실시 예에 따른 컨텐츠 제공 시스템의 시그널링 흐름도;
도 7은 본 발명의 일 실시 예에 따른 사용자 단말의 동작을 설명하는 흐름도;
도 8은 비디오 슬라이드 애플리케이션의 메인 화면을 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면;
도 9 및 도 10은 UGC 동영상을 업로드하여 재생 구간별 장면메타정보를 수신하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면;
도 11 및 도 12는 UGC 동영상을 페이지 단위로 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면;
도 13 내지 도 15는 복수의 페이지들을 카테고리 별로 그룹핑하여 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 사용자 제작 컨텐츠(UGC)로부터 추출된 정보를 기반으로 재생 구간별 장면메타정보를 생성하고, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 서비스를 제공할 수 있는 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법을 제안한다. 또한, 본 발명은 사용자 제작 컨텐츠(UGC)에 관한 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 서비스를 제공하기 위한 복수의 페이지들을 생성하고, 상기 복수의 페이지들을 카테고리 별로 그룹핑하여 제공할 수 있는 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법을 제안한다.
한편, 본 명세서에서 설명하는 사용자 제작 콘텐츠(UGC)는 단말 사용자에 의해 제작된 영상 컨텐츠로서, 하나 이상의 영상 프레임 및 오디오 프레임으로 구성된 동영상(moving image)을 의미한다. 상기 사용자 제작 컨텐츠에는 일반적이지 않지만 자막 파일(또는 자막 정보)이 포함될 수도 있다.
비디오 슬라이드 서비스(video slide service)는, 시청자(사용자)로 하여금 동영상을 책처럼 페이지 단위로 넘겨서 동영상의 내용을 쉽고 빠르게 파악할 수 있는 비디오 서비스를 의미한다.
장면메타정보는 영상 컨텐츠(즉, 동영상)를 구성하는 장면들(scenes)을 식별하기 위한 정보로서, 타임코드(timecode), 대표 이미지 정보, 자막 정보, 음성 정보 중 적어도 하나를 포함한다. 여기서, 타임코드는 영상 컨텐츠의 자막 구간 또는 음성 구간에 관한 정보이고, 대표 이미지 정보는 자막 또는 음성 구간의 대표 이미지에 관한 정보이며, 음성 정보는 자막 또는 음성 구간에 대응하는 단위 음성 정보이고, 자막 정보는 자막 또는 음성 구간에 대응하는 단위 자막 정보이다.
음성 구간은 영상 컨텐츠의 재생 구간 중 단위 음성이 출력되는 시 구간에 관한 정보로서, 각 단위 음성의 출력이 시작되는 영상 컨텐츠의 재생 시점에 관한 '음성 시작 시간 정보'와, 각 단위 음성의 출력이 종료되는 영상 컨텐츠의 재생 시점에 관한 '음성 종료 시간 정보'와, 각 단위 음성의 출력이 유지되는 시간에 관한 '음성 출력 시간 정보'로 구성될 수 있다. 한편, 다른 실시 예로, 상기 음성 구간은 '음성 시작 시간 정보'와 '음성 종료 시간 정보'만으로 구성될 수도 있다.
자막 구간은 영상 컨텐츠의 재생 구간 중 단위 자막이 표시되는 구간에 관한 정보로서, 각 단위 자막의 표시가 시작되는 영상 컨텐츠의 재생 시점에 관한 '자막 시작 시간 정보'와, 각 단위 자막의 표시가 종료되는 영상 컨텐츠의 재생 시점에 관한 '자막 종료 시간 정보'와, 각 단위 자막의 표시가 유지되는 시간에 관한 '자막 표시 시간 정보'로 구성될 수 있다. 한편, 다른 실시 예로, 상기 자막 구간은 '자막 시작 시간 정보'와 '자막 종료 시간 정보'만으로 구성될 수도 있다.
이하에서는, 본 발명의 다양한 실시 예들에 대하여, 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 제공 시스템의 구성을 도시하는 도면이다.
도 1을 참조하면, 본 발명에 따른 컨텐츠 제공 시스템(10)은, 통신 네트워크(100), 서버(200) 및 사용자 단말(300) 등을 포함할 수 있다.
서버(200)와 사용자 단말(300)은 통신 네트워크(100)를 통해 서로 연결될 수 있다. 통신 네트워크(100)는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등 다양한 네트워크를 포함할 수 있다. 또한, 통신 네트워크(100)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(100)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유/무선 텔레비전 네트워크 중 적어도 하나를 포함할 수도 있다.
서버(200)는, 서비스 제공 서버 또는 컨텐츠 제공 서버로서, 사용자 단말(300)에서 요청하는 통신 서비스(communication service)를 제공하는 기능을 수행할 수 있다. 일 예로, 서버(200)가 웹 서버인 경우, 서버(200)는 사용자 단말(300)에서 요청하는 컨텐츠(content)를 웹 페이지 형태로 구성하여 해당 단말(300)로 제공할 수 있다. 한편, 다른 예로, 서버(200)가 멀티미디어 제공 서버인 경우, 서버(200)는 사용자 단말(300)에서 요청하는 멀티미디어 컨텐츠를 전송 파일 형태로 구성하여 해당 단말(300)로 제공할 수 있다.
서버(200)는 데이터베이스에 저장된 영상 컨텐츠 또는 사용자 단말(300)로부터 업로드된 영상 컨텐츠를 기반으로 타임코드, 대표 이미지 정보, 자막 정보 및 음성 정보 중 적어도 하나를 포함하는 재생 구간별 장면메타정보를 생성하고, 영상 컨텐츠에 관한 장면메타정보를 사용자 단말(300)로 제공할 수 있다. 여기서, 장면메타정보를 생성하기 위한 재생 구간은 자막 구간이거나 혹은 음성 구간일 수 있다. 따라서, '재생 구간별 장면메타정보'는 '자막 구간별 장면메타정보' 또는 '음성 구간별 장면메타정보'라 지칭될 수 있다.
서버(200)는 영상 컨텐츠에 관한 장면메타정보를 활용하여 비디오 슬라이드 서비스를 사용자 단말(300)로 제공할 수도 있다. 이를 위해, 서버(200)는 영상 컨텐츠에 관한 재생 구간 별 장면메타정보(즉, 타임코드, 대표 이미지 정보, 자막 정보 및 음성 정보)를 기반으로 복수의 페이지 정보를 생성할 수 있다. 여기서, 페이지 정보(또는 비디오 슬라이드 정보)는 비디오 슬라이드 서비스를 제공하기 위한 정보로서, 대표 이미지 정보, 단위 자막 정보 및 단위 음성 정보 중 적어도 하나를 페이지 형태로 구성한 정보이다. 또한, 서버(200)는 복수의 페이지 정보를 포함하는 비디오 슬라이드 파일을 생성하여 사용자 단말(300)로 제공할 수 있다.
사용자 단말(300)은 서버(200)로부터 제공받은 정보를 기반으로 통신 서비스를 제공할 수 있다. 일 예로, 서버(200)가 웹 서버인 경우, 사용자 단말(300)은 서버(200)로부터 제공받은 컨텐츠를 기반으로 웹 서비스를 제공할 수 있다. 한편, 다른 예로, 서버(200)가 멀티미디어 제공 서버인 경우, 사용자 단말(300)은 서버(200)로부터 제공받은 컨텐츠를 기반으로 멀티미디어 서비스를 제공할 수 있다.
사용자 단말(300)은 영상 컨텐츠의 재생 및/또는 영상 컨텐츠와 관련된 부가 서비스(가령, 비디오 슬라이드 서비스)를 제공하기 위한 애플리케이션을 다운로드하여 설치할 수 있다. 이때, 사용자 단말(300)은 앱 스토어(app store), 플레이 스토어(play store) 등에 접속하여 해당 애플리케이션을 다운로드하거나, 혹은 별도의 저장매체를 통해 해당 애플리케이션을 다운로드할 수 있다. 또한, 사용자 단말(300)은 서버(200) 또는 타 기기와의 유/무선 통신을 통해 해당 애플리케이션을 다운로드할 수도 있다.
사용자 단말(300)은 사용자 명령 등에 따라 영상 컨텐츠(예를 들어, UGC 동영상)를 서버(200)로 업로드할 수 있다. 사용자 단말(300)은 서버(200)로부터 영상 컨텐츠, 영상 컨텐츠에 관한 재생 구간별 장면메타정보 및 장면메타정보에 대응하는 페이지 정보들을 포함하는 비디오 슬라이드 파일 중 적어도 하나를 수신할 수 있다.
사용자 단말(300)은 서버(200)로부터 수신된 영상 컨텐츠에 관한 장면메타정보 또는 메모리에 저장된 영상 컨텐츠에 관한 장면메타정보를 기반으로 복수의 페이지 정보를 생성할 수 있다. 또한, 사용자 단말(300)은 서버(200)로부터 수신된 영상 컨텐츠 또는 메모리에 저장된 영상 컨텐츠를 기반으로 재생 구간별 장면메타정보를 생성하고, 상기 장면메타정보를 이용하여 복수의 페이지 정보를 생성할 수도 있다.
사용자 단말(300)은 서버(200)로부터 수신하거나 혹은 메모리에 저장된 영상 컨텐츠을 기반으로 동영상 재생 서비스를 제공할 수 있다. 또한, 사용자 단말(300)은 영상 컨텐츠에 관한 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 서비스를 제공할 수 있다.
본 명세서에서 설명되는 사용자 단말(300)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크톱 컴퓨터(desktop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
한편, 본 실시 예에서는 사용자 단말(300)이 서버(200)와 연동하여 비디오 슬라이드 서비스를 제공하는 것을 예시하고 있으나 반드시 이에 제한되지는 않으며, 서버(200)와 연동 없이 독립적으로 비디오 슬라이드 서비스들을 제공할 수 있음은 당업자에게 자명할 것이다.
도 2는 본 발명의 일 실시 예에 따른 서버(200)의 구성을 도시하는 블록도이다.
도 2를 참조하면, 본 발명에 따른 서버(200)는 통신부(210), 데이터베이스(220), 장면메타정보 생성부(230), 페이지 생성부(240) 및 제어부(250)를 포함할 수 있다. 도 2에 도시된 구성요소들은 서버(200)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 서버는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(210)는 유선 통신을 지원하기 위한 유선 통신 모듈과 무선 통신을 지원하기 위한 무선 통신 모듈을 포함할 수 있다. 유선 통신 모듈은, 유선 통신을 위한 기술표준들 또는 통신방식(예를 들어, 이더넷(Ethernet), PLC(Power Line Communication), 홈 PNA(Home PNA), IEEE 1394 등)에 따라 구축된 유선 통신망 상에서 타 서버, 기지국, AP(access point) 중 적어도 하나와 유선 신호를 송수신한다. 무선 통신 모듈은, 무선 통신을 위한 기술표준들 또는 통신방식(예를 들어, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), DLNA(Digital Living Network Alliance), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), WCDMA(Wideband CDMA), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 무선 통신망 상에서 기지국, Access Point 및 중계기 중 적어도 하나와 무선 신호를 송수신한다.
본 실시 예에서, 통신부(210)는 데이터베이스(220)에 저장된 영상 컨텐츠, 영상 컨텐츠에 관한 재생 구간별 장면메타정보, 상기 장면메타정보에 대응하는 페이지 정보들을 포함하는 비디오 슬라이드 파일 등을 사용자 단말(300)로 전송할 수 있다. 또한, 통신부(210)는 사용자 단말(300)에서 업로드하는 영상 컨텐츠, 사용자 단말(300)에서 요청하는 비디오 슬라이드 서비스에 관한 정보 등을 수신할 수 있다.
데이터베이스(220)는 사용자 단말(300) 또는 타 서버(미도시)로부터 수신하는 정보(또는 데이터), 서버(200)에 의해 자체적으로 생성되는 정보(또는 데이터), 사용자 단말(300) 또는 타 서버로 제공할 정보(또는 데이터) 등을 저장하는 기능을 수행할 수 있다. 본 실시 예에서, 데이터베이스(200)는 복수의 영상 컨텐츠, 복수의 영상 컨텐츠에 관한 재생 구간별 장면메타정보, 상기 장면메타정보에 대응하는 페이지 정보들을 포함하는 비디오 슬라이드 파일 등을 저장할 수 있다.
장면메타정보 생성부(230)는 데이터베이스(220)에 저장된 영상 컨텐츠 또는 사용자 단말(300)로부터 업로드된 영상 컨텐츠를 기반으로 타임코드, 대표 이미지 정보, 자막 정보 및 음성 정보 중 적어도 하나를 포함하는 재생 구간별 장면메타정보를 생성할 수 있다. 이를 위해, 장면메타정보 생성부(230)는 영상 컨텐츠로부터 추출된 오디오 정보를 기반으로 복수의 음성 구간을 추출하고, 각 음성 구간의 오디오 정보를 음성 인식하여 각 음성 구간에 대응하는 음성 정보 및 자막 정보를 생성할 수 있다. 또한, 장면메타정보 생성부(230)는 영상 컨텐츠로부터 추출된 오디오 정보를 기반으로 복수의 음성 구간을 추출하고, 각 음성 구간의 오디오 정보와 이미지 정보에 대한 음성 인식 및 영상 인식을 통해 각 음성 구간의 대표 이미지 정보를 생성할 수 있다.
대표 이미지 정보는 영상 컨텐츠의 자막 또는 음성 구간들을 대표하는 이미지 정보로서, 자막 또는 음성 구간 내에서 재생되는 영상 컨텐츠의 연속된 영상 프레임들 중 적어도 하나를 포함할 수 있다. 좀 더 구체적으로, 대표 이미지 정보는 자막 또는 음성 구간 내의 영상 프레임들 중에서 임의로 선택된 영상 프레임이거나 혹은 상기 영상 프레임들 중에서 미리 결정된 규칙에 따라 선택된 영상 프레임(예를 들면, 자막 또는 음성 구간 중 가장 앞선 순서의 영상 프레임, 중간 순서의 영상 프레임, 마지막 순서의 영상 프레임, 자막 정보와 가장 유사한 영상 프레임 등)일 수 있다.
페이지 생성부(240)는 영상 컨텐츠에 관한 재생 구간별 장면메타정보를 기반으로 복수의 페이지 정보를 생성할 수 있다. 즉, 페이지 생성부(240)는 대표 이미지 정보, 자막 정보 및 음성 정보 중 적어도 하나를 이용하여 페이지 정보를 생성할 수 있다. 페이지 생성부(240)는 재생 구간별 장면메타정보에 대응하는 복수의 페이지 정보들을 포함하는 비디오 슬라이드 파일을 생성할 수 있다. 한편, 서버(200) 대신 사용자 단말(300)에서 재생 구간별 장면메타정보에 대응하는 페이지 정보를 생성하는 경우, 해당 페이지 생성부(240)는 생략 가능하도록 구성될 수 있다.
제어부(250)는 서버(200)의 전반적인 동작을 제어한다. 나아가 제어부(250)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 서버(200) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.
본 실시 예에서, 제어부(250)는 사용자 단말(300)에서 요청하는 통신 서비스를 제공할 수 있다. 일 예로, 제어부(250)는 동영상 재생 서비스 또는 비디오 슬라이드 서비스 등을 사용자 단말(300)로 제공할 수 있다. 이를 위해, 제어부(250)는 데이터베이스(220)에 저장된 영상 컨텐츠를 사용자 단말(300)로 제공할 수 있다. 또한, 제어부(250)는 영상 컨텐츠로부터 추출된 정보를 기반으로 재생 구간별 장면메타정보를 생성하여 사용자 단말(300)로 제공할 수 있다. 또한, 제어부(250)는 영상 컨텐츠에 관한 재생 구간별 장면메타정보를 기반으로 복수의 페이지 정보를 포함하는 비디오 슬라이드 파일을 생성하여 사용자 단말(300)로 제공할 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말(300)의 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명에 따른 사용자 단말(300)은 통신부(310), 입력부(320), 출력부(330), 메모리(340), 음성 인식부(350) 및 제어부(360) 등을 포함할 수 있다. 도 3에 도시된 구성요소들은 사용자 단말을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 사용자 단말은 위에서 열거된 구성요소들보다 많거나 또는 적은 구성요소들을 가질 수 있다.
통신부(310)는 유선 네트워크를 지원하기 위한 유선 통신 모듈과, 무선 네트워크를 지원하기 위한 무선 통신 모듈을 포함할 수 있다. 유선 통신 모듈은 유선 통신을 위한 기술표준들 또는 통신방식(예를 들어, 이더넷(Ethernet), PLC(Power Line Communication), 홈 PNA(Home PNA), IEEE 1394 등)에 따라 구축된 유선 통신망 상에서 외부 서버 및 타 단말 중 적어도 하나와 유선 신호를 송수신한다. 무선 통신 모듈은, 무선 통신을 위한 기술표준들 또는 통신방식(예를 들어, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), DLNA(Digital Living Network Alliance), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), WCDMA(Wideband CDMA), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 무선 통신망 상에서 기지국, Access Point 및 중계기 중 적어도 하나와 무선 신호를 송수신한다.
본 실시 예에서, 통신부(310)는 서버(200)로부터 영상 컨텐츠, 영상 컨텐츠에 관한 재생 구간별 장면메타정보, 상기 재생 구간별 장면 메타정보에 대응하는 복수의 페이지 정보를 포함하는 비디오 슬라이드 파일 등을 수신할 수 있다. 또한, 통신부(310)는 사용자 단말(300)에서 업로드하는 영상 컨텐츠, 사용자 단말(300)에서 요청하는 비디오 슬라이드 서비스에 관한 정보 등을 서버(200)로 전송할 수 있다.
입력부(320)는 영상 신호 입력을 위한 카메라, 오디오 신호 입력을 위한 마이크로폰(microphone), 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 키보드, 마우스, 터치키(touch key), 푸시키(mechanical key) 등) 등을 포함할 수 있다. 상기 입력부(320)에서 획득한 데이터는 분석되어 단말 사용자의 제어 명령으로 처리될 수 있다. 본 실시 예에서, 입력부(320)는 동영상 재생 서비스 및 비디오 슬라이드 서비스 등과 관련된 명령 신호들을 수신할 수 있다.
출력부(330)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 햅팁 모듈 및 광 출력부 중 적어도 하나를 포함할 수 있다.
디스플레이부는 사용자 단말(300)에서 처리되는 정보를 표시(출력)한다. 본 실시 예에서, 디스플레이부는 사용자 단말(300)에서 구동되는 동영상 재생 프로그램의 실행화면 정보, 비디오 슬라이드 프로그램의 실행화면 정보 또는 이러한 실행화면 정보에 따른 UI(User Interface) 정보, GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 사용자 단말(300)과 시청자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 사용자 단말(300)과 시청자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부는 통신부(310)로부터 수신되거나 메모리(340)에 저장된 오디오 데이터를 출력할 수 있다. 본 실시 예에서, 음향 출력부는 사용자 단말(300)에서 제공되는 동영상 재생 서비스 또는 비디오 슬라이드 서비스와 관련된 음향 신호를 출력할 수 있다.
메모리(340)는 사용자 단말(300)의 다양한 기능을 지원하는 데이터를 저장한다. 본 실시 예에서, 메모리(340)는 사용자 단말(300)에서 구동되는 동영상 재생 프로그램(또는 애플리케이션), 비디오 슬라이드 프로그램(또는 애플리케이션), 사용자 단말(300)의 동작을 위한 데이터들 및 명령어들을 저장할 수 있다. 또한, 메모리(340)는 복수의 영상 컨텐츠, 복수의 영상 컨텐츠에 관한 재생 구간별 장면메타정보, 상기 장면메타정보에 대응하는 복수의 페이지 정보들을 포함하는 비디오 슬라이드 파일 등을 저장할 수 있다.
메모리(340)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
음성 인식부(350)는 마이크로폰을 통해 입력되는 음향 신호의 특성을 분석하여 음성 신호를 분류하고, 상기 음성 신호에 대해 음성 인식을 수행하여 텍스트화된 음성 정보를 검출할 수 있다. 이때, 상기 음성 인식부(350)는 미리 결정된 음성 인식 알고리즘을 사용할 수 있다.
음성 인식부(350)는 상기 검출된 텍스트화된 음성 정보를 제어부(360)로 제공할 수 있다. 본 실시 예에서, 음성 인식부(360)를 통해 검출된 음성 정보는 사용자의 제어 명령으로 사용될 수 있다.
제어부(360)는 메모리(340)에 저장된 동영상 재생 프로그램 또는 비디오 슬라이드 프로그램 등과 관련된 동작과, 통상적으로 사용자 단말(300)의 전반적인 동작을 제어한다. 나아가 제어부(360)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 사용자 단말(300) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.
본 실시 예에서, 제어부(360)는 서버(200)로부터 수신하거나 혹은 메모리(340)에 저장된 영상 컨텐츠를 기반으로 동영상 재생 서비스를 제공할 수 있다. 또한, 제어부(360)는 서버(200)로부터 수신된 영상 컨텐츠에 관한 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 서비스를 제공할 수 있다. 또한, 제어부(360)는 서버(200)로부터 수신된 영상 컨텐츠에 관한 비디오 슬라이드 파일을 기반으로 비디오 슬라이드 서비스를 제공할 수도 있다.
한편, 다른 실시 예로, 제어부(360)는 서버(200)로부터 수신하거나 혹은 메모리(340)에 저장된 영상 컨텐츠를 이용하여 재생 구간별 장면메타정보를 직접 생성하고, 상기 재생 구간별 장면메타정보에 대응하는 복수의 페이지 정보들을 생성하며, 상기 복수의 페이지 정보들을 기반으로 비디오 슬라이드 서비스를 제공할 수도 있다.
제어부(360)는 서버(200)로부터 수신된 재생 구간별 장면메타정보를 분석하여 복수의 페이지 정보들을 카테고리 별로 그룹핑할 수 있다. 일 예로, 제어부(360)는 모든 페이지의 자막 정보를 분석하여 미리 결정된 개수의 카테고리 정보를 검출하고, 상기 검출된 카테고리 정보를 기반으로 복수의 페이지 정보들을 그룹핑할 수 있다. 상기 페이지 별 카테고리 정보는 스토리북 서비스(storybook service)를 제공하기 위해 사용될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 장면메타정보 생성장치의 구성을 도시하는 블록도이다.
도 4를 참조하면, 본 발명에 따른 장면메타정보 생성장치(400)는 음성정보 생성부(410), 자막정보 생성부(420), 이미지정보 생성부(430) 및 장면메타정보 구성부(440)를 포함할 수 있다. 도 4에 도시된 구성요소들은 장면메타정보 생성장치(400)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 장면메타정보 생성장치는 위에서 열거된 구성요소들보다 많거나 또는 적은 구성요소들을 가질 수 있다.
이러한 장면메타정보 생성장치(400)는 서버(200)의 장면메타정보 생성부(230)를 통해 구현되거나 혹은 사용자 단말(300)의 제어부(360)를 통해 구현될 수 있으며 반드시 이에 제한되지는 않는다.
음성정보 생성부(410)는 영상 컨텐츠에서 추출된 오디오 정보를 기반으로 복수의 음성 구간들을 검출하고, 상기 검출된 음성 구간들에 대응하는 복수의 음성 정보들을 생성할 수 있다. 또한, 음성정보 생성부(410)는 각 음성 구간의 오디오 정보에 대해 음성 인식을 수행하여 텍스트화된 음성 정보를 생성할 수 있다.
이러한 음성정보 생성부(410)는 영상 컨텐츠의 오디오 정보를 검출하기 위한 오디오 스트림 추출부(411), 영상 컨텐츠의 음성 구간들을 검출하기 위한 음성 구간 분석부(413) 및 각 음성 구간의 오디오 정보를 음성 인식하기 위한 음성 인식부(415)를 포함할 수 있다.
오디오 스트림 추출부(411)는 영상 컨텐츠에 포함된 오디오 파일을 기반으로 오디오 스트림을 추출할 수 있다. 오디오 스트림 추출부(411)는 오디오 스트림을 신호 처리에 적합한 복수의 오디오 프레임으로 분할할 수 있다. 여기서, 상기 오디오 스트림은 음성 스트림과 비 음성 스트림을 포함할 수 있다.
음성 구간 분석부(413)는 각 오디오 프레임의 주파수 성분, 피치(pitch) 성분, MFCC(mel-frequency cepstral coefficients) 계수, LPC(linear predictive coding) 계수 등을 분석하여 해당 오디오 프레임의 특징들을 추출할 수 있다. 음성 구간 분석부(413)는 각 오디오 프레임의 특징들과 미리 결정된 음성 모델을 이용하여 각각의 오디오 프레임이 음성 구간인지 여부를 결정할 수 있다. 이때, 상기 음성 모델로는 SVM(support vector machine) 모델, HMM(hidden Markov model) 모델, GMM(Gaussian mixture model) 모델, RNN(Recurrent Neural Networks) 모델, LSTM(Long Short-Term Memory) 모델 중 적어도 하나가 사용될 수 있다.
음성 구간 분석부(413)는 음성 구간에 해당하는 오디오 프레임들을 결합하여 각 음성 구간의 시작 시점과 종료 시점을 검출할 수 있다. 여기서, 각 음성 구간의 시작 시점은 해당 구간에서 음성 출력이 시작되는 영상 컨텐츠의 재생 시점에 대응하고, 각 음성 구간의 종료 시점은 해당 구간에서 음성 출력이 종료되는 영상 컨텐츠의 재생 시점에 대응한다. 음성 구간 분석부(413)는 영상 컨텐츠의 음성 구간에 관한 정보를 자막정보 생성부(420) 및/또는 이미지정보 생성부(430)로 제공할 수 있다.
음성 인식부(415)는 각 음성 구간에 대응하는 음성 정보의 주파수 성분, 피치 성분, 에너지 성분, 제로 크로싱(zero crossing) 성분, MFCC 계수, LPC 계수, PLP(Perceptual Linear Predictive) 계수 등을 분석하여 음성 정보의 특징 벡터들을 검출할 수 있다. 음성 인식부(415)는 미리 결정된 음향 모델을 이용하여 상기 검출된 특징 벡터들의 패턴을 분류하고, 상기 패턴 분류를 통해 음성을 인식하여 하나 이상의 후보 단어들을 검출할 수 있다. 그리고, 음성 인식부(415)는 미리 결정된 언어 모델을 기반으로 후보 단어들을 문장으로 구성하여 텍스트화된 음성 정보를 생성할 수 있다. 음성 인식부(415)는 텍스트화된 음성 정보를 자막정보 생성부(420) 및/또는 이미지정보 생성부(430)로 제공할 수 있다.
자막정보 생성부(420)는 음성정보 생성부(410)로부터 수신된 텍스트화된 음성 정보를 기반으로 영상 컨텐츠의 음성 구간들에 대응하는 복수의 자막 정보들을 생성할 수 있다. 즉, 영상 컨텐츠에 자막 파일이 존재하지 않는 경우, 자막정보 생성부(420)는 영상 컨텐츠에 포함된 오디오 정보를 음성 인식하여 새로운 자막 정보를 생성할 수 있다.
한편, 영상 컨텐츠에 자막 파일이 존재하는 경우, 자막정보 생성부(420)는 자막 파일을 기반으로 복수의 자막 구간들을 검출하고, 상기 자막 구간들에 대응하는 자막 정보들을 검출할 수 있다. 이 경우, 자막정보 생성부(420)는 영상 컨텐츠에서 추출된 오디오 정보를 이용하여 복수의 자막 구간 및/또는 자막 정보들을 보정할 수 있다.
이미지정보 생성부(430)는 각 음성 구간에 대응하는 비디오 구간을 검출하고, 상기 비디오 구간에 존재하는 복수의 장면 이미지들 중에서 자막 정보 또는 텍스트된 음성 정보와 가장 유사한 장면 이미지(즉, 대표 이미지)를 선택할 수 있다.
이러한 이미지정보 생성부(430)는 영상 컨텐츠를 구성하는 이미지 정보를 검출하기 위한 비디오 스트림 추출부(431), 각 음성 구간에 대응하는 비디오 구간을 검출하기 위한 비디오 구간 검출부(433), 각 비디오 구간의 이미지들로부터 태그 정보를 생성하는 이미지 태깅부(435) 및 각 비디오 구간의 이미지들 중에서 대표 이미지를 선택하는 장면 선택부(437)를 포함할 수 있다.
비디오 스트림 추출부(431)는 영상 컨텐츠에 포함된 동영상 파일을 기반으로 비디오 스트림을 추출할 수 있다. 여기서, 비디오 스트림은 연속된 영상 프레임들로 구성될 수 있다.
비디오 구간 추출부(433)는 비디오 스트림에서 각 음성 구간에 대응하는 비디오 구간을 검출할 수 있다. 이는 상대적으로 중요도가 낮은 비디오 구간(즉, 비 음성 구간에 대응하는 비디오 구간)을 제외시킴으로써 영상 처리하는데 소요되는 시간과 비용을 줄이기 위함이다.
이미지 태깅부(435)는 각 비디오 구간 내에 존재하는 복수의 이미지들(즉, 영상 프레임들) 각각에 대해 영상 인식을 수행하여 이미지 태그 정보를 생성할 수 있다. 즉, 이미지 태깅부(435)는 각 영상 프레임 내에 존재하는 객체들(가령, 사람, 사물, 텍스트 등)을 인식하여 이미지 태그 정보를 생성할 수 있다. 여기서, 이미지 태그 정보는 각 영상 프레임에 존재하는 모든 객체에 관한 정보를 포함할 수 있다.
장면 선택부(437)는 미리 결정된 유사도 측정 기법을 이용하여 이미지 태그 정보에 대응하는 제1 벡터 정보와 텍스트화된 음성 정보에 대응하는 제2 벡터 정보 간의 유사도를 측정할 수 있다. 상기 유사도 측정 기법으로는 코사인 유사도(cosine similarity) 측정 기법, 유클리디안 유사도(Euclidean similarity) 측정 기법, 자카드 계수를 이용한 유사도 측정 기법, 피어슨 상관계수를 이용한 유사도 측정 기법, 맨하튼 거리를 이용한 유사도 측정 기법 중 적어도 하나가 사용될 수 있다.
장면 선택부(437)는, 각 비디오 구간 내에 존재하는 복수의 이미지들 중에서, 텍스트화된 음성 정보와 유사도가 가장 높은 이미지 태그 정보에 대응하는 이미지를 검출하고, 상기 검출된 이미지를 해당 구간의 대표 이미지로 선택할 수 있다.
한편, 다른 실시 예로, 장면 선택부(437)는, 각 비디오 구간 내에 존재하는 복수의 이미지들 중에서, 자막 정보와 유사도가 가장 높은 이미지 태그 정보에 대응하는 이미지를 검출하고, 상기 검출된 이미지를 해당 구간의 대표 이미지로 선택할 수도 있다.
장면메타정보 구성부(440)는 음성정보 생성부(410), 자막정보 생성부(420) 및 이미지정보 생성부(430)로부터 획득한 음성 구간 정보, 단위 자막 정보, 단위 음성 정보 및 대표 이미지 정보를 기반으로 재생 구간별 장면메타정보를 구성할 수 있다.
일 예로, 도 5에 도시된 바와 같이, 장면메타정보 구성부(440)는 ID 필드(510), 타임코드 필드(520), 대표 이미지 필드(530), 음성 필드(540), 자막 필드(550) 및 이미지 태그 필드(560)를 포함하는 장면메타정보 프레임(500)을 생성할 수 있다. 이때, 장면메타정보 구성부(440)는 자막 또는 음성 구간들의 개수만큼 장면메타정보 프레임들을 생성할 수 있다.
ID 필드(510)는 재생 구간별 장면메타정보를 식별하기 위한 필드이고, 타임코드 필드(520)는 장면메타정보에 해당하는 자막 또는 음성 구간을 나타내는 필드이다. 좀 더 바람직하게, 타임코드 필드(520)는 장면메타정보에 대응하는 음성 구간을 나타내는 필드이다.
대표 이미지 필드(530)는 음성 구간별 대표 이미지를 나타내는 필드이고, 음성 필드(540)는 음성 구간별 음성 정보를 나타내는 필드이다. 그리고, 자막 필드(550)는 음성 구간별 자막 정보를 나타내는 필드이고, 이미지 태그 필드(860)는 음성 구간별 이미지 태그 정보를 나타내는 필드이다.
장면메타정보 구성부(440)는 서로 인접한 재생 구간에 해당하는 장면메타정보들의 대표 이미지가 유사한 경우, 해당 장면메타정보들을 하나의 장면메타정보로 병합할 수 있다. 이때, 상기 장면메타정보 구성부(440)는 미리 결정된 유사도 측정 알고리즘(가령, 코사인 유사도 측정 알고리즘, 유클리안 유사도 측정 알고리즘 등)을 이용하여 대표 이미지 간 유사 여부를 결정할 수 있다.
이상 상술한 바와 같이, 본 발명에 따른 장면메타정보 생성장치는 영상 컨텐츠로부터 추출된 정보를 기반으로 재생 구간별 장면메타정보를 생성할 수 있다. 이러한 재생 구간별 장면메타정보는 비디오 슬라이드 서비스를 제공하기 위해 사용될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 컨텐츠 제공 시스템의 시그널링 흐름도이다.
도 6을 참조하면, 사용자 단말(300)은 사용자 명령 등에 따라 비디오 슬라이드 애플리케이션을 실행할 수 있다(S605). 여기서, 비디오 슬라이드 애플리케이션은, 동영상을 책처럼 페이지 단위로 넘겨서 시청할 수 있는 사용자 인터페이스를 제공하는 애플리케이션이다.
사용자 단말(300)은, 해당 애플리케이션 실행 시, 미리 정의된 사용자 인터페이스(User Interface, UI)를 디스플레이부에 표시할 수 있다. 사용자 인터페이스의 업로드 메뉴를 통해 UGC 동영상이 선택되면, 사용자 단말(300)은 상기 선택된 UGC 동영상을 서버(200)로 업로드할 수 있다(S610).
서버(200)는 사용자 단말(300)로부터 업로드된 UGC 동영상에서 오디오 정보를 검출하고, 상기 검출된 오디오 정보를 기반으로 해당 동영상의 음성 구간들에 관한 정보를 추출할 수 있다(S615).
서버(200)는 상기 추출된 음성 구간 정보를 이용하여 재생 구간별 타임코드, 대표 이미지 정보 및 음성 정보를 포함하는 제1 장면메타정보를 생성할 수 있다(S620). 서버(200)는 사용자 단말(300)로부터 업로드된 UGC 동영상과 상기 UGC 동영상에 관한 제1 장면메타정보를 데이터베이스에 저장할 수 있다.
서버(200)는 제1 장면메타정보를 사용자 단말(300)로 전송할 수 있다(S625). 이때, 서버(200)는 해당 데이터를 스트리밍 방식으로 전송할 수 있다. 사용자 단말(300)은 서버(200)로부터 수신된 제1 장면메타정보를 기반으로 복수의 페이지를 생성할 수 있다(S630). 이때, 상기 복수의 페이지는 자막 정보를 포함하고 있지 않은 상태이다.
서버(200)는 각 음성 구간에 대응하는 음성 정보를 음성 인식하여 텍스트화된 음성 정보를 생성할 수 있다(S635). 서버(200)는 텍스트화된 음성 정보를 기반으로 재생 구간별 자막 정보를 생성하고, 상기 재생 구간별 자막 정보를 포함하는 제2 장면메타정보를 생성할 수 있다(S640). 서버(200)는 UGC 동영상에 관한 제2 장면메타정보를 데이터베이스에 저장할 수 있다.
서버(200)는 제2 장면메타정보를 사용자 단말(300)로 전송할 수 있다(S645). 마찬가지로, 서버(200)는 해당 데이터를 스트리밍 방식으로 전송할 수 있다. 한편, 본 실시 예에서는, 서버(200)가 모든 음성 구간에 대해 음성 인식을 완료한 이후에 모든 음성 구간에 대한 자막 정보를 전송하는 것을 예시하고 있으나 이를 제한하지는 않으며, 각 음성 구간을 음성 인식할 때마다 해당 음성 구간에 대응하는 자막 정보를 전송할 수 있음은 당업자에게 자명할 것이다.
사용자 단말(300)은 서버(200)로부터 수신된 제2 장면메타정보를 이용하여 각각의 페이지에 자막 정보를 추가할 수 있다(S650). 즉, 사용자 단말(300)은 제1 및 제2 장면메타정보를 기반으로 복수의 페이지 정보들을 생성할 수 있다. 여기서, 각 페이지 정보는 비디오 슬라이드 서비스를 제공하기 위한 정보로서, 대표 이미지 정보, 자막 정보 및 음성 정보 중 적어도 하나를 페이지 형태로 구성한 정보이다. 예를 들어, 각 페이지 정보는 대표 이미지 정보와 자막 정보로 구성되거나 혹은 대표 이미지 정보, 자막 정보 및 음성 정보로 구성될 수 있다.
사용자 단말(300)은 재생 구간 별 장면메타정보를 분석하여 복수의 페이지 정보들을 카테고리 별로 그룹핑(분류)할 수 있다(S655).
사용자 단말(300)은 복수의 페이지 정보들과 각 페이지 별 카테고리 정보를 포함하는 비디오 슬라이드 파일을 생성할 수 있다(S660). 사용자 단말(300)은 비디오 슬라이드 파일을 메모리에 저장할 수 있다.
사용자 단말(300)은 메모리에 저장된 비디오 슬라이드 파일을 기반으로 비디오 슬라이드 서비스를 제공할 수 있다(S665). 이에 따라, 단말 사용자는 자신이 제작한 UGC 동영상을 책처럼 페이지 단위로 시청할 수 있다. 또한, 단말 사용자는 UGC 동영상에 포함된 다양한 주제 중 관심 있는 주제만을 선별해서 볼 수 있다.
한편, 본 실시 예에서는, 음성 구간 분석에 소요되는 시간과 음성 인식에 소요되는 시간의 차이로 인하여, 서버(200) 측에서 제1 및 제2 장면메타정보를 순차적으로 생성하여 전송하는 것을 예시하고 있으나 이를 제한하지는 않는다. 따라서, 음성 구간 분석 및 음성 인식이 모두 완료된 이후에 하나의 장면메타정보를 생성하여 사용자 단말로 전송할 수 있음은 당업자에게 자명할 것이다.
또한, 다른 실시 예로, 서버(200)는 UGC 동영상에 관한 재생 구간별 장면메타정보뿐만 아니라, 상기 재생 구간별 장면메타정보에 대응하는 복수의 페이지 정보를 포함하는 비디오 슬라이드 파일을 생성하여 사용자 단말(200)로 전송할 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 사용자 단말의 동작을 설명하는 흐름도이다.
도 7을 참조하면, 사용자 단말(300)은 사용자 명령 등에 따라 비디오 슬라이드 애플리케이션을 실행할 수 있다(S705).
사용자 단말(300)은, 해당 애플리케이션 실행 시, 미리 정의된 사용자 인터페이스를 디스플레이부에 표시할 수 있다. 이때, 상기 사용자 인터페이스는 비디오 슬라이드 파일들에 대응하는 썸네일 이미지들을 포함하는 이미지 목록 영역과, 비디오 슬라이드 애플리케이션의 동작 메뉴들을 포함하는 메뉴 영역으로 구성될 수 있으며 반드시 이에 제한되지는 않는다.
이러한 사용자 인터페이스를 통해 업로드 메뉴가 선택되면(S710), 사용자 단말(300)은 메모리에 저장된 UGC 동영상들에 대응하는 썸네일 이미지들을 포함하는 선택 목록화면을 디스플레이부에 표시할 수 있다. 상기 선택 목록화면을 통해 하나 이상의 UGC 동영상들이 선택되면, 사용자 단말(300)은 상기 선택된 UGC 동영상을 서버(200)로 업로드할 수 있다(S715).
한편, 다른 실시 예로, 사용자 단말(300)은, 업로드 메뉴 선택 시, 동영상 촬영 모드로 진입하여 새로운 UGC 동영상을 실시간으로 생성할 수 있다. 동영상 촬영이 완료되면, 사용자 단말(300)은 새로 생성된 UGC 동영상을 서버(200)로 업로드할 수 있다.
서버(200)는 사용자 단말(300)로부터 업로드된 UGC 동영상에 포함된 정보를 기반으로 재생 구간별 장면메타정보를 생성할 수 있다. 서버(200)는 재생 구간별 장면메타정보를 사용자 단말(300)로 전송할 수 있다.
사용자 단말(300)은 업로드한 UGC 동영상에 관한 재생 구간별 장면메타정보를 서버(200)로부터 수신할 수 있다(S720). 사용자 단말(300)은 재생 구간별 장면메타정보에 대응하는 페이지 정보들과 각 페이지 별 카테고리 정보로 구성된 비디오 슬라이드 파일을 생성하여 메모리에 저장할 수 있다. 사용자 단말(300)은 메모리에 저장된 비디오 슬라이드 파일에 대응하는 썸네일 이미지를 사용자 인터페이스의 이미지 목록 영역에 표시할 수 있다.
사용자 인터페이스에 표시된 썸네일 이미지가 선택되면(S725), 사용자 단말(300)은 비디오 슬라이드 모드로 진입하여 상기 선택된 썸네일 이미지에 대응하는 비디오 슬라이드 파일을 실행할 수 있다(S730).
사용자 단말(300)은, 비디오 슬라이드 모드 시, 비디오 슬라이드 파일을 구성하는 복수의 페이지들 중 첫 번째 페이지 화면을 디스플레이부에 표시할 수 있다. 이때, 상기 페이지 화면은 대표 이미지 정보와 자막 정보로 구성될 수 있다. 또한, 사용자 단말(300)은, 페이지 화면 표시 시, 해당 페이지에 대응하는 음성 정보를 출력할 수 있다.
이러한 비디오 슬라이드 모드에서, 스토리북 메뉴가 선택되면(S735), 사용자 단말(300)은 UGC 동영상에 대응하는 비디오 슬라이드 파일을 기반으로 스토리북을 생성할 수 있다(S740).
일 예로, 사용자 단말(300)은 비디오 슬라이드 파일에 저장된 카테고리 정보를 기반으로 해당 파일을 구성하는 복수의 페이지들을 카테고리 별로 분류할 수 있다. 사용자 단말(300)은 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 스토리북을 생성할 수 있다.
사용자 단말(300)은 복수의 페이지 그룹들에 대응하는 스토리북 항목들을 포함하는 사용자 인터페이스(즉, 스토리북 화면)을 디스플레이부에 표시할 수 있다(S745). 여기서, 각 스토리북 항목은 각 페이지 그룹에 대응하는 썸네일 이미지, 해당 페이지 그룹의 카테고리 정보(즉, 타이틀 정보), 해당 페이지 그룹의 페이지 개수 정보 중 적어도 하나를 포함할 수 있다. 상기 썸네일 이미지는, 각 페이지 그룹을 대표하는 이미지를 미리 결정된 크기로 축소한 이미지이다.
스토리북 화면에 표시된 스토리북 항목들 중 어느 하나가 선택되면, 사용자 단말(300)은 상기 선택된 스토리북 항목에 대응하는 페이지 그룹에 속하는 페이지만을 디스플레이부에 표시할 수 있다. 이에 따라, 단말 사용자는 UGC 동영상에 포함된 다양한 주제 중 관심 있는 주제만을 선별해서 볼 수 있다.
한편, 사용자 단말(300)은, 미리 결정된 제스쳐 입력(가령, 방향성을 갖는 플리킹 입력)에 대응하여, 다음 페이지 화면 혹은 이전 페이지 화면을 디스플레이부에 표시할 수 있다. 또한, 사용자 단말(300)은, 미리 결정된 제스쳐 입력(가령, 롱 터치 입력)에 대응하여, UGC 동영상에 관한 페이지 화면을 빠른 속도로 전환(이동)할 수 있다. 또한, 사용자 단말(300)은, 음성 인식 모드 시, 사용자의 음성 명령에 대응하는 비디오 슬라이드 동작을 실행할 수 있다. 가령, 사용자 단말(300)은 음성 명령을 통해 페이지 넘김 기능, 모드 전환 기능(비디오 슬라이드 모드↔동영상 모드), 자막 검색 기능, 자동 재생 기능, 삭제/편집/공유 기능 등을 실행할 수 있다.
사용자 단말(300)은, 비디오 슬라이드 애플리케이션이 종료될 때까지, 상술한 710 단계 내지 745 단계의 동작을 반복적으로 수행할 수 있다. 한편, 본 실시 예에서는, 별도의 독립적인 애플리케이션으로 비디오 슬라이드 서비스를 제공하는 것을 예시하고 있으나 이를 제한하지 않으며, 일반적인 동영상 재생 애플리케이션의 부가 기능으로서 비디오 슬라이드 서비스를 제공할 수 있음은 당업자에게 자명할 것이다.
도 8은 비디오 슬라이드 애플리케이션의 메인 화면을 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면이다.
도 8을 참조하면, 사용자 단말(300)은 사용자 명령 등에 따라 홈 화면(710)을 디스플레이부에 표시할 수 있다. 이때, 상기 홈 화면(810)은 비디오 슬라이드 애플리케이션에 대응하는 앱 아이콘(815)을 포함하고 있음을 가정한다.
단말 사용자에 의해 해당 앱 아이콘(815)이 선택되는 경우, 사용자 단말(300)은 상기 선택된 앱 아이콘(815)에 대응하는 비디오 슬라이드 애플리케이션을 실행할 수 있다.
사용자 단말(300)은, 해당 애플리케이션 실행 시, 미리 정의된 사용자 인터페이스(820)를 디스플레이부에 표시할 수 있다. 상기 사용자 인터페이스(820)는 비디오 슬라이드 파일들에 대응하는 썸네일 이미지들을 포함하는 이미지 목록 영역(820)과, 상기 이미지 목록 영역(820)의 상단에 표시되는 메뉴 영역(830)으로 구성될 수 있다. 상기 메뉴 영역(830)은, 공유 리스트 메뉴(831), 마이 리스트 메뉴(832) 및 스토리북 메뉴(833) 등을 포함할 수 있다.
사용자 단말(300)은, 공유 리스트 메뉴(831) 선택 시, 공유 상태에 있는 비디오 슬라이드 파일들에 대응하는 썸네일 이미지들을 이미지 목록 영역(820)에 표시할 수 있다. 한편, 사용자 단말(300)은, 마이 리스트 메뉴(832) 선택 시, 메모리에 저장된 비디오 슬라이드 파일들에 대응하는 썸네일 이미지들을 이미지 목록 영역(820)에 표시할 수 있다. 각각의 썸네일 이미지의 하단에는 해당 비디오 슬라이드 파일의 타이틀 정보가 표시될 수 있다.
사용자 단말(300)은, 스토리북 메뉴(833) 선택 시, UGC 동영상에 관한 복수의 페이지들을 카테고리 별로 그룹핑한 스토리북 화면을 제공할 수 있다. 이에 대한 자세한 설명은 후술하도록 한다.
도 9 및 도 10은 UGC 동영상을 업로드하여 재생 구간별 장면메타정보를 수신하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면이다.
도 9 및 도 10을 참조하면, 사용자 단말(300)은, 비디오 슬라이드 애플리케이션 실행 시, 미리 정의된 사용자 인터페이스(910)를 디스플레이부에 표시할 수 있다.
사용자 인터페이스(910)의 일 영역에 표시된 업로드 메뉴(915)가 선택되면, 사용자 단말(300)은 UGC 동영상의 업로드 방법을 선택하기 위한 팝업창(920)을 디스플레이부에 표시할 수 있다. 상기 팝업창(920)은 앨범 메뉴(921)와 카메라 메뉴(922)를 포함할 수 있다.
팝업창(920)의 앨범 메뉴(921)가 선택되면, 사용자 단말(300)은 메모리에 저장된 UGC 동영상들에 대응하는 썸네일 이미지들을 포함하는 선택 목록화면(미도시)을 디스플레이부에 표시할 수 있다. 상기 선택 목록화면을 통해 하나 이상의 썸네일 이미지가 선택되면, 사용자 단말(300)은 상기 선택된 썸네일 이미지에 대응하는 UGC 동영상을 서버(200)로 업로드할 수 있다.
한편, 팝업창(920)의 카메라 메뉴(922)가 선택되면, 사용자 단말(300)은 동영상 촬영 모드로 진입하여 새로운 UGC 동영상을 실시간으로 생성할 수 있다. 동영상 촬영이 완료되면, 사용자 단말(300)은 새로 생성된 UGC 동영상을 서버(200)로 업로드할 수 있다.
팝업창(920)을 통해 선택된 UGC 동영상(930)이 서버(200)로 업로드된 경우, 사용자 단말(300)은 해당 UGC 동영상이 비디오 슬라이드 파일로 변환되는 과정을 설명하는 알림 정보(940, 950, 960)를 디스플레이부에 표시할 수 있다. 가령, 도 10에 도시된 바와 같이, 사용자 단말(300)은 "업로드 중", "음성 구간 추출 중", "음성 인식 중" 등과 같은 알림 메시지를 순차적으로 표시할 수 있다. 상기 변환 과정이 완료되면, 사용자 단말(300)은 업로드한 UGC 동영상에 관한 재생 구간별 장면메타정보를 서버(200)로부터 수신할 수 있다.
도 11 및 도 12는 UGC 동영상을 페이지 단위로 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면이다.
도 11 및 도 12를 참조하면, 사용자 단말(300)은, 비디오 슬라이드 애플리케이션 실행 시, 복수의 썸네일 이미지들을 포함하는 사용자 인터페이스를 디스플레이부에 표시할 수 있다. 이때, 상기 복수의 썸네일 이미지들은 UGC 동영상들에 관한 비디오 슬라이드 파일들에 대응한다.
이러한 사용자 인터페이스를 통해 썸네일 이미지가 선택되면, 사용자 단말(300)은 상기 선택된 썸네일 이미지에 대응하는 비디오 슬라이드 파일을 실행(재생)할 수 있다. 즉, 사용자 단말(300)은 UGC 동영상을 책처럼 페이지 단위로 보여주는 비디오 슬라이드 모드로 진입할 수 있다.
사용자 단말(300)은, 비디오 슬라이드 모드 시, 미리 결정된 페이지 화면(1100)을 디스플레이부에 표시할 수 있다. 이때, 상기 페이지 화면(1100)은, 이미지 표시 영역(1110), 자막 표시 영역(1120), 제1 메뉴 영역(1130) 및 제2 메뉴 영역(1140) 등을 포함할 수 있으며 반드시 이에 제한되지는 않는다.
이미지 표시 영역(1110)은 현재 페이지에 대응하는 대표 이미지를 포함할 수 있다. 자막 표시 영역(1120)은 현재 페이지에 대응하는 자막 정보를 포함할 수 있다. 제1 및 제2 메뉴 영역(1130, 1140)은 비디오 슬라이드 모드와 관련된 기능들을 실행하기 위한 복수의 메뉴들을 포함할 수 있다.
제1 메뉴 영역(1130)은, 스토리 북을 생성하기 위한 제1 동작 메뉴(스토리북 메뉴, 1131), 동영상 재생 모드로 시청하기 위한 제2 동작 메뉴(모드 전환 메뉴, 1132), 자막 및/또는 태그를 검색하기 위한 제3 동작 메뉴(검색 메뉴, 1133) 및 다른 메뉴들을 더 보기 위한 제4 동작 메뉴(더보기 메뉴, 1134) 등을 포함할 수 있다. 제2 메뉴 영역(1140)은 페이지 화면을 자동으로 전환하기 위한 제5 동작 메뉴(자동 전환 메뉴, 1141), 현재 페이지의 전후 페이지들을 미리보기 위한 제6 동작 메뉴(미리보기 메뉴, 1142) 및 음성 인식 모드를 활성화하기 위한 제7 동작 메뉴(마이크 메뉴, 1143) 등을 포함할 수 있다.
이러한 페이지 화면(1100)이 표시된 상태에서, 제2 메뉴 영역(1140)의 미리보기 메뉴(1142)가 선택되는 경우, 사용자 단말(300)은 현재 페이지의 전후 페이지들을 미리 보여주는 기능을 실행할 수 있다. 가령, 도 12에 도시된 바와 같이, 사용자 단말(300)은 현재 페이지를 기준으로 전후에 존재하는 페이지들에 대응하는 복수의 썸네일 이미지들을 포함하는 스크롤 영역(1150)을 디스플레이부의 하단에 표시할 수 있다. 상기 복수의 썸네일 이미지들은 복수의 페이지들에 대응하는 대표 이미지들을 미리 결정된 크기로 축소한 이미지들이다. 상기 복수의 썸네일 이미지들은 페이지들의 타임코드에 따라 순차적으로 배열될 수 있다. 또한, 상기 복수의 썸네일 이미지들은 미리 결정된 제스쳐 입력에 따라 스크롤 가능하도록 구성될 수 있다.
현재 페이지의 썸네일 이미지(1151)는 스크롤 영역(1150)의 중앙부에 위치할 수 있다. 즉, 스크롤 영역(1150)의 중앙부에는 현재 시청자가 보고 있는 페이지가 위치할 수 있다. 시청자는 스크롤 영역(1150)에 위치한 썸네일 이미지들 중 어느 하나를 선택함으로써 해당 썸네일 이미지에 대응하는 페이지로 바로 이동할 수 있다.
한편, 제1 메뉴 영역(1130)의 스토리북 메뉴(1131)가 선택되는 경우, 사용자 단말은 UGC 동영상에 관한 복수의 페이지들을 카테고리 별로 그룹핑한 스토리북 화면을 제공할 수 있다. 이에 대한 자세한 설명은 후술하도록 한다.
제1 메뉴 영역(1130)의 모드 전환 메뉴(1132)가 선택되는 경우, 사용자 단말(300)은, 비디오 슬라이드 모드를 동영상 재생 모드로 전환한 후 현재 페이지의 음성 구간에 대응하는 UGC 동영상의 재생 구간을 재생할 수 있다.
제1 메뉴 영역(1130)의 검색 메뉴(1133)가 선택되는 경우, 사용자 단말(300)은 자막 또는 태그를 검색하기 위한 검색창(미도시)을 디스플레이부에 표시할 수 있다. 상기 검색창을 통해 소정의 텍스트 정보가 입력되면, 사용자 단말(300)은 상기 텍스트 정보에 대응하는 자막 또는 태그 정보를 포함하는 페이지를 검색하여 디스플레이부에 표시할 수 있다.
제2 메뉴 영역(1140)의 마이크 메뉴(1143)가 선택되는 경우, 사용자 단말(300)은 마이크로폰을 활성화하여 음성 인식 모드로 진입할 수 있다. 사용자 단말(300)은, 음성 인식 모드 진입 시, 사용자의 음성 명령에 대응하는 비디오 슬라이드 동작을 실행할 수 있다. 이에 따라, 단말 사용자는 손을 사용하기 힘든 상황에서도 비디오 슬라이드 서비스를 간편하게 이용할 수 있다.
한편, 페이지 화면(1100)이 표시된 상태에서, 디스플레이부를 통해 제1 방향성을 갖는 플리킹 입력이 수신되는 경우, 사용자 단말(300)은 현재 페이지의 다음 페이지 화면을 디스플레이부에 표시할 수 있다. 반대로, 디스플레이부를 통해 제2 방향성을 갖는 플리킹 입력이 수신되는 경우, 사용자 단말(300)은 현재 페이지의 이전 페이지 화면을 디스플레이부에 표시할 수 있다. 이처럼, 사용자 단말(300)은 미리 결정된 제스쳐 입력을 통해 페이지 화면을 간편하게 전환할 수 있다. 제2 메뉴 영역(1140)의 자동 전환 메뉴(1141)가 선택되는 경우, 사용자 단말(300)은 현재 페이지 화면을 일정 시간 동안 표시한 후 다음 페이지 화면으로 자동 전환할 수 있다. 또한, 사용자 단말(300)은 미리 결정된 제스쳐 입력(가령, 롱 터치 입력)에 대응하여 고속 탐색 기능을 수행할 수 있다.
이상 상술한 바와 같이, 사용자 단말(300)은 서버(200)와 연동하여 UGC 동영상을 책처럼 페이지 단위로 시청할 수 있는 비디오 슬라이드 서비스를 제공할 수 있다.
도 13 내지 도 15는 복수의 페이지들을 카테고리 별로 그룹핑하여 표시하는 사용자 단말의 동작을 설명하기 위해 참조되는 도면이다.
도 13 내지 도 15를 참조하면, 사용자 단말(300)은, 스토리북 메뉴 선택 시, 복수의 비디오 슬라이드 파일들에 대응하는 썸네일 이미지들을 포함하는 선택 목록화면(미도시)을 디스플레이부에 표시할 수 있다.
선택 목록화면을 통해 하나 이상의 썸네일 이미지가 선택되면, 사용자 단말(300)은 상기 선택된 썸네일 이미지에 대응하는 비디오 슬라이드 파일을 기반으로 스토리북을 생성할 수 있다. 즉, 사용자 단말(300)은 상기 선택된 비디오 슬라이드 파일에 저장된 카테고리 정보를 기반으로 해당 파일을 구성하는 복수의 페이지들을 카테고리 별로 분류할 수 있다. 사용자 단말(300)은 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 스토리북을 생성할 수 있다.
사용자 단말(300)은, 스토리북 생성 시, 복수의 페이지 그룹들에 대응하는 스토리북 항목들을 디스플레이부에 표시할 수 있다. 가령, 도 13에 도시된 바와 같이, 사용자 단말(300)은, 사용자에 의해 선택된 비디오 슬라이드 파일에 대응하는 썸네일 이미지(1311)와 해당 파일의 타이틀 정보(1312)를 제1 디스플레이 영역(1310)에 표시할 수 있다. 사용자 단말(300)은 복수의 페이지 그룹들에 대응하는 스토리북 항목들을 제2 디스플레이 영역(1320)에 표시할 수 있다. 상기 스토리북 항목은 각 페이지 그룹에 대응하는 썸네일 이미지(1321), 해당 그룹의 카테고리 정보(1322) 및 해당 그룹의 페이지 개수 정보(1323) 등을 포함할 수 있다.
한편, 다른 실시 예로, 사용자 단말(300)은, 스토리북 생성 시, 복수의 페이지 그룹들에 대응하는 스토리북 항목들을 포함하는 사용자 인터페이스를 전체화면으로 표시할 수 있다.
제1 디스플레이 영역(1310)에 표시된 스토리 생성 메뉴(1313)가 선택되는 경우, 사용자 단말(300)은 UGC 동영상에 관한 스토리북 항목을 수동으로 생성하기 위한 사용자 인터페이스를 디스플레이부에 표시할 수 있다. 가령, 도 14에 도시된 바와 같이, 사용자 단말(300)은, 스토리북 항목에 포함될 페이지를 선택하기 위한 페이지 선택 영역(1411), 이전 페이지로 이동하기 위한 이전 아이콘(1412), 다음 페이지로 이동하기 위한 다음 아이콘(1413), 스토리북 항목의 카테고리 정보(즉, 타이틀 정보, 1414), 상기 카테고리 정보를 입력하기 위한 키패드창(1415) 등을 포함하는 사용자 인터페이스(1410)를 디스플레이부에 표시할 수 있다. 이러한 사용자 인터페이스(1410)를 통해, 단말 사용자는 UGC 동영상에 관한 스토리북을 직접 생성할 수도 있다.
한편, 사용자 단말(300)은, 비디오 슬라이드 모드 시, 특정 비디오 슬라이드 파일을 구성하는 복수의 페이지들 중 어느 하나의 페이지 화면(1510)을 디스플레이부에 표시할 수 있다. 이러한 페이지 화면(1510)이 표시된 상태에서 스토리북 메뉴(미도시)가 선택되는 경우, 사용자 단말(300)은, 상기 복수의 페이지들을 카테고리 별로 그룹핑한 스토리북 항목들(1520)을 페이지 화면(1510)의 일 영역에 표시할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 컨텐츠 제공 시스템 100: 통신 네트워크
200: 서버 300: 사용자 단말
400: 장면메타정보 생성장치 410: 자막정보 생성부
420: 오디오정보 생성부 430: 이미지정보 생성부
440: 장면메타정보 구성부
200: 서버 300: 사용자 단말
400: 장면메타정보 생성장치 410: 자막정보 생성부
420: 오디오정보 생성부 430: 이미지정보 생성부
440: 장면메타정보 구성부
Claims (12)
- UGC(User Generated Content) 동영상을 서버로 업로드하는 단계;
상기 서버로부터 상기 UGC 동영상에 관한 재생 구간별 장면메타정보를 수신하고, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 파일을 생성하는 단계;
상기 비디오 슬라이드 파일을 구성하는 복수의 페이지 정보들을 카테고리 별로 분류하는 단계; 및
상기 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 상기 UGC 동영상에 관한 스토리북(stroybook)을 생성하는 단계를 포함하는 사용자 단말의 동작 방법. - 제1항에 있어서,
상기 비디오 슬라이드 파일은, 상기 UGC 동영상의 재생 구간별 장면메타정보에 대응하는 복수의 페이지 정보들과, 각 페이지 별 카테고리 정보를 포함하는 것을 특징으로 하는 사용자 단말의 동작 방법. - 제2항에 있어서,
상기 재생 구간별 장면메타정보는, 상기 UGC 동영상에서 추출된 정보를 기반으로 생성되는 것을 특징으로 하는 사용자 단말의 동작 방법. - 제1항에 있어서,
상기 페이지 정보는, 상기 UGC 동영상의 재생 구간별 대표 이미지 정보와 자막 정보로 구성되는 것을 특징으로 하는 사용자 단말의 동작 방법. - 제1항에 있어서, 상기 스토리북 생성 단계는,
상기 복수의 페이지 그룹들에 대응하는 스토리북 항목들을 생성하는 것을 특징으로 하는 사용자 단말의 동작 방법. - 제5항에 있어서,
상기 스토리북 항목은, 각 페이지 그룹에 대응하는 썸네일 이미지, 해당 페이지 그룹의 카테고리 정보 및 해당 페이지 그룹의 페이지 개수 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말의 동작 방법. - 제5항에 있어서,
상기 스토리북 항목들을 포함하는 사용자 인터페이스를 디스플레이부에 표시하는 단계를 더 포함하는 사용자 단말의 동작 방법. - 제7항에 있어서,
상기 스토리북 항목들 중 어느 하나가 선택된 경우, 상기 선택된 스토리북 항목에 대응하는 페이지 그룹에 속하는 페이지를 표시하는 단계를 더 포함하는 사용자 단말의 동작 방법. - 제1항에 있어서,
상기 비디오 슬라이드 파일에 대응하는 썸네일 이미지를 표시하는 단계를 더 포함하는 사용자 단말의 동작 방법. - 제9항에 있어서,
상기 썸네일 이미지 선택 시, 상기 비디오 슬라이드 파일을 구성하는 페이지들 중 어느 하나의 페이지 화면을 표시하는 단계를 더 포함하는 사용자 단말의 동작 방법. - 제1항 내지 제10항 중 어느 하나의 항의 방법을 컴퓨터로 실행시키기 위하여 컴퓨터로 판독 가능한 저장매체에 기록된 프로그램.
- 디스플레이부;
서버와의 통신 인터페이스를 제공하는 통신부; 및
UGC(User Generated Content) 동영상을 서버로 업로드하고, 상기 서버로부터 상기 UGC 동영상에 관한 재생 구간별 장면메타정보를 수신한 경우, 상기 재생 구간별 장면메타정보를 기반으로 비디오 슬라이드 파일을 생성하고, 상기 비디오 슬라이드 파일을 구성하는 복수의 페이지 정보들을 카테고리 별로 분류하며, 상기 카테고리 별로 분류된 복수의 페이지 그룹들을 기반으로 상기 UGC 동영상에 관한 스토리북(stroybook)을 생성하는 제어부를 포함하는 사용자 단말.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180131848A KR102154312B1 (ko) | 2018-10-31 | 2018-10-31 | 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 |
| PCT/KR2019/013139 WO2020091249A1 (ko) | 2018-10-31 | 2019-10-07 | 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 |
| US17/236,512 US11899716B2 (en) | 2018-10-31 | 2021-04-21 | Content providing server, content providing terminal, and content providing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180131848A KR102154312B1 (ko) | 2018-10-31 | 2018-10-31 | 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200049047A true KR20200049047A (ko) | 2020-05-08 |
| KR102154312B1 KR102154312B1 (ko) | 2020-09-10 |
Family
ID=70464150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180131848A KR102154312B1 (ko) | 2018-10-31 | 2018-10-31 | 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11899716B2 (ko) |
| KR (1) | KR102154312B1 (ko) |
| WO (1) | WO2020091249A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102318394B1 (ko) * | 2020-08-06 | 2021-10-27 | 주식회사 더발라 | 학습을 통한 화장법 영상 구간 이동 장치 |
| KR102610006B1 (ko) * | 2023-07-21 | 2023-12-04 | 이봉주 | 동영상 플랫폼을 이용한 광고 제공 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090131228A (ko) * | 2008-06-17 | 2009-12-28 | 테크빌닷컴 주식회사 | 사용자 저작 콘텐츠 제공 시스템 및 방법 |
| KR20150122673A (ko) * | 2013-03-06 | 2015-11-02 | 톰슨 라이센싱 | 비디오의 화상 요약 |
| KR20160135151A (ko) * | 2016-11-17 | 2016-11-25 | 주식회사 엘지유플러스 | 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법 |
| KR20170087307A (ko) * | 2016-01-20 | 2017-07-28 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5872753B2 (ja) * | 2009-05-01 | 2016-03-01 | ソニー株式会社 | サーバ装置、電子機器、電子書籍提供システム、サーバ装置の電子書籍提供方法、電子機器の電子書籍表示方法及びプログラム |
| US8687941B2 (en) * | 2010-10-29 | 2014-04-01 | International Business Machines Corporation | Automatic static video summarization |
| KR102108893B1 (ko) * | 2013-07-11 | 2020-05-11 | 엘지전자 주식회사 | 이동 단말기 |
| US10095348B2 (en) * | 2014-06-25 | 2018-10-09 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| KR102340196B1 (ko) * | 2014-10-16 | 2021-12-16 | 삼성전자주식회사 | 동영상 처리 장치 및 방법 |
| KR102319462B1 (ko) | 2014-12-15 | 2021-10-28 | 조은형 | 미디어 콘텐츠 플레이백 제어 방법 및 이를 수행하는 전자 기기 |
| KR101777242B1 (ko) * | 2015-09-08 | 2017-09-11 | 네이버 주식회사 | 동영상 컨텐츠의 하이라이트 영상을 추출하여 제공하는 방법과 시스템 및 기록 매체 |
| KR101777238B1 (ko) * | 2015-10-28 | 2017-09-11 | 네이버 주식회사 | 영상 트렌드 검출 및 큐레이션을 위한 방법 및 시스템 |
| KR101769071B1 (ko) * | 2016-05-10 | 2017-08-18 | 네이버 주식회사 | 비디오 태그 제작 및 활용을 위한 방법 및 시스템 |
-
2018
- 2018-10-31 KR KR1020180131848A patent/KR102154312B1/ko active IP Right Grant
-
2019
- 2019-10-07 WO PCT/KR2019/013139 patent/WO2020091249A1/ko active Application Filing
-
2021
- 2021-04-21 US US17/236,512 patent/US11899716B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090131228A (ko) * | 2008-06-17 | 2009-12-28 | 테크빌닷컴 주식회사 | 사용자 저작 콘텐츠 제공 시스템 및 방법 |
| KR20150122673A (ko) * | 2013-03-06 | 2015-11-02 | 톰슨 라이센싱 | 비디오의 화상 요약 |
| KR20170087307A (ko) * | 2016-01-20 | 2017-07-28 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| KR20160135151A (ko) * | 2016-11-17 | 2016-11-25 | 주식회사 엘지유플러스 | 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102318394B1 (ko) * | 2020-08-06 | 2021-10-27 | 주식회사 더발라 | 학습을 통한 화장법 영상 구간 이동 장치 |
| KR102610006B1 (ko) * | 2023-07-21 | 2023-12-04 | 이봉주 | 동영상 플랫폼을 이용한 광고 제공 방법 |
| KR102660968B1 (ko) * | 2023-07-21 | 2024-04-24 | 이봉주 | 사용자가 속한 그룹 특성에 따른 광고 매칭 방법 |
| KR102660966B1 (ko) * | 2023-07-21 | 2024-04-24 | 이봉주 | 학습 관련 콘텐츠를 제공하는 시스템 |
| KR102660967B1 (ko) * | 2023-07-21 | 2024-04-24 | 이봉주 | 사용자의 학습 레벨에 따른 광고 매칭 방법 |
| KR102660965B1 (ko) * | 2023-07-21 | 2024-04-24 | 이봉주 | 카테고리 설정에 따른 광고 제공 방법 |
| KR102660964B1 (ko) * | 2023-07-21 | 2024-04-24 | 이봉주 | 사용자의 성향 및 관심사에 따른 광고 제공 방법 |
| KR102660969B1 (ko) * | 2023-07-21 | 2024-04-24 | 이봉주 | 동영상 기반의 콘텐츠 제공 메커니즘 구현 시스템 및 이의 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210240765A1 (en) | 2021-08-05 |
| US11899716B2 (en) | 2024-02-13 |
| WO2020091249A1 (ko) | 2020-05-07 |
| KR102154312B1 (ko) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102085908B1 (ko) | 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 | |
| KR102142623B1 (ko) | 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법 | |
| KR102436734B1 (ko) | 비디오 재생 노드 위치 확정 방법, 장치, 전자 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램 | |
| CN113709561B (zh) | 视频剪辑方法、装置、设备及存储介质 | |
| KR102290419B1 (ko) | 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치 | |
| US9348906B2 (en) | Method and system for performing an audio information collection and query | |
| KR102667413B1 (ko) | 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치 | |
| KR102545837B1 (ko) | 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템 | |
| AU2016327275A1 (en) | Automatic performance of user interaction operations on a computing device | |
| US11899716B2 (en) | Content providing server, content providing terminal, and content providing method | |
| CN112752121B (zh) | 一种视频封面生成方法及装置 | |
| KR101590078B1 (ko) | 음성 아카이빙 장치 및 방법 | |
| JP5723446B2 (ja) | 興味区間特定装置、興味区間特定方法、興味区間特定プログラム、及び、興味区間特定集積回路 | |
| KR20150068003A (ko) | 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법 | |
| JP5522369B2 (ja) | 会議記録要約システム、会議記録要約方法及びプログラム | |
| US20210064327A1 (en) | Audio highlighter | |
| KR20150004681A (ko) | 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| CN103838809A (zh) | 信息处理设备、信息处理方法以及程序 | |
| KR20100113922A (ko) | 멀티미디어 컨텐츠 표시 방법과 그를 위한 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체 | |
| US11128927B2 (en) | Content providing server, content providing terminal, and content providing method | |
| CN115278346B (zh) | 在直播间发送评论和接收评论的方法及相关设备 | |
| CN116049490A (zh) | 素材搜索方法、装置和电子设备 | |
| JP6756211B2 (ja) | 通信端末、音声変換方法、及びプログラム | |
| KR102701785B1 (ko) | 의미 단위 이동이 가능한 미디어 플레이어를 갖는 사용자 단말장치 및 그의 동작 방법 | |
| KR101939806B1 (ko) | 터치 감응식 유저 인터페이스에서의 동영상 구간탐색을 위한 컴퓨터 구현방법 및 사용자 단말장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |