KR102129691B1 - 이미지 기반 동영상 서비스 방법 및 시스템 - Google Patents

이미지 기반 동영상 서비스 방법 및 시스템 Download PDF

Info

Publication number
KR102129691B1
KR102129691B1 KR1020190005878A KR20190005878A KR102129691B1 KR 102129691 B1 KR102129691 B1 KR 102129691B1 KR 1020190005878 A KR1020190005878 A KR 1020190005878A KR 20190005878 A KR20190005878 A KR 20190005878A KR 102129691 B1 KR102129691 B1 KR 102129691B1
Authority
KR
South Korea
Prior art keywords
image
video
main
weight
images
Prior art date
Application number
KR1020190005878A
Other languages
English (en)
Inventor
양진홍
Original Assignee
인제대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인제대학교 산학협력단 filed Critical 인제대학교 산학협력단
Priority to KR1020190005878A priority Critical patent/KR102129691B1/ko
Application granted granted Critical
Publication of KR102129691B1 publication Critical patent/KR102129691B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

이미지 기반 동영상 서비스 방법 및 시스템을 제공한다. 본 발명의 일실시예에 따른 이미지 기반의 동영상 서비스 방법은, 서버로 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청하는 단계, 상기 서버로부터 상기 특정 동영상에 대해 추출된 복수의 주요 이미지들을 수신하는 단계 및 상기 복수의 주요 이미지들을 사용자와의 인터랙션에 따라 순차적으로 표시하는 단계를 포함할 수 있다.

Description

이미지 기반 동영상 서비스 방법 및 시스템{METHOD AND SYSTEM FOR MOVING FICTURE SERVICE BASED ON IMAGE}
아래의 설명은 이미지 기반 동영상 서비스 방법 및 시스템에 관한 것이다.
비디오를 재생하려면, 사용자는 전체 재생 시간 동안 재생되는 비디오에 시간과 주의를 기울여야 한다. 비디오의 평균 길이는 55.3 초인 반면, 평균 시청 지속 시간은 18.2초로 이는 사람들이 평균적으로 동영상을 1/3만 시청한다는 것을 의미한다. 또한, 비디오를 재생하려면 음향 장비가 필요하다. 비디오에서 사운드는 필수 항목으로, 이어폰이나 헤드셋이 없이는 비디오를 재생하기 어려운 장소들(일례로, 공공장소)이 존재한다. 게다가 비디오 전송에는 많은 트래픽이 요구되기 때문에 모바일에서 비디오를 재생하려면 많은 데이터 트래픽이 발생하며 이는 많은 비용의 발생으로 연결될 수 있다.
선행문헌번호 : 한국공개특허 제10-2012-0015002호
동영상으로부터 주요 이미지들을 추출하고, 추출된 주요 이미지들을 사용자의 인터랙션에 따라 순차적으로 표시하는 방식을 통해 동영상을 재생하지 않고도 동영상의 소비가 가능한 이미지 기반의 동영상 서비스 방법, 상기 방법을 수행하는 컴퓨터 장치, 상기 컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 및 그 컴퓨터 판독 가능한 기록매체를 제공한다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 이미지 기반의 동영상 서비스 방법에 있어서, 서버로 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청하는 단계; 상기 서버로부터 상기 특정 동영상에 대해 추출된 복수의 주요 이미지들을 수신하는 단계; 및 상기 복수의 주요 이미지들을 사용자와의 인터랙션에 따라 순차적으로 표시하는 단계를 포함하는 동영상 서비스 방법을 제공한다.
일측에 따르면, 상기 복수의 주요 이미지들 각각은 고유의 공유 링크를 포함하고, 상기 동영상 서비스 방법은 상기 복수의 주요 이미지들 중 사용자에 의해 선택된 주요 이미지를 상기 선택된 주요 이미지가 포함하는 공유 링크를 이용하여 소셜 네트워크 서비스를 통해 공유하는 단계를 더 포함할 수 있다.
다른 측면에 따르면, 상기 공유되는 주요 이미지에 대한 정보 및 상기 주요 이미지가 공유된 소셜 네트워크 서비스에 대한 정보 중 적어도 하나가 레퍼러(referrer) 정보를 기반으로 상기 서버에서 트래킹될 수 있다.
또 다른 측면에 따르면, 상기 동영상 서비스 방법은 상기 복수의 주요 이미지들 중 사용자에 의해 선택된 주요 이미지에 대응하는 지점에서부터 상기 특정 동영상을 재생하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 표시하는 단계는, 상기 복수의 주요 이미지들을 상기 사용자의 인터랙션에 따라 종 또는 횡 형태로 스크롤하거나 또는 상기 복수의 주요 이미지들을 상기 사용자의 인터랙션에 따라 순차적으로 변경하면서 표시할 수 있다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 이미지 기반의 동영상 서비스 방법에 있어서, 클라이언트로부터 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청받는 단계; 상기 특정 동영상을 분석하여 복수의 주요 이미지들을 추출하는 단계; 및 상기 클라이언트에서 사용자와의 인터랙션에 따라 상기 복수의 주요 이미지들의 순차적으로 표시되도록 상기 복수의 주요 이미지들을 제공하는 단계를 포함하는 동영상 서비스 방법을 제공한다.
일측에 따르면, 상기 추출하는 단계는, 상기 특정 동영상의 메타데이터, 스크립트, 이미지, 장면 및 사운드 중 적어도 하나를 분석하여 얻어지는 가중치 요소들을 통해 상기 특정 동영상이 포함하는 프레임들 중에서 주요 이미지들을 추출할 수 있다.
다른 측면에 따르면, 상기 복수의 주요 이미지들 각각은 고유의 공유 링크를 포함하고, 상기 동영상 서비스 방법은 상기 복수의 주요 이미지들 각각에 대해, 시청 횟수, 상기 공유 링크를 이용한 공유 횟수, 상기 공유 링크를 이용하여 유입되는 사용자 수 중 적어도 하나의 정보를 트래킹하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 동영상 서비스 방법은 상기 트래킹된 적어도 하나의 정보를 분석 및 시각화하여 제공하는 단계를 더 포함할 수 있다.
컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터 장치에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 서버로 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청하고, 상기 서버로부터 상기 특정 동영상에 대해 추출된 복수의 주요 이미지들을 수신하고, 상기 복수의 주요 이미지들을 사용자와의 인터랙션에 따라 순차적으로 표시하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
컴퓨터 장치에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 클라이언트로부터 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청받고, 상기 특정 동영상을 분석하여 복수의 주요 이미지들을 추출하고, 상기 클라이언트에서 사용자와의 인터랙션에 따라 상기 복수의 주요 이미지들의 순차적으로 표시되도록 상기 복수의 주요 이미지들을 제공하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
동영상으로부터 주요 이미지들을 추출하고, 추출된 주요 이미지들을 사용자의 인터랙션에 따라 순차적으로 표시하는 방식을 통해 동영상을 재생하지 않고도 동영상을 소비할 수 있는 새로운 방식의 동영상 서비스를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 이미지 기반의 동영상 서비스를 제공하는 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 이미지 기반의 동영상 서비스를 제공하는 다른 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 동영상에서의 이미지 추출을 위한 가중치 부여 방법의 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 있어서, 이미지 기반의 동영상 서비스를 제공하는 과정의 예를 도시한 도면이다.
도 7은 기존의 동영상 서비스와 본 발명의 일실시예에 따른 이미지 기반의 동영상 서비스를 비교한 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 클라이언트의 동영상 서비스 방법의 예를 도시한 흐름도이다.
도 9는 본 발명의 일실시예에 있어서, 서버의 동영상 서비스 방법의 예를 도시한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들이 첨부된 도면을 기초로 상세히 설명하고자 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명의 실시예들에 따른 이미지 기반의 동영상 서비스 방법은 적어도 하나의 컴퓨터 장치에 의해 수행될 수 있다. 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 일실시예에 따른 동영상 서비스 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 동영상 서비스 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기 1(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기 1(110)은 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 컨텐츠 제공 서비스, 영상통화 서비스, 금융 서비스, 결제 서비스, 소셜 네트워크 서비스, 메시징 서비스, 검색 서비스, 메일 서비스, 질문 및 답변 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 방법은 이러한 컴퓨터 장치(200)에 의해 수행될 수 있다.
이때, 도 2에 도시된 바와 같이 컴퓨터 장치(200)는, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)은 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드, 카메라 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일실시예에 있어서, 이미지 기반의 동영상 서비스를 제공하는 예를 도시한 도면이다. 도 3은 하나의 동영상(310)의 예를 나타내고 있다. 동영상(310)은 하나의 파일로 구성될 수도 있으나, 스트리밍 서비스를 위한 복수 개의 파일들로 구성될 수도 있다. 일례로, 도 1을 통해 설명한 서버(150)가 본 실시예에 따른 동영상 서비스를 제공한다고 가정할 때, 서버(150)는 동영상(310)으로부터 주요 이미지들을 추출할 수 있다. 도 3에서 점선박스(320)는 추출된 주요 이미지들의 예를 나타내고 있다. 또한, 도 1을 통해 설명한 전자 기기 1(110)에 설치 및 구동된 클라이언트 프로그램(어플리케이션 또는 웹브라우저)을 통해 전자 기기 1(110)이 서버(150)에 접근하여 동영상 서비스를 제공받는다고 가정한다. 이 경우, 전자 기기 1(110)은 서버(150)로부터 동영상(310)이 아닌, 동영상(310)으로부터 추출된 주요 이미지들을 수신할 수 있으며, 수신한 주요 이미지들을 클라이언트 프로그램을 통해 제공되는 사용자 인터페이스(혹은 서버(150)측이 제공하는 웹 어플리케이션이 제공하는 사용자 인터페이스)를 통해 전자 기기 1(110)의 디스플레이를 통해 출력할 수 있다. 이때, 수신된 주요 이미지들은 전자 기기 1(110)에서 사용자의 인터랙션에 따라 순차적으로 표시될 수 있으며, 전자 기기 1(110)의 사용자는 동영상(310)을 재생하지 않고도 주요 이미지들을 살펴보면서 동영상(310)의 주요 내용들을 소비할 수 있게 된다. 일실시예로, 주요 이미지들은 종 또는 횡 형태로 스크롤하거나 넘겨가면서 소비 가능한 형태로 표시될 수 있다.
실시예에 따라 각 주요 이미지에는 고유의 공유 링크가 설정될 수 있다. 예를 들어, 서버(150)는 추출된 주요 이미지들 각각에 대해 고유의 공유 링크를 설정하여 전자 기기 1(110)로 전송할 수 있다. 이때 전자 기기 1(110)의 사용자는 표시되는 주요 이미지들 중 원하는 이미지를 선택하여 선택한 이미지를 소셜 네트워크 서비스를 통해 공유할 수 있다. 도 3에서는 동영상(310)에서의 재생 시각 "00:00:24:06"에 의해 식별되는 두 번째 주요 이미지가 고유의 공유 링크 2를 이용하여 소셜 네트워크 서비스 1(330)을 통해 공유되는 예를 나타내고 있다. 사용자는 주요 이미지들 중 원하는 주요 이미지를 선택할 수 있을 뿐만 아니라, 선택한 주요 이미지를 공유하기 위한 소셜 네트워크 서비스 역시 선택할 수 있다. 예를 들어, 주요 이미지들 각각이 표시될 때, 표시되는 주요 이미지를 위한 공유하기 버튼이 화면에 더 표시될 수 있다. 이때, 사용자가 공유하기 버튼을 누르면, 현재 화면에 표시중인 주요 이미지를 공유할 수 있는 소셜 네트워크 서비스들의 리스트가 사용자에게 제공될 수 있다. 이때, 사용자로부터 소셜 네트워크 서비스들의 리스트로부터 하나의 소셜 네트워크 서비스가 선택되는 경우, 선택된 소셜 네트워크 서비스를 통해 선택된 주요 이미지를 공유하기 위한 사용자 인터페이스가 제공될 수 있다. 주요 이미지를 공유하기 위한 사용자 인터페이스는 선택된 소셜 네트워크 서비스를 제공하기 위한 전자 기기 1(110)에 설치된 어플리케이션(또는 웹브라우저)과의 연동(일례로, 동영상 서비스를 위한 어플리케이션에서 소셜 네트워크 서비스를 위한 어플리케이션을 API 호출)을 통해 이루어질 수 있다.
또한, 이러한 주요 이미지들 각각의 공유는 레퍼러(referrer) 정보를 기반으로 서버(150)에 의해 트래킹될 수 있다. 예를 들어, 사용자가 두 번째 주요 이미지를 소셜 네트워크 서비스 1(330)을 통해 공유하는 경우, 동영상 서비스를 위한 어플리케이션을 통해 공유 링크 2의 주요 이미지가 소셜 네트워크 서비스 1(330)로 공유되었음에 대한 정보가 서버(150)로 전달될 수 있다.
도 4은 본 발명의 일실시예에 있어서, 이미지 기반의 동영상 서비스를 제공하는 다른 예를 도시한 도면이다. 도 4는 전자 기기 1(110)로 제공된 주요 이미지들이 예를 나타내고 있다. 이미 설명한 바와 같이, 전자 기기 1(110)의 사용자는 주요 이미지들을 순차적으로 소비할 수 있다. 이때, 사용자가 원하는 경우, 주요 이미지들을 통해 동영상(310)을 재생하는 것 역시 가능하다. 예를 들어, 사용자가 "00:00:24:06"으로 식별되는 두 번째 주요 이미지를 선택(일례로, PC 환경에서 주요 이미지가 표시된 영역을 마우스로 클릭하거나, 터치스크린 환경에서 주요 이미지가 표시된 영역을 손가락으로 터치)하는 경우, 전자 기기 1(110)은 동영상 서비스를 위한 어플리케이션의 제어에 따라 서버(150)로 동영상(310)을 요청할 수 있으며, 서버(150)가 제공하는 동영상(310)을 수신하여 재생할 수 있다. 이때, 전자 기기 1(110)은 선택된 두 번째 주요 이미지의 지점("00:00:24:06"의 지점)부터 동영상(310)을 재생할 수 있다. "00:01:05:96"으로 식별되는 세 번째 주요 이미지를 선택된 경우에는 세 번째 주요 이미지의 지점부터 동영상(310)이 재생될 수 있다.
도 5는 본 발명의 일실시예에 있어서, 동영상에서의 이미지 추출 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 이미지 추출 방법은 서버(150)를 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있으며, 역시 서버(150)를 구현하는 컴퓨터 장치(200)에 의해 수행되는 동영상 서비스 방법에 포함될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 5의 방법이 포함하는 단계들(510 내지 590)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
단계(510)에서 컴퓨터 장치(200)는 동영상을 로딩할 수 있다. 컴퓨터 장치(200)는 원본 동영상의 스토리지 특성에 따라 다음과 같이 동작할 수 있다. 일례로, 컴퓨터 장치(200)는 S3 기반의 블록 스토리지나 HTTP 세그먼테이션(segmentation)을 타겟으로 하는 세그먼테이션 기반 스토리지의 경우, GOP(Group Of Picture) 정보를 기준으로 세그먼테이션 여부를 확인할 수 있으며, GOP 기반의 세그먼테이션을 장면 분석 시 활용할 수 있도록 제공할 수 있다. 다른 예로, 컴퓨터 장치(200)는 비-HTTP 기반 비디오 스트리밍을 타겟으로 하는 비-세그먼테이션 기반 스토리지의 경우, 기존의 제안한 프로세스 구조를 따를 수 있다. 또 다른 예로, 컴퓨터 장치(200)는 리얼타임 기반 스트리밍 컨텐츠의 경우, 비디오 버퍼를 이용하여 주어진 시간만큼 분석을 위해 컨텐츠를 분할할 수 있다. 컨텐츠의 분할은 GOP에 기반할 수 있다.
단계(520)에서 컴퓨터 장치(200)는 메타데이터를 분석할 수 있다. 컴퓨터 장치(200)는 동영상 컨텐츠의 주어진 메타데이터를 기반으로 장르, 출연진, 제작 시점 등과 같은 기본 정보를 수집할 수 있다. 또한, 컴퓨터 장치(200)는 외부 데이터 크롤링(crawling) 기능을 통해 포괄적인 외부 정보를 수집할 수 있다.
단계(530)에서 컴퓨터 장치(200)는 동영상에서 스크립트 파일이나 외부 스크립트가 추출되는지 여부를 결정할 수 있다. 이때, 동영상에서 스크립트 파일이나 외부 스크립트가 추출되지 않는 경우에는 단계(540)를, 추출되는 경우에는 단계(550)을 수행할 수 있다.
단계(540)에서 컴퓨터 장치(200)는 동영상을 인식할 수 있다. 이러한 동영상의 인식은 동영상으로부터 스크립트를 획득하는 과정일 수 있다.
단계(550)에서 컴퓨터 장치(200)는 스크립트를 분석할 수 있다. 일례로, 컴퓨터 장치(200)는 스크립트의 정보를 자연어 분석(Natural Language Processing, NLP)을 통해 분석할 수 있다. 또한, 컴퓨터 장치(200)는 컨텐츠를 분류할 수 있다. 예를 들어, 컴퓨터 장치(200)는 컨텐츠 전체의 카테고리 또는 장르 정보 등을 분류하거나, 스크립트 상의 문장 단위의 의미를 기준으로 컨텐츠를 분류하거나 및/또는 주어진 메타데이터와 연관된 내용이 존재하는 경우에 마킹(marking)하는 방식으로 컨텐츠를 분류할 수 있다. 이때, 개별 문장 단위의 분류가 수행된 경우에는 관련 정보(일례로, 해당 문장)를 컨텐츠와 관련하여 별도로 기록해둘 수 있다. 또한, 컴퓨터 장치(200)는 키워드 가중치를 부여할 수 있다. 일례로, 컴퓨터 장치(200)는 스크립트상의 키워드를 추출하여 가중치를 부여할 수 있다. 또한, 컴퓨터 장치(200)는 향후 사운드 정보 기반으로 시간 기반의 볼륨의 변화 등을 활용하여 추가 가중치를 부여할 수도 있다. 문장 단위의 의미를 기준으로 한 분류는 문장과 문장의 연결 관계에 대한 가중치 산출을 통해 문맥/단락의 관계를 파악하는데 활용될 수 있으며, 주어진 메타데이터와 연관된 내용에 대한 마킹은 컨텐츠의 기본 정보와의 관련성을 기반으로 한 주요 장면 판단을 위한 가중치 부여를 위해 활용될 수 있다.
단계(560)에서 컴퓨터 장치(200)는 이미지, 장면 및/또는 사운드를 인식 및/또는 분석할 수 있다.
이미지 인식을 위해, 컴퓨터 장치(200)는 우선 GOP 간격으로 I-frame 이미지를 생성할 수 있다. 이때, 컴퓨터 장치(200)는 이미지 내 객체를 인식할 수 있다. 객체의 인식은 스크립트 정보와의 매칭을 통해 해당 이미지에 가중치를 부여하기 위해 활용될 수 있다. 일례로, 동일한 시점의 스크립트와 영상을 비교하여, 스크립트상의 텍스트 "자동차"와 영상의 객체 "자동차"가 모두 존재하는 경우, 해당 영상에 가중치가 부여될 수 있다. 이러한 객체의 인식은 PPL 타겟 객체의 등장 여부를 결정하기 위해 활용될 수도 있다. 또한, 컴퓨터 장치(200)는 이미지 내 주요 인물을 인식할 수 있다. 주요 인물은 주어진 메타데이터상의 주요 등장 배우나 출연진 정보를 활용할 수 있다. 또한, 컴퓨터 장치(200)는 영상 속 인물의 감정 분석이나 영상 속 인물의 동작, 행위, 상태를 분석할 수 있다. 일례로, 컴퓨터 장치(200)는 I-frame의 변화량을 기준으로 동작 여부를 판단할 수 있다.
장면 인식을 위해, 컴퓨터 장치(200)는 장면 인식을 통한 특정 장면에 대한 정보를 추출할 수 있다. 인식되는 장면에 기반한 흐름은 동영상을 분할하기 위한 정보로 활용될 수 있다.
사운드 분석을 위해, 컴퓨터 장치(200)는 장르별 특정 사운드를 인식할 수 있다. 일례로, 컴퓨터 장치(200)는 대역별 사운드의 변화량을 저장할 수 있다. 저장되는 변화량은 키워드 및 I-frame 주기와의 상관관계를 파악하기 위해 활용될 수 있다. 한편, 무음 상황에서의 감정 변화 등과 같은 장면이 드라마와 같은 장르에서 빈번하게 존재하기 때문에 무음 상황에 대한 정보가 별도로 태깅될 수도 있다.
단계(570)에서 컴퓨터 장치(200)는 이미지를 추출할 수 있다. 예를 들어, 컴퓨터 장치(200)는 앞서 설명한 다양한 가중치 요소들을 활용하여 동영상으로부터 주요 이미지를 추출할 수 있다. 다양한 가중치 요소들은 단계(560)을 통해 얻어지는 아래의 다양한 기록들을 통해 결정될 수 있다.
1) 유명인사 혹은 출연빈도가 높은 인물이 등장하는 장면이나 시간대 기록
2) 장면 인식을 통해 얻어진 특정 장면에 대한 정보 기록
3) 사운드 분석을 통해 얻어진 특정 사운드에 대한 정보 기록
4) 자막 정보 혹은 음성 인식을 통해 추출한 텍스트 분석 텍스트별 가중치 계산 기록
5) 영상 및 소리 인식을 통해 얻어진 특정 감정에 대한 정보 기록
도 6은 본 발명의 일실시예에 있어서, 이미지 기반의 동영상 서비스를 제공하는 과정의 예를 도시한 도면이다. 도 6은 스토리지(610), 컴퓨팅 자원(620), 데이터베이스(630) 및 클라이언트(640)를 나타내고 있다.
클라우드 시스템을 통해 이미지 기반의 동영상 서비스를 제공하는 경우, 스토리지(610)와 컴퓨팅 자원(620)은 클라우드 시스템이 포함하는 스토리지와 컴퓨팅 자원을 의미할 수 있다. 반면, 단일 서버를 통해 이미지 기반의 동영상 서비스를 제공하는 경우, 스토리지(610)와 컴퓨팅 자원(620)은 해당 서버의 로컬 스토리지와 컴퓨팅 자원을 의미할 수 있다. 이때, 각각의 경우에 클라이언트(640)는 사용자의 단말기에 설치 및 구동된 어플리케이션(혹은 웹브라우저)에 대응될 수 있으며, 단말기는 어플리케이션의 제어에 따라, 네트워크(170)를 통해 클라우드 시스템이나 서버에 접속하여 이미지 기반의 동영상 서비스를 제공받을 수 있다.
컴퓨팅 자원(620)은 클라이언트(640)로부터 동영상에서 이미지로의 변환 요청이 수신되면, 요청된 동영상을 스토리지(610)에 저장할 수 있다. 이때, 컴퓨팅 자원(620)은 저장된 동영상을 도 5의 순서도에 따라 처리하여 영상의 메타데이터를 추출하고 추출되는 각종 정보들을 데이터베이스(630)에 저장할 수 있다. 예를 들어, 스크립트, 셀럽 혹은 주인공 출연 장면, 키스 장면, 격투 장면, 댄스 장면, 포옹 장면 등의 장면 설명, 폭발음, 박수소리, 웃음소리, 울음소리 등의 특정 사운드 등과 같은 각종 정보들이 데이터베이스(630)에 저장될 수 있다. 이때, 컴퓨팅 자원(620)은 장면 별 가중치를 통해 동영상에서 추출할 지점을 결정할 수 있으며, 결정된 지점(의 해당 프레임)을 주요 이미지로 변환할 수 있다. 변환된 주요 이미지는 스토리지(610)에 저장될 수 있다.
컴퓨팅 자원(620)은 주요 이미지들을 클라이언트(640)로 제공할 수 있으며, 클라이언트(640)는 사용자와의 인터랙션에 따라 주요 이미지들을 순차적으로 표시할 수 있다. 예를 들어, 컴퓨팅 자원(620)에 포함되는 웹 서버 및/또는 WAS(Web Application Server)를 통해 웹브라우저를 이용하는 사용자의 단말기로 주요 이미지들이 제공될 수 있다. 또한, 컴퓨팅 자원(620)은 클라이언트(640)에서 선택되는 특정 주요 이미지를 통해 선택된 주요 이미지에 대응하는 시점부터 동영상이 재생될 수 있도록 동영상을 클라이언트(640)로 제공할 수도 있다. 또한, 컴퓨팅 자원(620)은 사용자가 시청하는 주요 이미지나 동영상, 사용자가 공유하는 주요 이미지, 주요 이미지의 공유 링크로 유입되는 사용자들의 수 등의 정보를 트래킹할 수 있으면, 트래킹된 정보를 데이터베이스(630)에 저장할 수 있다. 또한, 컴퓨팅 자원(620)은 데이터베이스(630)에 수집된 정보를 분석 및 시각화하여 관리자 페이지를 통해 제공할 수 있다.
도 7은 기존의 동영상 서비스와 본 발명의 일실시예에 따른 이미지 기반의 동영상 서비스를 비교한 예를 도시한 도면이다. 기존의 동영상 서비스는 원본 비디오 컨텐츠(711)에 대해서만 사용자 메타데이터(712), 서비스 메타데이터(713) 및 컨텐츠 메타데이터(714)를 획득하여 활용할 수 있다. 반면, 본 발명의 일실시예에 따른 이미지 기반의 동영상 서비스는 원본 비디오 컨텐츠(711)뿐만 아니라, 원본 비디오 컨텐츠(711)로부터 다양한 이미지 기반의 비디오 컨텐츠들(721)을 추출될 수 있으며, 원본 비디오 컨텐츠(711)와 다양한 이미지 기반의 비디오 컨텐츠들(721)로부터 사용자 메타데이터(722), 서비스 메타데이터(723) 및 컨텐츠 메타데이터(724)를 획득하여 활용할 수 있다. 이러한 확장된 사용자 메타데이터(722)는 추출된 다양한 이미지 기반의 비디오 컨텐츠들(721) 각각에 대해 사용자 소비와 공유에 따라 얻어질 수 있다. 한편, 서비스 메타데이터(723)를 통해, 추출된 이미지 각각의 새로운 링크와 컨텍스트가 생성될 수 있으며, 이미지 추출의 과정에서 추출 및 기록된 다양한 컨텐츠 메타데이터(724) 역시 활용될 수 있어, 보다 구체적인 메타데이터의 생성 및 활용을 가능하게 하며, 링크, 공유 및 활용을 위한 더 많은 연결 지점으로 이어질 수 있다. 예를 들어, 각 장면 별, SNS별 공유 횟수, 장면 별 시청자 유입 횟수, 이미지 / 동영상 전환 시점 등의 다양한 기록들이 얻어질 수 있으며, 얻어진 기록들을 시각화하여 제공함에 따라 관리자들이 해당 동영상에서 사용자들이 어느 시점을 많이 시청/공유/전환하는가와 같은 다양한 정보를 얻을 수 있게 된다.
도 8은 본 발명의 일실시예에 있어서, 클라이언트의 동영상 서비스 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 동영상 서비스 방법은 전자 기기 1(110)과 같이 동영상을 재생할 수 있는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 8의 방법이 포함하는 단계들(810 내지 850)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
단계(810)에서 컴퓨터 장치(200)는 서버로 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청할 수 있다. 일례로, 컴퓨터 장치(200)는 동영상들의 목록을 사용자에게 제공할 수 있으며, 사용자로부터 선택되는 동영상에 대한 이미지 기반의 동영상 서비스를 서버로 요청할 수 있다. 이 경우, 서버는, 일례로 도 5를 통해 설명한 이미지 추출 방식을 통해 요청된 특정 동영상으로부터 복수의 주요 이미지들을 추출할 수 있으며, 추출된 복수의 주요 이미지들을 컴퓨터 장치(200)로 전송할 수 있다. 요청과 전송은 모두 네트워크(170)를 통해 이루어질 수 있다.
단계(820)에서 컴퓨터 장치(200)는 서버로부터 특정 동영상에 대해 추출된 복수의 주요 이미지들을 수신할 수 있다. 컴퓨터 장치(200)는 앞서 설명한 바와 같이, 서버가 추출하여 네트워크(170)를 통해 전송하는 주요 이미지들을 수신할 수 있다.
단계(830)에서 컴퓨터 장치(200)는 복수의 주요 이미지들을 사용자와의 인터랙션에 따라 순차적으로 표시할 수 있다. 일례로, 컴퓨터 장치(200)는 복수의 주요 이미지들을 사용자의 인터랙션에 따라 종 또는 횡 형태로 스크롤하거나 또는 복수의 주요 이미지들을 사용자의 인터랙션에 따라 순차적으로 변경하면서 표시할 수 있다.
단계(840)에서 컴퓨터 장치(200)는 복수의 주요 이미지들 중 사용자에 의해 선택된 주요 이미지를 선택된 주요 이미지가 포함하는 공유 링크를 이용하여 소셜 네트워크 서비스를 통해 공유할 수 있다. 예를 들어, 복수의 주요 이미지들 각각은 고유의 공유 링크를 포함할 수 있다. 이때, 주요 이미지들은 각각 해당 주요 이미지의 공유를 위한 공유 버튼과 함께 표시될 수 있으며, 사용자가 공유 버튼을 누르는 경우 대응하는 주요 이미지가 소셜 네트워크 서비스를 통해 공유될 수 있다. 이때, 컴퓨터 장치(200)는 사용자가 다수의 소셜 네트워크 서비스들 중 어느 소셜 네트워크 서비스를 통해 선택된 주요 이미지를 공유할 것인가를 결정할 수 있도록 공유 가능한 소셜 네트워크 서비스들의 리스트를 사용자에게 제공할 수 있으며, 사용자에게 선택되는 소셜 네트워크 서비스를 통해 선택된 주요 이미지가 공유될 수 있도록 선택된 소셜 네트워크 서비스를 위한 소셜 네트워크 서비스 어플리케이션을 구동시킬 수 있다. 이때, 공유되는 주요 이미지에 대한 정보 및 주요 이미지가 공유된 소셜 네트워크 서비스에 대한 정보 중 적어도 하나가 레퍼러(referrer) 정보를 기반으로 서버에서 트래킹될 수 있다. 예를 들어, 모바일 환경에서 이미지 기반의 동영상 서비스를 제공받기 위해 컴퓨터 장치(200)에 설치 및 구동된 동영상 서비스 어플리케이션은 상술한 소셜 네트워크 서비스 어플리케이션과 연동되어 소셜 네트워크 서비스 어플리케이션을 구동시킬 수 있으며, 구동된 소셜 네트워크 서비스 어플리케이션으로 사용자에 의해 선택된 주요 이미지를 전달할 수 있다. 또한, 동영상 서비스 어플리케이션은 선택된 주요 이미지에 대한 정보 및 구동된 소셜 네트워크 서비스 어플리케이션에 대응하는 소셜 네트워크 서비스에 대한 정보 중 적어도 하나를 서버로 전달할 수 있다. 웹 환경에서는 웹 어플리케이션이나 웹브라우저를 통해 모바일 환경에서와 유사한 방법으로 정보가 트래킹될 수 있음을 당업자가 쉽게 이해할 수 있을 것이다.
단계(850)에서 컴퓨터 장치(200)는 복수의 주요 이미지들 중 사용자에 의해 선택된 주요 이미지에 대응하는 지점에서부터 특정 동영상을 재생할 수 있다. 앞서 도 4에서는 "00:00:24:06"으로 식별되는 주요 이미지가 선택됨에 따라 "00:00:24:06" 지점에서부터 동영상이 재생되는 예를 설명한 바 있다.
한편, 단계(840) 및 단계(850)은 단계(830) 이후에 사용자가 특정 사용자 인터페이스를 통해 혹은 해당 주요 이미지를 직접 선택함에 의해 선택적으로 진행될 수 있다.
도 9는 본 발명의 일실시예에 있어서, 서버의 동영상 서비스 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 동영상 서비스 방법은 서버(150)와 같이 동영상 서비스를 제공하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 9의 방법이 포함하는 단계들(910 내지 950)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
단계(910)에서 컴퓨터 장치(200)는 클라이언트로부터 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청받을 수 있다.
단계(920)에서 컴퓨터 장치(200)는 특정 동영상을 분석하여 복수의 주요 이미지들을 추출할 수 있다. 일례로, 컴퓨터 장치(200)는 특정 동영상의 메타데이터, 스크립트, 이미지, 장면 및 사운드 중 적어도 하나를 분석하여 얻어지는 가중치 요소들을 통해 특정 동영상이 포함하는 프레임들 중에서 주요 이미지들을 추출할 수 있다. 이러한 주요 이미지의 추출 방식은 도 5를 통해 자세히 설명한 바 있다.
단계(930)에서 컴퓨터 장치(200)는 클라이언트에서 사용자와의 인터랙션에 따라 복수의 주요 이미지들의 순차적으로 표시되도록 복수의 주요 이미지들을 제공할 수 있다. 일례로, 복수의 주요 이미지들은 클라이언트에서 사용자의 인터랙션에 따라 종 또는 횡 형태로 스크롤되거나 또는 사용자의 인터랙션에 따라 순차적으로 변경되면서 표시될 수 있다.
단계(940)에서 컴퓨터 장치(200)는 복수의 주요 이미지들 각각에 대해, 시청 횟수, 공유 링크를 이용한 공유 횟수, 공유 링크를 이용하여 유입되는 사용자 수 중 적어도 하나의 정보를 트래킹할 수 있다. 이미 설명한 바와 같이, 복수의 주요 이미지들 각각은 고유의 공유 링크를 포함할 수 있으며, 클라이언트에서 고유의 공유 링크를 이용하여 소셜 네트워크 서비스상에서 공유될 수 있다. 이때, 컴퓨터 장치(200)는 하나의 동영상이 아닌, 주요 이미지들 각각에 대해서 시청 횟수, 공유 횟수, 유입되는 사용자 수 등을 트래킹하여 추가적인 정보를 얻을 수 있다.
단계(950)에서 컴퓨터 장치(200)는 트래킹된 적어도 하나의 정보를 분석 및 시각화하여 제공할 수 있다. 획득된 다양한 정보들이 분석 및 시각화되어 관리자 페이지 등을 통해 제공될 수 있음을 앞서 설명한 바 있다.
이처럼 본 발명의 실시예들에 따르면, 동영상으로부터 주요 이미지들을 추출하고, 추출된 주요 이미지들을 사용자의 인터랙션에 따라 순차적으로 표시하는 방식을 통해 동영상을 재생하지 않고도 동영상을 소비할 수 있는 새로운 방식의 동영상 서비스를 제공할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 이미지 기반의 동영상 서비스 방법에 있어서,
    서버로 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청하는 단계;
    상기 서버로부터 상기 특정 동영상에 대해 추출된 복수의 주요 이미지들을 수신하는 단계; 및
    상기 복수의 주요 이미지들을 사용자와의 인터랙션에 따라 순차적으로 표시하는 단계
    를 포함하고,
    상기 서버는,
    상기 특정 동영상에 대해 GOP(Group Of Picture) 간격으로 이미지를 생성하고,
    상기 특정 동영상에 대해 스크립트의 정보를 분석하고,
    상기 특정 동영상의 메타데이터를 분석하고,
    상기 이미지 내의 객체를 인식하여 상기 인식된 객체 및 동일한 시점의 스크립트간의 비교를 통해 상기 이미지에 제1 가중치를 부여하고,
    상기 인식된 객체 및 상기 분석된 메타데이터에 기반하여 상기 이미지의 주요 인물을 인식 여부를 판단하고,
    상기 생성된 이미지들의 변화량을 기준으로 상기 이미지 내의 객체의 동작 여부를 판단하고,
    상기 스크립트에서 키워드를 추출하여 제2 가중치를 부여하고,
    사운드 정보 기반으로 시간 기반의 볼륨 변화를 활용하여 제3 가중치를 부여하고,
    상기 스크립트에서 문장과 문장의 연결 관계에 대한 제4 가중치를 부여하고,
    상기 주요 인물의 인식 여부, 상기 이미지 내의 객체의 동작 여부, 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치에 기반하여 상기 특정 동영상에 대해 상기 복수의 주요 이미지들을 추출하는 것
    을 특징으로 하는 동영상 서비스 방법.
  2. 제1항에 있어서,
    상기 복수의 주요 이미지들 각각은 고유의 공유 링크를 포함하고,
    상기 복수의 주요 이미지들 중 사용자에 의해 선택된 주요 이미지를 상기 선택된 주요 이미지가 포함하는 공유 링크를 이용하여 소셜 네트워크 서비스를 통해 공유하는 단계
    를 더 포함하는 동영상 서비스 방법.
  3. 제2항에 있어서,
    상기 공유되는 주요 이미지에 대한 정보 및 상기 주요 이미지가 공유된 소셜 네트워크 서비스에 대한 정보 중 적어도 하나가 레퍼러(referrer) 정보를 기반으로 상기 서버에서 트래킹되는, 동영상 서비스 방법.
  4. 제1항에 있어서,
    상기 복수의 주요 이미지들 중 사용자에 의해 선택된 주요 이미지에 대응하는 지점에서부터 상기 특정 동영상을 재생하는 단계
    를 더 포함하는 동영상 서비스 방법.
  5. 제1항에 있어서,
    상기 표시하는 단계는,
    상기 복수의 주요 이미지들을 상기 사용자의 인터랙션에 따라 종 또는 횡 형태로 스크롤하거나 또는 상기 복수의 주요 이미지들을 상기 사용자의 인터랙션에 따라 순차적으로 변경하면서 표시하는, 동영상 서비스 방법.
  6. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 이미지 기반의 동영상 서비스 방법에 있어서,
    클라이언트로부터 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청받는 단계;
    상기 특정 동영상을 분석하여 복수의 주요 이미지들을 추출하는 단계; 및
    상기 클라이언트에서 사용자와의 인터랙션에 따라 상기 복수의 주요 이미지들의 순차적으로 표시되도록 상기 복수의 주요 이미지들을 제공하는 단계
    를 포함하고,
    상기 복수의 주요 이미지들을 추출하는 단계는,
    상기 특정 동영상에 대해 GOP(Group Of Picture) 간격으로 이미지를 생성하는 단계;
    상기 특정 동영상에 대해 스크립트의 정보를 분석하는 단계;
    상기 특정 동영상의 메타데이터를 분석하는 단계;
    상기 이미지 내의 객체를 인식하여 상기 인식된 객체 및 동일한 시점의 스크립트간의 비교를 통해 상기 이미지에 제1 가중치를 부여하는 단계;
    상기 인식된 객체 및 상기 분석된 메타데이터에 기반하여 상기 이미지의 주요 인물을 인식 여부를 판단하는 단계;
    상기 생성된 이미지들의 변화량을 기준으로 상기 이미지 내의 객체의 동작 여부를 판단하는 단계;
    상기 스크립트에서 키워드를 추출하여 제2 가중치를 부여하는 단계;
    사운드 정보 기반으로 시간 기반의 볼륨 변화를 활용하여 제3 가중치를 부여하는 단계;
    상기 스크립트에서 문장과 문장의 연결 관계에 대한 제4 가중치를 부여하는 단계; 및
    상기 주요 인물의 인식 여부, 상기 이미지 내의 객체의 동작 여부, 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치에 기반하여 상기 특정 동영상에 대해 상기 복수의 주요 이미지들을 추출하는 것을 특징으로 하는 동영상 서비스 방법.
  7. 제6항에 있어서,
    상기 추출하는 단계는,
    상기 특정 동영상의 메타데이터, 스크립트, 이미지, 장면 및 사운드 중 적어도 하나를 분석하여 얻어지는 가중치 요소들을 통해 상기 특정 동영상이 포함하는 프레임들 중에서 주요 이미지들을 추출하는, 동영상 서비스 방법.
  8. 제6항에 있어서,
    상기 복수의 주요 이미지들 각각은 고유의 공유 링크를 포함하고,
    상기 복수의 주요 이미지들 각각에 대해, 시청 횟수, 상기 공유 링크를 이용한 공유 횟수, 상기 공유 링크를 이용하여 유입되는 사용자 수 중 적어도 하나의 정보를 트래킹하는 단계
    를 더 포함하는 동영상 서비스 방법.
  9. 제8항에 있어서,
    상기 트래킹된 적어도 하나의 정보를 분석 및 시각화하여 제공하는 단계
    를 더 포함하는 동영상 서비스 방법.
  10. 컴퓨터 장치와 결합되어 제1항 내지 제9항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  11. 제1항 내지 제9항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체.
  12. 컴퓨터 장치에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    클라이언트로부터 특정 동영상에 대한 이미지 기반의 동영상 서비스를 요청받고,
    상기 특정 동영상을 분석하여 복수의 주요 이미지들을 추출하고,
    상기 클라이언트에서 사용자와의 인터랙션에 따라 상기 복수의 주요 이미지들의 순차적으로 표시되도록 상기 복수의 주요 이미지들을 제공하고,
    상기 복수의 주요 이미지들을 추출하기 위해,
    상기 특정 동영상에 대해 GOP(Group Of Picture) 간격으로 이미지를 생성하고,
    상기 특정 동영상에 대해 스크립트의 정보를 분석하고,
    상기 특정 동영상의 메타데이터를 분석하고,
    상기 이미지 내의 객체를 인식하여 상기 인식된 객체 및 동일한 시점의 스크립트간의 비교를 통해 상기 이미지에 제1 가중치를 부여하고,
    상기 인식된 객체 및 상기 분석된 메타데이터에 기반하여 상기 이미지의 주요 인물을 인식 여부를 판단하고,
    상기 생성된 이미지들의 변화량을 기준으로 상기 이미지 내의 객체의 동작 여부를 판단하고,
    상기 스크립트에서 키워드를 추출하여 제2 가중치를 부여하고,
    사운드 정보 기반으로 시간 기반의 볼륨 변화를 활용하여 제3 가중치를 부여하고,
    상기 스크립트에서 문장과 문장의 연결 관계에 대한 제4 가중치를 부여하고,
    상기 주요 인물의 인식 여부, 상기 이미지 내의 객체의 동작 여부, 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치에 기반하여 상기 특정 동영상에 대해 상기 복수의 주요 이미지들을 추출하는 것
    을 특징으로 하는 컴퓨터 장치.
  13. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 특정 동영상의 메타데이터, 스크립트, 이미지, 장면 및 사운드 중 적어도 하나를 분석하여 얻어지는 가중치 요소들을 통해 상기 특정 동영상이 포함하는 프레임들 중에서 주요 이미지들을 추출하는 것
    을 특징으로 하는 컴퓨터 장치.
  14. 제12항에 있어서,
    상기 복수의 주요 이미지들 각각은 고유의 공유 링크를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    상기 복수의 주요 이미지들 각각에 대해, 시청 횟수, 상기 공유 링크를 이용한 공유 횟수, 상기 공유 링크를 이용하여 유입되는 사용자 수 중 적어도 하나의 정보를 트래킹하는 것
    을 특징으로 하는 컴퓨터 장치.
KR1020190005878A 2019-01-16 2019-01-16 이미지 기반 동영상 서비스 방법 및 시스템 KR102129691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190005878A KR102129691B1 (ko) 2019-01-16 2019-01-16 이미지 기반 동영상 서비스 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005878A KR102129691B1 (ko) 2019-01-16 2019-01-16 이미지 기반 동영상 서비스 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102129691B1 true KR102129691B1 (ko) 2020-07-02

Family

ID=71599303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005878A KR102129691B1 (ko) 2019-01-16 2019-01-16 이미지 기반 동영상 서비스 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102129691B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140023660A (ko) * 2012-08-17 2014-02-27 네이버 주식회사 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20170005741A (ko) * 2015-07-06 2017-01-16 한국과학기술원 이미지 기반 동영상 콘텐츠 제공 방법 및 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140023660A (ko) * 2012-08-17 2014-02-27 네이버 주식회사 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20170005741A (ko) * 2015-07-06 2017-01-16 한국과학기술원 이미지 기반 동영상 콘텐츠 제공 방법 및 그 시스템

Similar Documents

Publication Publication Date Title
US11290775B2 (en) Computerized system and method for automatically detecting and rendering highlights from streaming videos
JP6496848B2 (ja) 動画コンテンツのハイライト映像を抽出して提供する方法およびシステム
US10645142B2 (en) Video keyframes display on online social networks
KR101944469B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
TWI678631B (zh) 利用通訊工具服務的關鍵詞檢索方法及系統
KR102171657B1 (ko) 인공지능을 이용한 문맥 파악 기반의 동영상 편집 방법 및 시스템
JP6920475B2 (ja) デジタルビデオコンテンツの修正
US20140372892A1 (en) On-demand interface registration with a voice control system
US11126682B1 (en) Hyperlink based multimedia processing
CN115145439B (zh) 桌面元数据的显示方法、访问方法及相关装置
JP2023522092A (ja) インタラクション記録生成方法、装置、デバイス及び媒体
CN114501103B (zh) 基于直播视频的互动方法、装置、设备及存储介质
WO2022042251A1 (zh) 功能入口显示方法、电子设备及计算机可读存储介质
CN111798281B (zh) 作弊操作的判定方法、装置、计算机可读存储介质及设备
CN115278346B (zh) 在直播间发送评论和接收评论的方法及相关设备
KR102129691B1 (ko) 이미지 기반 동영상 서비스 방법 및 시스템
US20230362460A1 (en) Dynamically generated interactive video content
EP3296890A1 (en) Video keyframes display on online social networks
US11010935B2 (en) Context aware dynamic image augmentation
CN115643420A (zh) 信息处理方法、装置、电子设备及存储介质
JP6695826B2 (ja) 情報表示プログラム、情報表示装置、情報表示方法および配信装置
KR102202200B1 (ko) 연관 방송 제공 방법 및 장치
KR102424061B1 (ko) 비디오 콘텐츠 재생 환경 특성에 따른 제어 방법 및 시스템
WO2024113679A1 (zh) 多媒体资源处理方法、装置和设备
KR20230169692A (ko) 인공지능을 이용하여 동영상을 시청하면서 동영상에 대해 대화하는 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant