KR102586422B1 - 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램 - Google Patents
영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102586422B1 KR102586422B1 KR1020220028019A KR20220028019A KR102586422B1 KR 102586422 B1 KR102586422 B1 KR 102586422B1 KR 1020220028019 A KR1020220028019 A KR 1020220028019A KR 20220028019 A KR20220028019 A KR 20220028019A KR 102586422 B1 KR102586422 B1 KR 102586422B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- video
- user device
- highlight
- memory
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 title claims abstract description 7
- 238000010191 image analysis Methods 0.000 claims abstract description 51
- 238000004458 analytical method Methods 0.000 claims description 59
- 238000003703 image analysis method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램이 개시된다.
상기 영상 출력 방법은, 상기 사용자 디바이스가 접속가능한 서버의 서비스 어플리케이션과 연관하여 상기 사용자 디바이스로부터 상기 메모리에 저장된 하나 이상의 영상에 대한 편집 화면 요청을 수신하는 단계; 상기 편집 화면 요청이 수신되면, 상기 하나 이상의 영상 중 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계; 및 상기 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있다고 판단되는 경우, 편집 UI 요소를 제공하는 단계를 포함한다.
상기 영상 출력 방법은, 상기 사용자 디바이스가 접속가능한 서버의 서비스 어플리케이션과 연관하여 상기 사용자 디바이스로부터 상기 메모리에 저장된 하나 이상의 영상에 대한 편집 화면 요청을 수신하는 단계; 상기 편집 화면 요청이 수신되면, 상기 하나 이상의 영상 중 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계; 및 상기 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있다고 판단되는 경우, 편집 UI 요소를 제공하는 단계를 포함한다.
Description
본 발명은 영상을 분석하고 분석된 결과를 출력하는 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램에 관한 것이다. 구체적으로, 본 발명은 영상을 분석하여 하이라이트(highlight) 구간을 식별하고, 적어도 하나의 하이라이트 구간에 관한 정보를 출력하거나, 적어도 하나의 하이라이트 구간으로 구성된 하이라이트 영상을 출력함으로써, 영상적으로 유의미한 출력용 영상을 사용자에게 제공할 수 있는 방법, 사용자 디바이스 및 그러한 방법을 실행할 수 있는 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램에 관한 것이다.
최근 인스턴트 메신저 어플리케이션, SNS(Social Network Service) 등을 통한 커뮤니케이션의 경향은 단순한 대화의 수준을 넘어 동영상 위주의 커뮤니케이션으로 변화하고 있다. 사용자는 개인적으로 촬영하거나 외부로부터 획득한 동영상을 커뮤니케이션에 바로 이용하기보다는 해당 동영상을 출력용으로 편집한 후 이용할 수 있다. 예컨대, 사용자는 획득한 동영상에서 출력하기에 적절하지 않은 부분(영상 앞의 촬영 준비 부분, 영상 뒤의 촬영 마무리 부분, 심하게 흔들리거나 잘못 촬영된 부분 등)을 제거함으로써 유의미한 출력용 영상을 생성할 수 있다. 이런 이유로 동영상 위주의 커뮤니케이션을 지원하는 대부분의 서비스는 동영상을 편집할 수 있는 기본적인 편집 기능을 제공하고 있다.
동영상을 편집하는 사용자는 동영상을 반복적으로 재생하면서 불필요한 구간을 제외하고 필요한 부분을 선택함으로써 적절한 길이의 출력용 영상을 생성한다. 그러나, 동영상을 이용한 커뮤니케이션이 점점 증가하면서, 사용자가 모든 동영상을 직접 편집하는데 한계가 존재하므로, 메모리에 저장된 동영상을 자동으로 분석하고 분석된 결과를 사용자에게 제공하는 방안이 요구된다. 또한, 동영상의 편집은 상당한 양의 디바이스의 자원을 필요로 하므로, 메모리에 저장된 동영상을 자동으로 분석하는 타이밍의 선택에 있어서도 주의가 필요하다.
본 발명은 영상을 분석하고 분석된 결과를 출력하는 영상 출력 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 영상을 구성하는 프레임을 분석하고, 영상을 구성하는 하이라이트 구간을 식별한 후, 식별된 하이라이트 구간의 특성에 기초하여 트림(trim) 구간에 관한 정보를 출력하거나 하이라이트 영상에 관한 정보를 출력하는 영상 출력 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 본 발명에 따른 영상 출력 방법을 수행하는 영상 분석 장치로서의 사용자 디바이스를 제공하는 것을 목적을 한다.
본 발명은, 본 발명에 따른 영상 출력 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자(이하, "통상의 기술자"라 함)에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따르면, 메모리 및 적어도 하나의 프로세서를 포함하는 사용자 디바이스에 의해 수행되는 영상 출력 방법은, 상기 사용자 디바이스가 접속가능한 서버의 서비스 어플리케이션과 연관하여 상기 사용자 디바이스로부터 상기 메모리에 저장된 하나 이상의 영상에 대한 편집 화면 요청을 수신하는 단계; 상기 편집 화면 요청이 수신되면, 상기 하나 이상의 영상 중 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계; 및 상기 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있다고 판단되는 경우, 상기 영상 분석 결과과 저장된 상기 영상에 대한 편집 UI 요소를 제공하는 단계를 포함한다.
본 발명의 다른 양상에 따르면, 사용자 디바이스는 상기 영상 출력 방법을 수행할 수 있다.
본 발명의 또 다른 양상에 따르면, 컴퓨터 판독 가능 기록 매체에 저장된 프로그램은 상기 영상 출력 방법을 실행하는 컴퓨터 프로그램 또는 애플리케이션일 수 있다.
본 발명에 따르면, 영상을 분석하고 분석된 결과를 출력하는 영상 출력 방법이 제공될 수 있다.
또한, 본 발명에 따르면, 영상을 구성하는 프레임을 분석하고, 영상을 구성하는 하이라이트 구간을 식별한 후, 식별된 하이라이트 구간의 특성에 기초하여 트림 구간에 관한 정보를 출력하거나 하이라이트 영상에 관한 정보를 출력하는 영상 출력 방법이 제공될 수 있다.
또한, 본 발명에 따르면, 본 발명에 따른 영상 출력 방법을 수행하는 영상 분석 장치로서의 사용자 디바이스가 제공될 수 있다.
또한, 본 발명에 따른 영상 출력 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 방법이 사용될 수 있는 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 방법을 수행하는 사용자 디바이스(200)를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 분석 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 영상 분석의 일 실시예를 설명하기 위한 도면이다.
도 5는 분석 대상 영상을 구성하는 복수의 프레임을 도시한 도면이다.
도 6은 프레임 분석 후 분석 대상 영상으로부터 획득된 복수의 영상 구간을 도시한 도면이다.
도 7은 영상으로부터 트림 구간을 선택하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 영상 분석 방법이 수행되어 생성된 하이라이트 영상을 제공하는 일 실시예를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 방법을 수행하는 사용자 디바이스(200)를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 분석 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 영상 분석의 일 실시예를 설명하기 위한 도면이다.
도 5는 분석 대상 영상을 구성하는 복수의 프레임을 도시한 도면이다.
도 6은 프레임 분석 후 분석 대상 영상으로부터 획득된 복수의 영상 구간을 도시한 도면이다.
도 7은 영상으로부터 트림 구간을 선택하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 영상 분석 방법이 수행되어 생성된 하이라이트 영상을 제공하는 일 실시예를 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 통상의 기술자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
또한, 본 명세서에서 네트워크는 유무선 네트워크를 모두 포함하는 개념일 수 있다. 이때, 네트워크는 디바이스와 시스템 및 디바이스 상호 간의 데이터 교환이 수행될 수 있는 통신망을 의미할 수 있으며, 특정 네트워크로 한정되는 것은 아니다.
또한, 본 명세서에서 디바이스는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 HMD(Head Mounted Display)와 같이 모바일 디바이스뿐만 아니라, PC나 디스플레이 기능을 구비한 가전처럼 고정된 디바이스일 수 있다. 또한, 일 예로, 디바이스는 서버로 동작 가능한 컴퓨팅 디바이스, 차량 또는 IoT (Internet of Things) 디바이스일 수 있다. 즉, 본 명세서에서 디바이스는 본 발명에 따른 영상 분석 방법을 수행할 수 있는 기기들을 지칭할 수 있으며, 특정 타입으로 한정되지 않는다.
또한, 본 명세서에서 "영상"은 정지영상 뿐만 아니라 동영상, 스트리밍 영상 등 사용자가 디바이스에 구비된 디스플레이를 통해 시각적으로 인식할 수 있는 모든 종류의 정보를 포함할 수 있다.
시스템 및 장치 구성
도 1은 본 발명의 일 실시예에 따른 영상 분석 방법이 사용될 수 있는 시스템을 나타낸 도면이다.
본 발명에 따른 시스템은 네트워크(104)를 통해 연결된 하나 이상의 사용자 디바이스들(101, 102, 103)과 서버(110)를 포함할 수 있다.
각각의 사용자 디바이스들(101, 102, 103)은 클라이언트 또는 사용자 단말로 지칭될 수 있으며, 네트워크(104)를 통해 서버(110)에 접속하여 원하는 영상 또는 컨텐츠를 다운로드 받아 출력할 수 있다. 또한, 각각의 사용자 디바이스들(101, 102, 103)은 구비된 촬영 수단(예컨대, 스마트폰에 구비된 카메라 모듈 등)을 이용하여 영상을 획득하고 저장할 수 있다. 사용자 디바이스는 네트워크(104)를 통해 다운로드되거나 촬영 수단을 통해 획득된 영상에 대해 본 발명의 일 실시예에 따른 영상 분석 방법을 수행할 수 있다.
서버(110)는 서버(110)내 저장 공간 또는 별도의 데이터베이스에 방대한 양의 영상 및 컨텐츠를 저장할 수 있다. 또한, 서버(110)는 사용자를 식별할 수 있고, 사용자에 관한 정보, 영상 및 컨텐츠에 관한 정보 등 다양한 정보를 축적 및 저장할 수 있다.
또한, 서버(110)는 인스턴트 메신저 어플리케이션, SNS(social network service) 등과 같은 서비스를 제공할 수 있다. 상기 서비스를 이용하는 사용자는 사용자 디바이스를 통해 소정의 접속 정보(아이디와 패스워드)를 입력하여 상기 서비스를 제공하는 서버(110)에 접속할 수 있다. 서버(110)는 사용자 디바이스로부터 입력 받은 접속 정보를 통해 접속한 사용자를 식별할 수 있다.
사용자는 상기 서비스를 이용하여, 사용자 디바이스에 저장된 영상을 네트워크(104)에 연결된 다른 사용자 디바이스에 전송하거나 서버(110)내 저장 공간에 업로드할 수 있다. 이때 전송되거나 업로드되는 영상은 본 발명의 일 실시예에 따른 영상 분석 방법이 수행된 영상일 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 방법을 수행하는 사용자 디바이스(200)를 예시한 블록도이다.
도 2를 참조하면, 사용자 디바이스(200)는 프로세서(210), 메모리(220), 송수신부(230), 입력부(240), 촬영부(250) 및 출력부(260)를 포함할 수 있다. 사용자 디바이스(200)는 디바이스의 동작 및 기능과 관련된 다른 구성을 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.
프로세서(210)는 사용자 디바이스(200) 내 다른 구성 요소들의 동작을 제어할 수 있다. 예컨대, 프로세서(210)는 입력부(240), 촬영부(250) 및 송수신부(230)를 통해 획득되는 정보를 처리할 수 있다. 또한, 프로세서(210)는 메모리(220)에 저장된 정보를 독출하여 처리할 수 있다. 프로세서(210)는 상기 처리된 정보를 출력부(260)를 통해 출력하거나 메모리(220)에 저장하거나, 송수신부(230)를 통해 외부에 전송할 수 있다.
예컨대, 프로세서(210)는 촬영부(250)를 통해 촬영된 영상 또는 메모리(220)에 저장된 영상에 대해 본 발명에 따른 영상 분석 방법을 수행할 수 있다. 본 발명에 따른 영상 분석 방법을 수행한 후, 프로세서(210)는 영상 분석이 완료된 영상에 관한 정보를 메모리(220)에 저장하거나, 출력부(260)를 통해 출력하거나 송수신부(230)를 통해 외부에 전송할 수 있다.
메모리(220)는 서버(110) 또는 다른 사용자 디바이스로부터 수신한 정보, 사용자 디바이스의 입력부(240)를 통해 획득한 정보, 사용자 디바이스의 촬영부(250)로부터 획득한 정보 등 사용자 디바이스의 외부로부터 획득한 정보를 저장할 수 있다. 또한, 메모리(220)는 사용자 디바이스(200)의 내부에서 생성된 정보를 저장할 수 있다. 예컨대, 본 발명에 따른 영상 분석 방법이 수행된 후 생성되는 영상 또는 영상에 관한 정보가 메모리(220)에 저장될 수 있다. 일 예로, 메모리(220)는 데이터베이스를 포함할 수 있다.
송수신부(230)는 네트워크를 통해 서버(110) 또는 다른 사용자 디바이스와 데이터를 교환할 수 있다. 송수신부(230)는 외부와의 통신을 수행할 수 있는 모든 종류의 유무선 통신 모듈을 포함할 수 있다.
입력부(240)는 사용자 디바이스(200)에 구비된 다양한 센서를 통해 입력 정보를 획득할 수 있다. 사용자 디바이스(200)는 예컨대, 압력 감지 센서, 정전식 터치 센서, 가속도 센서, 자이로(gyro) 센서, GPS(Globap Positioning System), 음향 센서(마이크로폰), 감광 센서(조도 센서) 등의 다양한 센서와 기계식 버튼 등을 구비할 수 있다. 사용자 디바이스(200)는 상기 센서에 의해 감지된 정보 또는 기계식 버튼의 입력을 입력 정보로서 획득할 수 있다. 상기 입력 정보는 사용자가 사용자 디바이스(200)를 직접 조작하여 획득되는 사용자 입력 정보를 포함할 수 있다. 또한 상기 입력 정보는 사용자 디바이스(200)의 상태 또는 외부적인 상황에 의해 자동적으로 감지되는 디바이스 상태 정보를 포함할 수 있다.
촬영부(250)는 정지 영상 또는 동영상을 획득할 수 있는 모든 종류의 촬영 수단을 포함할 수 있다. 예컨대, 촬영부(250)는 스마트폰에 구비된 카메라 모듈일 수 있다.
출력부(260)는 사용자 디바이스(200)가 획득하거나 수신한 정보, 사용자 디바이스(200)에 의해 처리된 정보 등을 외부로 출력할 수 있다. 출력부(260)는 예컨대 시각 정보를 출력하는 디스플레이, 음향 정보를 출력하는 스피커, 촉각 정보를 출력하는 바이브레이터 등을 포함할 수 있다.
영상 분석 방법
도 3은 본 발명의 일 실시예에 따른 영상 분석 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 영상 분석 방법은 영상 분석 수행 여부 결정 단계(S310), 분석 대상 영상 선택 단계(S320), 영상 분석 수행 단계(S330) 및 영상 분석 결과 출력 단계(S340)를 포함할 수 있다.
사용자 디바이스의 프로세서(210)는 본 발명의 일 실시예에 따른 영상 분석을 수행할지 여부를 결정할 수 있다(S310). 영상 분석을 수행할지 여부는 사용자 디바이스의 상태, 사용자 디바이스의 사용 패턴 및/또는 소정의 조건에 기초하여 결정될 수 있다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 영상 분석 방법이 수행되기 위해서는 상당한 양의 리소스(메모리, 컴퓨팅 시간, 배터리 전력 등)가 필요하다. 리소스를 적절히 배분하여 사용하기 위해, 예컨대, 사용자 디바이스가 유휴 상태(idle state)인 경우에만, 영상 분석을 수행할 수 있다.
사용자 디바이스가 유휴 상태인지 여부는 다양한 방법에 의해 판단될 수 있다. 예컨대, 사용자 디바이스에 구비된 각종 센서에 의해 감지된 정보에 기초하여 사용자 디바이스가 유휴 상태인지 여부를 판단할 수 있다. 예컨대, 디스플레이가 오프(off) 상태이면 유휴 상태인 것으로 판단할 수 있다. 또는, 가속도 센서 및/또는 자이로 센서의 감지 정보 등에 기초하여 상기 사용자 디바이스가 정지 상태인지 이동 중인지의 여부가 판단될 수 있고, 상기 사용자 디바이스가 정지 상태이면 유휴 상태인 것으로 판단할 수 있다. 또는, 사용자 디바이스의 압력 센서, 정전식 터치 센서의 감지 정보, 사용자 디바이스에 구비된 버튼 입력 정보 등에 기초하여 사용자 디바이스가 사용 중인지의 여부가 판단될 수 있다. 예컨대, 사용자 입력 정보가 없는 경우, 상기 사용자 디바이스는 유휴 상태인 것으로 판단될 수 있다. 예컨대, 사용자 디바이스가 화면 잠금 상태일 때, 유휴 상태인 것으로 판단할 수 있다. 또는 감광 센서의 감지 정보에 기초하여 사용자 디바이스의 유휴 상태가 판단될 수 있다. 예컨대, 감광 센서가 감지한 빛의 세기가 임계치 이하일 경우, 상기 사용자 디바이스는 유휴 상태인 것으로 판단될 수 있다.
또한, 본 발명의 일 실시예에 따른 영상 분석을 수행할지 여부는 사용자 디바이스의 사용 패턴에 기초하여 결정될 수 있다. 본 발명의 영상 분석 방법이 수행되기 위해서는 소정 시간 이상의 분석 시간이 필요하다. 따라서, 사용자 디바이스의 사용 패턴을 분석하여 소정 시간 이상의 분석 시간이 확보될 수 있는 경우에만 영상 분석을 수행할 수 있다.
사용자 디바이스의 사용 패턴은 지속적으로 모니터링되고 기록될 수 있다. 프로세서는 사용자 디바이스에 구비된 각종 센서가 감지한 정보, 버튼의 입력, 사용자 디바이스의 사용 시간, 사용 용도(기능) 등을 지속적으로 모니터링함으로써, 사용자 디바이스의 사용 패턴에 관한 모니터링 정보를 축적할 수 있다. 프로세서는 축적된 모니터링 정보를 기초로 확률 변수에 따른 예측을 수행함으로써, 영상 분석에 필요한 최소 시간이 확보될 수 있는지 여부를 판단할 수 있다.
예를 들어, 자정 이후부터 아침 7시까지의 취침 시간을 제외하고매시간 수차례 사용자 디바이스가 조작되는 사용 패턴을 가정하면, 상기 사용자 디바이스의 사용 패턴에 관한 모니터링 정보에 기초하여, 자정 이후부터 아침 7시까지는 해당 사용자 디바이스가 이동하지도 않고 사용되지도 않을 확률이 높게 예측될 수 있다. 또한, 그 외의 시간대에는 사용되지 않을 확률이 매우 낮게 예측될 수 있다. 사용자 디바이스가 사용되지 않을 확률은 1분 단위로 예측될 수도 있고, 수분, 1시간 또는 수시간 단위 등, 소정의 시간 단위로 예측될 수 있다.
변형예로서, 사용자 디바이스의 사용 패턴을 모니터링한 결과, 사용자 디바이스가 사용될 확률이 높은 시간대라고 하더라도, 해당 시간대에 사용자 디바이스를 사용하는 용도를 고려했을 때, 영상 분석에 필요한 리소스가 확보될 수 있다고 판단되면, 해당 시간대는 영상 분석이 수행될 수 있는 시간대로 예측될 수 있다.
예를 들어, 사용자 디바이스의 사용 시간 및 사용 용도를 모니터링한 결과, 저녁 10시부터 저녁 11시까지는 리소스를 많이 요구하지 않는 단순 기능만을 사용하는 사용 패턴을 가정하면, 해당 시간대는 영상 분석에 필요한 리소스가 충분한 것으로 판단하여, 영상 분석이 수행될 수 있는 것으로 예측할 수 있다.
프로세서는 사용자 디바이스의 사용 패턴을 모니터링한 정보에 기초한 예측을 수행하여 본 발명에 따른 영상 분석을 수행할지 여부를 결정할 수 있다.
본 발명의 일 실시예에 따른 영상 분석을 수행할지 여부는 사용자 디바이스의 상태 및/또는 사용자 디바이스의 사용 패턴에 따른 예측이 소정의 조건에 부합하는지 여부를 판단하여 결정될 수 있다.
상기 소정의 조건은 기 설정될 수도 있고, 본 발명에 따른 영상 분석을 수행하는 사용자 디바이스의 리소스에 기초하여 적응적으로 설정될 수도 있다. 또는 사용자가 임의로 설정할 수도 있다. 사용자 디바이스가 본 발명에 따른 영상 분석을 수행하는 것으로 결정하기 위한 상기 소정의 조건은 예컨대, 사용자 디바이스가 유휴 상태이고, 소정 시간(예컨대, 2시간) 동안 사용되지 않는 조건일 수 있다.
프로세서는 사용자 디바이스가 유휴 상태임을 감지한 경우, 사용자 디바이스의 사용 패턴에 기초하여 사용자 디바이스가 소정 시간동안 사용되지 않을 확률을 예측할 수 있다. 프로세서는, 상기 확률이 소정의 임계치 이상인 경우, 상기 소정의 조건을 만족하는 것으로 판단하고 본 발명에 따른 영상 분석을 수행하는 것으로 결정할 수 있다.
변형예로서, 프로세서는, 사용자 디바이스의 사용 패턴에 기초하여 소정 시간동안 본 발명에 따른 영상 분석에 필요한 리소스가 확보될 수 있다고 판단되는 경우, 본 발명에 따른 영상 분석을 수행하는 것으로 결정할 수 있다.
또 다른 변형예로서, 프로세서는, 사용자 디바이스가 소정 시간 동안 사용되지 않을 확률, 소정 시간 동안 리소스가 확보될 수 있는지 여부 등을 함께 고려하여 영상 분석 수행 여부를 결정할 수도 있다.
이 외에도, 사용자 디바이스의 잔여 배터리 전력, 잔여 메모리 용량, 배터리가 충전 중인지의 여부, 네트워크(예컨대, WiFi) 연결 여부 등이 부가적으로 고려될 수 있다.
예컨대, 프로세서는, 잔여 배터리 전력이 소정의 임계치 이상인 경우, 잔여 메모리 용량이 소정의 임계치 이상인 경우, 배터리가 충전 중인 경우, 네트워크에 연결되어 있는 경우 중 적어도 하나 이상에 해당될 때, 본 발명에 따른 영상 분석을 수행하는 것으로 결정할 수 있다.
또 다른 변형예로서, 사용자 디바이스의 상태 및 사용 패턴과 관계없이, 사용자의 조작에 의해 영상 분석 수행 여부가 결정될 수 있다. 예컨대, 사용자가 메모리에 저장된 영상 또는 촬영부를 통해 획득한 영상을 선택하고, 영상 분석의 수행을 수동으로 지시함으로써, 사용자 디바이스의 상태 및 사용 패턴과 관계없이 본 발명에 따른 영상 분석이 수행되는 것으로 결정될 수도 있다.
단계 S310에서, 본 발명에 따른 영상 분석을 수행하는 것으로 결정된 경우, 프로세서(210)는 분석 대상 영상을 선택할 수 있다(S320). 분석 대상 영상은 촬영부에 의해 획득된 영상일 수 있다. 또는, 분석 대상 영상은 메모리에 저장된 하나 이상의 영상으로부터 사용자의 조작에 의해 선택될 수 있다. 또는, 분석 대상 영상은 소정의 선택 기준에 따라 프로세서에 의해 선택될 수 있다. 예컨대, 프로세서는 메모리에 저장된 하나 이상의 영상 중 최근에 촬영되거나 저장된 영상을 분석 대상 영상으로서 선택할 수 있다. 이때 선택된 영상은 본 발명에 따른 영상 분석이 수행되지 않은 영상일 수 있다. 만약 최근에 촬영되거나 저장된 영상이 본 발명에 따라 이미 분석된 영상인 경우, 그 다음으로 최근에 촬영되거나 저장된 영상이 분석 대상 영상으로서 선택될 수 있다. 즉, 이미 분석된 영상을 제외한 영상 중 가장 최근에 촬영되거나 저장된 영상이 분석 대상 영상으로서 선택될 수 있다.
영상의 촬영 시점, 저장 시점 및/또는 분석 여부는 해당 영상의 메타데이터로서 해당 영상과 함께 사용자 디바이스의 메모리에 저장될 수 있다. 프로세서는 분석 대상 영상을 선택하기 위해 상기 메타데이터를 이용하여 각 영상의 촬영 시점, 저장 시점 및/또는 분석 여부를 확인할 수 있다.
단계 S320에서 분석 대상 영상이 선택되면, 프로세서(210)는 선택된 분석 대상 영상에 대해 본 발명에 따른 영상 분석을 수행할 수 있다(S330).
도 4는 본 발명에 따른 영상 분석의 일 실시예를 설명하기 위한 도면이다.
도 4에 도시된 영상 분석 방법은 도 3의 단계 S330의 영상 분석의 일 실시예일 수 있다.
분석 대상 영상은 하나 이상의 정지 영상을 포함하는 동영상일 수 있다. 동영상은 소정의 프레임 레이트(frame rate)에 따라 1초에 30장 또는 60장 등의 복수의 정지 영상을 표시함으로써, 정지 영상 내의 객체의 움직임을 표현한다. 동영상을 구성하는 정지 영상은 비월 주사 방식(interlaced scanning)에서는 필드(field)로 호칭되고, 순차 주사 방식(progressive scanning)에서는 프레임(frame)으로 호칭될 수 있다. 그러나, 본 명세서에서는 동영상을 구성하는 정지 영상을 "프레임"으로 통칭한다.
동영상은 1초에 수십장의 정지 영상으로 구성되므로, 데이터의 양이 방대해 질 수 있다. 따라서, 동영상은 다양한 비디오 코덱 기술을 이용하여 효율적으로 압축되어 저장 및 전송될 수 있다. 비디오 인코더는 동영상을 부호화하여 비트스트림을 출력할 수 있다. 비트스트림은 동영상을 구성하는 복수의 프레임의 각각을 복원할 수 있는 압축 정보를 포함할 수 있다. 비디오 디코더는 비트스트림을 수신하고 이를 복호화함으로써, 동영상을 구성하는 각각의 프레임을 복원한 후, 출력부를 통해 디스플레이할 수 있다.
프로세서가 선택한 분석 대상 영상이 비트스트림과 같은 동영상의 부호화 데이터일 경우, 프로세서는 부호화 데이터를 복호화하여 분석 대상 영상을 구성하는 각각의 프레임을 복원한 후 본 발명에 따른 영상 분석을 수행할 수 있다.
도 5는 분석 대상 영상을 구성하는 복수의 프레임을 도시한 도면이다.
도 5에 도시된 바와 같이, 분석 대상 영상은 연속적으로 디스플레이되는 복수의 프레임을 포함할 수 있다. 각각의 프레임 하단의 숫자는 프레임을 식별하기 위한 식별자이다.
다시 도 4를 참조하면, 본 발명에 따른 영상 분석을 수행하기 위해, 프로세서는 분석 대상 영상을 구성하는 프레임의 각각을 분석할 수 있다(S410).
단계 S410의 프레임의 분석은 출력하기에 적절하지 않은 프레임을 식별 및/또는 제거하기 위한 단계이다.
예컨대, 너무 밝거나 너무 어두운 프레임은 S410의 프레임 분석 단계에서 식별 및/또는 제거될 수 있다. 이를 위해 프레임을 구성하는 픽셀들의 밝기값이 이용될 수 있다. 예컨대, 프레임을 구성하는 픽셀들의 밝기값을 이용하여 프레임의 대표 밝기값을 결정하고, 대표 밝기값과 소정의 임계치를 비교함으로써 해당 프레임이 너무 밝거나 너무 어두운지 여부를 판단할 수 있다. 대표 밝기값은 프레임을 구성하는 픽셀들의 밝기값의 평균값, 중간값, 분산, 표준편차 등의 통계값을 하나 이상 이용하여 계산될 수 있다.
또는, 예컨대, 하나의 색상만을 포함하는 프레임은 S410의 프레임 분석 단계에서 식별 및/또는 제거될 수 있다. 이를 위해 프레임을 구성하는 픽셀들의 색상값이 이용될 수 있다. 예컨대, 프레임을 구성하는 전체 픽셀들 또는 소정 개수 이상의 픽셀들의 색상값이 소정의 색상값의 범위에 포함되는 경우, 해당 프레임은 하나의 색상만을 포함하는 것으로 판단될 수 있다.
또는, 프레임에 포함된 객체의 윤곽이 불분명할 정도로 흔들림이 심한 프레임은 식별 및/또는 제거될 수 있다. 이를 위해 다양한 에지(edge) 추출 알고리즘이나 에지 히스토그램이 이용될 수 있다. 에지 추출 알고리즘이나 에지 히스토그램을 이용하여 추출된 에지의 양이 소정의 임계치 이하인 경우, 해당 프레임은 흔들림이 심한 프레임으로 판단될 수 있다.
전술한 프레임 분석 방법은 하나 또는 둘 이상이 조합되어 적용될 수 있으며, 그 밖에 디스플레이하기에 적절하지 않은 프레임을 식별하는 다양한 기준 및 방법이 적용될 수 있다.
상기에서 소정의 임계치, 소정 개수, 소정의 색상값의 범위 등 프레임 분석의 기준이 되는 값들은 미리 설정될 수도 있고 사용자에 의해 설정될 수도 있다. 또는 프레임의 특성에 기초하여 적응적으로 설정될 수도 있다. 예컨대, 밝기값이 낮은 프레임에 대해서는 에지의 양과 비교되는 소정의 임계치가 높게 설정될 수 있다.
단계 S410에서 영상적으로 적절하지 않은 프레임이 식별되면, 식별된 프레임을 분석 대상 영상으로부터 제외시킴으로써 복수의 영상 구간이 획득될 수 있다.
도 6은 프레임 분석 후 분석 대상 영상으로부터 획득된 복수의 영상 구간을 도시한 도면이다.
예컨대, 도 5에서 프레임 1, 프레임 4, 프레임 8 및 프레임 9가 적절하지 않은 출력 프레임으로 식별되면, 이들 프레임을 분석 대상 영상으로부터 제외시킴으로써 도 6에 도시된 바와 같이, 복수의 영상 구간(영상 구간1 내지 영상 구간3)이 획득될 수 있다.
복수의 영상 구간이 획득되면, 프로세서는 각각의 영상 구간에 대한 분류를 수행할 수 있다(S420).
단계 S420은 획득된 영상 구간의 각각을 하이라이트 구간과 비하이라이트 구간으로 분류하는 단계이다. 여기서 하이라이트 구간은 영상의 편집을 위해 필요할 것으로 예상되는 영상 구간을 의미하며, 비하이라이트 구간은 영상의 편집을 위해 필요가 없거나 영상적으로 의미가 없는 영상 구간을 의미할 수 있다.
단계 S420의 영상 구간의 분류를 위해 각각의 영상 구간의 길이가 이용될 수 있다. 예컨대, 소정의 기준 길이 이하의 영상 구간은 영상적으로 의미가 없는 구간으로 판단되고 비하이라이트 구간으로 분류될 수 있다. 소정의 기준 길이는 미리 설정되거나 사용자에 의해 설정되거나 분석 대상 영상의 특성에 기초하여 적응적으로 설정될 수 있다. 예컨대, 분석 대상 영상의 전체 길이가 소정 길이 이상인 것으로 판단되면, 상기 소정의 기준 길이는 상대적으로 큰 값으로 설정될 수 있다.
상기 소정의 기준 길이는 소정 시간으로 표현될 수도 있고, 프레임의 소정 개수로 표현될 수도 있다. 예컨대, 0.5초 이하의 영상 구간이나, 소정 개수 이하의 프레임으로 구성된 영상 구간은 비하이라이트 구간으로 분류될 수 있다.
도 6에 도시된 실시예에서, 상기 소정 개수가 2라고 가정할 때, 2개의 프레임으로 구성된 영상 구간1은 비하이라이트 구간으로 분류되고, 각각 3개 및 4개로 구성된 영상 구간2 및 영상 구간3은 하이라이트 구간으로 분류될 수 있다.
하이라이트 구간으로 분류된 영상 구간에 대해서는 키 프레임(Key frame)의 추출이 수행될 수 있다. 키 프레임은 영상 구간 내에서 영상적으로 최적의 프레임을 의미할 수 있다. 키 프레임은 프레임 분석을 통해 추출될 수 있다. 예컨대, 키 프레임은 화면내 선명도(sharpness), 프레임 내 색상의 다양성 등을 기준으로 추출될 수 있다. 예컨대, 선명도와 색상의 다양성이 모두 높은 프레임을 키 프레임으로 추출할 수 있다. 또는 단계 S410의 프레임 분석 단계에서 분석된 다양한 지표의 분석 결과들이 함께 이용될 수도 있다.
키 프레임은 해당 영상 구간을 대표하는 프레임으로서 정지 영상으로 추출되어 저장될 수 있다. 키 프레임은 해당 영상 구간에 대한 썸네일(thumbnail) 이미지로 이용될 수도 있다.
프로세서는 단계 S420에서 분류된 하이라이트 구간의 각각에 대해 단계 S430의 영상 구간 분석을 수행할 수 있다.
단계 S430의 영상 구간 분석은 해당 영상 구간의 특성을 산출하기 위한 단계이다. 이렇게 산출된 영상 구간의 특성은 후술하는 영상 분석 결과 출력(S340) 단계에서 이용될 수 있다.
단계 S430의 영상 구간 분석을 통해, 해당 하이라이트 구간에 어떤 색상이 분포하는지, 화면내 구성이 복잡한지 단순한지, 움직임이 많은지 적은지 등의 구간 특성이 산출될 수 있다. 하이라이트 구간의 특성을 산출하기 위해, 하이라이트 구간에 포함된 프레임의 각각에 대한 분석 결과가 이용될 수 있다.
예를 들어, 하이라이트 구간에 어떤 색상이 분포하는지, 색상이 다양한지 등은 하이라이트 구간에 포함된 프레임의 각각에 대한 컬러 히스토그램(color histogram)을 이용하여 산출될 수 있다. 또한, 화면내 구성이 복잡한지 단순한지, 많은 객체가 포함되어 있는지 등의 여부는 에지 히스토그램(edge histogram)을 이용하여 산출될 수 있다.
또한, 움직임이 많은지 적은지의 여부는 하이라이트 구간에 포함된 프레임들 사이의 차이값(frame-by-frame difference)을 이용하여 산출될 수 있다. 하이라이트 구간은 많은 수의 프레임을 포함할 수 있으므로, 프레임들 사이의 차이값은 복수개 존재할 수 있으며, 이 경우, 복수의 차이값의 평균값, 중간값, 분산, 표준 편차 등의 통계값을 하나 이상 이용하여 하이라이트 구간에 대한 특성을 산출할 수 있다.
영상 구간의 특성은 상기 예시한 내용으로 한정되지 않으며, 해당 영상 구간에 관한 모든 정보(예컨대, 길이, 해상도, 밝기, 색상 등)가 구간 특성으로서 이용될 수 있다.
다시 도 3을 참조하면, 단계 S330의 영상 분석이 수행된 후, 프로세서는 단계 S340에서 영상 분석된 결과를 출력할 수 있다. 전술한 바와 같이, 단계 S430에서 산출된 영상 구간의 특성이 단계 S340에서 이용될 수 있다.
단계 S340의 영상 분석 결과의 출력은 적어도 하나의 하이라이트 구간에 관한 정보의 출력일 수 있다. 이때, 단계 S340의 출력은 디스플레이를 통한 적어도 하나의 하이라이트 구간의 출력일 수 있다. 또는, 단계 S340의 출력은 적어도 하나의 하이라이트 구간에 관한 정보를 메모리(220)에 저장하는 것일 수 있다. 이때, 적어도 하나의 하이라이트 구간에 관한 정보는 해당 영상의 식별자(ID, identifier)와 함께 해당 영상의 메타데이터로서 사용자 디바이스의 메모리에 저장될 수 있다. 단계 S340의 출력의 대상인 상기 적어도 하나의 하이라이트 구간은 트림(trim) 구간 또는 하이라이트 영상일 수 있다.
트림 구간에 관한 정보의 출력 또는 하이라이트 영상 정보의 출력은 사용자에 의해 지정된 영상에 대해 편집 화면 요청이 입력되는 경우에 수행될 수 있다. 예를 들어, 사용자에 의해 SNS 상에 업로드될 영상이 선택되고 해당 영상의 편집 화면 요청 UI가 선택된 경우 선택된 영상의 트림 구간에 관한 정보 또는 하이라이트 영상 정보를 출력할 수 있다.
트림 구간에 관한 정보가 영상 분석의 결과로서 출력되는 경우, 하나 이상의 하이라이트 구간으로부터 선택된 하나의 영상 구간을 트림 구간으로서 출력할 수 있다. 선택된 트림 구간은 사용자가 식별할 수 있도록 디스플레이에 표시됨으로써 출력될 수 있다. 또는 선택된 트림 구간에 관한 정보가 메모리에 저장될 수 있다.
트림 구간에 관한 정보는 예를 들어, 트림 구간을 특정할 수 있는 정보로서, 트림 구간의 시작과 끝을 지시하는 정보일 수도 있고, 트림 구간의 시작과 지속 기간(duration)을 지시하는 정보일 수도 있다. 이때, 정보는 프레임 수 또는 시간으로 표현될 수 있다. 또는, 트림 구간에 해당하는 영상이 메모리에 별도로 저장될 수도 있다.
본 발명에 따른 영상 분석이 수행된 후, 사용자는 디스플레이를 통해 해당 영상의 트림 구간을 즉시 제공받을 수 있다. 또한 영상의 분석이 완료되어 해당 영상의 트림 구간에 관한 정보가 메모리에 저장되면, 사용자의 요청이 있을 경우, 추가적인 분석없이 해당 영상의 트림 구간이 즉시 사용자에게 제공될 수 있다.
복수의 하이라이트 구간으로부터 트림 구간을 선택하는 기준은 미리 설정될 수도 있고, 사용자에 의해 설정될 수도 있다. 예컨대, 복수의 하이라이트 구간 중 길이가 가장 긴 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 길이가 이용될 수 있다. 프로세서는 복수의 하이라이트 구간 각각의 길이를 비교한 후 가장 길이가 긴 구간을 트림 구간으로 선택할 수 있다. 예컨대, 도 6에 도시된 예에서, 트림 구간은 영상 구간3으로 선택될 수 있다.
예를 들어, 복수의 하이라이트 구간 중 소정의 길이에 가장 근접한 길이를 가진 구간이 트림 구간으로 선택될 수 있다. 상기 소정의 길이는 미리 설정되거나 사용자에 의해 설정될 수 있다. 예컨대, 동영상을 송수신하거나 업로드하는 어플리케이션의 제한에 의해 상기 소정의 길이가 설정될 수 있다.
또는 예를 들어, 복수의 하이라이트 구간 중 화면내 움직임이 가장 많은 구간 또는 가장 적은 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 예컨대, 프레임들 사이의 차이값(frame-by-frame difference)을 이용하여 산출된 특성이 이용될 수 있다.
또는 예를 들어, 복수의 하이라이트 구간 중 색 다양성이 가장 높은 구간 또는 가장 낮은 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 예컨대, 컬러 히스토그램(color histogram)을 이용하여 산출된 특성이 이용될 수 있다.
또는 예를 들어, 복수의 하이라이트 구간 중 가장 선명한 구간이 트림 구간으로 선택될 수 있다. 이를 위해 각각의 하이라이트 구간의 특성으로서, 예컨대, 에지 히스토그램(edge histogram)을 이용하여 산출된 특성이 이용될 수 있다.
상기 트림 구간을 선택하는 다양한 기준은 단독으로, 또는 다른 기준과 조합되어 적용될 수 있다. 둘 이상의 기준이 조합되어 적용되는 경우, 각각의 기준에 서로 다른 가중치를 부여함으로써, 기준 간의 우선 순위를 달리할 수 있다.
하나의 영상 구간이 트림 구간으로서 제공될 수도 있고, 둘 이상의 영상 구간이 제공될 수도 있다. 둘 이상의 영상 구간이 트림 구간으로서 제공되는 경우, 사용자의 입력에 기초하여 그 중 일부가 트림 구간으로서 최종 선택될 수 있다. 또 다른 예에 따르면 제공되는 트림 구간과 무관하게 사용자에 의해 해당 영상의 일부분 또는 복수개의 부분이 선택될 수 있고, 선택된 일부분 또는 복수개의 부분이 트림 구간으로서 최종 선택될 수 있다.
하이라이트 영상에 관한 정보가 영상 분석의 결과로서 출력되는 경우, 소정의 기준에 따라 하나 이상의 하이라이트 구간의 일부 또는 전부를 연결함으로써 하이라이트 영상을 생성할 수 있다. 생성된 하이라이트 영상은 사용자가 식별할 수 있도록 디스플레이에 표시됨으로써 출력될 수 있다. 또는 생성된 하이라이트 영상에 관한 정보가 메모리에 저장될 수 있다. 하이라이트 영상에 관한 정보는 예를 들어, 하이라이트 영상을 구성하는 하이라이트 구간의 각각을 특정할 수 있는 정보로서, 하이라이트 구간 각각의 시작과 끝을 지시하는 정보일 수도 있고, 하이라이트 구간 각각의 시작과 지속 기간(duration)을 지시하는 정보일 수도 있다. 이때, 정보는 프레임 수 또는 시간으로 표현될 수 있다. 또는, 생성된 하이라이트 영상이 메모리에 별도로 저장될 수도 있다.
하이라이트 영상을 구성하기 위해 소정의 기준에 따라 복수의 하이라이트 구간 중 일부가 선택될 수 있다. 이때 소정의 기준은 예컨대, 길이가 가장 긴 하이라이트 구간, 소정의 길이에 가장 근접한 길이를 갖는 구간, 화면내 움직임이 가장 작은 구간 또는 가장 큰 구간, 색 다양성이 가장 작은 구간 또는 가장 큰 구간, 가장 선명한 구간 또는 소정 기준 이상의 선명도를 갖는 구간 등이 적용될 수 있다. 상기 각각의 기준에 부합하는 하이라이트 구간을 선택하기 위해, 상기 트림 구간의 선택에서 전술한 방법이 유사하게 적용될 수 있다.
상기 하이라이트 영상을 구성하는 하이라이트 구간을 선택하는 다양한 기준은 단독으로 또는 다른 기준과 조합되어 적용될 수 있다. 둘 이상의 기준이 조합되어 적용되는 경우, 각각의 기준에 서로 다른 가중치를 부여함으로써, 기준 간의 우선 순위를 달리할 수 있다.
하이라이트 영상의 전체 길이 또는 하이라이트 영상을 구성하는 하이라이트 구간의 개수에 제한이 있는 경우, 이를 함께 반영하여 상기 소정의 기준에 부합하는 하이라이트 구간 중 일부 하이라이트 구간만이 우선 순위에 따라 선택될 수 있다.
도 7은 영상으로부터 트림 구간을 선택하는 방법을 설명하기 위한 도면이다.
도 7의 (a)에 도시된 바와 같이, 선택된 영상에 대해 영상 편집의 트림 기능을 선택한 후, 사용자 입력에 의해 트림 구간의 시작 시점과 종료 시점을 선택함으로써, 트림 구간이 수동으로 선택될 수 있다. 마지막으로 선택된 트림 구간을 확정하는 사용자 입력에 의해 트림 영상이 생성될 수 있다. 이때, 사용자 입력은 마우스 입력 또는 터치 입력을 포함할 수 있다. 또는 사용자 입력은 시작 시점과 종료 시점 또는 시작 시점과 지속 기간을 직접 입력하는 방식일 수 있다.
또는 도 7의 (b)에 도시된 바와 같이, 사용자는 사용자 디바이스에서 구동되는 어플리케이션의 셋업 메뉴를 조작하여, 본 발명에 따른 영상 분석 방법이 실행되도록 설정할 수 있다(셋팅에서 스마트 비디오 트리머를 ON으로 설정). 본 발명에 따른 영상 분석 방법이 실행되도록 설정되면, 전술한 소정의 조건에서 본 발명에 따른 영상 분석 방법이 수행되고, 트림 구간에 관한 정보가 생성되어, 해당 영상의 분석 결과로서 메모리에 저장될 수 있다.
이 후, 분석이 완료된 영상이 사용자에 의해 선택되는 경우, 편집 UI 요소, 구체적으로 트림 버튼(예컨대, 도 7(b)의 디스플레이 화면의 좌측 하단에 표시된 마법봉 버튼)이 사용자에게 제공될 수 있다. 사용자가 트림 버튼을 선택하면, 메모리에 저장된 트림 구간에 관한 정보에 기초하여, 자동으로 분석된 트림 구간이 즉시 사용자에게 제공될 수 있다. 이 때, 자동으로 분석된 트림 구간에 해당하는 부분은 프레임 명도를 달리하거나 다른 색상의 필터를 이용하여 트림 구간에 해당하지 않는 부분과 구별되게 표시할 수 있다. 마지막으로 제공된 트림 구간을 확정하는 사용자 입력에 의해 트림 영상이 생성될 수 있다.
도 8은 본 발명의 영상 분석 방법이 수행되어 생성된 하이라이트 영상을 제공하는 일 실시예를 설명하기 위한 도면이다.
전술한 바와 같이, 본 발명의 영상 분석 방법이 수행되면, 하이라이트 영상에 관한 정보가 영상 분석의 결과로서 출력될 수 있다. 하이라이트 영상에 관한 정보는 하이라이트 영상을 구성하는 하이라이트 구간의 시작 시점 및 종료 시점을 식별할 수 있는 정보를 포함할 수 있다. 따라서, 하이라이트 영상에 관한 정보를 이용하면 해당 분석 대상 영상에 있어서, 하이라이트 구간과 비하이라이트 구간을 용이하게 식별할 수 있다.
본 발명에 따른 영상 분석이 완료된 영상을 사용자가 선택할 경우, 해당 영상의 하이라이트 구간으로만 구성된 하이라이트 영상이 사용자에게 제공될 수도 있고, 변형예로서, 도 8에 도시된 바와 같이, 해당 영상을 구성하는 하이라이트 구간은 정상 속도로 재생하고, 비하이라이트 구간은 정상 속도 이상의 속도(예컨대, 2배속)로 재생하는 방법으로 선택된 영상이 사용자에게 제공될 수도 있다.
또는, 본 발명에 따른 영상 분석의 수행 결과로서, 동영상을 구성하는 키 프레임을 정지 영상으로서 메모리에 저장하거나 사용자에게 제공할 수 있다. 예컨대, 움직임이 많은 객체(강아지, 고양이 등)를 촬영하는 경우, 흔들림이 적은 정지 영상을 획득하기가 용이하지 않다. 이런 경우, 해당 피사체를 촬영한 동영상을 재생하면서 그 중 선명도가 높은 프레임을 정지 영상으로 캡쳐함으로써 피사체에 대한 양호한 정지 영상을 확보할 수 있다.
본 발명의 영상 분석 방법에 따르면, 동영상을 구성하는 모든 프레임을 분석하게 되므로, 이 중 가장 선명도가 높은 프레임을 선택함으로써 자동으로 키 프레임을 획득할 수 있다. 구체적으로, 트림 구간 제안 요청과 유사하게 사용자에 의해 키프레임 제안 요청이 있는 경우, 본 발명의 영상 분석 방법에 따라 동영상에 포함된 프레임 중 적어도 하나를 키프레임으로 판단할 수 있다. 이 때, 키프레임을 키프레임이 아닌 프레임과 구별하여 표시함으로써 사용자에게 키프레임을 제안할 수 있다. 이에 따라, 사용자가 직접 동영상으로부터 키 프레임을 찾는 시간과 수고를 덜 수 있다.
본 발명에 따른 영상 분석 방법은, 예컨대 인스턴트 메신저 어플리케이션을 통해 동영상을 전송할 때, SNS를 통해 동영상 프로파일을 설정할 때, 원격 저장소에 동영상을 저장할 때, 인스턴트 컨텐트 쉐어링(instant content sharing; 예컨대, LINE Timeline post, LINE Timeline Story 등)에서 동영상을 선택할 때 적용될 수 있다. 이때 업로드 동영상의 길이에 제한이 있는 경우, 길이 제한에 부합하는 구간이 선택되어 제공될 수 있다. 동영상의 길이 제한은, 예컨대, 동영상 프로파일의 경우 6초, Story의 경우 15초와 같이, 어플리케이션 또는 서비스 별로 상이하게 설정될 수 있다.
본 발명에 따른 영상 분석 방법의 분석 결과로서 제공되는 하이라이트 영상은 둘 이상의 분석 대상 영상에 기초하여 생성될 수도 있다. 예컨대, 동일 여행지에서 촬영된 둘 이상의 분석 대상 영상을 분석하여 하이라이트 구간을 식별하고, 식별된 하이라이트 구간을 연결함으로써 하이라이트 영상을 생성할 수 있다.
본 발명에 따르면, 영상으로부터 트림 영상 또는 하이라이트 영상이 자동으로 분석 및 생성되어 사용자에게 제공될 수 있다. 사용자는 자동으로 생성된 트림 영상 또는 하이라이트 영상을 이용할 수 있으므로, 영상 편집에 소요되는 시간과 노력을 절약할 수 있다.
또한, 본 발명에 따른 영상 분석은 사용자 디바이스의 상태, 사용 패턴 등을 고려하여 수행되므로, 많은 리소스를 필요로 하는 영상 분석 작업을 최적의 타이밍에 수행할 수 있고, 그럼으로써 사용자 디바이스의 자원을 효율적으로 사용할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 장치에 의해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 장치 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
Claims (20)
- 메모리 및 적어도 하나의 프로세서를 포함하는 사용자 디바이스에 의한 영상 출력 방법에 있어서,
상기 사용자 디바이스가 접속가능한 서버의 서비스 어플리케이션과 연관하여 상기 사용자 디바이스로부터 상기 메모리에 저장된 하나 이상의 영상에 대한 편집 화면 요청을 수신하는 단계;
상기 편집 화면 요청이 수신되면, 상기 하나 이상의 영상 중 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있는지를 판단하는 단계; 및
상기 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있다고 판단되는 경우, 상기 편집 화면 요청이 수신되기 전 상기 메모리에 저장된 상기 영상 분석 결과를 이용하기 위한 편집 UI 요소를 편집 화면에 제공하는 단계를 포함하되,
상기 영상 분석 결과는, 상기 하나 이상의 영상이 하이라이트 구간과 비하이라이트(non-highlight) 구간으로 분류되어, 상기 하이라이트 구간의 영상과 상기 비하이라이트 구간의 영상을 제공하고,
상기 하이라이트 구간의 영상은 소정 속도로 재생되고, 상기 비하이라이트 구간의 영상은 상기 하이라이트 구간 이상의 속도로 재생되는, 영상 출력 방법.
- 제1항에 있어서,
상기 편집 UI 요소를 제공하는 단계는, 상기 편집 UI 요소와 함께, 상기 영상 분석 결과를 상기 사용자 디바이스에 제공하는 것을 포함하는, 영상 출력 방법.
- 삭제
- 제 1 항에 있어서,
상기 영상에서 상기 하이라이트 구간의 개수 또는 전체 길이에 제한이 존재하는 경우, 상기 영상 분석 결과는 소정의 기준에 따라 상기 개수로 선정된 상기 하이라이트 구간, 또는, 상기 소정의 기준에 부합하도록 일부 선택된 상기 하이라이트 구간에 관한 정보로 제공되는, 영상 출력 방법.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 편집 화면 요청을 수신하는 단계 전에,
상기 메모리에 저장된 하나 이상의 영상의 분석을 수행할지 여부를 결정하는 단계;
상기 하나 이상의 영상 중 분석 대상 영상을 선택하는 단계;
상기 분석 대상 영상을 분석하는 단계; 및
상기 분석 대상 영상 중 적어도 하나에 대한 분석 결과를 상기 메모리에 저장하는 단계를 더 포함하는, 영상 출력 방법.
- 제 7 항에 있어서,
상기 영상의 분석을 수행할지 여부를 결정하는 단계는, 상기 사용자 디바이스의 사용 패턴에 기초하여 수행되는, 영상 출력 방법.
- 제 7 항에 있어서,
상기 영상의 분석을 수행할지 여부를 결정하는 단계는, 상기 사용자 디바이스가 유휴 상태인지의 여부에 기초하여 수행되는, 영상 출력 방법.
- 제 7 항에 있어서,
상기 분석 대상 영상을 선택하는 단계는, 상기 메모리에 저장된 하나 이상의 영상 중 생성일이 가장 늦은 영상을 상기 분석 대상 영상으로 선택하는 것을 포함하는, 영상 출력 방법.
- 제1항, 제2항, 제4항, 제7항 내지 제10항 중 어느 한 항에 따른 영상 출력 방법을 컴퓨터에서 실행하기 위해 컴퓨터로 판독가능한 기록 매체에 저장된 컴퓨터 프로그램.
- 영상 출력을 위한 사용자 디바이스로서,
하나 이상의 영상을 저장하는 메모리; 및
적어도 하나의 프로세서를 포함하고,
상기 프로세서는,
상기 사용자 디바이스가 접속가능한 서버의 서비스 어플리케이션과 연관하여 상기 사용자 디바이스로부터 상기 메모리에 저장된 하나 이상의 영상에 대한 편집 화면 요청을 수신하고,
상기 편집 화면 요청이 수신되면, 상기 하나 이상의 영상 중 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있는지를 판단하고,
상기 적어도 하나에 대한 영상 분석 결과가 상기 메모리에 저장되어 있다고 판단되는 경우, 상기 편집 화면 요청이 수신되기 전 상기 메모리에 저장된 상기 영상 분석 결과를 이용하기 위한 편집 UI 요소를 편집 화면에 제공하도록 구성되되,
상기 영상 분석 결과는, 상기 하나 이상의 영상이 하이라이트 구간과 비하이라이트 구간으로 분류되어, 상기 하이라이트 구간의 영상과 상기 비하이라이트 구간의 영상을 제공하고,
상기 하이라이트 구간의 영상은 소정 속도로 재생되고, 상기 비하이라이트 구간의 영상은 상기 하이라이트 구간 이상의 속도로 재생되는, 사용자 디바이스.
- 제12항에 있어서,
상기 편집 UI 요소를 제공하는 것은, 상기 편집 UI 요소와 함께, 상기 영상 분석 결과를 상기 사용자 디바이스에 제공하는 것을 포함하는, 사용자 디바이스.
- 삭제
- 제 12 항에 있어서,
상기 영상에서 상기 하이라이트 구간의 개수 또는 전체 길이에 제한이 존재하는 경우, 상기 영상 분석 결과는 소정의 기준에 따라 상기 개수로 선정된 상기 하이라이트 구간, 또는, 상기 소정의 기준에 부합하도록 일부 선택된 상기 하이라이트 구간에 관한 정보로 제공되는, 사용자 디바이스.
- 삭제
- 삭제
- 제 12 항에 있어서,
상기 편집 화면 요청을 수신하기 전에, 상기 프로세서는,
상기 메모리에 저장된 하나 이상의 영상의 분석을 수행할지 여부를 결정하고,
상기 하나 이상의 영상 중 분석 대상 영상을 선택하고,
상기 분석 대상 영상을 분석하고,
상기 분석 대상 영상 중 적어도 하나에 대한 분석 결과를 상기 메모리에 저장하도록 구성되는 것을 더 포함하는, 사용자 디바이스.
- 제 18 항에 있어서,
상기 영상의 분석을 수행할지 여부를 결정하는 것은, 상기 사용자 디바이스의 사용 패턴에 기초하여 수행되는, 사용자 디바이스.
- 제 18 항에 있어서,
상기 분석 대상 영상을 선택하는 것은, 상기 메모리에 저장된 하나 이상의 영상 중 생성일이 가장 늦은 영상을 상기 분석 대상 영상으로 선택하는 것을 포함하는, 사용자 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220028019A KR102586422B1 (ko) | 2019-11-12 | 2022-03-04 | 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190144177A KR102372721B1 (ko) | 2019-11-12 | 2019-11-12 | 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
| KR1020220028019A KR102586422B1 (ko) | 2019-11-12 | 2022-03-04 | 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190144177A Division KR102372721B1 (ko) | 2019-11-12 | 2019-11-12 | 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220034754A KR20220034754A (ko) | 2022-03-18 |
| KR102586422B1 true KR102586422B1 (ko) | 2023-10-06 |
Family
ID=76157615
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190144177A KR102372721B1 (ko) | 2019-11-12 | 2019-11-12 | 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
| KR1020220028019A KR102586422B1 (ko) | 2019-11-12 | 2022-03-04 | 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190144177A KR102372721B1 (ko) | 2019-11-12 | 2019-11-12 | 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102372721B1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090279840A1 (en) * | 2005-10-27 | 2009-11-12 | Daiki Kudo | Image Digesting Apparatus |
| KR101839406B1 (ko) * | 2011-09-27 | 2018-03-19 | 삼성전자 주식회사 | 디스플레이장치 및 그 제어방법 |
| KR102157765B1 (ko) * | 2013-12-24 | 2020-09-18 | 주식회사 케이티 | 영상 변화 추출에 기반한 다채널 영상 분석 시스템 및 그 방법 |
| US10192583B2 (en) * | 2014-10-10 | 2019-01-29 | Samsung Electronics Co., Ltd. | Video editing using contextual data and content discovery using clusters |
-
2019
- 2019-11-12 KR KR1020190144177A patent/KR102372721B1/ko active IP Right Grant
-
2022
- 2022-03-04 KR KR1020220028019A patent/KR102586422B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210057428A (ko) | 2021-05-21 |
| KR102372721B1 (ko) | 2022-03-08 |
| KR20220034754A (ko) | 2022-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10990162B2 (en) | Scene-based sensor networks | |
| US10685460B2 (en) | Method and apparatus for generating photo-story based on visual context analysis of digital content | |
| US8599316B2 (en) | Method for determining key video frames | |
| US8605221B2 (en) | Determining key video snippets using selection criteria to form a video summary | |
| KR101811487B1 (ko) | 스마트 안경 기반 프람프팅 방법 및 장치 | |
| US10582211B2 (en) | Neural network to optimize video stabilization parameters | |
| US9451178B2 (en) | Automatic insertion of video into a photo story | |
| EP2724343B1 (en) | Video remixing system | |
| US10075680B2 (en) | Video-surveillance method, corresponding system, and computer program product | |
| ITVI20120104A1 (it) | Metodo e apparato per generare in tempo reale uno storyboard visuale | |
| US8619150B2 (en) | Ranking key video frames using camera fixation | |
| CN105830429B (zh) | 用于处理被相机运动损坏的视频帧的方法和系统 | |
| US20230093631A1 (en) | Video search device and network surveillance camera system including same | |
| GB2552511A (en) | Dynamic parametrization of video content analytics systems | |
| TWI521473B (zh) | 影像分析裝置、方法及電腦可讀取媒體 | |
| JP2015154465A (ja) | 表示制御装置、表示制御方法及びプログラム | |
| JP6809114B2 (ja) | 情報処理装置、画像処理システム、プログラム | |
| KR102586422B1 (ko) | 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램 | |
| EP3855350A1 (en) | Detection of action frames of a video stream | |
| US20190208160A1 (en) | Systems and methods for intelligently recording video data streams | |
| KR102264252B1 (ko) | 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템 | |
| KR20230089558A (ko) | 영상 전송 장치 및 방법, 그리고 영상 수신 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| AMND | Amendment | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |