KR102256110B1 - 영상 압축 방법 및 영상 복원 방법 - Google Patents

영상 압축 방법 및 영상 복원 방법 Download PDF

Info

Publication number
KR102256110B1
KR102256110B1 KR1020170065217A KR20170065217A KR102256110B1 KR 102256110 B1 KR102256110 B1 KR 102256110B1 KR 1020170065217 A KR1020170065217 A KR 1020170065217A KR 20170065217 A KR20170065217 A KR 20170065217A KR 102256110 B1 KR102256110 B1 KR 102256110B1
Authority
KR
South Korea
Prior art keywords
frame
landmark
image
frames
location information
Prior art date
Application number
KR1020170065217A
Other languages
English (en)
Other versions
KR20180129339A (ko
Inventor
전상철
Original Assignee
라인 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라인 가부시키가이샤 filed Critical 라인 가부시키가이샤
Priority to KR1020170065217A priority Critical patent/KR102256110B1/ko
Priority to JP2018095446A priority patent/JP7176861B2/ja
Priority to CN202111003801.XA priority patent/CN113691806A/zh
Priority to CN201810502974.8A priority patent/CN108965889B/zh
Priority to US15/989,384 priority patent/US11039155B2/en
Publication of KR20180129339A publication Critical patent/KR20180129339A/ko
Priority to US17/315,746 priority patent/US11463718B2/en
Priority to KR1020210064380A priority patent/KR102343325B1/ko
Application granted granted Critical
Publication of KR102256110B1 publication Critical patent/KR102256110B1/ko
Priority to JP2022180124A priority patent/JP7441926B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명의 일 실시예에 따른 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임의 랜드마크(Land Mark) 위치 정보에 기초하여 상기 제1 프레임과 상기 제2 프레임을 포함하는 영상을 복원하는 방법은, 상기 제1 프레임을 획득하는 단계; 상기 제1 프레임의 하나 이상의 랜드마크 를 설정하는 단계; 상기 제2 프레임의 랜드마크 위치 정보 를 획득하는 단계; 및 상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함할 수 있다. 이 때 상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보일 수 있다.

Description

영상 압축 방법 및 영상 복원 방법{METHOD FOR IMAGE COMPRESSION AND METHOD FOR IMAGE RESTORATION}
본 발명의 실시예들은 영상 압축 및 복원 방법에 관한 것으로, 보다 상세하게는 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축하거나, 역으로 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로부터 영상을 복원하는 방법에 관한 것이다.
정보통신 기술의 비약적인 발전으로 인해 이동통신 단말, 개인용 컴퓨터 등과 같은 다양한 종류의 단말들은 다양한 기능을 수행할 수 있도록 구현되고 있다.
이동통신 단말을 예로 들어 설명하면, 이동통신 단말은 기본적인 음성 통신 기능에서 더 나아가 최근에는 데이터 통신, 카메라를 이용한 사진이나 동영상 촬영, 음악 또는 동영상 파일 재생, 게임, 방송 시청 등 다양한 기능들을 이용할 수 있도록 구현되고 있다.
최근에는 이러한 단말을 통하여 영상을 촬영하여 실시간으로 송수신 할 수 있도록 다양한 기술들이 구현되고 있다. 그러나 이와 같은 영상의 송수신은 통신 리소스를 과도하게 점유할 뿐만 아니라, 빠르고 밴드위스가 높은 통신을 요하므로 열악한 통신 환경에서는 제대로 동작하지 않는 문제점이 있었다.
본 발명은 이러한 상술한 문제점을 해결하기 위한 것으로, 영상을 보다 효율적으로 압축하고 복원할 수 있는 방법을 제공하고자 한다.
또한 본 발명은 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있는 방법을 제공하고자 한다.
또한 본 발명은 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수 있는 방법을 제공하고자 한다. 특히 본 발명은 영상을 복원함에 있어서, 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있는 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임의 랜드마크(Land Mark) 위치 정보에 기초하여 상기 제1 프레임과 상기 제2 프레임을 포함하는 영상을 복원하는 방법은, 상기 제1 프레임을 획득하는 단계; 상기 제1 프레임의 하나 이상의 랜드마크 를 설정하는 단계; 상기 제2 프레임의 랜드마크 위치 정보 를 획득하는 단계; 및 상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함할 수 있다. 이 때 상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보일 수 있다.
상기 위치 정보를 획득하는 단계는 상기 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고, 상기 이벤트 발생 여부를 판단하는 단계는 상기 제2 프레임에 후행하는 프레임이 제1 프레임인 경우 및 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단할 수 있다.
상기 제1 프레임을 획득하는 단계는 이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고, 상기 랜드마크를 설정하는 단계는 상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고, 상기 제2 프레임을 생성하는 단계는 상기 갱신된 제1 프레임으로부터 상기 제2 프레임을 생성할 수 있다.
본 발명의 일 실시예에 영상 복원하는 방법은, 상기 제1 프레임을 획득하는 단계 이전에 하나 이상의 템플릿(Template) 프레임의 하나 이상의 랜드마크를 설정하는 단계;를 더 포함하고, 상기 제2 프레임을 생성하는 단계는 상기 제1 프레임 및 상기 제2 프레임의 랜드마크 위치 정보 중 적어도 하나에 기초하여, 상기 템플릿 프레임으로부터 상기 제2 프레임을 생성할 수 있다.
상기 템플릿 프레임의 하나 이상의 랜드마크를 설정하는 단계는 상기 템플릿 프레임에 대한 사용자의 입력에 기초하여 상기 템플릿 프레임의 하나 이상의 랜드마크를 설정할 수 있다.
상기 제2 프레임을 생성하는 단계는 상기 템플릿 프레임의 적어도 일부 영역을 상기 제1 프레임의 적어도 일부 영역으로 대체하여 상기 제2 프레임을 생성할 수 있다.
상기 제2 프레임을 생성하는 단계는 상기 제2 프레임의 랜드마크 위치 정보에 기초하여 상기 제1 프레임의 하나 이상의 랜드마크의 위치를 변경하여 상기 제2 프레임을 생성할 수 있다.
상기 하나 이상의 랜드마크는 상기 제1 프레임에 포함되는 사람 얼굴의 하나 이상의 특징점에 설정될 수 있다.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 대화상대 단말로부터 사용자 단말로 전송되고, 상기 영상의 제1 프레임을 획득하는 단계는 상기 대화상대 단말로부터 상기 제1 프레임을 획득하고, 상기 랜드마크를 설정하는 단계는 상기 제1 프레임에 포함되는 상기 대화상대 얼굴의 하나 이상에 특징점에 상기 랜드마크를 설정하고, 상기 랜드마크 위치 정보를 획득하는 단계는 상기 대화상대 단말로부터 상기 제2 프레임의 랜드마크 위치 정보를 획득하고, 상기 제2 프레임을 생성하는 단계는 상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 대화상대 얼굴의 하나 이상의 특징점의 위치를 변경하여 상기 제2 프레임을 생성할 수 있다.
본 발명의 일 실시예에 따른 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임을 포함하는 영상을 랜드마크 위치 정보에 기초하여 압축 하는 방법은, 상기 제1 프레임 및 상기 하나 이상의 제2 프레임 중 적어도 하나를 획득하는 단계; 상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계; 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 확인하는 단계; 및 상기 제1 프레임을 처리하고, 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는 단계;를 포함할 수 있다.
상기 랜드마크의 위치를 확인하는 단계는 상기 하나 이상의 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고, 상기 이벤트 발생 여부를 판단하는 단계는 인접하는 제2 프레임의 랜드마크 위치 간의 차이가 소정의 차이 이상인 경우, 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 및 외부 장치로부터 상기 제1 프레임의 송신 요청을 수신한 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단할 수 있다.
상기 획득하는 단계는 이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고, 상기 랜드마크를 설정하는 단계는 상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고, 상기 랜드마크의 위치를 확인하는 단계는 상기 하나 이상의 제2 프레임에서의 상기 갱신된 제1 프레임의 하나 이상의 랜드마크의 위치를 확인하고 상기 처리하는 단계는 상기 갱신된 제1 프레임을 처리하고, 상기 갱신된 제1 프레임에 후행하는 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리할 수 있다.
상기 처리하는 단계는 상기 제1 프레임 및 상기 랜드마크의 위치가 적용될 템플릿 프레임를 선택하는 사용자의 입력을 획득하는 단계;를 포함할 수 있다.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말로부터 대화상대 단말로 전송되고, 상기 획득하는 단계는 상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고, 상기 처리하는 단계는 상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 대화상대 단말로 순차적으로 전송할 수 있다.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말에 저장되고, 상기 획득하는 단계는 상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고, 상기 처리하는 단계는 상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 사용자 단말의 저장부에 순차적으로 저장할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 따르면, 영상을 보다 효율적으로 압축하고 복원할 수 있는 방법을 구현할 수 있다.
또한 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있는 방법을 구현할 수 있다.
또한 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수 있는 방법을 구현할 수 있다. 이 때 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있는 방법도 구현할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 개략적으로 도시한다.
도 3 내지 도 4는 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 압축하는 방법을 설명하기 위한 도면이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 복원하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 압축하는 구체적인 예시이다.
도 10 내지 도 11은 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 복원하는 구체적인 예시이다.
도 12 내지 도 13은 본 발명의 일 실시예에 따라 프레임에 효과 및 개체가 부가된 다양한 예시이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템을 개략적으로 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템은 사용자 단말(100, 200), 서버(300) 및 이들을 연결하는 통신망(400)을 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템의 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있다.
본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템의 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수도 있다.
또한 본 발명의 다른 실시예에 따른 영상 압축 및 복원 시스템의 사용자 단말(100, 200)은 전술한 바와 같이 영상을 복원함에 있어서, 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있다. 보다 상세한 설명은 후술한다.
본 발명에서 '영상(映像)'은 하나 이상의 프레임(Frame)을 포함하는 멀티미디어(Multi Media) 개체를 의미할 수 있다. 이 때 프레임은 영상을 구성하는 개별적인 장면(Scene)을 의미할 수 있다.
영상은 제1 프레임과 제2 프레임으로 구성될 수 있다. 이 때 제1 프레임과 제2 프레임은 각각의 프레임을 순서에 따라 명명한 것으로, 제1 프레임과 제2 프레임은 성질이 상이하거나 종류가 상이한 프레임을 의미하는 것은 아니다.
영상은 복수개의 영상 구간으로 구성될 수 있다. 이 때 각각의 영상 구간은 최초 프레임인 제1 프레임과 제1 프레임에 후행하는 하나 이상의 제2 프레임을 포함할 수 있다. 바꾸어 말하면 영상 전체는 복수의 구간 각각 포함되는 제1 프레임과, 복수의 구간 각각에 포함되는 하나 이상의 제2 프레임을 포함할 수 있다. 이 때 영상은 이벤트 발생 여부에 따라 수 개의 구간으로 구분될 수 있으며, 이벤트에 대한 상세한 설명은 후술한다.
한편 영상은 전술한 프레임 외에, 각 프레임에 대응되는 음향을 더 포함할 수도 있다.
본 발명에서 어떤 프레임의 '랜드마크(Land Mark)'는 해당 프레임을 식별하는 목표물로서, 적당한 것을 의미할 수 있다. 가령 어떤 영상의 각 프레임이 사람의 얼굴을 포함하는 경우, 랜드마크는 사람 얼굴의 각 부분을 의미할 수 있다. 이 때 각 부분은 가령 '왼쪽 눈썹의 시작 부분', '입술의 오른쪽 끝 부분'과 같이 구체적인 부분을 의미할 수 있다.
이러한 랜드마크의 설정 규칙은 미리 정해질 수 있다. 가령 전술한 예시에서와 같이 각 프레임이 사람의 얼굴을 포함하는 경우, 랜드마크의 설정 규칙은 사람의 얼굴상의 66개 지점에 대해 설정하는 것으로 미리 정해질 수 있다. 물론 어떤 프레임에 대한 랜드마크의 설정에 앞서, 해당 프레임 내에서 랜드마크 설정 대상 객체의 인식이 선행될 수도 있다. 다만 이는 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에서 서버(300)는 사용자 단말(100, 200)간의 통신을 중계하는 장치를 의미할 수 있다. 이 때 서버(300)는 사용자 단말(100, 200)간의 영상의 송수신을 중계할 수 있다.
한편 본 발명의 다른 실시예에서, 서버(300)는 사용자 단말(100, 200)간의 통신을 중계함에 있어서, 영상을 압축하거나 또는 복원할 수 있다. 가령 서버(300)는 상대적으로 좋은 네트워크 환경에 있는 사용자 단말(100, 200)로부터 영상을 수신하고, 상대적으로 나쁜 네트워크 환경에 있는 사용자 단말(100, 200)에 해당 영상을 송신하기 위해 후술하는 방식에 따라 영상을 압축하여 전송할 수 있다. 물론 서버(300)는 이와 반대로 상대적으로 나쁜 네트워크 환경에 있는 사용자 단말(100, 200)로부터 영상을 수신하고, 이를 복원하여 상대적으로 좋은 네트워크 환경에 있는 사용자 단말(100, 200)로 전송할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 통신망(400)은 서버(300) 및 사용자 단말(100, 200)을 연결하는 역할을 수행한다. 예를 들어, 통신망(400)은 첫 번째 사용자 단말(100)이 두 번째 사용자 단말(200)에 패킷 데이터를 송수신 할 수 있도록 접속 경로를 제공한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 발명에서 사용자 단말(100, 200)은 전술한 영상을 상호간에 및/또는 서버(300)와 송수신 하거나, 영상을 저장할 수 있는 다양한 장치를 의미할 수 있다. 이 때 단말은 휴대용 단말(101, 201)일 수도 있고, 퍼스널 컴퓨터(102, 202)일 수도 있다. 물론 사용자 단말(100, 200)는 도 1에 도시된 예시 외에 셋탑박스(Set-top box), TV 를 비롯한 다양한 엔터테인먼트(Entertainment) 장치에 해당할 수 있다. 따라서 본 발명에 따른 영상 압축 및 복원 방법은 영상 통화를 비롯하여, 영상을 송수신 하거나 영상을 다루는 다양한 분야에 사용될 수 있다. 가령 본 발명은 영상의 방송 분야에 사용될 수도 있고, 영상을 압축하여 저장하거나 압축된 영상으로부터 원 영상을 복원하는 분야에도 사용될 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있다. 또한 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수 있다. 또한 사용자 단말(100, 200)은 영상을 복원함에 있어서, 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말(100)의 구성을 개략적으로 도시한다.
도 2를 참조하면, 본 실시예에 따른 사용자 단말(100)은 디스플레이부(110), 제어부(120), 통신부(130), 영상 획득부(140) 및 메모리(150)를 포함할 수 있다. 다만 이와 같은 구성은 예시적인 것으로, 사용자 단말(100)은 일부 구성을 생략하여 구성될 수도 있고, 전술한 구성 외에 다른 구성을 더 포함하여 구성될 수도 있다.
일 실시예에 따른 디스플레이부(110)는 후술하는 제어부(120)가 생성한 전기 신호에 따라 도형, 문자 또는 이들의 조합을 표시하는 표시장치를 의미할 수 있다. 예컨대, 디스플레이부(110)는 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP (Plasma Display Panel) 및 OLED(Organic Light Emitting Diode) 중 어느 하나로 구성될 수 있으나, 본 발명의 사상은 이에 제한되지 않는다.
한편 디스플레이부(110)는 사용자의 입력을 획득할 수 있는 입력 수단을 더 구비할 수 있다. 예컨대, 디스플레이부(110)는 사용자의 터치(Touch) 좌표를 판독하여, 전기적 신호로 변환하는 디지타이저(Digitizer)를 더 구비하여, 표시장치에 표시되는 화면에 따른 사용자의 입력을 획득할 수 있다. 따라서 디스플레이부(110)는 터치 패널(Touch Pannel)을 구비한 터치 스크린(Touch Screen)일 수 있다.
물론 전술한 입력 수단은 디스플레이부(110)와 별도로 구비될 수 있다. 예컨대, 입력 수단은 디스플레이부(110)와 별도로 구비되는 키보드, 마우스, 트랙볼, 마이크 및 버튼 중 어느 하나일 수 있다.
일 실시예에 따른 제어부(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
일 실시예에 따른 통신부(130)는 사용자 단말(100)이 다른 사용자 단말(200) 및 서버(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
일 실시예에 따른 영상 획득부(140)는 주변환경을 촬영할 수 있는 수단으로, 렌즈 및 이미지 센서를 포함할 수 있다. 이 때 렌즈는 1매 이상의 렌즈로 구성되는 렌즈군을 의미할 수도 있다. 이미지 센서는 렌즈에 의하여 입력된 영상을 전기적 신호로 변환할 수 있다. 예컨대 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS (Complementary Metal Oxide Semiconductor)와 같이 광학 신호를 전기적 신호(즉 영상 및/또는 프레임)로 변환할 수 있는 반도체 소자일 수 있다.
일 실시예에 따른 메모리(150)는 사용자 단말(100)이 처리하는 데이터, 명령어(instructions), 프로그램, 프로그램 코드, 또는 이들의 결합 등을 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리(150)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
한편 이와 같은 사용자 단말(100)에 대한 설명은 사용자 단말(200)에도 동일하게 적용될 수 있으므로, 사용자 단말(200)에 대한 상세한 설명은 생략한다. 바꾸어 말하면, 사용자 단말(100)과 사용자 단말(200)은 동일하거나 유사한 구성을 포함하는 장치로, 단순히 본 발명의 각 실시예에서 각 단말의 역할에 따라 상이하게 명명한 것에 불과할 수 있다.
이하에서는 사용자 단말(100, 200)이 영상을 압축하는 방법을 먼저 설명하고, 그 뒤에 사용자 단말(100, 200)이 압축된 영상을 복원하는 방법을 설명한다.
< 영상의 압축 방법 >
이하에서는 도 3 내지 도 4와 도 9를 함께 참조하여, 본 발명의 일 실시예에 따른 사용자 단말(100, 200)이 획득한 영상을 압축하는 방법을 설명한다.
본 발명의 일 실시예에 따른 제어부(120)는 전술한 바와 같이 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있다.
이를 위하여 본 발명의 일 실시예에 따른 제어부(120)는 압축하고자 하는 영상(910)의 제1 프레임(91)과 제1 프레임(91)에 후행하는 하나 이상의 제2 프레임(92)을 획득할 수 있다.(S31) 가령 압축하고자 하는 영상(910)이 영상 획득부(140)에 의해 실시간으로 획득되는 영상인 경우, 제어부(120)는 전술한 제1 프레임(91)과 제2 프레임(92)을 영상 획득부(140)로부터 순차적으로 및/또는 반복적으로 획득할 수 있다. 이 때 제어부(120)는 이벤트 발생 여부에 기초하여 제1 프레임(91) 또는 제2 프레임(92) 중 어느 하나를 획득할 수 있다. 이에 대한 상세한 설명은 단계 S33에서 후술한다.
한편 압축하고자 하는 영상이 메모리(150)에 저장된 영상인 경우, 제어부(120)는 전술한 제1 프레임(91)과 제2 프레임(92)을 메모리(150)로부터 동시에 또는 순차적으로 획득할 수 있다. 물론 이러한 경우에도 제어부(120)는 제1 프레임(91)과 제2 프레임(92)을 메모리(150)로부터 반복적으로 획득할 수 있다.
가령 본 발명에 따른 영상 압축 방법이 영상통화에 사용되는 경우를 가정해 보자. 이러한 경우 제어부(120)는 실시간으로 영상 획득부(140)로부터 복수의 프레임을 포함하는 영상을 획득할 수 있다. 이 때 제어부(120)가 영상 획득부(140)로부터 획득하는 영상의 가장 첫 프레임은 제1 프레임(91)이고, 제1 프레임(91) 이후에 획득하는 프레임들은 제2 프레임(92)일 수 있다. 제1 프레임(91)은 영상 통화 개시 후 사용자의 첫 이미지(가령 얼굴 이미지)를 포함할 수 있고, 제2 프레임(92)들은 시간의 흐름에 따라 변화하는 사용자의 이미지(가령 얼굴 이미지)들을 포함할 수 있다.
이어서 본 발명의 일 실시예에 따른 제어부(120)는 단계 S31에서 획득한 제1 프레임(91)의 하나 이상의 랜드마크를 설정할 수 있다.(S32) 이 때 어떤 프레임에 대해 '랜드마크를 설정'하는 것은 해당 프레임 내에서 랜드마크 대상이 되는 객체를 검색하여 인식하는 것을 의미할 수 있다. 가령 제1 프레임(91)이 사람의 얼굴을 포함하는 경우을 가정해 보자. 이러한 경우 제1 프레임(91)의 하나 이상의 랜드마크를 설정하는 것은 제1 프레임(91)에서 사람 얼굴의 각 부분을 검색하고 인식하는 것을 의미할 수 있다. (도 9의 920 참조) 제1 프레임(91)에서 사람 얼굴의 각 부분을 검색하고 인식하는 것을 보다 상세히 설명하면, 제어부(120)는 제1 프레임(91)에서 얼굴의 윤곽선, 머리의 윤곽선, 눈의 윤곽선, 코의 윤곽선, 입의 윤곽선, 귀의 윤곽선 기타 점의 윤곽선을 검색할 수 있다.
물론 제어부(120)는 각 랜드마크를 윤곽선과 같은 '선'이 아닌 '면'으로써 인식할 수도 있다. 가령 제어부(120)는 얼굴의 영역, 머리의 영역, 눈의 영역, 코의 영역, 입의 영역, 귀의 영역 기타 점의 영역 그 자체를 검색할 수 있다.
이어서 제어부(120)는 검색된 각 랜드마크를 하나 이상의 포인트(Point) 및/또는 픽셀과 대응시킬 수 있다. 가령 랜드마크가 얼굴의 윤곽선(또는 얼굴의 영역)인 제어부(120)는 얼굴의 라인을 얼굴의 라인에 따라 배치된 수 개의 점과 대응시킬 수 있다. 이와 유사하게 제어부(120)는 눈의 윤곽선을 눈의 윤곽선에 따라 배치된 수 개의 점과 대응시킬 수도 있다.
한편 프레임의 어떤 부분을 랜드마크로 설정할 지에 관한 규칙, 즉 랜드마크 설정 규칙은 미리 정해질 수 있다. 가령 전술한 예시에서와 같이 각 프레임이 사람의 얼굴을 포함하는 경우, 랜드마크의 설정 규칙은 사람의 얼굴상의 66개 지점에 대해 설정하는 것으로 미리 정해질 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 본 발명에 따른 영상 압축 및 복원 시스템이 사용되는 목적 및/또는 환경에 따라 랜드마크 설정 규칙은 다양하게 설정될 수 있다.
제어부(120)가 제1 프레임(91)에서 설정한 하나 이상의 랜드마크는 제2 프레임(92)에서의 위치 확인의 대상이 될 수 있다.
본 발명의 일 실시예에 따른 제어부(120)는 하나 이상의 제2 프레임(92)에서의 랜드마크의 위치를 확인할 수 있다.(S33) 이 때 랜드마크는 단계 S32에서 설정된 것일 수 있다. 바꾸어 말하면 제어부(120)는 제1 프레임(91)에서 설정된 랜드마크들의 제2 프레임(92) 내에서의 위치를 확인할 수 있다.
보다 상세히, 본 발명의 일 실시예에 따른 제어부(120)는 하나 이상의 제2 프레임(92)에서, 각각의 랜드마크의 위치를 확인할 수 있다.(S331)(도 9의 930 참조)
가령 전술한 예시에서와 같이 랜드마크의 설정 규칙이 사람의 얼굴상의 66개 지점에 대해 설정하는 것이라고 가정해 보자. 또한 66개의 지점 중 어느 하나의 지점이 '왼쪽 눈썹의 시작 부분'이라고 가정해 보자.
이러한 경우 제어부(120)는 제2 프레임(92)에서의 '왼쪽 눈썹의 시작 부분'의 위치를 검색하여 확인할 수 있다. 바꾸어 말하면, 제어부(120)는 제2 프레임(92)에서의 '왼쪽 눈썹의 시작 부분'의 위치 정보를 생성할 수 있다. 이 때 생성된 제2 프레임(92)의 랜드마크 위치 정보는 가령 '왼쪽 눈썹의 시작 부분'의 제2 프레임(92) 내에서의 좌표를 포함할 수 있다.
한편 제어부(120)는 단계 S331에서 확인된 하나 이상의 제2 프레임(92)의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단할 수 있다.(S332)
가령 제어부(120)는 인접하는 제2 프레임(92)의 랜드마크 위치 정보 간의 차이가 소정의 차이 이상인 경우에 이벤트가 발생한 것으로 판단할 수 있다. 이 때 소정의 차이는 랜드마크 설정 대상 객체의 사라짐, 대상 객체의 증가 및 대상 객체의 가려짐 등에 의해 발생할 수 있다.
또한 제어부(120)는 제1 프레임(91)의 획득 시점으로부터 소정의 시간 주기가 경과된 경우에 이벤트가 발생한 것으로 판단할 수 있다. 가령 제어부(120)는 제1 프레임(91)의 획득 시점으로부터 10초가 경과된 경우 이벤트가 발생한 것으로 판단할 수 있다.
또한 제어부(120)는 외부 장치로부터 제1 프레임(91)의 송신 요청을 수신한 경우 이벤트가 발생한 것으로 판단할 수도 있다.
제어부(120)는 이벤트가 발생한 것으로 판단한 경우, 단계 S31에 따라 갱신된 제1 프레임(91)을 획득할 수 있다. 한편 제어부(120)는 이벤트가 발생하지 않은 것으로 판단한 경우, 후행하는 단계 S34에 따른 동작을 수행할 수 있다.
본 발명의 일 실시예에 따른 제어부(120)는 단계 S31에서 획득한 제1 프레임(91)을 처리하고, 이어서 단계 S33에서 확인된 2 프레임에서의 랜드마크의 위치(93)를 순차적으로 처리할 수 있다.(S34)
본 발명에서 프레임 및/또는 랜드마크의 위치를 '처리'하는 것은 프레임 및/또는 랜드마크의 위치를 통신부(130)를 통하여 다른 사용자 단말에 전송하거나, 메모리(150)에 저장하는 것을 의미할 수 있다.
따라서 제어부(120)는 제1 프레임(91)을 다른 장치에 전송하거나, 메모리(150)에 저장하고, 이어서 제2 프레임(92)에서의 랜드마크의 위치(93)를 다른 장치에 전송하거나 메모리(150)에 저장할 수 있다. 이 때 본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(91) 및 랜드마크의 위치(93)의 복원에 적용될 템플릿 프레임의 선택에 관한 입력을 획득할 수 있다. 템플릿 프레임에 대한 상세한 설명은 영상 복원 방법에서 설명한다.
한편 제어부(120)는 단계 S33에서 이벤트가 발생하지 않은 것으로 판단한 경우, 단계 S34에 따른 동작의 수행 후에 다시 단계 S31에 따른 동작을 수행할 수 있다. 바꾸어 말하면, 제어부(120)는 이벤트 발생에 따라 제1 프레임(91)이 갱신되기 전 까지는 하나 이상의 제2 프레임(92)에 대해 단계 S31 내지 단계 S34에 따른 동작을 반복하여 수행할 수 있다.
이로써 본 발명은 최소화된 리소스(Resource) 및/또는 저장공간의 사용으로 영상을 전송하거나 저장할 수 있으며, 나아가 사용자의 선택에 따라 영상에 템플릿 프레임을 적용할 수 있다.
< 영상의 복원 방법 >
이하에서는 도 5 내지 도 8 및 도 10 내지 도 13을 함께 참조하여, 본 발명의 일 실시예에 따른 사용자 단말(100, 200)이 획득한 영상을 복원하는 방법을 설명한다.
본 발명의 일 실시예에 따른 제어부(120)는 전술한 바와 같이 복수의 프레임을 포함하는 영상(1010)의 일부 프레임(101)과 나머지 프레임(102)에 대한 랜드마크 위치 정보(103)에 기초하여 영상을 복원할 수 있다. 또한 영상을 복원함에 있어서, 템플릿 프레임(1110)을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수도 있다. 이하에서는 설명의 편의를 위하여 복수의 프레임을 포함하는 영상(1010)이 일부 프레임(101)과 나머지 프레임(102)에 대한 랜드마크 위치 정보(103)를 포함하는 영상(1020)으로 압축되었음을 전제로 설명한다.
본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상(1020)의 제1 프레임(101)을 획득할 수 있다.(S51) 가령 복원하고자 하는 영상이 통신부(130)에 의해 다른 장치로부터 실시간으로 획득되는 영상인 경우, 제어부(120)는 전술한 제1 프레임(101)과 후술하는 제2 프레임의 랜드마크 위치 정보(103)를 통신부(130)로부터 순차적 및/또는 반복적으로 획득할 수 있다. 한편 복원하고자 하는 영상이 메모리(150)에 저장된 영상인 경우, 제어부(120)는 전술한 제1 프레임(101)을 메모리(150)로부터 획득할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
이어서 본 발명의 일 실시예에 따른 제어부(120)는 단계 S51에서 획득한 제1 프레임(101)의 하나 이상의 랜드마크를 설정할 수 있다.(S52) 제1 프레임(101)에의 하나 이상의 랜드마크를 설정하는 것은 영상 압축 방법의 단계 S32에서 상세하게 설명하였으므로, 이에 대한 상세한 설명은 생략한다.
한편 영상을 압축하는 과정에서 제1 프레임(101)의 랜드마크를 설정하는 방법과, 영상을 복원하는 과정에서 제1 프레임(101)의 랜드마크를 설정하는 방법은 미리 약속되거나 또는 공유되는 방법일 수 있다.
따라서 제1 프레임(101)에서 랜드마크를 설정하는 방법은 소스코드 및/또는 프로그램의 형태로 메모리(150)에 미리 저장되어 있거나, 통신부(130)를 통하여 다른 장치로부터 수신할 수 있는 것일 수 있다.
본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상의 제2 프레임(102)의 랜드마크 위치 정보(103)를 획득할 수 있다.(S53) 바꾸어 말하면 제어부(120)는 제1 프레임(101)에서 설정된 랜드마크들의 제2 프레임(102) 내에서의 위치를 획득할 수 있다.가령 복원하고자 하는 영상이 통신부(130)에 의해 다른 장치로부터 실시간으로 획득되는 영상인 경우, 제어부(120)는 전술한 제1 프레임(101)과 함께 제2 프레임(102)의 랜드마크 위치 정보(103)를 통신부(130)로부터 순차적 및/또는 반복적으로 획득할 수 있다. 즉 제어부(120)는 제1 프레임(101)만 이미지(또는 영상)의 형태로 획득하고, 나머지 프레임인 제2 프레임(102)은 위치 정보의 형태로 획득할 수 있다. 바꾸어 말하면 제1 프레임(101)만 용량이 큰 형태로 획득하고, 나머지 프레임인 제2 프레임(102)들은 용량이 작은 숫자 및/또는 문자 데이터의 형태로 획득할 수 있다.
한편 복원하고자 하는 영상이 메모리(150)에 저장된 영상인 경우, 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 메모리(150)로부터 획득할 수 있다. 물론 이러한 경우에도 제1 프레임(101)만 이미지(또는 영상)의 형태로 저장되고, 나머지 프레임인 제2 프레임(102)은 숫자 및/또는 문자 데이터의 형태로 저장될 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
이 때 상기 제2 프레임(102)의 랜드마크 위치 정보(103)는 제1 프레임(101)에서 설정된 랜드마크의 제2 프레임(102) 내에서의 위치 정보로, 가령 하나 이상의 랜드마크의 제2 프레임(102) 내에서의 좌표를 포함할 수 있다.
한편 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 획득하고(S531), 이를 바탕으로 이벤트 발생 여부를 판단할 수 있다.(S532)
가령 제어부(120)는 제2 프레임(102)에 후행하는 프레임이 제1 프레임(101)인 경우에 이벤트가 발생한 것으로 판단할 수 있다. 이 때 제어부(120)는 외부 장치로부터 제1 프레임(101) 그 자체를 수신하거나, 제1 프레임(101)의 전송을 알리는 신호를 수신한 경우 후행하는 프레임이 제1 프레임(101)인 것으로 판단할 수 있다.
또한 제어부(120)는 제1 프레임(101)의 획득 시점으로부터 소정의 시간 주기가 경과된 경우에 이벤트가 발생한 것으로 판단할 수 있다.
제어부(120)는 이벤트가 발생한 것으로 판단한 경우, 단계 S51에 따라 갱신된 제1 프레임(101)을 획득할 수 있다. 한편 제어부(120)는 이벤트가 발생하지 않은 것으로 판단한 경우, 후행하는 단계 S54에 따른 동작을 수행할 수 있다.
본 발명의 일 실시예에 따른 제어부(120)는 단계 S53에서 획득한 제2 프레임(102)의 랜드마크 위치 정보(103)에 기초하여, 제1 프레임(101)으로부터 제2 프레임(102)을 생성할 수 있다.(S54)
보다 상세히, 전술한 바와 같이 랜드마크 위치 정보(103)는 하나 이상의 랜드마크의 제2 프레임(102) 내에서의 좌표를 포함할 수 있다. 따라서 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103), 즉 좌표에 기초하여 제1 프레임(101)의 하나 이상의 랜드마크의 위치를 변경함으로써 제2 프레임(102)을 생성할 수 있다. 이에 따라 복원된 영상의 첫 번째 프레임은 제1 프레임(101)그 자체가 될 수 있고, 복원된 영상의 두 번째 프레임은 첫 번째 프레임인 제1 프레임(101)에서 랜드마크들의 위치만 변경한 프레임일 수 있다. 영상통화의 예를 들면, 영상 통화시 가장 처음 표시되는 프레임은 제1 프레임(101)그 자체이고, 제1 프레임(101) 이후에 표시되는 프레임은 제1 프레임(101)에서 랜드마크들의 위치반 변경한 프레임일 수 있다. 즉 영상통화과정 중 표시되는 프레임들은 랜드마크 위치 정보(103)에 따라 변형된 제1 프레임(101)일 수 있다.
이 때 제어부(120)는 보다 자연스로운 제2 프레임(102)의 생성을 위해 다양한 기법을 사용할 수 있다. 가령 제어부(120)는 픽셀 유동화 기법을 사용하여 제1 프레임(101)으로부터 제2 프레임(102)을 생성할 수 있다. 또한 제어부(120)는 머신러닝 (Machine Learning)기법을 사용하여 제1 프레임(101)으로부터 제2 프레임(102)을 생성할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(101)과 단계 S54에서 생성된 제2 프레임(102)을 연속하여 디스플레이부(110)에 표시할 수 있다. 가령 도 10의 1030을 참조하여, 영상(1010)내에서 사람의 얼굴이 오른쪽으로 이동한 경우를 가정해 보자. 이러한 경우 제어부(120)는 제1 프레임(101)과 제2 프레임(102)을 연속하여 디스플레이부(110)에 표시할 수 있다. 이 때 제2 프레임(102)은 얼굴의 이동정보가 반영된 제2 프레임(102)의 랜드마크 위치 정보(103)로부터 생성된것일 수 있다.
또한 본 발명에 따른 영상 압축/및 복원 방법이 영상통화에 사용되는 경우를 가정해 보면, 제어부(120)는 제1 프레임(101)과 단계 S54에서 생성된 제2 프레임(102)을 연속하여 디스플레이부(110)에 표시함으로써 배경은 변화가 없으나 랜드마크, 즉 사람의 얼굴만 변화되는 영상을 표시할 수 있다. 이때 사람의 얼굴이 변화되는 것은 전술한 예시와 같이 사람의 얼굴 전체가 왼쪽 오른쪽 또는 위 아래로 그 위치가 움직이는 것을 의미할 수 있다. 또한 사람의 얼굴이 변화되는 것은 입을 벌리거나, 눈썹을 찡그리거나, 하품을 하거나, 콧구멍을 확장하거나, 눈을 깜박이거나, 눈을 가리거나 하는 등의 얼굴의 일부 부분만이 변환하는 것을 의미할 수도 있다.
한편 제어부(120)는 단계 S53에서 이벤트가 발생하지 않은 것으로 판단한 경우, 단계 S54에 따른 동작의 수행 후에 다시 단계 S53에 따른 동작을 수행할 수 있다. 바꾸어 말하면, 제어부(120)는 이벤트 발생에 따라 제1 프레임(101)이 갱신되기 전 까지는 하나 이상의 제2 프레임(102)에 대해 단계 S53 및 단계 S54에 따른 동작을 반복하여 수행할 수 있다. 이와 같은 동작의 반복수행에 의해 동영상의 프레임이 끊임 없이 생성 및/또는 표시될 수 있다.
본 발명의 일 실시예에 따른 제어부(120)는 제2 프레임(102)의 생성에 있어서, 랜드마크의 위치 정보에 기초하여 제2 프레임(102)에 다양한 효과를 부가할 수 있다. 보다 상세히, 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 참조하여, 특정 랜드마크가 소정의 임계치 이상 이동한 경우 해당 랜드마크에 대한 국부적인 효과 또는 프레임 전체에 대한 효과를 적용할 수 있다.
가령 제2 프레임이 사람의 얼굴을 포함하는 경우, 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 참조하여 눈을 깜박이것, 눈을 감는 것, 눈을 크게 뜨것, 놀란 표정을 짓는것, 입을 크게 벌리는 것 등의 변화를 검출할 수 있다. 제어부(120)는 검출된 변화에 대응하여 제2 프레임(102)에 눈알이 튀어나오는 효과(도 12의 1210), 입에서 새로운 개체가 튀어나오는 효과(도 12의 1220) 등을 부가할 수 있다. 다만 이와 같은 효과는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(120)는 제2 프레임(102)의 생성에 있어서 다양한 정보를 참조하여 제2 프레임(102)에 다양한 효과를 부가할 수 있다. 가령 제어부(120)는 사용자 단말(100, 200)의 위치 정보, 사용자 단말(100, 200)의 식별정보, 사용자 단말(100, 200)의 상태정보, 사용자의 정보 중 어느 하나를 참조하여 제2 프레임(102)에 상기 정보와 대응되는 개체 및/또는 효과를 포함시킬 수 있다.
가령 제어부(120)는 사용자 단말(100, 200)의 위치 정보를 참조하여, 해당 위치의 랜드마크를 상징하는 개체(가령 파리의 경우 에펠탑의 이미지(도 12의 1230))가 제2 프레임(102)에 포함되도록 할 수 있다.
또한 제어부(120)는 사용자 단말(100, 200)의 배터리 상태 정보를 참조하여, 배터리 잔량이 부족한 경우 제2 프레임(102)이 지지직거리는 효과를 부가할 수 있다. (도 12의 1240)
또한 제어부(120)는 사용자의 정보를 참조하여, 사용자의 생일과 같이 특별한 기념일에 해당하는 경우, 해당 기념일을 상징하는 개체(가령 생일의 경우 생일케익의 이미지)가 제2 프레임(102)에 포함되도록 할 수 있다. (도 12의 1250)
이로써 본 발명은 최소화된 리소스(Resource) 및/또는 저장공간의 활용으로 전송되거나 저장된 영상을 보다 자연스럽게 복원하여 표시할 수 있으며, 이와 더불어 영상에 다양한 특수 효과를 간편하고 손쉽게 적용할 수 있다.
도 7은 본 발명의 일 실시예에 따라 제어부(120)가 영상을 복원함에 있어서, 템플릿 프레임(1110)을 참조하여 두 개의 영상을 합성하여 영상을 복원하는 과정을 설명하기 위한 도면이다. 이하에서는 도 5 내지 도 6에서 설명한 내용과 중복하는 내용의 설명은 생략한다.
본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(101)을 획득하기에 앞서, 템플릿 프레임(1110)의 렌드마크를 설정할 수 있다. 이 때 탬플릿 프레임은 복원의 대상이 되는 영상(1120)과 합성하고자 하는 이미지를 포함하는 프레임을 의미할 수 있으며, 복수일 수 있다.
가령 전술한 예시에서와 같이 복원의 대상이 되는 영상(1120)에 사람의 얼굴이 포함되어 있는 경우, 템플릿 프레임(1110)은 '모나리자의 얼굴', '석고상의 얼굴' 또는 '유명인의 얼굴'을 포함할 수 있다.
또한 본 발명에 따른 영상 압축 및 복원 방법이 영상통화에 사용되는 경우 템플릿 프레임(1110)은 영상 통화의 수신자 및/또는 발신자의 얼굴을 포함할 수 있다. 영상 통화의 수신자 및/또는 발신자의 얼굴이 템플릿 프레임으로써 사용자 단말에 미리 저장된 경우, 제1 프레임의 송, 수신 없이 제2 프레임의 랜드마크 위치 정보의 송,수신 만으로 영상통화가 진행될 수도 있다. 바꾸어 말하면, 수신된 제2 프레임의 랜드마크 위치 정보에 기초하여 기 저장된 템플릿 프레임에서의 랜드마크들의 위치를 변경시킴으로써, 영상(또는 프레임)의 송, 수신 없이 영상통화가 진행될 수도 있다.
이러한 템플릿 프레임(1110)은 영상을 복원할 때 사용자의 선택에 의해 결정될 수도 있고, 반대로 영상을 압축할 때 사용자의 선택에 의해 결정될 수도 있다.
가령 전술한 영상 압축 및 복원 방법이 영상통화에 사용되는 경우 발신자 단말의 입장에서, 템플릿 프레임(1110)은 영상 통화의 수신자에 의해 결정될 수도 있고(왜냐하면 발신자 단말에 표시되는 자신의 얼굴을 결정하는 것이므로), 또는 영상 통화의 발신자에 의해 결정될 수도 있다.(왜냐하면 자신이 보고 싶은 형상으로 수신자의 얼굴을 보고 싶으므로)
본 발명의 일 실시예에 따른 제어부(120)는 이와 같은 템플릿 프레임(1110)과 복원의 대상이 되는 영상(1120)의 합성을 위해 템플릿 프레임(1110)의 랜드마크를 미리 설정할 수 있다. 이 때 랜드마크를 설정하는 것은 영상 압축 방법의 단계 S32에서 설명하였으므로, 이에 대한 상세한 설명은 생략한다.
한편 이와 같은 랜드마크의 설정은 사용자의 입력에 기초하여 이루어 질 수도 있다. 가령 템플릿 프레임(1110)의 낮은 해상도 및/또는 낮은 품질로 인해 제어부(120)가 템플릿 프레임(1110)에서 랜드마크를 자동으로 인식할 수 없는 경우, 제어부(120)는 사용자의 입력에 기초하여 템플릿 프레임(1110)의 랜드마크를 설정할 수 있다. 이 때 제어부(120)는 디스플레이부(110)를 통하여 랜드마크를 설정 가이드를 표시할 수 있다.
이어서 본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상의 제1 프레임(101)을 획득할 수 있다.(S71) 또한 본 발명의 일 실시예에 따른 제어부(120)는 전술한 단계 S71에서 획득한 제1 프레임(101)의 하나 이상의 랜드마크를 설정할 수 있다.(S72) 물론 본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상의 제2 프레임의 랜드마크 위치 정보(103)를 획득할 수 있다.(S73)
본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(101) 및 제2 프레임의 랜드마크 위치 정보(103) 중 적어도 하나에 기초하여, 템플릿 프레임(1110)으로부터 제2 프레임(1130)을 생성할 수 있다.(S74)
전술한 바와 같이 랜드마크 위치 정보(103)는 하나 이상의 랜드마크의 제2 프레임 내에서의 좌표를 포함할 수 있으므로, 제어부(120)는 제2 프레임의 랜드마크 위치 정보, 즉 좌표에 기초하여 템플릿 프레임(1110)의 하나 이상의 랜드마크의 위치를 변경하여 제2 프레임을 생성할 수 있다. 바꾸어 말하면 제어부(120)는 영상의 전체를 템플릿 프레임(1110)에 포함된 형상으로 대체하여 제2 프레임을 생성할 수 있다.
가령 복원의 대상이 되는 영상(1120)에 사람의 얼굴이 포함되어 있고, 템플릿 프레임(1110)은 '석고상의 얼굴'을 포함하는 경우, 제어부(120)는 사람의 표정와 움직임이 모두 석고상의 얼굴에 투영된, 석고상의 얼굴을 포함하는 제2 프레임을 생성할 수 있다.
한편 이와는 달리, 제어부(120)는 제2 프레임의 랜드마크 위치 정보, 즉 좌표에 기초하여 템플릿 프레임(1110)의 하나 이상의 랜드마크의 위치를 변경하되, 템플릿 프레임(1110)의 적어도 일부 영역을 제1 프레임(101)의 적어도 일부 영역으로 대체하여 제2 프레임(1130)을 생성할 수 있다.
가령 복원의 대상이 되는 영상(1120)에 사람의 얼굴이 포함되어 있고, 템플릿 프레임(1110)은 '석고상의 얼굴'을 포함하는 경우, 제어부(120)는 석고상의 이미지에서 얼굴 부분만 사람의 얼굴로 대체된 제2 프레임(1130)을 생성할 수 있다. 이 때 제2 프레임(1130)의 사람의 얼굴로 대체된 부분에는 제2 프레임의 랜드마크 위치 정보(103)가 반영될 수 있다. 이 때 두 프레임, 즉 제2 프레임과 템플릿 프레임(1110)의 보다 자연스러운 병합을 위하여 다양한 기술이 사용될 수 있다.
먼저 제어부(120)는 템플릿 프레임(1110)과 제1 프레임(101) 각각에서 랜드마크의 설정 대상이 되는 객체를 인식할 수 있다. 가령, 랜드마크가 사람의 얼굴에 설정되는 경우 제어부(120)는 템플릿 프레임(1110)과 제1 프레임(101) 각각에서 사람의 얼굴을 인식할 수 있다.
또한 제어부(120)는 제1 프레임(101)에서 인식된 랜드마크 설정 대상이 되는 객체의 적어도 일 영역을 선택하고, 해당 영역을 흐리게(Blur) 처리할 수 있다. 또한 제어부(120)는 템플릿 프레임(1110)에서의 랜드마크 설정 대상이 되는 객체의 표시 위치 및 각도를 산출하고, 산출된 결과에 기초하여 전술한 과정에 의해 흐리게 처리된 제1 프레임(101)의 일 영역을 템플릿 프레임(1110)과 머지(Merge)할 수 있다.
이 때 제어부(120)는 양 프레임(101, 1110) 간의 색상차이 등을 고려하여 흐리게 처리된 제1 프레임(101)의 일 영역과 템플릿 프레임(1110)을 병합할 수 있다.
또한 템플릿 프레임(1110)과 제1 프레임(101)에 포함된 객체의 각 부분의 비율(가령 랜드마크 간의 거리)이 서로 상이할 수 있으므로, 제어부(120)는 제2 프레임의 랜드마크 위치 정보(103)를 템플릿 프레임(1110)의 위치 정보로 변환할 수 있다.
제어부(120)는 픽셀 유동화, 머신 러닝 등의 다양한 기법을 사용하여 양 프레임을 보다 자연스럽게 정합시킬 수 있다.
본 발명의 일 실시예에 따른 제어부(120)는 전술한 영상의 처리와 함께, 선택된 템플릿 프레임(1110)에 대응되도록 각각의 프레임에 대응되는 음향을 조작할 수 있다.
가령 템플릿 프레임(1110)이 유명 케릭터 또는 유명 방송인의 얼굴을 포함하고, 각 프레임에 대응되는 음향이 사람의 목소리를 포함하는 경우 제어부(120)는 사람의 목소리를 템플릿 프레임에 포함된 케릭터 또는 유명 방송인의 목소리로 변조할 수 있다. 물론 선택적 실시예에 따라 제어부(120)는 음향을 묵음 처리할 수도 있다.
또한 본 발명의 일 실시예에 따른 제어부(120)는 각 프레임에 대응되는 음향으로부터 각 프레임에 표시되는 새로운 개체를 생성할 수도 있다.
가령 각 프레임에 대응되는 음향이 사람의 목소리를 포함하는 경우 제어부(120)는 사람의 목소리에 대응되는 자막 개체를 생성하여 프레임에 포함시킬 수도 있다. (도 13의 1310)
또한 각 프레임에 대응되는 음향이 사이렌 소리, 특정 알림 소리, 트림 소리, 방귀 소리 및 새 소리와 같이 특정할 수 있는 음향을 포함하는 경우, 제어부(120)는 특정되는 음향과 대응되는 개체를 생성하여 프레임에 포함시킬 수 있다. 바꾸어 말하면 제어부(120)는 음향이 사이렌 소리 포함하는 경우, 사이렌 표시를 프레임에 포함시킬 수도 있고(도 13의 1320), 음향이 트림 소리를 포함하는 경우 트림 표시를 프레임에 포함시킬 수도 있다. (도 13의 1330)
이로써 본 발명은 최소화된 리소스(Resource) 및/또는 저장공간의 활용으로 전송되거나 저장된 영상을 보다 자연스럽게 복원함과 동시에, 영상을 자연스럽게 합성할 수 있으며, 이로써 사용자의 흥미를 유도할 수 있다.
또한 본 발명은 영상을 복원함에 있어서, 영상과 대응되는 음향을 참조하여 음향을 반영한 영상을 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 압축 및 복원 방법이 영상통화에 사용되는 경우의 동작방법을 설명하기 위한 흐름도이다. 이하에서는 도 3 내지 도 7에서 설명한 내용과 중복하는 내용의 설명은 생략한다. 또한 설명의 편의를 위해 제2 사용자 단말(200)이 제1 사용자 단말(100)로부터 영상을 수신하는 측면 만을 고려하여 설명한다.
본 발명의 일 실시예에 따른 제2 사용자 단말(200)은 제1 사용자 단말(100)로부터 제1 프레임을 수신할 수 있다.(S81) 이 때 제1 프레임은 제1 사용자 단말(100)의 영상 획득 수단에 의해 획득된 영상에 포함되는 프레임일 수 있다. 또한 제2 사용자 단말(200)은 제1 프레임과 더불어 영상 통화의 개시를 알리는 신호, 제1 사용자의 식별정보 등을 더 수신할 수 있다.
제2 사용자 단말(200)은 수신된 제1 프레임의 하나 이상의 랜드마크를 설정할 수 있다.(S82) 제2 사용자 단말(200)은 제2 프레임의 랜드마크 위치 정보를 획득할 수 있다.(S83a) 제2 사용자 단말(200)은 획득된 제2 프레임의 랜드마크 위치를 바탕으로 이벤트 발생 여부를 판단할 수 있다.(S84a) 제2 사용자 단말(200)은 제2 프레임의 랜드마크 위치 정보에 기초하여, 제1 프레임으로부터 제2 프레임을 생성할 수 있다.(S85a) 전술한 단계 S82 내지 S85a에 대한 상세한 설명은 도 5의 단계 S52 내지 단계 S54를 참조한다.
제2 사용자 단말(200)은 이벤트가 발생할 까지 전술한 단계 S82 내지 S85a를 수행할 수 있다. (S83b, S84b, S85b, S83c, S84c)
제2 사용자 단말(200)은 이벤트가 발생한 경우 제1 사용자 단말(100)에 제1 프레임을 요청하고(S86), 갱신된 제1 프레임을 수신할 수 있다.(S87)
선택적 실시예에 따라 제1 사용자 단말(100)이 이벤트를 감지하고, 이에 따라 갱신된 제1 프레임을 제2 사용자 단말(200)로 전송할 수도 있다. 이러한 경우 제2 사용자 단말(200)은 갱신된 제1 프레임을 수신하는 것을 이벤트로 감지하고, 이벤트 감지에 대응되는 동작을 수행할 수 있다.
제2 사용자 단말(200)은 갱신된 제1 프레임(101)을 수신한 경우, 전술한 과정을 반복하여 압축된 영상을 수신하고, 복원할 수 있다.
이로써 본 발명은 보다 낮은 대역폭으로 끊임 없는 영상통화를 수행할 수 있고, 영상통화시 사용자 단말(100, 200)간의 데이터 송수신량을 비약적으로 절감시킬 수 있다. 이에 따라 본 발명은 음성통화와 유사한 수준의 데이터 송수신량 만으로도 끊임 없는 부드러운 영상을 제공하는 영상통화가 가능하도록 할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
100: 사용자 단말
110: 디스플레이부
120: 제어부
130: 통신부
140: 영상 획득부
150: 메모리
200: 사용자 단말
300: 서버
400: 통신망

Claims (17)

  1. 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임의 랜드마크(Land Mark) 위치 정보에 기초하여 상기 제1 프레임과 상기 제2 프레임을 포함하는 영상을 복원하는 방법에 있어서,
    상기 제1 프레임을 획득하는 단계;
    상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
    상기 제2 프레임의 랜드마크 위치 정보를 획득하는 단계; 및
    상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함하고,
    상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보이고,
    상기 위치 정보를 획득하는 단계는
    상기 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
    상기 이벤트 발생 여부를 판단하는 단계는
    상기 제2 프레임에 후행하는 프레임이 새로운 제1 프레임인 경우 및 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는, 영상 복원 방법.
  2. 삭제
  3. 제1 항에 있어서
    상기 제1 프레임을 획득하는 단계는
    이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고,
    상기 랜드마크를 설정하는 단계는
    상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고,
    상기 제2 프레임을 생성하는 단계는
    상기 갱신된 제1 프레임으로부터 상기 제2 프레임을 생성하는, 영상 복원 방법.
  4. 제1 항에 있어서
    상기 제1 프레임을 획득하는 단계 이전에
    하나 이상의 템플릿(Template) 프레임의 하나 이상의 랜드마크를 설정하는 단계;를 더 포함하고,
    상기 제2 프레임을 생성하는 단계는
    상기 제1 프레임 및 상기 제2 프레임의 랜드마크 위치 정보 중 적어도 하나에 기초하여, 상기 템플릿 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함하는, 영상 복원 방법.
  5. 제4 항에 있어서
    상기 템플릿 프레임의 하나 이상의 랜드마크를 설정하는 단계는
    상기 템플릿 프레임에 대한 사용자의 입력에 기초하여 상기 템플릿 프레임의 하나 이상의 랜드마크를 설정하는, 영상 복원 방법.
  6. 제4 항에 있어서
    상기 제2 프레임을 생성하는 단계는
    상기 템플릿 프레임의 적어도 일부 영역을 상기 제1 프레임의 적어도 일부 영역으로 대체하여 상기 제2 프레임을 생성하는, 영상 복원 방법.
  7. 제1 항에 있어서
    상기 제2 프레임을 생성하는 단계는
    상기 제2 프레임의 랜드마크 위치 정보에 기초하여 상기 제1 프레임의 하나 이상의 랜드마크의 위치를 변경하여 상기 제2 프레임을 생성하는, 영상 복원 방법.
  8. 제1 항에 있어서
    상기 하나 이상의 랜드마크는 상기 제1 프레임에 포함되는 사람 얼굴의 하나 이상의 특징점에 설정되는, 영상 복원 방법.
  9. 제8 항에 있어서
    상기 제1 프레임 및 제2 프레임을 포함하는 영상은 대화상대 단말로부터 사용자 단말로 전송되고,
    상기 영상의 제1 프레임을 획득하는 단계는
    상기 대화상대 단말로부터 상기 제1 프레임을 획득하고,
    상기 랜드마크를 설정하는 단계는
    상기 제1 프레임에 포함되는 상기 대화상대 얼굴의 하나 이상에 특징점에 상기 랜드마크를 설정하고,
    상기 랜드마크 위치 정보를 획득하는 단계는
    상기 대화상대 단말로부터 상기 제2 프레임의 랜드마크 위치 정보를 획득하고,
    상기 제2 프레임을 생성하는 단계는
    상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 대화상대 얼굴의 하나 이상의 특징점의 위치를 변경하여 상기 제2 프레임을 생성하는, 영상 복원 방법.
  10. 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임을 포함하는 영상을 랜드마크 위치 정보에 기초하여 압축 하는 방법에 있어서,
    상기 제1 프레임 및 상기 하나 이상의 제2 프레임 중 적어도 하나를 획득하는 단계;
    상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
    상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 확인하는 단계; 및
    상기 제1 프레임을 처리하고, 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는 단계;를 포함하고,
    상기 랜드마크의 위치를 확인하는 단계는
    상기 하나 이상의 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
    상기 이벤트 발생 여부를 판단하는 단계는
    인접하는 제2 프레임의 랜드마크 위치 간의 차이가 소정의 차이 이상인 경우, 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 및 외부 장치로부터 상기 제1 프레임의 송신 요청을 수신한 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는, 영상 압축 방법.
  11. 삭제
  12. 제10 항에 있어서
    상기 획득하는 단계는
    이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고,
    상기 랜드마크를 설정하는 단계는
    상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고,
    상기 랜드마크의 위치를 확인하는 단계는
    상기 하나 이상의 제2 프레임에서의 상기 갱신된 제1 프레임의 하나 이상의 랜드마크의 위치를 확인하고
    상기 처리하는 단계는
    상기 갱신된 제1 프레임을 처리하고, 상기 갱신된 제1 프레임에 후행하는 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는, 영상 압축 방법.
  13. 제10 항에 있어서
    상기 처리하는 단계는
    상기 제1 프레임 및 상기 랜드마크의 위치가 적용될 템플릿 프레임를 선택하는 사용자의 입력을 획득하는 단계;를 포함하는, 영상 압축 방법.
  14. 제10 항에 있어서
    상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말로부터 대화상대 단말로 전송되고,
    상기 획득하는 단계는
    상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고,
    상기 처리하는 단계는
    상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 대화상대 단말로 순차적으로 전송하는, 영상 압축 방법.
  15. 제10 항에 있어서
    상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말에 저장되고
    상기 획득하는 단계는
    상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고,
    상기 처리하는 단계는
    상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 사용자 단말의 저장부에 순차적으로 저장하는, 영상 압축 방법.
  16. 컴퓨터를 이용하여
    하나 이상의 프레임(Frame)을 포함하는 영상의 제1 프레임을 획득하는 단계;
    상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
    상기 영상의 제2 프레임의 랜드마크 위치 정보를 획득하는 단계; 및
    상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함하고,
    상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보이고,
    상기 위치 정보를 획득하는 단계는
    상기 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
    상기 이벤트 발생 여부를 판단하는 단계는
    상기 제2 프레임에 후행하는 프레임이 새로운 제1 프레임인 경우 및 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는 영상 복원 방법을 실행하기 위하여 기록매체에 저장된 컴퓨터 프로그램.
  17. 컴퓨터를 이용하여
    하나 이상의 프레임(Frame)을 포함하는 상의 제1 프레임 및 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임 중 적어도 하나를 획득하는 단계;
    상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
    상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 확인하는 단계; 및
    상기 제1 프레임을 처리하고, 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는 단계;를 포함하고,
    상기 랜드마크의 위치를 확인하는 단계는
    상기 하나 이상의 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
    상기 이벤트 발생 여부를 판단하는 단계는
    인접하는 제2 프레임의 랜드마크 위치 간의 차이가 소정의 차이 이상인 경우, 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 및 외부 장치로부터 상기 제1 프레임의 송신 요청을 수신한 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는 영상 압축 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
KR1020170065217A 2017-05-26 2017-05-26 영상 압축 방법 및 영상 복원 방법 KR102256110B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020170065217A KR102256110B1 (ko) 2017-05-26 2017-05-26 영상 압축 방법 및 영상 복원 방법
JP2018095446A JP7176861B2 (ja) 2017-05-26 2018-05-17 映像処理方法、映像復元方法及びコンピュータプログラム
CN202111003801.XA CN113691806A (zh) 2017-05-26 2018-05-23 图像压缩方法、图像恢复方法及计算机可读记录介质
CN201810502974.8A CN108965889B (zh) 2017-05-26 2018-05-23 图像压缩方法、图像恢复方法及计算机可读记录介质
US15/989,384 US11039155B2 (en) 2017-05-26 2018-05-25 Image compression method and image decompression method
US17/315,746 US11463718B2 (en) 2017-05-26 2021-05-10 Image compression method and image decompression method
KR1020210064380A KR102343325B1 (ko) 2017-05-26 2021-05-18 영상 압축 방법 및 영상 복원 방법
JP2022180124A JP7441926B2 (ja) 2017-05-26 2022-11-10 映像コーディングを行うコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170065217A KR102256110B1 (ko) 2017-05-26 2017-05-26 영상 압축 방법 및 영상 복원 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210064380A Division KR102343325B1 (ko) 2017-05-26 2021-05-18 영상 압축 방법 및 영상 복원 방법

Publications (2)

Publication Number Publication Date
KR20180129339A KR20180129339A (ko) 2018-12-05
KR102256110B1 true KR102256110B1 (ko) 2021-05-26

Family

ID=64401719

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170065217A KR102256110B1 (ko) 2017-05-26 2017-05-26 영상 압축 방법 및 영상 복원 방법
KR1020210064380A KR102343325B1 (ko) 2017-05-26 2021-05-18 영상 압축 방법 및 영상 복원 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210064380A KR102343325B1 (ko) 2017-05-26 2021-05-18 영상 압축 방법 및 영상 복원 방법

Country Status (4)

Country Link
US (2) US11039155B2 (ko)
JP (2) JP7176861B2 (ko)
KR (2) KR102256110B1 (ko)
CN (2) CN108965889B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109831638B (zh) * 2019-01-23 2021-01-08 广州视源电子科技股份有限公司 视频图像传输方法、装置、交互智能平板和存储介质
US11423692B1 (en) 2019-10-24 2022-08-23 Meta Platforms Technologies, Llc Facial image data generation using partial frame data and landmark data
JP7017596B2 (ja) * 2020-03-17 2022-02-08 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
KR20230096690A (ko) 2021-12-23 2023-06-30 한화시스템 주식회사 영상 처리 방법 및 이를 이용한 상황 인식 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016860A1 (en) * 2010-06-07 2014-01-16 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US20150189318A1 (en) 2005-03-31 2015-07-02 Euclid Discoveries, Llc Feature-Based Video Compression

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0714208B2 (ja) * 1989-07-04 1995-02-15 株式会社テレマティーク国際研究所 動画像伝送方式
US5420638A (en) * 1992-04-14 1995-05-30 U.S. Philips Corporation Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind
JPH0832947A (ja) * 1994-07-11 1996-02-02 Hitachi Ltd 画像通信装置
US5832115A (en) * 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
WO2001041451A1 (en) * 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
JP2001231037A (ja) * 2000-02-17 2001-08-24 Casio Comput Co Ltd 画像処理システム、画像処理装置、及び記憶媒体
WO2002052508A2 (en) * 2000-12-22 2002-07-04 Anthropics Technology Limited Image processing system
JP2002325238A (ja) * 2001-04-26 2002-11-08 Seiko Instruments Inc 簡易動画送受信システム及び動画送受信方法
US7671861B1 (en) * 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
EP1485876A2 (en) * 2002-03-07 2004-12-15 Medtronic, Inc. Algorithm for accurate three-dimensional reconstruction of non-linear implanted medical devices in vivo
JP4539494B2 (ja) * 2005-08-23 2010-09-08 コニカミノルタホールディングス株式会社 認証装置、認証方法及びプログラム
US7567251B2 (en) 2006-01-10 2009-07-28 Sony Corporation Techniques for creating facial animation using a face mesh
CN102325257A (zh) * 2007-07-20 2012-01-18 富士胶片株式会社 图像处理设备和图像处理方法
KR20090097319A (ko) * 2008-03-11 2009-09-16 삼성전자주식회사 대체 영상을 이용한 휴대 단말기의 화상 통화 방법 및 장치
JP4707751B2 (ja) * 2009-05-21 2011-06-22 シャープ株式会社 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体
KR101139930B1 (ko) * 2010-07-15 2012-04-30 중앙대학교 산학협력단 부분 템플릿 매칭 기반의 객체 식별 장치 및 방법
CA3051912C (en) * 2012-02-24 2023-03-07 Thomas J. Moscarillo Gesture recognition devices and methods
WO2013138531A1 (en) 2012-03-14 2013-09-19 Google, Inc. Modifying an appearance of a participant during a video conference
US9813666B2 (en) * 2012-05-29 2017-11-07 Qualcomm Incorporated Video transmission and reconstruction
US9473780B2 (en) * 2012-07-13 2016-10-18 Apple Inc. Video transmission using content-based frame search
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术（北京）有限公司 虚拟视频通话方法和终端
US9258525B2 (en) * 2014-02-25 2016-02-09 Alcatel Lucent System and method for reducing latency in video delivery
KR102349059B1 (ko) * 2014-11-07 2022-01-10 삼성전자주식회사 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
US9665804B2 (en) * 2014-11-12 2017-05-30 Qualcomm Incorporated Systems and methods for tracking an object
US9800641B2 (en) * 2015-05-04 2017-10-24 Google Inc. Pre-fetched encoding for application streaming
CN105118082B (zh) * 2015-07-30 2019-05-28 科大讯飞股份有限公司 个性化视频生成方法及系统
CN105469056A (zh) * 2015-11-26 2016-04-06 小米科技有限责任公司 人脸图像处理方法及装置
CN107465885A (zh) * 2016-06-06 2017-12-12 中兴通讯股份有限公司 一种实现视频通讯的方法和装置
US10284875B2 (en) * 2016-08-08 2019-05-07 Qualcomm Incorporated Systems and methods for determining feature point motion
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189318A1 (en) 2005-03-31 2015-07-02 Euclid Discoveries, Llc Feature-Based Video Compression
US20140016860A1 (en) * 2010-06-07 2014-01-16 Affectiva, Inc. Facial analysis to detect asymmetric expressions

Also Published As

Publication number Publication date
JP2018201198A (ja) 2018-12-20
US11039155B2 (en) 2021-06-15
JP7176861B2 (ja) 2022-11-22
CN108965889B (zh) 2021-09-10
US20180343459A1 (en) 2018-11-29
KR102343325B1 (ko) 2021-12-27
US20210266578A1 (en) 2021-08-26
CN113691806A (zh) 2021-11-23
JP2023001324A (ja) 2023-01-04
US11463718B2 (en) 2022-10-04
KR20210060411A (ko) 2021-05-26
JP7441926B2 (ja) 2024-03-01
KR20180129339A (ko) 2018-12-05
CN108965889A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
KR102343325B1 (ko) 영상 압축 방법 및 영상 복원 방법
CN110662083B (zh) 数据处理方法、装置、电子设备及存储介质
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
US9392248B2 (en) Dynamic POV composite 3D video system
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
US11917265B2 (en) Augmented reality data dissemination method, system and terminal and storage medium
US9148463B2 (en) Methods and systems for improving error resilience in video delivery
CN112543343A (zh) 基于连麦直播的直播画面处理方法、装置及电子设备
KR101672691B1 (ko) 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치
CN110807769B (zh) 图像显示控制方法及装置
CN109413152B (zh) 图像处理方法、装置、存储介质及电子设备
JPWO2018168823A1 (ja) 画像処理装置および電子機器
KR101189043B1 (ko) 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
CN112106347A (zh) 一种图像生成方法、设备、可移动平台及存储介质
US10282633B2 (en) Cross-asset media analysis and processing
US10990802B2 (en) Imaging apparatus providing out focusing and method for controlling the same
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
JP7065708B2 (ja) 録画再生装置及びプログラム
CN113012052A (zh) 图像处理方法及装置、电子设备和存储介质
CN117041670B (zh) 图像处理方法及相关设备
TW201724013A (zh) 電子裝置、電腦可讀取記錄媒體及臉部影像顯示方法
KR20220013235A (ko) 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR20230073869A (ko) 인터랙션을 지원하는 사용자 인터페이스를 제공하는 방법 및 이를 수행하는 전자 장치
KR20210115786A (ko) 자기 이미지 캡쳐 방법 및 이를 위한 전자 장치
CN112837421A (zh) 显示屏播放节目预览方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant