KR20220123073A - 이미징 프로세싱 방법 및 장치 - Google Patents
이미징 프로세싱 방법 및 장치 Download PDFInfo
- Publication number
- KR20220123073A KR20220123073A KR1020227026365A KR20227026365A KR20220123073A KR 20220123073 A KR20220123073 A KR 20220123073A KR 1020227026365 A KR1020227026365 A KR 1020227026365A KR 20227026365 A KR20227026365 A KR 20227026365A KR 20220123073 A KR20220123073 A KR 20220123073A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- video
- frame image
- video frame
- target object
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 title 1
- 230000000694 effects Effects 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 개시는 이미지 프로세싱 방법 및 장치, 전자 장치, 및 컴퓨터 판독가능 저장 매체를 개시한다. 상기 방법은: 원본(original) 비디오를 획득하는 단계: 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하는 단계; 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하는 단계; 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하는 단계; 및 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하는 단계를 포함한다. 본 개시의 실시예들에 따르면, 사용자는 서로 다른 비디오 프레임의 동일한 하나의 타겟 오브젝트의 상기 이미지들을 같은 시간에 볼 수 있고, 디스플레이 효과가 더욱 유연하다.
Description
본 출원은 2019년 12월 30일에 중국 특허청에 출원된 "비디오 프로세싱 방법 및 장치"라는 제목의 중국특허출원번호 201911397521.4의 우선권을 주장하며, 이는 전체가 참조로 여기에 포함된다.
본 개시는 비디오 프로세싱의 기술 분야에 관한 것으로, 특히 비디오 프로세싱 방법 및 장치와, 컴퓨터 판독가능 저장 매체에 관한 것이다.
인터넷 기술과 비디오 프로세싱 기술의 지속적인 발전으로, 사람들은 비디오를 촬영할 때 비디오에 특수 효과(special effect)를 부가하는 것을 점점 더 요구하고 있다. 사용자는 대응하는 특수 효과 기능을 선택하여 촬영된 비디오에 자기가 좋아하는 특수 효과를 추가할 수 있어 비디오 촬영의 재미를 높일 수 있다.
종래 기술에 따른 비디오 특수 효과 기능은 충분히 유연하지 않다.
이 요약은 아래의 상세 설명에 자세히 설명되어 있는 단순화된 형식의 개념 선택을 소개하기 위해 제공된다. 본 요약은 청구된 주제의 주요 특징 또는 필수 특징을 식별하도록 의도되지 않았으며, 청구된 주제의 범위를 제한하여 사용되도록 의도되지 않았다.
본 개시가 해결하고자 하는 기술적 과제는 이미지 특수 효과 기능의 디스플레이 효과가 충분히 유연하지 않다는 종래 기술의 기술적 문제를 적어도 부분적으로 해결할 수 있도록 비디오 프로세싱 방법을 제공하는 것이다. 이에 더하여, 이미지 프로세싱 장치, 이미지 프로세싱 하드웨어 장치, 컴퓨터 판독 가능 저장 매체 및 이미지 프로세싱 단말기도 제공된다.
상기 목적을 달성하기 위해, 본 개시의 일 측면에 따르면, 다음과 같은 기술적 솔루션:
이미지 프로세싱 방법에 있어서,
원본(original) 비디오를 획득하는 단계:
상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하는 단계;
상기 원본 비디오로부터, 타겟 오브젝트(target object)가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하는 단계;
투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하는 단계; 및
타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하는 단계
를 포함하는, 이미지 프로세싱 방법이 제공된다.
상기 목적을 달성하기 위해, 본 개시의 일 측면에 따르면, 기술적 솔루션:
이미지 프로세싱 장치에 있어서,
원본(original) 비디오를 획득하도록 구성된 비디오 획득 모듈:
상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하도록 구성된 이미지 선택 모듈;
상기 이미지 선택 모듈은, 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하도록 더 구성되고;
투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하도록 구성된 투명화 프로세싱 모듈; 및
타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하도록 구성된 이미지 대체 모듈
를 포함하는, 비디오 프로세싱 장치가 제공된다.
상기 목적을 달성하기 위해, 본 개시의 또 다른 측면에 따르면, 기술적 솔루션:
전자 장치에 있어서,
비일시적 컴퓨터 판독 가능한 명령어들을 저장하도록 구성된 메모리; 및
상기 컴퓨터 판독 가능한 명령어들을 실행하도록 구성되는 프로세서 - 상기 명령어들은 실행될 때 프로세서로 하여금 상술한 임의의 구성의 비디오 프로세싱 방법을 구현하도록 함 -
를 포함하는, 전자 장치가 제공된다.
상기 목적을 달성하기 위해, 본 개시의 또 다른 측면에 따르면, 기술적 솔루션:
컴퓨터 판독 가능한 명령어들을 저장하도록 구성되고, 상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 상술한 임의의 구성의 비디오 프로세싱 방법을 구현하도록 하는, 컴퓨터 판독 가능 저장 매체가 제공된다.
상기 목적을 달성하기 위해, 본 개시의 또 다른 측면에 따르면, 기술적 솔루션:
상기 임의의 구성에 따른 상기 이미지 프로세싱 장치를 포함하는, 이미지 프로세싱 단말기를 더 제공한다.
본 개시의 실시예에 따르면, 원본 비디오를 획득함으로써, 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하고; 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하며; 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하고; 및 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하여, 사용자는 서로 다른 비디오 프레임의 동일한 하나의 타겟 오브젝트의 상기 이미지들을 같은 시간에 볼 수 있고, 디스플레이 효과가 더욱 유연하다.
상술한 설명은 본 개시의 기술적 솔루션의 개요일 뿐이며, 본 개시의 기술적 수단을 보다 명확하게 하기 위하여, 본 개시는 본 기재에 따라 구현될 수 있으며, 본 개시의 상기 및 기타 목적, 특징 및 장점이 보다 명확하게 이해되도록, 이하의 바람직한 실시예를 구체적으로 설명하며, 상세한 설명은 첨부된 도면을 참조하여 설명한다.
상기 및 다른 특징들, 이점들, 및 본 개시의 실시예들의 측면들은 첨부된 도면 및 다음의 특정 실시예들의 참조와 관련하여 더욱 명확해질 것이다. 도면들을 통해, 동일 또는 유사한 도면 부호들은 동일 또는 유사한 엘리먼트로 참조된다. 상기 도면들은 개략적이고, 컴포넌트 및 엘리먼트들은 반드시 축적에 맞춰(to scale) 도시된 것이 아니라는 점이 이해되어야 한다.
도 1a은 본 개시의 일실시예에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다;
도 1b는 본 개시의 일실시예에 따른 이미지 프로세싱 방법에서 제1 비디오 프레임 이미지의 개략적인 다이어그램이다;
도 1c는 본 개시의 일실시예에 따른 이미지 프로세싱 방법에서, 아웃오브바디 (예를 들면, 누군가의 정신이 육체에서 떨어져 나가는 것) 특수 효과 이미지의 개략적인 다이어그램이다;
도 2는 본 개시의 일실시예에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다;
도 3은 본 개시의 일실시예에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다;
도 4는 본 개시의 일실시예에 따른 이미지 프로세싱 장치의 개략적인 구조 다이어그램이다;
도 5는 본 개시의 일실시예에 따른 전자 장치의 개략적인 구조 다이어그램이다.
도 1a은 본 개시의 일실시예에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다;
도 1b는 본 개시의 일실시예에 따른 이미지 프로세싱 방법에서 제1 비디오 프레임 이미지의 개략적인 다이어그램이다;
도 1c는 본 개시의 일실시예에 따른 이미지 프로세싱 방법에서, 아웃오브바디 (예를 들면, 누군가의 정신이 육체에서 떨어져 나가는 것) 특수 효과 이미지의 개략적인 다이어그램이다;
도 2는 본 개시의 일실시예에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다;
도 3은 본 개시의 일실시예에 따른 이미지 프로세싱 방법의 개략적인 흐름도이다;
도 4는 본 개시의 일실시예에 따른 이미지 프로세싱 장치의 개략적인 구조 다이어그램이다;
도 5는 본 개시의 일실시예에 따른 전자 장치의 개략적인 구조 다이어그램이다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세히 설명한다. 본 개시의 임의의 실시예가 도면에 도시되어 있지만, 본 개시는 다양한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다는 점이 이해되어야 한다. 이와는 달리, 이러한 실시예들은, 본 개시의 보다 완전하고 철저한 이해를 위해 제공되는 것으로 이해되어야 한다. 본 개시의 도면들 및 실시예들은 단지 예시를 위한 것이며 본 개시의 범위를 제한하려는 의도가 아님을 이해해야 한다.
본 개시의 방법 실시예에서 언급되는 다양한 단계는 서로 다른 순서로 수행될 수 있고/있거나 병렬적으로 수행될 수 있음을 이해해야 한다. 또한, 방법 실시예는 추가 단계를 포함할 수 있고/있거나 예시된 단계의 수행을 생략할 수 있다. 본 개시의 범위는 이와 관련하여 제한되지 않는다.
본 명세서에 사용된 용어 "포함한다" 및 그의 변형은 개방형, 즉 "포함하지만 이에 제한되지 않는" 것으로 의도된다. "에 기초하는"이라는 용어는 "적어도 부분적으로 기초하는"을 의미한다. "일실시예"라는 용어는 "적어도 하나의 실시예"를 의미하고; "다른 실시예"라는 용어는 "적어도 하나의 추가적인 실시예"를 의미하고; "일부 실시예"라는 용어는 "적어도 일부 실시예"를 의미한다. 다른 용어에 대한 관련 정의는 다음 설명에서 설명한다.
실시예 1
종래 기술에서, 이미지 특수 효과 기능의 디스플레이 효과가 충분히 유연하지 않다는 문제점을 해결하기 위해, 본 개시의 일실시예는 이미지 프로세싱 방법을 제공한다. 도 1a에 도시된 것과 같이, 상기 이미지 프로세싱 방법은 다음의 단계 S11 내지 S15를 주로 포함한다.
단계 S11: 원본(original) 비디오를 획득한다.
상기 원본 비디오는 라이브 비디오, 또는 로컬 단말기에 미리 저장된 비디오이거나, 또는 동적인 이미지, 또는 일련의 정지(still) 이미지들로 구성된 이미지 시퀀스일 수 있다. 구체적으로, 상기 비디오 이미지는 카메라 또는 단말기의 비디오 카메라를 통해 실시간으로 획득된 것일 수 있다. 상기 단말기는 휴대용 단말기(예를 들면, 스마트폰, 아이폰, 태블릿 컴퓨터, 노트북 컴퓨터, 웨어러블 기기) 또는 고정 단말기(예를 들면, 데스크톱 컴퓨터)일 수 있다.
단계 S12: 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택한다.
상기 제1 비디오 프레임 이미지는 타겟 오브젝트를 포함하거나 포함하지 않을 수 있다. 상기 제1 비디오 프레임 이미지는 상기 원본 비디오의 첫(the first) 프레임 이미지, 중간(intermediate) 프레임 이미지, 또는 마지막(the last) 프레임 이미지일 수 있다.
타겟 오브젝트는 프리셋(preset)되어 있을 수 있으며, 예를 들면, 인간 이미지, 동물 이미지(예를 들면, 고양이, 개, 등), 또는 기타의 것일 수 있고, 구체적으로, 상기 타겟 오브젝트는 현존하는 검출 알고리즘을 채용하여 비디오 이미지를 검출함으로써 획득될 수 있다. 채용될 수 있는 타겟 검출 알고리즘으로는, 딥러닝 기반의 타겟 검출 알고리즘(deep learning-based target detection algorithm)과 신경망 기반의 이미지 인식 알고리즘(neural network-based image recognition algorithm)이 될 수 있다.
단계 S13: 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리한다.
타겟 오브젝트는 제2 비디오 프레임 이미지 내에 포함되고, 인간 이미지, 동물 이미지(예를 들면, 고양이, 개, 등), 또는 기타의 것일 수 있다. 제1 비디오 프레임 이미지도 타겟 오브젝트를 포함하는 경우, 제1 비디오 프레임 이미지 및 제2 비디오 프레임 이미지는 하나의 동일한 타겟 오브젝트를 포함할 수 있다. 제2 비디오 프레임 이미지는 상기 원본 비디오의 첫번 째(the first) 프레임 이미지, 중간(intermediate) 프레임 이미지, 또는 마지막(the last) 프레임 이미지일 수 있다.
제1 비디오 프레임 이미지 및 제2 비디오 프레임 이미지는 2개의 서로 다른 이미지들이다(예를 들면, 비디오 내의 대상 오브젝트의 위치들 및/또는 포즈들이 서로 다르다). 비디오 내 타겟 오브젝트의 이미지 부분들을 제외하고, 제1 비디오 프레임 이미지 및 제2 비디오 프레임 이미지 내의 나머지 이미지 부분들, 예를 들면, 백그라운드 이미지 부분들은, 동일하거나 서로 다를 수 있다.
구체적으로, 타겟 오브젝트가 상기 원본 비디오 내의 각 프레임 이미지에 포함된 경우, 2개의 동일 또는 유사한 이미지들은, 제1 비디오 프레임 이미지 및 제2 비디오 이미지 프레임으로 각각 랜덤하게(randomly) 선택된다. 대안적으로, 제2 비디오 프레임 이미지는, 상기 제1 비디오 프레임 이미지 이후에 재생되는 상기 원본 비디오 내의 이미지일 수 있는데, 다시 말하면, 상기 원본 비디오 내의 상기 제1 비디오 프레임 이미지의 재생 시간은 제2 비디오 프레임 이미지의 재생 시간 보다 빠르다(earlier). 예를 들면, 가장 마지막 비디오는 제2 비디오 프레임 이미지로 수집되고, 하나의 프레임 이미지는 상기 제2 비디오 프레임 이미지와 동일하거나 유사한 히스토리컬(historical) 비디오 프레임 이미지로부터 제1 비디오 프레임 이미지로 선택된 것이다.
단계 S14: 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 한다.
구체적으로, 도 1b에 도시된 것과 같이, 타겟 오브젝트가 인간 이미지인 예를 들어 본 개시의 특수 효과의 효과들이 설명되는데, 여기에서 도 1b는 제1 비디오 프레임 이미지이고, 도 1c는 특수 효과 이미지, 즉, 아웃오브바디(out-of-body) 효과가 실현된 특수 효과 이미지이다.
단계 S15: 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체한다.
구체적으로, 만일 특수 효과 프로덕션(production) 장면이 현존하는 비디오를 포스트-프로덕션(post-production)하는 것이면, 제2 비디오 프레임 이미지는, 상기 원본 비디오 내에서, 상기 특수 효과 이미지로 대체되고, 이를 통해 타겟 비디오가 획득된다. 특수 효과 프로덕션 장면이, 촬영하면서 재생되고 있는 비디오에 대해 실시간 특수 효과 프로세싱이 수행되는 것이면, 제2 비디오 프레임 이미지는 제2 비디오 프레임 이미지가 촬영되는 중에 재생하기 위한 특수 효과 이미지로 대체될 수 있는데, 다시 이야기하면, 재생 프로세스 내 원본 비디오의 디스플레이는 타겟 비디오를 형성하는데, 여기에서 상기 원본 비디오는 촬영된 비디오이고, 상기 타겟 비디오는 디스플레이되고 재생되는 비디오이다.
본 실시예에서, 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택; 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리; 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing); 및 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하는 것을 통해, 사용자는 서로 다른 비디오 프레임의 동일한 하나의 타겟 오브젝트의 상기 이미지들을 같은 시간에 볼 수 있고, 디스플레이 효과가 더욱 유연하다.
대안적인 실시예에서, 타겟 오브젝트는 제1 비디오 프레임 이미지에 포함되고, 제1 비디오 프레임 이미지의 타겟 오브젝트에 의해 점유되는 이미지 부분은, 제2 비디오 프레임 이미지의 타겟 오브젝트에 의해 점유되는 이미지 부분과 서로 다르다.
예를 들면, 제1 비디오 프레임 이미지 내에 포함된 타겟 오브젝트는 완전히 쪼그려 앉은(in full squat) 인간의 이미지일 수 있고, 제2 비디오 프레임 이미지 내에 포함된 타겟 오브젝트는 반만 쪼그려 앉거나 완전히 서 있는 인간의 이미지일 수 있다.
대안적인 실시예에서, 단계 S14는 구체적으로:
단계 S141: 상기 제1 비디오 프레임 이미지에 대응하는 적색-청색-녹색 3-컬러 채널의 제1 픽셀 값을 획득한다.
상기 제1 픽셀 값은, 적색 3-컬러 채널, 청색 3-컬러 채널, 및 녹색 3-컬러 채널 중 적어도 하나의 픽셀 값을 포함한다.
상기 제1 비디오 프레임 이미지가 적색-청색-녹색 이미지가 아닌 경우, 이는 컬러 공간 변환을 통해 적색-청색-녹색 이미지로 변환될 수 있다.
단계 S142: 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색-청색-녹색 3-컬러 채널의 제2 픽셀 값을 획득한다.
상게 제2 픽셀 값은, 적색 3-컬러 채널, 청색 3-컬러 채널, 및 녹색 3-컬러 채널 중 적어도 하나의 픽셀 값을 포함한다.
제2 비디오 프레임 이미지 내 타겟 오브젝트에 의해 점유된 이미지 부분이 적색-청색-녹색 이미지가 아닌 경우, 이는 컬러 공간 변환을 통해 적색-청색-녹색 이미지로 변환될 수 있고, 그리고 나서 상기 적색-청색-녹색 3-컬러 채널의 픽셀 값들이 획득된다.
단계 S143 상기 제1 픽셀 값, 상기 제2 픽셀 값, 및 프리셋 투명도(transparency)에 따라 상기 특수 효과 이미지를 결정한다.
프리셋 투명도는 커스터마이징될 수 있고, 0.5 값을 취할 수 있다.
대안적인 실시예에서, 단계 S413은 구체적으로:
수식 r = r1Х(1-a)+r0Хa, g = g1Х(1-a)+g0Хa, 및 b = b1Х(1-a)+b0Хa (여기에서, r, g, 및 b는 각각 상기 특수 효과 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이고, r1, g1, 및 b1은 각각 상기 제1 비디오 프레임 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이며, r0, g0, 및 b0는 각각 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값임)에 따라 상기 특수 효과 이미지를 결정한다.
실시예 2
상술한 실시예들에 기초하여, 본 실시예는, 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하는 단계를 더욱 한정한다. 이러한 한정에 기초하여, 본 실시예의 구체적인 구현이 도 2에 도시되어 있고, 다음의 단계 S21 내지 S25를 포함한다.
단계 S31: 원본 비디오를 획득한다.
단계 S32: 상기 원본 비디오에서 변하지 않는 프리셋(preset) 주기(duration)를 갖는 하나의 비디오 세그멘트 내의 상기 타겟 오브젝트에 의해 점유되는 이미지 부분에 응답하여(in response to), 상기 비디오 세그먼트로부터, 상기 제1 비디오 프레임 이미지를 선택한다.
타겟 오브젝트는 제1 비디오 프레임 이미지 내에 포함된다. 구체적으로, 타겟 오브젝트가 인간 이미지인 것을 예를 고려하면, 타겟 오브젝트(예를 들면, 사용자)가 원본 비디오 내에서 프리셋 주기(예를 들면, 2초) 동안 하나의 동일한 포즈를 유지한다면, 상기 주기 내에서 원본 비디오로부터 획득한 임의의 프레임 이미지는 첫 번째(the first) 비디오 프레임 이미지로서 취해진다. 예를 들면, 상기 주기 내에서 원본 비디오의 마지막 프레임 이미지는 첫 번째 비디오 프레임 이미지로서 취해진다. 예를 들면, 촬영 중에 재생되는 비디오 내의 장면에서, 타겟 오브젝트가 2초 내 변화가 없는 것으로 탐지되는 경우, 현재 촬영된 이미지는 첫 번째 비디오 프레임 이미지, 즉, 2초 내에서 마지막 프레임 이미지로서 획득된다.
단계 S23: 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리한다.
제2 비디오 이미지는, 원본 비디오의 재생 시간이 프리셋 주기(예를 들면, 2초)를 초과하는 경우 수집된 가장 최근의(latest) 비디오 이미지이다. 상기 프리셋 주기의 비디오 세그먼트 내부에는, 타겟 오브젝트에 의해 점유된 이미지 부분은 변화하지 않지만, 프리셋 주기가 초과된 경우 타겟 오브젝트에 의해 점유된 이미지 부분은 변화한다. 다시 말하면, 제1 비디오 프레임 이미지 내에 포함된 타겟 오브젝트에 의해 점유된, 제1 비디오 프레임 이미지의 최종적으로 획득된 이미지 부분은 제2 비디오 프레임 이미지 내 타겟 오브젝트에 의해 점유된 이미지 부분과는 서로 다르다.
단계 S24: 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 한다.
단계 S25: 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체한다.
구체적으로, 타겟 오브젝트가 인간 이미지인 것을 예를 고려하면, 이 단계에서, 타겟 오브젝트(예를 들면, 사용자)는 프리셋 주기(예를 들면, 2초) 동안 비디오 이미지 내에서 하나의 동일한 포즈를 유지할 것이 요구된다. 프리셋 주기에 다다르면, 도 1c에 도시된 것과 같은 아웃오브바디(out-of-body) 특수 효과가 트리거링되고, 즉, 반투명의(translucent) 인간 이미지 활동(activity)이 생긴다.
S21 및 단계 S23 내지 S25에 대한 자세한 설명을 위해, 실시예 1이 참조되고 여기에서 반복하지 않는다.
실시예 3
위의 실시예들에 기초하여, 본 실시예는 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하는 단계를 더욱 한정한다. 이러한 한정에 기초하여, 본 실시예의 구체적인 구현이 도 3에 도시되어 있고, 다음의 단계 S31 내지 S35를 포함한다.
단계 S21: 원본 비디오를 획득한다.
단계 S22: 상기 원본 비디오에서 프리셋 액션(action)을 생성하는 상기 타겟 오브젝트에 응답하여(in response to), 상기 원본 비디오로부터, 상기 타겟 오브젝트가 상기 프리셋 액션을 상기 제1 비디오 프레임 이미지로서 생성하는 비디오 프레임을 선택한다.
프리셋 액션은 프리셋 포즈(예를 들면, OK 제스쳐, 손 흔들기, 머리 흔들기 등), 또는 타겟 오브젝트의 포즈 변화, 예를 들면, 완전히 쪼그려 앉은 자세에서 절반만 쪼그려 앉은 자세로의 변화, 절반만 쪼그려 앉은 자세에서 완전히 일어선 자세로의 변화, 또는 머리를 숙인 자세에서 머리를 든 자세로의 변화 등일 수 있다.
단계 S33: 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리한다.
상기 타겟 오브젝트는 상기 제1 비디오 프레임 이미지에 포함되고, 상기 제1 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분은 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분과 다른 것이다.
단계 S34: 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 한다.
단계 S35: 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체한다.
단계 S31 및 단계 S33 내지 S35에 대한 자세한 설명을 위해, 실시예 1이 참조되고 여기에서 반복하지 않는다.
명백한 변형(예를 들어, 열거된 모드의 조합) 또는 등가물이 위에서 설명된 다양한 실시예에 기초하여 이루어질 수 있다는 것이 당업자에 의해 인식될 것이다.
이상에서, 이미지 프로세싱 방법의 실시예에서의 단계가 위의 순서로 설명되었지만, 본 개시의 실시예에서의 단계가 반드시 상기 순서대로 수행되는 것은 아니며, 역순, 병렬, 교차 등의 다른 순서로도 수행될 수 있음은 당업자에게 자명해야 하며, 또한, 위의 단계에 기초하여, 당업자는 또한 다른 단계를 추가할 수 있으며, 이러한 명백한 변형 또는 균등물은 또한 본 개시의 보호 범위에 포함되어야 하며, 여기서 다시 설명하지 않는다.
다음은 본 개시의 방법의 실시예에 의해 구현된 단계를 수행하는 데 사용될 수 있는 본 개시의 장치의 실시예다. 설명의 편의를 위해, 본 개시의 실시예와 관련된 부분만을 도시하였으며, 개시되지 않은 구체적인 기술적 사항은 본 개시의 방법의 실시예를 참조하기 바란다.
실시예 4
종래 기술에서, 이미지 특수 효과 기능의 디스플레이 효과가 충분히 유연하지 않다는 문제점을 해결하기 위해, 본 개시의 일실시예는 이미지 프로세싱 장치를 제공한다. 장치는 실시예 1, 2, 및 3에서 설명한 이미지 프로세싱 방법의 실시예 내의 단계들을 수행한다. 도 4에 도시된 것과 같이, 상기 장치는 주로:
비디오 획득 모듈(41), 이미지 선택 모듈(42), 투명화 프로세싱 모듈(43), 및 이미지 대체 모듈(44)를 포함하고,
비디오 획득 모듈(41)은 원본(original) 비디오를 획득하도록 구성되고;
이미지 선택 모듈(42)은, 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하도록 구성되고;
이미지 선택 모듈(42)은, 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하도록 더 구성되고;
투명화 프로세싱 모듈(43)은, 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하도록 구성되고; 및
이미지 대체 모듈(44)은, 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하도록 구성된다.
더욱이, 상기 타겟 오브젝트는 상기 제1 비디오 프레임 이미지에 포함되고, 상기 제1 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분은 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분과 다른 것이다.
더욱이, 이미지 선택 모듈(42)은 구체적으로: 상기 원본 비디오에서 변하지 않는 프리셋(preset) 주기(duration)를 갖는 하나의 비디오 세그멘트 내의 상기 타겟 오브젝트에 의해 점유되는 이미지 부분에 응답하여(in response to), 상기 비디오 세그먼트로부터, 상기 제1 비디오 프레임 이미지를 선택하도록 구성된다.
더욱이, 상기 제1 비디오 프레임 이미지는 상기 원본 비디오에서 상기 주기 내 마지막 프레임 이미지이다.
더욱이, 이미지 선택 모듈(42)은 구체적으로: 상기 원본 비디오에서 프리셋 액션(action)을 생성하는 상기 타겟 오브젝트에 응답하여(in response to), 상기 원본 비디오로부터, 상기 타겟 오브젝트가 상기 프리셋 액션을 상기 제1 비디오 프레임 이미지로서 생성하는 비디오 프레임을 선택하도록 구성된다.
더욱이, 상기 타겟 오브젝트는 인간 이미지이다.
더욱이, 투명화 프로세싱 모듈(43)은 구체적으로: 상기 제1 비디오 프레임 이미지에 대응하는 적색-청색-녹색 3-컬러 채널의 제1 픽셀 값을 획득하고; 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색-청색-녹색 3-컬러 채널의 제2 픽셀 값을 획득하며; 및 상기 제1 픽셀 값, 상기 제2 픽셀 값, 및 프리셋 투명도(transparency)에 따라 상기 특수 효과 이미지를 결정하도록 구성된다.
더욱이, 투명화 프로세싱 모듈(43)은 구체적으로: 수식 r = r1Х(1-a)+r0Хa, g = g1Х(1-a)+g0Хa, 및 b = b1Х(1-a)+b0Хa (여기에서, r, g, 및 b는 각각 상기 특수 효과 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이고, r1, g1, 및 b1은 각각 상기 제1 비디오 프레임 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이며, r0, g0, 및 b0는 각각 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값임)에 따라 상기 특수 효과 이미지를 결정하도록 구성된다.
이미지 프로세싱 장치의 실시예의 작동 원리, 달성된 기술적 효과 등에 대한 자세한 설명에 대해, 비디오 특수 효과 프로세싱 방법의 전술한 실시예의 관련 설명을 참조할 수 있으며, 여기서 세부 사항은 반복되지 않을 것이다.
실시예 5
이제 본 개시의 실시예들을 구현하는데 적합한 전자 장치(500)의 개략적인 다이어그램을 도시하는 도 5를 참조한다. 본 개시의 실시예에서 단말기 장치(terminal device)는 휴대폰, 노트북 컴퓨터, 디지털 방송 수신기, 피디에이(Personal Digital Assistant)(PDA), 태블릿 컴퓨터(tablet computer)(PAD), 휴대용멀티미디어플레이어(Portable Multimedia Player)(PMP), 차량 단말기(예를 들어, 차량 네비게이션 단말기), 및 기타의 이동 단말기, 및 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기를 포함할 수 있고, 이에 한정되지 않는다. 도 5에 도시된 전자 장치는 단지 예시일 뿐이고, 본 개시의 실시예의 기능 및 사용 범위에 어떠한 제한도 가해져서는 안 된다.
도 5에 도시된 바와 같이, 전자 장치(electronic device)(300)는 프로세싱 장치(processing device)(예를 들어, 중앙 프로세싱 유닛, 그래픽 프로세서 등)(501)를 포함할 수 있고, 이는 읽기 전용 메모리(ROM)(502)에 저장된 프로그램 또는 저장 디바이스(storage device)(508)로부터 랜덤 액세스 메모리(RAM)(503)로 로드된 프로그램에 따라 다양한 적절한 액션과 프로세스를 수행할 수 있다. RAM(503)에는 전자 장치(500)의 동작(operation)에 필요한 각종 프로그램 및 데이터도 저장된다. 프로세싱 장치(501), ROM(502) 및 RAM(503)은 버스(bus)(504)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(interface)(505)도 버스(504)에 연결된다.
일반적으로, 다음의 장치들이 I/O 인터페이스(I/O interface)(505)에 연결될 수 있다: 입력 장치(506)은, 예를 들어, 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크로폰, 가속도계, 자이로스코프 등을 포함한다; 출력 장치(507)은 예를 들어, 액정 표시 장치(LCD), 스피커, 바이브레이터 등을 포함한다; 메모리 장치(memory device)(508)는, 예를 들어, 자기 테이프, 하드 디스크 등을 포함한다; 및 통신 장치(communication device)(509). 통신 장치(509)는 전자 장치(electronic device)(500)가 무선 또는 유선으로 다른 장치들과 통신하여 데이터를 교환하도록 할 수 있다. 도 5는 다양한 장치들을 갖는 전자 장치(500)를 예시하지만, 예시된 장치들 모두가 구현되거나 제공될 필요가 없다는 것을 이해해야 한다. 더 많거나 더 적은 장치가 대안으로 구현되거나 제공될 수 있다.
특히, 본 개시의 실시예에 따르면, 순서도를 참조하여 상술한 프로세스는 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 개시의 실시예는 비일시적 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 프로그램은 순서도에 의해 예시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에서, 컴퓨터 프로그램은 통신 장치(509)를 통해 온라인으로 다운로드되고, 메모리 장치(508)로부터 설치 또는 설치되거나, ROM(502)으로부터 설치될 수 있다. 컴퓨터 프로그램은, 프로세싱 장치(501)에 의해 실행될 때, 본 개시의 실시예에 제공된 방법에 정의된 상술한 기능들을 실행한다.
본 개시의 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체 또는 둘의 임의의 조합일 수 있다는 점에 유의해야 한다. 예를 들어, 컴퓨터 판독 가능 저장 매체는 전기, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 이들의 임의의 조합일 수 있지만 이에 한정되지는 않는다. 컴퓨터 판독 가능 저장 매체(computer readable storage medium)의 보다 구체적인 예는: 하나 또는 그 이상의 와이어를 갖는 전기 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능한 프로그래밍 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 적합한 조합을 포함하나, 이에 제한되지 않는다. 본 개시에서, 컴퓨터 판독 가능 저장 매체는 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 매체일 수 있으며, 여기서 프로그램은 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용을 위한 것이다. 그리고 본 개시에서, 컴퓨터 판독가능 신호 매체는, 예를 들어 기저대역(baseband)에서 또는 반송파의 일부로서 내부에 구현된 컴퓨터 판독가능 프로그램 코드와 함께 전파된 데이터 신호를 포함할 수도 있다. 이러한 전파된 데이터 신호는 전자기, 광학, 또는 이들의 임의의 적절한 조합을 포함하지만, 이에 제한되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독 가능 신호 매체(computer readable signal medium)는 또한 명령 실행 시스템(instruction execution system), 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 통신, 전파 또는 전송할 수 있는 컴퓨터 판독 가능 저장 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 구현된 프로그램 코드는 전기 배선, 광 케이블, RF(무선 주파수) 등 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다.
일부 실시예에서, 클라이언트와 서버는 하이퍼 택스트 전송 프로토콜(Hyper Text Transfer Protocol)(HTTP)와 같은, 현재 알려져 있거나 미래에 개발될 네트워크 프로토콜을 사용하여 통신할 수 있으며, 디지털 데이터 통신의 모든 형태 또는 매체(예를 들어, 통신 네트워크)와 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망("LAN"), 광역 네트워크("WAN"), 인터넷 및 피어 투 피어 네트워크(예 들어, 애드 훅(ad hoc) 피어 투 피어 네트워크)뿐만 아니라 현재 알려졌거나 미래에 개발될 네트워크를 포함한다.
위의 컴퓨터 판독 가능 매체는 전자 장치에 구현될 수 있고; 또는 홀로 존재하거나, 상기 전자 장치 내에 조립되어 있지 않을 수 있다.
위의 컴퓨터 판독가능 매체는, 전자 장치에 의해 실행될 때, 전자 장치로 하여금: 원본(original) 비디오를 획득하고; 상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하며; 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하고; 투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하고; 및 타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하도록 한다.
본 개시의 동작들을 수행하기 위한 컴퓨터 프로그램 코드는 자바, 스몰토크, C++와 같은 객체 지향 프로그래밍 언어를 포함하지만 이에 제한되지 않는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있고, "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 통상적인 절차적 프로그래밍 언어를 포함한다. 프로그램 코드는 전적으로 사용자의 컴퓨터 상의, 부분적으로는 사용자의 컴퓨터 상의, 독립적인 소프트웨어 패키지로서, 부분적으로는 사용자의 컴퓨터에서, 부분적으로는 원격 컴퓨터에서 또는 전체적으로 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터를 고려하는 시나리오에서, 원격 컴퓨터는 지역 네트워크(Local Area Network)(LAN) 또는 광역 네트워크(Wide Area Network)(WAN)를 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 공급자를 사용하는 인터넷을 통해 연결됨).
첨부된 도면에서의 흐름도 및 블록도는 본 개시의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 설명한다. 이와 관련하여, 플로우 차트 또는 블록도에서의 각각의 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능 코드를 포함하는 모듈, 세그먼트 또는 명령(instruction)의 일부를 나타낼 수 있다. 또한, 일부 대체 구현에서, 블록에 표시된 기능이 도면에 명시된 순서대와 다르게 발생할 수 있다. 예를 들어, 실제로, 연속적으로 예시된 두 블록은 실제로 동시에 실행되거나 관련된 기능에 따라 블록이 역순으로 실행될 수 있다. 또한 블록도 및/또는 순서도의 각 블록 및 블록도 및/또는 순서도 도시의 블록 조합은 지정된 기능을 수행하거나 행동하거나, 특수 목적의 하드웨어 기반 시스템에 의해 구현되거나 특수 목적의 하드웨어 및 컴퓨터 명령의 조합에 의해 구현될 수도 있다.
본 개시의 실시예에서 설명된 관련 유닛들은 소프트웨어 또는 하드웨어에 의해 구현될 수 있다. 유닛의 이름은 어떤 경우에는 유닛 자체의 제한을 구성하지 않으며, 예를 들어 제1 획득 유닛(first acquisition unit)는 "적어도 2개의 인터넷 프로토콜 주소를 획득하는 유닛"으로 설명될 수도 있다.
여기에서 설명된 기능들은 하나 이상의 하드웨어 논리 구성요소에 의해 적어도 부분적으로 수행될 수 있다. 예를 들어, 이에 제한되는 것 없이, 사용될 수 있는 예시적인 유형의 하드웨어 논리 구성요소는: 필드 프로그램 가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 주문형 표준 제품(ASSP), 시스템 온 칩(SOC), 복합 프로그래머블 로직 디바이스(Complex Programmable Logic Devices)(CPLD) 등을 포함한다.
본 개시의 맥락에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치, 또는 장치에 의해 또는 그와 연결하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 유형 매체일 수 있다. 기계 판독 가능 매체(machine readable medium)는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 수단, 또는 장치, 또는 이들의 임의의 적절한 조합을 포함할 수 있으나 이에 제한되지 않는다. 기계 판독 가능 저장 매체(machine readable storage medium)의 보다 구체적인 예는, 하나 이상의 와이어 기반 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그램 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 적합한 조합을 포함할 수 있다.
본 개시의 하나 또는 그 이상의 실시예에 따르면, 이미지 프로세싱 방법은:
원본(original) 비디오를 획득하는 단계:
상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하는 단계;
상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하는 단계;
투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하는 단계; 및
타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하는 단계
를 포함한다.
더욱이, 상기 타겟 오브젝트는 상기 제1 비디오 프레임 이미지에 포함되고, 상기 제1 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분은 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분과 다른 것이다.
더욱이, 상기 원본 비디오로부터, 상기 제1 비디오 프레임 이미지를 선택하는 단계는 구체적으로:
상기 원본 비디오에서 변하지 않는 프리셋(preset) 주기(duration)를 갖는 하나의 비디오 세그멘트 내의 상기 타겟 오브젝트에 의해 점유되는 이미지 부분에 응답하여(in response to), 상기 비디오 세그먼트로부터, 상기 제1 비디오 프레임 이미지를 선택하는 단계이다.
더욱이, 상기 제1 비디오 프레임 이미지는 상기 원본 비디오에서 상기 주기 내 마지막 프레임 이미지이다.
더욱이, 상기 원본 비디오로부터, 상기 제1 비디오 프레임 이미지를 선택하는 단계는 구체적으로:
상기 원본 비디오에서 프리셋 액션(action)을 생성하는 상기 타겟 오브젝트에 응답하여(in response to), 상기 원본 비디오로부터, 상기 타겟 오브젝트가 상기 프리셋 액션을 상기 제1 비디오 프레임 이미지로서 생성하는 비디오 프레임을 선택하는 단계이다.
더욱이, 상기 타겟 오브젝트는 인간 이미지이다.
더욱이, 투명화 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하는 단계는:
상기 제1 비디오 프레임 이미지에 대응하는 적색-청색-녹색 3-컬러 채널의 제1 픽셀 값을 획득하는 단계;
상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색-청색-녹색 3-컬러 채널의 제2 픽셀 값을 획득하는 단계; 및
상기 제1 픽셀 값, 상기 제2 픽셀 값, 및 프리셋 투명도(transparency)에 따라 상기 특수 효과 이미지를 결정하는 단계를 포함한다.
더욱이, 상기 제1 픽셀 값, 상기 제2 픽셀 값, 및 상기 프리셋 투명도(transparency)에 따라 상기 특수 효과 이미지를 결정하는 단계는:
수식 r = r1Х(1-a)+r0Хa, g = g1Х(1-a)+g0Хa, 및 b = b1Х(1-a)+b0Хa (여기에서, r, g, 및 b는 각각 상기 특수 효과 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이고, r1, g1, 및 b1은 각각 상기 제1 비디오 프레임 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이며, r0, g0, 및 b0는 각각 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값임)에 따라 상기 특수 효과 이미지를 결정하는 단계이다.
본 개시의 하나 또는 그 이상의 실시예에 따르면, 이미지 프로세싱 장치는:
원본(original) 비디오를 획득하도록 구성된 비디오 획득 모듈:
상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하도록 구성된 이미지 선택 모듈;
상기 이미지 선택 모듈은, 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하도록 더 구성되고;
투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하도록 구성된 투명화 프로세싱 모듈; 및
타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하도록 구성된 이미지 대체 모듈
를 포함한다.
더욱이, 상기 타겟 오브젝트는 상기 제1 비디오 프레임 이미지에 포함되고, 상기 제1 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분은 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분과 다른 것이다.
더욱이, 상기 이미지 선택 모듈은 구체적으로: 상기 원본 비디오에서 변하지 않는 프리셋(preset) 주기(duration)를 갖는 하나의 비디오 세그멘트 내의 상기 타겟 오브젝트에 의해 점유되는 이미지 부분에 응답하여(in response to), 상기 비디오 세그먼트로부터, 상기 제1 비디오 프레임 이미지를 선택하도록 구성된다.
더욱이, 상기 제1 비디오 프레임 이미지는 상기 원본 비디오에서 상기 주기 내 마지막 프레임 이미지이다.
더욱이, 상기 이미지 선택 모듈은 구체적으로: 상기 원본 비디오에서 프리셋 액션(action)을 생성하는 상기 타겟 오브젝트에 응답하여(in response to), 상기 원본 비디오로부터, 상기 타겟 오브젝트가 상기 프리셋 액션을 상기 제1 비디오 프레임 이미지로서 생성하는 비디오 프레임을 선택하도록 구성된다.
더욱이, 상기 타겟 오브젝트는 인간 이미지이다.
더욱이, 상기 투명화 프로세싱 모듈은 구체적으로: 상기 제1 비디오 프레임 이미지에 대응하는 적색-청색-녹색 3-컬러 채널의 제1 픽셀 값을 획득하고; 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색-청색-녹색 3-컬러 채널의 제2 픽셀 값을 획득하며; 및 상기 제1 픽셀 값, 상기 제2 픽셀 값, 및 프리셋 투명도(transparency)에 따라 상기 특수 효과 이미지를 결정하도록 구성된다.
더욱이, 상기 투명화 프로세싱 모듈은 구체적으로: 수식 r = r1Х(1-a)+r0Хa, g = g1Х(1-a)+g0Хa, 및 b = b1Х(1-a)+b0Хa (여기에서, r, g, 및 b는 각각 상기 특수 효과 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이고, r1, g1, 및 b1은 각각 상기 제1 비디오 프레임 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이며, r0, g0, 및 b0는 각각 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값임)에 따라 상기 특수 효과 이미지를 결정하도록 구성된다.
본 개시의 하나 또는 그 이상의 실시예에 따르면, 전자 장치에 있어서:
비일시적 컴퓨터 판독 가능한 명령어들을 저장하도록 구성된 메모리; 및
상기 컴퓨터 판독 가능한 명령어들을 실행하도록 구성되는 프로세서 - 상기 명령어들은 실행될 때 프로세서로 하여금 청구항 제1항 내지 제8항 중 어느 한 항의 비디오 프로세싱 방법을 구현하도록 함 - 롤 포함하는 전자 장치가 제공된다.
본 개시의 하나 또는 그 이상의 실시예에 따르면, 컴퓨터 판독 가능한 명령어들을 저장하도록 구성되고, 상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 상기 설명된 이미지 프로세싱 방법을 수행하도록 하는 컴퓨터 판독 가능 저장 매체가 제공된다.
전술한 설명은 본 개시의 바람직한 실시예의 예시일 뿐이며 사용된 기술의 원리를 설명한다. 본 명세서의 개시의 범위가 위에서 설명된 특징들의 특정 조합으로 제한되지 않고, 본 개시의 정신을 벗어남이 없이 위에서 설명된 특징들의 다른 조합들 또는 그의 등가물도 포함한다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 상술한 특징들과 본 개시에 개시된 기술적 특징들(단, 이에 한정되지 않음)이 유사한 기능을 갖는 것을 서로 대체하여 기술 솔루션을 형성한다.
또한, 동작이 특정 순서로 도시되어 있지만, 이것은 그러한 동작이 도시된 특정 순서로 또는 순차적인 순서로 수행될 것을 요구하는 것으로 이해되어서는 안 된다. 특정 상황에서는 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 마찬가지로, 몇 가지 특정 구현 세부사항이 위의 논의에 포함되어 있지만, 이들은 본 개시의 범위에 대한 제한으로 해석되어서는 안 된다. 특정 특징은 별도의 실시예의 맥락에서 또한 단일 실시예에서 조합하여 구현될 수 있다. 역으로, 단일 실시예의 맥락에서 설명된 다양한 특징은 또한 개별적으로 또는 임의의 적절한 서브 조합으로 다중 실시예에서도 구현될 수 있다.
청구 대상물이 구조적 특징 및/또는 방법론 실행에 특정한 언어로 설명되었지만, 첨부된 청구범위에 정의된 주제는 위에서 설명된 특정 특징 또는 실행으로 불필요하게 제한됨을 이해해야 한다. 역으로, 위에서 설명된 특정 특징 및 작용은 청구범위를 구현하는 예시적인 형태로 개시된다.
Claims (12)
- 비디오 프로세싱 방법에 있어서,
원본(original) 비디오를 획득하는 단계:
상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하는 단계;
상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하는 단계;
투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하는 단계; 및
타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하는 단계
를 포함하는,
비디오 프로세싱 방법.
- 제1항에 있어서,
상기 타겟 오브젝트는 상기 제1 비디오 프레임 이미지에 포함되고, 상기 제1 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분은 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분과 다른 것인,
비디오 프로세싱 방법.
- 제2항에 있어서,
상기 원본 비디오로부터, 상기 제1 비디오 프레임 이미지를 선택하는 단계는,
상기 원본 비디오에서 변하지 않는 프리셋(preset) 주기(duration)를 갖는 하나의 비디오 세그멘트 내의 상기 타겟 오브젝트에 의해 점유되는 이미지 부분에 응답하여(in response to), 상기 비디오 세그먼트로부터, 상기 제1 비디오 프레임 이미지를 선택하는 단계인,
비디오 프로세싱 방법.
- 제3항에 있어서,
상기 제1 비디오 프레임 이미지는 상기 원본 비디오에서 상기 주기 내 마지막 프레임 이미지인,
비디오 프로세싱 방법.
- 제1항에 있어서,
상기 원본 비디오로부터, 상기 제1 비디오 프레임 이미지를 선택하는 단계는,
상기 원본 비디오에서 프리셋 액션(action)을 생성하는 상기 타겟 오브젝트에 응답하여(in response to), 상기 원본 비디오로부터, 상기 타겟 오브젝트가 상기 프리셋 액션을 상기 제1 비디오 프레임 이미지로서 생성하는 비디오 프레임을 선택하는 단계인,
비디오 프로세싱 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 타겟 오브젝트는 인간 이미지인,
비디오 프로세싱 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
투명화 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하는 단계는,
상기 제1 비디오 프레임 이미지에 대응하는 적색-청색-녹색 3-컬러 채널의 제1 픽셀 값을 획득하는 단계;
상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색-청색-녹색 3-컬러 채널의 제2 픽셀 값을 획득하는 단계; 및
상기 제1 픽셀 값, 상기 제2 픽셀 값, 및 프리셋 투명도(transparency)에 따라 상기 특수 효과 이미지를 결정하는 단계
를 포함하는,
비디오 프로세싱 방법.
- 제7항에 있어서,
상기 제1 픽셀 값, 상기 제2 픽셀 값, 및 상기 프리셋 투명도(transparency)에 따라 상기 특수 효과 이미지를 결정하는 단계는,
수식 r = r1Х(1-a)+r0Хa, g = g1Х(1-a)+g0Хa, 및 b = b1Х(1-a)+b0Хa (여기에서, r, g, 및 b는 각각 상기 특수 효과 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이고, r1, g1, 및 b1은 각각 상기 제1 비디오 프레임 이미지에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값이며, r0, g0, 및 b0는 각각 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대응하는 적색, 녹색, 및 청색 채널의 픽셀 값임)
에 따라 상기 특수 효과 이미지를 결정하는 단계인,
비디오 프로세싱 방법.
- 이미지 프로세싱 장치에 있어서,
원본(original) 비디오를 획득하도록 구성된 비디오 획득 모듈:
상기 원본 비디오로부터, 제1 비디오 프레임 이미지를 선택하도록 구성된 이미지 선택 모듈;
상기 이미지 선택 모듈은, 상기 원본 비디오로부터, 타겟 오브젝트가 포함되어 있는 제2 비디오 프레임 이미지를 선택하고, 상기 제2 비디오 프레임 이미지로부터, 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 이미지 부분을 분리하도록 더 구성되고;
투명화(transparentized) 이미지를 얻도록 상기 제2 비디오 프레임 이미지의 상기 타겟 오브젝트에 의해 점유된 상기 이미지 부분에 대해 투명화(transparentization) 프로세싱을 수행하고, 특수 효과 이미지를 얻도록 상기 제1 비디오 프레임 이미지에 대해 상기 투명화 이미지를 수퍼포우징(superposing) 하도록 구성된 투명화 프로세싱 모듈; 및
타겟 비디오를 형성하도록, 상기 원본 비디오에서, 상기 제2 비디오 프레임 이미지를 상기 특수 효과 이미지로 대체하도록 구성된 이미지 대체 모듈
를 포함하는,
비디오 프로세싱 장치.
- 전자 장치에 있어서,
비일시적 컴퓨터 판독 가능한 명령어들을 저장하도록 구성된 메모리; 및
상기 컴퓨터 판독 가능한 명령어들을 실행하도록 구성되는 프로세서 - 상기 명령어들은 실행될 때 프로세서로 하여금 청구항 제1항 내지 제8항 중 어느 한 항의 비디오 프로세싱 방법을 구현하도록 함 -
롤 포함하는,
전자 장치.
- 컴퓨터 판독 가능한 명령어들을 저장하도록 구성되고, 상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 청구항 제1항 내지 제8항 중 어느 한 항의 비디오 프로세싱 방법을 수행하도록 하는,
컴퓨터 판독 가능 저장 매체.
- 컴퓨터 프로그램 제품에 있어서,
전자 장치 상에서 실행될 때, 상기 컴퓨터 프로그램 제품은 상기 전자 장치가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 하는,
컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911397521.4A CN113132795A (zh) | 2019-12-30 | 2019-12-30 | 图像处理方法及装置 |
| CN201911397521.4 | 2019-12-30 | ||
| PCT/CN2020/134683 WO2021135864A1 (zh) | 2019-12-30 | 2020-12-08 | 图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220123073A true KR20220123073A (ko) | 2022-09-05 |
| KR102717916B1 KR102717916B1 (ko) | 2024-10-16 |
Family
ID=76686436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227026365A KR102717916B1 (ko) | 2019-12-30 | 2020-12-08 | 이미징 프로세싱 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11798596B2 (ko) |
| EP (1) | EP4068794A4 (ko) |
| JP (1) | JP7467642B2 (ko) |
| KR (1) | KR102717916B1 (ko) |
| CN (1) | CN113132795A (ko) |
| BR (1) | BR112022012896A2 (ko) |
| WO (1) | WO2021135864A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923391B (zh) * | 2021-09-08 | 2022-10-14 | 荣耀终端有限公司 | 视频处理的方法、设备和存储介质 |
| CN114040129B (zh) * | 2021-11-30 | 2023-12-05 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN114399425B (zh) * | 2021-12-23 | 2024-08-06 | 北京字跳网络技术有限公司 | 一种图像处理方法、视频处理方法、装置、设备及介质 |
| CN114827754B (zh) * | 2022-02-23 | 2023-09-12 | 阿里巴巴（中国）有限公司 | 视频首帧时间检测方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015018297A1 (en) * | 2013-08-06 | 2015-02-12 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus and terminal device |
| KR20150025214A (ko) * | 2013-08-28 | 2015-03-10 | 삼성전자주식회사 | 동영상에 비주얼 객체를 중첩 표시하는 방법, 저장 매체 및 전자 장치 |
| KR20170093505A (ko) * | 2016-02-05 | 2017-08-16 | 삼성전자주식회사 | 영상 처리 방법, 장치 및 기록 매체 |
| CN107590810A (zh) * | 2017-09-22 | 2018-01-16 | 北京奇虎科技有限公司 | 实现双重曝光的视频数据处理方法及装置、计算设备 |
| CN107665482A (zh) * | 2017-09-22 | 2018-02-06 | 北京奇虎科技有限公司 | 实现双重曝光的视频数据实时处理方法及装置、计算设备 |
| CN107705279A (zh) * | 2017-09-22 | 2018-02-16 | 北京奇虎科技有限公司 | 实现双重曝光的图像数据实时处理方法及装置、计算设备 |
| CN108702463A (zh) * | 2017-10-30 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置以及终端 |
| CN108933905A (zh) * | 2018-07-26 | 2018-12-04 | 努比亚技术有限公司 | 视频拍摄方法、移动终端和计算机可读存储介质 |
| WO2019141100A1 (zh) * | 2018-01-18 | 2019-07-25 | 腾讯科技（深圳）有限公司 | 附加对象显示方法、装置、计算机设备及存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4682928B2 (ja) | 2005-06-17 | 2011-05-11 | 富士ゼロックス株式会社 | アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム |
| US20080183822A1 (en) | 2007-01-25 | 2008-07-31 | Yigang Cai | Excluding a group member from receiving an electronic message addressed to a group alias address |
| CN100505707C (zh) | 2007-03-30 | 2009-06-24 | 腾讯科技（深圳）有限公司 | 一种即时通信中群组邮件通信的方法、装置及系统 |
| US20100250693A1 (en) | 2007-12-29 | 2010-09-30 | Tencent Technology (Shenzhen) Company Ltd. | Method, apparatus for converting group message and system for exchanging group message |
| US8904031B2 (en) | 2007-12-31 | 2014-12-02 | Genesys Telecommunications Laboratories, Inc. | Federated uptake throttling |
| US8103134B2 (en) | 2008-02-20 | 2012-01-24 | Samsung Electronics Co., Ltd. | Method and a handheld device for capturing motion |
| CN102025514A (zh) | 2009-09-11 | 2011-04-20 | 中兴通讯股份有限公司 | 即时消息与电子邮件互通的方法与系统 |
| JP2013186521A (ja) | 2012-03-06 | 2013-09-19 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| EP3040939B1 (en) | 2013-08-30 | 2018-10-10 | Panasonic Intellectual Property Management Co., Ltd. | Makeup support device, makeup support method, and makeup support program |
| JP2015114694A (ja) | 2013-12-09 | 2015-06-22 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US10453270B2 (en) * | 2015-09-11 | 2019-10-22 | Intel Corporation | Scalable real-time face beautification of video images |
-
2019
- 2019-12-30 CN CN201911397521.4A patent/CN113132795A/zh active Pending
-
2020
- 2020-12-08 EP EP20910034.6A patent/EP4068794A4/en active Pending
- 2020-12-08 KR KR1020227026365A patent/KR102717916B1/ko active IP Right Grant
- 2020-12-08 BR BR112022012896A patent/BR112022012896A2/pt unknown
- 2020-12-08 JP JP2022540466A patent/JP7467642B2/ja active Active
- 2020-12-08 WO PCT/CN2020/134683 patent/WO2021135864A1/zh unknown
-
2022
- 2022-06-27 US US17/849,859 patent/US11798596B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015018297A1 (en) * | 2013-08-06 | 2015-02-12 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus and terminal device |
| KR20150025214A (ko) * | 2013-08-28 | 2015-03-10 | 삼성전자주식회사 | 동영상에 비주얼 객체를 중첩 표시하는 방법, 저장 매체 및 전자 장치 |
| KR20170093505A (ko) * | 2016-02-05 | 2017-08-16 | 삼성전자주식회사 | 영상 처리 방법, 장치 및 기록 매체 |
| CN107590810A (zh) * | 2017-09-22 | 2018-01-16 | 北京奇虎科技有限公司 | 实现双重曝光的视频数据处理方法及装置、计算设备 |
| CN107665482A (zh) * | 2017-09-22 | 2018-02-06 | 北京奇虎科技有限公司 | 实现双重曝光的视频数据实时处理方法及装置、计算设备 |
| CN107705279A (zh) * | 2017-09-22 | 2018-02-16 | 北京奇虎科技有限公司 | 实现双重曝光的图像数据实时处理方法及装置、计算设备 |
| CN108702463A (zh) * | 2017-10-30 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置以及终端 |
| WO2019084712A1 (zh) * | 2017-10-30 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置以及终端 |
| WO2019141100A1 (zh) * | 2018-01-18 | 2019-07-25 | 腾讯科技（深圳）有限公司 | 附加对象显示方法、装置、计算机设备及存储介质 |
| CN108933905A (zh) * | 2018-07-26 | 2018-12-04 | 努比亚技术有限公司 | 视频拍摄方法、移动终端和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4068794A4 (en) | 2022-12-28 |
| CN113132795A (zh) | 2021-07-16 |
| US11798596B2 (en) | 2023-10-24 |
| JP7467642B2 (ja) | 2024-04-15 |
| JP2023509429A (ja) | 2023-03-08 |
| US20220328072A1 (en) | 2022-10-13 |
| WO2021135864A1 (zh) | 2021-07-08 |
| KR102717916B1 (ko) | 2024-10-16 |
| BR112022012896A2 (pt) | 2022-09-06 |
| EP4068794A1 (en) | 2022-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102717916B1 (ko) | 이미징 프로세싱 방법 및 장치 | |
| WO2023051185A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20230421716A1 (en) | Video processing method and apparatus, electronic device and storage medium | |
| WO2023125374A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113076048B (zh) | 视频的展示方法、装置、电子设备和存储介质 | |
| WO2023040749A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20230005194A1 (en) | Image processing method and apparatus, readable medium and electronic device | |
| CN112259062A (zh) | 特效展示方法、装置、电子设备及计算机可读介质 | |
| CN114245028B (zh) | 图像展示方法、装置、电子设备及存储介质 | |
| US11882244B2 (en) | Video special effects processing method and apparatus | |
| WO2023109829A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20220159197A1 (en) | Image special effect processing method and apparatus, and electronic device and computer readable storage medium | |
| WO2021027631A1 (zh) | 图像特效处理方法、装置、电子设备和计算机可读存储介质 | |
| WO2021031847A1 (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US12041379B2 (en) | Image special effect processing method, apparatus, and electronic device, and computer-readable storage medium | |
| WO2023231918A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110809166A (zh) | 视频数据处理方法、装置和电子设备 | |
| US20220272280A1 (en) | Image special effect processing method and apparatus, electronic device and computer-readable storage medium | |
| WO2021027632A1 (zh) | 图像特效处理方法、装置、电子设备和计算机可读存储介质 | |
| US9467644B2 (en) | Video processing system, video processing method, and program | |
| CN115334360B (zh) | 音视频播放方法、装置、电子设备、可读介质 | |
| WO2022213798A1 (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| WO2023088461A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN117372240A (zh) | 特效图像的展示方法、装置、电子设备和存储介质 | |
| CN118781376A (zh) | 模型的训练方法、图片生成方法、装置、介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |