KR102228919B1 - 이미지에 동적 효과를 적용하는 방법 및 장치 - Google Patents

이미지에 동적 효과를 적용하는 방법 및 장치 Download PDF

Info

Publication number
KR102228919B1
KR102228919B1 KR1020197030223A KR20197030223A KR102228919B1 KR 102228919 B1 KR102228919 B1 KR 102228919B1 KR 1020197030223 A KR1020197030223 A KR 1020197030223A KR 20197030223 A KR20197030223 A KR 20197030223A KR 102228919 B1 KR102228919 B1 KR 102228919B1
Authority
KR
South Korea
Prior art keywords
information
dynamic effect
target image
effect
image
Prior art date
Application number
KR1020197030223A
Other languages
English (en)
Other versions
KR20190122859A (ko
Inventor
최상호
박병선
진정환
이원효
신형배
정성엽
김성욱
함노아
김지민
Original Assignee
스노우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스노우 주식회사 filed Critical 스노우 주식회사
Publication of KR20190122859A publication Critical patent/KR20190122859A/ko
Application granted granted Critical
Publication of KR102228919B1 publication Critical patent/KR102228919B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

이미지에 포함된 객체의 형상에 관한 정보와 이미지에 포함된 객체들 간의 상대적인 위치에 관한 정보를 포함하는 소정의 패턴 정보에 기반하여, 타겟 이미지에 대해 깊이 정보를 획득하고, 획득된 깊이 정보에 기반하여, 타겟 이미지에 대해 동적 효과를 적용하는 이미지 처리 방법이 제공된다.

Description

이미지에 동적 효과를 적용하는 방법 및 장치
본 개시는 이미지에 동적 효과를 적용하는 방법 및 장치에 관한 것으로, 보다 자세하게는, 이미지의 적어도 하나의 부분에 대해 깊이 정보를 획득하고, 획득된 깊이 정보에 기반하여 이미지에, 모션 효과와 같은 동적 효과를 적용하는 방법 및 장치와 관련된다.
이미지(화상)의 경우 2차원의 사물만을 표현할 수 있으므로, 동영상에서 나타나는 것과 같은 생동감이나 현장감을 표현할 수 없다. 그러나, 동영상의 경우에는 이미지에 비해 용량이 매우 크고, 제작에 많은 시간이 소요된다는 단점이 있다.
복수의 이미지들을 촬영한 후, 촬영된 복수의 이미지들을 합성하는 것을 통해, 동영상과 유사하게 인식될 수 있는 콘텐츠(이미지)를 생성하는 방법도 존재한다. 그러나, 복수의 이미지를 촬영하는 것 역시 번거로우며, 복수의 이미지들을 함성함으로써 생성된 콘텐츠의 용량은 복수의 이미지들의 용량을 합친 것이 되므로, 단일한 이미지에 비해 용량이 훨씬 커지게 되는 바, 효율적이지 않다.
따라서, 동영상이 아닌, 이미지에 기반하여 생성된 콘텐츠를 통해 생동감이나 현장감을 표현할 수 있으면서, 기존의 이미지와 비교해 용량을 현저하게 증가시키지 않는 콘텐츠를 생성하기 위한 이미지 처리 방법 및 장치가 요구된다.
한국등록특허 제10-1513999호(공고일 2015년 4월 21일)는 2차원 이미지 데이터에 포함된 복수의 객체로부터 선택된 제1 객체를 분리하고, 배경의 제1 위치 및 제2 위치에 제1 객체의 배치에 관한 데이터를 생성함으로써 2차원 이미지를 3차원 이미지로 표시하는 방법을 기재하고 있다.
상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.
일 실시예는, 이미지에 포함된 객체의 형상에 관한 정보와 이미지에 포함된 객체들 간의 상대적인 위치에 관한 정보를 포함하는 소정의 패턴 정보에 기반하여, 타겟 이미지에 대해 깊이 정보를 획득하고, 획득된 깊이 정보에 기반하여, 타겟 이미지에 대해 동적 효과를 적용하는 이미지 처리 방법을 제공할 수 있다.
일 실시예는, 타겟 이미지에 포함된 특정 객체의 그림자 또는 특정 객체의 윤곽을 식별하고, 식별된 정보에 기반하여 타겟 이미지에 포함된 특정 객체와 다른 객체 간의 상대적인 위치를 깊이 정보로서 획득하는 방법을 제공할 수 있다.
일 실시예는, 타겟 이미지에 대해 복수의 깊이 정보를 획득하고, 획득된 깊이 정보에 따라 상이한 동적 효과를 타겟 이미지에 적용할 수 있는 방법을 제공할 수 있다.
일 측면에 있어서, 이미지에 포함된 객체의 형상에 관한 제1 정보 및 상기 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 제2 정보를 포함하는 소정의 패턴 정보에 기반하여, 타겟 이미지에 포함된 객체의 적어도 제1 부분 및 상기 타겟 이미지에서 상기 타겟 이미지에 포함된 객체를 제외한 영역 중 적어도 제2 부분 중 적어도 하나에 대한 깊이 정보를 획득하는 단계 및 상기 획득된 깊이 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 동적 효과를 적용하는 단계를 포함하는, 이미지 처리 방법이 제공된다.
상기 깊이 정보를 획득하는 단계는, 상기 타겟 이미지의 복수의 포인트들에 대해 각각 깊이 정보를 획득할 수 있다.
상기 포인트들의 각각은 상기 제1 부분 또는 상기 제2 부분에 대응할 수 있다.
상기 동적 효과를 부여하는 단계는, 상기 복수의 포인트들에 대해 획득된 깊이 정보가 나타내는 깊이 값에 따라, 상기 포인트들 중 적어도 2개의 포인트들의 각각에 대해 서로 상이한 동적 효과를 적용할 수 있다.
상기 동적 효과를 부여하는 단계는, 상기 포인트들 중 깊이 값이 소정의 값 이상인 포인트에 대해 제1 동적 효과를 적용하는 단계 및 상기 포인트들 중 깊이 값이 소정의 값 미만인 포인트에 대해 제2 동적 효과를 적용하는 단계를 포함할 수 있다.
상기 제1 동적 효과 및 상기 제2 동적 효과는 적용된 포인트와 연관된 객체 또는 상기 연관된 객체에 포함된 요소에 대해 모션 효과가 발생되도록 할 수 있다.
상기 제1 동적 효과가 적용될 때, 상기 제2 동적 효과가 적용될 때보다 상기 연관된 객체 또는 상기 연관된 객체에 포함된 요소에 대해 더 큰 모션 효과를 발생시킬 수 있다.
상기 타겟 이미지에 포함된 객체는 배경, 상기 배경을 구성하는 사물 또는 상기 타겟 이미지에서 상기 배경을 제외한 사물일 수 있다.
상기 깊이 정보는 상기 타겟 이미지에 포함된 객체 또는 상기 포함된 객체에 포함된 일 요소를 기준으로 한 상대적인 깊이 값을 나타낼 수 있다.
상기 동적 효과는, 적용된 상기 타겟 이미지의 부분에 대해 모션 효과, 색상 변경 효과 및 형상 변경 효과 중 적어도 하나가 발생되도록 할 수 있다.
상기 모션 효과는, 적용된 상기 타겟 이미지의 부분에 흔들림 효과, 회전 효과, 또는 기울임 효과가 발생되도록 할 수 있다.
상기 제1 정보는 상기 타겟 이미지에 포함된 특정 객체의 그림자를 식별하기 위한 정보 또는 상기 특정 객체의 윤곽을 식별하기 위한 정보를 포함할 수 있다.
상기 제2 정보는 상기 그림자의 방향, 크기 및 형상 중 적어도 하나에 기반하여, 또는 상기 윤곽과 다른 객체의 윤곽과의 관계에 기반하여, 상기 타겟 이미지에 포함된 상기 특정 객체와 다른 객체 간의 상대적인 위치를 상기 깊이 정보로서 결정하기 위한 정보를 포함할 수 있다.
상기 동적 효과를 적용하는 단계는, 소정의 동적 효과 패턴 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용될 동적 효과를 결정하는 단계 및 상기 결정된 동적 효과를 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용하는 단계를 포함할 수 있다.
상기 동적 효과를 적용하는 단계는, 상기 제1 정보 및 제2 정보에 기반하여 식별된 상기 타겟 이미지에 포함된 객체 및 상기 객체를 제외한 영역 중 적어도 하나에 대한 정보에 기반하여, 상기 소정의 동적 효과 패턴 정보를 결정하는 단계를 더 포함할 수 있다.
상기 제1 정보는 상기 타겟 이미지에 포함된 특정 객체를 식별하고, 상기 특정 객체에 포함된 적어도 하나의 요소의 형상을 식별하기 위한 정보를 포함할 수 있다.
상기 특정 객체는 사람의 얼굴일 수 있다.
상기 특정 객체에 포함된 적어도 하나의 요소는, 상기 얼굴에 포함된 부위로서, 눈, 코, 입 또는 귀일 수 있다.
상기 동적 효과를 적용하는 단계는, 상기 얼굴에 대해 적용할 동적 효과에 대응하는 제1 표정 패턴 정보를 결정하는 단계 및 상기 결정된 제1 표정 패턴 정보에 기반하여, 상기 얼굴 또는 상기 얼굴에 포함된 부위에 모션 효과를 적용하는 단계를 포함할 수 있다.
상기 동적 효과를 적용하는 단계는, 상기 타겟 이미지에서 상기 얼굴을 제외한 부분 또는 상기 타겟 이미지 전체에 대해 적용할 동적 효과에 대응하는 제2 표정 패턴 정보를 결정하는 단계 및 상기 결정된 제2 표정 패턴 정보에 기반하여, 상기 얼굴을 제외한 부분 또는 상기 전체에 모션 효과를 적용하는 단계를 포함할 수 있다.
다른 일 측면에 있어서, 이미지에 포함된 객체의 형상에 관한 제1 정보 및 상기 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 제2 정보를 포함하는 소정의 패턴 정보에 기반하여, 타겟 이미지에 포함된 객체의 적어도 제1 부분 및 상기 타겟 이미지에서 상기 타겟 이미지에 포함된 객체를 제외한 영역 중 적어도 제2 부분 중 적어도 하나에 대한 깊이 정보를 획득하는 깊이 정보 획득부 및 상기 획득된 깊이 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 동적 효과를 적용하는 동적 효과 적용부를 포함하는, 이미지 처리 장치가 제공된다.
상기 이미지 처리 장치는 상기 패턴 정보를 저장하는 제1 데이터베이스를 더 포함할 수 있다.
상기 깊이 정보 획득부는 상기 제1 데이터베이스로부터 상기 패턴 정보를 획득할 수 있다.
상기 동적 효과 적용부는 소정의 동적 효과 패턴 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용될 동적 효과를 결정하고, 상기 결정된 동적 효과를 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용할 수 있다.
상기 이미지 처리 장치는 상기 동적 효과 패턴 정보를 저장하는 제2 데이터베이스를 더 포함할 수 있다.
상기 동적 효과 적용부는 상기 제2 데이터베이스로부터 상기 동적 효과 패턴 정보를 획득할 수 있다.
소정의 패턴 정보에 기반하여, 타겟 이미지에 대해 깊이 정보를 획득하고, 획득된 깊이 정보에 기반하여, 타겟 이미지에 대해 동적 효과를 적용하여 소기의 콘텐츠를 생성함으로써, 사용자에게 동영상과 유사한 동적인 콘텐츠로서 인식되는 콘텐츠를 생성할 수 있다.
타겟 이미지에 대해 획득된 복수의 깊이 정보에 기반하여, 획득된 깊이 정보에 따라 상이한 동적 효과를 타겟 이미지에 적용함으로써, 기존의 이미지에 비해 현장감과 생동감이 극대화된 동적인 콘텐츠를 생성할 수 있다.
소정의 패턴 정보에 기반하여, 타겟 이미지에 포함된 특정 객체와 다른 객체 간의 상대적인 위치를 깊이 정보로서 획득하고, 소정의 동적 효과 패턴 정보에 기반하여 타겟 이미지에 대해 적용될 동적 효과를 결정함으로써, 현장감과 생동감이 극대화된 동적인 콘텐츠를 손쉽게 생성할 수 있다.
도 1은 일 실시예에 따른, 타겟 이미지에 대해 깊이 정보를 획득하고 획득된 깊이 정보에 기반하여, 타겟 이미지에 대해 동적 효과를 적용하는 방법을 나타낸다.
도 2는 일 실시예에 따른, 타겟 이미지에 대해 동적 효과를 적용하는 장치를 나타낸다.
도 3은 일 실시예에 따른, 타겟 이미지에 대해 깊이 정보를 획득하고 획득된 깊이 정보에 기반하여, 타겟 이미지에 대해 동적 효과를 적용하는 방법을 나타내는 흐름도이다.
도 4는 일 예에 따른, 동적 효과 패턴 정보를 결정하고, 동적 효과 패턴 정보에 따라 결정된 동적 효과를 타겟 이미지에 적용하는 방법을 나타내는 흐름도이다.
도 5는 일 예에 따른, 타겟 이미지의 얼굴/기타 영역에 대해 표정 패턴 정보를 결정하고, 결정된 표정 패턴 정보에 따라 결정된 모션 효과를 타겟 이미지의 얼굴/기타 영역에 적용하는 방법을 나타내는 흐름도이다.
도 6은 일 예에 따른, 이미지에 포함된 객체에 대해, 객체의 윤곽 및/또는 그림자를 사용하여, 해당 객체의 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.
도 7는 일 예에 따른, 이미지에 포함된 얼굴을 식별하고 얼굴에 포함된 부위에 대한 깊이 정보를 획득하고, 얼굴에 대해 동적 효과를 적용하는 방법을 나타낸다.
도 8은 일 예에 따른, 이미지에 포함된 객체로서의 배경에 대해, 동적 효과를 적용하는 방법을 나타낸다.
발명의 실시를 위한 최선의 형태
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
후술될 상세한 설명에서, 동적 효과의 적용 대상이 되는 '타겟 이미지'에 대해서는, 동적 효과가 적용되지 않은 '타겟 이미지' 및 동적 효과가 적용된 '타겟 이미지' 모두에 대해 편의 상 동일하게 참조 번호 100을 부여하였다.
도 1은 일 실시예에 따른, 타겟 이미지에 대해 깊이 정보를 획득하고 획득된 깊이 정보에 기반하여, 타겟 이미지에 대해 동적 효과를 적용하는 방법을 나타낸다.
도 1은 타겟 이미지(100)에 대해, 이미지에 포함된 적어도 하나의 객체 및/또는 해당 객체에 포함된 적어도 하나의 요소에 대해 깊이 정보를 획득하고, 획득된 깊이 정보에 기반하여, 상기 객체 및/또는 상기 요소에 대해 동적 효과를 적용하는 방법을 나타낸다.
타겟 이미지(100)에 포함된 객체는 이미지에 포함된 사물 또는 배경이나, 사물 또는 배경에 포함된 요소를 의미할 수 있다. 말하자면, 타겟 이미지에 포함된 객체는 배경, 상기 배경을 구성하는 사물 또는 상기 타겟 이미지에서 상기 배경을 제외한 사물일 수 있다. '사물'은 물건 뿐만아니라, 인간의 신체나 신체에 포함된 부위를 비롯한 여하한 개체를 포괄할 수 있다. 예컨대, 도시된 것처럼, 배경(110), 사람(120) 및 직육면체 형상의 물체(140) 각각은 타겟 이미지(100)에 포함된 객체일 수 있다. 또한, 사람(120)에 포함된 얼굴(130) 역시 타겟 이미지(100)에 포함된 객체일 수 있다. 타겟 이미지(100)는 예컨대, 사용자 단말 등을 통해 촬영된 사진일 수 있다.
객체나 객체에 포함된 요소의 깊이 정보는 해당 객체나 객체에 포함된 요소의 특정 기준 위치에 대한, z 축 방향으로의 상대적인 깊이 값을 포함할 수 있다. 예컨대, 도시된 예시에서, 타겟 이미지(100)에 포함된 사람(120)은 배경(110)에 비해 z1의 깊이 값을 갖고, 물체(140)는 배경(110)에 비해 z2의 깊이 값을 가질 수 있다.
후술될 도 2 내지 도 8을 참조하여 더 자세하게 설명되는 이미지 처리 장치는, 소정의 패턴 정보를 사용하여, 배경(110), 사람(120), 얼굴(130) 및 물체(140) 중 적어도 하나에 대한 깊이 정보를 획득할 수 있고, 획득된 깊이 정보에 기반하여, 배경(110), 사람(120), 얼굴(130) 및 물체(140) 중 적어도 하나에 대해 동적 효과를 적용할 수 있다. 예컨대, 이미지 처리 장치는 타겟 이미지(100)에 대해, 소정의 패턴 정보를 사용하여, 배경(110)이 가장 뒤에 있는 것이고, 사람(120) 및 물체(140)는 그 앞쪽에 위치하는 것을 판정할 수 있다. 이에 따라, 이미지 처리 장치는 배경(110)에 대해서만 동적 효과를 적용하거나, 사람(120) 및 물체(140)와 배경(110)에 대해 각각 상이한 동적 효과를 적용할 수 있다.
타겟 이미지(100)에 대해 깊이 정보를 획득하기 위해 사용되는 패턴 정보는 이미지에 포함된 객체의 형상에 관한 정보(객체에 포함된 요소의 형상에 관한 정보를 포함함) 및 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 정보(객체에 포함된 요소들 간의 상대적인 위치에 관한 정보를 포함함)를 포함할 수 있다. 패턴 정보는 기 정의된 정보로서 데이터베이스에 저장될 수 있다.
타겟 이미지(100)에 대해 적용되는 동적 효과는 적용된 타겟 이미지(100)의 부분에 대해 모션 효과, 색상 변경 효과(음영 변경 효과를 포함함) 및 형상 변경 효과 중 적어도 하나가 발생되도록 하는 것일 수 있다.
타겟 이미지(100)에 대해 획득된 깊이 정보에 기반하여, 동적 효과가 타겟 이미지(100)에 적용됨으로써, 타겟 이미지(100)에는 입체감이 부여될 수 있고, 사용자는 타겟 이미지(100)를 동영상과 유사한 동적인 콘텐츠(또는, 3차원으로 인식되는 동적인 콘텐츠)로서 인식할 수 있다.
패턴 정보에 기반하여, 타겟 이미지(100)에 대해 깊이 정보를 획득하는 구체적인 실시예와, 타겟 이미지(100)에 대해 동적 효과를 적용하는 구체적인 실시예에 대해서는 후술될 도 2 내지 도 8을 참조하여 더 자세하게 설명된다.
도 2는 일 실시예에 따른, 타겟 이미지에 대해 동적 효과를 적용하는 장치를 나타낸다.
도 2를 참조하여, 타겟 이미지(100)에 대해 깊이 정보를 획득하고, 동적 효과를 적용하는 이미지 처리 장치(200)(이하, 전자 장치(200)라고 명명함)에 대해 설명한다.
전자 장치(200)는 타겟 이미지(100)에 대해 깊이 정보를 획득하고, 동적 효과를 적용하기 위한 동작을 수행하는 장치로서, PC(personal computer), 노트북 컴퓨터(laptop computer), 랩탑 컴퓨터(laptop computer), 태블릿(tablet), 사물 인터넷(Internet Of Things) 기기, 또는 웨어러블 컴퓨터(wearable computer) 등의 사용자가 사용하는 단말일 수 있다.
또는, 전자 장치(200)는 사용자가 촬영 또는 소유하거나, 사용자가 요청한 타겟 이미지(100)에 대한 깊이 정보를 획득하고, 동적 효과를 적용하는 장치로서, 사용자 단말에 대해 원격지에 존재하는 서버 또는 기타 컴퓨팅 장치일 수 있다.
장치(200)는 통신부(210) 및 제어부(220)를 포함할 수 있다.
통신부(210)는 전자 장치(200)가 다른 서버나 사용자 단말과 통신하기 위한 장치일 수 있다. 말하자면, 통신부(210)는 다른 서버나 사용자 단말에 대해 데이터 및/또는 정보를 전송/수신하는, 전자 장치(200)의 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.
제어부(220)는 전자 장치(200)의 구성 요소들을 관리할 수 있고, 전자 장치(200)가 사용하는 프로그램 또는 어플리케이션을 실행할 수 있다. 예컨대, 제어부(220)는 타겟 이미지(100)에 대해 깊이 정보를 획득하고, 동적 효과를 적용하기 위해 실행되는 프로그램 또는 어플리케이션을 실행할 수 있고, 다른 서버 및 사용자 단말로부터 수신된 데이터를 처리하도록 구성될 수 있다. 또한, 제어부(220)는 상기 프로그램 또는 어플리케이션의 실행 및 데이터의 처리 등에 필요한 연산을 처리할 수 있다. 제어부(220)는 전자 장치(200)의 적어도 하나의 프로세서 또는 프로세서 내의 적어도 하나의 코어(core)일 수 있다.
제어부(220)는 타겟 이미지(100)에 대해 깊이 정보를 획득하는 깊이 정보 획득부(222) 및 타겟 이미지(100)에 대해 동적 효과를 적용하는 동적 효과 적용부(224)를 포함할 수 있다.
깊이 정보 획득부(222)는 소정의 패턴 정보에 기반하여, 타겟 이미지(100)에 포함된 객체의 적어도 제1 부분 및 타겟 이미지(100)에서 타겟 이미지(100)에 포함된 객체를 제외한 영역 중 적어도 제2 부분 중 적어도 하나에 대한 깊이 정보를 획득할 수 있다. 소정의 패턴 정보는 이미지에 포함된 객체의 형상에 관한 제1 정보 및 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 제2 정보를 포함할 수 있다.
소정의 패턴 정보는 전자 장치(200)의 도시되지 않은 저장부 또는 데이터베이스에 기 저장되어 있는 정보이거나, 전자 장치(200)의 외부의 서버 또는 데이터베이스로부터 획득되는 정보일 수 있다.
예컨대, 전자 장치(200)는 패턴 정보를 저장하는 패턴 정보 데이터베이스(232)를 포함할 수 있다. 깊이 정보 획득부(222)는 패턴 정보 데이터베이스(232)로부터 패턴 정보를 획득할 수 있다.
동적 효과 적용부(224)는 획득된 깊이 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 동적 효과를 적용할 수 있다. 동적 효과 적용부(224)는 소정의 동적 효과 패턴 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용될 동적 효과를 결정할 수 있고, 결정된 동적 효과를 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용할 수 있다.
소정의 동적 효과 패턴 정보는 전자 장치(200)의 도시되지 않은 저장부 또는 데이터베이스에 기 저장되어 있는 정보이거나, 전자 장치(200)의 외부의 서버 또는 데이터베이스로부터 획득되는 정보일 수 있다.
예컨대, 전자 장치(200)는 동적 효과 패턴 정보를 저장하는 동적 효과 패턴 정보 데이터베이스(234)를 포함할 수 있다. 동적 효과 적용부(224)는 동적 효과 패턴 정보 데이터베이스(234)로부터 동적 효과 패턴 정보를 획득할 수 있다.
패턴 정보 데이터베이스(232) 및 동적 효과 패턴 정보 데이터베이스(234)는 각각 상이한 장치(또는 서버)에 포함될 수도 있고, 또는, 하나의 데이터베이스(230)에 의해 구축될 수도 있다.
제어부(220)의 구성들(222 및 224)의 더 구체적인 기능 및 동작에 대해서는, 후술될 도 3 내지 도 8을 참조하여 더 자세하게 설명한다. 전술된 제어부(220)의 구성들(222 및 224)은 적어도 하나의 프로세서 내에서 구현될 수 있는 바, 구성들(222 및 224)의 기능 및 동작은 적어도 하나의 프로세서에 의해 실행될 수 있다.
한편, 도시되지는 않았으나, 전자 장치(200)는 사용자가 입력한 데이터를 출력하거나, 동적 효과가 적용된(또는 적용되지 않은) 타겟 이미지(100)를 표시하기 위한 표시부를 더 포함할 수도 있다. 예컨대, 표시부는 터치 스크린을 포함할 수 있으며, 이 경우, 표시부는 사용자로부터의 설정 및 요청을 입력받기 위한 입력부의 기능을 포함하도록 구성될 수 있다.
도 1을 참조하여 전술된 기술적 특징에 대한 설명은, 도 2에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 3은 일 실시예에 따른, 타겟 이미지에 대해 깊이 정보를 획득하고 획득된 깊이 정보에 기반하여, 타겟 이미지에 대해 동적 효과를 적용하는 방법을 나타내는 흐름도이다.
도 3을 참조하여, 전술된 전자 장치(200)에 의해 수행되는 타겟 이미지(100)에 대한 깊이 정보 획득 방법 및 동적 효과 적용 방법에 대해 더 자세하게 설명한다.
단계(310)에서, 깊이 정보 획득부(222)는 소정의 패턴 정보에 기반하여, 타겟 이미지(100)의 적어도 일부에 대해 깊이 정보를 획득할 수 있다. 말하자면, 깊이 정보 획득부(222)는 소정의 패턴 정보에 기반하여, 타겟 이미지(100)에 포함된 객체의 적어도 제1 부분 및 타겟 이미지(100)에서 타겟 이미지(100)에 포함된 객체를 제외한 영역 중 적어도 제2 부분 중 적어도 하나에 대한 깊이 정보를 획득할 수 있다.
소정의 패턴 정보는 이미지에 포함된 객체의 형상에 관한 제1 정보 및 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 제2 정보를 포함할 수 있다.
제1 정보는 타겟 이미지(100)에 포함된 객체 및/또는 객체에 포함된 요소를 식별하기 위해 사용되는 정보를 포함할 수 있다. 예컨대, 제1 정보는 객체나 객체에 포함된 요소에 해당하는 특정한 사물(신체의 부위를 포괄함)의 형상에 관한 정보를 포함할 수 있다. 제2 정보는 타겟 이미지(100)에 포함된, 객체들 간의 상대적 위치, 객체에 포함된 요소들 간의 상대적 위치 및 객체에 포함된 요소와 다른 객체 간의 상대적 위치 중 적어도 하나를 결정하기 위해 사용되는 정보를 포함할 수 있다. 상대적 위치란 깊이 값의 비교에 기반한 정보로서, 특정 객체(또는 요소)가 다른 객체(또는 요소)보다 앞에 있는지 또는 뒤에 있는지나, 실질적으로 나란하게 있는지 여부를 나타내는 정보일 수 있다. 예컨대, 제2 정보는 특정한 사물들(신체의 부위들) 간의 관계에서 해당 사물들(부위들) 간의 알려진 상대적 위치에 관한 정보를 포함할 수 있다
소정의 패턴 정보에 기반하여 획득되는 깊이 정보는 타겟 이미지(100)에 포함된 객체 또는 타겟 이미지(100) 포함된 객체에 포함된 일 요소를 기준으로 한 깊이 값을 나타낼 수 있다. 상기 깊이 값은 상대적인 값일 수 있다. 예컨대, 깊이 값은 객체(또는 요소)가 다른 객체(또는 요소)보다 앞에 있는지 또는 뒤에 있는지나, 실질적으로 나란하게 있는지 여부를 비교할 수 있는 정도의 정밀도를 갖는 값일 수 있다. 즉, 깊이 정보는 타겟 이미지(100)에 포함된 객체들(또는 요소들) 간의 정확한 깊이 값의 차이에 대한 정보를 포함하지는 않을 수 있다.
예컨대, 깊이 정보 획득부(222)는 소정의 패턴 정보의 제1 정보를 사용하여 타겟 이미지(100)에 포함된 배경(110)(예컨대, 후측 벽, 산, 하늘 또는 바다)과, 배경이 아닌 객체(예컨대, 사람(120) 및 물체(140))를 인식할 수 있으며, 인식된 배경(110)과 사람(120) 및 물체(140)에 대해, 제2 정보를 사용하여, 배경(110)이 사람(120) 및 물체(140)보다 뒤에 있는 것임 식별하고, 이를 깊이 정보로서 획득할 수 있다.
깊이 정보 획득부(222)는, 소정의 패턴 정보를 사용하여, 타겟 이미지(100)의 복수의 포인트들에 대해 각각 깊이 정보를 획득할 수 있다. 여기서, 각각의 포인트는 전술한 제1 부분 또는 제2 부분에 대응될 수 있다. 말하자면, 깊이 정보 획득부(222)는 타겟 이미지(220)의 복수의 부분에 대해 상대적인 z축의 값 정보를 획득할 수 있다.
단계(320)에서, 동적 효과 적용부(224)는 단계(310)에서 획득된 깊이 정보에 기반하여, 타겟 이미지(100)의 적어도 일부에 대해 동적 효과를 적용할 수 있다. 즉, 동적 효과 적용부(224)는 획득된 깊이 정보에 기반하여, 전술된 제1 부분 및 전술된 제2 부분 중 적어도 하나에 동적 효과를 적용할 수 있다.
동적 효과는, 적용된 타겟 이미지(100)의 부분에 대해, 예컨대, 모션 효과, 색상 변경 효과 및 형상 변경 효과 중 적어도 하나가 발생되도록 하는 것일 수 있다. 모션 효과는, 일례로, 적용된 타겟 이미지(100)의 부분에 흔들림 효과, 회전 효과, 또는 기울임 효과가 발생되도록 하는 것일 수 있다.
모션 효과의 적용은, 예를 들면, 타겟 이미지(100) 특정 부분을 x축, y축 및 z축의 적어도 하나의 축을 기준으로 회전시키는 회전 동작 및/또는 상기 특정 부분을 상방, 하방, 좌방 및 우방 중 어느 하나의 방향으로 쉬프트(shift) 시키는 쉬프팅 동작을 타겟 이미지(100)의 상기 특정 부분에 적용시키는 것일 수 있다.
타겟 이미지(100)의 복수의 포인트들에 대해 각각 깊이 정보를 획득되는 경우에 있어서의, 타겟 이미지(100)에 대한 동적 효과의 적용 방법을 후술될 단계들(322 및 324)을 통해 설명한다. 도시된 것처럼 단계들(322 및 324)은 단계(320)에 포함될 수 있다.
단계(322)에서, 동적 효과 적용부(224)는, 단계(310)에서 획득된 깊이 값에 따라, 타겟 이미지(100)의 제1 일부에 대해서는 제1 동적 효과를 적용될 수 있다. 예컨대, 동적 효과 적용부(224)는 복수의 포인트들 중 측정된 깊이 값이 소정의 값 이상인 포인트에 대해 제1 동적 효과를 적용할 수 있다. 상기 소정의 값은 상대적인 위치에 대응하는 상대적인 값으로서 기준이 되는 객체 또는 객체에 포함된 요소의 상대적인 위치에 대응하는 값을 나타낼 수 있다.
단계(324)에서, 동적 효과 적용부(224)는, 단계(310)에서 획득된 깊이 값에 따라, 타겟 이미지(100)의 제1 일부와는 다른 일부에 대해서는 제2 동적 효과를 적용될 수 있다. 예컨대, 동적 효과 적용부(224)는 복수의 포인트들 중 측정된 깊이 값이 소정의 값 미만인 포인트에 대해 제2 동적 효과를 적용할 수 있다.
말하자면, 타겟 이미지(100)의 복수의 포인트들에 대해 획득된 깊이 정보가 나타내는 깊이 값에 따라, 타겟 이미지(100)의 복수의 포인트들 중 적어도 2개의 포인트들의 각각에 대해서는 서로 상이한 동적 효과가 적용될 수 있다.
상기 제1 동적 효과 및 상기 제2 동적 효과는, 타겟 이미지(100)의 적용된 포인트와 연관된 객체 또는 연관된 객체에 포함된 요소에 대해 모션 효과가 발생되도록 할 수 있다. 제1 동적 효과가 적용될 때에는, 제2 동적 효과가 적용될 때보다 상기 연관된 객체 또는 상기 연관된 객체에 포함된 요소에 대해 더 큰 모션 효과가 발생될 수 있다.
예컨대, 동적 효과 적용부(224)는 측정된 깊이 값이 소정의 값 이상인 포인트에 대해서는 더 큰 흔들림을 발생시키는 모션 효과를 적용할 수 있고, 측정된 깊이 값이 소정의 값 미만인 포인트에 대해서는 더 작은 흔들림을 발생시키는 모션 효과를 적용할 수 있다. 이로서, 동적 효과가 부가된 타겟 이미지(100)는 앞에 있는 객체는 더 적게 흔들리고, 뒤에 있는 객체는 더 크게 흔들리는 입체적 효과를 나타낼 수 있다.
또는, 제1 동적 효과는 배경(110)에 대해 적용되는 것으로서, x축, y축 및 z축 중 적어도 하나를 기준으로 한 배경(110)의 회전, 또는 배경(110)의 쉬프트일 수 있고, 제2 동적 효과는 배경(110)이 아닌 사물들(120 및 140)에 대해 적용되는 것으로서, 필터 효과, 강조 효과(내부 및/또는 윤곽선 강조)일 수도 있다.
단계(330)에서, 동적 효과 적용부(224)는 동적 효과가 적용된 타겟 이미지(100)를 소기의 콘텐츠로서 생성할 수 있다. 예컨대, 동적 효과 적용부(224)는 동적 효과가 적용되지 않은 타겟 이미지(100)와 동적 효과가 적용된 타겟 이미지(100)(또는, 타겟 이미지(100)의 동적 효과가 적용된 부분)를 합성함으로써 소기의 콘텐츠를 생성할 수 있다.
타겟 이미지(100)에 대한 깊이 정보 획득 방법 및 동적 효과 적용 방법의 더 구체적인 실시예에 대해서는 후술될 도 4 내지 도 8을 참조하여 더 자세하게 설명한다.
도 1 및 도 2를 참조하여 전술된 기술적 특징에 대한 설명은, 도 3에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 4는 일 예에 따른, 동적 효과 패턴 정보를 결정하고, 동적 효과 패턴 정보에 따라 결정된 동적 효과를 타겟 이미지에 적용하는 방법을 나타내는 흐름도이다.
도 3을 참조하여 전술된 단계(310)에서, 제어부(220)(혹은, 깊이 정보 획득부(222) 또는 동적 효과 적용부(224))는 패턴 정보에 기반하여 타겟 이미지(100)에 포함된 객체(객체에 포함된 요소를 포함) 및/또는 해당 객체를 제외한 영역에 대한 정보를 획득할 수 있다(단계(410)). 예컨대, 제어부(220)는 패턴 정보에 기반하여 타겟 이미지(100)에 포함된 객체가 무엇인지를 식별할 수 있다.
후술될 단계들(420 내지 440)를 통해, 식별된 객체나, 타겟 이미지(100)에서 해당 객체를 제외한 영역에 대해 적합한 동적 효과가 결정되고 적용될 수 있다.
단계(420)에서, 동적 효과 적용부(224)는 단계(410)에서 획득된 정보에 기반하여, 타겟 이미지(100)에 대해 적용될 동적 효과를 결정하기 위한 소정의 동적 효과 패턴 정보를 결정할 수 있다. 말하자면, 동적 효과 적용부(224)는 전술된 (깊이 정보를 획득하기 위한) 패턴 정보에 포함된 제1 정보 및 제2 정보에 기반하여 식별된 타겟 이미지(100)에 포함된 객체 및 해당 객체를 제외한 영역 중 적어도 하나에 대한 정보에 기반하여, 소정의 동적 효과 패턴 정보를 결정할 수 있다. 소정의 동적 효과 패턴 정보의 결정은, 사용자에 의한 입력 또는 선택에 더 기반할 수 있다. 예컨대, 식별된 타겟 이미지(100)의 객체와 관련하여, 해당 객체에 적용 가능한 복수의 동적 효과들의 각각(또는 몇몇)이 동적 효과 패턴 정보에 대응할 경우, 동적 효과 적용부(224)는 복수의 동적 효과들에 대응하는 동적 효과 패턴 정보를 식별할 수 있고, 사용자의 선택에 따라, 사용자가 선택한 동적 효과에 대응하는 동적 효과 패턴 정보를 결정할 수 있다.
동적 효과 패턴 정보는, 단계(410)에서 식별된 타겟 이미지(100)에 포함된 객체가 무엇인지에 따라, 해당 객체에의 적용에 적합한 동적 효과에 관한 정보를 포함할 수 있다. 예컨대, 단계(410)에서 식별된 타겟 이미지(100)에 포함된 객체가 배경(110)(예컨대, 하늘, 벽, 산 또는 바다)일 경우, 배경(110)에 대해 적용하기에 적합한 동적 효과에 관한 정보를 포함하는 동적 효과 패턴 정보가 결정될 수 있다. 또는, 식별된 타겟 이미지(100)에 포함된 객체가 얼굴(130)일 경우 얼굴의 복수의 표정들에 대응하는 동적 효과들을 얼굴(130)에 적용하기 위한, 복수의 표정들에 대응하는 동적 효과 패턴 정보가 결정될 수 있다. 이 경우, 사용자에 의해 하나의 표정에 대응하는 동적 효과 패턴 정보가 선택될 수 있다.
단계(430)에서, 동적 효과 적용부(224)는 단계(420)에서 결정된 소정의 동적 효과 패턴 정보에 기반하여, 단계(320)을 참조하여 전술된 타겟 이미지(100)의 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용될 동적 효과를 결정할 수 있다.
단계(440)에서, 동적 효과 적용부(224)는 단계(430)에서 결정된 동적 효과를 타겟 이미지(100)의 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용할 수 있다. 예컨대, 동적 효과 패턴 정보가 배경에 대해서는 좌우 흔들림의 동적 효과를 적용하는 것을 나타내고, 배경이 아닌 나머지 객체에 대해서는 상하 흔들림 효과를 적용하는 것을 나타낼 경우, 동적 효과 적용부(224)는, 타겟 이미지(100)의 배경(110) 및 객체들(120 내지 140)에 대해, 결정된 동적 효과 패턴 정보가 나타내는 바에 따른 동적 효과를 적용할 수 있다.
한편, 타겟 이미지(100)에 포함된 얼굴(130)에 대해, 단계들(420 내지 440)에서 설명한 동적 효과 적용 방법을 적용하는 실시예에 대해서는 후술될 도 5를 참조하여 더 자세하게 설명한다.
도 1 내지 도 3을 참조하여 전술된 기술적 특징에 대한 설명은, 도 4에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 5는 일 예에 따른, 타겟 이미지의 얼굴/기타 영역에 대해 표정 패턴 정보를 결정하고, 결정된 표정 패턴 정보에 따라 결정된 모션 효과를 타겟 이미지의 얼굴/기타 영역에 적용하는 방법을 나타내는 흐름도이다.
후술될 단계들(420' 내지 440')의 각각은 도 4를 참조하여 전술된 단계들(420 내지 440)의 각각에 대응할 수 있다. 단계들(420 내지 440)에서 설명한 동적 효과 패턴 정보는 후술될 표정 패턴 정보에 대응할 수 있다.
도 3을 참조하여 전술한 바와 같이, 깊이 정보를 획득하기 위한 패턴 정보의 제1 정보는 타겟 이미지(100)에 포함된 특정 객체를 식별하고, 특정 객체에 포함된 적어도 하나의 요소의 형상을 식별하기 위한 정보를 포함할 수 있다. 또한, 패턴 정보의 제2 정보는 상기 특정 객체에 포함된 적어도 2개의 요소들 간의 상대적 위치를 결정하기 위한 정보를 포함할 수 있다.
도 5에서는, 특정 객체가 사람의 얼굴이고, 특정 객체에 포함된 적어도 하나의 요소가, 얼굴에 포함된 부위로서, 눈, 코, 입 또는 귀를 나타내는 경우를 예시로서 설명한다.
전술된 단계(410)에서, 패턴 정보에 기반하여, 타겟 이미지(100)에 포함된 얼굴(130) 및 얼굴의 부위가 식별되었다.
단계(420')에서, 동적 효과 적용부(224)는 타겟 이미지(100)의 얼굴(130)/ 기타 영역에 적용할 제1/ 제2 표정 패턴 정보를 결정할 수 있다. 동적 효과 적용부(224)는 얼굴(130)에 대해 적용할 동적 효과에 대응하는 제1 표정 패턴 정보를 결정할 수 있다. 상기 기타 영역은 타겟 이미지(100)에서 얼굴(130)을 제외한 부분 또는 타겟 이미지(130)의 전체의 영역을 나타낼 수 있다. 동적 효과 적용부(224)는 상기 기타 영역에 대해 적용할 동적 효과에 대응하는 제2 표정 패턴 정보를 결정할 수 있다.
단계(430')에서, 동적 효과 적용부(224)는 결정된 제1/ 제2 표정 패턴 정보에 기반하여, 해당 영역에 적용할 모션 효과를 결정할 수 있다.
단계(440')에서, 동적 효과 결정부(224)는 단계(430')에서 결정된 모션 효과를 해당하는 타겟 이미지(100)의 영역에 적용할 수 있다.
즉, 동적 효과 적용부(224)는, 결정된 제1 표정 패턴 정보에 기반하여, 얼굴(130) 또는 얼굴(130)에 포함된 부위의 부위에 적용할 모션 효과를 결정하여 적용할 수 있고, 결정된 제2 표정 패턴 정보에 기반하여, 상기 기타 영역에 적용할 모션 효과를 결정하여 적용할 수 있다.
제1 표정 패턴 정보는 단계(410)에서 식별된 얼굴(130)에 대해 적용 가능한 사전 정의된 표정에 관한 정보일 수 있다. 예컨대, 제1 표정 패턴 정보는 예컨대, 웃는 표정 패턴, 화난 표정 패턴, 멍한 표정 패턴, 슬픈 표정 패턴 또는 우는 표정 패턴일 수 있다. 동적 효과 결정부(224)는 상기 예시된 표정 패턴을 사용자에게 제시할 수 있고, 사용자의 선택에 따라 선택된 표정 패턴을, 얼굴(130)에 대해 적용될 모션 효과에 대응하는 제1 표정 패턴 정보로서 결정할 수 있다.
동적 효과 결정부(224)는 결정된 제1 표정 패턴 정보에 따라, 얼굴(130)의 눈, 코, 입 및 귀 중 적어도 하나에 대해 크기, 형상 및 색상을 변경함으로써 얼굴(130)에 대해 모션 효과를 적용할 수 있다.
제2 표정 패턴 정보는 단계(410)에서 식별된 얼굴(130)을 제외한 부분 또는 타겟 이미지(100)의 전체(즉, 전술한 기타 영역)에 대해 적용 가능한 사전 정의된 동적 효과에 관한 정보일 수 있다. 예컨대, 제2 표정 패턴 정보는 예컨대, 웃는 표정 패턴, 화난 표정 패턴, 멍한 표정 패턴, 슬픈 표정 패턴 또는 우는 표정 패턴일 수 있다. 동적 효과 결정부(224)는 상기 예시된 표정 패턴을 사용자에게 제시할 수 있고, 사용자의 선택에 따라 선택된 표정 패턴을, 상기 기타 영역에 대해 적용될 모션 효과에 대응하는 제2 표정 패턴 정보로서 결정할 수 있다. 또는, 사용자에 의한 제1 표정 패턴이 선택에 따라, 제2 표정 패턴 정보는 자동으로 결정될 수도 있다.
제2 표정 패턴 정보에 따른 모션 효과의 적용은, 예컨대, 소정의 시간 동안 타겟 이미지(100)의 기준 위치에 대해 상기 기타 영역을 회전 또는 쉬프트시키는 것일 수 있다. 일례로, 웃는 표정 패턴은 상기 기타 영역에 대해 상하(y축) 또는 좌우(x축) 방향으로의 기울임 효과 또는 회전 효과를 발생시키는 것을 나타낼 수 있고, 화난 표정 패턴은 타겟 이미지(100)의 전체에 대해 상하 또는 좌우 방향으로 흔들림 효과를 발생시키는 것을 나타낼 수 있다. 멍한 표정 패턴은 상기 기타 영역에 대해 상, 하, 좌, 우, 방향으로 번갈아 가면서 기울임 효과 또는 회전 효과를 발생시키는 것을 나타낼 수 있다.
도 1 내지 도 4를 참조하여 전술된 기술적 특징에 대한 설명은, 도 5에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 6은 일 예에 따른, 이미지에 포함된 객체에 대해, 객체의 윤곽 및/또는 그림자를 사용하여, 해당 객체의 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.
도 6을 통해, 도 3을 참조하여 전술된 단계(310)에서 설명된 패턴 정보에 기반하여 타겟 이미지(100)에 대한 깊이 정보를 획득하는 방법을 더 자세하게 설명한다.
깊이 정보를 획득하기 위해 사용되는 패턴 정보가 포함하는 전술된 제1 정보는 타겟 이미지(100)에 포함된 특정 객체의 그림자를 식별하기 위한 정보 또는 특정 객체의 윤곽을 식별하기 위한 정보를 포함할 수 있다. 또한, 패턴 정보가 포함하는 전술된 제2 정보는 상기 그림자의 방향, 형상 및 크기 중 적어도 하나 에 기반하여, 또는 상기 윤곽과 다른 객체의 윤곽과의 관계에 기반하여, 타겟 이미지(100)에 포함된 상기 특정 객체와 다른 객체 간의 상대적인 위치를 깊이 정보로서 결정하기 위한 정보를 포함할 수 있다.
1-1. 먼저, 패턴 정보의 제1 정보를 사용하여, 타겟 이미지(100)에 포함된 특정 객체의 그림자를 식별하고, 패턴 정보의 제2 정보를 사용하여 상기 특정 객체와 다른 객체의 상대적인 위치를 결정함으로써, 특정 객체의 깊이 정보를 획득하는 방법에 대해 설명한다.
깊이 정보 획득부(222)는 패턴 정보의 제1 정보를 사용하여, 제1 물체(140)의 제1 그림자(610-1)과 제2 물체(150)의 제2 그림자(610-2)를 식별할 수 있다. 깊이 정보 획득부(222)는 패턴 정보의 제2 정보를 사용하여, 식별된 제1 그림자(610-1) 및 제2 그림자(610-2)의 형상 및/또는 크기를 비교함으로써 제1 물체(140)와 제2 물체(150) 간의 상대적인 위치를 결정할 수 있다. 예컨대, 1) 깊이 정보 획득부(222)는 제1 그림자(610-1) 및 제2 그림자(610-2) 중 크기가 큰 그림자에 대응하는 물체를 더 앞에 있는 물체로서 식별할 수 있다. 또는, 2) 깊이 정보 획득부(222)는 제1 그림자(610-1) 및 제2 그림자(610-2)의 형상을 비교하여, 그림자의 일부가 후측 벽면(110-4)에 겹쳐지는 형상을 갖는 그림자에 대응하는 물체를 더 뒤에 있는 물체로서 식별할 수 있다. 또는, 깊이 정보 획득부(222)는 1) 및 2)를 조합하여 물체들 간의 상대적인 위치를 결정할 수도 있다. 도시된 예시에서는, 제1 물체(140)가 제2 물체(150)보다 더 앞에 있는 것으로 결정되었다(즉, 후측 벽면(110-4)을 기준으로 한 깊이 값 z'의 값이 z'''보다 더 큰 것으로 판정됨).
1-2. 다음으로, 패턴 정보의 제1 정보를 사용하여, 타겟 이미지(100)에 포함된 특정 객체의 그림자를 식별하고, 패턴 정보의 제2 정보를 사용하여 상기 특정 객체와 다른 객체의 상대적인 위치를 결정함으로써, 특정 객체의 깊이 정보를 획득하는 다른 방법에 대해 설명한다.
깊이 정보 획득부(222)는 깊이 정보 획득부(222)는 식별된 제1 그림자(610-1)와 타겟 이미지(100)의 기준선(예컨대, 수평선)이 이루는 각도(k2) 및 제2 그림자(610-2)와 타겟 이미지(100)의 기준선이 이루는 각도(k1)를 결정할 수 있고, k1 및 k2의 크기를 비교할 수 있다. 깊이 정보 획득부(222)는 (패턴 정보에 포함된 제2 정보를 사용하여) 크기가 큰 각도에 해당하는 그림자에 대응하는 객체(도시된 예시에서는 물체(150))가 더 뒤에 있는 물체인 것으로 결정할 수 있다. 즉, 도시된 예시에서는 벽면(110-4)을 기준으로 한 깊이 값 z'의 값이 z''보다 더 큰 것으로 판정될 수 있다.
1-1 및 1-2의 방법에 있어서, 깊이 정보 획득부(222)는 물체들의 깊이 정보를 획득하기에 앞서, 광원(600)의 방향(광원(600)이 위치하는 방향) 또는 위치를 먼저 결정할 수 있다. 광원의 위치는 식별된 제1 그림자(610-1) 및 제2 그림자(610-2)의 방향에 따라 결정될 수 있다. 예컨대, 깊이 정보 획득부(222)는 그림자(610-1 또는 610-2)와 타겟 이미지(100)의 기준선(예컨대, 수평선)이 이루는 각도(k1 또는 k2)에 기반하여, 각도(k1 또는 k2)를 형성하는 기준선이 아닌 직선이 연장하는 방향을 광원(600)이 위치하는 방향으로서 결정할 수 있다. 또한, 깊이 정보 획득부(222)는 각도(k1)를 형성하는 기준선이 아닌 직선과 각도(k2)를 형성하는 기준선이 아닌 직선이 만나는 위치를 광원(600)의 위치로서 결정할 수 있다. 광원(600)은 타겟 이미지(100) 내에 포함되거나 포함되지 않을 수 있다.
결정된 광원(600)의 방향 또는 위치에 따라, 깊이 정보 획득부(222)는 물체들(140 및 150)의 깊이를 상이한 방식으로 판단할 수 있다. 예컨대, 광원(600)이 도시된 경우와는 달리 광원이 후측 벽면(110-4)의 우측 하단에 위치된 경우로 결정된 경우에는, 깊이 정보 획득부(222)는 1-1의 방법에서, 그림자의 크기가 큰 물체를 뒤에 있는 것으로 결정할 수 있다. 또한, 깊이 정보 획득부(222)는 1-2의 방법에서, 기준선과 그림자가 이루는 각도가 큰 물체를 앞에 있는 것으로 결정할 수 있다.
즉, 깊이 정보 획득부(222)는 결정된 광원(600)의 위치 또는 방향에 따른 그림자의 형상, 크기 및 방향의 변화를 종합적으로 고려함으로써 타겟 이미지(100)에 포함된 객체들의 깊이 정보를 획득할 수 있다.
깊이 정보 획득부(222)가 그림자의 형상 및 크기를 식별하는 방법에 대해서는, 이미지에서 그림자를 인식하는 여하한 기술이 적용될 수 있으므로 자세한 설명을 생략한다. 예컨대, 깊이 정보 획득부(222)는 타겟 이미지(100)에서 일정한 방향으로 늘어져 있는 검은색 영역을 식별함으로써 타겟 이미지(100)에 포함된 객체의 그림자를 식별할 수 있다.
2. 다음으로, 패턴 정보의 제1 정보를 사용하여, 타겟 이미지(100)에 포함된 특정 객체의 윤곽과 다른 객체의 윤곽을 식별하고, 패턴 정보의 제2 정보를 사용하여, 상기 특정 객체와 다른 객체 간의 상대적인 위치를 결정함으로써, 특정 객체의 깊이 정보를 획득하는 방법에 대해 설명한다.
깊이 정보 획득부(222)는 패턴 정보의 제1 정보를 사용하여, 제1 물체(140)의 윤곽(620)과 제3 물체(160)의 윤곽을 식별할 수 있다. 객체의 윤곽은 객체의 모서리 및 둘레를 포함하는 외측 경계부를 의미할 수 있다.
예컨대, 깊이 정보 획득부(222)는 제1 물체(140)의 윤곽(620)과 제3 물체(160)의 윤곽을 파악함으로써, 제1 물체(140)와 제3 물체(160)의 형상을 식별할 수 있다. 깊이 정보 획득부(222)는, 패턴 정보의 제2 정보를 사용하여, 구의 형상을 갖는 것으로 파악된 제3 물체(160)의 윤곽의 적어도 일부가 제1 물체(140)에 의해 가려졌음을 식별할 수 있고, 제3 물체(160)를 제1 물체(140)의 뒤에 있는 것으로 결정할 수 있다(즉, 후측 벽면(110-4)을 기준으로 한 깊이 값 z'의 값이 z'''보다 더 큰 것으로 판정됨).
깊이 정보 획득부(222)가 객체의 윤곽을 식별하는 방법에 대해서는, 이미지 내의 객체를 식별하는 여하한 기술이 적용될 수 있으므로 자세한 설명을 생략한다.
깊이 정보 획득부(222)는 전술된 1-1 또는 1-2 및 2를 조합하여 물체들(140 내지 160) 간의 상대적인 위치를 결정할 수도 있다.
한편, 깊이 정보 획득부(222)는 배경(110)을 구성하는 요소들(천정(110-1), 좌측 벽(110-2), 우측 벽(110-3), 후측 벽(110-4) 및 바닥(110-5))을 식별할 수 있고, 이 중 후측 벽(110-4)을 타겟 이미지(100)에 포함된 객체 중 가장 뒤에 있는 것으로서 결정할 수 있다.
동적 효과 적용부(224)는 전술된 방법에 따라 획득된 타겟 이미지(100)의 깊이 정보에 기반하여, 타겟 이미지(100)에 대해 동적 효과를 적용할 수 있다.
도 1 내지 도 5를 참조하여 전술된 기술적 특징에 대한 설명은, 도 6에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 7는 일 예에 따른, 이미지에 포함된 얼굴을 식별하고 얼굴에 포함된 부위에 대한 깊이 정보를 획득하고, 얼굴에 대해 동적 효과를 적용하는 방법을 나타낸다.
도 7을 통해, 도 5를 참조하여 설명된 얼굴에 대한 동적 효과 적용 방법을 더 자세하게 설명한다.
깊이 정보 획득부(222)는, 패턴 정보를 사용하여, 신체(120) 및 얼굴(130)이 배경(110)보다 더 앞에 있음을 나타내는 깊이 정보(z**에 대응)를 획득할 수 있다. 또한, 깊이 정보 획득부(222)는, 패턴 정보를 사용하여, 얼굴(130)에 포함된 요소들(130-1 내지 130-4)을 식별할 수 있고, 특정 요소(130-1)를 기준으로 한 다른 요소들의 깊이 정보(z*에 대응)를 획득할 수 있다.
예컨대, 도시된 예시와 같이, 깊이 정보 획득부(222)는, 패턴 정보의 제1 정보 및 제2 정보를 사용하여, 눈(130-2), 코(130-1), 입(130-3) 및 귀(130-4)를 식별할 수 있고, 얼굴(130)이 정면을 향하고 있음을 식별할 수 있으며, 이 때에는 코(130-1)가 가장 앞에 있게 됨을 파악할 수 있다. 깊이 정보 획득부(222)는 코(130-1)를 기준으로 나머지 요소들(130-2 내지 130-4)이 뒤에 있는 것으로 결정할 수 있다
동적 효과 적용부(224)는 전술된 방법에 따라 획득된 얼굴(130)의 요소들(130-1 내지 130-4)에 기반하여, 얼굴에 대해 적용되어야 하는 동적 효과에 대응하는 동적 효과 패턴 정보를 결정할 수 있다. 동적 효과 적용부(224)는 사용자에게 얼굴에 대해 적용되어야 하는 동적 효과에 대응하는 동적 효과 패턴 정보로서, 복수의 표정(표정 패턴 정보)을 제시할 수 있으며, 사용자의 선택에 따라 선택된 표정 패턴 정보에 해당하는 동적 효과를 얼굴(130)을 포함하는 타겟 이미지(100)에 대해 적용할 수 있다.
예컨대, 화난 표정을 나타내는 표정 패턴 정보가 사용자에 의해 선택되면, 동적 효과 적용부(224)는 눈(130-2)의 형상을 날카롭게 변경시키거나, 색상을 붉은색 계통으로 변경시킬 수 있고, 얼굴(130)을 제외한 타겟 이미지(100)의 부분 또는 전체 타겟 이미지(100)의 부분에 흔들림 효과를 적용할 수 있다.
상기와 같은, 동적 효과의 적용에 의해 사용자는 타겟 이미지(100)를 동영상과 유사한 동적인 콘텐츠로서 인식할 수 있다.
도 1 내지 도 6을 참조하여 전술된 기술적 특징에 대한 설명은, 도 7에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 8은 일 예에 따른, 이미지에 포함된 객체로서의 배경에 대해, 동적 효과를 적용하는 방법을 나타낸다.
도 8을 참조하여, 예시적인 타겟 이미지(100)에 대한 동적 효과의 적용 방법에 대해 설명한다.
동적 효과 적용부(224)는 도시된 동적 효과가 적용된 타겟 이미지들(810-1 내지 810-4)를 합성함으로써, 사용자에게 동영상과 유사하게 인식될 수 있는 소기의 콘텐츠를 생성할 수 있다.
말하자면, 동적 효과 적용부(224)는, 도시된 제1 내지 제4 타겟 이미지(810-1 내지 810-4)와 같이, 배경에 해당하는 부분에 대해 배경을 변경하는 동적 효과(기울임, 회전 또는 쉬프트)를 적용하고, 제1 내지 제4 타겟 이미지(810-1 내지 810-4)를 합성함으로써, 적용된 동적 효과가 반복적으로 재생되도록 구성되는 소기의 콘텐츠를 생성할 수 있다. 예를 들어, 제1 내지 제4 타겟 이미지(810-1 내지 810-4)는 각각의 프레임으로서 처리될 수 있다.
도시된 예시에서는, 배경에 해당하는 부분에 대해서만 동적 효과가 적용되는 경우 만을 설명하였으나, 전술한 바와 같이, 배경이 아닌 부분에 대해서도 유사하게 동적 효과를 적용할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에서 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
발명의 실시를 위한 형태
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 이미지에 포함된 객체의 형상에 관한 제1 정보 및 상기 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 제2 정보를 포함하는 소정의 패턴 정보에 기반하여, 타겟 이미지에 포함된 객체의 적어도 제1 부분 및 상기 타겟 이미지에서 상기 타겟 이미지에 포함된 객체를 제외한 영역 중 적어도 제2 부분 중 적어도 하나에 대한 깊이 정보를 획득하는 단계; 및
    상기 획득된 깊이 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 동적 효과를 적용하는 단계
    를 포함하고,
    상기 제1 정보는 상기 타겟 이미지에 포함된 특정 객체를 식별하고, 상기 특정 객체에 포함된 적어도 하나의 요소의 형상을 식별하기 위한 정보를 포함하고,
    상기 제2 정보는 상기 특정 객체 또는 상기 요소와 상기 타겟 이미지 내의 다른 객체 또는 다른 요소와의 상대적인 위치를 상기 깊이 정보로 결정하기 위한 정보로서, 사물들에 대한 미리 결정된 상대적인 위치들에 관한 정보를 포함하는, 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 깊이 정보를 획득하는 단계는,
    상기 타겟 이미지의 복수의 포인트들에 대해 각각 깊이 정보를 획득하고, 상기 포인트들의 각각은 상기 제1 부분 또는 상기 제2 부분에 대응하고,
    상기 동적 효과를 부여하는 단계는,
    상기 복수의 포인트들에 대해 획득된 깊이 정보가 나타내는 깊이 값에 따라, 상기 포인트들 중 적어도 2개의 포인트들의 각각에 대해 서로 상이한 동적 효과를 적용하는, 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 동적 효과를 부여하는 단계는,
    상기 포인트들 중 깊이 값이 소정의 값 이상인 포인트에 대해 제1 동적 효과를 적용하는 단계; 및
    상기 포인트들 중 깊이 값이 소정의 값 미만인 포인트에 대해 제2 동적 효과를 적용하는 단계
    를 포함하는, 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 제1 동적 효과 및 상기 제2 동적 효과는 적용된 포인트와 연관된 객체 또는 상기 연관된 객체에 포함된 요소에 대해 모션 효과가 발생되도록 하고,
    상기 제1 동적 효과가 적용될 때, 상기 제2 동적 효과가 적용될 때보다 상기 연관된 객체 또는 상기 연관된 객체에 포함된 요소에 대해 더 큰 모션 효과를 발생시키는, 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 타겟 이미지에 포함된 상기 특정 객체는 배경, 상기 배경을 구성하는 사물 또는 상기 타겟 이미지에서 상기 배경을 제외한 사물인, 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 깊이 정보는 상기 타겟 이미지에 포함된 상기 특정 객체 또는 상기 특정 객체에 포함된 일 요소를 기준으로 한 상대적인 깊이 값을 나타내는, 이미지 처리 방법.
  7. 제1항에 있어서,
    상기 동적 효과는, 적용된 상기 타겟 이미지의 부분에 대해 모션 효과, 색상 변경 효과 및 형상 변경 효과 중 적어도 하나가 발생되도록 하는, 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 모션 효과는, 적용된 상기 타겟 이미지의 부분에 흔들림 효과, 회전 효과, 또는 기울임 효과가 발생되도록 하는, 이미지 처리 방법.
  9. 이미지에 포함된 객체의 형상에 관한 제1 정보 및 상기 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 제2 정보를 포함하는 소정의 패턴 정보에 기반하여, 타겟 이미지에 포함된 객체의 적어도 제1 부분 및 상기 타겟 이미지에서 상기 타겟 이미지에 포함된 객체를 제외한 영역 중 적어도 제2 부분 중 적어도 하나에 대한 깊이 정보를 획득하는 단계; 및
    상기 획득된 깊이 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 동적 효과를 적용하는 단계
    를 포함하고,
    상기 제1 정보는 상기 타겟 이미지에 포함된 특정 객체의 그림자를 식별하기 위한 정보를 포함하고,
    상기 제2 정보는 상기 그림자의 방향, 형상 및 크기 중 적어도 하나에 기반하여 상기 타겟 이미지에 포함된 상기 특정 객체와 상기 타겟 이미지 내의 다른 객체 간의 상대적인 위치를 상기 깊이 정보로서 결정하기 위한 정보를 포함하는, 이미지 처리 방법.
  10. 제1항에 있어서,
    상기 동적 효과를 적용하는 단계는,
    소정의 동적 효과 패턴 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용될 동적 효과를 결정하는 단계; 및
    상기 결정된 동적 효과를 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용하는 단계
    를 포함하는, 이미지 처리 방법.
  11. 제10항에 있어서,
    상기 동적 효과를 적용하는 단계는,
    상기 제1 정보 및 제2 정보에 기반하여 식별된 상기 타겟 이미지에 포함된 상기 특정 객체 및 상기 특정 객체를 제외한 영역 중 적어도 하나에 대한 정보에 기반하여, 상기 소정의 동적 효과 패턴 정보를 결정하는 단계
    를 더 포함하는, 이미지 처리 방법.
  12. 삭제
  13. 제1항에 있어서,
    상기 특정 객체는 사람의 얼굴이고,
    상기 특정 객체에 포함된 적어도 하나의 요소는, 상기 얼굴에 포함된 부위로서, 눈, 코, 입 또는 귀인, 이미지 처리 방법.
  14. 제13항에 있어서,
    상기 동적 효과를 적용하는 단계는,
    상기 얼굴에 대해 적용할 동적 효과에 대응하는 제1 표정 패턴 정보를 결정하는 단계; 및
    상기 결정된 제1 표정 패턴 정보에 기반하여, 상기 얼굴 또는 상기 얼굴에 포함된 부위에 모션 효과를 적용하는 단계
    를 포함하는, 이미지 처리 방법.
  15. 제13항에 있어서,
    상기 동적 효과를 적용하는 단계는,
    상기 타겟 이미지에서 상기 얼굴을 제외한 부분 또는 상기 타겟 이미지 전체에 대해 적용할 동적 효과에 대응하는 제2 표정 패턴 정보를 결정하는 단계; 및
    상기 결정된 제2 표정 패턴 정보에 기반하여, 상기 얼굴을 제외한 부분 또는 상기 전체에 모션 효과를 적용하는 단계
    를 포함하는, 이미지 처리 방법.
  16. 제1항 내지 제11항 및 제13항 내지 제15항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  17. 이미지에 포함된 객체의 형상에 관한 제1 정보 및 상기 이미지에 포함된 적어도 2개의 객체들 간의 상대적인 위치에 관한 제2 정보를 포함하는 소정의 패턴 정보에 기반하여, 타겟 이미지에 포함된 객체의 적어도 제1 부분 및 상기 타겟 이미지에서 상기 타겟 이미지에 포함된 객체를 제외한 영역 중 적어도 제2 부분 중 적어도 하나에 대한 깊이 정보를 획득하는 깊이 정보 획득부; 및
    상기 획득된 깊이 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 동적 효과를 적용하는 동적 효과 적용부
    를 포함하고,
    상기 제1 정보는 상기 타겟 이미지에 포함된 특정 객체를 식별하고, 상기 특정 객체에 포함된 적어도 하나의 요소의 형상을 식별하기 위한 정보를 포함하고,
    상기 제2 정보는 상기 특정 객체 또는 상기 요소와 상기 타겟 이미지 내의 다른 객체 또는 다른 요소와의 상대적인 위치를 상기 깊이 정보로 결정하기 위한 정보로서, 사물들에 대한 미리 결정된 상대적인 위치들에 관한 정보를 포함하는, 이미지 처리 장치.
  18. 제17항에 있어서,
    상기 패턴 정보를 저장하는 제1 데이터베이스를 더 포함하고,
    상기 깊이 정보 획득부는 상기 제1 데이터베이스로부터 상기 패턴 정보를 획득하는, 이미지 처리 장치.
  19. 제17항에 있어서,
    상기 동적 효과 적용부는 소정의 동적 효과 패턴 정보에 기반하여, 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용될 동적 효과를 결정하고, 상기 결정된 동적 효과를 상기 제1 부분 및 상기 제2 부분 중 적어도 하나에 적용하는, 이미지 처리 장치.
  20. 제19항에 있어서,
    상기 동적 효과 패턴 정보를 저장하는 제2 데이터베이스를 더 포함하고,
    상기 동적 효과 적용부는 상기 제2 데이터베이스로부터 상기 동적 효과 패턴 정보를 획득하는, 이미지 처리 장치.
KR1020197030223A 2017-03-30 2017-03-30 이미지에 동적 효과를 적용하는 방법 및 장치 KR102228919B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/003466 WO2018182066A1 (ko) 2017-03-30 2017-03-30 이미지에 동적 효과를 적용하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190122859A KR20190122859A (ko) 2019-10-30
KR102228919B1 true KR102228919B1 (ko) 2021-03-18

Family

ID=63678264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197030223A KR102228919B1 (ko) 2017-03-30 2017-03-30 이미지에 동적 효과를 적용하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11176678B2 (ko)
JP (1) JP6859452B2 (ko)
KR (1) KR102228919B1 (ko)
CN (1) CN110520902B (ko)
WO (1) WO2018182066A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882567A (zh) * 2020-08-03 2020-11-03 深圳传音控股股份有限公司 Ar效果的处理方法、电子设备及可读存储介质
CN112184722B (zh) * 2020-09-15 2024-05-03 上海传英信息技术有限公司 图像处理方法、终端及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101075720B1 (ko) * 2005-07-08 2011-10-21 삼성전자주식회사 휴대단말기의 이미지편집 방법
US20150117777A1 (en) * 2013-10-28 2015-04-30 Cyberlink Corp. Systems and Methods for Automatically Applying Effects Based on Media Content Characteristics
US20150116350A1 (en) 2013-10-24 2015-04-30 Adobe Systems Incorporated Combined composition and change-based models for image cropping
US20150254892A1 (en) 2009-03-01 2015-09-10 Facecake Marketing Technologies, Inc. Image Transformation Systems and Methods
US20160225167A1 (en) 2015-02-03 2016-08-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189868A (zh) * 2005-04-27 2008-05-28 富士胶片株式会社 图像捕捉装置、图像捕捉方法和程序
EP2323100A3 (en) * 2005-10-12 2012-03-21 Panasonic Corporation Visual processing apparatus, display apparatus, visual processing method, program and integrated circuit
EP1967016B1 (en) * 2005-12-19 2012-09-26 Koninklijke Philips Electronics N.V. 3d image display method and apparatus
DE102006003126A1 (de) * 2006-01-23 2007-08-02 Siemens Ag Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
US9260449B2 (en) * 2009-05-21 2016-02-16 Zhejiang Medicine Co., Ltd., Xinchang Pharmaceutical Factory Method for preparing D-biotin
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
KR20120090565A (ko) * 2011-02-08 2012-08-17 삼성전자주식회사 영상 데이터의 실감 효과 처리장치 및 방법
US8922553B1 (en) * 2011-04-19 2014-12-30 Disney Enterprises, Inc. Interactive region-based linear 3D face models
JP2013055489A (ja) * 2011-09-02 2013-03-21 Nikon Corp 画像処理装置およびプログラム
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
US9741145B2 (en) * 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
JP2014016670A (ja) * 2012-07-05 2014-01-30 Nikon Corp 画像処理装置及び画像処理プログラム
KR101513999B1 (ko) 2013-03-04 2015-04-21 김봉식 3차원 이미지 생성 장치
WO2014155877A1 (ja) * 2013-03-26 2014-10-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
TWI492150B (zh) * 2013-09-10 2015-07-11 Utechzone Co Ltd 播放方法及電子裝置
JP6131843B2 (ja) * 2013-11-28 2017-05-24 株式会社Ｊｖｃケンウッド デプス推定装置、デプス推定方法、デプス推定プログラム、及び画像処理装置
CN103729881A (zh) * 2013-12-28 2014-04-16 北京工业大学 一种面向中医舌诊的舌体动态三维重建系统
CN104766537A (zh) * 2015-04-15 2015-07-08 四川云盾光电科技有限公司 一种基于微纳结构的激光散射图像显示方法
KR102365730B1 (ko) * 2015-06-15 2022-02-22 한국전자통신연구원 인터랙티브 콘텐츠 제어 장치 및 방법
JP6602081B2 (ja) * 2015-07-24 2019-11-06 キヤノン株式会社 撮像装置およびその制御方法
CN105095917B (zh) * 2015-08-31 2019-08-06 小米科技有限责任公司 图像处理方法、装置及终端
CN105446596A (zh) * 2015-11-26 2016-03-30 四川长虹电器股份有限公司 基于深度的交互式3d界面显示系统与方法
CN106331492B (zh) * 2016-08-29 2019-04-16 Oppo广东移动通信有限公司 一种图像处理方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101075720B1 (ko) * 2005-07-08 2011-10-21 삼성전자주식회사 휴대단말기의 이미지편집 방법
US20150254892A1 (en) 2009-03-01 2015-09-10 Facecake Marketing Technologies, Inc. Image Transformation Systems and Methods
US20150116350A1 (en) 2013-10-24 2015-04-30 Adobe Systems Incorporated Combined composition and change-based models for image cropping
US20150117777A1 (en) * 2013-10-28 2015-04-30 Cyberlink Corp. Systems and Methods for Automatically Applying Effects Based on Media Content Characteristics
US20160225167A1 (en) 2015-02-03 2016-08-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Also Published As

Publication number Publication date
WO2018182066A8 (ko) 2019-08-22
KR20190122859A (ko) 2019-10-30
CN110520902A (zh) 2019-11-29
CN110520902B (zh) 2023-04-28
JP6859452B2 (ja) 2021-04-14
US20200058128A1 (en) 2020-02-20
WO2018182066A1 (ko) 2018-10-04
JP2020513123A (ja) 2020-04-30
US11176678B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
KR102340934B1 (ko) 배경 화면을 디스플레이하는 방법 및 장치
JP6643357B2 (ja) 全球状取込方法
US10373381B2 (en) Virtual object manipulation within physical environment
CN106547092B (zh) 用于补偿头戴式显示器的移动的方法和设备
KR102342668B1 (ko) 화상 처리장치, 화상 처리방법 및 기억매체
US10482656B2 (en) 3D face modeling methods and apparatuses
US20200211271A1 (en) Image processing apparatus that generates a virtual view image from multiple images captured from different directions and method controlling the same
JP6640992B2 (ja) アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置
CN112154486B (zh) 用于多用户增强现实购物的系统和方法
US20180061069A1 (en) Image processing apparatus, generation method, and non-transitory computer-readable storage medium
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
JP2010510573A (ja) ３次元画像を合成するシステム及び方法
CN108805989B (zh) 场景穿越的方法、装置、存储介质和终端设备
KR101652594B1 (ko) 증강 현실 컨텐츠 제공 장치 및 방법
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
CN108629799B (zh) 一种实现增强现实的方法及设备
US11636656B1 (en) Depth rate up-conversion
US20220277512A1 (en) Generation apparatus, generation method, system, and storage medium
KR102228919B1 (ko) 이미지에 동적 효과를 적용하는 방법 및 장치
US11468258B2 (en) Information processing apparatus, information processing method, and storage medium
TWI536316B (zh) 用於產生三維景象之裝置及由電腦執行之產生三維景象之方法
TW202025083A (zh) 動態調整深度解析度的裝置及其方法
KR102209907B1 (ko) 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법
CN112562087A (zh) 用于估计姿态的方法和装置
TW201928761A (zh) 影像擷取之設備及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right