KR20160068516A - 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법 - Google Patents

감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20160068516A
KR20160068516A KR1020140174362A KR20140174362A KR20160068516A KR 20160068516 A KR20160068516 A KR 20160068516A KR 1020140174362 A KR1020140174362 A KR 1020140174362A KR 20140174362 A KR20140174362 A KR 20140174362A KR 20160068516 A KR20160068516 A KR 20160068516A
Authority
KR
South Korea
Prior art keywords
image
learning
brightness
emotion
color
Prior art date
Application number
KR1020140174362A
Other languages
English (en)
Other versions
KR101653812B1 (ko
Inventor
심현정
김경민
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140174362A priority Critical patent/KR101653812B1/ko
Publication of KR20160068516A publication Critical patent/KR20160068516A/ko
Application granted granted Critical
Publication of KR101653812B1 publication Critical patent/KR101653812B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인물 영상을 처리하여 새로운 스타일의 인물 영상을 생성하는 장치와 그에 관한 방법에 관한 것이다.
본 발명은, 감정클래스 별로 분류된 인물 학습영상들을 입력받고, 상기 입력받은 각 학습영상을 밝기와 색상 신호로 나누고, 상기 밝기 신호로부터 특징을 추출하고 상기 특징을 기반으로 한 학습모델을 생성한 후, 감정을 인식할 대상영상을 입력받고, 상기 대상영상을 밝기와 색상 신호로 나누고, 상기 학습모델을 이용하여 상기 대상영상의 밝기 신호에 대응하는 상기 감정클래스를 찾는 감정인식 수단과, 감정을 합성할 대상영상을 입력받고, 상기 대상영상을 밝기와 색상 신호로 나누고, 상기 색상 신호에서 특징을 추출하고, 상기 추출된 특징을 기준으로 합성할 대상이 되는 감정클래스에 속하는 상기 학습영상들에서 가장 유사한 색상 신호를 보유하는 상기 학습영상을 선택하고, 상기 선택된 학습영상의 밝기 신호와 상기 대상영상의 색상 신호를 이용하여 감정을 합성한 인물 영상을 생성하는 감정합성 수단을 제공함으로써, 인물의 감정에 대한 정보를 많이 담고 있는 밝기 정보를 이용하여 대상 인물 영상의 감정 상태를 강인하게 인식하고, 또한 인물 영상의 감정 상태가 시각적으로 다르게 보이도록 나타나는 영상을 합성하는, 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법을 제공한다.

Description

감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법{Apparatus and Method of portrait image processing for style synthesis}
본 발명은 인물 영상을 처리하여 새로운 스타일의 인물 영상을 생성하는 장치와 그에 관한 방법에 관한 것이다.
영상에서 인간의 얼굴 위치, 크기 및 수 등을 인식하여 이를 활용하는 기능들을 수행하기 위하여, 종래에 다양한 방식으로 영상에서 인간의 얼굴을 자동으로 인식하는 기술이 제안되어 왔다. 이와 같은 얼굴 인식 기술은 현재 디지털 카메라 및 보안 시스템 등 다양한 분야에서 활용되고 있다.
종래의 얼굴 인식 기술들로는, 입력된 얼굴 영상으로부터 인간의 얼굴 형상에 해당하는 눈, 코, 턱 등의 특징을 추출하여 이를 기반으로 얼굴을 인식하는 기술, 얼굴의 피부 텍스쳐를 분석하여 이를 기반으로 얼굴을 인식하는 기술, 얼굴에 대한 마스크 또는 템플릿을 생성하고 이를 기반으로 얼굴을 인식하는 기술 등이 있다.
그러나 위와 같은 종래의 기술들은 모두 입력 영상에서의 얼굴의 위치나 크기 및 수를 파악하거나 얼굴의 형태나 색깔 등을 파악할 뿐, 인식된 얼굴로부터 해당 얼굴이 어떠한 감정 상태에 있는지를 판단하지는 못하는 한계점이 있었다.
한편 하기 선행기술문헌과 같은 얼굴표정을 이용한 감정인식 장치가 있기는 하나, 상기 선행기술문헌은 얼굴의 표정을 눈과 입의 배치 정보를 기초로만 판단하여, 인물 영상에서의 다양한 표정과 환경 및 상태를 반영하지 못하는 한계점이 있다.
(특허문헌 0001) 미국 특허공보 제2014-0270376호
본 발명이 해결하고자 하는 과제는, 감정클래스 별로 분류된 인물 학습영상들을 입력받고, 상기 입력받은 각 학습영상을 밝기와 색상 신호로 나누고, 상기 밝기 신호로부터 특징을 추출하고 상기 특징을 기반으로 감정을 분류하기 위한 학습모델을 생성한 후, 감정을 인식할 대상영상을 입력받고, 상기 대상영상을 밝기와 색상 신호로 나누고, 상기 학습모델을 이용하여 상기 대상영상의 밝기 신호에 대응하는 상기 감정클래스를 찾는 감정인식 수단과, 감정을 합성할 대상영상을 입력받고, 상기 대상영상을 밝기와 색상 신호로 나누고, 상기 색상 신호에서 특징을 추출하고, 상기 추출된 특징을 기준으로 합성할 대상이 되는 감정클래스에 속하는 상기 학습영상들에서 가장 유사한 색상 신호를 보유하는 상기 학습영상을 선택하고, 상기 선택된 학습영상의 밝기 신호와 상기 대상영상의 색상 신호를 이용하여 감정을 합성한 인물 영상을 생성하는 감정합성 수단을 제공함으로써, 인물의 감정에 대한 정보를 많이 담고 있는 밝기 정보를 이용하여 대상 인물 영상의 감정 상태를 강인하게 인식하고, 또한 인물 영상의 감정 상태가 시각적으로 다르게 보이도록 나타나는 영상을 합성하는, 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 감성 효과 생성을 위한 인물 영상 처리 장치는, 감정클래스 별로 미리 분류된 복수의 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상을 획득하고, 상기 밝기영상에 대한 밝기 기반 특징(feature)을 추출하고, 상기 밝기 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습부; 및 감정상태 인식 대상영상을 입력받고, 상기 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하고, 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하고, 상기 학습부에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정상태 인식부를 포함할 수 있다.
여기서, 상기 감정클래스는 상기 학습영상들 속의 인물들의 감정상태를 적어도 2가지 이상의 종류로 구분하여 정의한 것을 특징으로 할 수 있다.
여기서, 상기 학습부는 입력받은 상기 학습영상을 분해하여 상기 밝기영상을 획득하는 학습영상 분해부; 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 특징추출부; 상기 분류기를 이용하여 상기 밝기 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득하는 학습모델 생성부를 포함 할 수 있다.
여기서, 상기 학습영상 분해부는 일정한 종류의 색공간을 이용하여 상기 입력받은 학습영상으로부터 상기 밝기 신호를 추출하여 상기 밝기영상을 획득하는 것을 특징으로 할 수 있다.
여기서, 상기 특징추출부는 상기 밝기영상에 대하여 주성분분석(PCA, Principle Component Analysis)을 수행하여 상기 밝기영상으로부터 주성분을 획득하고, 상기 주성분을 이용하여 상기 밝기 기반 특징을 추출하는 것을 특징으로 할 수 있다.
여기서, 상기 학습모델 생성부는 SVM(Support Vector Machine) 분류기 또는 Adaboost(Adaptive Boosting) 분류기를 이용하여 상기 학습을 수행하여 학습된 상기 분류기를 포함하는 상기 학습모델을 생성하는 것을 특징으로 할 수 있다.
여기서, 상기 감정상태 인식부는, 상기 입력받은 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하는 영상분해부; 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 밝기 기반 특징 추출부; 및 상기 학습부에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정클래스 판단부를 포함할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 감성 효과 생성을 위한 인물 영상 처리 장치는, 감정클래스 별로 미리 분류된 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상과 색상 신호를 포함하는 색상영상 획득하고, 상기 색상영상에 대한 색상 기반 특징(feature)을 추출하고, 상기 색상 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습부; 및 감정상태 합성 대상영상과 합성할 감정상태를 나타내는 목적 감정클래스를 입력받고, 상기 학습모델을 이용하여 상기 목적 감정클래스에 따른 인물영상을 합성하는 감정상태 합성부를 포함할 수 있다.
여기서, 상기 감정클래스는 상기 학습영상들 속의 인물들의 감정상태를 적어도 2가지 이상의 종류로 구분하여 정의한 것을 특징으로 할 수 있다.
여기서, 상기 감정상태 합성부는, 상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하고, 상기 감정클래스 데이터베이스에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하고, 상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득하는 것을 특징으로 할 수 있다.
여기서, 상기 감정상태 합성부는, 상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하는 영상분해부; 상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출하는 색상 기반 특징 추출부; 상기 색상 기반 특징을 기준으로, 상기 감정클래스 데이터베이스에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하는 유사영상 검출부; 및 상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득하는 영상합성부를 포함할 수 있다.
여기서, 상기 색상 기반 특징 추출부는 상기 감정상태 합성 대상영상의 상기 색상영상에 대하여, Haar-like 특징을 추출하거나, Gabor 필터를 이용하여 특징을 추출하거나, 또는 Active Shape Model을 활용하여 얼굴 특징을 추출하여, 상기 추출된 특징을 상기 색상 기반 특징으로 하는 것을 특징으로 할 수 있다.
여기서, 상기 유사영상 검출부는 상기 감정상태 합성 대상영상에 대하여 추출된 상기 색상 기반 특징과, 상기 감정클래스 데이터베이스 중 상기 목적 감정클래스에 속하는 상기 학습영상들의 상기 색상 기반 특징을 각각 비교하여, 상기 특징들 간에 유사도가 가장 높은 상기 학습영상을 검출하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
여기서, 상기 학습부는 입력받은 상기 학습영상을 분해하여 상기 밝기영상과 상기 색상영상을 획득하는 학습영상 분해부; 상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출하는 특징추출부; 상기 분류기를 이용하여 상기 색상 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득하는 학습모델 생성부를 포함할 수 있다.
여기서, 상기 학습영상 분해부는 일정한 종류의 색공간을 이용하여, 상기 입력받은 학습영상으로부터 상기 밝기 신호를 추출하여 상기 밝기영상을 획득하고 상기 색상 신호를 추출하여 상기 색상신호를 획득하는 것을 특징으로 할 수 있다.
여기서, 상기 특징추출부는 상기 색상영상에 대하여, Haar-like 특징을 추출하거나, Gabor 필터를 이용하여 특징을 추출하거나, 또는 Active Shape Model을 활용하여 얼굴 특징을 추출하여, 상기 추출된 특징을 상기 색상 기반 특징을 추출하는 것을 특징으로 할 수 있다.
여기서, 상기 학습모델 생성부는 SVM(Support Vector Machine) 분류기 또는 Adaboost(Adaptive Boosting) 분류기를 이용하여 상기 학습을 수행하여, 학습된 상기 분류기를 포함하는 상기 학습모델을 생성하는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 감성 효과 생성을 위한 인물 영상 처리 방법은, 감정클래스 별로 미리 분류된 복수의 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상을 획득하고, 상기 밝기영상에 대한 밝기 기반 특징(feature)을 추출하고, 상기 밝기 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습 단계; 및 감정상태 인식 대상영상을 입력받고, 상기 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하고, 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하고, 상기 학습 단계에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정상태 인식 단계를 포함할 수 있다.
여기서, 상기 학습 단계는 입력받은 상기 학습영상을 분해하여 상기 밝기영상을 획득하는 학습영상 분해 단계; 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 특징추출 단계; 상기 분류기를 이용하여 상기 밝기 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득하는 학습모델 생성 단계를 포함할 수 있다.
여기서, 상기 감정상태 인식 단계는, 상기 입력받은 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하는 영상분해 단계; 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 밝기 기반 특징 추출 단계; 및 상기 학습 단계에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정클래스 판단 단계를 포함할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 감성 효과 생성을 위한 인물 영상 처리 방법은, 감정클래스 별로 미리 분류된 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상과 색상 신호를 포함하는 색상영상 획득하고, 상기 색상영상에 대한 색상 기반 특징(feature)을 추출하고, 상기 색상 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습 단계; 및 감정상태 합성 대상영상과 합성할 감정상태를 나타내는 목적 감정클래스를 입력받고, 상기 학습모델을 이용하여 상기 목적 감정클래스에 따른 인물영상을 합성하는 감정상태 합성 단계를 포함할 수 있다.
여기서, 상기 감정상태 합성 단계는, 상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하는 영상분해 단계; 상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출하는 색상 기반 특징 추출 단계; 상기 색상 기반 특징을 기준으로, 상기 감정클래스 데이터베이스에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하는 유사영상 검출 단계; 및 상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득하는 영상합성 단계를 포함할 수 있다.
본 발명에 따른 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법에 의하면, 인물의 감정에 대한 정보를 많이 담고 있는 밝기 정보를 기준으로 다양한 인물 영상에 대하여 학습을 수행하고 상기 학습된 정보를 이용함으로써, 대상 인물 영상의 감정 상태를 강인하게 인식하고, 또한 인물 영상의 감정 상태가 시각적으로 다르게 보이도록 나타나는 영상을 합성하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 장치의 블록도이다.
도 2는 본 발명에 따른 감정클래스 데이터베이스를 설명하기 위한 참고도이다.
도 3은 본 발명에 따른 특징추출부의 세부 블록도이다.
도 4는 본 발명에 따른 감정상태 인식부에 관한 세부 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 장치의 블록도이다.
도 6은 본 발명에 따른 감정상태 합성부에 관한 세부 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 방법 중 학습 단계의 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 방법 중 감정상태 인식 단계의 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 방법 중 감정상태 합성 단계의 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 장치의 블록도이다. 여기서 상기 장치는 대상영상의 감정상태를 인식하는 수단을 개시한다.
상기 본 발명에 따른 감성 효과 생성을 위한 인물 영상 처리 장치는 학습부(200)와 감정상태 인식부(400)를 포함할 수 있다.
학습부(200)는 감정클래스 별로 미리 분류된 복수의 학습영상들을 감정클래스 데이터베이스(100)로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상을 획득하고, 상기 밝기영상에 대한 밝기 기반 특징(feature)을 추출하고, 상기 밝기 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델(300)을 획득한다.
감정상태 인식부(400)는 감정상태 인식 대상영상을 입력받고, 상기 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하고, 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하고, 상기 학습부(200)에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단한다.
여기서, 상기 감정클래스는 상기 학습영상들 속의 인물들의 감정상태를 적어도 2가지 이상의 종류로 구분하여 정의되는 것이 바람직하다. 예를 들면 감정클래스는 '기쁨', '슬픔', '분노', '공포' 등의 인물의 감정상태를 대표하는 개념으로 미리 구분되어 일정한 개수로 정의될 수 있다. 즉 감정클래스에 따라서 감정상태가 결정된다.
여기서 감정상태 인식부(400)가 상기 밝기영상을 기반으로 상기 감정클래스를 판단하는 것은, 인물의 감정상태에 관한 정보가 색상영상보다 밝기영상에 보다 집중되어 나타나기 때문이다. 본 발명은 이와 같이 색상영상을 제외한 밝기영상만을 이용하여 특징을 추출하고, 학습을 수행하고, 또한 이를 기반으로 입력영상에 대하여 감정상태를 인식함으로써, 보다 강인하고 빠르게 인물영상의 감정상태를 인식할 수 있도록 하는 수단을 개시한다.
도 2는 본 발명에 따른 감정클래스 데이터베이스(100)를 설명하기 위한 참고도이다.
도 2를 참조하면, 감정클래스 데이터베이스(100)는 각 감정클래스 별로 미리 분류된 복수의 학습영상들을 포함할 수 있다.
여기서 학습부(200)는 학습영상 분해부(210), 특징추출부(220), 학습모델 생성부(230)를 포함할 수 있다.
학습영상 분해부(210)는 입력받은 상기 학습영상을 분해하여 상기 밝기영상을 획득한다.
여기서 학습영상 분해부(210)는 일정한 종류의 색공간을 이용하여 상기 입력받은 학습영상으로부터 상기 밝기 신호를 추출하여 상기 밝기영상을 획득할 수 있다. 예를 들면 학습영상 분해부(210)는 Lab, YCbCr, HSV 등의 색공간을 이용하여 학습영상으로부터 밝기 신호를 변환 및 추출하여 각 화소의 신호 값이 휘도 성분으로 이루어지는 밝기 영상을 획득할 수 있다.
또한 학습영상 분해부(210)는 공간 상에서 느리게 변화하는 성분을 조명 성분으로 간주하여, 영상의 디테일 영역을 제외한 밝기 변화 성분을 추출하는 고유 영상 분해(intrinsic image decomposition) 방식을 활용하여 밝기 영상을 획득할 수도 있다.
여기서 학습영상 분해부(210)는 상기 학습영상을 분해하여 밝기영상을 획득하면서, 함께 색상영상도 획득할 수 있다. 또는 필요에 따라 색상영상만을 획득할 수도 있다.
특징추출부(220)는 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출한다.
여기서 특징추출부(220)는 상기 밝기영상에 대하여 주성분분석(PCA, Principle Component Analysis)을 수행하여 상기 밝기영상으로부터 주성분을 획득하고, 상기 주성분을 이용하여 상기 밝기 기반 특징을 추출하는 것이 바람직하다. 이와 같은 주성분 분석을 통하여 밝기 영상의 차원을 감소시킬 수 있다.
또는 특징추출부(220)는 상기 밝기영상에 대하여, Haar-like 특징을 추출하거나 또는 Gabor 필터를 이용하여 특징을 추출하여, 이와 같이 추출된 특징을 상기 밝기 기반 특징으로 할 수도 있다. 또는 Active Shape Model을 활용하여 얼굴 특징을 추출하여, 상기 추출된 특징을 상기 색상 기반 특징으로 할 수도 있다.
도 3은 본 발명에 따른 특징추출부(220)의 세부 블록도이다.
특징추출부(220)는 밝기 기반 특징 추출부(221) 또는 색상 기반 특징 추출부(222) 중 어느 하나를 포함할 수 있고, 밝기 기반 특징 추출부(221)와 색상 기반 특징 추출부(222)를 모두 포함할 수도 있다. 상기 실시예의 경우는 특징추출부(220)가 밝기 기반 특징 추출부(221)를 포함하고 이를 이용하여 특징을 추출하는 경우이다. 한편 이하에서 도 5를 참조하면서 설명하는 실시예의 경우에 있어서, 특징추출부(220)는 색상 기반 특징 추출부(222)를 포함하는 경우이다.
학습모델 생성부(230)는 상기 분류기를 이용하여 상기 밝기 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득한다.
여기서, 학습모델 생성부(230)는 SVM(Support Vector Machine) 분류기 또는 Adaboost(Adaptive Boosting) 분류기를 이용하여 상기 학습을 수행하여 학습된 상기 분류기를 포함하는 상기 학습모델을 생성하는 것이 바람직하다.
여기서 분류기를 이용하여 학습을 수행하는 것은 일정한 분류기에 대하여 입력된 학습영상들을 각 감정클래스 별로 최적으로 분류할 수 있는 기준을 학습하는 것이 될 수 있고, 위와 같은 학습 결과 최적의 분류 기준이 설정된 분류기가 획득될 수 있다. 그리고 상기 학습모델은 위와 같이 학습된 분류기를 포함할 수 있다.
여기서 SVM 분류기를 사용하는 경우 학습모델 생성부(230)는 상기 주성분분석을 통하여 획득된 밝기 기반 특징을 기반으로 최적의 분류 결과를 나타내는 기준을 정하는 방식으로 SVM 분류기를 학습시킬 수 있다.
여기서 Adaboost 분류기를 사용하는 경우 학습모델 생성부(230)는 약한 분류기(weak classifier)들의 조합으로 강한 분류기(strong classifier)를 생성할 수 있다. 그리고 이 경우 위와 같이 Haar-like 특징을 이용하여 상기 분류기를 학습하는 것이 바람직하다.
도 4는 본 발명에 따른 감정상태 인식부(400)에 관한 세부 블록도이다.
감정상태 인식부(400)는 영상분해부(410), 밝기 기반 특징 추출부(420), 감정클래스 판단부(430)를 포함할 수 있다.
영상분해부(410)는 상기 입력받은 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득한다.
밝기 기반 특징 추출부(420)는 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출한다.
여기서 밝기 기반 특징 추출부(420)는 학습부(200)의 특징추출부(220)의 밝기 기반 특징 추출부(221)와 동일한 방식으로 동작할 수 있다. 또한 필요에 따라 감정상태 인식부(400)는 학습부(200)의 특징추출부(220)의 밝기 기반 특징 추출부(221)를 이용하여 상기 입력받은 감정상태 인식 대상영상의 밝기영상으로부터 밝기 기반 특징을 추출할 수도 있다.
감정클래스 판단부(430)는 학습부(200)에서 획득된 상기 학습모델(300)을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단한다.
도 5는 본 발명의 또 다른 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 장치의 블록도이다. 여기서 상기 장치는 대상영상을 입력받아 사용자가 목적하는 감정상태가 반영된 새로운 영상을 합성하는 수단을 개시한다.
상기 본 발명에 따른 감성 효과 생성을 위한 인물 영상 처리 장치는, 학습부(200), 감정상태 합성부(500)를 포함한다.
학습부(200)는 감정클래스 별로 미리 분류된 학습영상들을 감정클래스 데이터베이스(100)로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상과 색상 신호를 포함하는 색상영상 획득하고, 상기 색상영상에 대한 색상 기반 특징(feature)을 추출하고, 상기 색상 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득한다.
감정상태 합성부(500)는 감정상태 합성 대상영상과 합성할 감정상태를 나타내는 목적 감정클래스를 입력받고, 상기 학습모델을 이용하여 상기 목적 감정클래스에 따른 인물영상을 합성한다.
여기서 상기 감정클래스는 도 1을 참조하면서 상술한 바와 같이 상기 학습영상들 속의 인물들의 감정상태를 적어도 2가지 이상의 종류로 구분하여 정의하는 것이 바람직하다.
먼저 학습부(200)에 대하여 보다 상세히 설명한다.
학습부(200)는 학습영상 분해부(210), 특징추출부(220), 학습모델 생성부(230)를 포함할 수 있다.
학습영상 분해부(210)는 입력받은 상기 학습영상을 분해하여 상기 밝기영상과 상기 색상영상을 획득한다.
여기서 학습영상 분해부(210)는 일정한 종류의 색공간을 이용하여, 상기 입력받은 학습영상으로부터 상기 밝기 신호를 추출하여 상기 밝기영상을 획득하고 상기 색상 신호를 추출하여 상기 색상신호를 획득하는 것이 바람직하다. 여기서 상기 색공간은 상술한 바와 같이 Lab, HSV를 비롯한 다양한 종류의 색공간이 사용될 수 있다.
특징추출부(220)는 상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출한다. 여기서 특징추출부(220)는 상술한 바와 같이 색상 기반 특징 추출부(222)를 포함하고 이를 이용하여 특징을 추출할 수 있다.
여기서 특징추출부(220)는 상기 색상영상에 대하여 Haar-like 특징을 추출하거나 또는 Gabor 필터를 이용하여 특징을 추출하여, 상기 색상 기반 특징을 추출할 수 있다. 또는 Active Shape Model을 활용하여 얼굴 특징을 추출하여, 상기 추출된 특징을 상기 색상 기반 특징으로 할 수도 있다. 또한 특징추출부(220)는 위에서 도 1을 참조하면서 설명한 내용과 같이 주성분 분석을 이용하여 특징을 추출할 수도 있다.
학습모델 생성부(230)는 상기 분류기를 이용하여 상기 색상 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득한다.
여기서 학습모델 생성부(230)는 SVM(Support Vector Machine) 분류기 또는 Adaboost(Adaptive Boosting) 분류기를 이용하여 상기 학습을 수행하고, 위와 같이 학습된 상기 분류기를 포함하는 상기 학습모델을 생성할 수 있다. 여기서 학습모델 생성부(230)는 위에서 도 1을 참조하면서 설명한 학습모델 생성부(230)의 동작과 동일하게 동작할 수 있다.
다음으로 감정상태 합성부(500)에 대하여 보다 자세히 설명한다.
상기 감정상태 합성부(500)는, 상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하고, 상기 감정클래스 데이터베이스(100)에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하고, 상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득할 수 있다.
도 6은 본 발명에 따른 감정상태 합성부(500)에 관한 세부 블록도이다.
감정상태 합성부(500)는 영상분해부(510), 색상 기반 특징 추출부(520), 유사영상 검출부(530), 영상합성부(540)를 포함할 수 있다.
영상분해부(510)는 상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득한다.
색상 기반 특징 추출부(520)는 상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출한다.
여기서 색상 기반 특징 추출부(520)는 학습부(200)의 특징추출부(220)의 색상 기반 특징 추출부(222)와 동일한 방식으로 동작할 수 있다. 또한 필요에 따라 감정상태 합성부(500)는 학습부(200)의 특징추출부(220)의 색상 기반 특징 추출부(222)를 이용하여 상기 입력받은 감정상태 합성 대상영상의 색상영상으로부터 색상 기반 특징을 추출할 수도 있다.
여기서, 색상 기반 특징 추출부(520)는 상기 감정상태 합성 대상영상의 상기 색상영상에 대하여, Haar-like 특징을 추출하거나 또는 Gabor 필터를 이용하여 특징을 추출하여, 이와 같이 추출된 특징을 상기 색상 기반 특징으로 할 수 있다. 또는 Active Shape Model을 활용하여 얼굴 특징을 추출하여, 상기 추출된 특징을 상기 색상 기반 특징으로 할 수도 있다. 또한 필요에 따라 색상 기반 특징 추출부(520)는 상술한 바와 같은 주성분 분석을 이용하여 특징을 추출할 수도 있다.
유사영상 검출부(530)는 상기 색상 기반 특징을 기준으로, 상기 감정클래스 데이터베이스(100)에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출한다.
여기서, 유사영상 검출부(530)는 상기 감정상태 합성 대상영상에 대하여 추출된 상기 색상 기반 특징과, 상기 감정클래스 데이터베이스(100) 중 상기 목적 감정클래스에 속하는 상기 학습영상들의 상기 색상 기반 특징을 각각 비교하여, 상기 특징들 간에 유사도가 가장 높은 상기 학습영상을 검출하는 것이 바람직하다.
영상합성부(540)는 상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득한다.
여기서 감정상태 인식부(400)의 영상분해부(410)와 감정상태 합성부(500)의 영상분해부(510)은 모두 다양한 종류의 색공간을 이용하여 입력받은 영상을 분해하여 밝기영상 또는 색상영상으로 획득한다는 점에서 공통되고, 필요에 따라 밝기영상 또는 색상영상 또는 양 영상 모두를 획득할 수 있다.
본 발명의 또 다른 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 방법은 위에서 도 1을 참조하면서 설명한 본 발명에 따른 감성 효과 생성을 위한 인물 영상 처리 장치와 동일한 방식으로 동작할 수 있다. 아래에서는 중복되는 부분은 생략하고 간략히 설명한다.
상기 본 발명에 따른 감성 효과 생성을 위한 인물 영상 처리 방법은, 학습 단계(S200), 감정상태 인식 단계(S400)를 포함할 수 있다.
학습 단계(S200)는 감정클래스 별로 미리 분류된 복수의 학습영상들을 감정클래스 데이터베이스(100)로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상을 획득하고, 상기 밝기영상에 대한 밝기 기반 특징(feature)을 추출하고, 상기 밝기 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 것이 바람직하다.
감정상태 인식 단계(S400)는 감정상태 인식 대상영상을 입력받고, 상기 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하고, 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하고, 상기 학습 단계에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 것이 바람직하다.
도 7은 학습 단계(S200)의 흐름도이다.
학습 단계(S200)는 입력받은 상기 학습영상을 분해하여 상기 밝기영상을 획득하는 학습영상 분해 단계(S210), 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 특징추출 단계(S220), 상기 분류기를 이용하여 상기 밝기 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득하는 학습모델 생성 단계(S230)를 포함할 수 있다.
도 8은 감정상태 인식 단계(S400)의 흐름도이다.
감정상태 인식 단계(S400)는 상기 입력받은 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하는 영상분해 단계(S410), 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 밝기 기반 특징 추출 단계(S420), 상기 학습 단계에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정클래스 판단 단계(S430)를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 감성 효과 생성을 위한 인물 영상 처리 방법은 위에서 도 5를 참조하면서 설명한 본 발명에 따른 감성 효과 생성을 위한 인물 영상 처리 장치와 동일한 방식으로 동작할 수 있다. 아래에서는 중복되는 부분은 생략하고 간략히 설명한다.
상기 본 발명에 따른 감성 효과 생성을 위한 인물 영상 처리 방법은, 학습 단계(S200), 감정상태 합성 단계(S500)를 포함할 수 있다.
학습 단계(S200)는 감정클래스 별로 미리 분류된 학습영상들을 감정클래스 데이터베이스(100)로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상과 색상 신호를 포함하는 색상영상 획득하고, 상기 색상영상에 대한 색상 기반 특징(feature)을 추출하고, 상기 색상 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득한다.
감정상태 합성 단계(S500)는 감정상태 합성 대상영상과 합성할 감정상태를 나타내는 목적 감정클래스를 입력받고, 상기 학습모델을 이용하여 상기 목적 감정클래스에 따른 인물영상을 합성한다.
도 9는 감정상태 합성 단계(S500)의 흐름도이다.
감정상태 합성 단계(S500)는, 상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하는 영상분해 단계(S510), 상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출하는 색상 기반 특징 추출 단계(S520), 상기 색상 기반 특징을 기준으로, 상기 감정클래스 데이터베이스(100)에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하는 유사영상 검출 단계(S530), 상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득하는 영상합성 단계(S540)를 포함할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (22)

  1. 인물 영상 처리 장치에 있어서,
    감정클래스 별로 미리 분류된 복수의 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상을 획득하고, 상기 밝기영상에 대한 밝기 기반 특징(feature)을 추출하고, 상기 밝기 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습부; 및
    감정상태 인식 대상영상을 입력받고, 상기 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하고, 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하고, 상기 학습부에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정상태 인식부를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  2. 제1항에 있어서,
    상기 감정클래스는 상기 학습영상들 속의 인물들의 감정상태를 적어도 2가지 이상의 종류로 구분하여 정의한 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  3. 제2항에 있어서, 상기 학습부는
    입력받은 상기 학습영상을 분해하여 상기 밝기영상을 획득하는 학습영상 분해부;
    상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 특징추출부;
    상기 분류기를 이용하여 상기 밝기 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득하는 학습모델 생성부를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  4. 제3항에 있어서,
    상기 학습영상 분해부는 일정한 종류의 색공간을 이용하여 상기 입력받은 학습영상으로부터 상기 밝기 신호를 추출하여 상기 밝기영상을 획득하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  5. 제3항에 있어서,
    상기 특징추출부는 상기 밝기영상에 대하여 주성분분석(PCA, Principle Component Analysis)을 수행하여 상기 밝기영상으로부터 주성분을 획득하고, 상기 주성분을 이용하여 상기 밝기 기반 특징을 추출하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  6. 제3항에 있어서,
    상기 학습모델 생성부는 SVM(Support Vector Machine) 분류기 또는 Adaboost(Adaptive Boosting) 분류기를 이용하여 상기 학습을 수행하여 학습된 상기 분류기를 포함하는 상기 학습모델을 생성하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  7. 제2항에 있어서, 상기 감정상태 인식부는,
    상기 입력받은 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하는 영상분해부;
    상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 밝기 기반 특징 추출부; 및
    상기 학습부에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정클래스 판단부를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  8. 인물 영상 처리 장치에 있어서,
    감정클래스 별로 미리 분류된 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상과 색상 신호를 포함하는 색상영상 획득하고, 상기 색상영상에 대한 색상 기반 특징(feature)을 추출하고, 상기 색상 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습부; 및
    감정상태 합성 대상영상과 합성할 감정상태를 나타내는 목적 감정클래스를 입력받고, 상기 학습모델을 이용하여 상기 목적 감정클래스에 따른 인물영상을 합성하는 감정상태 합성부를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  9. 제8항에 있어서,
    상기 감정클래스는 상기 학습영상들 속의 인물들의 감정상태를 적어도 2가지 이상의 종류로 구분하여 정의한 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  10. 제9항에 있어서, 상기 감정상태 합성부는,
    상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하고, 상기 감정클래스 데이터베이스에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하고, 상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  11. 제10항에 있어서, 상기 감정상태 합성부는,
    상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하는 영상분해부;
    상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출하는 색상 기반 특징 추출부;
    상기 색상 기반 특징을 기준으로, 상기 감정클래스 데이터베이스에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하는 유사영상 검출부; 및
    상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득하는 영상합성부를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  12. 제11항에 있어서,
    상기 색상 기반 특징 추출부는 상기 감정상태 합성 대상영상의 상기 색상영상에 대하여, Haar-like 특징을 추출하거나, Gabor 필터를 이용하여 특징을 추출하거나, 또는 Active Shape Model을 활용하여 얼굴 특징을 추출하여, 상기 추출된 특징을 상기 색상 기반 특징으로 하는 것을 특징으로 하는 감성 효과 생성을 위한 인물 영상 처리 장치
  13. 제11항에 있어서,
    상기 유사영상 검출부는 상기 감정상태 합성 대상영상에 대하여 추출된 상기 색상 기반 특징과, 상기 감정클래스 데이터베이스 중 상기 목적 감정클래스에 속하는 상기 학습영상들의 상기 색상 기반 특징을 각각 비교하여, 상기 특징들 간에 유사도가 가장 높은 상기 학습영상을 검출하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  14. 제9항에 있어서, 상기 학습부는
    입력받은 상기 학습영상을 분해하여 상기 밝기영상과 상기 색상영상을 획득하는 학습영상 분해부;
    상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출하는 특징추출부;
    상기 분류기를 이용하여 상기 색상 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득하는 학습모델 생성부를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  15. 제14항에 있어서,
    상기 학습영상 분해부는 일정한 종류의 색공간을 이용하여, 상기 입력받은 학습영상으로부터 상기 밝기 신호를 추출하여 상기 밝기영상을 획득하고 상기 색상 신호를 추출하여 상기 색상신호를 획득하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  16. 제14항에 있어서,
    상기 특징추출부는 상기 색상영상에 대하여, Haar-like 특징을 추출하거나, Gabor 필터를 이용하여 특징을 추출하거나, 또는 Active Shape Model을 활용하여 얼굴 특징을 추출하여, 상기 추출된 특징을 상기 색상 기반 특징을 추출하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  17. 제14항에 있어서,
    상기 학습모델 생성부는 SVM(Support Vector Machine) 분류기 또는 Adaboost(Adaptive Boosting) 분류기를 이용하여 상기 학습을 수행하여, 학습된 상기 분류기를 포함하는 상기 학습모델을 생성하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 장치
  18. 인물 영상 처리 방법에 있어서,
    감정클래스 별로 미리 분류된 복수의 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상을 획득하고, 상기 밝기영상에 대한 밝기 기반 특징(feature)을 추출하고, 상기 밝기 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습 단계; 및
    감정상태 인식 대상영상을 입력받고, 상기 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하고, 상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하고, 상기 학습 단계에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정상태 인식 단계를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 방법
  19. 제18항에 있어서, 상기 학습 단계는
    입력받은 상기 학습영상을 분해하여 상기 밝기영상을 획득하는 학습영상 분해 단계;
    상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 특징추출 단계;
    상기 분류기를 이용하여 상기 밝기 기반 특징을 기반으로 학습을 수행하여 상기 학습모델을 획득하는 학습모델 생성 단계를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 방법
  20. 제18항에 있어서, 상기 감정상태 인식 단계는,
    상기 입력받은 감정상태 인식 대상영상을 분해하여 상기 밝기영상을 획득하는 영상분해 단계;
    상기 획득된 밝기영상에 대하여 상기 밝기 기반 특징을 추출하는 밝기 기반 특징 추출 단계; 및
    상기 학습 단계에서 획득된 상기 학습모델을 이용하여 상기 추출된 밝기 기반 특징에 따른 상기 감정클래스를 판단하는 감정클래스 판단 단계를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 방법
  21. 인물 영상 처리 방법에 있어서,
    감정클래스 별로 미리 분류된 학습영상들을 감정클래스 데이터베이스로부터 입력받고, 상기 입력받은 각 학습영상을 분해하여 밝기 신호를 포함하는 밝기영상과 색상 신호를 포함하는 색상영상 획득하고, 상기 색상영상에 대한 색상 기반 특징(feature)을 추출하고, 상기 색상 기반 특징을 기반으로 일정한 분류기(classifier)를 이용한 학습을 수행하여 학습모델을 획득하는 학습 단계; 및
    감정상태 합성 대상영상과 합성할 감정상태를 나타내는 목적 감정클래스를 입력받고, 상기 학습모델을 이용하여 상기 목적 감정클래스에 따른 인물영상을 합성하는 감정상태 합성 단계를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 방법
  22. 제21항에 있어서, 상기 감정상태 합성 단계는,
    상기 감정상태 합성 대상영상을 분해하여 상기 색상영상을 획득하는 영상분해 단계;
    상기 획득된 색상영상에 대하여 상기 색상 기반 특징을 추출하는 색상 기반 특징 추출 단계;
    상기 색상 기반 특징을 기준으로, 상기 감정클래스 데이터베이스에서 상기 목적 감정클래스에 속하는 상기 학습영상들 중 상기 감정상태 합성 대상영상과 가장 유사한 상기 학습영상을 검출하는 유사영상 검출 단계; 및
    상기 검출된 학습영상의 상기 밝기영상과 상기 감정상태 합성 대상영상의 상기 색상영상을 합성하여, 상기 목적 감정클래스에 따른 인물영상을 획득하는 영상합성 단계를 포함하는 것을 특징으로 하는, 감성 효과 생성을 위한 인물 영상 처리 방법
KR1020140174362A 2014-12-05 2014-12-05 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법 KR101653812B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140174362A KR101653812B1 (ko) 2014-12-05 2014-12-05 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140174362A KR101653812B1 (ko) 2014-12-05 2014-12-05 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160068516A true KR20160068516A (ko) 2016-06-15
KR101653812B1 KR101653812B1 (ko) 2016-09-05

Family

ID=56135184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140174362A KR101653812B1 (ko) 2014-12-05 2014-12-05 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101653812B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051367A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
WO2018088794A3 (ko) * 2016-11-08 2018-06-28 삼성전자 주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
CN109448093A (zh) * 2018-10-25 2019-03-08 广东智媒云图科技股份有限公司 一种风格图像生成方法及装置
WO2019066373A1 (ko) * 2017-09-27 2019-04-04 삼성전자주식회사 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
WO2019156508A1 (en) * 2018-02-08 2019-08-15 Samsung Electronics Co., Ltd. Method and electronic device for rendering background in image
US10719741B2 (en) 2017-02-10 2020-07-21 Electronics And Telecommunications Research Institute Sensory information providing apparatus, video analysis engine, and method thereof
KR102260628B1 (ko) * 2020-02-13 2021-06-03 이인현 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법
CN116347220A (zh) * 2023-05-29 2023-06-27 合肥工业大学 人像拍摄方法及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882111B1 (ko) 2016-12-26 2018-07-25 연세대학교 산학협력단 영상 간의 특질 변환 시스템 및 그 방법
CN112585646A (zh) * 2018-09-03 2021-03-30 三星电子株式会社 用于对媒体执行编辑操作的方法与系统
KR20230073551A (ko) 2021-11-19 2023-05-26 주식회사 스파크엑스 (SPARKX Co.,Ltd.) 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242566A (ja) * 2004-02-25 2005-09-08 Canon Inc 画像合成装置及び方法
KR100755800B1 (ko) * 2006-06-21 2007-09-07 한국과학기술원 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
JP2011086245A (ja) * 2009-10-19 2011-04-28 Nippon Telegr & Teleph Corp <Ntt> テンプレート作成装置、表情認識装置、テンプレート作成方法、表情認識方法、及びプログラム
US20140270376A1 (en) 2008-04-09 2014-09-18 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242566A (ja) * 2004-02-25 2005-09-08 Canon Inc 画像合成装置及び方法
KR100755800B1 (ko) * 2006-06-21 2007-09-07 한국과학기술원 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
US20140270376A1 (en) 2008-04-09 2014-09-18 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
JP2011086245A (ja) * 2009-10-19 2011-04-28 Nippon Telegr & Teleph Corp <Ntt> テンプレート作成装置、表情認識装置、テンプレート作成方法、表情認識方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:멀티미디어학회 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222413B2 (en) 2016-11-08 2022-01-11 Samsung Electronics Co., Ltd. Method for correcting image by device and device therefor
WO2018088794A3 (ko) * 2016-11-08 2018-06-28 삼성전자 주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR20220140673A (ko) * 2016-11-08 2022-10-18 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR20180051367A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR20220020296A (ko) * 2016-11-08 2022-02-18 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US10719741B2 (en) 2017-02-10 2020-07-21 Electronics And Telecommunications Research Institute Sensory information providing apparatus, video analysis engine, and method thereof
US11270420B2 (en) 2017-09-27 2022-03-08 Samsung Electronics Co., Ltd. Method of correcting image on basis of category and recognition rate of object included in image and electronic device implementing same
WO2019066373A1 (ko) * 2017-09-27 2019-04-04 삼성전자주식회사 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
WO2019156508A1 (en) * 2018-02-08 2019-08-15 Samsung Electronics Co., Ltd. Method and electronic device for rendering background in image
CN109448093A (zh) * 2018-10-25 2019-03-08 广东智媒云图科技股份有限公司 一种风格图像生成方法及装置
KR102260628B1 (ko) * 2020-02-13 2021-06-03 이인현 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법
CN116347220A (zh) * 2023-05-29 2023-06-27 合肥工业大学 人像拍摄方法及相关设备
CN116347220B (zh) * 2023-05-29 2023-07-21 合肥工业大学 人像拍摄方法及相关设备

Also Published As

Publication number Publication date
KR101653812B1 (ko) 2016-09-05

Similar Documents

Publication Publication Date Title
KR101653812B1 (ko) 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법
US10303982B2 (en) Systems and methods for machine learning enhanced by human measurements
Jain et al. Emotion detection and characterization using facial features
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
WO2012124000A1 (ja) 画像認識システム、画像認識方法および画像認識用プログラムが格納された非一時的なコンピュータ可読媒体
Perveen et al. Facial expression recognition through machine learning
Smith et al. Facial expression detection using filtered local binary pattern features with ECOC classifiers and platt scaling
Mayer et al. Adjusted pixel features for robust facial component classification
Fernando et al. Novel approach to use HU moments with image processing techniques for real time sign language communication
Shanmugavadivu et al. Rapid face detection and annotation with loosely face geometry
Chalup et al. Simulating pareidolia of faces for architectural image analysis
KR101408344B1 (ko) 얼굴 검출 장치
Wei et al. Fixation and saccade based face recognition from single image per person with various occlusions and expressions
Sagana et al. Object Recognition System for Visually Impaired People
Salah et al. A Proposed Generalized Eigenfaces System for Face Recognition Based on One Training Image
JP2012048326A (ja) 画像処理装置及びプログラム
KR101681233B1 (ko) 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
KR101484003B1 (ko) 얼굴 분석 평가 시스템
Ingole et al. Automatic age estimation from face images using facial features
Elsayed et al. Hybrid method based on multi-feature descriptor for static sign language recognition
Hutagalung et al. The Effectiveness Of OpenCV Based Face Detection In Low-Light Environments
Ganakwar et al. Comparative analysis of various face detection methods
US10810744B2 (en) Image processing device, image processing method and image processing program
Ren et al. Real-time head pose estimation on mobile platforms
US20170068848A1 (en) Display control apparatus, display control method, and computer program product

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant