KR101694643B1 - 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체 - Google Patents

이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체 Download PDF

Info

Publication number
KR101694643B1
KR101694643B1 KR1020157001161A KR20157001161A KR101694643B1 KR 101694643 B1 KR101694643 B1 KR 101694643B1 KR 1020157001161 A KR1020157001161 A KR 1020157001161A KR 20157001161 A KR20157001161 A KR 20157001161A KR 101694643 B1 KR101694643 B1 KR 101694643B1
Authority
KR
South Korea
Prior art keywords
probability
head shoulder
pixel point
image
background
Prior art date
Application number
KR1020157001161A
Other languages
English (en)
Other versions
KR20160021737A (ko
Inventor
린 왕
시아오조우 수
지준 첸
Original Assignee
시아오미 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시아오미 아이엔씨. filed Critical 시아오미 아이엔씨.
Publication of KR20160021737A publication Critical patent/KR20160021737A/ko
Application granted granted Critical
Publication of KR101694643B1 publication Critical patent/KR101694643B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체에 관한 것으로, 이미지 처리 기술분야에 속한다. 이미지 분할 방법은 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계; 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계; 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출하는 단계; 사전확률, 제1컬러 우도확률과 제2컬러 우도확률에 근거하여, 머리어깨 전경의 제1사후확률과 배경의 제2사후확률을 산출하는 단계; 제1사후확률과 제2사후확률에 근거하여, 분할하려는 이미지에 대하여 머리어깨 분할을 진행하는 단계를 포함한다. 사전확률과 컬러 우도확률에 기반하여 이미지 분할을 진행하기에 분할 정밀도가 높다.

Description

이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체{METHOD, APPARATUS, DEVICE, PROGRAM, AND RECORDING MEDIUM FOR IMAGE SEGMENTATION}
본원 발명은 출원번호가 CN201410353140.7이고, 출원일자가 2014년 7월 23일인 중국특허출원에 기반하여 제출하였고, 상기 중국특허출원의 우선권을 주장하는 바, 상기 중국특허출원의 모든 내용은 참고로서 본원 발명에 원용된다.
본 발명은 이미지처리 기술분야에 관한 것으로, 특히 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체에 관한 것이다.
네트워크 멀티미디어 정보량이 급속히 증가함에 따라, 머리어깨 분할 기술은 하나의 특수한 이미지 분할기술로서 비약적인 발전을 가져왔다. 이 기술은 많은 영상회의의 배경 교체, 이동기기 상의 프론트 카메라가 사람을 촬영하거나 리어 카메라가 풍경 등 장면을 촬영하는데 광범위하게 응용되고 있다.
관련 기술에서, 이미지의 머리어깨 분할을 진행할 시, 먼저, 사용자가 머리어깨 전경의 제1 샘플 픽셀점과 배경의 제2 샘플 픽셀점을 선택한 다음, 각각 제1 샘플 픽셀점과 제2 샘플 픽셀점의 컬러 특징 벡터를 산출하여 머리어깨 전경의 제1컬러 특징 벡터와 배경의 제2컬러 특징 벡터를 얻고, 제1컬러 특징 벡터와 제2컬러 특징 벡터에 근거하여 각각 머리어깨 전경과 배경에 대하여 컬러 모델링을 진행하여 제1컬러 모형과 제2컬러 모형을 얻고, 마지막으로 제1컬러 모형과 제2컬러 모형을 사용하여 이미지에 대해 머리어깨 분할을 진행하여 머리어깨 분할 결과를 얻는다.
상기 기술을 실현하는 과정에서, 발명자는 관련 기술에 적어도 하기와 같은 문제가 존재한다는 것을 발견하였다.
이미지 분할 과정에서, 사용자가 샘플 픽셀점의 선택에 참여하여야 하기에, 사용자 체험이 좋지 못하고, 이밖에, 단지 샘플 픽셀점의 컬러 특징 벡터에만 기반하여 이미지 분할을 진행하기에 분할 정밀도가 좋지 못하다.
상기 관련기술 중에 존재하는 문제를 극복하기 위하여, 본 발명은 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체를 제공한다.
본 발명 실시예의 제1양태에 따르면,
얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계와,
상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계와,
상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 상기 머리어깨 전경의 제1컬러 우도(likelihood)확률과 상기 배경의 제2컬러 우도확률을 산출하는 단계와,
상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제1사후확률과 상기 배경의 제2사후확률을 산출하는 단계와,
상기 제1사후확률과 상기 제2사후확률에 근거하여, 상기 분할하려는 이미지에 대하여 머리어깨 분할을 진행하는 단계를 포함하는 이미지 분할방법을 제공한다.
바람직하게는, 상기 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
기설정된 개수의 여성 정면 얼굴 이미지를 선택하는 단계와,
사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
각각의 여성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함한다.
바람직하게는, 상기 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
기설정된 개수의 남성 정면 얼굴 이미지를 선택하는 단계와,
사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
각각의 남성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 상기 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함한다,
바람직하게는, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 상기 단계는 하기 공식을 응용하고,
Figure 112015004598017-pct00001
상기 식에서,
Figure 112016064442191-pct00002
는 픽셀점
Figure 112016064442191-pct00003
부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
Figure 112016064442191-pct00004
는 제
Figure 112016064442191-pct00005
번째 이미지 중 픽셀점
Figure 112016064442191-pct00006
부분의 캘리브레이션 결과를 의미하며,
Figure 112016064442191-pct00007
은 제
Figure 112016064442191-pct00008
번째 이미지 중 픽셀점
Figure 112016064442191-pct00009
부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
Figure 112016064442191-pct00010
은 제
Figure 112016064442191-pct00011
번째 이미지 중 픽셀점
Figure 112016064442191-pct00012
부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미한다.
바람직하게는, 상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계는,
상기 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻는 단계와,
상기 성별인식 결과에 근거하여, 상기 분할하려는 이미지에 대응되는 사전확률을 결정하는 단계와,
상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 크면, 상기 픽셀점을 전경 샘플 픽셀점으로 결정하는 단계와,
상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작은지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작으면, 상기 픽셀점을 배경 샘플 픽셀점으로 결정하는 단계를 포함한다.
바람직하게는, 상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 산출하는 단계는 하기의 공식을 응용하고,
Figure 112015004598017-pct00013
상기 식에서,
Figure 112015004598017-pct00014
는 제
Figure 112015004598017-pct00015
번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
Figure 112015004598017-pct00016
는 제1컬러 우도확률을 의미하며,
Figure 112015004598017-pct00017
는 제2컬러 우도확률을 의미하고,
Figure 112015004598017-pct00018
는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
Figure 112015004598017-pct00019
는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
Figure 112015004598017-pct00020
는 컬러 특징 벡터
Figure 112015004598017-pct00021
에서 클러스터 중심
Figure 112015004598017-pct00022
까지의 유클리드 거리를 의미하고,
Figure 112015004598017-pct00023
는 제
Figure 112015004598017-pct00024
번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
Figure 112015004598017-pct00025
는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같다.
Figure 112015004598017-pct00026
바람직하게는, 상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제 1 사후확률, 상기 배경의 제 2 사후확률을 산출하는 상기 단계는 하기 공식을 응용하고,
Figure 112015004598017-pct00027
상기 식에서,
Figure 112016014137579-pct00028
는 상기 머리어깨 전경의 제 1 사후확률을 의미하고,
Figure 112016014137579-pct00029
는 상기 배경의 제 2 사후확률을 의미한다.
본 발명 실시예의 제2양태에 따르면,
얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하기 위한 사전확률 산출모듈과,
상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하기 위한 샘플 픽셀점 선택모듈과,
상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 산출하기 위한 컬러 우도확률 산출모듈과,
상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제1사후확률과 상기 배경의 제2사후확률을 산출하기 위한 사후확률 산출모듈과,
상기 제1사후확률과 상기 제2사후확률에 근거하여, 상기 분할하려는 이미지에 대하여 머리어깨 분할을 진행하기 위한 이미지 분할모듈을 포함하는 이미지 분할장치를 제공한다.
바람직하게는, 상기 사전확률 산출모듈은 기설정된 개수의 여성 정면 얼굴 이미지를 선택하고; 사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하며; 각각의 여성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻으며; 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻고; 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하기 위한 것이다.
바람직하게는, 상기 사전확률 산출모듈은 기설정된 개수의 남성 정면 얼굴 이미지를 선택하고; 사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하며; 각각의 남성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻으며; 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 상기 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻고; 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하기 위한 것인 이미지 분할장치.
바람직하게는, 상기 사전확률 산출모듈은 하기 공식을 응용하여 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하고,
Figure 112015004598017-pct00030
상기 식에서,
Figure 112016064442191-pct00031
는 픽셀점
Figure 112016064442191-pct00032
부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
Figure 112016064442191-pct00033
는 제
Figure 112016064442191-pct00034
번째 이미지 중 픽셀점
Figure 112016064442191-pct00035
부분의 캘리브레이션 결과를 의미하며,
Figure 112016064442191-pct00036
은 제
Figure 112016064442191-pct00037
번째 이미지 중 픽셀점
Figure 112016064442191-pct00038
부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
Figure 112016064442191-pct00039
은 제
Figure 112016064442191-pct00040
번째 이미지 중 픽셀점
Figure 112016064442191-pct00041
부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미하는 이미지 분할장치.
바람직하게는, 상기 샘플 픽셀점 선택모듈은 상기 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻고; 상기 성별인식 결과에 근거하여, 상기 분할하려는 이미지에 대응되는 사전확률을 결정하며; 상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 크면, 상기 픽셀점을 전경 샘플 픽셀점으로 결정하고; 상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작은지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작으면, 상기 픽셀점을 배경 샘플 픽셀점으로 결정하기 위한 것인 이미지 분할장치.
바람직하게는, 상기 컬러 우도확률 산출모듈은 하기 공식을 응용하여 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 계산하고,
Figure 112015004598017-pct00042
상기 식에서,
Figure 112015004598017-pct00043
는 제
Figure 112015004598017-pct00044
번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
Figure 112015004598017-pct00045
는 제1컬러 우도확률을 의미하며,
Figure 112015004598017-pct00046
는 제2컬러 우도확률을 의미하고,
Figure 112015004598017-pct00047
는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
Figure 112015004598017-pct00048
는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
Figure 112015004598017-pct00049
는 컬러 특징 벡터
Figure 112015004598017-pct00050
에서 클러스터 중심
Figure 112015004598017-pct00051
까지의 유클리드 거리를 의미하고,
Figure 112015004598017-pct00052
는 제
Figure 112015004598017-pct00053
번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
Figure 112015004598017-pct00054
는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같은
Figure 112015004598017-pct00055
이미지 분할장치.
바람직하게는, 상기 사후확률 산출모듈은 하기 공식을 응용하여 상기 머리어깨 전경의 제 1 사후확률, 상기 배경의 제 2 사후확률을 산출하고,
Figure 112015004598017-pct00056
상기 식에서,
Figure 112016014137579-pct00057
는 상기 머리어깨 전경의 제 1 사후확률을 의미하고,
Figure 112016014137579-pct00058
는 상기 배경의 제 2 사후확률을 의미하는 이미지 분할장치.
본 발명 실시예의 제3양태에 따르면,
프로세서와,
프로세서가 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하되,
상기 프로세서는, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하고,
상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하며,
상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 산출하고,
상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제1사후확률과 상기 배경의 제2사후확률을 산출하며,
상기 제1사후확률과 상기 제2사후확률에 근거하여, 상기 분할하려는 이미지에 대하여 머리어깨 분할을 진행하도록 구성되는 이미지 분할기기를 제공한다.
본 발명 실시예의 제4양태에 따르면, 본 발명은, 프로세서에 의해 실행되는 것을 통하여 상기 이미지 분할 방법을 구현하는 기록매체에 저장되는 프로그램을 제공한다.
본 발명 실시예의 제5양태에 따르면, 본 발명은, 상기 프로그램이 기록된 기록매체를 제공한다.
본 발명의 실시예가 제공하는 과제 해결수단은 하기와 같은 유리한 효과를 포함할 수 있다.
얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치머리어깨 전경이 나타나는 사전확률을 산출하고, 머리어깨 전경의 사전확률에 기반하여 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 자동으로 선택하여 샘플 픽셀점의 선택과정에서 사용자가 참여할 필요가 없는 목적에 도달함으로써, 사용자의 체험도가 양호하다. 이밖에, 이미지 분할을 진행할 시, 사전확률과 컬러 우도확률에 기반하여 분할을 진행하기에 분할 표준이 세밀하고 분할 정밀도가 높다.
상기의 일반적인 설명과 후술되는 구체적인 설명은 단지 예시적이고 해석적인 것이며 본 발명을 한정하는 것이 아님을 이해해야 한다.
아래의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며 본 발명에 맞는 실시예를 예시하여 본 발명의 원리를 해석하기 위한 것이다.
도 1은 일 예시적 실시예에 따라 도시한 이미지 분할방법의 흐름도이다.
도 2는 일 예시적 실시예에 따라 도시한 이미지 분할방법의 흐름도이다.
도 3은 일 예시적 실시예에 따라 도시한 이미지 분할장치의 블록도이다.
도 4는 일 예시적 실시예에 따라 도시한 이미지 분할기기의 블록도이다.
도 5는 일 예시적 실시예에 따라 도시한 이미지 분할기기의 블록도이다.
여기서, 예시적 실시예에 대해 상세하게 설명하고, 이를 첨부되는 도면에 예시적으로 나타냈다. 하기에서 첨부되는 도면에 대해 설명할 때, 별도로 표시하지 않는 한, 다른 도면의 동일한 숫자는 동일하거나 유사한 구성요소를 나타낸다. 하기의 예시적 실시예에서 설명한 실시형태는 본 발명과 일치한 모든 실시형태를 의미하는 것은 아니다. 반대로, 이들은 첨부된 특허청구범위에서 설명한, 본 발명의 일부 양태와 일치한 장치와 방법에 대한 예일 뿐이다.
도 1은 일 예시적 실시예에 따라 도시한 이미지 분할방법의 흐름도이다, 도 1에 도시된 바와 같이, 상기 이미지 분할방법은 이미지 분할기기에 사용되고, 하기와 같은 단계를 포함한다.
단계101에서, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출한다.
단계102에서, 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택한다.
단계103에서, 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출한다.
단계104에서, 사전확률, 제1컬러 우도확률과 제2컬러 우도확률에 근거하여, 머리어깨 전경의 제1사후확률과 배경의 제2사후확률을 산출한다.
단계105에서, 제1사후확률과 제2사후확률에 근거하여, 분할하려는 이미지에 대하여 머리어깨 분할을 진행한다.
본 발명 실시예가 제공하는 방법에서, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하고, 머리어깨 전경의 사전확률에 기반하여 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 자동적으로 선택하여 샘플 픽셀점의 선택과정에서 사용자가 참여할 필요가 없는 목적에 도달함으로써, 사용자의 체험도가 양호하다. 이밖에, 이미지 분할을 진행할 시, 사전확률과 컬러 우도확률에 기반하여 분할을 진행하기에 분할 표준이 세밀하고 분할 정밀도가 높다.
바람직하게는, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
기설정된 개수의 여성 정면 얼굴 이미지를 선택하는 단계와,
사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
각각의 여성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함한다,
바람직하게는, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
기설정된 개수의 남성 정면 얼굴 이미지를 선택하는 단계와,
사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
각각의 남성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함한다.
바람직하게는, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는 하기 공식을 응용하고,
Figure 112015004598017-pct00059
상기 식에서,
Figure 112016064442191-pct00060
는 픽셀점
Figure 112016064442191-pct00061
부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
Figure 112016064442191-pct00062
는 제
Figure 112016064442191-pct00063
번째 이미지 중 픽셀점
Figure 112016064442191-pct00064
부분의 캘리브레이션 결과를 의미하며,
Figure 112016064442191-pct00065
은 제
Figure 112016064442191-pct00066
번째 이미지 중 픽셀점
Figure 112016064442191-pct00067
부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
Figure 112016064442191-pct00068
은 제
Figure 112016064442191-pct00069
번째 이미지 중 픽셀점
Figure 112016064442191-pct00070
부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미한다.
바람직하게는, 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계는,
분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻는 단계와,
성별인식 결과에 근거하여, 분할하려는 이미지에 대응되는 사전확률을 결정하는 단계와,
분할하려는 이미지 중의 각각의 픽셀점에 대하여, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 크면, 픽셀점을 전경 샘플 픽셀점으로 결정하는 단계와,
분할하려는 이미지 중의 각각의 픽셀점에 대하여, 픽셀점의 사전확률이 배경확률 임계값보다 작은지의 여부를 판정하고, 픽셀점의 사전확률이 배경확률 임계값보다 작으면, 픽셀점을 배경 샘플 픽셀점으로 결정하는 단계를 포함한다.
바람직하게는, 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출하는 단계는 하기의 공식을 응용하고,
Figure 112015004598017-pct00071
상기 식에서,
Figure 112015004598017-pct00072
는 제
Figure 112015004598017-pct00073
번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
Figure 112015004598017-pct00074
는 제1컬러 우도확률을 의미하며,
Figure 112015004598017-pct00075
는 제2컬러 우도확률을 의미하고,
Figure 112015004598017-pct00076
는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
Figure 112015004598017-pct00077
는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
Figure 112015004598017-pct00078
는 컬러 특징 벡터
Figure 112015004598017-pct00079
에서 클러스터 중심
Figure 112015004598017-pct00080
까지의 유클리드 거리를 의미하고,
Figure 112015004598017-pct00081
는 제
Figure 112015004598017-pct00082
번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
Figure 112015004598017-pct00083
는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같다.
Figure 112015004598017-pct00084
바람직하게는, 사전확률, 제1컬러 우도확률과 제2컬러 우도확률에 근거하여, 머리어깨 전경의 제 1 사후확률, 배경의 제 2 사후확률을 산출하는 단계는 하기 공식을 응용하고,
Figure 112015004598017-pct00085
상기 식에서,
Figure 112016014137579-pct00086
는 머리어깨 전경의 제 1 사후확률을 의미하고,
Figure 112016014137579-pct00087
는 배경의 제 2 사후확률을 의미한다.
상기 모든 바람직한 과제 해결수단은 임의로 결부되어 본 발명의 바람직한 실시예를 형성할 수 있는 바, 여기서는 더 이상 일일이 설명하지 않기로 한다.
도 2는 일 예시적 실시예에 따라 도시한 이미지 분할방법의 흐름도인 바, 도2에 도시된 바와 같이, 상기 이미지 분할방법은 이미지 분할기기에 사용되고, 하기와 같은 단계를 포함한다.
단계201에서, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출한다.
본 발명 실시예에서, 머리어깨 전경의 사전확률의 산출 과정은 즉 머리어깨 위치의 사전모형을 구축하는 과정이다. 남성과 여성의 얼굴 특징은 상이하기에, 머리어깨 위치 사전 모형을 구축할 시, 여성 머리어깨 위치 사전모형과 남성 머리어깨 위치 사전모형을 각각 구축하여야 한다. 여기서, 머리어깨 위치 사전모형의 구축 과정은 하기와 같다.
201a, 여성 머리어깨 위치 사전모형의 구축과정은 하기와 같은 5개 단계로 나뉜다.
제1단계: 기설정된 개수의 여성 정면 얼굴 이미지를 선택한다.
여기서, 기설정된 수량의 크기는 500개 또는 1000개 등등일 수 있는 바, 본 발명 실시예는 이에 대하여 구체적으로 한정하지 않는다. 기설정된 개수의 여성 정면 얼굴 이미지를 후속되는 여성 머리어깨 위치 사전모형의 트레이닝 데이터로 하여 이미지 트레이닝 베이스에 저장한다.
제2단계: 사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성한다.
오프라인 트레이닝 과정에서, 기설정된 개수의 여성 정면 얼굴 이미지의 머리어깨 전경에 대하여 캘리브레이팅을 진행하는 바, 인공적으로 완성하여야 한다. 즉, 사용자가 수동으로 각각의 여성 정면 얼굴 이미지 중의 머리어깨 영역을 캘리브레이팅한다. 각각의 여성 정면 얼굴 이미지의 캘리브레이션 결과를 얻은 후, 하나의 2진 이미지를 생성하고, 상기 2진 이미지를 머리어깨 캘리브레이션 이미지로 한다. 여기서, 2진 이미지 중 픽셀점 그레이 레벨이 255인 영역을 머리어깨 전경으로 하는 바, 즉 2진 이미지 중의 흰색 영역이 머리어깨영역이고, 2진 이미지 중 픽셀점 그레이 레벨이 0인 영역을 배경으로 하는 바, 즉 2진 이미지 중의 검은색 영역이 배경영역이다.
이밖에, 여성 정면 얼굴 이미지에 대하여 머리어깨 전경 캘리브레이팅을 진행할 때, 하나의 픽셀점에 있어서, 하나의 픽셀점이 머리어깨 전경이면 해당 픽셀점의 표시값을 1로 설정할 수 있고, 하나의 픽셀점이 배경이면 해당 픽셀점의 표시값을 0으로 설정할 수 있다. 픽셀점
Figure 112016014137579-pct00088
을 예로 들면,
Figure 112016014137579-pct00089
은 픽셀점
Figure 112016014137579-pct00090
이 머리어깨 전경으로 캘리브레이팅되었음을 표기하고,
Figure 112016014137579-pct00091
은 픽셀점
Figure 112016014137579-pct00092
이 배경으로 캘리브레이팅되었음을 표시한다.
제3단계: 각각의 여성 정면 얼굴 이미지에 대하여 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는다.
본 발명 실시예에서, 각각의 여성 정면 얼굴 이미지에 대하여 얼굴 외부 윤곽 특징점 포지셔닝을 진행할 때, 기존의 얼굴 외부 윤곽 특징점의 포지셔닝 알고리즘을 사용하여 실현할 수 있는 바, 여기서는 더이상 설명하지 않기로 한다. 여성 정면 얼굴 이미지에 대하여 얼굴 외부 윤곽 특징점의 포지셔닝을 진행한 후, 각각의 얼굴 외부 윤곽 특징점의 위치좌표 데이터를 얻을 수 있다.
제4단계: 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는다.
여기서, 기설정된 크기는 400*400 픽셀, 200*200 픽셀 등일 수 있는 바, 본 발명 실시에는 이에 대하여 구체적으로 한정하지 않는다. 본 발명 실시예는 단지 기설정된 크기가 400*400 픽셀인 경우를 예로 들어 설명한다.
본 발명 실시예에서, 각각의 머리어깨 캘리브레이션 이미지에 있어서, 얼굴 외부 윤곽 특징점의 포지셔닝 결과를 얻은 후, 먼저 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여 머리어깨 캘리브레이션 이미지를 하나의 통일된 치수로 조정한 다음, 얼굴 외부 윤곽 특징점의 위치좌표 데이터에 근거하여 머리어깨 캘리브레이션 이미지와 얼굴 외부 윤곽 특징점에 대하여 정렬을 진행하고, 머리어깨 캘리브레이션 이미지를 하나의 400*400 픽셀의 템플릿내로 정규화시킨다. 각각의 머리어깨 캘리브레이션 이미지는 모두 하나의 400*400 픽셀의 탬플릿에 대응되기에 복수개의 기설정된 크기의 이미지를 얻을 수 있다.
제5단계: 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출한다.
본 발명 실시예에서, 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 있어서, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률은 즉 이미지 트레이닝 베이스에서 각각의 여성 정면 얼굴 이미지 중 픽셀점이 머리어깨 전경으로 캘리브레이팅되는 확률이다. 예를 들면, 가령 1000개의 여성 정면 얼굴 이미지가 있으면, 어느 하나의 픽셀점이 500개의 여성 정면 얼굴 이미지 중에서 머리어깨 전경으로 캘리브레이팅되었으면 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률은 0.5이다. 따라서, 각각의 픽셀점이 트레이닝 데이터에서 머리어깨 전경으로 캘리브레이팅 되는 확률을 통계하면 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 확률을 얻을 수 있다.
201b, 남성 머리어깨 위치 사전모형의 구축단계는 하기와 같은 5개 단계로 나뉜다.
제1단계: 기설정된 개수의 남성 정면 얼굴 이미지를 선택한다.
여기서, 기설정된 수량의 크기는 500개 또는 1000개 등등일 수 있는 바, 본 발명 실시예는 이에 대하여 구체적으로 한정하지 않는다. 기설정된 개수의 남성 정면 얼굴 이미지를 후속되는 남성 머리어깨 위치 사전모형의 트레이닝 데이터로 하여 이미지 트레이닝 베이스에 저장한다.
제2단계: 사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성한다.
단계201a의 제2단계와 같은 이치이므로 여기서는 더이상 설명하지 않기로 한다.
제3단계: 각각의 남성 정면 얼굴 이미지에 대하여 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는다.
단계201a의 제3단계와 같은 이치이므로 여기서는 더 이상 설명하지 않기로 한다.
제4단계: 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는다.
단계201a의 제4단계와 같은 이치이므로 여기서는 더이상 설명하지 않기로 한다.
제5단계: 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출한다.
단계201a의 제5단계와 같은 이치이므로 여기서는 더 이상 설명하지 않기로 한다.
설명해야 할 것은, 단계201a든지 단계201b든지를 막론하고, 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률은 모두 하기 공식(1)을 통하여 얻을 수 있는 바, 머리어깨 전경 캘리브레이션 결과에 근거하여 하기 공식을 응용하여 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출한다.
Figure 112015004598017-pct00093
(1）
Figure 112016064442191-pct00094
는 픽셀점
Figure 112016064442191-pct00095
부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
Figure 112016064442191-pct00096
는 제
Figure 112016064442191-pct00097
번째 이미지 중 픽셀점
Figure 112016064442191-pct00098
부분의 캘리브레이션 결과를 의미하며,
Figure 112016064442191-pct00099
은 제
Figure 112016064442191-pct00100
번째 이미지 중 픽셀점
Figure 112016064442191-pct00101
부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
Figure 112016064442191-pct00102
은 제
Figure 112016064442191-pct00103
번째 이미지 중 픽셀점
Figure 112016064442191-pct00104
부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미한다. 여성 정면 얼굴 이미지에 있어서, 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하면 여성 머리어깨 위치 사전모형을 얻을 수 있고, 남성 정면 얼굴 이미지에 있어서, 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하면 남성 머리어깨 위치 사전모형을 얻을 수 있다.
단계202에서, 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻고, 성별인식 결과에 근거하여, 분할하려는 이미지에 대응되는 사전확률을 결정한다.
본 발명 실시예에서, 남성 얼굴 이미지와 여성 얼굴 이미지의 특징에 차이가 있기에 상이한 머리어깨 위치 사전모형에 대응되므로 이미지 분할을 진행하기 전에 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여야 한다. 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행할 때, 기존의 얼굴인식 알고리즘을 사용하여 실현할 수 있는 바 여기서는 더이상 설명하지 않기로 한다. 상기 단계201에서 이미 여성 머리어깨 위치 사전모형과 남성 머리어깨 위치 사전모형을 얻었기에 분할하려는 이미지 중의 얼굴의 성별을 결정한 후, 분할하려는 이미지에 대응되는 머리어깨 위치 사전모형을 결정할 수 있는 바, 즉 분할하려는 이미지에 대응되는 사전확률을 얻을 수 있다.
단계203에서, 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 크면, 픽셀점을 전경 샘플 픽셀점으로 결정하고; 픽셀점의 사전확률이 배경확률 임계값보다 작은지의 여부를 판정하고, 픽셀점의 사전확률이 배경확률 임계값보다 작으면, 픽셀점을 배경 샘플 픽셀점으로 결정한다.
여기서, 머리어깨 전경확률 임계값은 구체적으로 0.7 또는 0.8 등등일 수 있는 바 본 발명 실시예는 이에 대하여 구체적으로 한정하지 않기로 한다. 배경확률 임계값은 구체적으로 0.2 또는 0.3 등등일 수 있는 바 본 발명 실시예는 이에 대하여 구체적으로 한정하지 않기로 한다.
본 발명 실시예에서, 샘플 픽셀점을 선택하기 전에, 먼저 분할하려는 이미지에 대하여 얼굴 외부 윤곽 특징점 포지셔닝을 진행하고, 포지셔닝 결과에 근거하여 분할하려는 이미지에 대하여 치수조정을 진행하여 분할하려는 이미지가 400*400 픽셀 탬플릿의 치수 크기와 동일하게 할 수 있다. 이로써, 분할하려는 이미지 중의 각각의 픽셀점이 모두 400*400 픽셀 탬플릿 중 동일한 위치의 픽셀점과 대응된다. 따라서, 400*400 픽셀 탬플릿 중 대응되는 위치 상의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률이 바로 분할하려는 이미지 중 동일한 위치 픽셀점에 대응되는 사전확률이다.
머리어깨 전경확률 임계값이 0.8이고, 배경확률 임계값이 0.2인 경우를 예로 들면, 하나의 픽셀점에 있어서, 픽셀점의 사전확률이 0.8보다 크면 픽셀점을 전경 샘플 픽셀점으로 결정하고 픽셀점의 사전확률이 0.2보다 작으면 픽셀점을 배경 샘플 픽셀점으로 결정한다. 사전확률이 0.2 내지 0.8 사이인 픽셀점에 대하여 어떠한 처리도 진행하지 않는다.
단계204에서, 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출한다.
본 발명 실시예에서, 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터는 기존의 컬러 벡터 산출공식을 사용하여 얻을 수 있는 바, 여기서는 더이상 설명하지 않기로 한다. 제1컬러 우도확률과 제2컬러 우도확률을 계산하기 전, 즉 컬러 우도모형을 얻기 전에, 본 발명 실시예는 컬러 사이의 관련성에 근거하여 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점에 대하여 클러스터링을 진행하여야 한다. 클러스터링을 진행할 때, 본 발명 실시예는 머리어깨 전경 샘플 픽셀점을
Figure 112016014137579-pct00246
=5 개 클러스터 중심으로 클러스터링하고, 배경의 복잡성을 고려하면, 본 발명 실시예는 머리어깨 전경 샘플 픽셀점을
Figure 112016014137579-pct00247
=15 개 클러스터 중심으로 클러스터링한다. 물론,
Figure 112016014137579-pct00248
와
Figure 112016014137579-pct00249
의 크기는 상기 수치를 제외하고 기타 수치일 수도 있는 바, 본 발명 실시예에서는 이에 대하여 구체적으로 한정하지 않는다.
여기서, 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출할 때, 하기 공식(2)와 공식(3)을 통하여 실현할 수 있다.
Figure 112015004598017-pct00105
(2)
Figure 112015004598017-pct00106
(3)
상기 식에서,
Figure 112015004598017-pct00107
는 제
Figure 112015004598017-pct00108
번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
Figure 112015004598017-pct00109
는 제1컬러 우도확률을 의미하며,
Figure 112015004598017-pct00110
는 제2컬러 우도확률을 의미하고,
Figure 112015004598017-pct00111
는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
Figure 112015004598017-pct00112
는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
Figure 112015004598017-pct00113
는 컬러 특징 벡터
Figure 112015004598017-pct00114
에서 클러스터 중심
Figure 112015004598017-pct00115
까지의 유클리드 거리를 의미하고,
Figure 112015004598017-pct00116
는 제 번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
Figure 112015004598017-pct00118
는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같다.
Figure 112015004598017-pct00119
(4)
Figure 112015004598017-pct00120
(5)
단계205에서, 사전확률, 제1컬러 우도확률과 제2컬러 우도확률에 근거하여, 머리어깨 전경의 제1사후확률과 배경의 제2사후확률을 산출한다.
본 발명 실시예에서, 머리어깨 위치 사전모형과 컬러 우도모형을 얻은 후, 베이스(Bayes)의 사후확률 이론에 근거하여, 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점의 컬러 특징 벡터를 이미 알고 있는 정황하에서 머리어깨 전경의 제 1 사후확률과 배경의 제 2 사후확률은 하기 공식(6)과 공식(7)을 통하여 얻을 수 있다.
Figure 112015004598017-pct00121
(6)
Figure 112015004598017-pct00122
(7)
상기 식에서,
Figure 112016014137579-pct00123
는 머리어깨 전경의 제 1 사후확률을 의미하고,
Figure 112016014137579-pct00124
는 배경의 제 2 사후확률을 의미한다.
단계206에서, 제1사후확률과 제2사후확률에 근거하여, 분할하려는 이미지에 대하여 머리어깨 분할을 진행한다.
본 발명 실시예에서, 제1사후확률과 제2사후확률을 얻으면 최종적인 머리어깨 분할모형을 얻을 수 있다. 머리어깨 분할모형을 Graph cut 최적화 프레임 중의 데이터항에 넣고, 이미지 픽셀의 콘트라스트(contrast) 정보를 결부하며, min-cut-max-flow 최적화 방법을 사용하여 분할하려는 이미지에 대하여 분할을 진행하면 최종적인 머리어깨 분할결과를 얻을 수 있다.
본 발명 실시예가 제공하는 방법은 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치머리어깨 전경이 나타나는 사전확률을 산출하고, 머리어깨 전경의 사전확률에 기반하여 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 자동적으로 선택하여 샘플 픽셀점의 선택과정에서 사용자가 참여할 필요가 없는 목적에 도달함으로써, 사용자의 체험도가 양호하다. 이밖에, 이미지 분할을 진행할 시, 사전확률과 컬러 우도확률에 기반하여 분할을 진행하기에 분할 표준이 세밀하고 분할 정밀도가 높다.
도 3은 일 예시적 실시예에 따라 도시한 이미지 분할장치의 블록도이다. 도3을 참조하면, 상기 장치는 사전확률 산출모듈(301), 샘플 픽셀점 선택모듈(302), 컬러 우도확률 산출모듈(303), 사후확률 산출모듈(304), 이미지 분할모듈(305)을 포함한다.
여기서, 사전확률 산출모듈(301), 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하기 위한 것이고; 샘플 픽셀점 선택모듈(302)은 사전확률 산출모듈(301)과 연결되어, 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하기 위한 것이며; 컬러 우도확률 산출모듈(303)은 샘플 픽셀점 선택모듈(302)과 연결되어, 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출하기 위한 것이고; 사후확률 산출모듈(304)은 컬러 우도확률 산출모듈(303)과 연결되어, 사전확률, 제1컬러 우도확률과 제2컬러 우도확률에 근거하여, 머리어깨 전경의 제1사후확률과 배경의 제2사후확률을 산출하기 위한 것이며; 이미지 분할모듈(305)은 사후확률 산출모듈(304)과 연결되어, 제1사후확률과 제2사후확률에 근거하여, 분할하려는 이미지에 대하여 머리어깨 분할을 진행하기 위한 것이다.
바람직하게는, 사전확률 산출모듈은 기설정된 개수의 여성 정면 얼굴 이미지를 선택하고; 사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하며; 각각의 여성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻으며; 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻고; 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하기 위한 것이다.
바람직하게는, 사전확률 산출모듈은 기설정된 개수의 남성 정면 얼굴 이미지를 선택하고; 사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하며; 각각의 남성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻으며; 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻고; 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하기 위한 것이다.
바람직하게는, 사전확률 산출모듈은 하기 공식을 응용하여 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하고,
Figure 112015004598017-pct00125
상기 식에서,
Figure 112016064442191-pct00126
는 픽셀점
Figure 112016064442191-pct00127
부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
Figure 112016064442191-pct00128
는 제
Figure 112016064442191-pct00129
번째 이미지 중 픽셀점
Figure 112016064442191-pct00130
부분의 캘리브레이션 결과를 의미하며,
Figure 112016064442191-pct00131
은 제
Figure 112016064442191-pct00132
번째 이미지 중 픽셀점
Figure 112016064442191-pct00133
부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
Figure 112016064442191-pct00134
은 제
Figure 112016064442191-pct00135
번째 이미지 중 픽셀점
Figure 112016064442191-pct00136
부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미한다.
바람직하게는, 샘플 픽셀점 선택모듈은 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻고; 성별인식 결과에 근거하여, 분할하려는 이미지에 대응되는 사전확률을 결정하며; 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 크면, 픽셀점을 전경 샘플 픽셀점으로 결정하고; 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 픽셀점의 사전확률이 배경확률 임계값보다 작은지의 여부를 판정하고, 픽셀점의 사전확률이 배경확률 임계값보다 작으면, 픽셀점을 배경 샘플 픽셀점으로 결정하기 위한 것이다.
바람직하게는, 컬러 우도확률 산출모듈은 하기 공식을 응용하여 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 계산하고,
Figure 112015004598017-pct00137
상기 식에서,
Figure 112015004598017-pct00138
는 제
Figure 112015004598017-pct00139
번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
Figure 112015004598017-pct00140
는 제1컬러 우도확률을 의미하며,
Figure 112015004598017-pct00141
는 제2컬러 우도확률을 의미하고,
Figure 112015004598017-pct00142
는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
Figure 112015004598017-pct00143
는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
Figure 112015004598017-pct00144
는 컬러 특징 벡터
Figure 112015004598017-pct00145
에서 클러스터 중심
Figure 112015004598017-pct00146
까지의 유클리드 거리를 의미하고,
Figure 112015004598017-pct00147
는 제
Figure 112015004598017-pct00148
번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
Figure 112015004598017-pct00149
는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같다.
Figure 112015004598017-pct00150
바람직하게는, 사후확률 산출모듈은 하기 공식을 응용하여 머리어깨 전경의 제 1 사후확률, 배경의 제 2 사후확률을 산출하고,
Figure 112015004598017-pct00151
상기 식에서,
Figure 112016014137579-pct00152
는 머리어깨 전경의 제 1 사후확률을 의미하고,
Figure 112016014137579-pct00153
는 배경의 제 2 사후확률을 의미한다.
본 발명 실시예가 제공하는 장치는 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치머리어깨 전경이 나타나는 사전확률을 산출하고, 머리어깨 전경의 사전확률에 기반하여 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 자동적으로 선택하여 샘플 픽셀점의 선택과정에서 사용자가 참여할 필요가 없는 목적에 도달함으로써, 사용자의 체험도가 양호하다. 이밖에, 이미지 분할을 진행할 시, 사전확률과 컬러 우도확률에 기반하여 분할을 진행하기에 분할 표준이 세밀하고 분할 정밀도가 높다.
상기 실시예에 따른 장치에 관하여, 각각의 모듈이 실행하는 동작의 구체적인 방식은 이미 관련된 방법의 실시예에서 이미 상세히 설명하였기에 여기서는 더이상 설명하지 않기로 한다.
도 4는 일 예시적 실시예에 따라 도시한 이미지를 분할하기 위한 기기(400)의 블록도이다. 예를 들면, 기기(400)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메세지 송수신 기기, 게임 콘솔, 태블릿기기, 의료기기, 휘트니스기기, 개인 휴대 정보 단말기 등일 수 있다.
도 4를 참조하면, 기기(400)는 프로세싱 어셈블리(402), 메모리(404), 전원 어셈블리(406), 멀티미디어 어셈블리(408), 오디오 어셈블리(410), 입력/출력(I/O) 인터페이스(412), 센서 어셈블리(414) 및 통신 어셈블리(416)와 같은 하나 또는 다수의 어셈블리를 포함할 수 있다.
프로세싱 어셈블리(402)는 통상적으로 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록동작과 관련한 기기(400)의 전체 동작을 제어한다. 프로세싱 어셈블리(402)는 상기 방법의 전부 또는 일부 단계를 완성하도록 하나 또는 다수의 프로세서(420)를 포함하여 인스트럭션을 실행할 수 있다. 이 외에 프로세싱 어셈블리(402)는 프로세싱 어셈블리(402)와 기타 어셈블리 사이의 교류가 편리하도록 하나 또는 다수의 모듈을 포함할 수 있다. 예를 들어 프로세싱 어셈블리(402)는 멀티미디어 어셈블리(408)와 프로세싱 어셈블리(402) 사이의 교류가 편리하도록 멀티미디어 모듈을 포함할 수 있다.
메모리(404)는 기기(400)의 작동을 지지하도록 각종 유형의 데이터를 저장하도록 한다. 이러한 데이터의 예시는 기기(400)에서 작동하기 위한 그 어떤 응용 프로그램 또는 방법의 인스트럭션, 연계인 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다. 메모리(404)는 스태틱 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독전용 메모리(EEPROM), 소거 및 프로그램 가능 판독전용 메모리(EPROM), 프로그램 가능 판독전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 CD와 같은 모든 유형의 휘발성 또는 비휘발성 메모리 기기 또는 그들의 조합으로 이루어질 수 있다.
전원 어셈블리(406)는 기기(400)의 각종 어셈블리에 전력을 제공한다. 전원 어셈블리(406)는 전원관리시스템, 하나 또는 다수의 전원, 기기(400)에 전력을 생성, 관리 및 분배하는 것과 관련되는 기타 어셈블리를 포함할 수 있다.
멀티미디어 어셈블리(408)는 상기 기기(400)와 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서 스크린은 액정디스플레이(LCD)와 터치패널(TP)을 포함할 수 있다. 스크린이 터치패널을 포함하면, 스크린은 사용자가 입력한 신호를 수신하도록 터치스크린으로 구현될 수 있다. 터치패널은 터치, 슬라이딩과 터치패널의 손동작을 감지하도록 하나 또는 다수의 터치센서를 포함한다. 상기 터치센서는 터치 또는 슬라이딩 동작의 경계를 감지할 수 있을 뿐만아니라 상기 터치 또는 슬라이딩 동작과 관련한 지속시간과 압력도 검출할 수 있다. 일부 실시예에서, 멀티미디어 어셈블리(408)는 하나의 프론트 카메라 및/또는 리어 카메라를 포함한다. 기기(400)가 작동모드, 예를 들어 촬영모드 또는 동영상모드 일 경우, 프론트 카메라 및/또는 리어 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 매 프론트 카메라와 리어 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리와 광학 줌 기능을 구비할 수 있다.
오디오 어셈블리(410)는 오디오신호를 출력 및/또는 입력한다. 예를 들어, 오디오 어셈블리(410)는 하나의 마이크(MIC)를 포함하는 바, 기기(400)가 작동모드, 예를 들어 호출모드, 기록모드 및 음성모드 일 경우, 마이크는 외부의 오디오신호를 수신한다. 수신된 오디오신호는 또한 메모리(404)에 저장되거나 통신 어셈블리(416)를 거쳐 발송될 수 있다. 일부 실시예에서 오디오 어셈블리(410)는 오디오신호를 출력하기 위한 하나의 스피커를 더 포함한다.
I/O 인터페이스(412)는 프로세싱 어셈블리(402)와 주변 인터페이스모듈 사이에 인터페이스를 제공하되 상기 주변 인터페이스모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량버튼, 작동버튼과 잠금버튼을 포함하나 이에 한정하지는 않는다.
센서 어셈블리(414)는 하나 또는 다수의 센서를 포함하여 기기(400)에 여러 방면의 상태평가를 제공한다. 예를 들어, 센서 어셈블리(414)는 기기(400)의 온오프상태, 어셈블리의 상대위치, 예를 들어, 상기 어셈블리는 기기(400)의 모니터와 키패드를 검출할 수 있고, 센서 어셈블리(414)는 기기(400) 또는 장치(600)의 한 어셈블리의 위치변화, 사용자와 기기(400)의 접촉여부, 기기(400) 방위 또는 가속/감속과 기기(400)의 온도변화를 검출할 수 있다. 센서 어셈블리(414)는 아무런 물리접촉이 없을 경우 주변 물체의 존재를 검출하도록 구성된 근접센서를 포함할 수 있다. 센서 어셈블리(414)는 COMS 또는 CCD 영상 센서와 같은 광센서를 더 포함하여 영상응용에 사용한다. 일부 실시예에서, 상기 센서 어셈블리(414)는 가속도센서, 자이로센서, 자기센서, 압력센서 또는 온도센서를 더 포함할 수 있다.
통신 어셈블리(416)는 기기(400)와 기타 기기 사이의 유선 또는 무선방식의 통신이 편리하도록 한다. 기기(400)는 통신표준에 의한 무선인터넷, 예를 들어, WiFi, 2G 또는3G 또는 이들의 조합을 접입할 수 있다. 일 예시적 실시예에서, 통신 어셈블리(416)는 방송신호를 거쳐 외부방송관리시스템의 방송신호 또는 방송과 관련한 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 어셈블리(416)는 근거리 통신을 가능하게 하도록 근거리 무선 통신(NFC) 모듈을 더 포함한다. 예를 들어, 무선 주파수 인식(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술과 기타 기술에 기반하여 실현할 수 있다.
예시적 실시예에서 기기(400)는 상기 방법을 수행하도록 하나 또는 다수의 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세스(DSP), 디시털 신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 부품에 의해 실현될 수 있다.
예시적 실시예에서는 인스트럭션을 포함하는 비일시적 컴퓨터 판독 가능한 기록 매체, 예를 들어 상기 방법을 완성하도록 기기(400)의 프로세서(420)가 실행하는 인스트럭션을 포함하는 메모리(404)를 더 제공한다. 예를 들어, 상기 비일시적 컴퓨터 판독 가능한 기록 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 테이프, 플로피 디스켓과 광 데이터 저장기기 등일 수 있다.
비일시적 컴퓨터 판독 가능한 기록 매체에 있어서, 기록 매체 중의 인스트럭션이 이동단말의 프로세서에 의해 실행될 때, 이동단말은 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계와,
사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계와,
머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출하는 단계와,
사전확률, 제1컬러 우도확률과 제2컬러 우도확률에 근거하여, 머리어깨 전경의 제1사후확률과 배경의 제2사후확률을 산출하는 단계와,
제1사후확률과 제2사후확률에 근거하여, 분할하려는 이미지에 대하여 머리어깨 분할을 진행하는 단계를 포함하는 이미지 분할방법을 실현할 수 있다.
바람직하게는, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
기설정된 개수의 여성 정면 얼굴 이미지를 선택하는 단계와,
사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
각각의 여성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함한다.
바람직하게는, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
기설정된 개수의 남성 정면 얼굴 이미지를 선택하는 단계와,
사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
각각의 남성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함한다.
바람직하게는, 머리어깨 전경 캘리브레이션 결과에 근거하여, 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는 하기 공식을 응용하고,
Figure 112015004598017-pct00154
상기 식에서,
Figure 112016064442191-pct00155
는 픽셀점
Figure 112016064442191-pct00156
부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
Figure 112016064442191-pct00157
는 제
Figure 112016064442191-pct00158
번째 이미지 중 픽셀점
Figure 112016064442191-pct00159
부분의 캘리브레이션 결과를 의미하며,
Figure 112016064442191-pct00160
은 제
Figure 112016064442191-pct00161
번째 이미지 중 픽셀점
Figure 112016064442191-pct00162
부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
Figure 112016064442191-pct00163
은 제
Figure 112016064442191-pct00164
번째 이미지 중 픽셀점
Figure 112016064442191-pct00165
부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미한다.
바람직하게는, 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계는,
분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻는 단계와,
성별인식 결과에 근거하여, 분할하려는 이미지에 대응되는 사전확률을 결정하는 단계와,
분할하려는 이미지 중의 각각의 픽셀점에 대하여, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 픽셀점의 사전확률이 머리어깨 전경확률 임계값보다 크면, 픽셀점을 전경 샘플 픽셀점으로 결정하는 단계와,
분할하려는 이미지 중의 각각의 픽셀점에 대하여, 픽셀점의 사전확률이 배경확률 임계값보다 작은지의 여부를 판정하고, 픽셀점의 사전확률이 배경확률 임계값보다 작으면, 픽셀점을 배경 샘플 픽셀점으로 결정하는 단계를 포함한다.
바람직하게는, 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여 머리어깨 전경의 제1컬러 우도확률과 배경의 제2컬러 우도확률을 산출하는 단계는 하기의 공식을 응용하고,
Figure 112015004598017-pct00166
상기 식에서,
Figure 112015004598017-pct00167
는 제
Figure 112015004598017-pct00168
번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
Figure 112015004598017-pct00169
는 제1컬러 우도확률을 의미하며,
Figure 112015004598017-pct00170
는 제2컬러 우도확률을 의미하고,
Figure 112015004598017-pct00171
는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
Figure 112015004598017-pct00172
는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
Figure 112015004598017-pct00173
는 컬러 특징 벡터
Figure 112015004598017-pct00174
에서 클러스터 중심
Figure 112015004598017-pct00175
까지의 유클리드 거리를 의미하고,
Figure 112015004598017-pct00176
는 제
Figure 112015004598017-pct00177
번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
Figure 112015004598017-pct00178
는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같다.
Figure 112015004598017-pct00179
바람직하게는, 사전확률, 제1컬러 우도확률과 제2컬러 우도확률에 근거하여, 머리어깨 전경의 제 1 사후확률, 배경의 제 2 사후확률을 산출하는 단계는 하기 공식을 응용하고,
Figure 112015004598017-pct00180
상기 식에서,
Figure 112016014137579-pct00181
는 머리어깨 전경의 제 1 사후확률을 의미하고,
Figure 112016014137579-pct00182
는 배경의 제 2 사후확률을 의미한다.
본 발명 실시예가 제공하는 비일시적 컴퓨터 판독가능 기록 매체는 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치머리어깨 전경이 나타나는 사전확률을 산출하고, 머리어깨 전경의 사전확률에 기반하여 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 자동적으로 선택하여 샘플 픽셀점의 선택과정에서 사용자가 참여할 필요가 없는 목적에 도달함으로써, 사용자의 체험도가 양호하다. 이밖에, 이미지 분할을 진행할 시, 사전확률과 컬러 우도확률에 기반하여 분할을 진행하기에 분할 표준이 세밀하고 분할 정밀도가 높다.
도 5는 일 예시적 실시예에 따라 도시한 이미지를 분할하기 위한 기기(500)의 블록도이다. 예를 들면, 기기(500)는 서버로 제공될 수 있다. 도5를 참조하면, 기기(500)는 프로세싱 어셈블리(522)를 포함하고, 또한 하나 또는 다수의 프로세서 및 프로세싱 어셈블리(522)로 실행되는 응용프로그램과 같은 인스트럭션을 저장하기 위한 메모리(532)로 대표되는 메모리 자원을 포함한다. 메모리(532)에 저장된 응용 프로그램은 한 그룹의 인스터럭션에 대응되는 하나 또는 하나 이상의 모듈을 포함할 수 있다. 이밖에, 프로세싱 어셈블리(522)는 상기 방법을 실현하기 위한 인스트럭션을 실행하도록 구성된다.
기기(500)는 기기(500)의 전원 관리를 실행하도록 구성되는 하나 또는 하나이상의 전원 어셈블리(1926), 기기(500)를 네트워크에 연결하도록 구성된 하나 또는 하나 이상의 유선이나 무선 인터넷인터페이스(550), 하나 또는 하나 이상의 입력출력(I/O) 인터페이스(558)를 포함할 수 있다. 기기(500)는 메모리(532)에 저장된 운영체제에 기반하여 작동할 수 있는 바, 상기 운영체제는 예를 들면Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 이들과 유사한 운영체제이다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들은 명세서를 고려하여 여기서 공개한 발명을 실시한 후 본 발명의 기타 실시형태를 용이하게 생각해낼 수 있다. 본원 발명은 본 발명의 모든 변형, 용도 또는 적응성 변화를 포함하고 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리를 따르며 본 발명이 공개하지 않은 본 기술분야에서의 공지된 상식 또는 통상적인 기술수단을 포함한다. 명세서와 실시예는 예시적인 것일 뿐 본 발명의 진정한 범위와 기술적 사상은 하기의 청구범위에 의해 밝혀질 것이다.
본 발명은 상기에서 설명하고 도면에 도시한 정확한 구조에 한정되는 것이 아니라 그 범위를 벗어나지 않는 한 여러가지 수정과 변경을 할 수 있음을 이해해야 한다. 본 발명의 범위는 첨부되는 청구범위에 의해서만 한정된다.

Claims (17)

  1. 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계와,
    상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계와,
    상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 상기 머리어깨 전경의 제1컬러 우도확률(likelihood probability)과 상기 배경의 제2컬러 우도확률을 산출하는 단계와,
    상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제1사후확률과 상기 배경의 제2사후확률을 산출하는 단계와,
    상기 제1사후확률과 상기 제2사후확률에 근거하여, 상기 분할하려는 이미지에 대하여 머리어깨 분할을 진행하는 단계를 포함하는
    이미지 분할방법.
  2. 제1항에 있어서,
    상기 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
    기설정된 개수의 여성 정면 얼굴 이미지를 선택하는 단계와,
    사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션(calibration) 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
    각각의 여성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
    얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬(alignment) 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
    복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함하는
    이미지 분할방법.
  3. 제1항에 있어서,
    상기 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계는,
    기설정된 개수의 남성 정면 얼굴 이미지를 선택하는 단계와,
    사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하는 단계와,
    각각의 남성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻는 단계와,
    얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 상기 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻는 단계와,
    복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 단계를 포함하는
    이미지 분할방법.
  4. 제2항 또는 제3항에 있어서,
    상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는 상기 단계는 하기 공식을 응용하고,
    Figure 112016064442191-pct00183

    상기 식에서,
    Figure 112016064442191-pct00184
    는 픽셀점
    Figure 112016064442191-pct00185
    부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
    Figure 112016064442191-pct00186
    는 제
    Figure 112016064442191-pct00187
    번째 이미지 중 픽셀점
    Figure 112016064442191-pct00188
    부분의 캘리브레이션 결과를 의미하며,
    Figure 112016064442191-pct00189
    은 제
    Figure 112016064442191-pct00190
    번째 이미지 중 픽셀점
    Figure 112016064442191-pct00191
    부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
    Figure 112016064442191-pct00192
    은 제
    Figure 112016064442191-pct00193
    번째 이미지 중 픽셀점
    Figure 112016064442191-pct00194
    부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미하는
    이미지 분할방법.
  5. 제1항에 있어서,
    상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하는 단계는,
    상기 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻는 단계와,
    상기 성별인식 결과에 근거하여, 상기 분할하려는 이미지에 대응되는 사전확률을 결정하는 단계와,
    상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 크면, 상기 픽셀점을 전경 샘플 픽셀점으로 결정하는 단계와,
    상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작은지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작으면, 상기 픽셀점을 배경 샘플 픽셀점으로 결정하는 단계를 포함하는
    이미지 분할방법.
  6. 제1항에 있어서,
    상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 산출하는 단계는 하기의 공식을 응용하고,
    Figure 112015004598017-pct00195

    상기 식에서,
    Figure 112015004598017-pct00196
    는 제
    Figure 112015004598017-pct00197
    번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
    Figure 112015004598017-pct00198
    는 제1컬러 우도확률을 의미하며,
    Figure 112015004598017-pct00199
    는 제2컬러 우도확률을 의미하고,
    Figure 112015004598017-pct00200
    는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
    Figure 112015004598017-pct00201
    는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
    Figure 112015004598017-pct00202
    는 컬러 특징 벡터
    Figure 112015004598017-pct00203
    에서 클러스터 중심
    Figure 112015004598017-pct00204
    까지의 유클리드 거리를 의미하고,
    Figure 112015004598017-pct00205
    는 제
    Figure 112015004598017-pct00206
    번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
    Figure 112015004598017-pct00207
    는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같은
    Figure 112015004598017-pct00208

    이미지 분할방법.
  7. 제1항 내지 제3항, 제5항 및 제6항 중 어느 한 항에 있어서,
    상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제 1 사후확률, 상기 배경의 제 2 사후확률을 산출하는 상기 단계는 하기 공식을 응용하고,
    Figure 112016014137579-pct00209

    상기 식에서,
    Figure 112016014137579-pct00210
    는 상기 머리어깨 전경의 제 1 사후확률을 의미하고,
    Figure 112016014137579-pct00211
    는 상기 배경의 제 2 사후확률을 의미하고,
    Figure 112016014137579-pct00250
    는 픽셀점
    Figure 112016014137579-pct00251
    부분에 머리어깨 전경이 나타나는 사전확률을 의미하며,
    Figure 112016014137579-pct00252
    는 제1컬러 우도확률을 의미하며,
    Figure 112016014137579-pct00253
    는 제2컬러 우도확률을 의미하는
    이미지 분할방법.
  8. 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하기 위한 사전확률 산출모듈과,
    상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하기 위한 샘플 픽셀점 선택모듈과,
    상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 산출하기 위한 컬러 우도확률 산출모듈과,
    상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제1사후확률과 상기 배경의 제2사후확률을 산출하기 위한 사후확률 산출모듈과,
    상기 제1사후확률과 상기 제2사후확률에 근거하여, 상기 분할하려는 이미지에 대하여 머리어깨 분할을 진행하기 위한 이미지 분할모듈을 포함하는
    이미지 분할장치.
  9. 제8항에 있어서,
    상기 사전확률 산출모듈은, 기설정된 개수의 여성 정면 얼굴 이미지를 선택하고; 사용자가 각각의 여성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 여성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하며; 각각의 여성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻으며; 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻고; 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는
    이미지 분할장치.
  10. 제8항에 있어서,
    상기 사전확률 산출모듈은, 기설정된 개수의 남성 정면 얼굴 이미지를 선택하고; 사용자가 각각의 남성 정면 얼굴 이미지에 대한 머리어깨 전경 캘리브레이션 결과에 근거하여, 각각의 남성 정면 얼굴 이미지의 머리어깨 캘리브레이션 이미지를 생성하며; 각각의 남성 정면 얼굴 이미지에 대하여, 얼굴 외부 윤곽 특징점 포지셔닝을 진행하여 포지셔닝 결과를 얻으며; 얼굴 외부 윤곽 특징점의 포지셔닝 결과에 근거하여, 상기 각각의 머리어깨 캘리브레이션 이미지에 대하여 정렬 및 치수 정규화 처리를 진행하여, 복수개의 기설정된 크기의 이미지를 얻고; 복수개의 기설정된 크기의 이미지 중 동일한 위치의 픽셀점에 대하여, 상기 머리어깨 전경 캘리브레이션 결과에 근거하여, 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하는
    이미지 분할장치.
  11. 제9항 또는 제10항에 있어서,
    상기 사전확률 산출모듈은 하기 공식을 응용하여 상기 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하고,
    Figure 112016064442191-pct00212

    상기 식에서,
    Figure 112016064442191-pct00213
    는 픽셀점
    Figure 112016064442191-pct00214
    부분에 머리어깨 전경이 나타나는 사전확률을 의미하고,
    Figure 112016064442191-pct00215
    는 제
    Figure 112016064442191-pct00216
    번째 이미지 중 픽셀점
    Figure 112016064442191-pct00217
    부분의 캘리브레이션 결과를 의미하며,
    Figure 112016064442191-pct00218
    은 제
    Figure 112016064442191-pct00219
    번째 이미지 중 픽셀점
    Figure 112016064442191-pct00220
    부분이 머리어깨 전경으로 캘리브레이팅되었음을 표시하고,
    Figure 112016064442191-pct00221
    은 제
    Figure 112016064442191-pct00222
    번째 이미지 중 픽셀점
    Figure 112016064442191-pct00223
    부분이 배경으로 캘리브레이팅되었음을 표시하며, N은 정면 얼굴 이미지의 수량을 의미하는
    이미지 분할장치.
  12. 제8항에 있어서,
    상기 샘플 픽셀점 선택모듈은 상기 분할하려는 이미지 중의 얼굴에 대하여 성별인식을 진행하여 성별인식 결과를 얻고; 상기 성별인식 결과에 근거하여, 상기 분할하려는 이미지에 대응되는 사전확률을 결정하며; 상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 큰지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 머리어깨 전경확률 임계값보다 크면, 상기 픽셀점을 전경 샘플 픽셀점으로 결정하고; 상기 분할하려는 이미지 중의 각각의 픽셀점에 대하여, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작은지의 여부를 판정하고, 상기 픽셀점의 사전확률이 상기 배경확률 임계값보다 작으면, 상기 픽셀점을 배경 샘플 픽셀점으로 결정하기 위한 것인
    이미지 분할장치.
  13. 제8항에 있어서,
    상기 컬러 우도확률 산출모듈은 하기 공식을 응용하여 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 계산하고,
    Figure 112015004598017-pct00224

    상기 식에서,
    Figure 112015004598017-pct00225
    는 제
    Figure 112015004598017-pct00226
    번째 클러스터 중심의 컬러 특징 벡터를 의미하고,
    Figure 112015004598017-pct00227
    는 제1컬러 우도확률을 의미하며,
    Figure 112015004598017-pct00228
    는 제2컬러 우도확률을 의미하고,
    Figure 112015004598017-pct00229
    는 머리어깨 전경 샘플 픽셀점의 클러스터 중심 개수를 의미하며,
    Figure 112015004598017-pct00230
    는 배경 샘플 픽셀점의 클러스터 중심 개수를 의미하고,
    Figure 112015004598017-pct00231
    는 컬러 특징 벡터
    Figure 112015004598017-pct00232
    에서 클러스터 중심
    Figure 112015004598017-pct00233
    까지의 유클리드 거리를 의미하고,
    Figure 112015004598017-pct00234
    는 제
    Figure 112015004598017-pct00235
    번째 클러스터 중심의 샘플 픽셀점 개수가 총 샘플 픽셀점 개수에서 차지하는 비율을 의미하며,
    Figure 112015004598017-pct00236
    는 상이한 클러스터 중심의 컬러 특징 벡터 사이의 평균 유클리드 거리값을 의미하는 바 그 정의는 하기와 같은
    Figure 112015004598017-pct00237

    이미지 분할장치.
  14. 제8항 내지 제10항, 제12항 및 제13항 중 어느 한 항에 있어서,
    상기 사후확률 산출모듈은 하기 공식을 응용하여 상기 머리어깨 전경의 제 1 사후확률, 상기 배경의 제 2 사후확률을 산출하고,
    Figure 112016014137579-pct00238

    상기 식에서,
    Figure 112016014137579-pct00239
    는 상기 머리어깨 전경의 제 1 사후확률을 의미하고,
    Figure 112016014137579-pct00240
    는 상기 배경의 제 2 사후확률을 의미하고,
    Figure 112016014137579-pct00254
    는 픽셀점
    Figure 112016014137579-pct00255
    부분에 머리어깨 전경이 나타나는 사전확률을 의미하며,
    Figure 112016014137579-pct00256
    는 제1컬러 우도확률을 의미하며,
    Figure 112016014137579-pct00257
    는 제2컬러 우도확률을 의미하는
    이미지 분할장치.
  15. 프로세서와,
    프로세서가 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하되,
    상기 프로세서는, 얼굴 외부 윤곽점의 포지셔닝 결과에 근거하여, 기설정된 크기의 이미지 중 각각의 픽셀점 위치에 머리어깨 전경이 나타나는 사전확률을 산출하고,
    상기 사전확률, 미리 설정된 머리어깨 전경확률 임계값과 배경확률 임계값에 근거하여, 분할하려는 이미지 중에서 머리어깨 전경 샘플 픽셀점과 배경 샘플 픽셀점을 선택하며,
    상기 머리어깨 전경 샘플 픽셀점의 컬러 특징 벡터와 상기 배경 샘플 픽셀점의 컬러 특징 벡터에 근거하여, 상기 머리어깨 전경의 제1컬러 우도확률과 상기 배경의 제2컬러 우도확률을 산출하고,
    상기 사전확률, 상기 제1컬러 우도확률과 상기 제2컬러 우도확률에 근거하여, 상기 머리어깨 전경의 제1사후확률과 상기 배경의 제2사후확률을 산출하며,
    상기 제1사후확률과 상기 제2사후확률에 근거하여, 상기 분할하려는 이미지에 대하여 머리어깨 분할을 진행하도록 구성되는
    이미지 분할기기.
  16. 프로세서에 의해 실행되는 것을 통하여 제1항 내지 제3항, 제5항 및 제6항 중 어느 한 항에 기재된 이미지 분할방법을 구현하는 것을 특징으로 하는, 컴퓨터 판독가능한 기록매체에 저장되는
    프로그램.
  17. 제16항에 기재된 프로그램이 기록된
    컴퓨터 판독가능한 기록매체.
KR1020157001161A 2014-07-23 2014-11-19 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체 KR101694643B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410353140.7A CN104156947B (zh) 2014-07-23 2014-07-23 图像分割方法、装置及设备
CN201410353140.7 2014-07-23
PCT/CN2014/091643 WO2016011745A1 (zh) 2014-07-23 2014-11-19 图像分割方法、装置及设备

Publications (2)

Publication Number Publication Date
KR20160021737A KR20160021737A (ko) 2016-02-26
KR101694643B1 true KR101694643B1 (ko) 2017-01-09

Family

ID=51882437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157001161A KR101694643B1 (ko) 2014-07-23 2014-11-19 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체

Country Status (9)

Country Link
US (1) US9665945B2 (ko)
EP (1) EP2977956B1 (ko)
JP (1) JP6134446B2 (ko)
KR (1) KR101694643B1 (ko)
CN (1) CN104156947B (ko)
BR (1) BR112015003800A2 (ko)
MX (1) MX352237B (ko)
RU (1) RU2577188C1 (ko)
WO (1) WO2016011745A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105258680B (zh) * 2015-09-30 2017-12-01 西安电子科技大学 一种目标位姿测量方法和装置
CN105719294B (zh) * 2016-01-21 2018-09-25 中南大学 一种乳腺癌病理学图像有丝分裂核自动分割方法
JP6688990B2 (ja) * 2016-04-28 2020-04-28 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体
US9681096B1 (en) * 2016-07-18 2017-06-13 Apple Inc. Light field capture
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US20200001533A1 (en) 2017-02-07 2020-01-02 Valorbec Societe En Commandite Methods and systems for additive manufacturing
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US9992450B1 (en) * 2017-03-24 2018-06-05 Apple Inc. Systems and methods for background concealment in video conferencing session
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US11070729B2 (en) * 2018-07-27 2021-07-20 Canon Kabushiki Kaisha Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
CN113129312B (zh) * 2018-10-15 2022-10-28 华为技术有限公司 一种图像处理方法、装置与设备
CN109614983B (zh) * 2018-10-26 2023-06-16 创新先进技术有限公司 训练数据的生成方法、装置及系统
CN109409377B (zh) * 2018-12-03 2020-06-02 龙马智芯（珠海横琴）科技有限公司 图像中文字的检测方法及装置
US10635940B1 (en) * 2018-12-11 2020-04-28 Capital One Services, Llc Systems and methods for updating image recognition models
CN109509195B (zh) * 2018-12-12 2020-04-17 北京达佳互联信息技术有限公司 前景处理方法、装置、电子设备及存储介质
EP3959724A1 (en) 2019-04-23 2022-03-02 The Procter & Gamble Company Apparatus and method for visualizing cosmetic skin attributes
EP3959651A1 (en) 2019-04-23 2022-03-02 The Procter & Gamble Company Apparatus and method for determining cosmetic skin attributes
CN110266611B (zh) * 2019-07-08 2023-06-23 腾讯科技（上海）有限公司 缓冲数据的处理方法、装置和系统
CN110827371B (zh) * 2019-11-05 2023-04-28 厦门美图之家科技有限公司 证件照生成方法、装置、电子设备及存储介质
CN114022934B (zh) * 2021-11-04 2023-06-27 清华大学 一种基于多数原则的实时人像聚档方法、系统和介质
CN115345895B (zh) * 2022-10-19 2023-01-06 深圳市壹倍科技有限公司 用于视觉检测的图像分割方法、装置、计算机设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199669A (ja) 2002-11-29 2004-07-15 Sony United Kingdom Ltd 顔検出
JP2006508461A (ja) 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出及び顔追跡

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW505513B (en) 2000-11-30 2002-10-11 Sanyo Electric Co Massager and electronic machine with controller
KR100427181B1 (ko) * 2001-12-19 2004-04-28 한국전자통신연구원 에지/컬러정보를 이용한 얼굴 피부색 영역 추출시스템 및그 방법
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
US20030156759A1 (en) 2002-02-19 2003-08-21 Koninklijke Philips Electronics N.V. Background-foreground segmentation using probability models that can provide pixel dependency and incremental training
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
JP2010282276A (ja) * 2009-06-02 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> 映像認識理解装置、映像認識理解方法、及びプログラム
JP5340228B2 (ja) * 2010-06-21 2013-11-13 日本電信電話株式会社 状態推定装置、状態推定方法、およびプログラム
CN102436637B (zh) 2010-09-29 2013-08-21 中国科学院计算技术研究所 从头部图像中自动分割头发的方法及其系统
CN102436636B (zh) * 2010-09-29 2013-09-25 中国科学院计算技术研究所 自动分割头发的方法及其系统
RU2440608C1 (ru) * 2010-12-02 2012-01-20 Государственное образовательное учреждение высшего профессионального образования Московский военный институт радиоэлектроники Космических войск Способ распознавания объектов на основе фрактально-вейвлетного анализа
CN102567998A (zh) * 2012-01-06 2012-07-11 西安理工大学 基于双模板匹配和边缘细化的头肩序列图像分割方法
EP2856425A1 (en) 2012-05-31 2015-04-08 Thomson Licensing Segmentation of a foreground object in a 3d scene
EP2669865A1 (en) 2012-05-31 2013-12-04 Thomson Licensing Segmentation of a foreground object in a 3D scene
RU2522044C1 (ru) * 2013-01-09 2014-07-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений
CN103871050B (zh) * 2014-02-19 2017-12-29 小米科技有限责任公司 图标分割方法、装置和终端
CN103871060B (zh) 2014-03-13 2016-08-17 西安电子科技大学 基于平稳方向波域概率图模型的图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199669A (ja) 2002-11-29 2004-07-15 Sony United Kingdom Ltd 顔検出
JP2006508461A (ja) 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出及び顔追跡

Also Published As

Publication number Publication date
CN104156947A (zh) 2014-11-19
RU2577188C1 (ru) 2016-03-10
JP6134446B2 (ja) 2017-05-24
CN104156947B (zh) 2018-03-16
MX352237B (es) 2017-11-15
KR20160021737A (ko) 2016-02-26
JP2016531361A (ja) 2016-10-06
EP2977956A1 (en) 2016-01-27
EP2977956B1 (en) 2017-01-11
MX2015002246A (es) 2016-04-01
WO2016011745A1 (zh) 2016-01-28
BR112015003800A2 (pt) 2017-07-04
US20160027187A1 (en) 2016-01-28
US9665945B2 (en) 2017-05-30

Similar Documents

Publication Publication Date Title
KR101694643B1 (ko) 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체
CN106651955B (zh) 图片中目标物的定位方法及装置
EP3125158B1 (en) Method and device for displaying images
EP2977959B1 (en) Method and device for adjusting skin color
CN105488527B (zh) 图像分类方法及装置
CN111310616A (zh) 图像处理方法及装置、电子设备和存储介质
US9959484B2 (en) Method and apparatus for generating image filter
CN107818543B (zh) 图像处理方法及装置
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
CN107944367B (zh) 人脸关键点检测方法及装置
CN105554389B (zh) 拍摄方法及装置
CN111105454B (zh) 一种获取定位信息的方法、装置及介质
CN107464253B (zh) 眉毛定位方法及装置
CN109840939B (zh) 三维重建方法、装置、电子设备及存储介质
CN110458218B (zh) 图像分类方法及装置、分类网络训练方法及装置
CN106557759B (zh) 一种标志牌信息获取方法及装置
TWI718631B (zh) 人臉圖像的處理方法及裝置、電子設備和儲存介質
CN107220614B (zh) 图像识别方法、装置及计算机可读存储介质
CN107403144B (zh) 嘴巴定位方法及装置
EP2975574A2 (en) Method, apparatus and terminal for image retargeting
CN112927122A (zh) 水印去除方法、装置及存储介质
CN109903252B (zh) 图像处理方法及装置、电子设备和存储介质
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质
US9665925B2 (en) Method and terminal device for retargeting images
CN107239758B (zh) 人脸关键点定位的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant