KR20160058058A - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR20160058058A
KR20160058058A KR1020150159812A KR20150159812A KR20160058058A KR 20160058058 A KR20160058058 A KR 20160058058A KR 1020150159812 A KR1020150159812 A KR 1020150159812A KR 20150159812 A KR20150159812 A KR 20150159812A KR 20160058058 A KR20160058058 A KR 20160058058A
Authority
KR
South Korea
Prior art keywords
pixel
image
value
distance
region
Prior art date
Application number
KR1020150159812A
Other languages
English (en)
Inventor
멍치 지
샨 가오
하이옌 양
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20160058058A publication Critical patent/KR20160058058A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06T7/0087—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 이미지 처리 방법 및 장치를 제공하며, 상기 방법은: 제1 이미지 내의 제1 영역의 가우시안 혼합 모델(Gaussian mixture model)을 결정하는 단계 - 상기 제1 영역은 상기 제1 이미지의 배경 영역(background area)에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지임 - ; 제2 이미지 내의 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하는 단계; 및 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하는 단계를 포함한다. 본 발명의 실시예에서, 픽셀이 속하는 영역은 이 픽셀로부터 가우시안 혼합 모델까지의 거리에 따라 직접 결정될 수 있으며, 이에 따라 이미지 전경 분할이 효과적으로 완료될 수 있다.

Description

이미지 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS}
본 발명은 정보 기술 분야에 관한 것이며, 특히 이미지 처리 방법 및 장치에 관한 것이다.
단색 배경의 영상에 기초한 미세한 전경 분할(이미지 매팅) 기술은 영화와 텔레비전 그리고 가상 장면의 시뮬레이션과 같은 애플리케이션에 폭넓게 적용되며, 증강 현실이나 영상 회의와 같은 상호작용 방식이 출현함에 따라 점점 중요한 역할을 한다. 그러므로 현재의 이미지 전경 분할의 요건을 충족하기 위해서는 고효율 이미지 처리 방법을 제공할 필요가 있다.
본 발명의 실시예는 이미지 처리 방법을 제공하며, 이 방법은 픽셀로부터 가우시안 모델까지의 거리에 따라 배경 픽셀을 직접 결정할 수 있으며, 이에 따라 이미지 전경 분할이 효과적으로 완료될 수 있다.
제1 관점에 따라, 이미지 처리 방법이 제공되며, 상기 방법은: 제1 이미지 내의 제1 영역의 가우시안 혼합 모델(Gaussian mixture model)을 결정하는 단계 - 상기 제1 영역은 상기 제1 이미지의 배경 영역(background area)에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지임 - ; 제2 이미지 내의 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하는 단계; 및 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하는 단계를 포함한다.
제1 관점을 참조하여, 제1 가능한 실시 방식에서, 상기 방법은: 상기 제2 이미지 내의 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하는 단계; 및 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역(foreground area)에 속하는 것으로 결정하는 단계를 더 포함한다.
제1 관점을 참조하여, 제2 가능한 실시 방식에서, 상기 방법은: 상기 제1 이미지의 제1 영역 내의 픽셀의 캐릭터 벡터의 예상 벡터를 결정하는 단계; 상기 예상 벡터에 따라 직교 좌표 공간을 결정하는 단계 - 상기 예상 벡터의 방향은 상기 직교 좌표 공간의 한 방향임 - ; 상기 제2 이미지의 제2 픽셀 중, 상기 직교 좌표 공간 내의 투사(projection)를 결정하는 단계 - 상기 투사는 제1 값, 제2 값, 및 제3 값을 포함하고, 상기 제1 값은 상기 제2 픽셀 중, 상기 예상 벡터의 방향의 투사임 - ; 및 상기 제1 값이 상기 제2 값보다 작거나 상기 제1 값이 상기 제3 값보다 작을 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하는 단계를 더 포함한다.
제1 가능한 실시 방식을 참조하여, 제3 가능한 실시 방식에서, 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역(pending area)에 속하는 것으로 결정되며; 그리고 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 작거나 같을 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정된다.
제2 가능한 실시 방식을 참조하여, 제4 가능한 실시 방식에서, 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정되고; 그리고
상기 제1 값이 상기 제2 값보다 크고 상기 제1 값이 상기 제3 값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정된다.
제3 또는 제4 가능한 실시 방식을 참조하여, 제5 가능한 실시 방식에서, 상기 방법은: 상기 제2 이미지의 대기 중인 영역에서 제4 픽셀을 획득하는 단계; 및 K-최근접 이웃 알고리즘(K-nearest-neighbor algorithm)을 사용함으로써, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하는 단계를 더 포함한다.
제5 가능한 실시 방식을 참조하여, 제6 가능한 실시 방식에서, 상기 K-최근접 이웃 알고리즘을 사용함으로써, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하는 단계는: 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 따라, 상기 제4 픽셀과 상기 제2 이미지의 배경 영역에 속하는 픽셀 간의 거리 및 상기 제4 픽셀과 상기 제2 이미지의 전경 영역에 속하는 픽셀 간의 거리를 계산하는 단계 - 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전격 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간(eigenspace)은 픽셀의 적 녹 청(Red Green Blue, RGB) 색 정보, 픽셀의 위치 정보, 및 픽셀의 방향 기울기 정보(oriented gradient information) 중 적어도 하나를 포함함 - ; 상기 제4 픽셀에 가장 근접하는 k개의 픽셀을 결정하는 단계 - 여기서 k는 양의 정수임 - ; 및 상기 k개의 픽셀이 모두 제2 이미지의 전경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하는 단계; 또는 상기 k개의 픽셀이 모두 제2 이미지의 배경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하는 단계를 포함한다.
제1 관점 또는 제1 내지 제6 가능한 실시 방식 중 임의의 가능한 실시 방식을 참조하여, 제7 가능한 실시 방식에서, 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리는 다음과 같이 표시되며,
Figure pat00001
여기서
Figure pat00002
이고,
Figure pat00003
이며,
여기서
Figure pat00004
는 가우시안 혼합 모델에서 m번째 가우시안 모델이고,
Figure pat00005
,
Figure pat00006
, 및
Figure pat00007
는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이며,
Figure pat00008
는 제1 픽셀의 캐릭터 벡터를 나타낸다.
제1 관점 또는 제1 내지 제7 가능한 실시 방식 중 임의의 가능한 실시 방식을 참조하여, 제8 가능한 실시 방식에서, 상기 제1 영역은 사용자에 의해 입력된 명령에 따라 결정된다.
제1 관점 또는 제1 내지 제8 가능한 실시 방식 중 임의의 가능한 실시 방식을 참조하여, 제9 가능한 실시 방식에서, 상기 제2 이미지는 상기 비디오에서 임의의 프레임의 이미지이다.
제2 관점에 따라, 이미지 처리 장치가 제공되며, 상기 장치는: 제1 이미지 내의 제1 영역의 가우시안 혼합 모델을 결정하도록 구성되어 있는 제1 결정 유닛 - 상기 제1 영역은 상기 제1 이미지의 배경 영역에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지임 - ; 상기 제1 결정 유닛은 제2 이미지 내의 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하도록 추가로 구성되어 있으며; 그리고 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성되어 있는 제2 결정 유닛을 포함한다.
제2 관점을 참조하여, 제2 관점의 제1 가능한 실시 방식에서, 상기 제1 결정 유닛은, 상기 제2 이미지 내의 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하도록 추가로 구성되어 있으며; 그리고 상기 제2 결정 유닛은, 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
제2 관점을 참조하여, 제2 관점의 제2 가능한 실시 방식에서, 상기 장치는: 상기 제1 이미지의 제1 영역 내의 픽셀의 캐릭터 벡터의 예상 벡터를 결정하고, 상기 예상 벡터에 따라 직교 좌표 공간을 결정하며 - 상기 예상 벡터의 방향은 상기 직교 좌표 공간의 한 방향임 - , 상기 제2 이미지의 제2 픽셀 중, 상기 직교 좌표 공간 내의 투사(projection)를 결정하도록 구성되어 있는 제3 결정 유닛을 더 포함하며, 상기 투사는 제1 값, 제2 값, 및 제3 값을 포함하고, 상기 제1 값은 상기 제2 픽셀 중, 상기 예상 벡터의 방향의 투사이며, 상기 제2 결정 유닛은, 상기 제1 값이 상기 제2 값보다 작거나 상기 제1 값이 상기 제3 값보다 작을 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
제2 관점의 제1 가능한 실시 방식을 참조하여, 제2 관점의 제3 가능한 실시 방식에서, 상기 제2 결정 유닛은: 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역(pending area)에 속하는 것으로 결정하며, 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 작거나 같을 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
제2 관점의 제2 가능한 실시 방식을 참조하여, 제2 관점의 제4 가능한 실시 방식에서, 상기 제2 결정 유닛은: 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하며, 상기 제1 값이 상기 제2 값보다 크고 상기 제1 값이 상기 제3 값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
제2 관점의 제3 또는 제4 가능한 실시 방식을 참조하여, 제2 관점의 제5 가능한 실시 방식에서, 상기 장치는: 상기 제2 이미지의 대기 중인 영역에서 제4 픽셀을 획득하도록 구성되어 있는 획득 유닛을 더 포함하며, 상기 제2 결정 유닛은: K-최근접 이웃 알고리즘(K-nearest-neighbor algorithm)을 사용함으로써, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하도록 추가로 구성되어 있다.
제2 관점의 제5 가능한 실시 방식을 참조하여, 제2 관점의 제6 가능한 실시 방식에서, 상기 제2 결정 유닛은 구체적으로: 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 따라, 상기 제4 픽셀과 상기 제2 이미지의 배경 영역에 속하는 픽셀 간의 거리 및 상기 제4 픽셀과 상기 제2 이미지의 전경 영역에 속하는 픽셀 간의 거리를 계산하고 - 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전격 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간(eigenspace)은 픽셀의 적 녹 청(Red Green Blue, RGB) 색 정보, 픽셀의 위치 정보, 및 픽셀의 방향 기울기 정보(oriented gradient information) 중 적어도 하나를 포함함 - ; 상기 제4 픽셀에 가장 근접하는 k개의 픽셀을 결정하며 - 여기서 k는 양의 정수임 - ; 그리고 상기 k개의 픽셀이 모두 제2 이미지의 전경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하거나; 또는 상기 k개의 픽셀이 모두 제2 이미지의 배경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성되어 있다.
제2 관점 또는 제2 관점의 제1 내지 제6 가능한 실시 방식 중 임의의 가능한 실시 방식을 참조하여, 제2 관점의 제7 가능한 실시 방식에서, 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리는 다음과 같이 표시되며,
Figure pat00009
여기서
Figure pat00010
이고,
Figure pat00011
이며,
여기서
Figure pat00012
는 가우시안 혼합 모델에서 m번째 가우시안 모델이고,
Figure pat00013
,
Figure pat00014
, 및
Figure pat00015
는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이며,
Figure pat00016
는 제1 픽셀의 캐릭터 벡터를 나타낸다.
제2 관점 또는 제2 관점의 제1 내지 제7 가능한 실시 방식 중 임의의 가능한 실시 방식을 참조하여, 제2 관점의 제8 가능한 실시 방식에서, 상기 제1 영역은 사용자에 의해 입력된 명령에 따라 결정된다.
제2 관점 또는 제2 관점의 제1 내지 제7 가능한 실시 방식 중 임의의 가능한 실시 방식을 참조하여, 제2 관점의 제8 가능한 실시 방식에서, 상기 제2 이미지는 상기 비디오에서 임의의 프레임의 이미지이다.
전술한 기술적 솔루션에 기초하여, 이미지 내의 픽셀로부터 배경 영역의 가우시안 혼합 모델까지의 거리가 결정되며, 이 거리가 미리 설정된 임계값보다 작거나 같을 때, 픽셀이 배경 영역에 속하는 것으로 결정되며, 픽셀이 속하는 영역은 픽셀로부터 가우시안 혼합 모델까지의 거리에 따라 직접 결정될 수 있으며, 이에 따라 이미지 전경 분할이 효과적으로 완료될 수 있다.
본 발명의 실시예의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예를 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법에 대한 개략적인 흐름도이다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 초기 이미지에 대한 개략도이다.
도 3은 본 발명의 다른 실시예에 따른 이미지 처리 방법에 대한 개략적인 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 이미지 처리 방법을 사용하여 획득된 예비 트라이맵에 대한 개략도이다.
도 5는 본 발명의 다른 실시예에 따른 이미지 처리 방법에 대한 개략적인 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 이미지 처리 방법을 사용하여 획득된 최종 트라이맵에 대한 개략도이다.
도 7은 본 발명의 실시예에 따른 이미지 처리 장치에 대한 개략적인 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 처리 장치에 대한 개략적인 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 이미지 처리 장치에 대한 개략적인 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 이미지 처리 장치에 대한 개략적인 블록도이다.
이하에서는 본 발명의 실시예에 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 솔루션에 대해 명확하게 설명한다. 당연히, 설명된 실시예는 본 발명의 모든 실시예가 아닌 일부에 지나지 않는다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 발명의 보호 범위 내에 있게 된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법(100)에 대한 개략적인 흐름도이다. 방법(100)은 이미지 처리 장치에 의해 실행될 수 있다. 도 1에 도시된 바와 같이, 방법(100)은 이하의 내용을 포함한다.
101: 제1 이미지 내의 제1 영역의 가우시안 혼합 모델(Gaussian mixture model)을 결정하며, 상기 제1 영역은 상기 제1 이미지의 배경 영역(background area)에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지이다.
제1 영역은, 제1 이미지를 초기화하는 프로세스에서, 사용자에 의해 입력된 명령에 따라 결정된다. 예를 들어: 배경 영역은 비디오 내의 제1 프레임의 이미지에서 사용자에 의해 입력된 명령에 따라 결정될 수 있다. 사용자는 이미지 내의 배경 영역의 범위를 정할 수도 있는데, 도 2에 도시된 대시 박스는 사용자가 범위를 정한 배경 영역이다. 바람직하게, 사용자가 범위를 정한 배경 영역은 배경 정보를 가능한 한 많이 포함해야 하는데, 주름 부분, 음영 부분, 및 빛과 그림자가 교차하는 부분과 같이 일부의 특별한 정보를 포함해야 한다.
102: 제2 이미지 내의 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정한다.
제2 이미지는 비디오에서 임의의 프레임의 이미지일 수 있다는 것을 이해할 수 있을 것이다.
103: 제1 픽셀로부터 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정한다.
또한, 제1 픽셀로부터 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 제1 픽셀이 제2 이미지의 대기 중인 영역(pending area)에 속하는 것으로 결정한다.
본 발명의 본 실시예에서, 가우시안 혼합 모델에서 m번째 가우시안 모델은
Figure pat00017
로 표시되며, 여기서
Figure pat00018
이고, M은 양의 정수이며, 예를 들어 M=3이다.
Figure pat00019
,
Figure pat00020
, 및
Figure pat00021
는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이다. 단계 102에서, 제1 픽셀로부터 가우시안 혼합 모델까지의 거리란 제1 픽셀로부터 가우시안 혼합 모델까지의 거리 중 최소 거리를 말하며, 이는 본 발명의 본 실시예에서 제한되지 않는다.
배경 모델은 간단한 가우시안 모델을 사용하여 추정될 수 있다는 것을 이해할 수 있을 것이다(즉, M=1). 이 경우, 배경의 밝음 및 음영 그리고 배경의 색은 분명하게 변하지 않으며, 이상적인 효과 역시 달성될 수 있다.
제1 임계값은 전경(foreground)을 가지는 임의의 프레임의 이미지를 참조함으로써 선택될 수 있는데, 여기서 제1 임계값은 범위가 정해진 배경 영역이 이미지 내의 모든 배경 영역을 포함하지 않을 수도 있다는 것을 충족해야 하지만, 한계(delimitation)를 통해 획득된 배경 픽셀에는 오류가 없다.
현재 프레임의 픽셀이 오류로 인해 배경으로 설정되어 있지 않으면, 제1 임계값은 다음 프레임의 이미지에서 근사적으로 증가되어야 한다. 제1 임계값이 증가할수록, 증가하는 픽셀의 양이 오류로 결정될 수 있다. 보수적으로, 임계값의 선택은 다음을 만족할 수 있다: 임계값은 픽셀이 오류로 인해 결정되지 않을 때 도달할 수 있는 최소 임계값의 1/2 또는 2/3이다.
그러므로 본 발명의 본 실시예에서의 이미지 처리 방법에서, 이미지 내의 픽셀로부터 배경 영역의 가우시안 혼합 모델까지의 거리가 결정되고, 이 거리가 미리설정된 임계값보다 작거나 같을 때, 픽셀이 배경 영역에 속하는 것으로 결정되며, 픽셀이 속하는 영역은 픽셀로부터 가우시안 혼합 모델까지의 거리에 따라 직접 결정될 수 있으며, 이에 따라 이미지 전경 분할이 효과적으로 완료될 수 있다.
본 발명의 본 실시예에서, 제2 이미지가 비디오에서의 제1 프레임의 이미지와는 다른 이미지일 때, 비디오에서의 제1 프레임의 이미지에 대한 가우시안 모델은 여전히 제2 이미지를 위해 사용된다. 이것은, 본 발명의 본 실시예에서, 사용자는 비디오에서의 제1 프레임의 이미지에 정보를 입력하는 것을 보조하기만 하면 될 뿐, 모든 후속의 프로세싱은 제1 프레임의 이미지의 가우시안 모델에 따라 이미지 처리 장치에 의해 자동으로 완료된다는 것을 의미한다. 이것은 수동 보조 입력을 감소하고, 작업량이 적으며, 고효율과 보편성을 달성할 수 있다.
그렇지만, 종래기술에서, 단색 배경 비디오에 기초한 전경 분할 기술은 대량의 수동 보조 입력을 요구한다. 예를 들어: 하나의 키 프레임(key frame)이 복수의 프레임(예를 들어, 10 프레임)의 간격으로 추출되고, 키 프레임마다 정교한 이미지 매팅 마스크(image matting mask)가 수작업으로 생성되며, 그런 다음 키 프레임의 이미지 매팅 결과를 사용하여 나머지 프레임에 대해 이미지 매팅이 수행되는데, 이는 대량의 수동 보조 입력이 필요하고 작업량이 많으며 효율이 낮고 보편성이 결여된다.
본 발명의 본 실시예에서, 방법(100)은: 제2 이미지 내의 제2 픽셀로부터 가우시안 혼합 모델까지의 거리를 결정하는 단계; 및 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하는 단계를 더 포함할 수 있다.
또한, 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 작을 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정될 수 있다. 본 발명의 본 실시예에서는, 이미지 내의 픽셀로부터 가우시안 혼합 모델까지의 거리에 따라, 이 픽셀이 이미지에 속하는 영역이 효과적으로 결정될 수 있다.
구체적으로, 본 발명의 본 실시예에서, 120에서, 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리는 마하라노비스 거리(Mahalanobis distance)에 따라 결정될 수 있다. 제1 픽셀로부터 가우시안 혼합 모델까지의 거리는 다음과 같이 표시될 수 있으며:
Figure pat00022
여기서
Figure pat00023
이고,
Figure pat00024
이며,
여기서
Figure pat00025
는 가우시안 혼합 모델에서 m번째 가우시안 모델이고,
Figure pat00026
,
Figure pat00027
, 및
Figure pat00028
는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이며,
Figure pat00029
는 제1 픽셀의 캐릭터 벡터를 나타내고,
Figure pat00030
은 각각의 가우시안 모델의 가중치 및 가우시안 혼합 모델에서 가우시안 형태의 충격을 나타내며,
Figure pat00031
은 마하라노비스 거리이며,
Figure pat00032
이며, 여기서 Pr, Pg ,Pb는 각각 제1 픽셀의 적, 녹, 청 성분의 픽셀 값을 나타낸다.
임의의 픽셀, 즉 i번째 픽셀에 있어서, i번째 픽셀로부터 가우시안 혼합 모델까지의 거리는 다음과 같이 표시될 수 있으며:
Figure pat00033
여기서
Figure pat00034
이고,
Figure pat00035
이다.
당업자라면 다른 방법을 사용하여 제1 픽셀로부터 가우시안 혼합 모델까지의 거리를 추가로 계산할 수 있다는 것을 이해할 수 있을 것이며, 이는 본 발명의 본 실시예에서 제한되지 않는다.
본 발명의 본 실시예에서, 마하라노비스 거리를 사용하여 제1 픽셀로부터 가우시안 혼합 모델까지의 거리를 계산하는 것은 다른 방법을 사용하여 계산하는 것보다 더 정확하며, 배경 영역의 범위를 더 정확하게 정할 수 있고, 이에 의해 더 정교한 트라이맵(trimap)을 획득할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 이미지 처리 방법에 대한 개략적인 흐름도이다. 도 3에 도시된 바와 같이, 단계 103에서, 방법(100)은 이하를 더 포함할 수 있다:
104: 제1 이미지의 제1 영역에서 픽셀의 캐릭터 벡터의 예상 벡터를 결정한다.
제1 이미지의 배경 영역에서의 픽셀의 캐릭터 벡터는
Figure pat00036
와 같이 표시될 수 있으며, i는 픽셀을 나타내고,
Figure pat00037
,
Figure pat00038
, 및
Figure pat00039
는 각각 i번째 픽셀의 적 녹 청 RGB 성분의 픽셀 값을 나타낸다.
예상 벡터는
Figure pat00040
와 같이 표시될 수 있으며, 예상 벡터
Figure pat00041
에 대응하는 색은 이미지 내의 단색 배경의 색 값과 거의 같다.
105: 예상 벡터에 따라 직교 좌표 공간을 결정하고, 여기서 예상 벡터의 방향은 직교 좌표 공간의 한 방향이다.
구체적으로, 예상 벡터에 대응하는 제1 단위 벡터
Figure pat00042
가 먼저 결정되고, 여기서 제1 단위 벡터는 다음과 같이 표시될 수 있다:
Figure pat00043
그런 다음, 제1 단위 벡터와 직교하는 제2 단위 벡터
Figure pat00044
및 제3 단위 벡터
Figure pat00045
가 결정되고, 여기서 제2 단위 벡터 및 제3 단위 벡터는 서로 직교한다. 제1 단위 벡터
Figure pat00046
, 제2 단위 벡터
Figure pat00047
및 제3 단위 벡터
Figure pat00048
는 새로운 직교 좌표 공간을 형성할 수 있다.
Figure pat00049
및
Figure pat00050
의 선택에 대해서는 특별히 설명하지 않으나, 선택된 단위 벡터들이
Figure pat00051
를 만족하도록 제공된
Figure pat00052
및
Figure pat00053
에 이용 가능한 복수의 선택이 존재한다. 행렬
Figure pat00054
은 단위 행렬이고, 다음의 속성을 만족할 수 있다:
Figure pat00055
106: 제2 이미지의 제2 픽셀 중, 직교 좌표 공간 내의 투사(projection)를 결정하며, 상기 투사는 제1 값, 제2 값, 및 제3 값을 포함하고, 상기 제1 값은 상기 제2 픽셀 중, 예상 벡터의 방향의 투사이다.
벡터
Figure pat00056
가
Figure pat00057
,
Figure pat00058
및
Figure pat00059
에 의해 구성된 새로운 좌표 공간에 투사되고:
Figure pat00060
, 새로운 직교 좌표 공간의 3개의 단위 벡터
Figure pat00061
,
Figure pat00062
및
Figure pat00063
는 원래의 적 녹 청 좌표 공간의 색에 각각 대응한다.
107: 제1 값이 제2 값보다 작거나 제1 값이 제3 값보다 작을 때, 제2 픽셀이 제2 이미지의 전경 영역에 속하는 것으로 결정한다.
즉, i번째 픽셀에 있어서,
Figure pat00064
는 배경 색을 나타내고,
Figure pat00065
이면, 이것은 i번째 픽셀이 제2 이미지의 배경 영역에 속하지 않는다는 것을 의미하고, i번째 픽셀은 전경 집합에 할당된다:
Figure pat00066
본 발명의 본 실시예에서는, 새로운 직교 좌표 공간이 결정되고, 전경에 속하는 픽셀이 이미지의 픽셀의 캐릭터 벡터 중, 새로운 직교 좌표 공간에서의 투사에 따라 결정되며, 따라서 방법(100)은 다른 단색 배경에서 범용적으로 사용될 수 있다.
전술한 실시예에서, 예비 트라이맵이 획득된다. 도 4에 도시된 바와 같이, 트라이맵에서의 흑색은 배경 영역을 나타내고, 백색은 전경 영역을 나타내며, 회색은 대기 중인 영역을 나타낸다. 다음, 최대 확률(maximum likelihood: ML) 방법, 최대 사후 확률(Maximum a Posteriori, MAP) 방법, 또는 K-최근접 이웃(K-nearest-neighbor, KNN) 방법을 사용함으로써 최적화가 추가로 수행하여, 대기 중인 영역의 크기를 더 감소시켜야 한다. 이하에서는 도 5를 참조하여, K-최근접 이웃 방법만을 예로 들어 최적화의 프로세스를 설명한다.
도 5는 본 발명의 다른 실시예에 따른 이미지 처리 방법에 대한 개략적인 흐름도이다. 도 5에 도시된 바와 같이, 단계 103 또는 단계 107 후에, 방법(100)은 이하를 더 포함할 수 있다.
108: 제2 이미지의 대기 중인 영역에서 제4 픽셀을 획득한다.
109: K-최근접 이웃 알고리즘(K-nearest-neighbor algorithm)을 사용함으로써, 제4 픽셀이 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정한다.
제4 픽셀의 캐릭터 벡터, 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 따라, 제4 픽셀과 제2 이미지의 배경 영역에 속하는 픽셀 간의 거리 및 제4 픽셀과 제2 이미지의 전경 영역에 속하는 픽셀 간의 거리를 계산하며, 여기서 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전격 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간(eigenspace)은: 픽셀의 적 녹 청(Red Green Blue, RGB) 색 정보, 픽셀의 위치 정보, 및 픽셀의 방향 기울기 정보(oriented gradient information) 중 적어도 하나를 포함한다.
픽셀의 RGB 색 정보는 픽셀의 적, 녹, 청 성분의 픽셀 값이며, i번째 픽셀의 캐릭터 벡터는
Figure pat00067
와 같이 표시될 수 있으며, 여기서
Figure pat00068
는 i번째 픽셀의 적, 녹, 청 성분의 픽셀 값을 각각 나타내며,
Figure pat00069
는 이미지 내의 i번째 픽셀의 수평 및 수직 좌표를 나타내며,
Figure pat00070
는 이미지에서의 i번째 픽셀의 수평 및 수직 좌표의 방향 기울기를 각각 나타낸다. 색 이미지가 계조(grayscale) 이미지로 변환되지 않으면, 방향 기울기
Figure pat00071
및
Figure pat00072
는 3 부분, 즉 적색 부분, 녹색 부분, 및 청색 부분에 대해 개별적으로 풀어져야 하며, 최종 효과는 바람직하지 않다. n번째 프레임의 i번째 픽셀을
Figure pat00073
로 표시되며, 계조 값은 다음의 공식에 따라 풀을 수 있다:
Figure pat00074
. 픽셀이 위치하고 이 픽셀의 수평 및 수직 좌표 x 및 y가 결정되는 프레임의 위치 n이 결정된 후, 픽셀의 인덱스 값 i는 고유하게 결정되는데, 즉
Figure pat00075
및 i는 일대일 대응관계이다. x 방향의 1차 도함수
Figure pat00076
가 획득될 수 있고, 마찬가지로, y 방향의 1차 도함수
Figure pat00077
가 획득될 수 있다.
Alternatively, the eigenspace corresponding to the character vector of the fourth pixel, the character vector of the pixel that belongs to the background area of the second image, and the character vector of the pixel that belongs to the foreground area of the second image may further include information about a relative position, of an image in which a pixel is located, in the video, for example, information about a position of the second image relative to a reference frame (for example, the first frame).
대안으로, 제4 픽셀의 캐릭터 벡터, 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간(eigenspace)은 비디오에서 픽셀이 위치하는 이미지 중, 상대적 위치에 관한 정보, 즉 기준 프레임(예를 들어, 제1 프레임)에 관련된 제2 이미지의 위치에 관한 정보를 더 포함할 수 있다.
예를 들어, 비디오 내의 제1 프레임이 기준 프레임일 때, 이 비디오에서 제2 이미지의 상대적 위치에 관한 정보는 현재 프레임의 프레임 번호 Indexframe일 수 있는데, 즉 i번째 픽셀의 캐릭터 벡터는 다음과 같이 표시될 수 있다:
Figure pat00078
.
그런 다음, 제4 픽셀에 가장 근접하는 k개의 픽셀을 결정하고, 여기서 k는 양의 정수이다.
k개의 픽셀이 모두 제2 이미지의 전경 영역에 속할 때, 제4 픽셀이 제2 이미지의 전경 영역에 속하는 것으로 결정되거나; 또는 k개의 픽셀이 모두 제2 이미지의 배경 영역에 속할 때, 제4 픽셀이 제2 이미지의 배경 영역에 속하는 것으로 결정된다.
즉, 각각의 대기 중인 픽셀 iun에 있어서, 대기 중인 픽셀 iun이 전경 도는 배경에 속하는지를 모르는 경우, 픽셀의 캐릭터 벡터
Figure pat00079
로부터 이미지의 이 프레임 내의 모든 다른 결정된 전경 픽셀 및 배경 픽셀의 캐릭터 벡터
Figure pat00080
및
Figure pat00081
까지의 거리가 계산된다:
Figure pat00082
. 모든 전경 픽셀 또는 배경 픽셀의 캐릭터 벡터가 횡단된 후, 대기 중인 픽셀 iun에 가장 근접하는 k개의 픽셀이 선택된다. k개의 픽셀이 모두 전경 또는 배경에 속할 때, 픽셀 iun은, 픽셀 iun이 전경 또는 배경에 속하는지를 모르는 경우, 전경 영역 또는 배경 영역에 할당된다.
모든 k개의 최근접 픽셀이 제2 이미지의 전경 영역 또는 배경 영역에 속하지 않으면, 연산은 수행되지 않을 수도 있다는 것에 유의해야 한다.
모든 대기 중인 픽셀 iun이 횡단된 후, 도 6에 도시된 바와 같이, 최종 트라이맵이 획득될 수 있다.
비디오의 각각의 프레임의 이미지에 대해 전술한 단계를 수행함으로써, 매우 정교한 트라이맵이 획득되고, 이에 따라 트라이맵 및 복수의 기존의 잘 알려진 이미지 매팅 알고리즘을 사용함으로써 최종 이미지 매팅 마스크 및 매트 이미지가 획득된다.
본 발명의 본 실시예에서는, 픽셀을 구현하는 3차원 고유공간은 다차원 고유공간으로 업그레이드되고, 즉 픽셀 캐릭터 벡터는 원래의
Figure pat00083
로부터
Figure pat00084
로 업그레이드되며, 그런 다음 대기 중인 영역의 크기가 KNN 알고리즘을 사용함으로써 추가로 감소되고, 이에 따라 정밀도가 더 높은 이미지 전경 분할이 실시될 수 있다.
전술한 프로세스의 순서가 실행 순서를 의미하지 않는다는 것을 이해할 수 있을 것이다. 프로세스의 실행 순서는 프로세스의 기능 및 내부 논리에 따라 결정되어야 하며, 본 발명의 실시예의 실행 프로세스에 대한 어떠한 제한으로도 파악되어서는 안 된다.
본 발명의 실시예에 따른 이미지 처리 방법에 대해 도 1 내지 도 6을 참조하여 상세히 위에서 설명하였으며, 이하에서는 도 7 내지 도 10을 참조하여 본 발명의 실시예에 따른 이미지 처리 장치에 대해 상세히 설명한다.
도 7은 본 발명의 실시예에 따른 이미지 처리 장치(700)에 대한 개략적인 블록도이다. 도 7에 도시된 바와 같이, 장치(700)는 제1 결정 유닛(710) 및 제2 결정 유닛(720)을 포함한다.
제1 결정 유닛(710)은 제1 이미지 내의 제1 영역의 가우시안 혼합 모델을 결정하도록 구성되어 있으며 상기 제1 영역은 상기 제1 이미지의 배경 영역에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지이다.
제1 영역은 사용자에 의해 입력된 명령에 따라 결정될 수 있다.
제1 결정 유닛(710)은 제2 이미지 내의 제1 픽셀로부터 가우시안 혼합 모델까지의 거리를 결정하도록 추가로 구성되어 있다.
가우시안 혼합 모델에서 m번째 가우시안 모델은
Figure pat00085
로 표시되며, 여기서
Figure pat00086
이고, M은 양의 정수이며, 예를 들어 M=3이며,
Figure pat00087
,
Figure pat00088
, 및
Figure pat00089
는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이다.
제2 결정 유닛(720)은 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성되어 있다.
그러므로 본 발명의 본 실시예에서의 이미지 처리 장치에서, 이미지 내의 픽셀로부터 배경 영역의 가우시안 혼합 모델까지의 거리가 결정되고, 이 거리가 미리설정된 임계값보다 작거나 같을 때, 픽셀이 배경 영역에 속하는 것으로 결정되며, 픽셀이 속하는 영역은 픽셀로부터 가우시안 혼합 모델까지의 거리에 따라 직접 결정될 수 있으며, 이에 따라 이미지 전경 분할이 효과적으로 완료될 수 있다.
본 발명의 본 실시예에서, 제2 이미지가 비디오에서의 제1 프레임의 이미지와는 다른 이미지일 때, 비디오에서의 제1 프레임의 이미지에 대한 가우시안 모델은 여전히 제2 이미지를 위해 사용된다. 이것은, 본 발명의 본 실시예에서, 사용자는 비디오에서의 제1 프레임의 이미지에 정보를 입력하는 것을 보조하기만 하면 될 뿐, 모든 후속의 프로세싱은 제1 프레임의 이미지의 가우시안 모델에 따라 이미지 처리 장치에 의해 자동으로 완료된다는 것을 의미한다. 이것은 수동 보조 입력을 감소하고, 작업량이 적으며, 고효율과 보편성을 달성할 수 있다.
제1 픽셀로부터 가우시안 혼합 모델까지의 거리는 다음과 같이 표시될 수 있으며:
Figure pat00090
여기서
Figure pat00091
이고,
Figure pat00092
이며,
여기서
Figure pat00093
는 가우시안 혼합 모델에서 m번째 가우시안 모델이고,
Figure pat00094
,
Figure pat00095
, 및
Figure pat00096
는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이며,
Figure pat00097
는 제1 픽셀의 캐릭터 벡터를 나타내고,
Figure pat00098
은 각각의 가우시안 모델의 가중치 및 가우시안 혼합 모델에서 가우시안 형태의 충격을 나타내며,
Figure pat00099
은 마하라노비스 거리이며,
Figure pat00100
이며, 여기서 Pr, Pg ,Pb는 각각 제1 픽셀의 적, 녹, 청 성분의 픽셀 값을 나타낸다.
임의의 픽셀, 즉 i번째 픽셀에 있어서, i번째 픽셀로부터 가우시안 혼합 모델까지의 거리는 다음과 같이 표시될 수 있으며:
Figure pat00101
여기서
Figure pat00102
이고,
Figure pat00103
이다.
당업자라면 다른 방법을 사용하여 제1 픽셀로부터 가우시안 혼합 모델까지의 거리를 추가로 계산할 수 있다는 것을 이해할 수 있을 것이며, 이는 본 발명의 본 실시예에서 제한되지 않는다.
본 발명의 본 실시예에서, 마하라노비스 거리를 사용하여 제1 픽셀로부터 가우시안 혼합 모델까지의 거리를 계산하는 것은 다른 방법을 사용하여 계산하는 것보다 더 정확하며, 배경 영역의 범위를 더 정확하게 정할 수 있고, 이에 의해 더 정교한 트라이맵(trimap)을 획득할 수 있다.
대안으로, 본 발명의 다른 실시예에서, 제1 결정 유닛(710)은, 제2 이미지 내의 제2 픽셀로부터 가우시안 혼합 모델까지의 거리를 결정하도록 추가로 구성되어 있다. 제2 결정 유닛(720)은, 제2 픽셀로부터 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
제2 결정 유닛(720)은, 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하며, 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 작거나 같을 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
대안으로, 본 발명의 다른 실시예에서, 도 8에 도시된 바와 같이, 장치(700)는: 제1 이미지의 제1 영역 내의 픽셀의 캐릭터 벡터의 예상 벡터를 결정하고, 상기 예상 벡터에 따라 직교 좌표 공간을 결정하며 - 상기 예상 벡터의 방향은 상기 직교 좌표 공간의 한 방향임 - , 상기 제2 이미지의 제2 픽셀 중, 상기 직교 좌표 공간 내의 투사(projection)를 결정하도록 구성되어 있는 제3 결정 유닛(730)을 더 포함하며, 여기서 상기 투사는 제1 값, 제2 값, 및 제3 값을 포함하고, 상기 제1 값은 상기 제2 픽셀 중, 상기 예상 벡터의 방향의 투사이다. 제2 결정 유닛(720)은, 상기 제1 값이 상기 제2 값보다 작거나 상기 제1 값이 상기 제3 값보다 작을 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
제2 결정 유닛(720)은, 제1 픽셀로부터 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 제1 픽셀이 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하며, 상기 제1 값이 상기 제2 값보다 크고 상기 제1 값이 상기 제3 값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
본 발명의 본 실시예에서는, 새로운 직교 좌표 공간이 결정되고, 전경에 속하는 픽셀이 이미지의 픽셀의 캐릭터 벡터 중, 새로운 직교 좌표 공간에서의 투사에 따라 결정되며, 따라서 방법(100)은 다른 단색 배경에서 범용적으로 사용될 수 있다.
대안으로, 본 발명의 다른 실시예에서, 도 9에 도시된 바와 같이, 장치(700)는 제2 이미지의 대기 중인 영역에서 제4 픽셀을 획득하도록 구성되어 있는 획득 유닛(740)을 더 포함한다. 제2 결정 유닛(720)은, K-최근접 이웃 알고리즘을 사용함으로써, 제4 픽셀이 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하도록 추가로 구성되어 있다.
제2 결정 유닛(720)은 구체적으로: 제4 픽셀의 캐릭터 벡터, 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 따라, 상기 제4 픽셀과 상기 제2 이미지의 배경 영역에 속하는 픽셀 간의 거리 및 상기 제4 픽셀과 상기 제2 이미지의 전경 영역에 속하는 픽셀 간의 거리를 계산하고 - 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전격 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간은 픽셀의 적 녹 청 RGB 색 정보, 픽셀의 위치 정보, 및 픽셀의 방향 기울기 정보 중 적어도 하나를 포함함 - ; 상기 제4 픽셀에 가장 근접하는 k개의 픽셀을 결정하며 - 여기서 k는 양의 정수임 - ; 그리고 상기 k개의 픽셀이 모두 제2 이미지의 전경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하거나; 또는 상기 k개의 픽셀이 모두 제2 이미지의 배경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성될 수 있다.
본 발명의 본 실시예에서는, 픽셀을 구현하는 3차원 고유공간은 다차원 고유공간으로 업그레이드되고, 즉 픽셀 캐릭터 벡터는 원래의
Figure pat00104
로부터
Figure pat00105
로 업그레이드되며, 그런 다음 대기 중인 영역의 크기가 KNN 알고리즘을 사용함으로써 추가로 감소되고, 이에 따라 정밀도가 더 높은 이미지 전경 분할이 실시될 수 있다.
본 발명의 실시예에 따른 이미지 처리 장치(700)는 본 발명의 실시예에 따른 이미지 처리 방법(100)에서의 이미지 처리 장치에 대응할 수 있고, 장치(700)에서의 전술한 그리고 다른 동작 및/또는 기능은 도 1 내지 도 6에서의 방법의 대응하는 절차를 실행하는 데 개별적으로 사용된다. 설명을 간략하게 하기 위해, 여기서 다시 설명하지 않는다.
도 10은 본 발명의 다른 실시예에 따른 이미지 처리 장치에 대한 개략적인 블록도이다. 도 10에 도시된 바와 같이, 장치(1000)는 프로세서(1010), 메모리(1020), 및 버스 시스템(1030)을 포함한다. 프로세서(1010)와 메모리(1020)는 버스 시스템(1030)을 사용하여 접속되고, 메모리(1020)는 명령을 저장하도록 구성되어 있으며, 프로세서(1010)는 메모리(1020)에 저장되어 있는 명령을 실행하도록 구성되어 있다.
프로세서(1010)는 제1 이미지 내의 제1 영역의 가우시안 혼합 모델을 결정하고 - 여기서 상기 제1 영역은 상기 제1 이미지의 배경 영역에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지임 - ; 제2 이미지 내의 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하며; 그리고 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성되어 있다.
그러므로 본 발명의 본 실시예에서의 이미지 처리 장치에서, 이미지 내의 픽셀로부터 배경 영역의 가우시안 혼합 모델까지의 거리가 결정되고, 이 거리가 미리설정된 임계값보다 작거나 같을 때, 픽셀이 배경 영역에 속하는 것으로 결정되며, 픽셀이 속하는 영역은 픽셀로부터 가우시안 혼합 모델까지의 거리에 따라 직접 결정될 수 있으며, 이에 따라 이미지 전경 분할이 효과적으로 완료될 수 있다.
본 발명의 본 실시예에서, 프로세서(1010)는 중앙처리장치(Central Processing Unit, CPU), where the processor 1010 may also be 다른 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드-프로그래머블 게이트 어레이(FPGA), 또는 다른 프로그래머블 논리 장치, 독립형 게이트 또는 트랜지스터 논리 장치, 독립형 하드웨어 컴포넌트 등일 수 있다. 범용 프로세서는 마이크로프로세스일 수 있고 프로세서는 또한 임의의 공통 프로세스 등일 수도 있다.
메모리(1020)는 리드-온리 메모리 및 랜덤 액세스 메모리를 포함할 수 있으며, 프로세서(1010)에 명령 및 데이터를 제공한다. 메모리(1020)의 일부는 비휘발성 랜덤 액세스 메모리를 더 포함할 수 있다. 예를 들어, 메모리(1020)는 장치 유형에 관한 정보를 추가로 저장할 수 있다.
버스 시스템(1030)은 데이터 버스를 포함하는 것 외에, 전원 버스, 제어 버스, 상태 신호 버스 등을 더 포함할 수 있다. 그렇지만, 설명을 명확하게 하기 위해, 도면에서 모든 버스는 버스 시스템(1030)으로 표시되어 있다.
실시 프로세스에서, 방법의 각 단계는 프로세서(1010) 내의 하드웨어의 집적 논리 회로를 사용하거나 소프트웨어 형태의 명령을 사용하여 완료될 수 있다. 본 발명의 실시예를 참조하여 설명된 방법의 단계는 하드웨어 프로세서에 의해서나 프로세서 내의 하드웨어와 소프트웨어 모듈과의 조합으로 실행되는 것과 같이 직접적으로 구현될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 리드-온리 메모리, 프로그래머블 리드-온리 메모리, 전자식 삭제 가능형 프로그래머블 메모리, 또는 레지스터와 같이, 당업계에서 잘 알려진 저장 매체에 위치할 수 있다. 저장 매체는 메모리(1020)에 위치하며, 프로세서(1010)는 메모리(1020) 내의 위치를 읽어내고, 하드웨어와의 조합으로 방법의 단계들을 완료한다. 반복을 피하기 위해, 상세한 설명을 여기서 제공하지 않는다.
본 발명의 본 실시예에서, 제1 영역은 사용자에 의해 입력된 명령에 따라 결정될 수 잇다. 제2 이미지는 비디오에서 임의의 프레임의 이미지일 수 있다.
구체적으로, 프로세서(1010)는: 제1 픽셀로부터 가우시안 혼합 모델까지의 거리가 제1 임계값보다 클 때, 제1 픽셀이 제2 이미지의 대기 중인 영역에 속하는 것으로 결정한다.
상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리는 다음과 같이 표시될 수 있으며,
Figure pat00106
여기서
Figure pat00107
이고,
Figure pat00108
이며,
여기서
Figure pat00109
는 가우시안 혼합 모델에서 m번째 가우시안 모델이고,
Figure pat00110
,
Figure pat00111
, 및
Figure pat00112
는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이며,
Figure pat00113
는 제1 픽셀의 캐릭터 벡터를 나타낸다.
대안으로, 본 발명의 다른 실시예에서, 프로세서(1010)는: 제2 이미지 내의 제2 픽셀로부터 가우시안 혼합 모델까지의 거리를 결정하고, 제2 픽셀로부터 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
프로세서(1010)는, 제2 픽셀로부터 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 작거나 같을 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
대안으로, 본 발명의 다른 실시예에서, 도 8에 도시된 바와 같이, 프로세서(1010)는: 제1 이미지의 제1 영역 내의 픽셀의 캐릭터 벡터의 예상 벡터를 결정하고, 상기 예상 벡터에 따라 직교 좌표 공간을 결정하며 - 상기 예상 벡터의 방향은 상기 직교 좌표 공간의 한 방향임 - , 상기 제2 이미지의 제2 픽셀 중, 상기 직교 좌표 공간 내의 투사를 결정하며 - 여기서 상기 투사는 제1 값, 제2 값, 및 제3 값을 포함하고, 상기 제1 값은 상기 제2 픽셀 중, 상기 예상 벡터의 방향의 투사임 - , 상기 제1 값이 상기 제2 값보다 작거나 상기 제1 값이 상기 제3 값보다 작을 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성될 수 있다.
프로세서(1010)는, 제1 값이 제2 값보다 크고 제1 값이 제3 값보다 클 때, 제2 픽셀이 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있다.
대안으로, 본 발명의 다른 실시예에서, 프로세서(1010)는 제2 이미지의 대기 중인 영역에서 제4 픽셀을 획득하고, K-최근접 이웃 알고리즘을 사용함으로써, 제4 픽셀이 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하도록 추가로 구성되어 있다.
프로세서(1010)는 구체적으로: 제4 픽셀의 캐릭터 벡터, 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 따라, 상기 제4 픽셀과 상기 제2 이미지의 배경 영역에 속하는 픽셀 간의 거리 및 상기 제4 픽셀과 상기 제2 이미지의 전경 영역에 속하는 픽셀 간의 거리를 계산하고 - 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전격 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간은 픽셀의 적 녹 청 RGB 색 정보, 픽셀의 위치 정보, 및 픽셀의 방향 기울기 정보 중 적어도 하나를 포함함 - ; 상기 제4 픽셀에 가장 근접하는 k개의 픽셀을 결정하며 - 여기서 k는 양의 정수임 - ; 그리고 상기 k개의 픽셀이 모두 제2 이미지의 전경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하거나; 또는 상기 k개의 픽셀이 모두 제2 이미지의 배경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성될 수 있다.
본 발명의 실시예에 따른 이미지 처리 장치(1000)는 본 발명의 실시예에 따른 이미지 처리 방법(100)에서의 이미지 처리 장치 및 본 발명의 실시예에 따른 이미지 처리 장치(700)에 대응할 수 있고, 장치(1000)에서의 전술한 그리고 다른 동작 및/또는 기능은 도 1 내지 도 6에서의 방법의 대응하는 절차를 실행하는 데 개별적으로 사용된다. 설명을 간략하게 하기 위해, 여기서 다시 설명하지 않는다.
그러므로 본 발명의 본 실시예에서의 이미지 처리 장치에서, 이미지 내의 픽셀로부터 배경 영역의 가우시안 혼합 모델까지의 거리가 결정되고, 이 거리가 미리설정된 임계값보다 작거나 같을 때, 픽셀이 배경 영역에 속하는 것으로 결정되며, 픽셀이 속하는 영역은 픽셀로부터 가우시안 혼합 모델까지의 거리에 따라 직접 결정될 수 있으며, 이에 따라 이미지 전경 분할이 효과적으로 완료될 수 있다.
당업자라면 본 명세서에 개시된 실시예에 설명된 예와 조합해서, 유닛 및 알고리즘 단계들은 전자식 하드웨어 또는 컴퓨터 소프트웨어와 전자식 하드웨어의 조합으로 실현될 수 있다는 것을 인지할 수 있을 것이다. 기능들이 하드웨어로 수행되는지 소프트웨어로 수행되는지는 특별한 애플리케이션 및 기술적 솔루션의 설계 제약 조건에 따라 다르다. 당업자라면 다른 방법을 사용하여 각각의 특별한 실시예에 대해 설명된 기능을 실행할 수 있을 것이나, 그 실행이 본 발명의 범위를 넘어서는 것으로 파악되어서는 안 된다.
당업자라면 설명의 편의 및 간략화를 위해, 전술한 시스템, 장치, 및 유닛에 대한 상세한 작업 프로세스는 전술한 방법 실시예의 대응하는 프로세스를 참조하면 된다는 것을 자명하게 이해할 수 있을 것이므로 그 상세한 설명은 여기서 다시 설명하지 않는다.
본 출원에서 제공하는 수 개의 실시예에서, 전술한 시스템, 장치, 및 방법은 다른 방식으로도 실현될 수 있다는 것은 물론이다. 예를 들어, 설명된 장치 실시예는 단지 예시에 불과하다. 예를 들어, 유닛의 분할은 단지 일종의 논리적 기능 분할일 뿐이며, 실제의 실행 동안 다른 분할 방식으로 있을 수 있다. 예를 들어, 복수의 유닛 또는 구성요소를 다른 시스템에 결합 또는 통합할 수 있거나, 또는 일부의 특징은 무시하거나 수행하지 않을 수도 있다. 또한, 도시되거나 논의된 상호 커플링 또는 직접 결합 또는 통신 접속은 일부의 인터페이스를 통해 실현될 수 있다. 장치 또는 유닛 간의 직접 결합 또는 통신 접속은 전자식, 기계식 또는 다른 형태로 실현될 수 있다.
별도의 부분으로 설명된 유닛들은 물리적으로 별개일 수 있고 아닐 수도 있으며, 유닛으로 도시된 부분은 물리적 유닛일 수도 있고 아닐 수도 있으며, 한 위치에 위치할 수도 있고, 복수의 네트워크 유닛에 분산될 수도 있다. 유닛 중 일부 또는 전부는 실제의 필요에 따라 선택되어 실시예의 솔루션의 목적을 달성할 수 있다.
또한, 본 발명의 실시예에서의 기능 유닛은 하나의 프로세싱 유닛으로 통합될 수 있거나, 각각의 유닛이 물리적으로 단독으로 존재할 수도 있거나, 2개 이상의 유닛이 하나의 유닛으로 통합될 수도 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 실현되어 독립 제품으로 시판되거나 사용되면, 이 통합 유닛은 컴퓨터 판독 가능형 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 발명의 필수적 기술적 솔루션 또는, 또는 종래기술에 기여하는 부분, 또는 기술적 솔루션의 일부는 소프트웨어 제품의 형태로 실현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, 본 발명의 실시예에 설명된 방법의 단계 중 일부 또는 전부를 수행하도록 컴퓨터 장치(이것은 퍼스널 컴퓨터, 서버, 또는 네트워크 장치 등이 될 수 있다)에 명령하는 수개의 명령어를 포함한다. 전술한 저장 매체는: 프로그램 코드를 저장할 수 있는 임의의 저장 매체, 예를 들어, USB 플래시 디스크, 휴대형 하드디스크, 리드-온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기디스크 또는 광디스크를 포함한다.
전술한 설명은 단지 본 발명의 특정한 실행 방식에 불과하며, 본 발명의 보호 범위를 제한하려는 것이 아니다. 본 발명에 설명된 기술적 범위 내에서 당업자가 용이하게 실현하는 모든 변형 또는 대체는 본 발명의 보호 범위 내에 있게 된다. 그러므로 본 발명의 보호 범위는 청구범위의 보호 범위에 있게 된다.

Claims (20)

  1. 이미지 처리 방법으로서,
    제1 이미지 내의 제1 영역의 가우시안 혼합 모델(Gaussian mixture model)을 결정하는 단계 - 상기 제1 영역은 상기 제1 이미지의 배경 영역(background area)에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지임 - ;
    제2 이미지 내의 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하는 단계; 및
    상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하는 단계
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제2 이미지 내의 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하는 단계; 및
    상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역(foreground area)에 속하는 것으로 결정하는 단계
    를 더 포함하는 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 제1 이미지의 제1 영역 내의 픽셀의 캐릭터 벡터의 예상 벡터를 결정하는 단계;
    상기 예상 벡터에 따라 직교 좌표 공간을 결정하는 단계 - 상기 예상 벡터의 방향은 상기 직교 좌표 공간의 한 방향임 - ;
    상기 제2 이미지의 제2 픽셀 중, 상기 직교 좌표 공간 내의 투사(projection)를 결정하는 단계 - 상기 투사는 제1 값, 제2 값, 및 제3 값을 포함하고, 상기 제1 값은 상기 제2 픽셀 중, 상기 예상 벡터의 방향의 투사임 - ; 및
    상기 제1 값이 상기 제2 값보다 작거나 상기 제1 값이 상기 제3 값보다 작을 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하는 단계
    를 더 포함하는 이미지 처리 방법.
  4. 제2항에 있어서,
    상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역(pending area)에 속하는 것으로 결정되며; 그리고
    상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 작거나 같을 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정되는, 이미지 처리 방법.
  5. 제3항에 있어서,
    상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정되고; 그리고
    상기 제1 값이 상기 제2 값보다 크고 상기 제1 값이 상기 제3 값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정되는, 이미지 처리 방법.
  6. 제4항에 있어서,
    상기 제2 이미지의 대기 중인 영역에서 제4 픽셀을 획득하는 단계; 및
    K-최근접 이웃 알고리즘(K-nearest-neighbor algorithm)을 사용함으로써, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하는 단계
    를 더 포함하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 K-최근접 이웃 알고리즘을 사용함으로써, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하는 단계는,
    상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 따라, 상기 제4 픽셀과 상기 제2 이미지의 배경 영역에 속하는 픽셀 간의 거리 및 상기 제4 픽셀과 상기 제2 이미지의 전경 영역에 속하는 픽셀 간의 거리를 계산하는 단계 - 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전격 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간(eigenspace)은 픽셀의 적 녹 청(Red Green Blue, RGB) 색 정보, 픽셀의 위치 정보, 및 픽셀의 방향 기울기 정보(oriented gradient information) 중 적어도 하나를 포함함 - ;
    상기 제4 픽셀에 가장 근접하는 k개의 픽셀을 결정하는 단계 - 여기서 k는 양의 정수임 - ; 및
    상기 k개의 픽셀이 모두 제2 이미지의 전경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하는 단계; 또는
    상기 k개의 픽셀이 모두 제2 이미지의 배경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하는 단계
    를 포함하는, 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리는 다음과 같이 표시되며,
    Figure pat00114

    여기서
    Figure pat00115
    이고,
    Figure pat00116
    이며,
    여기서
    Figure pat00117
    는 가우시안 혼합 모델에서 m번째 가우시안 모델이고,
    Figure pat00118
    ,
    Figure pat00119
    , 및
    Figure pat00120
    는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이며,
    Figure pat00121
    는 제1 픽셀의 캐릭터 벡터를 나타내는, 이미지 처리 방법.
  9. 제1항에 있어서,
    상기 제1 영역은 사용자에 의해 입력된 명령에 따라 결정되는, 이미지 처리 방법.
  10. 제1항에 있어서,
    상기 제2 이미지는 상기 비디오에서 임의의 프레임의 이미지인, 이미지 처리 방법.
  11. 이미지 처리 장치로서,
    제1 이미지 내의 제1 영역의 가우시안 혼합 모델을 결정하도록 구성되어 있는 제1 결정 유닛 - 상기 제1 영역은 상기 제1 이미지의 배경 영역에 속하고, 상기 제1 이미지는 비디오에서 제1 프레임의 이미지임 - ;
    상기 제1 결정 유닛은 제2 이미지 내의 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하도록 추가로 구성되어 있으며; 그리고
    상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 작거나 같을 때, 상기 제1 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성되어 있는 제2 결정 유닛
    을 포함하는 이미지 처리 장치.
  12. 제11항에 있어서,
    상기 제1 결정 유닛은, 상기 제2 이미지 내의 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리를 결정하도록 추가로 구성되어 있으며; 그리고
    상기 제2 결정 유닛은, 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성되어 있는, 이미지 처리 장치.
  13. 제11항에 있어서,
    상기 제1 이미지의 제1 영역 내의 픽셀의 캐릭터 벡터의 예상 벡터를 결정하고, 상기 예상 벡터에 따라 직교 좌표 공간을 결정하며 - 상기 예상 벡터의 방향은 상기 직교 좌표 공간의 한 방향임 - , 상기 제2 이미지의 제2 픽셀 중, 상기 직교 좌표 공간 내의 투사(projection)를 결정하도록 구성되어 있는 제3 결정 유닛
    을 더 포함하며,
    상기 투사는 제1 값, 제2 값, 및 제3 값을 포함하고, 상기 제1 값은 상기 제2 픽셀 중, 상기 예상 벡터의 방향의 투사이며,
    상기 제2 결정 유닛은, 상기 제1 값이 상기 제2 값보다 작거나 상기 제1 값이 상기 제3 값보다 작을 때, 상기 제2 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하도록 추가로 구성되어 있는, 이미지 처리 장치.
  14. 제12항에 있어서,
    상기 제2 결정 유닛은, 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역(pending area)에 속하는 것으로 결정하며, 상기 제2 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제2 미리 설정된 임계값보다 작거나 같을 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있는, 이미지 처리 장치.
  15. 제13항에 있어서,
    상기 제2 결정 유닛은, 상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리가 제1 미리 설정된 임계값보다 클 때, 상기 제1 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하며, 상기 제1 값이 상기 제2 값보다 크고 상기 제1 값이 상기 제3 값보다 클 때, 상기 제2 픽셀이 상기 제2 이미지의 대기 중인 영역에 속하는 것으로 결정하도록 추가로 구성되어 있는, 이미지 처리 장치.
  16. 제14항에 있어서,
    상기 제2 이미지의 대기 중인 영역에서 제4 픽셀을 획득하도록 구성되어 있는 획득 유닛
    을 더 포함하며,
    상기 제2 결정 유닛은, K-최근접 이웃 알고리즘(K-nearest-neighbor algorithm)을 사용함으로써, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는지 또는 배경 영역에 속하는지를 판정하도록 추가로 구성되어 있는, 이미지 처리 장치.
  17. 제16항에 있어서,
    상기 제2 결정 유닛은 구체적으로,
    상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전경 영역에 속하는 픽셀의 캐릭터 벡터에 따라, 상기 제4 픽셀과 상기 제2 이미지의 배경 영역에 속하는 픽셀 간의 거리 및 상기 제4 픽셀과 상기 제2 이미지의 전경 영역에 속하는 픽셀 간의 거리를 계산하고 - 상기 제4 픽셀의 캐릭터 벡터, 상기 제2 이미지의 배경 영역에 속하는 픽셀의 캐릭터 벡터, 및 상기 제2 이미지의 전격 영역에 속하는 픽셀의 캐릭터 벡터에 대응하는 고유공간(eigenspace)은 픽셀의 적 녹 청(Red Green Blue, RGB) 색 정보, 픽셀의 위치 정보, 및 픽셀의 방향 기울기 정보(oriented gradient information) 중 적어도 하나를 포함함 - ;
    상기 제4 픽셀에 가장 근접하는 k개의 픽셀을 결정하며 - 여기서 k는 양의 정수임 - ; 그리고
    상기 k개의 픽셀이 모두 제2 이미지의 전경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 전경 영역에 속하는 것으로 결정하거나; 또는
    상기 k개의 픽셀이 모두 제2 이미지의 배경 영역에 속할 때, 상기 제4 픽셀이 상기 제2 이미지의 배경 영역에 속하는 것으로 결정하도록 구성되어 있는, 이미지 처리 장치.
  18. 제11항에 있어서,
    상기 제1 픽셀로부터 상기 가우시안 혼합 모델까지의 거리는 다음과 같이 표시되며,
    Figure pat00122

    여기서
    Figure pat00123
    이고,
    Figure pat00124
    이며,
    여기서
    Figure pat00125
    는 가우시안 혼합 모델에서 m번째 가우시안 모델이고,
    Figure pat00126
    ,
    Figure pat00127
    , 및
    Figure pat00128
    는 각각 가우시안 혼합 모델에서 m번째 가우시안 모델의 가중치, 중간치, 및 공분산 행렬이며,
    Figure pat00129
    는 제1 픽셀의 캐릭터 벡터를 나타내는, 이미지 처리 장치.
  19. 제11항에 있어서,
    상기 제1 영역은 사용자에 의해 입력된 명령에 따라 결정되는, 이미지 처리 장치.
  20. 제11항에 있어서,
    상기 제2 이미지는 상기 비디오에서 임의의 프레임의 이미지인, 이미지 처리 장치.
KR1020150159812A 2014-11-14 2015-11-13 이미지 처리 방법 및 장치 KR20160058058A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410650421.9A CN105654458A (zh) 2014-11-14 2014-11-14 图像处理的方法及装置
CN201410650421.9 2014-11-14

Publications (1)

Publication Number Publication Date
KR20160058058A true KR20160058058A (ko) 2016-05-24

Family

ID=54782409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150159812A KR20160058058A (ko) 2014-11-14 2015-11-13 이미지 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US9704261B2 (ko)
EP (1) EP3026630A1 (ko)
JP (1) JP6213745B2 (ko)
KR (1) KR20160058058A (ko)
CN (1) CN105654458A (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6524497B2 (ja) * 2015-03-31 2019-06-05 国立大学法人東北大学 画像処理装置、画像処理方法、及び、画像処理プログラム
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN106056060A (zh) * 2016-05-26 2016-10-26 天津艾思科尔科技有限公司 一种视频图像中蒙面纱检测的方法及系统
JP6709761B2 (ja) * 2017-08-16 2020-06-17 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10885636B2 (en) * 2017-11-07 2021-01-05 Electronics And Telecommunications Research Institute Object segmentation apparatus and method using Gaussian mixture model and total variation
JP7204326B2 (ja) * 2018-01-15 2023-01-16 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
CN108830834B (zh) * 2018-05-23 2022-03-11 重庆交通大学 一种爬索机器人视频缺陷信息自动提取方法
CN110458830B (zh) 2019-03-08 2021-02-09 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
WO2020223140A1 (en) * 2019-04-29 2020-11-05 Raitonsa Dynamics Llc Capturing objects in an unstructured video stream
CN114463367A (zh) * 2019-04-30 2022-05-10 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN110121034B (zh) * 2019-05-09 2021-09-07 腾讯科技（深圳）有限公司 一种在视频中植入信息的方法、装置、设备及存储介质
CN111860200B (zh) * 2020-06-28 2024-04-19 维沃移动通信有限公司 视频帧处理方法及装置
CN112348842B (zh) * 2020-11-03 2023-07-28 中国航空工业集团公司北京长城航空测控技术研究所 一种从视频中自动快速获取场景背景的处理方法
CN115690124B (zh) * 2022-11-02 2023-05-12 中国科学院苏州生物医学工程技术研究所 高精度单帧眼底荧光造影图像渗漏区域分割方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004709A (ja) * 2005-06-27 2007-01-11 Toshiba Corp 対象パターン検出方法及びその装置
US7609888B2 (en) 2005-07-01 2009-10-27 Microsoft Corporation Separating a video object from a background of a video sequence
US7885463B2 (en) * 2006-03-30 2011-02-08 Microsoft Corp. Image segmentation using spatial-color Gaussian mixture models
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
TWI389559B (zh) * 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
JP5715863B2 (ja) * 2011-03-25 2015-05-13 セコム株式会社 画像処理装置
WO2012144957A1 (en) 2011-04-21 2012-10-26 Nanyang Technological University A method and system for interactive image segmentation
US8670611B2 (en) 2011-10-24 2014-03-11 International Business Machines Corporation Background understanding in video data
JP5865078B2 (ja) 2011-12-28 2016-02-17 キヤノン株式会社 画像処理装置および画像処理方法
US9208580B2 (en) * 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
KR101732898B1 (ko) 2012-11-26 2017-05-08 삼성전자주식회사 영상 처리 장치 및 방법
CN103208123B (zh) * 2013-04-19 2016-03-02 广东图图搜网络科技有限公司 图像分割方法与系统

Also Published As

Publication number Publication date
EP3026630A1 (en) 2016-06-01
US20160140724A1 (en) 2016-05-19
CN105654458A (zh) 2016-06-08
JP6213745B2 (ja) 2017-10-18
US9704261B2 (en) 2017-07-11
JP2016095854A (ja) 2016-05-26

Similar Documents

Publication Publication Date Title
KR20160058058A (ko) 이미지 처리 방법 및 장치
US9940724B2 (en) Method and system for detecting multiple moving objects from real-time aerial images
US10726580B2 (en) Method and device for calibration
US20120121166A1 (en) Method and apparatus for three dimensional parallel object segmentation
CN107451976B (zh) 一种图像处理方法及装置
KR20190112894A (ko) 3d 렌더링 방법 및 장치
CN107871321B (zh) 图像分割方法及装置
KR102207408B1 (ko) 이미지 처리를 위한 방법, 장치 및 컴퓨터 판독 가능한 매체
US11068736B2 (en) Method and apparatus for detecting target objects in images
CN113853633A (zh) 环绕视图图像的增强渲染
US10482622B2 (en) Locating features in warped images
JP2016509805A (ja) 画像ストリームの高フレームレート化
KR20150043327A (ko) 비디오 시퀀스의 이미지들의 컬러들을 샘플링하는 방법, 및 컬러 클러스터링에의 적용
US7907147B2 (en) Texture filtering apparatus, texture mapping apparatus, and method and program therefor
Kalomiros et al. Design and hardware implementation of a stereo-matching system based on dynamic programming
CN116704125A (zh) 一种基于三维点云的映射方法、装置、芯片及模组设备
US11227166B2 (en) Method and device for evaluating images, operating assistance method, and operating device
US11257235B2 (en) Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN107590857A (zh) 用于生成虚拟视点图像的设备和方法
CN113554037A (zh) 一种基于模型简化的特征提取方法及装置
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
KR101980899B1 (ko) 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법
TWI807935B (zh) 深度識別模型訓練方法、圖像深度識別方法及相關設備
JPWO2019224947A1 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application