KR100698845B1 - 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치 - Google Patents

인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치 Download PDF

Info

Publication number
KR100698845B1
KR100698845B1 KR1020050131986A KR20050131986A KR100698845B1 KR 100698845 B1 KR100698845 B1 KR 100698845B1 KR 1020050131986 A KR1020050131986 A KR 1020050131986A KR 20050131986 A KR20050131986 A KR 20050131986A KR 100698845 B1 KR100698845 B1 KR 100698845B1
Authority
KR
South Korea
Prior art keywords
person
appearance
image data
image
optimized
Prior art date
Application number
KR1020050131986A
Other languages
English (en)
Inventor
정진국
문영수
김지연
첸 마오린
갱유 마
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050131986A priority Critical patent/KR100698845B1/ko
Priority to US11/491,968 priority patent/US20070147700A1/en
Application granted granted Critical
Publication of KR100698845B1 publication Critical patent/KR100698845B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 입력된 영상에서 인물 외형을 추출하고 추출된 인물 외형을 이용하여 영상을 편집하는 방법 및 그 장치에 관한 것이다. 본 발명은 영상 데이터를 입력 받는 단계와, 상기 입력된 영상 데이터로부터 인물의 외형을 추출하는 단계와, 상기 입력된 영상 데이터의 특성을 이용하여 상기 추출된 인물의 외형을 최적화하는 단계와, 상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 단계 및 상기 편집된 영상 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법을 제공한다. 본 발명에 의하면, 입력되는 영상 데이터로부터 인물 외형을 자동으로 추출하여 사용자가 원하는 다양한 영상 편집 서비스를 제공할 수 있다.
인물, 외형, 추출, 최적, 편집

Description

인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그 장치{METHOD AND APPARATUS FOR EDITING IMAGE USING ALGORITHM OF EXTRACTING PERSONAL SHAPE}
도 1은 본 발명의 일실시예에 따른 인물 외형 추출 알고리즘을 이용한 영상 편집 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 인물 외형 추출 알고리즘을 이용한 영상 편집 방법의 흐름을 나타내는 도면이다.
도 3은 본 발명에 따른 영상 편집 방법에 있어서, 초기 인물 외형을 추출하는 절차의 흐름을 나타내는 도면이다.
도 4는 본 발명에 따른 영상 편집 방법에 있어서, 초기 인물 외형을 추출하는 절차에서의 영상 데이터의 일례를 나타내는 도면이다.
도 5는 본 발명에 따른 영상 편집 방법에 있어서, 인물 외형을 최적화하는 절차의 흐름을 나타내는 도면이다.
도 6은 본 발명에 따른 영상 편집 방법에 있어서, 컨트롤 포인트 검색의 일례를 나타내는 도면이다.
도 7은 본 발명에 따른 영상 편집 방법에 있어서, 인물 외형 모델을 업데이트하는 일례를 나타내는 도면이다.
도 8은 본 발명에 따른 영상 편집 방법에 있어서, 사용자 보정 절차의 흐름 을 나타내는 도면이다.
도 9는 본 발명에 따른 영상 편집 방법에 있어서, 배경 영상에 인물을 삽입하기 위한 영상 편집 절차를 나타내는 도면이다.
도 10은 본 발명에 따른 영상 편집 방법에 있어서, 배경 영상에 인물을 삽입한 영상 편집의 일례를 나타내는 도면이다.
도 11은 본 발명에 따른 영상 편집 방법에 있어서, 배경 영상에 인물을 삽입하는 절차를 나타내는 도면이다.
도 12는 본 발명에 따른 영상 편집 방법에 있어서, 옷/얼굴에 대한 영상을 편집하는 절차를 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 영상 편집 장치
110: 입력부
120: 인물 외형 추출부
130: 인물 외형 최적화부
140: 영상 편집부
150: 출력부
본 발명은 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 입력된 영상에서 인물 외형을 추출하고 추출된 인물 외형을 이용하여 영상을 편집하는 방법 및 그 장치에 관한 것이다.
종래 에너지 기반 알고리즘을 이용한 물체 외형 추출 방법으로 미국 특허 US6,912,310호는 첫 번째 프레임에서 물체를 추출한 후 연속되는 프레임에서 오브젝트 템플릿 매칭(template matching)을 수행한다. 하지만, 종래 에너지 기반 알고리즘을 이용한 물체 외형 추출 방법은 복잡한 배경을 갖는 영상에 적용하는 경우, 영상 내 물체 외형의 에지 뿐만 아니라 배경 부분의 에지 밀도 또한 강해지기 때문에 정확하게 물체 외형을 찾기 힘든 문제점이 있다.
한편, 종래 영역 세그멘테이션(segmentation) 기반의 물체 외형 추출 방법으로 미국 특허 US6,785,329호는 색 정보를 이용하여 Blob 형태로 영상을 세그멘테이션하고, Blob을 나누고 합치는 작업을 통해 물체 영역을 추출한다. 하지만, 종래 영역 세그멘테이션 기반의 물체 외형 추출 방법은 복잡한 배경을 갖는 영상에 적용하는 경우, 너무 많은 Blob으로 세그멘테이션되기 때문에 정확한 인물 외형을 찾기 힘든 문제점이 있다.
한편, 종래 외형 모델 기반의 물체 외형 추출 방법은 트레이닝 샘플(training sample)을 이용하여 모델을 형성하고, 모델의 외형 형태를 유지할 수 있도록 윤곽 검색(contour searching)을 수행한다. 하지만, 종래 외형 모델 기반의 물체 외형 추출 방법은 모델만을 기반으로 컨트롤 포인트를 찾기 때문에 학습 데이터 특징에 의존적이므로 학습된 외형 모델과의 차이가 조금이라도 있으면 적합한 물체 외형을 찾기 힘든 문제점이 있다.
이와 같이, 종래 물체 외형 추출 방법은 정확한 인물의 외형을 검색하기 어려운 문제점이 있다.
따라서, 인물의 외형을 정확하게 검출하고 검출된 인물의 외형을 이용하여 영상을 편집할 수 있는 방안이 절실히 요청되어 오고 있다.
본 발명은 상기와 같은 종래기술을 개선하기 위해 안출된 것으로서, 복잡한 배경 영상으로부터 정면/상반신의 인물 외형을 정확하게 추출하고 추출된 인물의 외형을 이용하여 영상을 편집하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 영상 데이터로부터 인물의 외형을 추출하고 추출된 인물 외형을 최적화한 후 최적화된 인물 외형을 다른 배경 화면과 합성하는 영상 편집 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 영상 데이터로부터 인물의 외형을 추출하고 추출된 인물 외형을 최적화한 후 피부색 검출을 이용하여 옷 영역과 얼굴 영역을 구분하고 구분된 옷 영역의 형태와 얼굴 밝기를 조절하는 영상 편집 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 영상 데이터로부터 인물의 외형을 추출하고 추출된 인물 외형을 최적화한 후 배경 영역의 밝기를 조절하는 영상 편집 방법 및 그 장치를 제공하는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 영상 데이터를 입력 받는 단계와, 상기 입력된 영상 데이터로부터 인물의 외형을 추출하는 단계와, 상기 입력된 영상 데이터의 특성을 이용하여 상기 추출된 인물의 외형을 최적화하는 단계와, 상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 단계 및 상기 편집된 영상 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법을 제공한다.
본 발명에 따르는 인물 외형 추출 알고리즘을 이용한 영상 편집 장치는, 영상 데이터를 입력 받는 입력부와, 상기 입력된 영상 데이터로부터 인물의 외형을 추출하는 인물 외형 추출부와, 상기 입력된 영상 데이터의 특성을 이용하여 상기 추출된 인물의 외형을 최적화하는 인물 외형 최적화부와, 상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 영상 편집부 및 상기 편집된 영상 데이터를 출력하는 출력부를 포함한다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그 장치를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 인물 외형 추출 알고리즘을 이용한 영상 편집 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 영상 편집 장치(100)는 입력부(110), 인물 외형 추출부(120), 인물 외형 최적화부(130), 영상 편집부(140) 및 출력부(150)를 포함한다.
입력부(110)는 편집하고자 하는 인물 데이터를 포함하는 영상 데이터를 입력 받는다.
인물 외형 추출부(120)는 상기 입력된 영상 데이터로부터 인물의 외형을 추출한다. 즉, 인물 외형 추출부(120)는 상기 입력된 영상 데이터로부터 얼굴, 눈 또는 피부색을 검출하거나 또는 사용자의 입력에 의해 인물의 위치를 추출하고, 소정의 인물 외형 모델을 이용하여 상기 영상 데이터에 포함된 인물 데이터로부터 초기 인물 외형을 추출할 수 있다.
인물 외형 최적화부(130)는 상기 입력된 영상 데이터의 특성을 이용하여 상기 추출된 인물의 외형을 최적화한다. 즉, 인물 외형 최적화부(130)는 상기 입력된 영상 데이터에 대한 에너지 또는 에지(Edge)의 특성을 이용하여 상기 추출된 초기 인물 외형을 최적화할 수 있다.
영상 편집부(140)는 상기 최적화된 인물의 외형을 이용하여 상기 입력된 영상 데이터를 편집한다.
영상 편집부(140)는 상기 최적화된 인물 외형을 다른 배경 화면에 삽입하여 합성함으로써 영상 데이터를 편집할 수 있다.
영상 편집부(140)는 상기 최적화된 인물 외형을 이용하여 영상 데이터를 편집하기 위해 피부색 검출을 이용하여 옷 영역 및 얼굴 영역을 구분하고, 상기 구분된 옷 영역의 형태 또는 상기 구분된 얼굴의 밝기를 조절하기 위해 영상 데이터를 편집할 수도 있다.
영상 편집부(140)는 상기 영상 데이터에 대한 배경 영역의 밝기를 조절하기 위해 상기 입력된 영상 데이터를 편집할 수 있다.
출력부(150)는 상기 편집된 영상 데이터를 출력한다.
이와 같이, 본 발명에 따른 영상 편집 장치는 입력된 영상 데이터로부터 인물의 외형을 추출하고, 추출된 인물의 외형을 최적화함으로써 보다 정확한 인물의 외형을 검출할 수 있다.
따라서, 본 발명에 따른 영상 편집 장치는 정확하게 검출된 인물의 외형을 이용하여 다른 배경 영상과 합성하거나 인물의 옷 형태 또는 얼굴을 변형하거나 배경 화면의 밝기 조절 등과 같은 다양한 방식으로 영상을 편집할 수 있다.
도 2는 본 발명의 일실시예에 따른 인물 외형 추출 알고리즘을 이용한 영상 편집 방법의 흐름을 나타내는 도면이다.
도 2를 참조하면, 단계(210)에서 영상 편집 장치는 편집하고자 하는 인물 데이터를 포함하는 영상 데이터를 입력 받는다.
단계(220)에서 상기 영상 편집 장치는 상기 입력된 영상 데이터로부터 인물의 외형을 추출한다. 본 발명에 따른 단계(220)에서 초기 인물 외형을 추출하는 절차는 도 3을 참조하여 하기에서 보다 상세하게 설명한다.
도 3은 본 발명에 따른 영상 편집 방법에 있어서, 초기 인물 외형을 추출하는 절차의 흐름을 나타내는 도면이다.
도 3을 참조하면, 단계(310)에서 상기 영상 편집 장치는 도 4에 도시된 것과 같이 입력 영상 데이터(410)로부터 인물의 위치를 추출한다. 즉, 단계(310)에서 상기 영상 편집 장치는 상기 영상 데이터로부터 인물의 얼굴, 눈 또는 피부색을 검출하거나 사용자의 입력에 의해 상기 인물의 위치를 추출할 수 있다.
단계(320)에서 상기 영상 편집 장치는 도 4에 도시된 것과 같은 인물 외형 모델(420)을 이용하여 상기 입력 영상 데이터(410)로부터 초기 인물 외형 데이터(430)를 추출한다.
단계(320)에서 상기 영상 편집 장치는 상기 검출된 인물의 눈 사이 거리 등에 의해 상기 인물의 크기를 추출하여 상기 인물 외형 모델(420)을 상기 입력된 영상 데이터(410)에 사상하여 초기 인물 외형 데이터(430)를 추출할 수 있다. 초기 인물 외형 데이터(430)는 중요 픽셀에 대한 컨트롤 포인트(control point)로 상기 입력된 영상 데이터에 대한 인물 외형을 표현할 수 있다.
단계(320)에서 상기 영상 편집 장치는 상기 인물의 눈 사이 거리에 의해 인물 크기를 추출하여 모델 스케일링(scaling)한 후 상기 컨트롤 포인트로 상기 인물의 외형을 표현할 수 있다.
단계(320)에서 상기 영상 편집 장치는 PCA(Principle Component Analysis) 방식에 의해 수동으로 레벨링(labeling)된 트레이닝(training) 영상들을 이용하여 생성된 고유 벡터(eigen vector)들로 모델을 표현할 수 있다.
단계(330)에서 상기 영상 편집 장치는 상기 입력된 영상 데이터로부터 도 4에 도시된 GVF 영상 데이터(440)에 포함된 것과 같은 기울기(Gradient) 정보를 추출한다.
단계(330)에서 상기 영상 편집 장치는 GVF(Gradient Vector Flow)를 이용하여 상기 입력 영상 데이터(410)로부터 상기 기울기 정보를 추출할 수 있다. 상기 GVF에서의 기울기 방향은 에지 밀도(Edge Density)가 강한 방향을 가리킨다. 즉, 상기 에지 밀도가 강한 픽셀에서는 도 4에 도시된 것과 같은 GVF 영상 데이터(440) 에 의하면, 기울기 벡터의 방향이 바뀌는 제로 크로싱(zero crossing)이 발생한다.
단계(340)에서 상기 영상 편집 장치는 상기 입력된 영상 데이터의 기울기 정보에 맞도록 상기 추출된 초기 인물 외형을 수정한다.
단계(340)에서 상기 영상 편집 장치는 상기 초기 인물 외형의 컨트롤 포인트들을 상기 에지 밀도가 강한 주변 픽셀로 이동시킬 수 있다.
즉, 단계(340)에서 상기 영상 편집 장치는 상기 기울기의 방향이 바뀌는 지점으로 컨트롤 포인트를 이동시켜 도 4에 도시된 것과 같은 수정된 인물 외형 영상 데이터(450)를 제공할 수 있다.
이와 같이, 본 발명에 따른 영상 편집 방법은 인물 외형 검색에 대한 정확도와 효율성을 높이기 위해서 최대한 인물에 가까운 형태로 초기 인물 외형을 추출할 수 있다.
단계(230)에서 상기 영상 편집 장치는 상기 입력된 영상 데이터의 특성을 이용하여 상기 추출된 인물의 외형을 최적화한다. 본 발명에 따른 단계(230)에서 인물 외형을 최적화하는 절차는 도 5를 참조하여 하기에서 보다 상세하게 설명한다.
도 5는 본 발명에 따른 영상 편집 방법에 있어서, 인물 외형을 최적화하는 절차의 흐름을 나타내는 도면이다.
도 5를 참조하면, 단계(510)에서 상기 영상 편집 장치는 상기 입력된 영상 데이터의 특성과 소정의 학습된 인물 외형 모델을 이용하여 최적 인물 외형을 검색한다.
즉, 단계(510)에서 상기 영상 편집 장치는 상기 인물 외형 모델과 상기 입력된 영상 데이터의 특성을 이용하여 현재 영상 데이터로부터 최적 인물 외형의 컨트롤 포인트를 검색할 수 있다.
단계(510)에서 상기 영상 편집 장치는 도 6에 도시된 것과 같이 현재 컨트롤 포인트(Current Control Point, 610)에 대한 에너지 함수(E)의 결과 값이 최소가 되는 주위 픽셀을 선택하여 새로운 컨트롤 포인트인 다음 컨트롤 포인트(Next Control Point, 620)로 결정할 수 있다. 상기 에너지 함수(E)는 인물의 외형에 해당하는 컨트롤 포인트가 되기 위한 조건을 명시한 목적 함수이며, 하기 수학식 1과 같이 Econtinuity, Esmoothness, EEdge, Eshape, EColor로 구성된다.
Figure 112005077338692-pat00001
α, β, γ, κ, λ는 각 함수에 대한 가중치를 나타낸다.
Econtinuity는 상기 컨트롤 포인트에 의해 표현되는 곡선이 연속성을 갖는지를 나타내는 함수로서 1차 미분 계수(Derivative) 값으로 나타낼 수 있으며, 하기 수학식 2과 같이 표현될 수 있다.
Figure 112005077338692-pat00002
Pi는 i번째 픽셀 정보를 나타낸다. Esmoothness는 상기 컨트롤 포인트에 의해 표현되는 곡선이 굴곡(curvature) 형태로 부드럽게 연결되는지를 나타내는 함수로서 2차 미분 계수 값으로 나타낼 수 있으며, 하기 수학식 3과 같이 표현될 수 있다.
Figure 112005077338692-pat00003
EEdge는 상기 컨트롤 포인트에 의해 표현되는 곡선이 입력된 영상 데이터의 에지와 비슷한지를 나타내는 함수로서 상기 GVF 상에서 제로 크로싱되는 지점과의 거리이며, 에지 밀도도 사용 가능하다.
EShape는 상기 컨트롤 포인트에 의한 외형이 인물 외형 모델의 외형과 비슷한지를 나타내는 함수로서 상기 인물 외형 모델과의 비교 값이며, 하기 수학식 4와 같이 표현될 수 있다.
Figure 112005077338692-pat00004
EColor는 상기 컨트롤 포인트 주변의 색 정보가 차이가 있는지를 나타내는 함 수로서 상기 컨트롤 포인트와 주변 픽셀들의 색 차이 분산 값의 역수로 표현되며, 색 차이의 분산 값이 클수록 경계선의 확률이 높다.
단계(520)에서 상기 영상 편집 장치는 상기 검색된 최적 인물 외형을 이용하여 상기 인물 외형 모델을 업데이트한다. 즉, 단계(520)에서 상기 영상 편집 장치는 상기 학습된 샘플에 의한 인물 외형 모델을 현재 형상에 맞도록 수정할 수 있다.
단계(520)에서 상기 영상 편집 장치는 현재 검출된 컨트롤 포인트를 최적의 형태로 가정하고, 상기 인물 외형 모델을 업데이트(update)하는데 이용할 수 있다.
단계(520)에서 상기 영상 편집 장치는 상기 현재 검출된 컨트롤 포인트와 상기 인물 외형 모델의 컨트롤 포인트와의 차이 값을 상기 인물 외형 모델의 컨트롤 포인트에 추가할 수 있다.
단계(520)에서 상기 영상 편집 장치는 상기 인물 외형 모델의 컨트롤 포인트(Mt)와 현재 검출된 컨트롤 포인트(C t)의 차이 값(Mt-C t)을 도 7에 도시된 것과 같이 로우 패스 필터(710)로 통과시켜 노이즈가 제거된 값(Mt-C t)'을 현재 인물 외형 모델의 컨트롤 포인트에 추가함으로써 업데이트된 인물 외형 모델의 포인트(Mt+1)를 하기 수학식 5와 같이 계산할 수 있다.
Mt+1 = Mt + (Mt-C t)'
단계(530)에서 상기 영상 편집 장치는 상기 입력된 영상 데이터로부터 인물 외형에 대한 검출이 완료되었는지를 판단한다. 즉, 단계(530)에서 상기 영상 편집 장치는 상기 인물 외형에 대한 검출 완료 테스트를 검색 횟수, 검색 함수의 컨버전스(convergence) 여부 등으로 제한할 수 있다.
상기 인물 외형에 대한 검출이 완료되지 않은 경우, 상기 영상 편집 장치는 단계(510)의 동작부터 다시 수행하여 상기 인물 외형에 대한 검출이 완료될 때까지 반복할 수 있다.
상기 인물 외형에 대한 검출이 완료된 경우, 단계(540)에서 상기 영상 편집 장치는 자동 검출된 인물 외형 결과를 출력한다.
이와 같이, 본 발명에 따른 영상 편집 방법은 합성할 인물 영역의 외형을 정확하게 추출함으로써 추출된 인물 영역을 이용한 편집을 보다 자연스럽게 수행할 수 있다.
도 8은 본 발명에 따른 영상 편집 방법에 있어서, 사용자 보정 절차의 흐름을 나타내는 도면이다.
도 8을 참조하면, 단계(810)에서 상기 영상 편집 장치는 사용자로부터 상기 자동 검출된 인물 외형에 대한 컨트롤 포인트의 위치를 조절하기 위해 인물 외형 보정 요청을 입력 받는다. 상기 사용자는 상기 자동 검출된 인물 외형 결과를 확인한 후 만족스럽지 않은 경우, 상기 인물 외형 보정 요청을 통해 상기 인물 외형 검출 결과를 보정할 수 있다.
단계(820)에서 상기 영상 편집 장치는 상기 입력된 인물 외형 보정 요청에 따라 상기 자동 검출된 인물 외형에 대한 컨트롤 포인트의 위치를 조절한다.
단계(830)에서 상기 영상 편집 장치는 상기 조절된 컨트롤 포인트로 인해 바뀐 에너지 함수에 따라 인물 외형을 최적화한다.
단계(840)에서 상기 영상 편집 장치는 상기 인물 외형 보정이 완료되었는지를 판단한다.
상기 인물 외형 보정이 완료되지 않은 경우, 상기 영상 편집 장치는 상기 인물 외형 보정이 완료될 때까지 단계(820)의 동작을 계속 수행한다.
상기 인물 외형 보정이 완료된 경우, 단계(850)에서 상기 영상 편집 장치는 상기 사용자에게 제공하기 위해 상기 인물 외형 보정이 완료된 최종 인물 외형을 출력한다.
이와 같이, 본 발명에 따른 영상 편집 방법은 자동 인물 검출 결과를 사용자가 보정할 수 있도록 함으로써 사용자에게 만족스러운 인물 검출 결과를 제공할 수 있다.
단계(240)에서 상기 영상 편집 장치는 상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집한다. 본 발명에 따른 단계(240)에서 상기 영상 편집 장치가 배경 영상에 최적화된 인물의 외형을 삽입하기 위해 영상 데이터를 편집하는 절차를 도 9를 참조하여 하기에서 보다 상세히 설명한다.
도 9는 본 발명에 따른 영상 편집 방법에 있어서, 배경 영상에 인물을 삽입하기 위한 영상 편집 절차를 나타내는 도면이다.
도 9를 참조하면, 단계(910)에서 상기 영상 편집 장치는 소정의 배경 영상에 상기 최적화된 인물의 외형을 삽입한다. 즉, 단계(910)에서 상기 영상 편집 장 치는 사용자가 지정하거나 혹은 시스템에 의해 자동으로 지정된 위치의 배경 영상에 맞도록 상기 최적화된 인물의 외형을 스케일링한 후 상기 배경 영상에 삽입할 수 있다. 일례로 시스템에서는 에지 밀도가 가장 작은 위치를 인물이 삽입될 위치로 지정할 수 있다.
도 10은 본 발명에 따른 영상 편집 방법에 있어서, 배경 영상에 인물을 삽입한 영상 편집의 일례를 나타내는 도면이다.
도 10을 참조하면, 제1 영상 데이터(1010)는 편집하고자 하는 인물 데이터를 포함한 영상 데이터이고, 제2 영상 데이터(1020)는 제1 영상 데이터(1010)로부터 인물 영역이 추출된 인물 데이터이다. 제3 영상 데이터(1030)는 편집하고자 하는 배경 데이터를 포함한 영상 데이터이고, 제4 영상 데이터(1040)는 상기 추출된 인물 데이터인 제2 영상 데이터(1020)가 상기 배경 데이터인 제3 영상 데이터(1030)에 합성된 영상 데이터이다.
이와 같이, 본 발명에 따른 영상 편집 방법은 영상 데이터로부터 인물 외형을 추출하고, 추출된 인물 외형을 사용자가 합성하고자 하는 배경 데이터에 적절한 크기로 삽입하여 합성할 수 있다.
본 발명에 따른 단계(910)에서 상기 영상 편집 장치가 배경 영상에 인물을 삽입하는 절차를 도 11을 참조하여 하기에서 보다 상세히 설명한다.
도 11은 본 발명에 따른 영상 편집 방법에 있어서, 배경 영상에 인물을 삽입하는 절차를 나타내는 도면이다.
도 11을 참조하면, 단계(1110)에서 상기 영상 편집 장치는 배경 영상, 인물 영역 및 인물 영상에 대한 해상도(resolution) 정보를 입력 받는다.
단계(1120)에서 상기 영상 편집 장치는 상기 인물 영상과 상기 배경 영상의 스케일링(scaling) 비율을 계산한다. 예를 들어 상기 인물 영상의 해상도가 320*240이고, 배경 영상의 해상도가 240*240인 경우, 상기 인물 영상과 상기 배경 영상에 대한 가로 스케일링 비율(Wr)은 '240/320 = 0.75'이고, 상기 인물 영상과 상기 배경 영상에 대한 세로 스케일링 비율(Hr)은 '240/240 = 1'이다.
단계(1130)에서 상기 영상 편집 장치는 인물 영역 중 가장 긴 가로/세로 길이를 이용하여 바운딩 박스(bounding box)를 생성한다. 예를 들어 상기 인물 영역 중 가장 긴 가로의 길이가 '40'이고, 상기 인물 영역 중 가장 긴 세로의 길이가 '80'인 경우, 상기 바운딩 박스의 크기는 '40*80'이 된다.
단계(1140)에서 상기 영상 편집 장치는 상기 계산된 가로 스케일링 비율, 세로 스케일링 비율 중 작은 비율과 상기 바운딩 박스의 비율에 맞추어 상기 인물 영역을 스케일링한다.
상기 가로 스케일링 비율(Wr)이 '0.75'이고, 상기 세로 스케일링 비율(Hr)이 '1'이고, 상기 바운딩 박스의 크기가 '40*80'인 경우를 예로 들어 설명하면 다음과 같다.
단계(1140)에서 상기 영상 편집 장치는 상기 가로 스케일링 비율과 가로 스케일링 비율 중 작은 비율인 가로의 크기를 '40*0.75=30'이 되도록 서브 샘플링(sub sampling)하고, 상기 바운딩 박스의 가로와 세로의 비율인 '40:80=1:2'이 유 지되도록 상기 바운딩 박스의 세로의 크기를 '30*2=60'로 서브 샘플링할 수 있다.
단계(1150)에서 상기 영상 편집 장치는 상기 스케일링된 인물 영역을 상기 배경 영상에 합성한다. 즉, 단계(1150)에서 상기 영상 편집 장치는 상기 배경 영상내 정해진 위치의 픽셀을 상기 인물 영역의 픽셀로 대체함으로써 상기 스케일링된 인물 영역을 상기 배경 영상에 합성할 수 있다.
단계(920)에서 상기 영상 편집 장치는 상기 삽입되는 인물의 외형에 대한 이미지 매팅(matting)을 수행한다. 즉, 단계(920)에서 상기 영상 편집 장치는 상기 배경 영상에 삽입되는 인물 경계선 부분의 픽셀 값을 조절하여 부드럽게 연결될 수 있도록 하는 이미지 매팅을 수행하기 위해 Bayesian/poisson matting 방식 등을 사용할 수 있다.
단계(240)에서 상기 영상 편집 장치는 상기 최적화된 인물 외형을 이용하여 옷/얼굴에 대한 영상을 편집할 수도 있다. 본 발명에 따른 단계(240)에서 상기 영상 편집 장치가 옷/얼굴에 대한 영상을 편집하는 절차를 도 12를 참조하여 하기에서 보다 상세히 설명한다.
도 12는 본 발명에 따른 영상 편집 방법에 있어서, 옷/얼굴에 대한 영상을 편집하는 절차를 나타내는 도면이다.
도 12를 참조하면, 단계(1210)에서 상기 영상 편집 장치는 상기 최적화된 인물 외형으로부터 피부색 검출하고, 상기 검출된 피부색에 따라 옷 영역 및 얼굴 영역을 구분한다.
단계(1220)에서 상기 영상 편집 장치는 상기 구분된 옷 영역의 형태 및 상 기 얼굴 밝기를 조절한다.
이와 같이, 본 발명에 따른 영상 편집 방법은 영상 데이터로부터 인물 외형을 최적화하고, 최적화된 인물 외형을 통해 피부색을 검출하여 옷 영역 및 얼굴 영역을 구분하고, 구분된 옷 영역의 형태 또는 얼굴 밝기를 조절함으로써 사용자가 원하는 다양한 영상으로 편집할 수 있다.
단계(240)에서 상기 영상 편집 장치는 상기 최적화된 인물 외형을 이용하여 영상 데이터에 대한 배경 영역의 밝기를 조절하기 위한 영상 편집을 수행할 수도 있다.
이와 같이, 본 발명에 따른 영상 편집 방법은 영상 데이터로부터 인물 외형을 최적화하고, 최적화된 인물 외형 정보를 이용하여 배경 영역을 구분하고, 구분된 배경 영역의 밝기도 조절 가능함으로써 배경 영역을 다양한 밝기로 조절할 수 있는 영상 편집을 제공할 수 있다.
따라서, 본 발명은 인물 외형 자동 추출 알고리즘을 사진 및 영상을 저장하여 볼 수 있는 다양한 기기(예를 들어 개인 비디오 레코더, 홈 서버, 스마트 모바일 기기)에서 보다 차별적인 영상 편집 서비스를 제공할 수 있다. 또한, 인물 외형을 정확하게 추출할 수 있기 때문에 인물 기반의 포토 브라우징 서비스에 응용할 수 있다.
본 발명에 따른 영상 편집 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또 는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 복잡한 배경 영상으로부터 정면/상반신의 인물 외형을 정확하게 추출하고 추출된 인물의 외형을 이용하여 영상을 편집하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 영상 데이터로부터 인물의 외형을 추출하고 추출된 인물 외형을 최적화한 후 최적화된 인물 외형을 다른 배경 화면과 합성하는 영상 편집 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 영상 데이터로부터 인물의 외형을 추출하고 추출된 인물 외형을 최적화한 후 피부색 검출을 이용하여 옷 영역과 얼굴 영역을 구분하고 구분된 옷 영역의 형태와 얼굴 밝기를 조절하는 영상 편집 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 영상 데이터로부터 인물의 외형을 추출하고 추출된 인물 외형을 최적화한 후 배경 영역의 밝기를 조절하는 영상 편집 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 입력되는 영상 데이터로부터 인물 외형을 자동으로 추출하여 사용자가 원하는 다양한 영상 편집 서비스를 제공할 수 있다.
또한 본 발명에 따르면, 인물 외형 자동 추출 알고리즘을 이용하여 인물 기반의 포토 네비게이션 시스템에 적용 가능하므로 사진 및 영상을 저장하여 볼 수 있는 다양한 기기에서 보다 차별적인 영상 편집 서비스를 제공할 수 있다.

Claims (25)

  1. 인물 외형 추출 알고리즘을 이용한 영상 편집 방법에 있어서,
    영상 데이터를 입력 받는 단계;
    상기 입력된 영상 데이터로부터 인물의 외형을 추출하는 단계;
    상기 입력된 영상 데이터와 소정의 학습된 인물 외형 모델을 이용하여 최적 인물 외형을 검색하는 단계;
    상기 검색된 최적 인물 외형을 이용하여 인물 외형 모델을 수정하여 상기 추출된 인물의 외형을 최적화하는 단계;
    상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 단계; 및
    상기 편집된 영상 데이터를 출력하는 단계
    를 포함하는 것을 특징으로 하는 영상 편집 방법.
  2. 제1항에 있어서,
    상기 입력된 영상 데이터로부터 인물의 외형을 추출하는 상기 단계는,
    상기 입력된 영상 데이터로부터 인물의 위치를 추출하는 단계;
    소정의 인물 외형 모델(shape model)을 이용하여 초기 인물 외형을 추출하는 단계;
    상기 영상 데이터에서 기울기(Gradient) 정보를 추출하는 단계; 및
    상기 추출된 기울기 정보를 이용하여 상기 추출된 초기 인물 외형을 수정하는 단계
    를 포함하는 것을 특징으로 하는 영상 편집 방법.
  3. 제2항에 있어서,
    상기 입력된 영상 데이터로부터 인물의 위치를 추출하는 상기 단계는,
    상기 영상 데이터로부터 인물의 얼굴, 눈 또는 피부색을 검출하여 상기 인물의 위치를 추출하는 것을 특징으로 하는 영상 편집 방법.
  4. 제2항에 있어서,
    소정의 인물 외형 모델을 이용하여 초기 인물 외형을 추출하는 상기 단계는,
    인물의 눈 사이 거리에 의해 인물 크기를 추출하여 모델 스케일링(scaling)한 후 컨트롤 포인트로 상기 인물의 외형을 표현하는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법.
  5. 제2항에 있어서,
    소정의 인물 외형 모델을 이용하여 초기 인물 외형을 추출하는 상기 단계는,
    트레이닝(training) 영상들을 이용하여 생성된 고유 벡터(eigen vector)들로 모델을 표현하는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법.
  6. 제2항에 있어서,
    상기 영상 데이터에서 기울기(Gradient) 정보를 추출하는 상기 단계는,
    상기 영상 데이터로부터 GVF(Gradient Vector Flow)를 이용하여 기울기 정보를 추출하는 것을 특징으로 하는 영상 편집 방법.
  7. 제2항에 있어서,
    상기 추출된 기울기 정보를 이용하여 상기 추출된 초기 인물 외형을 수정하는 상기 단계는,
    상기 초기 인물 외형의 컨트롤 포인트(control point)들을 에지 밀도(edge density)가 강한 픽셀로 이동시키는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법.
  8. 제7항에 있어서,
    상기 초기 인물 외형의 컨트롤 포인트들을 에지 밀도(edge density)가 강한 픽셀로 이동시키는 상기 단계는,
    상기 에지 밀도가 강한 픽셀에서 기울기 벡터의 방향을 바꾸는 특성을 이용하여 상기 컨트롤 포인트들을 이동시키는 것을 특징으로 하는 영상 편집 방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 입력된 영상 데이터와 소정의 학습된 인물 외형 모델을 이용하여 최적 인물 외형을 검색하는 상기 단계는,
    상기 입력된 영상 데이터와 상기 학습된 인물 외형 모델의 특성을 이용하여 현재 영상 데이터로부터 최적 인물 외형의 컨트롤 포인트를 검색하는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법.
  11. 제10항에 있어서,
    상기 입력된 영상 데이터와 상기 학습된 인물 모델의 특성을 이용하여 현재 영상 데이터로부터 최적 인물 외형의 컨트롤 포인트를 검색하는 상기 단계는,
    상기 입력된 영상 데이터에 대한 에너지 함수의 결과 값이 최소가 되는 주위 픽셀을 선택하여 새로운 컨트롤 포인트로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법.
  12. 제11항에 있어서,
    상기 에너지 함수는 인물의 외형에 대응하는 컨트롤 포인트를 결정하는 조건을 포함하는 목적 함수인 것을 특징으로 하는 영상 편집 방법.
  13. 제10항에 있어서,
    상기 검색된 최적 인물 외형을 이용하여 인물 외형 모델을 수정하는 상기 단계는,
    상기 검색된 컨트롤 포인트와 상기 모델의 컨트롤 포인트와의 차이 값을 상기 모델의 컨트롤 포인트에 추가하여 상기 인물 외형 모델을 수정하는 것을 특징으로 하는 영상 편집 방법.
  14. 제1항에 있어서,
    사용자로부터 인물 외형 보정 요청을 입력 받는 단계; 및
    상기 입력된 인물 외형 보정 요청에 따라 상기 추출된 인물 외형에 대한 컨트롤 포인트의 위치를 조절하는 단계
    를 더 포함하고,
    상기 입력된 영상 데이터의 특성을 이용하여 상기 추출된 인물의 외형을 최적화하는 상기 단계는,
    상기 조절된 컨트롤 포인트의 위치로 인해 바뀐 에너지 함수에 따라 인물 외형을 최적화하는 것을 특징으로 하는 영상 편집 방법.
  15. 제1항에 있어서,
    상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 상기 단계는,
    소정의 배경 영상에 상기 최적화된 인물의 외형을 삽입하는 단계; 및
    상기 삽입되는 인물의 외형에 대한 이미지 매팅(image matting)하는 단계
    를 포함하는 것을 특징으로 하는 영상 편집 방법.
  16. 제15항에 있어서,
    소정의 배경 영상에 상기 최적화된 인물의 외형을 삽입하는 상기 단계는,
    상기 배경 영상의 해상도에 맞도록 상기 최적화된 인물의 외형을 스케일링하는 단계; 및
    상기 배경 영상의 원하는 위치에 상기 스케일링된 인물의 외형을 삽입하는 단계
    를 포함하는 것을 특징으로 하는 영상 편집 방법.
  17. 제15항에 있어서,
    소정의 배경 영상에 상기 최적화된 인물의 외형을 삽입하는 상기 단계는,
    상기 배경 영상의 에지 밀도가 가장 작은 위치를 인물이 삽입될 위치로 지정하고, 상기 지정된 위치에 상기 최적화된 인물의 외형을 삽입하는 것을 특징으로 하는 영상 편집 방법.
  18. 제15항에 있어서,
    소정의 배경 영상에 상기 최적화된 인물의 외형을 삽입하는 상기 단계는,
    상기 배경 영상, 인물 영역 및 상기 인물 영상의 해상도를 입력 받는 단계;
    상기 입력된 배경 영상의 해상도와 상기 인물 영상의 해상도에 의해 상기 배경 영상과 상기 인물 영상의 스케일링 비율을 계산하는 단계;
    상기 인물 영역 중 가장 긴 가로 및 세로의 길이를 이용하여 바운딩 박스(bounding box)를 생성하는 단계;
    상기 계산된 스케일링 비율과 상기 바운딩 박스의 비율에 맞추어 상기 인물 영역을 스케일링하는 단계; 및
    상기 스케일링된 인물 영역을 상기 배경 영상에 합성하는 단계
    를 포함하는 것을 특징으로 하는 영상 편집 방법.
  19. 제1항에 있어서,
    상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 상기 단계는,
    상기 최적화된 인물의 외형 데이터로부터 피부색을 검출하여 옷 영역과 얼굴 영역을 구분하는 단계; 및
    상기 구분된 옷 영역의 형태 및 상기 얼굴 영역의 밝기를 조절하는 단계
    를 포함하는 것을 특징으로 하는 영상 편집 방법.
  20. 제1항에 있어서,
    상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 상기 단계는,
    상기 최적화된 인물의 외형에 대한 배경 영역의 밝기를 조절하는 단계를 포함하는 것을 특징으로 하는 영상 편집 방법.
  21. 제1항 내지 제8항, 제10항 내지 제20항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
  22. 인물 외형 추출 알고리즘을 이용한 영상 편집 장치에 있어서,
    영상 데이터를 입력 받는 입력부;
    상기 입력된 영상 데이터로부터 인물의 외형을 추출하는 인물 외형 추출부;
    상기 입력된 영상 데이터와 소정의 학습된 인물 외형 모델을 이용하여 최적 인물 외형을 검색하고, 상기 검색된 최적 인물 외형을 이용하여 인물 외형 모델을 수정하여 상기 추출된 인물의 외형을 최적화하는 인물 외형 최적화부;
    상기 최적화된 인물의 외형을 이용하여 상기 영상 데이터를 편집하는 영상 편집부; 및
    상기 편집된 영상 데이터를 출력하는 출력부
    를 포함하는 것을 특징으로 하는 영상 편집 장치.
  23. 제22항에 있어서,
    상기 인물 외형 추출부는,
    상기 입력된 영상 데이터로부터 얼굴, 눈 또는 피부색을 검출하고, 인물 외형 모델을 이용하여 초기 인물 외형을 추출하는 것을 특징으로 하는 영상 편집 장치.
  24. 제22항에 있어서,
    상기 인물 외형 최적화부는,
    상기 입력된 영상 데이터에 대한 에너지 또는 에지(edge)의 특성을 이용하여 인물 외형을 최적화하는 것을 특징으로 하는 영상 편집 장치.
  25. 제22항에 있어서,
    상기 영상 편집부는,
    상기 최적화된 인물 외형을 다른 배경 화면에 합성하거나 상기 인물의 옷 형태/얼굴을 편집하거나 또는 상기 영상 데이터에 대한 배경 영역의 밝기를 조절하는 것을 특징으로 하는 영상 편집 장치.
KR1020050131986A 2005-12-28 2005-12-28 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치 KR100698845B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050131986A KR100698845B1 (ko) 2005-12-28 2005-12-28 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치
US11/491,968 US20070147700A1 (en) 2005-12-28 2006-07-25 Method and apparatus for editing images using contour-extracting algorithm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050131986A KR100698845B1 (ko) 2005-12-28 2005-12-28 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치

Publications (1)

Publication Number Publication Date
KR100698845B1 true KR100698845B1 (ko) 2007-03-22

Family

ID=38193813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050131986A KR100698845B1 (ko) 2005-12-28 2005-12-28 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치

Country Status (2)

Country Link
US (1) US20070147700A1 (ko)
KR (1) KR100698845B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100967379B1 (ko) 2009-11-04 2010-07-05 (주)올라웍스 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
KR101508977B1 (ko) * 2012-08-16 2015-04-08 네이버 주식회사 이미지 분석에 의한 이미지 자동 편집 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN109272444A (zh) * 2018-10-07 2019-01-25 朱钢 一种改善Ai智慧摄影场景优化策略的实现方法
KR20200014842A (ko) * 2018-07-27 2020-02-11 선전 센스타임 테크놀로지 컴퍼니 리미티드 이미지 조명 방법, 장치, 전자 기기 및 저장 매체

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961945B2 (en) * 2007-02-13 2011-06-14 Technische Universität München System and method for on-the-fly segmentations for image deformations
US9070207B2 (en) * 2007-09-06 2015-06-30 Yeda Research & Development Co., Ltd. Modelization of objects in images
US8250527B1 (en) * 2007-11-06 2012-08-21 Adobe Systems Incorporated System and method for maintaining a sticky association of optimization settings defined for an image referenced in software code of an application being authored
US8218862B2 (en) * 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
WO2010116478A1 (ja) * 2009-03-30 2010-10-14 富士通株式会社 画像処理装置および画像処理方法、画像処理プログラム
US8687888B2 (en) 2010-11-18 2014-04-01 Casio Computer Co., Ltd. Region specification method, region specification apparatus, recording medium, server, and system
US8675957B2 (en) 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
TW201222432A (en) * 2010-11-26 2012-06-01 Inst Information Industry System, device, method, and computer program product for facial defect analysis using angular facial image
JP5843474B2 (ja) * 2011-05-09 2016-01-13 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5801598B2 (ja) * 2011-05-09 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
KR20130014774A (ko) * 2011-08-01 2013-02-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP5750381B2 (ja) * 2012-02-13 2015-07-22 株式会社日立製作所 領域抽出処理システム
US9575641B2 (en) * 2012-03-20 2017-02-21 Adobe Systems Incorporated Content aware image editing
US20140055607A1 (en) * 2012-08-22 2014-02-27 Jiunn-Kuang Chen Game character plugin module and method thereof
KR102153539B1 (ko) * 2013-09-05 2020-09-08 한국전자통신연구원 영상 처리 장치 및 방법
CN104700065B (zh) * 2013-12-04 2018-09-28 财团法人车辆研究测试中心 可提高分类效能的物体影像检测方法与装置
US9286706B1 (en) * 2013-12-06 2016-03-15 Google Inc. Editing image regions based on previous user edits
US9122934B2 (en) * 2013-12-27 2015-09-01 Automotive Research & Testing Center Object detection method with a rising classifier effect and object detection device with the same
WO2015123792A1 (en) * 2014-02-19 2015-08-27 Qualcomm Incorporated Image editing techniques for a device
WO2016045924A1 (en) * 2014-09-24 2016-03-31 Thomson Licensing A background light enhancing apparatus responsive to a remotely generated video signal
TW201615009A (en) * 2014-09-24 2016-04-16 Thomson Licensing A background light enhancing apparatus responsive to a local camera output video signal
US20170300742A1 (en) * 2016-04-14 2017-10-19 Qualcomm Incorporated Systems and methods for recognizing an object in an image
CN107171284A (zh) * 2017-06-29 2017-09-15 合肥步瑞吉智能家居有限公司 一种基于人体识别的智能断电插座控制系统
CN109379625B (zh) * 2018-11-27 2020-05-19 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN109767397B (zh) 2019-01-09 2022-07-12 三星电子（中国）研发中心 一种基于人工智能的图像优化方法和系统
KR102733063B1 (ko) 2019-03-19 2024-11-21 삼성전자주식회사 합성 이미지를 생성하는 전자 장치 및 방법
US11494935B2 (en) * 2019-10-17 2022-11-08 Objectvideo Labs, Llc Scaled human video tracking
CN111768468B (zh) * 2020-06-30 2023-08-04 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN114155308A (zh) * 2020-08-21 2022-03-08 武汉Tcl集团工业研究院有限公司 图像生成方法及装置
US20230200767A1 (en) * 2021-12-23 2023-06-29 Shanghai United Imaging Intelligence Co., Ltd. Interactive Contour Refinements for Data Annotation
US20240273902A1 (en) * 2023-02-13 2024-08-15 Nec Laboratories America, Inc. Cut-paste training augmentation for machine learning models

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111943A (ja) * 1996-10-03 1998-04-28 Hitachi Ltd 画像内正面人物像抽出方法
KR20000050501A (ko) * 1999-01-11 2000-08-05 구자홍 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법
KR20050014072A (ko) * 2003-07-30 2005-02-07 한국과학기술원 색분포 학습을 통한 얼굴영역 추출 방법

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5073959A (en) * 1986-10-24 1991-12-17 Canon Kabushiki Kaisha Image processing apparatus with contour extraction
JP2737877B2 (ja) * 1988-03-31 1998-04-08 株式会社リコー ドット文字パターンの平滑化方式
JPH03218581A (ja) * 1989-11-01 1991-09-26 Hitachi Ltd 画像セグメンテーション方法
EP0500375B1 (en) * 1991-02-22 1998-07-08 Canon Kabushiki Kaisha Image modification system
US5239591A (en) * 1991-07-03 1993-08-24 U.S. Philips Corp. Contour extraction in multi-phase, multi-slice cardiac mri studies by propagation of seed contours between images
KR100206267B1 (ko) * 1991-08-20 1999-07-01 윤종용 화상처리장치의 화상데이타 경계성분 강조회로
US6771812B1 (en) * 1991-12-27 2004-08-03 Minolta Co., Ltd. Image processor
US5644366A (en) * 1992-01-29 1997-07-01 Canon Kabushiki Kaisha Image reproduction involving enlargement or reduction of extracted contour vector data for binary regions in images having both binary and halftone regions
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US5903668A (en) * 1992-05-27 1999-05-11 Apple Computer, Inc. Method and apparatus for recognizing handwritten words
US5485565A (en) * 1993-08-04 1996-01-16 Xerox Corporation Gestural indicators for selecting graphic objects
EP0650287B1 (en) * 1993-10-26 2004-03-10 Canon Kabushiki Kaisha Image processing method and apparatus
KR100414432B1 (ko) * 1995-03-24 2004-03-18 마츠시타 덴끼 산교 가부시키가이샤 윤곽추출장치
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
US6952799B2 (en) * 1996-06-17 2005-10-04 British Telecommunications User interface for network browser including pre-processor for links embedded in hypermedia documents
US6078688A (en) * 1996-08-23 2000-06-20 Nec Research Institute, Inc. Method for image segmentation by minimizing the ratio between the exterior boundary cost and the cost of the enclosed region
JP3064928B2 (ja) * 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US5949905A (en) * 1996-10-23 1999-09-07 Nichani; Sanjay Model-based adaptive segmentation
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US6301395B1 (en) * 1996-12-12 2001-10-09 Minolta Co., Ltd. Image processing apparatus that can appropriately enhance contour of an image
US6259802B1 (en) * 1997-06-30 2001-07-10 Siemens Corporate Research, Inc. Object tracking technique using polyline contours
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
US6621924B1 (en) * 1999-02-26 2003-09-16 Sony Corporation Contour extraction apparatus, a method thereof, and a program recording medium
JP2001188910A (ja) * 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP3432469B2 (ja) * 1999-11-19 2003-08-04 富士通株式会社 画像処理装置及び方法、並びに画像処理プログラムを格納した記憶媒体
US6785329B1 (en) * 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
CA2299946A1 (en) * 2000-03-03 2001-09-03 Destiny Software Productions Inc. Digital media distribution method and system
US6766054B1 (en) * 2000-08-14 2004-07-20 International Business Machines Corporation Segmentation of an object from a background in digital photography
JP2002077526A (ja) * 2000-08-23 2002-03-15 Fuji Photo Film Co Ltd 画像形成装置
JP4409072B2 (ja) * 2000-09-14 2010-02-03 本田技研工業株式会社 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体
US7352901B2 (en) * 2000-10-23 2008-04-01 Omron Corporation Contour inspection method and apparatus
US20040083302A1 (en) * 2002-07-18 2004-04-29 Thornton Barry W. Transmitting video and audio signals from a human interface to a computer
US7051040B2 (en) * 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering
US7187800B2 (en) * 2002-08-02 2007-03-06 Computerized Medical Systems, Inc. Method and apparatus for image segmentation using Jensen-Shannon divergence and Jensen-Renyi divergence
JP3855939B2 (ja) * 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
GB0305315D0 (en) * 2003-03-07 2003-04-09 Weber Martin Image processing system
ZA200602540B (en) * 2003-10-09 2007-06-27 De Beers Cons Mines Ltd Enhanced video based superveillance system
US7454045B2 (en) * 2003-10-10 2008-11-18 The United States Of America As Represented By The Department Of Health And Human Services Determination of feature boundaries in a digital representation of an anatomical structure
US20050276481A1 (en) * 2004-06-02 2005-12-15 Fujiphoto Film Co., Ltd. Particular-region detection method and apparatus, and program therefor
US7519209B2 (en) * 2004-06-23 2009-04-14 Vanderbilt University System and methods of organ segmentation and applications of same
US7339585B2 (en) * 2004-07-19 2008-03-04 Pie Medical Imaging B.V. Method and apparatus for visualization of biological structures with use of 3D position information from segmentation results
US7430339B2 (en) * 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US7734118B2 (en) * 2004-11-17 2010-06-08 Adobe Systems Incorporated Automatic image feature embedding
AU2004231206A1 (en) * 2004-11-19 2006-06-08 Canon Kabushiki Kaisha Displaying a plurality of images in a stack arrangement
US20060239548A1 (en) * 2005-03-03 2006-10-26 George Gallafent William F Segmentation of digital images
US7574069B2 (en) * 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
US8732570B2 (en) * 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US7831107B2 (en) * 2005-10-17 2010-11-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US20070258012A1 (en) * 2006-05-04 2007-11-08 Syntax Brillian Corp. Method for scaling and cropping images for television display
US20080270930A1 (en) * 2007-04-26 2008-10-30 Booklab, Inc. Online book editor
US20080313210A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Content Publishing Customized to Capabilities of Device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111943A (ja) * 1996-10-03 1998-04-28 Hitachi Ltd 画像内正面人物像抽出方法
KR20000050501A (ko) * 1999-01-11 2000-08-05 구자홍 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법
KR20050014072A (ko) * 2003-07-30 2005-02-07 한국과학기술원 색분포 학습을 통한 얼굴영역 추출 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP08262762NU L

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100967379B1 (ko) 2009-11-04 2010-07-05 (주)올라웍스 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2011055930A3 (ko) * 2009-11-04 2011-08-11 (주)올라웍스 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
US8437550B2 (en) 2009-11-04 2013-05-07 Intel Corporation Method, terminal device, and computer-readable recording medium for setting an initial value for a graph cut
KR101508977B1 (ko) * 2012-08-16 2015-04-08 네이버 주식회사 이미지 분석에 의한 이미지 자동 편집 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20200014842A (ko) * 2018-07-27 2020-02-11 선전 센스타임 테크놀로지 컴퍼니 리미티드 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
KR102290985B1 (ko) * 2018-07-27 2021-08-19 선전 센스타임 테크놀로지 컴퍼니 리미티드 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
US11455516B2 (en) 2018-07-27 2022-09-27 Shenzhen Sensetime Technology Co., Ltd. Image lighting methods and apparatuses, electronic devices, and storage media
CN109272444A (zh) * 2018-10-07 2019-01-25 朱钢 一种改善Ai智慧摄影场景优化策略的实现方法

Also Published As

Publication number Publication date
US20070147700A1 (en) 2007-06-28

Similar Documents

Publication Publication Date Title
KR100698845B1 (ko) 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치
US11595737B2 (en) Method for embedding advertisement in video and computer device
US6816611B1 (en) Image processing method, facial region extraction method, and apparatus therefor
JP4564634B2 (ja) 画像処理方法及び装置並びに記憶媒体
US20110158540A1 (en) Pattern recognition method and pattern recognition apparatus
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN102208016A (zh) 图像处理设备和方法、以及程序
CN109961037A (zh) 一种考场视频监控异常行为特征识别方法
US10249046B2 (en) Method and apparatus for object tracking and segmentation via background tracking
CN113160246A (zh) 一种基于深度监督的图像语义分割方法
KR102280201B1 (ko) 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치
CN111340124A (zh) 图像中实体类别的识别方法和装置
US7024040B1 (en) Image processing apparatus and method, and storage medium
US20240135956A1 (en) Method and apparatus for measuring speech-image synchronicity, and method and apparatus for training model
KR100813168B1 (ko) 사전 모양 정보를 이용한 디지털 영상에서의 물체를추출하기 위한 방법 및 상기 방법을 수행하는 시스템
CN107194948B (zh) 基于集成式预测与时空域传播的视频显著性检测方法
CN116266387A (zh) 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统
CN114648681A (zh) 一种图像生成方法、装置、设备及介质
CN108446588A (zh) 一种双时相遥感影像变化检测方法及系统
CN108064006A (zh) 智能音箱及播放控制方法
KR102270009B1 (ko) 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
CN118710782A (zh) 利用端到端机器学习模型的动画面部表情和姿势转移
CN113870315A (zh) 一种动作迁移模型的训练方法及动作迁移方法
KR101554421B1 (ko) 구조 기반 이미지 확장 방법 및 장치
CN118710781A (zh) 利用端到端机器学习模型的面部表情和姿势转移

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20051228

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061116

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070308

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070316

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070319

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee