KR20090124285A - 영상 영역화 장치 - Google Patents

영상 영역화 장치 Download PDF

Info

Publication number
KR20090124285A
KR20090124285A KR1020080050403A KR20080050403A KR20090124285A KR 20090124285 A KR20090124285 A KR 20090124285A KR 1020080050403 A KR1020080050403 A KR 1020080050403A KR 20080050403 A KR20080050403 A KR 20080050403A KR 20090124285 A KR20090124285 A KR 20090124285A
Authority
KR
South Korea
Prior art keywords
image
foreground
background
pixels
pixel
Prior art date
Application number
KR1020080050403A
Other languages
English (en)
Other versions
KR100953738B1 (ko
Inventor
윤일동
이수찬
Original Assignee
한국외국어대학교 연구산학협력단
윤일동
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단, 윤일동 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020080050403A priority Critical patent/KR100953738B1/ko
Publication of KR20090124285A publication Critical patent/KR20090124285A/ko
Application granted granted Critical
Publication of KR100953738B1 publication Critical patent/KR100953738B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상처리기술에 관한 것으로, 다시점 영상집합을 영역화 하는 영상 영역화 장치에 관한 것이다.
본 발명의 실시예에 따른 영상 영역화 장치는, 하나의 영상에 대한 영역화 정보를 이용하여 다시점 영상집합(multi-view image set)의 전경 및 배경을 근사화하는 근사화부와, 근사화된 전경 및 배경 정보를 이용하여 다시점 영상집합을 영역화 하는 영역화부를 포함한다.
다시점 영상집합, 영역화

Description

영상 영역화 장치{APPARATUS FOR SEGMENTING MULTI-VIEW IMAGES }
본 발명은 영상처리기술에 관한 것으로, 더욱 자세하게는 하나의 물체를 다양한 시점에서 촬영한 영상집합을 영역화하는 영상 영역화 장치에 관한 것이다.
영상 영역화(image segmentation)는 영상을 특성이 비슷한 부분끼리 묶어서 분류하는 기술이다. 이러한 영상 영역화는 컴퓨터 비전과 그래픽스 분야에서 인식과 3차원 구조 복원 등의 전처리 과정으로 이용되고 있으며, 배경 대체를 비롯한 영상 합성과 가상 현실 등의 중간 처리과정에 이용되고 있다.
최근, 하나의 물체에 대해 다양한 시점에서 촬영된 영상집합(이하, 다시점 영상집합이라 한다)을 일괄적으로 편집하기 위한 요구가 증가하고 있다. 다시점 영상 집합(multi-view image set)을 입력 데이터로 사용하는 다시점 스테레오 기법을 통한 물체의 3차원 구조 복원 기술의 성능이 개선되면서 수요가 늘었기 때문이다.
이러한 다시점 영상집합에 대한 영역화 기술에는 다시점 영상집합에 대한 전체 시점정보를 사용자로부터 입력받아 영역화 하는 기술과, 거리변환을 통한 경계 전파정보를 이용하여 영역화 하는 기술과, 영역화와 전경물체의 3차원 구조 복원과정을 통해 영역화 하는 기술 등이 있다.
그러나, 다시점 영상집합에 대한 전체 시점정보를 사용자로부터 입력받아 영역화 하는 기술은 사용자가 전체 시점정보를 입력하여야 하는 불편함이 있다. 거리변환을 통한 경계전파정보를 이용하여 영역화 하는 기술은 영상집합을 비디오 영상과 동일하게 취급하므로 시점 변화가 다양한 영상에 적용하기 어렵다. 영역화와 전경물체의 3차원 구조 복원과정을 통해 영역화 하는 기술은 3차원 구조 복원과정을 거치므로 시스템 구성이 복잡해진다.
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 다시점 영상집합에 대한 영역화를 간단하게 할 수 있는 영상 영역화 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 발명의 일 양상에 따른 영상 영역화 장치는, 물체에 대한 하나의 영상의 영역화 정보를 이용하여 다시점 영상집합(multi-view image set)의 전경 및 배경을 근사화하는 근사화부; 와 상기 근사화된 전경 및 배경 정보를 이용하여 상기 다시점 영상집합을 영역화 하는 영역화부를 포함한다.
상기 하나의 영상에 대한 영역화 정보는, 상기 다시점 영상집합 중 하나의 영상에 대한 전경 및 배경의 색 분포 히스토그램, 전경영역 및 상기 전경영역의 외곽선 정보 중 적어도 하나를 포함할 수 있다.
상기 근사화부는, 상기 다시점 영상집합의 특징점을 이용하여 상기 다시점 영상집합 간의 전경 및 배경을 근사화할 수 있다.
상기 근사화부는 현재 영상의 배경 영역과 근사화 정보를 전파 받을 인접 영상의 특징점을 추출하고, nearest neighbor matching과 RANSAC(RANdom Sample Consensus)를 이용하여 정합한 후 대응되는 특징점을 이용하여 배경 변화를 변형행렬로 근사화할 수 있다.
상기 근사화부는, 영상의 특징점을 이용한 레지스트레이션을 통해서 상기 다시점 영상집합의 전경 변화를 근사화할 수 있다.
상기 근사화부는, 큐빅 B-스플라인을 기반으로 한 일정한 메쉬(regular mesh)의 자유형태 변형(free-form doformation) 모델을 이용하여 영상을 변형하여 목표 영상으로 레지스트레이션할 수 있다.
상기 전경 및 배경의 근사화 정보는, 인접 영상에서 전경 및 배경으로 추정되는 영역, 상기 전경 및 배경으로 추정되는 영역에 해당되는 픽셀집합, 이전 영상의 전경 및 배경 각각의 픽셀확률분포 중 적어도 하나를 할 수 있다.
상기 영역화부는 인접 영상에서 전경으로 추정되는 픽셀들을 이용하여 인접 영상의 전경 픽셀들의 예측확률분포 및 배경 픽셀들의 예측확률분포를 재근사할 수 있다.
상기 영역화부는, 댐핑(damping)을 적용하여 재근사된 인접 영상의 전경 픽셀들의 예측확률분포 및 배경 픽셀들의 예측확률분포와, 이전 영상의 전경 픽셀들의 확률분포 및 배경 픽셀들의 확률분포의 가중평균을 구하되, 재근사에 이용되는 픽셀들 중 전경 및 배경이 겹치는 픽셀, 이전 영상의 픽셀 확률 분포에 의한 가능 성 중 큰 값을 레이블과 현재 해당하는 영역 픽셀의 레이블과 다른 픽셀을 제외할 수 있다.
상기 영역화부는, 영상의 픽셀이 전경 및 배경 중 어느 영역에 해당하는지를 나타내는 레이블을 각 픽셀에 할당하여 영상을 영역화할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 영상 영역화 장치는, 최소한의 사용자 입력을 기반으로 다시점 영상집합에 대해서 순차적으로 전경 및 배경을 근사하고, 근사화된 정보를 이용하여 영역화 함으로써, 다시점 영상집합에 대한 영역화를 간단히 수행할 수 있다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 영상 영역화 장치의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 영역화 장치는 근사화부(10)와 영역화부(20)를 포함한다.
근사화부(10)는 사용자로부터 입력된 하나의 영상에 대한 영역화 정보를 이용하여 다시점 영상집합(multi-view image set)의 전경 및 배경을 근사화한다. 이에 영역화부(20)는 근사화부(10)에서 근사화된 전경 및 배경 정보를 이용하여 다시점 영상집합을 영역화 하여 출력한다.
이에 대해서 구체적으로 살펴보기로 한다.
근사화부(10)는 사용자로부터 입력된 하나의 영상에 대한 영역화 정보를 이용하여 다시점 영상집합의 배경 및 전경을 순차적으로 근사화하여 영역화부(20)에 전송한다. 실시예로, 사용자에 의해 지정된 전경 및 배경이 도 2에 도시되어 있다. 도 2의 (a)는 전경(25) 및 배경(26)의 일부를 사용자가 지정한 경우이고, 도 2의 (b)는 사용자가 전경(27)의 영역을 개략적으로 지정한 경우이다.
이때, 사용자로부터 입력된 영역화 정보는 다시점 영상집합 중 하나의 영상에 대한 전경(foreground) 및 배경(background)의 색 분포 히스토그램, 전경영역 및 상기 전경영역의 외곽선 정보 중 적어도 하나를 포함한다. 이렇게 사용자로부터 입력된 영역화 정보는 다시점 영상집합 중 사용자에 의해 첫 번째로 촬영된 영상의 영역화 정보일 수 있다.
즉, 근사화부(10)는 사용자에 의해 첫 번째로 촬영된 영상에 대한 영역화 정보를 이용하여 두 번째로 촬영된 영상에 대한 배경 및 전경에 대해 근사화하여 영역화부(20)에 전송하고, 두 번째로 촬영된 영상에 대해 근사화된 정보를 이용하여 세 번째로 촬영된 영상에 대해 근사화한다. 이러한 근사화 과정을 다시점 영상 집합에 대해서 순차적으로 수행한다. 이를 위해서 다시점 영상집합은 시점의 흐름에 따라 촬영된 순서대로 배열되어 있어야 한다.
이때, 근사화부(10)는 다시점 영상집합의 영상들의 특징점(feature point)을 이용하여 다시점 영상집합 간의 전경 및 배경을 근사화한다. 이렇게 다시점 영상집합 간의 전경 및 배경을 분리하여 근사화하는 이유는 잘못된 정합인 아웃라이어(outlier)의 가능성을 낮추기 위함이다. 여기서, 특징점은 영상 내에서 주변 픽셀들에 비해 특수한 성질을 갖는 점을 나타낸다. 실시예에 따라, 특징점은 색 변화 정도가 주변에 비해 극대화되는 점일 수 있다. 도 3의 (a)에 도시된 영상에 대해서 특징점을 추출하여 도 3의 (b)와 같이 사각형으로 표시할 수 있다.
근사화부(10)는 어파인(affine) 변화에 기초하여 다시점 영상집합의 배경 변화를 변형 행렬(homography)로 근사화한다. 즉, 근사화부(10)는 현재 영상의 배경 영역과 근사화 정보를 전파 받을 인접 영상의 특징점을 추출하고, 서로 가장 가까운 네이버 매칭(nearest neighbor matching)과 RANSAC(RANdom SAmple Consensus)를 이용하여 정합한 후 대응되는 특징점을 이용하여 배경 변화를 변형행렬로 근사화하여 영역화부(20)에 전송한다. 이때, 배경은 독립적인 움직임이 없는 것으로 한다.
한편, 근사화부(10)는 영상의 특징점을 이용한 레지스트레이션(registration) 방법을 이용하여 전경의 변화를 근사화하여 영역화부(20)에 전송한다. 이때, 레지스트레이션은 기준(reference) 영상에 다른 영상을 찌그려뜨려서 두 영상을 최대한 유사하게 하는 과정이다. 실시예로, 도 4의 (a)는 기준영상을 나타내고, 도 4의 (b)는 변형할 다른 영상을 나타내고, 도 4의 (c)는 레지스트레이션된 영상을 나타낸다. 도 4에 도시된 바와 같이, 도 4의 (b)에 도시된 영상을 찌그 려뜨려서 도 4의 (a)의 기준영상에 겹쳐지게 하여, 도 4의 (c) 영상을 얻을 수 있다.
이하에서, 영상의 특징점을 이용한 레지스트레이션 방법에 대해서 살펴보기로 한다.
근사화부(10)는 큐빅 B-스플라인을 기반으로 한 일정한 메쉬(regular mesh)의 자유형태 변형(free-form deformation) 모델을 이용하여 영상을 변형하여 목표 영상으로 레지스트레이션 한다.
즉, 영상의 크기가 높이
Figure 112008038673188-PAT00001
, 너비
Figure 112008038673188-PAT00002
인 경우,
Figure 112008038673188-PAT00003
의 영역을 각 축에 따라 N 개의 구간으로 나누어,
Figure 112008038673188-PAT00004
,
Figure 112008038673188-PAT00005
의 간격으로 벌어진 일정한 점을 이용하는 일정한 메쉬
Figure 112008038673188-PAT00006
의 변화에 대한 에너지를 아래의 수학식 1을 이용하여 계산한다.
Figure 112008038673188-PAT00007
여기서,
Figure 112008038673188-PAT00008
는 메쉬
Figure 112008038673188-PAT00009
의 변화상태를 나타내는 벡터이고,
Figure 112008038673188-PAT00010
는 대응점의 집합,
Figure 112008038673188-PAT00011
는 메쉬
Figure 112008038673188-PAT00012
의 점들의 변형(deformation)을 나타내는 에너지, 그리고
Figure 112008038673188-PAT00013
는 대응관계로 나타나는 에너지를 나타내며,
Figure 112008038673188-PAT00014
이다.
이때,
Figure 112008038673188-PAT00015
는
Figure 112008038673188-PAT00016
의 점들에 대한 색인(index)을 나타내며,
Figure 112008038673188-PAT00017
은 연속되는 세 점들의 색인의 집합을 나타낸다.
나아가,
Figure 112008038673188-PAT00018
으로
Figure 112008038673188-PAT00019
,
Figure 112008038673188-PAT00020
,
Figure 112008038673188-PAT00021
는 강인한 측정기(robust estimator),
Figure 112008038673188-PAT00022
은 강인한 측정기의 입력으로 대입되는 신뢰 반경(confidence radius)을 나타낸다.
Figure 112008038673188-PAT00023
는 영역화된 전경에서 추출된 특징점을,
Figure 112008038673188-PAT00024
은 인접 영상에서 추출된
Figure 112008038673188-PAT00025
의 대응점을, 그리고
Figure 112008038673188-PAT00026
는
Figure 112008038673188-PAT00027
와 변화상태
Figure 112008038673188-PAT00028
를 이용하여
Figure 112008038673188-PAT00029
가 변환된 점을 나타내는데, B-스플라인을 이용한 보간(interpolation)을 통해 계산된다. 즉, B-스플라인을 이용한 보간은 아래의 수학식 2을 이용하여 계산된다.
Figure 112008038673188-PAT00030
여기에서,
Figure 112008038673188-PAT00031
는 버림 함수(floor function)를,
Figure 112008038673188-PAT00032
,
Figure 112008038673188-PAT00033
,
Figure 112008038673188-PAT00034
,
Figure 112008038673188-PAT00035
, 그리고
Figure 112008038673188-PAT00036
과
Figure 112008038673188-PAT00037
은 각각
Figure 112008038673188-PAT00038
과
Figure 112008038673188-PAT00039
차 큐빅 B-스플라인의 기저(basis) 함수를 나타낸다.
위의 수학식들을 기반으로 에너지를 최소화하는 상태 변환 S를 구할 수 있다. 이때, 에너지를 최소화하는 상태 변환 S를 구하는데 비선형 켤레 그레디언트(nonlinear conjugate gradient) 기법이 이용된다. 상태변환
Figure 112008038673188-PAT00040
는 영상의 변환을 조절하는 일정한 메쉬의 점들의 좌표를 의미한다.
영역화부(20)는 근사화부(10)로부터 인접 영상에 대한 전경 및 배경의 근사화 정보를 수신하면, 수신된 근사화 정보에 기초하여 인접 영상을 영역화 한다. 이때, 근사화부(10)로부터 수신된 인접 영상에 대한 전경 및 배경의 근사화 정보는 인접 영상에서 전경 및 배경으로 추정되는 영역과 그에 해당하는 픽셀 집합, 그리고 이전 영상의 전경 및 배경의 픽셀 확률 분포 h seg (O)와 h seg (B)를 포함한다.
영역화부(20)는 인접 영상에서 전경으로 추정되는 픽셀들을 이용하여 인접 영상의 전경 픽셀들의 예측 확률 분포 h next (O)를 재근사 하고, 배경에 대해서도 마 찬가지로 배경으로 추정되는 픽셀들을 이용하여 예측 확률 분포 h next (B)를 재근사 한다. 이때, h는 각 영역의 색 분포 히스토그램을 의미한다.
한편, 예측된 전경 및 배경 영역은 정확하지 않을 수 있다. 그러나 이전 영상과 인접 영상의 전경 및 배경 픽셀들의 색 분포는 유사할 수 있다. 이에 따라 영역화부(20)는 댐핑(damping)을 적용하여 재근사된 확률 분포와 이전 영상의 확률 분포의 가중 평균을 구한다. 이때, 재근사에 이용되는 픽셀들은 전경 및 배경이 겹치는 픽셀, 이전 영상의 픽셀 확률 분포에 의한 가능성
Figure 112008038673188-PAT00041
및
Figure 112008038673188-PAT00042
중 큰 값을 갖는 레이블과 현재 해당하는 영역 픽셀의 레이블과 다른 픽셀을 제외한다.
Figure 112008038673188-PAT00043
및
Figure 112008038673188-PAT00044
은 후술될 수학식 8에 정의된다.
재근사를 통해 예측된 인접 영상의 전경 및 배경 픽셀의 색 확률 분포와 이전 영상의 전경 및 배경의 픽셀 확률 분포의 각 가중치에 대해서 살펴보기로 한다. 영역화된 배경 영역의 픽셀 수를
Figure 112008038673188-PAT00045
, 재근사에 이용되는 픽셀 수를
Figure 112008038673188-PAT00046
이라 하면, 재근사된 전경과 영역화된 이전 영상의 전경의 가중치는 아래의 수학식 3 및 4를 이용하여 구할 수 있다.
Figure 112008038673188-PAT00047
Figure 112008038673188-PAT00048
즉, 재근사된 전경과 영역화된 이전 영상의 전경의 가중치는 각각
Figure 112008038673188-PAT00049
,
Figure 112008038673188-PAT00050
로 구해짐을 알 수 있다. 나아가, 배경에 대해서도 수학식 3 및 수학식 4를 이용하여 가중치를 계산할 수 있다.
영역화부(20)는 픽셀이 전경 또는 배경에 속하는지를 확인한다. 이에 대해서 자세히 살펴보기로 한다. 영상의 각 픽셀을 노드(node)로, 인접 픽셀과의 관계를 에지(edge)로 보는 픽셀 쌍(pairwise)을 생성한다. 모든 노드의 집합을 P라고 하고, 각 픽셀에 대해 어느 영역에 해당하는지를 나타내는 레이블
Figure 112008038673188-PAT00051
을 각 노드에 할당하여 영역화 한다. 레이블 할당은 할당된 레이블에 따른 에너지를 최소화시키는 형태로 이루어질 수 있다. 이때, 에너지는 아래의 수학식 5를 이용하여 구해질 수 있다.
Figure 112008038673188-PAT00052
여기에서,
Figure 112008038673188-PAT00053
과
Figure 112008038673188-PAT00054
는 각각 에너지의 영역 항(region term)과 경계 항(boundary term)을 나타낸다. 에너지의 영역 항은 각 픽셀이 전경 또는 배경에 속할 가능성을 모든 픽셀에 대해 종합한 값이다. 경계 항은 특정 지점에 경계가 위치하는 에너지를 나타낸다. 이러한 영역 항과 경계 항은 각각 수학식 6 및 수학식 7을 이용하여 구해질 수 있다.
Figure 112008038673188-PAT00055
Figure 112008038673188-PAT00056
이때, N은 모든 인접 픽셀 쌍으로 이루어진 집합을 나타내며,
Figure 112008038673188-PAT00057
이다.
Figure 112008038673188-PAT00058
는 픽셀
Figure 112008038673188-PAT00059
에 레이블
Figure 112008038673188-PAT00060
를 할당할 때의 에너지로, 픽셀
Figure 112008038673188-PAT00061
의 색 또는 밟기 값
Figure 112008038673188-PAT00062
에 따라 근사된 전경 및 배경의 픽셀 확률분포를 이용하여 계산되며, 아래의 수학식 8을 이용하여 구해진다.
Figure 112008038673188-PAT00063
,
Figure 112008038673188-PAT00064
경계 항은 인접 픽셀들의 색 또는 밝기 차이인 그래디언트(gradient) 값에 결정되는
Figure 112008038673188-PAT00065
와 전파된 예상 경계의 거리 변환에 의해 결정되는
Figure 112008038673188-PAT00066
로 이루어진다. 이때,
Figure 112008038673188-PAT00067
는 아래의 수학식 9에 의해 구해질 수 있다.
Figure 112008038673188-PAT00068
이때,
Figure 112008038673188-PAT00069
이고,
Figure 112008038673188-PAT00070
는
Figure 112008038673188-PAT00071
와
Figure 112008038673188-PAT00072
의 거리를 나타내며,
Figure 112008038673188-PAT00073
는 벡터의
Figure 112008038673188-PAT00074
노름(norm)을 나타내며,
Figure 112008038673188-PAT00075
는 전체 영상 내의 평균을 의미하며, 영역 간의 경계는 차이가 큰 곳에 위치한다는 가정하에 두 픽셀 값의 차이가 클수록 작은 값을 가지게 된다.
한편,
Figure 112008038673188-PAT00076
는 아래의 수학식 10에 의해 구해진다.
Figure 112008038673188-PAT00077
이때,
Figure 112008038673188-PAT00078
는 가장 가까운 예상 경계 지점으로부터
Figure 112008038673188-PAT00079
까지 거리를 의미하며, 예상 경계 지점과 멀리 떨어진 지점에 경계가 있을수록 에너지가 커지게 된다.
이후, 영역화부(20)는 에너지값을 계산한 후 그랩컷 기법을 이용하여 각 노드의 레이블을 도출한다. 이때, 그랩컷 기법은 노드(node)와 노드들을 연결하는 에지(edge)로 이루어지는 그래프를 이용하여 각종 현상을 모델링(modeling)하는 이론인 그래프 컷 기법을 이용하는 흑백 영상 영역화 기법을 컬러 영상으로 확장한 기법이다.
그래프 컷 기법의 실시 예로, 에너지나 흐름들을 모델링 하는 경우, 에지에 노드들간 최대 흐름의 양(flow capacity)을 나타내는 수치를 지정하고, 흐름이 발생하는 특수 노드 소스(source)와 흐름이 흘러나가는 특수 노드 싱크(sink)를 정의하여 모델링한다. 이러한 흐름 그래프(flow graph)에서 소스로부터 싱크까지 그래프를 지나가는 최대 흐름(max-flow)를 찾는다. 이때, 최대 흐름은 각 에지를 노드들간 연결의 강약을 나타내는 정도로 치환할 경우, 노드들간 에지를 끊어서 전체 그래프를 가장 적은 비용으로 자르는 방법(finding the minimum cost cut)을 통해서 구할 수 있다.
그랩컷을 이용한 영역화에서 영상의 픽셀을 그래프의 노드로 정의하고 각 픽셀의 색에 따라 인접 픽셀들간 색의 차이가 클수록 수치가 작은 값을 갖도록 인접 노드들간 에지를 정의할 수 있다. 또한 노드들간 에지 이외에 모든 노드들은 소스 및 싱크와 에지로 연결된다. 소스와 싱크는 각각 전경과 배경을 의미하며, 각 노드마다 해당하는 픽셀의 색이 전경 색의 분포와 어느 정도 유사한지를 소스와의 에지에 반영하며, 배경 색 분포와 어느 정도 유사한지를 싱크와의 에지에 반영한다.
이렇게 소스 또는 싱크 노드와의 에지의 수치는 픽셀이 어느 영역에 해당할지를 나타내는 값으로 영역 항이라 하며, 노드들간 에지는 영역이 구분되는 경계가 있을 가능성을 나타내는 값으로 경계 항이라 한다. 최저 비용 분할은 모든 노드에 대해 각각 전경에 대한 소스와 배경에 해당하는 싱크와의 에지 둘 중 하나를 자르고, 경계가 발생하는 인접 노드들간 에지를 잘라서 그래프를 분할할 때 잘리는 에지 수치의 총합이 최저가 되는 분할을 나타낸다. 이렇게 정의된 에지 값들에 따른 최저비용분할을 찾음으로써 영상을 전경과 배경의 두 영역으로 영역화할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 영상 영역화 장치는, 최소한의 사용자 입력을 기반으로 다시점 영상집합에 대해서 순차적으로 전경 및 배경을 근사하고, 근사화된 정보를 이용하여 영역화 함으로써, 다시점 영상집합에 대한 영역화를 간단히 수행할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 영상 영역화 장치에 대한 구성을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 사용자에 의해 지정된 전경 및 배경을 예시한 도면.
도 3은 본 발명의 실시예에 따른 특징점을 예시한 도면.
도 4는 본 발명의 실시예에 따른 레지스트레이션 영상을 예시한 도면.

Claims (11)

  1. 물체에 대한 하나의 영상의 영역화 정보를 이용하여 다시점 영상집합(multi-view image set)의 전경 및 배경을 근사화하는 근사화부; 와
    상기 근사화된 전경 및 배경 정보를 이용하여 상기 다시점 영상집합을 영역화하는 영역화부를 포함하는 영상 영역화 장치.
  2. 제 1 항에 있어서,
    상기 하나의 영상에 대한 영역화 정보는,
    상기 다시점 영상집합 중 하나의 영상에 대한 전경 및 배경의 색 분포 히스토그램, 전경영역 및 상기 전경영역의 외곽선 정보 중 적어도 하나를 포함하는 영상 영역화 장치.
  3. 제 1 항에 있어서,
    상기 근사화부는,
    상기 다시점 영상집합의 특징점을 이용하여 상기 다시점 영상집합 간의 전경및 배경을 근사화하는 영상 영역화 장치.
  4. 제 3 항에 있어서,
    상기 근사화부는,
    현재 영상의 배경 영역과 근사화 정보를 전파 받을 인접 영상의 특징점을 추출하고, nearest neighbor matching과 RANSAC(RANdom Sample Consensus)를 이용하여 정합한 후 대응되는 특징점을 이용하여 배경 변화를 변형행렬로 근사화하는 영상 영역화 장치.
  5. 제 3 항에 있어서,
    상기 근사화부는,
    영상의 특징점을 이용한 레지스트레이션을 통해서 상기 다시점 영상집합의 전경 변화를 근사화하는 영상 영역화 장치.
  6. 제 5 항에 있어서,
    상기 근사화부는,
    큐빅 B-스플라인을 기반으로 한 일정한 메쉬(regular mesh)의 자유형태 변형(free-form deformation) 모델을 이용하여 영상을 변형하여 목표 영상으로 레지스트레이션 하는 영상 영역화 장치.
  7. 제 1 항에 있어서,
    상기 전경 및 배경의 근사화 정보는,
    인접 영상에서 전경 및 배경으로 추정되는 영역, 상기 전경 및 배경으로 추정되는 영역에 해당되는 픽셀집합, 이전 영상의 전경 및 배경 각각의 픽셀확률분포 중 적어도 하나를 포함하는 영상 영역화 장치.
  8. 제 7 항에 있어서,
    상기 영역화부는,
    인접 영상에서 전경으로 추정되는 픽셀들을 이용하여 인접 영상의 전경 픽셀들의 예측확률분포 및 배경 픽셀들의 예측확률분포를 재근사하는 영상 영역화 장치.
  9. 제 8 항에 있어서,
    상기 영역화부는,
    댐핑(damping) 을 적용하여 재근사된 인접 영상의 전경 픽셀들의 예측확률분포 및 배경 픽셀들의 예측확률분포와, 이전 영상의 전경 픽셀들의 확률분포 및 배경 픽셀들의 확률분포의 가중평균을 구하되,
    재근사에 이용되는 픽셀들 중 전경 및 배경이 겹치는 픽셀, 이전 영상의 픽셀 확률 분포에 의한 가능성 중 큰 값을 레이블과 현재 해당하는 영역 픽셀의 레이블과 다른 픽셀을 제외하는 영상 영역화 장치.
  10. 제 9 항에 있어서,
    상기 영역화부는,
    영상의 픽셀이 전경 및 배경 중 어느 영역에 해당하는지를 나타내는 레이블 을 각 픽셀에 할당하여 영상을 영역화하는 영상 영역화 장치.
  11. 제 10 항에 있어서,
    상기 영역화부는,
    상기 할당된 레이블에 따른 에너지를 아래의 수학식을 이용하여 구하는 영상 영역화 장치.
    [수학식 11]
    Figure 112008038673188-PAT00080
    여기에서,
    Figure 112008038673188-PAT00081
    과
    Figure 112008038673188-PAT00082
    는 각각 에너지의 영역 항(region term)과 경계 항(boundary term)을 나타내고, 에너지의 영역 항은 각 픽셀이 전경 또는 배경에 속할 가능성을 모든 픽셀에 대해 종합한 값이고, 경계 항은 특정 지점에 경계가 위치하는 에너지를 나타낸다.
KR1020080050403A 2008-05-29 2008-05-29 영상 영역화 장치 KR100953738B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080050403A KR100953738B1 (ko) 2008-05-29 2008-05-29 영상 영역화 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080050403A KR100953738B1 (ko) 2008-05-29 2008-05-29 영상 영역화 장치

Publications (2)

Publication Number Publication Date
KR20090124285A true KR20090124285A (ko) 2009-12-03
KR100953738B1 KR100953738B1 (ko) 2010-04-19

Family

ID=41686234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080050403A KR100953738B1 (ko) 2008-05-29 2008-05-29 영상 영역화 장치

Country Status (1)

Country Link
KR (1) KR100953738B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134117A (ko) * 2015-05-14 2016-11-23 한국외국어대학교 연구산학협력단 조직 씨앗을 이용한 의료영상 반자동 영역화 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156084B2 (ja) 1998-07-31 2008-09-24 松下電器産業株式会社 移動物体追跡装置
EP1806697B1 (en) 2006-01-10 2016-08-10 Microsoft Technology Licensing, LLC Segmenting image elements
KR100926520B1 (ko) * 2006-12-05 2009-11-12 한국전자통신연구원 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134117A (ko) * 2015-05-14 2016-11-23 한국외국어대학교 연구산학협력단 조직 씨앗을 이용한 의료영상 반자동 영역화 장치 및 방법

Also Published As

Publication number Publication date
KR100953738B1 (ko) 2010-04-19

Similar Documents

Publication Publication Date Title
US10650278B1 (en) Semantic labeling of point clouds using images
CA3035298C (en) Predicting depth from image data using a statistical model
KR100411875B1 (ko) 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법
CN111127318B (zh) 一种机场环境下的全景图像拼接方法
EP2377096B1 (en) Image segmentation
JP2023503536A (ja) 車線検出のための方法およびシステム
JP5574852B2 (ja) 情報処理装置、情報処理方法、システム及びプログラム
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN113673305A (zh) 使用最短连线特征的图像标记
WO2013178725A1 (en) Segmentation of a foreground object in a 3d scene
CN110570352A (zh) 图像标注方法、装置、系统及细胞标注方法
KR102310613B1 (ko) 연속된 2d 이미지에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR100927734B1 (ko) 다시점 영상 생성 장치 및 그 방법
KR100926520B1 (ko) 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
WO2004061765A2 (en) Method and apparatus for depth ordering of digital images
KR102310612B1 (ko) 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313918B1 (ko) 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR100953738B1 (ko) 영상 영역화 장치
KR102313940B1 (ko) 연속된 3d 데이터에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
Hu et al. 3D map reconstruction using a monocular camera for smart cities
KR101607504B1 (ko) 합산 영역 테이블 방식을 이용한 스테레오 매칭방법
KR102343054B1 (ko) 3d 데이터 어노테이션 결과물의 대체 및 확대 적용 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140414

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee