KR20120069331A - 영상의 전경과 배경을 분리하는 방법 - Google Patents

영상의 전경과 배경을 분리하는 방법 Download PDF

Info

Publication number
KR20120069331A
KR20120069331A KR1020100130839A KR20100130839A KR20120069331A KR 20120069331 A KR20120069331 A KR 20120069331A KR 1020100130839 A KR1020100130839 A KR 1020100130839A KR 20100130839 A KR20100130839 A KR 20100130839A KR 20120069331 A KR20120069331 A KR 20120069331A
Authority
KR
South Korea
Prior art keywords
pixel
image
foreground
color
node
Prior art date
Application number
KR1020100130839A
Other languages
English (en)
Inventor
황효석
노경식
윤석준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100130839A priority Critical patent/KR20120069331A/ko
Priority to US13/331,529 priority patent/US8842908B2/en
Publication of KR20120069331A publication Critical patent/KR20120069331A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 발명은 촬영된 영상에서 초기적으로 전경 부분을 추측하고, 이를 기초로 촬영된 영상을 사용자 등 외부의 조작 또는 가정 없이 전경과 배경으로 분리하는 방법을 제공한다.
이를 위해 영상의 전경과 배경을 분리하는 방법은,　촬영된 영상에 포함되는 하나 이상의 픽셀(pixel)을 각 픽셀의 색상(Color) 유사도에 따라 픽셀 그룹으로 나누고, 픽셀 그룹으로 나누어진 영상에서 전경(front view)의 위치를 추정하고, 추정된 전경의 위치를 기초로 영상의 전경과 배경을 분리한다.　이를 통해 영상의 전경과 배경을 사용자의 설정 없이도 자동으로 분리할 수 있다.

Description

영상의 전경과 배경을 분리하는 방법{METHOD OF SEPARATING FRONT VIEW AND BACKGROUND}
촬영된 영상 내의 전경과 배경을 구분하고 이를 분리하는 방법에 관한 것이다.
로봇이 실내 외 환경에서 물체 혹은 사람을 인식 하는 과정 중에서 입력된 영상 중 전경과 배경을 구분해 내는 기술은 매우 중요하다. 인식 기술에 있어서 영상 내에 물체 이외의 다른 곳으로부터 추출된 특징점으로 인해 오인식을 하게 되며, 외곽선 기반의 인식 알고리즘 역시 물체와 물체 외의 모서리로 인하여 인식률이 저하되게 된다. 따라서 영상 내에서의 전 배경 분리는 로봇의 인식 기술에 있어서 상당히 중요한 부분을 차지한다.
영상의 전경과 배경을 분리하는 방법으로는 다양한 방법이 존재 하지만 일반적으로 마르코프 랜덤 필드 (MRF, Markov Random Field) 모델로 영상을 표현한 후 그래프 컷(Graphcut) 또는 BP(Belief Propagation)를 사용하여 에너지를 최소화 하는 방식을 사용한다. 이 때, 정확한 전경과 배경의 분리를 위해서는 임의 지정된 전경과 배경의 영역이 필요하다.
종래의 전경 및 배경 분리 알고리즘은 완전히 자동화 되지 못하고, 사용자에 의해 전경 및 배경 영역이 설정되고 설정된 영역을 기준으로 영상의 전경과 배경을 분리한다는 문제점이 있었다.
또한, 종래의 전경 및 배경 분리 알고리즘은 영상 내 배경의 잡음, 에지(edge), 패턴으로 인해서 인식률이 떨어지는 문제점이 있었다.
본 발명은 위와 같은 문제점을 극복하기 위해서, 촬영된 영상에서 초기적으로 전경 부분을 추측하고, 이를 기초로 촬영된 영상을 사용자 등 외부의 조작 또는 가정 없이 전경과 배경으로 분리하는 방법을 제공한다.
이를 위해 본 발명의 일 측면인 영상의 전경과 배경을 분리하는 방법은,　촬영된 영상에 포함되는 하나 이상의 픽셀(pixel)을 각 픽셀의 색상(Color) 유사도에 따라 픽셀 그룹으로 나누고; 픽셀 그룹으로 나누어진 영상에서 전경(front view)의 위치를 추정하고; 추정된 전경의 위치를 기초로 영상의 전경과 배경을 분리한다.
또한, 촬영된 영상에 형성하는 하나 이상의 픽셀(pixel)을 각 픽셀의 칼라(color) 유사도에 따라 픽셀 그룹으로 나누는 것은, 촬영된 영상을 RGB 칼라 공간에서 CIE Lab 칼라 공간으로 변환하는 것을 포함한다.
또한, 촬영된 영상에 형성하는 하나 이상의 픽셀(pixel)을 각 픽셀의 칼라(color) 유사도에 따라 픽셀 그룹으로 나누는 것은, CIE Lab 칼라 공간으로 변환된 영상의 어느 한 픽셀(제1 픽셀)과 그 픽셀의 인접 픽셀(제2 픽셀)과의 색상 차이를 연산하고, 색상 차이가 소정의 값보다 작으면 제2 픽셀의 색상을 제1 픽셀의 색상으로 변경하여 픽셀 그룹을 형성하는 것을 포함한다.
또한, 촬영된 영상에 형성하는 하나 이상의 픽셀(pixel)을 각 픽셀의 칼라(color) 유사도에 따라 픽셀 그룹으로 나누는 것은, 연산된 제1 픽셀과 제2 픽셀의 색상 차이가 소정의 값 이상이면, 제2 픽셀과, 제2 픽셀의 인접 픽셀(제3 픽셀)과의 색상 차이를 연산하여 연산된 색상 차이가 소정의 값보다 작으면 제3 픽셀의 색상을 제2 픽셀의 색상으로 변경하는 것을 포함한다.
또한, 픽셀 그룹으로 나누어진 영상에서 전경(front view)의 위치를 추정하는 것은, 픽셀 그룹으로 나누어진 영상에서 픽셀 그룹 사이에 나타나는 에지(edge)를 추출하여 에지 영상을 생성하고; 생성된 에지 영상에서, 두 개 이상의 에지가 만나는 노드(node)를 추출하고; 노드 중 어느 하나에서 출발하여, 에지와 다른 노드들을 지나쳐, 출발한 노드에 도착할 때까지의 순환 경로에서, 출발한 노드와 다른 노드들과의 유사도를 나타내는 순환 점수(circular score)를 산정하고; 산정된 순환 점수 중 첫 번째로 큰 점수를 획득한 순환의 중심을 전경의 중심 위치로 추정하는 것을 포함한다.
또한, 에지 영상을 생성하는 것은, 케니 에지 추출기(Canny Edge Detector)를 통해 에지 영상을 생성하는 것이다.
또한, 노드는, 에지가 두 개 이상 만나는 곳으로, 영상의 시작 픽셀부터 마지막 픽셀까지 nXn 윈도우를 이동시키면서 nXn 윈도우에 포함되는 픽셀 그룹이 세 개 이상인 경우에 윈도우의 중심 픽셀이다.
또한, 순환 점수(circular score)를 산정하는 것은, 노드를 형성하는 픽셀 그룹에 속하는 픽셀들의 CIE Lab 칼라 공간 상의 a*축과 b*축을 기초로 2차원 칼라 히스토그램을 생성하고; 세 개 이상의 픽셀 그룹들을 가지는 어느 두 노드의 각 픽셀 그룹의 2차원 칼라 히스토그램을 서로 비교하여, 그 중에서 첫 번째로 큰 값을 히스토그램 유사도로 산정하고; 산정된 히스토그램 유사도를 기초로 순환 경로의 순환 점수를 산정하는 것을 포함한다.
또한, 순환 경로의 순환 점수를 산정하는 것은, 순환 경로를 통과한 에지는 한 번 이상 선택되지 않도록 순환 점수를 산정하는 것이다.
또한, 히스토그램의 비교는 싸이 제곱 테스트(Chi Square Test)를 기초로 한다.
제안된 영상의 전경과 배경을 분리하는　방법에 의하면, 영상의 전경과 배경을 자동으로 분리할 수 있고, 나아가 물체를 인식하거나 물체의 자세를 인식하는 알고리즘의 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 촬영된 영상의 전경과 배경을 분리하는 시스템을 도시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상의 전경과 배경을 분리하는 방법을 도시한 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 영상을 픽셀 그룹으로 나누는 과정을 도시한 순서도이다.
도 4는　본 발명의 다른 실시예에 따른 픽셀 그룹으로 나누어진 촬영 영상을 도시한 개략도이다.
도 5는 본 발명의 다른 실시예에 따른 영상 내 전경의 위치를 추정하는 과정을 도시한 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 픽셀 그룹으로 나누어진 영상의 에지를 추출하여 생성한 에지 영상을 도시한 개략도이다.
도 7은 본 발명의 다른 실시예에 따른 노드가 포함된 윈도우를 도시한 개략도이다.
도 8은 도 7의 노드를 도 6의 에지 영상에 도시한 개략도이다.
도 9는 도 7에 도시된 윈도우에 포함되는 어느 한 픽셀 그룹(S3)의 히스토그램을 도시한 개략도이다.
도 10은 본 발명의 다른 실시예에 따른 순환 점수 산정 단계를 도시한 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 영상의 전경의 위치를 추정하는 것을 도시한 상태선도이다.
도 12는 본 발명의 다른 실시예에 따른 추정된 영상의 전경 위치를 지정한 것을 도시한 개략도이다.
도 13은 본 발명의 다른 실시예에 따른 영상의 전경을 배경과 분리한 것을 도시한 개략도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 촬영된 영상의 전경과 배경을 분리하는 시스템을 도시한 블록도이다.
영상의 전경과 배경을 분리하는 시스템은 촬영부(30), 영상 처리부(40), 전경 추정부(50), 영상 분리부(60), 디스플레이부(70)를 포함한다.
먼저 촬영부(30)는 물체를 촬영하여 영상을 획득한다. 촬영부(30)는 카메라, 비디오 등을 포함할 수 있다.
영상 처리부(40)는 촬영부(30)를 통해 획득된 영상을 전경 추정이 용이하도록 처리한다. 영상 처리부(40)는 영상을 형성하는 하나 이상의 픽셀의 각 색상 차이를 기초로 픽셀 그룹을 생성한다. 이를 통해 비슷한 색상을 가지는 픽셀은 하나의 그룹으로 취급될 수 있다.
전경 추정부(50)는 영상 처리부(40)를 통해 처리된 픽셀 그룹 영상을 기초로 영상 내 전경과 배경을 구분하고 전경을 추정한다.
영상 분리부(60)는 전경 추정부(50)에서 추정된 전경을 영상의 배경과 분리한다.
디스플레이부(70)는 영상 분리부(60)를 통해 분리된 전경을 영상의 배경과 분리하여 표시한다.
도 2는 본 발명의 다른 실시예에 따른 영상의 전경과 배경을 분리하는 방법을 도시한 순서도이다.
먼저 촬영된 영상에 포함되는 하나 이상의 픽셀(pixel)을 각 픽셀의 색상(color) 유사도에 따라 픽셀 그룹으로 나눈다(100). 다음, 픽셀 그룹으로 나누어진 영상의 전경 위치를 추정한다(200). 다음, 추정된 영상 내의 전경의 위치를 기초로 원래 영상의 전경과 배경을 분리한다(300).
이하 촬영된 영상에 포함되는 하나 이상의 픽셀(pixel)을 각 픽셀의 색상(Color) 유사도에 따라 픽셀 그룹으로 나누는 것에 대해 도 3을 통해 설명한다.
도 3은 본 발명의 다른 실시예에 따른 영상을 픽셀 그룹으로 나누는 과정을 도시한 순서도이다.
촬영된 영상에 포함되는 하나 이상의 픽셀은 서로 다른 색상 값을 가지고 있다. 촬영 영상을 그대로 사용하여 영상의 전경과 배경을 분리하면, 영상의 노트와 에지(edge)가 영상의 크기에 비례해서 증가하게 된다. 즉, 촬영 영상을 그대로 사용하는 경우에는 영상의 노이즈로 인해 오차가 발생하거나 영상의 전경과 배경 분리 시 연산 시간이 길어진다.
이를 극복하기 위해서, 촬영된 영상을 도 3에 도시된 바와 같이 영상을 픽셀 그룹으로 나눈다.
먼저, 촬영된 영상을 입력한다(101),
입력되는 영상은 RGB 칼라 공간을 가진다. RGB 칼라 공간에서는 R(red), G(green), B(blue) 세 가지 파장의 양적 표현만을 표현할 수 있고, 실제 칼라가 가지는 명도, 채도, 색상을 직관적으로 나타내지 못한다.
이와 같은 문제점을 해결하기 위해서 RGB 칼라 공간에서 CIE Lab(CIE L*a*b*) 칼라 공간으로 변환한다(102).
CIE Lab 칼라 공간은 인간이 색을 느끼는 방식과 유사한 칼라 모델로, 밝기를 나타내는 L* 채널과 색상을 나타내는 a* 채널, 채도를 나타내는 b* 채널을 기초로 하여 칼라를 2차원 행렬로 표현할 수 있다. 입력된 RGB 영상을 CIE Lab 칼라 공간으로 변환하는 것은 다음 수학식 1 및 수학식 2에 따른다.
수학식 1
Figure pat00001
수학식 2
Figure pat00002
수학식 1은 해당 픽셀의 R,G,B 칼라 공간의 값을 X, Y, Z로 변환하는 수식을 나타내며, 수학식 2은 X, Y, Z 값을 L, a, b 값으로 변환하는 식을 나타낸다. 여기서의 L,a,b 값은 CIE L*a*b*칼라 공간에서의 L*,a*,b* 값과 동일하다.
그 다음, 반복 횟수를 0으로 지정한다(103). 이는 영상 내 픽셀들을 모두 　탐색하기 전에 초기화하는 과정이다.
그 다음으로 탐색하고자 하는 픽셀을 지정한다(104).
탐색 대상이 되는 픽셀을 선정한 후 선정된 픽셀에 인접한 상, 하, 좌, 우의 픽셀과 비교하는 단계로 이동한다(105).
비교 단계는 양 픽셀 간의 색상 차이(distance)를 산정하여 비교하는 단계이다(106).
만약 색상 차이가 소정의 값(threshold) 미만이면, 비교 대상인 양 픽셀의 색상 차이가 오차 범위 내인 것으로 판단하고 비교되는 픽셀에 기준이 되는 현재 픽셀의 색상 값을 복사한다(107). 즉, 양 픽셀을 같은 색상 값을 가지는 하나의 픽셀(픽셀 그룹)로 취급할 수 있다.
색상 값을 복사한 후에는 비교된 비교 픽셀을 탐색 픽셀로 재 정의한다(108). 그 후 재 정의된 탐색 픽셀을 기준으로 다시 그 주위의 상, 하, 좌, 우 인접 픽셀과 색상을 비교하는 단계를 수행한다(105 단계로 이동).
만약 색상 차이가 소정의 값 이상이면, 비교되는 대상 픽셀이 탐색의 마지막 대상인지를 판단한다(109).
판단 결과, 마지막 픽셀인 경우에는 탐색 횟수가 소정의 값(n)보다 큰 값을 가지는 지를 판단한다(110). 이는 오차를 줄이기 위한 것으로서, 탐색 횟수는 사용자가 원하는 오차 범위에 따라 정해질 수 있다.
반복 횟수가 소정의 값보다 크면 영상 세그먼테이션 과정을 종료하고, 소정의 값 이하이면 아직 설정된 탐색을 완료하지 못한 것으로 판단하고 반복횟수를 증가시켜(112) 탐색을 다시 진행한다(104).
또한, 입력 영상을 L,a,b 칼라 공간으로 바꾼 이후에는 영상의 첫 번째 픽셀부터 마지막 픽셀까지 탐색하면서 반복적으로 주위 픽셀과의 색상 차이를 연산하고, 색상 차이가 일정 범위 내에 속하면 두 픽셀을 같은 색으로 바꾸어 주는데, 여기서 두 픽셀의 색상 차이(distance)는 다음 수학식 3에 따른다.
수학식 3
Figure pat00003
X(x,y)는 픽셀 (x, y)에서의 X값(L or a or b) 이고, X(x_u,y+v)는 해당 픽셀의 주위 픽셀에서의 X값이다. u와 v는 일반적으로 -1에서 1 사이의 값을 가진다.
색상 차이(distance)가 소정의 값 보다 적은 값을 가지게 될 경우, 이웃 픽셀을 해당 픽셀로 설정하고 색상 차이를 구하여 같은 값으로 바꾸는 작업을 반복적으로(iterative) 수행한다. 위의 과정을 몇 번 이상 반복한 후 최종적으로 픽셀이 그룹화된 영상을 얻는다.
도 4는　본 발명의 다른 실시예에 따른 픽셀 그룹으로 나누어진 촬영 영상을 도시한 개략도이다.
왼쪽 영상은 원래 촬영된 입력 영상이고, 오른쪽 영상은 픽셀 그룹으로 나누어진 촬영 영상이다. 즉, 픽셀 그룹으로 나누어진 촬영 영상은 원래의 영상보다 더 간소화된 형태로 나타내어질 수 있다.
이하, 픽셀 그룹으로 나누어진 촬영 영상을 기초로 영상 내 전경 위치를 추정하는 단계를 도 5에 도시된 순서도를 통해 설명한다.
도 5는 본 발명의 다른 실시예에 따른 영상 내 전경의 위치를 추정하는 과정을 도시한 순서도이다.
픽셀 그룹으로 나누어진 영상에서 전경 위치를 추정하는 것은 에지를 추출하고, 영상에 포함되는 각 픽셀을 그래프화(노드(10) 생성 및 세그먼트 히스토그램 생성)하고, 각 노드(10)의 순환 점수를 산정하는 것을 포함한다.
먼저, 픽셀 그룹으로 나누어진 영상에서 영상 에지를 추출한다(210). 에지 추출하는 방법의 일 예로 케니 에지 추출기 (Canny Edge Detector)를 통해 에지를 추출하는 것이 있다.
일반적으로 에지 추출기는 잡음에 매우 민감한 특성을 가지고 있다. 잡음으로 인해 잘못된 에지를 계산하는 것을 방지하기 위해 개발된 알고리즘이 캐니(canny) 에지 추출기이다.
케니 에지　추출기의 알고리즘은 탐지성(good detection), 국부성(good localization), 응답성(clear response)을 만족하는 에지를 찾는 방법을 제시한다.　
탐지성(good detection)은 실제 모든 에지를 탐지하는 능력이고, 국부성(good localization)은 실제 에지와 탐지된 에지의 차이를 최소화하는 것이다. 또한,　응답성(clear response)은 각 에지에 대하여 단일한 응답을 나타내도록 하는 것이다.
캐니(canny) 에지 추출기의 알고리즘은　가우시안 스무딩 필터링을 통해　x, y 축으로 기울기 계산하고,　기울기의 강도를 계산하고,　Hystersis를 수행하는 것을 포함한다.
도 6은 본 발명의 다른 실시예에 따른 픽셀 그룹으로 나누어진 영상의 에지를 추출하여 생성한 에지 영상을 도시한 개략도이다.
다음으로, 추출된 에지를 이용하여 영상을 그래프화한다(220). 그래프화 과정은 노드(10)를 생성하는 것과 픽셀의 히스토그램을 생성하는 것을 포함한다.
노드(10)를 생성하는 것에서, 노드(10)는 에지 영상에서 두 개 이상의 에지가 만나는 점이다. 영상의 시작 픽셀부터 마지막 픽셀까지 nXn의 윈도우(5)를 이동시키면서 윈도우(5)의 각 셀의 색상을 판단하여 윈도우(5)가 몇 개의 픽셀 그룹으로 나누어져 있는지를 판단하고, 픽셀 그룹이 3개 이상일 때, 윈도우(5)의 픽셀을 노드(10)로 판단한다.
도 7은 본 발명의 다른 실시예에 따른 노드가 포함된 윈도우를 도시한 개략도이다. 즉, 도 7에 도시된 바와 같이 세 개의 픽셀 그룹(S1, S2, S3)를 포함하고 있으므로 노드(10)에 해당한다. 도 8은 도 7의 노드(10)를 도 6의 에지 영상에 도시한 개략도이다.
다음으로, 픽셀의 히스토그램을 생성하는 단계를 설명한다.
각각의 노드(10)는 노드(10)의 위치, 연결된 에지, 픽셀 그룹을 가진다. 에지는 양쪽 끝에 노드(10) 또는 영상의 끝을 가지게 된다. 노드(10)에 포함된 픽셀 그룹은 픽셀 그룹에 속하는 픽셀들이 각각 CIE L*a*b* 칼라 공간으로 변환된 값을 가지고 있으며, 이를 바탕으로 a* 축과 b*축을 기초로 하는 2차원 히스토그램을 생성할 수 있다. 이때, 각각의 기초되는 a* 축과 b*축은 다양한 크기를 가질 수 있는데, 일 예로 32의 크기를 가지는 bin의 형태를 가질 수 있다. 즉, 각 bin에 속하는 a, b 값은 다음 표 1에 따를 수 있다.
Figure pat00004
표 1
위와 같은 각 픽셀의 2차원 히스토그램은 도 9와 같이 나타낼 수 있다. 도 9는 도 7에 도시된 윈도우에 포함되는 어느 한 픽셀 그룹(S3)의 히스토그램을 도시한 개략도이다.
다음으로 노드(10) 번호를 초기화하는데, 여기서 노드(10) 번호를 1로 한다(230).
그 다음 순환 점수(Circular Score)를 산정한다(240). 순환 점수는 영상의 전경을 구할 때 기준이 되는 것으로서, 가장 높은 점수를 획득한 순환의 중심을 물체의 전경이라고 판단할 수 있다.
순환 점수는 하나의 노드(10)(노드(10) 번호 1)에서 출발해서 에지와 다른 노드(10)들을 지나쳐 자신의 노드(10)에 도착할 때까지의 순환 경로 중 다른 노드(10) 들과의 유사도를 나타내는 수치이다. 영상 내의 물체들은 대체로 폐곡선 형태로 되어 있으며, 폐곡선 내의 색상 분포는 비슷하다는 특징이 있다. 따라서 물체의 외곽선인 폐곡선을 구성하는 에지를 따라서 순환 하는 경우에 가장 큰 순환 점수를 가지게 된다.
순환 점수 획득 과정은 도 10에 도시된 바와 같은 과정과 및 도 11에 도시된 바와 같은 상태선도에 따른다.
도 10은 본 발명의 다른 실시예에 따른 순환 점수 산정 단계를 도시한 순서도이고, 도 11은 본 발명의 다른 실시예에 따른 영상의 전경의 위치를 추정하는 것을 도시한 상태선도이다.
먼저 도 10에서 보면, 노드(10)를 선택(A)하고(241), 현재 노드(10)(A)의 에지를 선택한 후 반대편 노드(10)를 선택(B)한다(242).
그런 다음, 선택된 A 노드(10)와 B 노드(10)가 같은 노드(10)인지 또는, 선택된 A 노드(10) 또는 B 노드(10)가 영상의 끝인지를 판단한다(243).
만약 노드(10) A와 노드(10) B가 같은 노드(10)이거나, 노드(10) A 또는 노드(10) B가 영상의 끝이라면 모든 노드(10)를 탐색했는지 판단한다(244). 모든 노드(10)를 탐색한 경우에는 순환 점수 산정 단계를 종료하고, 모든 노드(10)를 탐색한 경우가 아니라면 다시 노드(10)를 선택하는 241 단계로 이동한다.
만약 노드(10) A와 노드(10) B가 같은 노드(10)이거나, 노드(10) A 또는 노드(10) B가 영상의 끝이 아니라면, 노드(10) A와 노드(10) B 사이의 히스토그램을 산정하고, 이를 기초로 히스토그램의 유사도를 산정하며, 히스토그램 유사도를 더하는 과정을 수행한 후(즉, 히스토그램 값을 누적한다)(245), 다시 242 단계인 노드(10) 선택 단계로 이동한다. 즉, 모든 노드(10)에 대하여 히스토그램의 유사도를 구하고 이를 누적하여 순환 점수를 산정한다.
여기서 노드(10)와 노드(10)간의 히스토그램 유사도는 노드(10)의 픽셀 그룹들에 포함되는 픽셀의 칼라 히스토그램을 비교하여 측정한다. 노드(10)는 세 개 이상의 픽셀 그룹을 가지며, 두 노드(10)의 픽셀 그룹들을 모두 비교하여 가장 큰 값을 두 노드(10)들의 픽셀 그룹의 유사도로 한다. 여기서 히스토그램 비교는 싸이 제곱 테스트 (Chi Square Test)를 이용한다. 두 노드(10) (A, Bi)의 히스토그램 유사도 S 는 다음 수학식 4 및 수학식 5를 따른다.
수학식 4
Figure pat00005
수학식 5
Figure pat00006
a,b 는 각각 노드(10) A,B 에 속해 있는 픽셀 그룹이며, ha, hb는 해당 픽셀 그룹들의 히스토그램이다. i는 현재까지 건너온 노드(10)의 개수 혹은 순환에서 현재 노드(10)의 인덱스를 나타낸다. D는 히스토그램 유사도의 기준 값으로, D값을 기준으로 히스토그램의 유사도가 수치로 표현된다.
노드(10) a에서 출발하여 k개의 노드(10)를 지나서 마치게 된 순환 j의 순환 점수 CS는 히스토그램의 유사도의 합으로 나타낼 수 있으며, 다음 수학식 6에 따른다.
수학식 6
Figure pat00007
이에 따라 산정된 히스토그램의 유사도 합이 가장 큰 순환의 중심(P)을 영상 전경의 위치로 추정할 수 있다. 순환의 중심(P)은 다음 수학식 7에 따른다.
수학식 7
Figure pat00008
수학식 7에서 보듯이 순환의 중심(P)은 순환을 하면서 지나온 모든 노드(10)들의 위치의 평균에 해당한다.
다음으로 도 11을 보면, 순환 점수는 모든 노드(10), 모든 순환에 대해서 존재한다. 먼저 하나의 노드(10)를 기준 노드(10)(N1)로 설정한다. 현재의 노드(10)(N1)는 2개 이상의 에지(E1에 해당하는 에지 및 E6에 해당하는 에지)와 연결되어 있다. 이 때, 하나의 에지를 선택하고, 반대쪽의 노드(10)로 이동한다. 기준이 되는 노드(10)(N1)와 현재 노드(10)(N2)와의 히스토그램 유사도(E1)를 측정하여 그 값을 순환 점수에 더한다.
그 후, 현재 노드(10)(N2)에 연결되어 있는 에지들 중 하나의 에지를 선택하여 그 반대편에 있는 노드(10)(N3)로 이동 한 후, 기준 노드(10)(N2)와 현재 노드(10)(N3)와의 히스토그램 유사도를 구해서 순환 점수에 더한다. 단 노드(10)에서 에지를 선택할 때 어떤 방향으로든지 이미 사용 된 에지는 선택 할 수 없다.
이러한 과정은 영상의 끝에 다다르거나 현재의 노드(10)로 돌아왔을 때, 종료되며 이 과정까지의 획득 점수와 지난 노드(10)들의 위치의 중심 값이 저장된다. 도 11에서 현재 순환의 중심 위치는 P가 된다. 모든 노드(10)에 대해서 이 과정을 마친 후 획득 점수를 비교하여 최대 획득 순환 점수에 대한 노드(10)들의 중심 위치가 영상 내 물체의 전경 위치가 된다.
다음으로, 선택된 노드(10) 번호가 전체 노드(10) 개수 이상인지를 판단한다(250).
만약 선택된 노드(10) 번호가 전체 노드(10) 개수 이상이면, 모든 노드(10)에 대해 순환 점수를 산정한 것이므로, 최대 순환 점수를 가지는 순환의 중심 값(P)을 구한 그 중심 값을 영상 내 전경의 위치로 추정한다(260).
만약 선택된 노드(10) 번호가 전체 노드(10) 개수 미만이면, 모든 노드(10)를 탐색하지 않은 것이므로, 노드(10) 번호를 증가시켜 탐색되지 않은 노드(10)를 탐색하여 다시 순환 점수를 산정한다(270, 240).
도 12는 본 발명의 다른 실시예에 따른 추정된 영상의 전경 위치를 지정한 것을 도시한 개략도이고, 도 13은 본 발명의 다른 실시예에 따른 영상의 전경을 배경과 분리한 것을 도시한 개략도이다.
영상 내에서 전경과 배경을 분리하기 위해 그래프 컷(Graph-Cut)을 사용한다. 순환 점수가 가장 높은 순환 중심(P)의 노드(10) 평균 위치를 그래프 컷의 전경(20)으로 지정하고(도 12), 테두리를 배경으로 지정하여 그래프 컷을 수행하면(도 13) 영상 내에서 전경(20)과 배경을 사용자의 지정 없이 자동으로 분리할 수 있다.
5 : 윈도우 10 : 노드 20 : 전경
30 : 촬영부 40 : 영상 처리부 50 : 전경 추정부
60 : 영상 분리부 70 : 디스플레이부

Claims (10)

  1. 촬영된 영상에 포함되는 하나 이상의 픽셀(pixel)을 각 픽셀의 색상(Color) 유사도에 따라 픽셀 그룹으로 나누고;
    상기 픽셀 그룹으로 나누어진 영상에서 전경(front view)의 위치를 추정하고;
    상기 추정된 전경의 위치를 기초로 상기 영상의 전경과 배경을 분리하는 영상의 전경과 배경을 분리하는 방법.
  2. 제 1 항에 있어서,
    상기 촬영된 영상에 형성하는 하나 이상의 픽셀(pixel)을 각 픽셀의 칼라(color) 유사도에 따라 픽셀 그룹으로 나누는 것은,
    상기 촬영된 영상을 RGB 칼라 공간에서 CIE Lab 칼라 공간으로 변환하는 것을 포함하는 영상의 전경과 배경을 분리하는 방법.
  3. 제 2 항에 있어서,
    상기 촬영된 영상에 형성하는 하나 이상의 픽셀(pixel)을 각 픽셀의 칼라(color) 유사도에 따라 픽셀 그룹으로 나누는 것은,
    상기 CIE Lab 칼라 공간으로 변환된 영상의 어느 한 픽셀(제1 픽셀)과 그 픽셀의 인접 픽셀(제2 픽셀)과의 색상 차이를 연산하고, 상기 색상 차이가 소정의 값보다 작으면 상기 제2 픽셀의 색상을 상기 제1 픽셀의 색상으로 변경하여 상기 픽셀 그룹을 형성하는 것을 포함하는 영상의 전경과 배경을 분리하는 방법.
  4. 제 3 항에 있어서,
    상기 촬영된 영상에 형성하는 하나 이상의 픽셀(pixel)을 각 픽셀의 칼라(color) 유사도에 따라 픽셀 그룹으로 나누는 것은,
    상기 연산된 제1 픽셀과 상기 제2 픽셀의 색상 차이가 소정의 값 이상이면, 상기 제2 픽셀과, 상기 제2 픽셀의 인접 픽셀(제3 픽셀)과의 색상 차이를 연산하여 상기 연산된 색상 차이가 소정의 값보다 작으면 상기 제3 픽셀의 색상을 상기 제2 픽셀의 색상으로 변경하는 것을 포함하는 영상의 전경과 배경을 분리하는 방법.
  5. 제 4 항에 있어서,
    상기 픽셀 그룹으로 나누어진 영상에서 전경(front view)의 위치를 추정하는 것은,
    상기 픽셀 그룹으로 나누어진 영상에서 상기 픽셀 그룹 사이에 나타나는 에지(edge)를 추출하여 에지 영상을 생성하고;
    상기 생성된 에지 영상에서, 두 개 이상의 에지가 만나는 노드(node)를 추출하고;
    상기 노드 중 어느 하나에서 출발하여, 상기 에지와 다른 노드들을 지나쳐, 상기 출발한 노드에 도착할 때까지의 순환 경로에서, 상기 출발한 노드와 다른 노드들과의 유사도를 나타내는 순환 점수(circular score)를 산정하고;
    상기 산정된 순환 점수 중 첫 번째로 큰 점수를 획득한 순환의 중심을 전경의 중심 위치로 추정하는 것을 포함하는 영상의 전경과 배경을 분리하는 방법.
  6. 제 5 항에 있어서,
    상기 에지 영상을 생성하는 것은,
    케니 에지 추출기(Canny Edge Detector)를 통해 상기 에지 영상을 생성하는 것인 영상의 전경과 배경을 분리하는 방법.
  7. 제 6 항에 있어서,
    상기 노드는,
    상기 에지가 두 개 이상 만나는 곳으로, 상기 영상의 시작 픽셀부터 마지막 픽셀까지 nXn 윈도우를 이동시키면서 상기 nXn 윈도우에 포함되는 상기 픽셀 그룹이 세 개 이상인 경우에 상기 윈도우의 중심 픽셀인 영상의 전경과 배경을 분리하는 방법.
  8. 제 7 항에 있어서,
    상기 순환 점수(circular score)를 산정하는 것은,
    상기 노드를 형성하는 상기 픽셀 그룹에 속하는 픽셀들의 CIE Lab 칼라 공간 상의 a*축과 b*축을 기초로 2차원 칼라 히스토그램을 생성하고;
    상기 세 개 이상의 픽셀 그룹들을 가지는 어느 두 노드의 각 픽셀 그룹의 상기 2차원 칼라 히스토그램을 서로 비교하여, 그 중에서 첫 번째로 큰 값을 히스토그램 유사도로 산정하고;
    상기 산정된 히스토그램 유사도를 기초로 상기 순환 경로의 순환 점수를 산정하는 것을 포함하는 영상의 전경과 배경을 분리하는 방법.
  9. 제 8 항에 있어서,
    상기 순환 경로의 순환 점수를 산정하는 것은,
    상기 순환 경로를 통과한 에지는 한 번 이상 선택되지 않도록 상기 순환 점수를 산정하는 영상의 전경과 배경을 분리하는 방법.
  10. 제 9 항에 있어서,
    상기 히스토그램의 비교는 싸이 제곱 테스트(Chi Square Test)를 기초로 하는 영상의 전경과 배경을 분리하는 방법.
KR1020100130839A 2010-12-20 2010-12-20 영상의 전경과 배경을 분리하는 방법 KR20120069331A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100130839A KR20120069331A (ko) 2010-12-20 2010-12-20 영상의 전경과 배경을 분리하는 방법
US13/331,529 US8842908B2 (en) 2010-12-20 2011-12-20 Method of separating front view and background and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100130839A KR20120069331A (ko) 2010-12-20 2010-12-20 영상의 전경과 배경을 분리하는 방법

Publications (1)

Publication Number Publication Date
KR20120069331A true KR20120069331A (ko) 2012-06-28

Family

ID=46234505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100130839A KR20120069331A (ko) 2010-12-20 2010-12-20 영상의 전경과 배경을 분리하는 방법

Country Status (2)

Country Link
US (1) US8842908B2 (ko)
KR (1) KR20120069331A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126596A (ko) 2015-04-24 2016-11-02 국방과학연구소 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
US9842406B2 (en) 2015-09-21 2017-12-12 Hanwha Techwin Co., Ltd. System and method for determining colors of foreground, and computer readable recording medium therefor
KR101988551B1 (ko) * 2018-01-15 2019-06-12 충북대학교 산학협력단 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법
EP3398042A4 (en) * 2015-12-30 2019-10-09 eBay Inc. REMOVAL OF BACKGROUND
KR20190126484A (ko) * 2018-05-02 2019-11-12 주식회사 한글과컴퓨터 이미지의 배경 영역에 대한 투명화 처리를 지원하는 이미지 편집 처리 장치 및 그 동작 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968877A (zh) * 2012-11-15 2013-03-13 镇江石鼓文智能化系统开发有限公司 一种基于视频图像分析的火焰检测装置
CN103258183A (zh) * 2012-11-15 2013-08-21 镇江石鼓文智能化系统开发有限公司 基于视频图像分析火焰的视频图像预处理模块
CN103824410A (zh) * 2012-11-19 2014-05-28 镇江石鼓文智能化系统开发有限公司 基于视频图像分析火焰的检测系统
CN103824409A (zh) * 2012-11-19 2014-05-28 镇江石鼓文智能化系统开发有限公司 一种基于视频图像分析火焰的检测系统
CN103134476B (zh) * 2013-01-28 2014-12-03 中国科学院研究生院 一种基于水平集算法的海陆分界线检测方法
CN103258333A (zh) * 2013-04-17 2013-08-21 东北林业大学 基于Lab颜色空间的竹材横断面提取算法
US9613427B2 (en) * 2014-11-03 2017-04-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
JP6491957B2 (ja) * 2015-05-25 2019-03-27 京セラ株式会社 電子機器および画像処理方法
CN105574857B (zh) * 2015-12-11 2019-02-15 小米科技有限责任公司 图像分析方法及装置
CN107590501A (zh) * 2017-07-30 2018-01-16 华南理工大学 一种改进的基于Otsu的Canny自适应边缘提取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184926B1 (en) 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
US6281903B1 (en) * 1998-12-04 2001-08-28 International Business Machines Corporation Methods and apparatus for embedding 2D image content into 3D models
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
KR101471199B1 (ko) 2008-04-23 2014-12-09 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치
KR101026410B1 (ko) 2010-07-29 2011-04-07 엘아이지넥스원 주식회사 표적 추출 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126596A (ko) 2015-04-24 2016-11-02 국방과학연구소 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
US9842406B2 (en) 2015-09-21 2017-12-12 Hanwha Techwin Co., Ltd. System and method for determining colors of foreground, and computer readable recording medium therefor
EP3398042A4 (en) * 2015-12-30 2019-10-09 eBay Inc. REMOVAL OF BACKGROUND
KR101988551B1 (ko) * 2018-01-15 2019-06-12 충북대학교 산학협력단 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법
KR20190126484A (ko) * 2018-05-02 2019-11-12 주식회사 한글과컴퓨터 이미지의 배경 영역에 대한 투명화 처리를 지원하는 이미지 편집 처리 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20120155756A1 (en) 2012-06-21
US8842908B2 (en) 2014-09-23

Similar Documents

Publication Publication Date Title
KR20120069331A (ko) 영상의 전경과 배경을 분리하는 방법
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
CN105404847B (zh) 一种遗留物实时检测方法
CN108510491B (zh) 虚化背景下人体骨骼关键点检测结果的过滤方法
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
JP2004348674A (ja) 領域検出方法及びその装置
WO2014136623A1 (en) Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera
US20200250840A1 (en) Shadow detection method and system for surveillance video image, and shadow removing method
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
CN110264493A (zh) 一种针对运动状态下的多目标对象追踪方法和装置
JP6448212B2 (ja) 認識装置及び認識方法
Geetha et al. Detection and estimation of the extent of flood from crowd sourced images
Palou et al. Occlusion-based depth ordering on monocular images with binary partition tree
CN104951440B (zh) 一种图像处理方法及电子设备
CN108154150B (zh) 一种基于背景先验的显著性检测方法
KR20120007850A (ko) 부분 템플릿 매칭 기반의 객체 식별 장치 및 방법
Najafzadeh et al. Object tracking using Kalman filter with adaptive sampled histogram
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN104484324B (zh) 一种多模型和模糊颜色的行人检索方法
KR100695128B1 (ko) 컬러 영상으로부터의 조명색 추출 방법
CN112949367A (zh) 基于视频流数据的工作服颜色检测方法及装置
Asvadi et al. Object tracking using adaptive object color modeling
CN107220650B (zh) 食物图像检测方法及装置
CN111667422A (zh) 一种基于综合滤波器的图像/视频目标检测结果增强方法
JP2017004052A (ja) 学習装置、方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application