KR101556603B1

KR101556603B1 - 랭크 정보를 이용한 영상 분리 장치 및 그 방법

Info

Publication number: KR101556603B1
Application number: KR1020140193447A
Authority: KR
Inventors: 최윤식; 이지은
Original assignee: 연세대학교 산학협력단
Priority date: 2014-12-30
Filing date: 2014-12-30
Publication date: 2015-10-01

Abstract

본 발명은 영상에서 배경과 배경 상 존재하는 객체를 분리하는 기술에 관한 것이다.
본 발명에 따른 랭크 정보를 이용한 영상 분리 장치 및 그 방법은, RPCA(Robust Principal Component Analysis)를 이용하여 입력 영상에서의 주요 성분을 분석하고, ALMM(Augmented Lagrange Multiplier Method)를 사용하여 라그랑지안 함수의 최적 해를 구함으로써, 객체와 배경을 분리하는 방법에 있어서, 상기 라그랑지안 함수에서 사용되는 정규화 계수를 입력 영상의 랭크 정보를 이용하여 설정함으로써, 보다 더 빠르고 강인하게 배경과 객체를 분리하는 영상 분리 장치 및 그 방법을 제공한다.

Description

랭크 정보를 이용한 영상 분리 장치 및 그 방법{Apparatus and Method for Image Seperation using Rank Prior}

본 발명은 영상에서 배경과 배경 상 존재하는 객체를 분리하는 기술에 관한 것이다.

배경과 배경 상 존재하는 객체를 영상에서 분리하는 기술은 객체를 자동으로 인식하고 그에 따른 추적 등의 다양한 신호처리를 수행하기 위한 전처리 기술로 활용도가 높다. 또한 영상 분리는 폐색(Occlusion)에 의하여 가려진 부분을 복원하거나 영상에서 배경을 예측하기 위한 기술로 활용되기도 한다. 이에 일정한 패턴 및 텍스쳐를 가지는 배경 영상과 이와 구별되는 특징을 가지는 객체 영상을 자동으로 분리하는 다양한 방법이 연구되어 왔다.

위와 같은 과제를 달성하기 위하여 제안된 종래의 기술들 중 하나로, 하기 선행기술문헌 1과 같이 RPCA(Robust Principal Component Analysis)를 이용하여 입력 영상에서의 주요 성분을 분석하고, ALMM(Augmented Lagrange Multiplier Method)를 사용하여 라그랑지안 함수인 비용 함수의 최적 해를 구함으로써, 객체와 배경을 분리하는 방법이 제안되었다.

그러나 상기 기존 방법은 라그랑지안 함수에서 사용되는 정규화 계수(Regularization parameter)를 고정시켰는데, 위와 같은 기존 방법은 다양한 신호 분포를 가지는 영상들에 대하여 신뢰성 있게 배경과 객체를 분리하여 내지 못한다는 한계점이 있다.

(해외논문 0001) : The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices, Z Lin, M Chen, Y Ma, arXiv preprint arXiv:1009.5055, 2010.

본 발명이 해결하고자 하는 과제는, RPCA(Robust Principal Component Analysis)를 이용하여 입력 영상에서의 주요 성분을 분석하고, ALMM(Augmented Lagrange Multiplier Method)를 사용하여 라그랑지안 함수인 비용 함수의 최적 해를 구함으로써, 객체와 배경을 분리하는 방법에 있어서, 상기 라그랑지안 함수에서 사용되는 정규화 계수를 입력 영상의 랭크 정보를 이용하여 설정함으로써, 보다 더 빠르고 강인하게 배경과 객체를 분리하는 영상 분리 장치 및 그 방법을 제공하는 것이다.

상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 랭크 정보를 이용한 영상 분리 장치는, 배경과 객체를 분리하고자 하는 대상 영상을 입력받아, 상기 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 생성하는 대상 영상 행렬 생성부; 상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 영상 분리부;를 포함할 수 있다.

여기서, 상기 저 랭크 행렬을 이용하여 배경 영상을, 상기 오류 행렬을 이용하여 객체 영상을 각 획득하는 분리 영상 획득부를 더 포함할 수 있다.

여기서, 상기 영상 분리부는 상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 상기 오류 행렬에 곱하여 상기 저 랭크 행렬과 가중합하여, 상기 비용 함수를 산출하는 것을 특징으로 할 수 있다.

여기서, 상기 제1 놈 연산은, 연산 대상 행렬의 특이값(Singular Value)을 모두 더하는 연산인 Nuclear Norm 연산인 것을 특징으로 할 수 있다.

여기서, 상기 제2 놈 연산은 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산인 L1 Norm 연산인 것을 특징으로 할 수 있다.

여기서, 상기 영상 분리부는 하기 식 1와 같이 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 할 수 있다.

식 1

(여기서 A는 상기 저 랭크 행렬이고, E는 상기 오류 행렬이고,

는 Nuclear Norm 연산으로써 연산 대상 행렬의 특이값(Singular Value)을 모두 더하는 연산이고,

는 L1 놈(norm) 연산으로써 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산이고, λ 는 상기 정규화 계수이다.)

여기서, 상기 정규화 계수는 상기 대상 영상 행렬의 랭크 값이 클수록 작은 값을 가지는 것을 특징으로 할 수 있다.

여기서, 상기 정규화 계수는 하기 식 2과 같이 산출되는 것을 특징으로 할 수 있다.

식 2

(여기서 α는 일정한 크기를 가지는 비례 상수이고, rank(D)는 상기 대상 영상 행렬 D 의 랭크 값이고, g는 상기 랭크 값을 입력 변수로 하여 상기 입력 변수가 증가함에 따라 함께 증가하는 성질을 가지는 함수이다.)

여기서, 상기 정규화 계수는 하기 식 3와 같이 산출되는 것을 특징으로 할 수 있다.

식 3

(여기서 α는 일정한 크기를 가지는 비례 상수이고, rank(D)는 상기 대상 영상 행렬 D 의 랭크 값이다.)

여기서, 상기 영상 분리부는 상기 저 랭크 행렬과 상기 오류 행렬의 합이 상기 대상 영상 행렬이 되는 것을 상기 비용 함수의 제약조건으로 설정하여, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 할 수 있다.

여기서, 상기 영상 분리부는, 라그랑지 멀티플라이어(Lagrange Multiplier)가 적용된 라그랑지안 함수를 이용하여 비용 함수의 해를 구하는 방법인 ALM(Augmented Lagrange Multiplier) 방법을 사용하여, 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬 및 상기 오류 행렬을 산출하는 것을 특징으로 할 수 있다.

여기서, 상기 영상 분리부는, 상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 정규화 계수를 산출하는 정규화 계수 산출부; 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 초기화 하는 초기화부; 상기 초기화 된 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬을 산출하는 저 랭크 행렬 산출부; 및 상기 산출된 저 랭크 행렬을 상기 비용 함수에 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 오류 행렬을 산출하는 오류 행렬 산출부를 포함하는 것을 특징으로 할 수 있다.

여기서, 상기 영상 분리부는, 상기 저 랭크 행렬 산출부와 상기 오류 행렬 산출부에서 각 산출된 상기 저 랭크 행렬과 상기 오류 행렬과 상기 대상 영상 행렬을 이용하여 상기 라그랑지 멀티플라이어를 갱신하는 라그랑지 멀티플라이어 갱신부; 및 상기 비용 함수가 일정한 범위 이내로 수렴하였는지 여부를 판단하는 수렴 판단부;를 더 포함하는 것을 특징으로 할 수 있다.

여기서, 상기 영상 분리부는, 상기 수렴 판단부에서 상기 비용 함수가 수렴한 것으로 판단되는 경우 상기 산출된 저 랭크 행렬과 오류 행렬을 각각 최종적으로 획득된 저 랭크 행렬 및 오류 행렬로 하고, 상기 수렴 판단부에서 상기 비용 함수가 수렴하지 않은 것으로 판단되는 경우, 상기 저 랭크 행렬 산출부, 상기 오류 행렬 산출부, 상기 라그랑지 멀티플라이어 갱신부의 동작을 다시 수행하여 새롭게 상기 저 랭크 행렬과 오류 행렬을 산출한 후, 상기 수렴 판단부에서 상기 새롭게 산출된 저 랭크 행렬과 오류 행렬에 따른 상기 비용 함수가 수렴하였는지 여부를 판단하는 것을 특징으로 할 수 있다.

여기서, 상기 비용 함수는 하기 식 4와 같이 산출되는 것을 특징으로 할 수 있다.

식 4

(여기서 μ 불이익 변수(penalty parameter)이고, Y는 상기 라그랑지 멀티플라이어이고,

는 프로베니우스 놈(Frobenius Norm) 연산이고, <> 연산은 벡터 간 내적 연산이다.)

여기서, 상기 라그랑지 멀티플라이어는 하기 식 5와 같이 갱신되는 것을 특징으로 할 수 있다.

식 5

(여기서 k는 상기 라그랑지 멀티플라이어를 갱신하는 회수를 나타내는 인덱스이다.)

여기서, 상기 초기화부는 상기 오류 행렬을 영행렬로 초기화하고, 상기 라그랑지 멀티플라이어를 하기 식 6과 같이 초기화하는 것을 특징으로 할 수 있다.

식 6

(여기서

는 L 2 놈(Norm) 연산이고,

는 최대 놈(Maximum Norm) 연산이다.)

상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 랭크 정보를 이용한 영상 분리 장치는, 배경과 객체를 분리하고자 하는 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 입력받는 대상 영상 행렬 입력부; 및 상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 영상 분리부;를 포함할 수 있다.

여기서, 상기 영상 분리부는 하기 식 7과 같이 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 이용하여 산출되는 상기 비용 함수가 일정한 기준 이하로 작아지도록 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 할 수 있다.

식 7

(여기서 α는 일정한 크기를 가지는 비례 상수이고, rank(D)는 상기 대상 영상 행렬 D의 랭크 값이고, g는 상기 랭크 값을 입력 변수로 하고 상기 입력 변수가 증가함에 따라 함께 증가하는 성질을 가지는 함수이다.)

상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 랭크 정보를 이용한 영상 분리 방법은, 배경과 객체를 분리하고자 하는 대상 영상을 입력받아, 상기 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 생성하는 대상 영상 행렬 생성 단계; 상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 영상 분리 단계; 및 상기 저 랭크 행렬을 이용하여 배경 영상을, 상기 오류 행렬을 이용하여 객체 영상을 각 획득하는 분리 영상 획득 단계를 포함할 수 있다.

여기서, 상기 영상 분리 단계는 하기 식 8과 같이 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 이용하여 산출되는 상기 비용 함수가 일정한 기준 이하로 작아지도록 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 할 수 있다.

식 8

(여기서 α는 일정한 크기를 가지는 비례 상수이고, rank(D)는 상기 대상 영상 행렬 D의 랭크 값이다.)

여기서, 상기 영상 분리 단계는 하기 식 9와 같이 상기 비용 함수를 산출하는 것을 특징으로 할 수 있다.

식 9

(여기서 D는 상기 대상 영상 행렬이고, A는 상기 저 랭크 행렬이고, E는 상기 오류 행렬이고,

는 L1 놈(norm) 연산으로써 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산이고, λ 는 상기 정규화 계수이고, μ 불이익 변수(penalty parameter)이고, Y는 상기 라그랑지 멀티플라이어이고,

는 프로베니우스 놈(Frobenius Norm) 연산이다.)

본 발명에 따른 랭크 정보를 이용한 영상 분리 장치 및 그 방법에 의하면, 기존의 RPCA 및 ALMM을 사용한 영상 분리 방식들에 비하여, 입력 영상의 랭크 정보를 이용하여 보다 더 빠르고 강인하게 배경과 객체를 분리하는 효과가 있다.

도 1은 대상 영상에서 배경 영상과 객체 영상을 분리하는 동작을 나타내는 참고도이다.
도 2는 본 발명의 일 실시예에 따른 랭크 정보를 이용한 영상 분리 장치의 블록도이다.
도 3은 본 발명에 따른 영상 분리부의 세부 블록도이다.
도 4의 (a) 내지 (c)는 기존의 ALMM 방식을 이용한 영상 분리의 성능을 나타내는 참고도이고, (d) 내지 (e)는 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치의 성능을 나타내는 참고도이다.
도 5의 (a) 내지 (c)는 기존의 ALMM 방식을 이용한 영상 분리의 성능을 나타내는 참고도이고, (d) 내지 (e)는 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치의 성능을 나타내는 참고도이다.
도 6은 본 발명의 또 다른 실시예에 따른 랭크 정보를 이용한 영상 분리 장치의 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 랭크 정보를 이용한 영상 분리 방법의 블록도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

자연의 또는 합성된 영상은 배경이 되는 패턴 이미지와 그와 구분되는 독립적인 객체로 분리될 수 있다. 이와 같은 영상 분리 장치는 객체를 인지 및 트래킹하거나 폐색으로 가려진 영역을 복구하는데 활용될 수 있다.

도 1은 대상 영상에서 배경 영상과 객체 영상을 분리하는 동작을 나타내는 참고도이다.

도 1 (a)와 같은 분리 대상 영상이 주어진 경우, 영상 분리 장치는 도 1의 (b)와 같은 배경 영상과 (c)와 같은 객체 영상으로 영상을 분리할 수 있다.

입력 영상을 이와 같이 배경과 객체로 분리하는 문제는 수학적으로 모델링할 경우, 입력 영상에 따른 고차원 행렬을 작은 행렬 계수 즉 랭크(Rank)를 가지는 행렬인 저 랭크 행렬(Low Rank Matrix) 와 행렬의 원소에 비교적 0이 많은 행렬로 수학적으로 정의되는 희소 행렬(Sparse Matrix)로 분리하는 문제가 될 수 있다. 여기서 희소 행렬은 실제 구현시에는 일정 크기 이하의 원소 값이 많은 행렬로 모델링될 수도 있다.

이와 같이 저 랭크 행렬과 희소 행렬을 분리하는 방법으로 RPCA(Robust Principle Component Analysis) 방식이 많이 이용된다.

기존의 PCA(Principle Component Analysis) 방식은 고차원 데이터를 주 성분으로 프로젝션하고 저차원의 부분 공간을 추정하는 방법을 이용하여, 주 성분에 해당하는 저 랭크 행렬을 찾는다. 그러나 이와 같은 PCA 방법은 데이터 자체에 왜곡이 없고, 특이값(고유값 또는 Eigen Value) 분해(Singular Value Decomposition)가 잘 이루어져 일정한 수 이내의 고유벡터들의 조합으로 고차원 데이터가 표현될 수 있을 때에만 효과적으로 기능할 뿐, 대상 데이터가 왜곡되거나 아웃라이어가 존재하는 경우 주 성분을 잘 찾지 못한다는 문제점이 있다.

RPCA(Robust Principle Component Analysis) 방법은 이와 같은 기존의 PCA 방식을 보완하여 분석 대상이 되는 데이터에 불규칙적으로 오류가 존재하더라도 강인하게 주 성분을 분석하기 위하여 제안된 방법이다.

본 발명은 이와 같은 RPCA 방법을 배경과 영상을 분리하기 위한 수단으로 이용한다.

이하에서는 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치의 세부 동작에 대하여 보다 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 랭크 정보를 이용한 영상 분리 장치의 블록도이다.

상기 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치는 대상 영상 행렬 생성부(101)와 영상 분리부(200)를 포함할 수 있다. 또한 필요에 따라 분리 영상 획득부(300)를 더 포함할 수 있다.

먼저 대상 영상 행렬 생성부(101)는 배경과 객체를 분리하고자 하는 대상 영상을 입력받아, 상기 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 생성한다.

즉 대상 영상 행렬 생성부(101)는 먼저 배경과 영상을 분리할 대상 영상에 대하여, 대상 영상의 화소에서의 영상 신호값들을 원소로 하는 행렬을 구성한다. 여기서 이와 같이 대상 영상에 대하여 구성된 행렬을 대상 영상 행렬이라고 지칭한다.

여기서 상기 대상 영상 행렬의 각 원소 값은 대상 영상의 영상 신호값이 될 수 있고, 이 때 영상 신호 값은 다양한 종류의 색공간을 이용하여 획득되는 신호값들이 될 수 있다. 예를 들면 상기 대상 영상 행렬은 Lab 색 신호 공간의 휘도 신호 또는 색차 신호가 될 수도 있고, 다른 종류의 색 신호 공간을 사용하여 획득한 휘도 또는 색상 정보를 나타내는 신호가 될 수도 있다.

다음으로 영상 분리부(200)는 상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득한다.

상기 대상 영상 행렬은 배경을 나타내는 저 랭크 행렬(Law Rank Matrix)과 객체를 나타내는 오류 행렬(Error Matrix)의 합이 될 수 있다.

여기서 저 랭크 행렬(Low Rank Matrix)는 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 행렬인데, 상기 일정한 기준은 상기 대상 영상 행렬의 크기에 따라 사용자가 설정할 수 있다.

여기서 저 랭크 행렬은 대상 영상 행렬을 주성분 분석함에 있어서 고유값(Eigen value)이 큰 고유벡터(Eigen vector)들로 구성되는 주성분에 해당하는 행렬이다. 여기서 고유값이 큰 순서대로 일정한 개수의 고유벡터를 선정하여 해당 고유값을 적용한 고유벡터들의 합으로, 대상 영상 행렬의 랭크 값 보다 작은 랭크 값을 가지는 상기 저 랭크 행렬을 획득할 수 있다.

이와 같은 저 랭크 행렬은 대상 영상의 주성분에 관한 정보를 포함하는 행렬이고, 따라서 대상 영상에서 보다 많은 영역을 차지하고 있는 배경을 나타내는 행렬이 된다.

따라서 대상 영상 행렬에서 위와 같이 획득된 저 랭크 행렬을 뺀 상기 오류 행렬(Error Matrix)이 대상 영상에 포함되고 상기 배경 상에서 일부분의 영역만을 차지하고 있는 객체를 나타내는 행렬이 된다.

여기서 저 랭크 행렬은 행렬의 열들이 서로 독립적인 개수가 적은 것을 의미한다. 즉 어떤 행렬을 나타내기 위해 필요한 기저 벡터(Basis vector)가 적다는 것을 의미한다. 이는 해당 행렬과 대응하는 영상의 관점으로 보면 비교적 간단한 영상이라는 것을 의미한다. 또한 희소 행렬에 있어서, 신호가 희소성을 가진다는 것은 정해진 영역(Domain)에서 신호를 표현하는 성분이 적다는 것을 의미한다. 이와 같은 행렬에서의 희소성을 표현하기 위해서 L0 norm을 이용할 수 있으며, 행렬에 대응하는 영상에 있어서는 대부분의 화소 값이 0을 가지는 영상인 것과 동일하다. 이상과 같은 관점에서 저 랭크 행렬은 영상에서 일정한 기준 이하로 기저 벡터의 수가 적은 신호 성분을 나타내는 바, 이는 영상에서 주된 영역을 나타내는 것이고 즉 배경 부분을 나타낸다고 볼 수 있다. 한편 희소 행렬의 경우는 객체를 제외한 나머지 부분의 화소 신호 값이 0이 되는 객체 영상을 나타낸다고 볼 수 있다.

영상 분리부(200)는 상기 대상 영상 행렬에서 상기 저 랭크 행렬과 오류 행렬을 최적으로 분리하기 위하여, 하기 수학식 1과 같이 산출되는 비용 함수를 이용할 수 있다.

여기서 영상 분리부(200)는 하기 수학식 1와 같이 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 할 수 있다.

는 Nuclear Norm 연산으로써 연산 안에 포함된 행렬의 특이값(Singular Value)을 모두 더하는 연산이고,

는 L1 놈(norm) 연산으로써 연산 안에 포함된 행렬의 원소들의 절대값을 모두 더하는 연산이고, λ 는 상기 정규화 계수이다.)

상기 수학식 1에서 상기 비용함수는

이고, 영상 분리부(200)는 상기 비용함수를 최소화 하는 A와 E를 산출함으로써, 상기 저 랭크 행렬과 상기 오류 행렬을 획득할 수 있다.

여기서 영상 분리부(200)는 상기 수학식 1과 같이, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하는 것이 바람직하다. 여기서 상기 수학식 1과 같이, 상기 제1 놈 연산은, 연산 대상 행렬의 특이값(Singular Value)을 모두 더하는 연산인 Nuclear Norm 연산인 것이 바람직하고, 상기 제2 놈 연산은 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산인 L1 Norm 연산인 것이 바람직하다.

여기서 상기 비용 함수를 최소화 하는 A와 E를 산출하기 위하여, 다양한 종류의 비용 함수 최적 해 산출 방법을 이용할 수 있다. 여기서 비용 함수를 최소화 하는 최적 해를 산출한다는 것의 의미는, 절대적으로 비용 함수를 최소화 하는 해를 산출한다는 의미 뿐만이 아니라, 일정한 기준 이내로 상기 비용 함수의 크기가 작아지는 경우 또는 상기 비용 함수가 수렴하는 경우의 해를 구한다는 의미를 포함한다. 또한 상기 비용 함수가 일정한 기준 이내로 작아지거나 수렴하도록 하는 최적 해를 산출함에 있어서, 상기 일정한 기준은 최적 해를 구하는 사용자가 필요에 따라 설정할 수 있는 값이다.

또한 여기서 최적 해를 지칭함에 있어서 최적이라는 의미는 절대적으로 모든 경우의 수를 판단하여 구해진 최적의 해 뿐만이 아니라, 주어진 제약 조건 내에서 일정한 범위의 경우의 수를 판단하여 그 범위 내에서 구해진 부분적 의미에서의 최적의 해도 포함하는 의미이다.

이상과 같은 설명에 따른 비용 함수를 최소화 하는 해를 구한다는 것 또는 최적 해를 구한다는 것의 의미는 당업자의 의미에서 자명할 것이다. 이하에서 비용 함수를 최소화 하는 해를 구하거나 최적 해를 구한다는 용어는 위와 같은 의미로 사용한다.

또한 상기 수학식 1과 같은 비용 함수의 해를 구함에 있어서는, 상기 대상 영상 행렬은 배경을 나타내는 상기 저 랭크 행렬과 객체를 나타내는 상기 오류 행렬의 합이 된다는, 하기 수학식 2와 같은 제약조건이 부가되는 것이 바람직하다.

(여기서 D는 상기 대상 영상 행렬이고, A는 상기 저 랭크 행렬이고, E는 상기 오류 행렬이다.)

여기서 영상 분리부는, 상기 수학식 2와 같은 제약조건을 만족시키면서 상기 수학식 1과 같은 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 해인 A와 E를 구할 수 있다.

즉 영상 분리부(200)는 상기 저 랭크 행렬과 상기 오류 행렬의 합이 상기 대상 영상 행렬이 되는 것을 상기 비용 함수의 제약조건으로 설정하여, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것이 바람직하다.

또한 영상 분리부(200)는 상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 정규화 계수 λ 를 산출하고, 상기 산출된 정규화 계수를 이용하여 상기 비용 함수를 산출하는 것이 바람직하다.

영상 분리부(200)는 상기 정규화 계수를 상기 오류 행렬에 곱하여 상기 저 랭크 행렬과 가중합하여, 상기 비용 함수를 산출할 수 있다.

더 나아가, 상기 정규화 계수 λ 는 하기 수학식 3과 같이 산출되는 것을 특징으로 할 수 있다.

이와 같이 상기 정규화 계수 λ 는 상기 대상 영상 행렬의 랭크 값에 따라 적응적으로 산출되는 것이 바람직하다.

더 나아가, 상기 정규화 계수 λ 는 하기 수학식 4와 같이 산출되는 것을 특징으로 할 수 있다.

여기서 상기 α는 1 내지 5의 값을 가질 수 있고, 바람직하게는 3으로 설정될 수 있다.

이상과 같이 대상 영상 행렬에 따른 랭크 정보를 이용하여 산출한 정규화 계수를 이용함으로써, 본 발명에 따른 영상 분리 장치는 기존의 RPCA 방법을 이용한 영상 분리 장치의 오류를 개선하여, 보다 강인하고 효과적으로 대상 영상 행렬에서 저 랭크 행렬과 오류 행렬을 분리할 수 있고, 그에 따라 배경 영상과 객체 영상을 획득할 수 있도록 한다.

또한 영상 분리부(200)는, 라그랑지 멀티플라이어(Lagrange Multiplier)가 적용된 라그랑지안 함수를 이용하여 비용 함수의 해를 구하는 방법인 ALM(Augmented Lagrange Multiplier) 방법을 사용하여, 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬 및 상기 오류 행렬을 산출하는 것이 바람직하다.

여기서 영상 분리부(200)는 상기 수학식 1과 수학식 2에 따른 비용 함수 및 제약조건에 따른 상기 저 랭크 행렬과 상기 오류 행렬을 구하기 위하여, ALMM(Augmented Lagrange Multiplier Method) 방식을 사용하는 것이 바람직하다.

ALM 방법은 만일 행렬 X에 대하여, 비용 함수 f(X)를 최소화 또는 일정한 범위 이내로 수렴하게 하는 함에 있어서 제약조건(h(X) = 0)이 주어졌을 때, 하기 수학식 5와 같은 라그랑지안 함수인 비용 함수를 이용하여 행렬 X에 대한 최적 해를 산출하는 방식이다.

여기서 μ 불이익 변수(penalty parameter)이고, Y는 라그랑지 멀티플라이어이고,

는 프로베니우스 놈(Frobenius Norm) 연산이고, < > 연산은 벡터 간 내적 연산이다.

여기서 불이익 변수는 Constrained problem에서 조건을 포함하도록 Unconstrained problem으로 바꾸기 위해서 적용되는 수학적 개념이며, 불이익 변수를 적용하여 구한 초기 해는 실제 해에 예측 값에 불과하지만, 불이익 변수가 증가함에 따라 산출되는 해가 실제의 해와 같아지게 되는 효과가 있다.

여기서 프로베니우스 놈은 모든 행렬 원소의 절대값의 제곱의 합을 구하는 연산이다. 또한 여기서 라그랑지 멀티플라이어는 제약조건이 비용 함수 즉 목적 함수에 포함되기 위해 이용되는 변수로써, 전체 비용 함수에서 제약조건이 가지는 가중치를 결정하는 역할을 수행한다.

여기서 바람직하게는 상기 불이익 변수는 일정한 크기의 상수를 상기 행렬 X의 고유값 중 가장 큰 값으로 나눈 값으로 설정할 수 있다.

영상 분리부(200)는 상기 비용 함수가 최소화 또는 일정한 범위 이내로 수렴하게 하는 최적해를 산출할 수 있고, 여기서 상기 비용 함수가 일정한 범위 이내로 수렴할 때까지 반복적으로 상기 라그랑지안 함수에 따른 해를 산출하는 과정을 통해, 최적 해를 산출할 수 있다. 여기서 일정한 범위는 수렴 조건을 설정함에 따라 사용자가 설정할 수 있는 값이다.

상기 수학식 1과 수학식 2를 수학식 5에 적용하면, 하기 수학식 6과 같은 비용 함수를 획득할 수 있다.

그리고 여기서 상기 라그랑지 멀티플라이어는 하기 수학식 7과 같이 산출될 수 있다.

여기서 k는 상기 라그랑지안 함수를 반복적으로 연산하는 회수를 나타내는 인덱스이다.

본 발명에 따른 영상 분리부(200)는 상기 수학식 6과 같은 비용 함수를 이용하여 상기 저 랭크 행렬 A와 상기 오류 행렬 E를 획득하는 것이 바람직하다.

여기서 영상 분리부(200)는 상기 수학식 3 또는 상기 수학식 4와 같이 산출되는 정규화 계수를 이용하여 상기 수학식 6에 따른 비용 함수를 계산하는 것이 바람직하다.

여기서 영상 분리부(200)는 상기 수학식 6과 같은 비용 함수가 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬과 상기 오류 행렬을 산출하는 것이 바람직하다.

여기서 영상 분리부(200)는 상기 수학식 6과 같은 비용 함수가 가 일정한 범위 내로 수렴할 때까지, 상기 수학식 6에 따른 비용 함수를 반복적으로 연산하여, 상기 저 랭크 행렬 A와 상기 오류 행렬 E를 획득할 수 있다. 여기서 상기 일정한 범위는 수렴 조건을 설정함에 따라 사용자가 설정할 수 있는 값이다. 만일 상기 수렴 판단을 위한 일정한 범위를 큰 값으로 설정하게 되는 경우, 비용 함수에 따른 해가 보다 빠르게 구하여지는 반면, 해가 절대적인 의미에서의 최적 해와 많이 다를 수 있고, 상기 수렴 판단을 위한 일정한 범위를 작은 값으로 설정하게 되는 경우, 비용 함수에 따른 해를 구하는데 보다 많은 시간이 소요되지만, 해가 절대적인 의미에서 최적 해와 보다 가까운 해가 될 수 있다.

다음으로는 영상 분리부(200)가 상기 라그랑지안 함수와 상기 라그랑지 멀티플라이어를 이용하여, 상기 대상 영상 행렬 D 로부터 상기 저 랭크 행렬 A와 상기 오류 행렬 E를 획득하는 과정에 대하여 보다 상세히 설명한다.

(a) 먼저 영상 분리부(200)는 상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 비용 함수에 사용할 상기 정규화 계수를 산출한다.

(b) 다음으로, 영상 분리부(200)는 먼저 상기 오류 행렬 E와 상기 라그랑지 멀티플라이어 Y를 초기값으로 설정한다.

여기서 상기 오류 행렬 E는 모든 원소들의 값이 0이 되는 영행렬로 초기화 되는 것이 바람직하고, 상기 라그랑지 멀티플라이어 Y는 하기 수학식 8과 같은 초기값을 가지는 것이 바람직하다.

(여기서

는 L2 놈(Norm),

는 최대 놈(Maximum Norm), 연산을 의미한다.)

(c) 다음으로 상기 라그랑지안 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬 A를 산출한다.

(d) 다음으로 상기 산출한 저 랭크 행렬 A를 상기 라그랑지안 함수에 적용하여, 다시 상기 라그랑지안 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 새로운 상기 오류 행렬 E을 산출한다.

(e) 다음으로 상기 산출된 저 랭크 행렬 A와 오류 행렬 E를 상기 수학식 7에 대입하여 새로운 상기 라그랑지 멀티플라이어를 산출한다.

여기서 상기 μ를 갱신할 수 있고, μ는 일정한 상수를 대상 영상 행렬 D의 고유값 중 가장 큰 값으로 나눈 값으로 제일 처음 설정된 다음, 하기 (f) 과정에서 반복이 되어 μ가 갱신될 때 마다 μ를 증가시키는 방향으로 갱신할 수 있다. 예를 들면 μ에 일정한 크기의 상수를 곱하여 크기가 증가된 값으로 μ를 갱신할 수 있다.

(f) 이상과 같은 과정을 거친 다음 상기 라그랑지안 함수가 일정한 범위 내로 수렴하였는지를 판단한다. 여기서 상기 일정한 범위는 사용자가 필요에 따라 설정할 수 있고, 상기 라그랑지안 함수의 크기가 상기 설정된 일정한 범위 이내가 되는 경우, 상기 라그랑지안 함수가 수렴한 것으로 판단할 수 있다.

또는 상기 (f) 과정에서 상기 저 랭크 행렬 A와 오류 행렬 E가 일정한 범위 이내로 수렴하는 경우를 상기 라그랑지안 함수가 수렴하는 것으로 판단할 수 있다. 여기서 상기 저 랭크 행렬 A와 오류 행렬 E가 일정한 범위 이내로 수렴하는 것은 각 행렬의 원소 신호값의 크기의 총 합이 일정한 범위 이내로 수렴하는 경우, 또는 각 행렬의 각 원소들의 신호값들의 크기가 일정한 범위 이내로 수렴하는 경우를 포함한다.

만일 상기 라그랑지안 함수가 수렴하였다고 판단이 되면 반복 과정을 종료하고 상기 최종 산출된 저 랭크 행렬 A와 오류 행렬 E를 획득한다.

만일 상기 라그랑지안 함수가 수렴하지 않았다고 판단이 되면 상기 초기화 이후 (c) 과정에서부터 (f) 까지의 과정을 다시 반복하는 것이 바람직하다.

위와 같은 영상 분리부(200)의 동작을 수행하기 위하여 영상 분리부(200)는 정규화 계수 산출부(210), 초기화부(220), 저 랭크 행렬 산출부(230), 오류 행렬 산출부(240)를 포함할 수 있고, 라그랑지 멀티플라이어 갱신부(250), 수렴 판단부(260)를 더 포함할 수도 있다.

도 3은 본 발명에 따른 영상 분리부의 세부 블록도이다.

정규화 계수 산출부(210)는 상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 비용 함수에 사용할 상기 정규화 계수를 산출한다.

초기화부(220)는 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 초기화 한다.

여기서 초기화부(220)는 상기 오류 행렬을 영행렬로 초기화 하고, 상기 라그랑지 멀티플라이어를 상기 수학식 8과 같이 초기화 할 수 있다.

저 랭크 행렬 산출부(230)는 상기 초기화 된 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬을 산출한다.

오류 행렬 산출부(240)는 상기 산출된 저 랭크 행렬을 상기 비용 함수에 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 오류 행렬을 산출한다.

라그랑지 멀티플라이어 갱신부(250)는 상기 저 랭크 행렬 산출부와 상기 오류 행렬 산출부에서 각 산출된 상기 저 랭크 행렬과 상기 오류 행렬과 상기 대상 영상 행렬을 이용하여 상기 라그랑지 멀티플라이어를 갱신한다.

수렴 판단부(260)는 상기 비용 함수가 일정한 범위 이내로 수렴하였는지 여부를 판단한다. 여기서 수렴 판단부(260)는 상술한 바와 같이 상기 저 랭크 행렬과 상기 오류 행렬이 일정한 범위 이내로 수렴하는 경우를 상기 비용 함수가 일정한 범위 이내로 수렴하는 것으로 판단할 수도 있다.

영상 분리부(200)는, 수렴 판단부(250)에서 상기 비용 함수가 수렴한 것으로 판단되는 경우 상기 산출된 저 랭크 행렬과 오류 행렬을 각각 최종적으로 획득된 저 랭크 행렬 및 오류 행렬로 할 수 있다.

또한 수렴 판단부(260)에서 상기 비용 함수가 수렴하지 않은 것으로 판단되는 경우, 저 랭크 행렬 산출부(230), 오류 행렬 산출부(240), 라그랑지 멀티플라이어 갱신부(250)의 동작을 다시 수행하여 새롭게 상기 저 랭크 행렬과 오류 행렬을 산출한 후, 수렴 판단부(260)에서 상기 새롭게 산출된 저 랭크 행렬과 오류 행렬에 따른 상기 비용 함수가 수렴하였는지 여부를 판단하는 것이 바람직하다.

여기서 상기 라그랑지안 함수를 통하여 획득된 상기 저 랭크 행렬 A와 오류 행렬 E는 각각 배경 영상과 객체 영상을 나타낸다. 따라서 상기 대상 영상 행렬을 위와 같이 상기 저 랭크 행렬 A와 오류 행렬 E로 분리함으로써, 상기 대상 영상을 배경과 객체로 분리하고, 각 배경 영상과 객체 영상을 획득할 수 있다.

분리 영상 획득부(300)는 상기 저 랭크 행렬을 이용하여 배경 영상을, 상기 오류 행렬을 이용하여 객체 영상을 각 획득할 수 있다.

도 4의 (a) 내지 (c)는 기존의 ALMM 방식을 이용한 영상 분리의 성능을 나타내는 참고도이고, (d) 내지 (e)는 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치의 성능을 나타내는 참고도이다. 또한 도 5의 (a) 내지 (c_는 기존의 ALMM 방식을 이용한 영상 분리의 성능을 나타내는 참고도이고, (d) 내지 (e)는 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치의 성능을 나타내는 참고도이다.

도 4를 참고하면, 도 4 (a)는 배경과 객체가 혼합되어 있는 대상 영상이고, 도 4 (b)는 기존의 ALMM 방식을 이용한 영상 분리 방법에 따라 분리된 배경 영상이고, 도 4 (c)는 상기 기존의 방법으로 획득된 객체 영상이다. 반면 동일한 대상 영상인 도 4 (a)에 대하여, 도 4 (d)는 본 발명에 따른 영상 분리 장치를 이용하여 획득된 배경 영상이고, 도 4 (e)는 상기 본 발명에 따른 영상 분리 장치로 획득된 객체 영상이다.

마찬가지로 도 5를 참고하면, 도 5 (a)는 배경과 객체가 혼합되어 있는 대상 영상이고, 도 5 (b)는 기존의 ALMM 방식을 이용한 영상 분리 방법에 따라 분리된 배경 영상이고, 도 5 (c)는 상기 기존의 방법으로 획득된 객체 영상이다. 반면 동일한 대상 영상인 도 5 (a)에 대하여, 도 5 (d)는 본 발명에 따른 영상 분리 장치를 이용하여 획득된 배경 영상이고, 도 5 (e)는 상기 본 발명에 따른 영상 분리 장치로 획득된 객체 영상이다.

도 4와 도 5를 참조하여 확인할 수 있는 바와 같이, 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치는 기존의 방법과 비교하여 보다 강인하게 배경과 객체를 분리하고 있다.

도 6은 본 발명의 또 다른 실시예에 따른 랭크 정보를 이용한 영상 분리 장치의 블록도이다.

상기 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치는 대상 영상 행렬 입력부(102)와 영상 분리부(200)를 포함할 수 있다. 여기서 영상 분리부(200)의 동작은 상기 도 2 내지 도 5와 함께 상술한 영상 분리부(200)와 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 서술한다.

대상 영상 행렬 입력부(102)는 배경과 객체를 분리하고자 하는 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 입력받는다.

영상 분리부(200)는 상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득한다.

여기서, 영상 분리부(200)는 상기 수학식 3과 같이 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 이용하여 산출되는 상기 비용 함수가 일정한 기준 이하로 작아지도록 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것이 바람직하다.

여기서 영상 분리부(200)는, 상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 정규화 계수를 산출하는 정규화 계수 산출부(210), 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 초기화 하는 초기화부(220), 상기 초기화 된 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬을 산출하는 저 랭크 행렬 산출부(230), 상기 산출된 저 랭크 행렬을 상기 비용 함수에 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 오류 행렬을 산출하는 오류 행렬 산출부(240)를 포함할 수 있다.

도 7은 본 발명의 또 다른 실시예에 따른 랭크 정보를 이용한 영상 분리 방법의 블록도이다.

상기 본 발명에 따른 랭크 정보를 이용한 영상 분리 방법은 대상 영상 행렬 생성 단계(S100), 영상 분리 단계(S200), 분리 영상 획득 단계(S300)를 포함할 수 있다. 여기서 상기 본 발명에 따른 랭크 정보를 이용한 영상 분리 방법은 도 2 내지 도 5를 참조하며 설명한 본 발명에 따른 랭크 정보를 이용한 영상 분리 장치와 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 서술한다.

대상 영상 행렬 생성 단계(S100)는 배경과 객체를 분리하고자 하는 대상 영상을 입력받아, 상기 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 생성한다.

영상 분리 단계(S200)는 상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득한다.

분리 영상 획득 단계(S300)는 상기 저 랭크 행렬에 따른 배경 영상과 상기 오류 행렬에 따른 객체 영상을 획득한다.

여기서, 영상 분리 단계(S200)는 상기 수학식 4와 같이 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 이용하여 산출되는 상기 비용 함수가 일정한 기준 이하로 작아지도록 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것이 바람직하다.

또한 상기 비용 함수는 상기 수학식 6과 같이 산출되는 것이 바람직하다.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

101 : 대상 영상 행렬 생성부
200 : 영상 분리부
210 : 정규화 계수 산출부
220 : 초기화부
230 : 저 랭크 행렬 산출부
240 : 오류 행렬 산출부
250 : 라그랑지 멀티플라이어 갱신부
260 : 수렴 판단부
300 : 분리 영상 획득부

Claims

영상 분리 장치에 있어서,
배경과 객체를 분리하고자 하는 대상 영상을 입력받아, 상기 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 생성하는 대상 영상 행렬 생성부; 및
상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 영상 분리부;를 포함하는 것을 특징으로 하는, 영상 분리 장치.
제1항에 있어서,
상기 저 랭크 행렬을 이용하여 배경 영상을, 상기 오류 행렬을 이용하여 객체 영상을 각 획득하는 분리 영상 획득부를 더 포함하는 것을 특징으로 하는, 영상 분리 장치.
제1항에 있어서,
상기 영상 분리부는 상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 상기 오류 행렬에 곱하여 상기 저 랭크 행렬과 가중합하여, 상기 비용 함수를 산출하는 것을 특징으로 하는, 영상 분리 장치
제1항에 있어서,
상기 제1 놈 연산은, 연산 대상 행렬의 특이값(Singular Value)을 모두 더하는 연산인 Nuclear Norm 연산이고,
상기 제2 놈 연산은 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산인 L1 Norm 연산인 것을 특징으로 하는, 영상 분리 장치
제3항에 있어서,
상기 영상 분리부는 하기 식 1와 같이 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 하는, 영상 분리 장치.
식 1

(여기서 A는 상기 저 랭크 행렬이고, E는 상기 오류 행렬이고,
는 Nuclear Norm 연산으로써 연산 대상 행렬의 특이값(Singular Value)을 모두 더하는 연산이고,
는 L1 놈(norm) 연산으로써 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산이고, λ 는 상기 정규화 계수이다.)
제3항에 있어서,
상기 정규화 계수는 상기 대상 영상 행렬의 랭크 값이 클수록 작은 값을 가지는 것을 특징으로 하는, 영상 분리 장치
제6항에 있어서,
상기 정규화 계수는 하기 식 2과 같이 산출되는 것을 특징으로 하는, 영상 분리 장치.
식 2

(여기서 α는 일정한 크기를 가지는 비례 상수이고, rank(D)는 상기 대상 영상 행렬 D 의 랭크 값이고, g는 상기 랭크 값을 입력 변수로 하여 상기 입력 변수가 증가함에 따라 함께 증가하는 성질을 가지는 함수이다.)
제7항에 있어서,
상기 g는 루트(
) 함수인 것을 특징으로 하는, 영상 분리 장치.
제3항에 있어서,
상기 영상 분리부는 상기 저 랭크 행렬과 상기 오류 행렬의 합이 상기 대상 영상 행렬이 되는 것을 상기 비용 함수의 제약조건으로 설정하여, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 하는, 영상 분리 장치
제3항에 있어서, 상기 영상 분리부는,
라그랑지 멀티플라이어(Lagrange Multiplier)가 적용된 라그랑지안 함수를 이용하여 비용 함수의 해를 구하는 방법인 ALM(Augmented Lagrange Multiplier) 방법을 사용하여, 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬 및 상기 오류 행렬을 산출하는 것을 특징으로 하는, 영상 분리 장치.
제10항에 있어서, 상기 영상 분리부는,
상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 정규화 계수를 산출하는 정규화 계수 산출부;
상기 오류 행렬과 상기 라그랑지 멀티플라이어를 초기화 하는 초기화부;
상기 초기화 된 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬을 산출하는 저 랭크 행렬 산출부; 및
상기 산출된 저 랭크 행렬을 상기 비용 함수에 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 오류 행렬을 산출하는 오류 행렬 산출부를 포함하는 것을 특징으로 하는, 영상 분리 장치.
제11항에 있어서, 상기 영상 분리부는,
상기 저 랭크 행렬 산출부와 상기 오류 행렬 산출부에서 각 산출된 상기 저 랭크 행렬과 상기 오류 행렬과 상기 대상 영상 행렬을 이용하여 상기 라그랑지 멀티플라이어를 갱신하는 라그랑지 멀티플라이어 갱신부; 및
상기 비용 함수가 일정한 범위 이내로 수렴하였는지 여부를 판단하는 수렴 판단부;를 더 포함하는 것을 특징으로 하는, 영상 분리 장치.
제12항에 있어서, 상기 영상 분리부는,
상기 수렴 판단부에서 상기 비용 함수가 수렴한 것으로 판단되는 경우 상기 산출된 저 랭크 행렬과 오류 행렬을 각각 최종적으로 획득된 저 랭크 행렬 및 오류 행렬로 하고,
상기 수렴 판단부에서 상기 비용 함수가 수렴하지 않은 것으로 판단되는 경우, 상기 저 랭크 행렬 산출부, 상기 오류 행렬 산출부, 상기 라그랑지 멀티플라이어 갱신부의 동작을 다시 수행하여 새롭게 상기 저 랭크 행렬과 오류 행렬을 산출한 후, 상기 수렴 판단부에서 상기 새롭게 산출된 저 랭크 행렬과 오류 행렬에 따른 상기 비용 함수가 수렴하였는지 여부를 판단하는 것을 특징으로 하는, 영상 분리 장치.
제10항에 있어서,
상기 비용 함수는 하기 식 4와 같이 산출되는 것을 특징으로 하는, 영상 분리 장치.
식 4

(여기서 D는 상기 대상 영상 행렬이고, A는 상기 저 랭크 행렬이고, E는 상기 오류 행렬이고,
는 Nuclear Norm 연산으로써 연산 대상 행렬의 특이값(Singular Value)을 모두 더하는 연산이고,
는 L1 놈(norm) 연산으로써 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산이고, λ 는 상기 정규화 계수이고, μ는 불이익 변수(penalty parameter)이고, Y는 상기 라그랑지 멀티플라이어이고,
는 프로베니우스 놈(Frobenius Norm) 연산이고, < > 연산은 벡터 간 내적 연산이고, L은 상기 비용 함수이다.)
제12항에 있어서,
상기 라그랑지 멀티플라이어는 하기 식 5와 같이 갱신되는 것을 특징으로 하는, 영상 분리 장치.
식 5

(여기서 k는 상기 라그랑지 멀티플라이어를 갱신하는 회수를 나타내는 인덱스이고, D는 상기 대상 영상 행렬이고, A는 상기 저 랭크 행렬이고, E는 상기 오류 행렬이고, μ는 불이익 변수(penalty parameter)이고, Y는 상기 라그랑지 멀티플라이어이다.)
제11항에 있어서, 상기 초기화부는
상기 오류 행렬을 영행렬로 초기화하고,
상기 라그랑지 멀티플라이어를 하기 식 6과 같이 초기화하는 것을 특징으로 하는, 영상 분리 장치.
식 6

(여기서
는 L 2 놈(Norm) 연산이고,
는 최대 놈(Maximum Norm) 연산이고, D는 상기 대상 영상 행렬이고, λ는 상기 정규화 계수이고, Y0는 초기화한 상기 라그랑지 멀티플라이어이다.)
영상 분리 장치에 있어서,
배경과 객체를 분리하고자 하는 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 입력받는 대상 영상 행렬 입력부; 및
상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 영상 분리부;를 포함하는 것을 특징으로 하는, 영상 분리 장치.
제17항에 있어서,
상기 영상 분리부는 하기 식 7과 같이 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 이용하여 산출되는 상기 비용 함수가 일정한 기준 이하로 작아지도록 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 하는, 영상 분리 장치.
식 7

(여기서 α는 일정한 크기를 가지는 비례 상수이고, rank(D)는 상기 대상 영상 행렬 D의 랭크 값이고, g는 상기 랭크 값을 입력 변수로 하고 상기 입력 변수가 증가함에 따라 함께 증가하는 성질을 가지는 함수이다.)
제18항에 있어서, 상기 영상 분리부는,
상기 대상 영상 행렬의 랭크(Rank) 정보를 이용하여 상기 정규화 계수를 산출하는 정규화 계수 산출부;
상기 오류 행렬과 라그랑지 멀티플라이어를 초기화 하는 초기화부;
상기 초기화 된 상기 오류 행렬과 상기 라그랑지 멀티플라이어를 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 저 랭크 행렬을 산출하는 저 랭크 행렬 산출부; 및
상기 산출된 저 랭크 행렬을 상기 비용 함수에 적용한 상기 비용 함수를 최소화 또는 일정한 범위 이내로 수렴하게 하는 상기 오류 행렬을 산출하는 오류 행렬 산출부를 포함하는 것을 특징으로 하는, 영상 분리 장치.
영상 분리 방법에 있어서,
배경과 객체를 분리하고자 하는 대상 영상을 입력받아, 상기 대상 영상의 화소들의 영상 신호값에 따른 행렬인 대상 영상 행렬을 생성하는 대상 영상 행렬 생성 단계;
상기 대상 영상 행렬을 일정한 기준 보다 작은 랭크(Rank) 값을 가지는 저 랭크 행렬(Low Rank Matrix)과 상기 대상 영상 행렬에서 상기 저 랭크 행렬 성분을 제외한 나머지 성분인 오류 행렬(Error Matrix)의 합으로 설정하고, 상기 저 랭크 행렬에 대한 제1 놈(Norm) 연산 값과 상기 오류 행렬에 대한 제2 놈(Norm) 연산 값에 정규화 계수를 적용한 가중합을 비용 함수로 설정하고, 상기 비용 함수를 이용하여 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 영상 분리 단계; 및
상기 저 랭크 행렬을 이용하여 배경 영상을, 상기 오류 행렬을 이용하여 객체 영상을 각 획득하는 분리 영상 획득 단계를 포함하는 것을 특징으로 하는, 영상 분리 방법.
제20항에 있어서,
상기 영상 분리 단계는 하기 식 8과 같이 상기 정규화 계수를 산출하고, 상기 산출된 정규화 계수를 이용하여 산출되는 상기 비용 함수가 일정한 기준 이하로 작아지도록 하는 상기 저 랭크 행렬과 상기 오류 행렬을 획득하는 것을 특징으로 하는, 영상 분리 방법.
식 8

(여기서 α는 일정한 크기를 가지는 비례 상수이고, rank(D)는 상기 대상 영상 행렬 D의 랭크 값이다.)
제21항에 있어서,
상기 영상 분리 단계는 하기 식 9와 같이 상기 비용 함수를 산출하는 것을 특징으로 하는, 영상 분리 방법.
식 9

(여기서 D는 상기 대상 영상 행렬이고, A는 상기 저 랭크 행렬이고, E는 상기 오류 행렬이고,
는 Nuclear Norm 연산으로써 연산 대상 행렬의 특이값(Singular Value)을 모두 더하는 연산이고,
는 L1 놈(norm) 연산으로써 연산 대상 행렬의 원소들의 절대값을 모두 더하는 연산이고, λ 는 상기 정규화 계수이고, μ는 불이익 변수(penalty parameter)이고, Y는 라그랑지 멀티플라이어이고,
는 프로베니우스 놈(Frobenius Norm) 연산이고, < > 연산은 벡터 간 내적 연산이고, L은 상기 비용 함수이다.)
컴퓨터와 결합되어 제20항 내지 제22항 중 어느 하나의 항에 따르는 영상 분리 방법을 수행하도록 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.