KR20080038308A - 이미지 블렌딩 - Google Patents

Abstract

이전에, 포아송 블렌딩은 타겟 배경 상으로 물체를 복제하고, 소스 이미지의 쌍을 함께 블렌딩하는 것을 포함하는 이미지 블렌딩에 사용되어 왔다. 그러한 포아송 블렌딩은 여러 상황에 잘 맞는다. 그러나, 이 방법이 항상 실행가능한 반면에, 우리는 변색이 때때로 발생한다는 것을 발견했다. 우리는 물체와 배경 색의 보존을 희생시켜, 소스 이미지의 변화도가 너무 강하게 유지될 때, 이들 변색이 발생한다는 것을 알았다. 몇몇 상황에서, 물체 윤곽선은 흐려지거나 얼룩지게 된다. 우리는 이 문제를 처리하기 위해 색 보존 항 및 취약성 측정을 개발한다. 이것은 평활한 합성을 얻고 변색 가공물을 줄이기 위한 부가적인 제어를 사용자에게 제공한다.

포아송 블렌딩, 경계 조건, 변화도, 색 보존 항, 가중 파라미터, 이미지 프로세서

Description

이미지 블렌딩{IMAGE BLENDING}

본 발명은 일반적으로 이미지 편집에 관한 것으로, 더욱 구체적으로 이미지를 블렌딩하는 것에 관한 것이다.

Microsoft의 Digital Image Suite(상표), Adobe Photoshop(상표) 및 Illustrator(상표)와 같은 이미지 처리 도구들은 잘 알려져 있고, 가정용 및 전문가용 시장 둘 다에서 그러한 도구에 대한 수요가 증가하고 있다. 그러한 도구를 사용하여 실행된 한 가지 일반적인 작업은 한 이미지의 일부를 다른 이미지 내로 또는 동일한 이미지의 다른 위치로 붙이는 것이다. 이러한 유형의 동작은 사진-합성의 생성뿐만 아니라 디지털 사진과 같은 디지털 이미지를 정정, 수리 또는 변경하는데 유용하다. 그러나, 원본 이미지의 편집된 영역과 나머지 영역 사이에 이음매들이 통상적으로 도입된다는 사실을 포함하여 몇 가지 문제가 발생한다. 그러므로, 이미지 블렌딩은 그러한 이음매의 출현을 최소화하기 위해 요구된다. 또한, 빠르고 효과적으로 동작하는 도구를 제공하기 위해서뿐만 아니라 이미지 처리 도구들을 동작시키기 위해서 사용자에 의해 필요한 액션을 단순화하는 것이 요구된다.

다음은 독자에게 기본적인 이해를 제공하기 위해 명세서의 단순화된 요약을 제시한다. 이 요약은 명세서의 광범위한 개요가 아니고, 본 발명의 핵심적인/중요한 요소를 식별한다거나 본 발명의 범위를 나타내고자 하는 것이 아니다. 그 유일한 목적은 나중에 제시될 더욱 상세한 설명의 서문으로서 여기에서 단순화된 형태로 개시된 몇몇 개념을 제시하기 위한 것이다.

이전에, 포아송(Poisson) 블렌딩은 타겟 배경 상으로 물체를 복제하고, 소스 이미지의 쌍을 함께 블렌딩하는 것을 포함하는 이미지 블렌딩에 사용되어 왔다. 그러한 포아송 블렌딩은 여러 상황에 잘 맞는다. 그러나, 이 방법이 항상 실행가능한 반면에, 우리는 변색이 때때로 발생한다는 것을 발견했다. 우리는 물체와 배경 색의 보존을 희생시켜, 소스 이미지의 변화도가 너무 강하게 유지될 때, 이들 변색이 발생한다는 것을 알았다. 몇몇 상황에서, 물체 윤곽선은 흐려지거나 얼룩지게 된다. 우리는 이 문제를 처리하기 위해 색 보존 항 및 취약성 측정을 개발한다. 이것은 평활한 합성을 얻고 변색 가공물을 줄이기 위한 부가적인 제어를 사용자에게 제공한다.

다수의 수반되는 특징은 첨부 도면과 관련하여 고려된 다음의 상세한 설명을 참조하여 더욱 잘 이해될 때 더욱 쉽게 알 수 있을 것이다.

본 명세서는 첨부 도면을 참조하여 다음의 상세한 설명을 읽어보면 더욱 잘 이해될 것이다.

도 1은 이미지 블렌딩 시스템의 하이 레벨 개략도.

도 2는 이미지 블렌딩 방법의 하이 레벨 흐름도.

도 3a는 복제하기 위한 물체의 소스 이미지를 도시한 도면.

도 3b는 종래의 블렌딩 방법을 사용하여 타겟 배경 상으로 도 3a의 물체를 복제한 결과를 도시한 도면.

도 3c는 색 보존 항을 포함한 블렌딩 방법을 사용하여 도 3b에서와 동일한 타겟 배경 상으로 도 3a의 물체를 복제한 결과를 도시한 도면.

도 3d는 도 3c의 색 보존 항, 및 소스 이미지 내의 대비도 측정 둘 다를 포함하는 블렌딩 방법을 사용하여 도 3b에서와 동일한 타겟 배경 상으로 도 3a의 물체를 복제한 결과를 도시한 도면.

도 4는 함께 블렌딩될 2개의 소스 이미지 영역을 도시한 도면.

도 5a는 제1 소스 이미지를 도시한 도면.

도 5b는 제2 소스 이미지를 도시한 도면.

도 5c는 도 5a 및 5b의 제1 및 제2 소스 이미지로부터 형성된 구성 이미지, 및 이 구성 이미지가 사전 분할(pre-segmentation) 알고리즘을 사용하여 처리된 경우를 도시한 도면.

도 5d는 도 5c의 이미지 상에서의 양측(bilateral) 변화도 블렌딩 처리 결과를 도시한 도면.

도 5e는 도 5c의 이미지 상에서의 개선된 이미지 블렌딩 처리 결과를 도시한 도면.

도 6은 본 발명의 방법을 사용하여 6개의 소스 이미지를 블렌딩함으로써 형성된 합성 이미지를 도시한 도면.

첨부 도면에서 동일한 참조 번호는 동일한 요소를 나타내기 위해 사용된다.

첨부 도면과 관련하여 아래에 제공된 상세한 설명은 본 예들의 설명으로서 사용하고자 하는 것이지, 본 예가 구성되거나 이용될 수 있는 형태들만을 나타내고자 하는 것이 아니다. 명세서는 이 예의 함수, 및 이 예를 구성하고 동작시키는 단계의 순서를 설명한다. 그러나, 동일하거나 대등한 함수 및 순서는 상이한 예들에 의해 달성될 수도 있다.

2003년 4월 16일자로 출원되어, US 2004/0165788 A1호로서 공개되며, 또한 마이크로소프트사에 양도된 우리의 이전의 US 특허 출원 제10/417,937호에서, 우리는 여기에서 포아송 블렌딩으로 칭해진(포아송 편집이라고도 함) 이미지 블렌딩 방법을 설명한다. 그러한 포아송 블렌딩은 여러 상황에 잘 맞는다. 이 방법이 항상 실행가능한 반면에, 우리는 변색의 가능성이 있다는 것을 발견했다. 우리는 물체 및 배경 색의 보존을 희생시켜, 소스 이미지의 변화도가 너무 강하게 유지될 때,이들 변색이 발생한다는 것을 알아냈다. 다른 문제점은 물체 윤곽선이 여러 상황에서 희미해지거나 얼룩진다는 것이다. 본 발명은 포아송 블렌딩 기술을 확장하고 확립함으로써 이들 문제를 처리하고자 한다. 또한, 합성 이미지 내의 이미지들의 부분들 사이의 스티치(stitch) 경계를 따른 인위적인 이음매를 제거하거나 최소화하고자 한다.

포아송 편집은 위에서 참조된 우리의 이전의 특허 출원, 및 또한 Perez 등 저의 2003 "Poisson image editing" ACM Trans. Graph. 22, 3, 313-318 둘 다에서 설명된다. 그것은 이제 여기에서도 설명된다.

포아송 편집은 S 경계 상의 타겟 이미지 I_T(r)의 일치를 1이라 가정하여, 소스 변화도(gradient) ∇I_S에 가장 가깝게 그 변화도 ∇u를 일치시키는 구성 이미지 u(r), r∈S에 관한 최적화로서 단순히 표현된다. 이것은 범함수의 최소화로서 다음과 같이 기입되는데:

여기에서, u가 연속적이라는 조건과, ∂S 상의 r에 대해

이라는 경계 조건을 가정한다.

변화도 일치 항은 재구성된 이미지 u가 소스 이미지 Is 상에서 멤브레인(membrane)을 스트레칭하여 생성되는 것처럼, 하지만 경계 ∂S 상의 타겟 이미지와도 일치하게 만들어진 것처럼, 물리적인 "멤브레인"에 가깝다. 최소화는 "포아송 블렌딩"이라는 용어를 생기게 한, 디리클레(Dirichlet) 조건을 가정한 포아송 방정식 ▽²u = ▽²Is을 제공하기 위해, 변분 계산법(variational calculus)에 의해 정확하게 해결될 수 있다.

포아송 블렌딩이 종종 효과적이지만, 우리는 이것이 실패하는 상황이 있다는 것을 발견했다. 예를 들어, 타겟 이미지 상으로 복제될 물체를 포함하는 도 3a의 소스 이미지를 고려해보자. 소스 이미지는 어두운 배경(31)을 배경으로 하여 서있는 사람(30)의 인물사진을 포함한다. 선(32)은 복제될 소스 이미지의 영역을 나타 내기 위해 사람 주위로 대충 그려져 있다. "복제(cloning)"라는 용어는 소스 이미지에서 대상 이미지로 물체 또는 물체의 일부를 붙이기 위해 요구되는 상황을 나타내기 위해 사용된다. 예를 들어, 선(32)은 이미지 처리 애플리케이션에서 그리기(drawing) 도구 또는 올가미(lassoing) 도구를 사용하여 사용자에 의해 삽입된다. 선은 소스 이미지의 어두운 배경의 일부가 복제될 영역 내에 포함되게 그려진다. 사용자에 의해 또는 자동 분할 알고리즘을 사용하여 세심한 작업을 하지않고서 이 배경을 포함하지 않게 하는 것은 매우 어렵다. 그러나, 그러한 분할 알고리즘은 복잡하고, 시간 소모적이며, 초심자 사용자가 사용하기 어렵다.

도 3b는 상술된 우리의 이전의 특허 출원에서 교시한 종래의 포아송 편집 방법을 사용하여 타겟 이미지 상으로 소스 이미지(도 3a) 내의 선택된 영역을 복제한 결과를 도시한 것이다. 타겟 이미지는 소스 이미지(도 3a) 내의 배경보다 훨씬 더 밝아졌으며, 복제된 소스 재료가 부적절하게 변색되거나 밝아졌다는 것을 알 수 있다. 또한, 구성된 이미지 내의 물체 윤곽선 또는 테두리가 희미해진다는 문제가 있다.

도 1은 이미지 블렌딩을 위한 장치의 하이 레벨 개략도이다. 그 장치는 하나 이상의 입력 이미지를 수신하는 입력부(10) 및 블렌딩된 이미지를 출력하는 출력부(15)를 그 안에 포함한다. 장치는 합성 이미지를 생성하기 위해 입력 이미지들(또는 그러한 이미지들의 적어도 일부)를 결합하도록 되어 있는 이미지 결합기(11)를 포함한다. 프로세서(12)는 합성 이미지 내의 경계를 자동으로 결정하거나, 또는 이 경계의 식별을 돕기 위해 수신된 사용자 입력(14)을 사용한다. 경계 는 소스 이미지들 중의 한 이미지로부터 형성된 합성 이미지 내의 영역과, 소스 이미지들 중의 다른 이미지로부터 형성된 합성 이미지 내의 영역 사이에 있다. 이미지 프로세서(13)가 또한 제공되는데, 이 프로세서는 여기에서 설명된 것과 같은 변경된 포아송 편집 방법에 따라 합성 이미지를 변경하도록 되어 있다. 프로세서(12), 이미지 결합기(11) 및 이미지 프로세서(13)는 분리된 엔티티일 수 있고, 또는 단일 컴퓨팅 시스템 상에 결합될 수 있다.

도 2는 도 1의 장치를 사용하여 구성 이미지를 형성하기 위해 제1 이미지와 제2 이미지를 블렌딩하는 방법의 하이 레벨 흐름도이다. 이 방법은 다음 단계를 포함한다:

· 구성 이미지(constructed image)를 형성하기 위해 제1 이미지의 적어도 일부와 제2 이미지의 적어도 일부를 결합하는 단계(도 2의 박스(20)를 참조);

· 제1 이미지로부터 형성된 구성 이미지 내의 영역과 제2 이미지로부터 형성된 구성 이미지 내의 영역 사이에 있는 구성 이미지 내의 경계를 식별하는 단계(도 2의 박스(21)를 참조);

· 제1 및 제2 이미지의 어느 한 이미지의 적어도 일부의 변화도에 기초하여 구성 이미지를 변경하는 단계(도 2의 박스(22)를 참조); 및 상기 변경은 또한 색 보존 항(color preservation term), 및 제1 및 제2 이미지 중의 적어도 한 이미지 내의 대비도(degree of contrast) 표시 중의 하나 이상에 기초하여 실행된다.

변색 문제를 처리하기 위해, 우리는 이제 더욱 상세하게 설명되는 색 보존 항을 개발했다. 또한, 우리는 물체 윤곽선의 희미해짐을 줄이기 위해 제1 및 제2 이미지 중의 적어도 한 이미지 내의 대비도 표시의 사용을 개발했다.

그러므로, 우리는 색 보존 항을 포함하도록, 상술된 순수한 포아송 편집에서 사용된 범함수 E(u)를 변경했다. 그러면, 범함수 E(u)는 다음과 같이 된다:

이때, 이 범함수는 상술된 경계 조건을 가정하여 연속된 u(r), r∈S에 관련하여 최소화된다. 색 보존 항의 효과는 복제물이 소스 색을 유지하는 경향을 도입하는 것이고, 이 경향은 소스 변화도와의 일치에 대한 선호와 경쟁한다.

상기 수식에서는 가중 파라미터 λ가 도입된다. 이것은 소스 색을 유지하는 경향과 소스 변화도와의 일치에 대한 경향 사이의 트레이드 오프를 제어한다. 실제로, 이 가중 파라미터의 유용한 값은 통상적으로 약 5 픽셀과 200 픽셀 사이의 범위에 있다.

도 3c는 도 3a 및 3b에서와 동일한 소스 및 타겟 이미지에 대해 포아송 편집 방법을 변경하기 위해 색 보존 항을 사용한 결과를 도시한 것이다. 이제 보존되려는 경향이 있는 물체 색에 있어서의 현저한 개선이 있다. 이 방법이 완전히 실행가능하고, 여러 상황에서 유리한 반면에, 우리는 몇몇 상황에서 배경 변색이 남아있을 수 있다는 것을 발견했다. 예를 들어, 도 3c를 참조한다. 우리는 새로운 타겟 배경이 대비 변화를 요구할지라도, 범함수 E(u)의 변화도 항이 소스 이미지에서와 동일한 대비도를 보존하기 위해 물체 윤곽선 주위에 영향을 주기 때문에, 이러한 배경 변색이 발생한다는 것을 확인했다. 본 발명의 다른 실시예에서, 우리는 소스 이미지 내의 대비도 측정을 사용함으로써 이 문제를 처리한다.

우리는 물체 윤곽선 상의 변화도 제약조건을 불능케 하기 위해 비용 함수 E에 "취약성(fragility)" 항을 도입한다. 이 항은 소스 이미지 내에 높은 대비가 있는 멤브레인 내의 텐션을 줄이는 것으로 간주될 수 있다. 이것은 테두리의 암시적인 또는 "소프트한" 검출의 형태로서 작용한다. 범함수(functional) E(u)는 이제 변경된 변화도 항을 갖는다:

여기에서, 취약성 w_S는 다음과 같고,

g_S는 다음과 같다:

앞에서와 같이 경계 조건을 가정한다. 여기에서 <...>는 도메인 S 상에서의 평균 값을 나타내고; ε은 단지 테두리의 때때로 과도한 선명화를 방지하기 위한 작은 상수로서, 그 값은 중대하지는 않지만 통상적으로 ε=0.02이다. 이 방법은 매우 높은 레벨의 변화도 ∥∇I_s∥가 있는 곳마다 w_S(...)가 1부터 낮은 값까지 속하는 효과를 갖는다. 이것은 심지어 물체 윤곽선 상에서도, 이미지 변화도를 보존하려는 포아송 편집의 경향을 불능케 하기 쉽다. 이러한 방식으로, 물체 경계에서의 이미지 대비는 적절하게 새로운 타겟에 적응하도록 촉진된다.

포아송 편집에 비해, 전경 및 배경 색 둘 다는 도 3d에 도시된 바와 같이 더욱 충실하게 재생되려는 경향이 있는데, 도 3d는 도 3b 및 3c에서와 동일한 소스 및 타겟 이미지에 대해 바로 위에서 설명된 범함수를 사용한 이미지 블렌딩 결과를 도시한 것이다. 다른 장점은 파라미터 λ를 사용함으로써, 타겟 배경이 복제 영역 내로 확산되도록 허용되는 정도를 제어할 수 있다는 것이다. 이 파라미터는 사용자가 파라미터의 정확한 값을 지정할 수 있도록, 또는 예를 들어, 사용된 파라미터의 현재 값을 증가시키거나 감소시키기 위해 슬라이딩 입력 제어를 사용할 수 있도록, 사용자 입력에 관련될 수 있다. 이러한 방식으로, 사용자는 색의 평활도와 충실도 사이에서 자신이 선호하는 주관적인 균형을 찾기 위해 시행착오를 사용할 수 있다. λ의 사용자 조정은 더욱 상세하게 후술되는 바와 같이 실시간으로 행해질 수 있다.

도 3과 관련하여 상술된 예에서, 한 사람의 이미지는 배경 타겟 이미지 상으로 복제된다. 본 발명은 또한 합성 이미지를 형성하기 위해 2개 이상의 이미지가 사용되는 이미지 블렌딩을 포함한다. 예를 들어, 도 6은 본 발명의 한 실시예를 사용하여 6개의 소스 이미지로부터 형성된 합성 이미지를 도시한 것이다.

이미지 스티칭(stitching)은 가장 이음매없는 가능한 방식으로 이전과 유사한 소스 이미지의 쌍을 함께 블렌딩하고자 한다. 예를 들어, 사진 합성의 경우나, 이미지 태피스트리(tapestry)의 경우, 또는 임의의 적합한 유형의 합성 이미지를 형성하는 경우가 있다. 이것은 Kwatra 등 저의 2003 "Graph cut textures; image and video synthesis using graph cuts" ACM Trans. Graph. 22, 3, 227-286에서 설 명된 바와 같이 스티치 경계를 따라 불일치 범함수를 최소화함으로써 세련되게 달성될 수 있다. 그러나, 여전히 여러 상황에서, 일반적으로 매우 서로 다르고, 경계를 따른 양호한 일치가 이용 불가능한 2개의 이미지를 블렌딩하는 것이 요구된다. (상술된) Kwatra에 의해 제안된 것과 같은 그래프 컷(graph cut) 방법은 이러한 유형의 상황을 다루지 않는다. 그러한 경우에, 공지된 방법은 보는 사람에게 덜 보이는 높은 대비 경계에 가깝게 이음매를 위치시키는 것이었다. 즉, 이 경우에, 경계를 식별하는 단계(도 2의 박스(21) 참조)는 가능한 높은 대비 경계에 가깝게 그 경계를 위치 설정하는 단계를 포함한다. 이것은 사용자 입력을 통해 또는 계산에 의해 달성될 수 있다. 예를 들어, 이 문제를 위해 변경된 범함수는 상술된 Kwatra 논문에서 교시된다. 그것은 높은 대비 경계에 가깝게 이음매를 향하게 하기 쉬운 변화도-크기 종속성을 도입한다. 그러나, 이 방법이 갖는 단점은 일반적으로, 높은 대비의 선을 이음매가 완전히 따라갈 수 없고, 그 길이의 나머지 부분을 따라서는 눈에 거슬리게 보인다는 것이다. 우리는 이 문제를 인식했고, 그것을 처리하는 방법을 확인했다. 소스 이미지 내의 대비도 표시에 기초하여 구성 이미지를 변경하기 위해 우리가 범함수 E(u)에 도입한 항은 높은 대비의 선을 따른 블렌딩을 우리가 억제할 수 있게 한다. 즉, 우리의 블렌딩 프로세스는 블렌딩이 이음매의 눈에 거슬리는 부분을 따라서는 발생하고 높은 대비의 선을 따라서는 억제되는 특별한 특성으로 블렌딩이 적용될 수 있게 한다. 그러나, 색 보존 항의 사용은 이 방법에 필수적인 것은 아니고; 즉, 색 보존 항은 높은 대비의 선을 따라서 블렌딩을 억제하면서 이음매 또는 경계를 따라 다른 위치에서 블렌딩이 발생할 수 있게 하기 위해 필요한 것은 아니다.

도 4는 합성 이미지를 형성하기 위해 함께 블렌딩될 2개의 부분적으로 겹치는 소스 이미지 영역 S₀ 및 S₁을 도시한 것이다. 상술된 블렌딩 방법은 문제가 소스 이미지 도메인 내에서 대칭적이기 때문에 이제 "양측으로" 적용된다. 즉, 이미지 복제의 경우에, (요구되는 경우에 이미지의 다른 부분을 변경하는 것도 가능하긴 하지만) 합성 이미지의 복제된 부분만이 블렌딩 프로세스 동안 변경되도록 요구된다. 그러나, 도 4에서와 같은 이미지 블렌딩의 경우에, 각 소스 이미지로부터의 합성 이미지의 부분이 변경된다. "양측으로"라는 용어는 이 차이를 나타내기 위해 여기에서 사용된다. 경계 또는 이음매(40)는 도 4에서 겹쳐지는 영역 내에 도시되고, 이때 소스 영역의 서브도메인은 도시된 바와 같이 S'₀ 및 S'₁이다. 경계 또는 이음매는 사용자 입력 또는 자동 계산에 의한 것과 같이 임의의 적합한 방식으로 식별된다. 자동 계산이 사용되는 경우에, 임의의 적합한 알고리즘은 소스 이미지 내의 물체 테두리 또는 윤곽선을 식별하고, 가능한 한 그들 테두리 또는 윤곽선에 가깝게 경계를 배치하기 위해 사용될 수 있다.

한 실시예에서, 가능한 한 멀리 하나 또는 다른 소스 이미지 내의 물체 윤곽선을 따라가는 사전분할 경계가 결정된다. 도메인 S₀ 및 S₁ 상에 부분적으로 겹친 이미지 I₀(r) 및 I₁(r)이 주어지면, 블렌딩된 이미지 쌍에 대한 타겟 도메인은 T = S₀∪S₁이다. 상기 방법이 적용되는 제1 소스 영역 S'₀⊂S₀ 및 S'₁⊂S₁이 정의되는데, 이것은 상호 배타적(S'₀∩S₁=φ) 및 포괄적(T=S'₀∪S'₁)이다. 이때, S'₀ 및 S'₁의 공통 경계는, 예를 들어 임의의 적합한 대비 종속 범함수를 최소화함으로써 구성될 수 있다. 이것은, 예를 들어 상술된 그래프 컷 방법을 사용하여 계산될 수 있다. 예를 들어, 도 5c는 전형적인 결과를 도시한 것이다. 도 5a는 제1 소스 이미지를 도시한 것이고, 도 5b는 제2 소스 이미지를 도시한 것이다. 도 5c는 상술된 것과 같은 그래프 컷 방법에 의해 이들 2개의 이미지를 블렌딩한 결과를 도시한 것이다. 합성 이미지 내에 현저한 불일치 이음매가 있기 때문에 결과는 나쁘다. "양측" 포아송 블렌딩이 2개의 소스 이미지들 사이의 겹치는 영역에 적용되면, 물체 윤곽선의 변색 및 희미해짐이 도 5d에 도시된 바와 같이 발생한다.

우리는 아래에 나타낸 바와 같이 우리의 범함수 E(u)의 "양측" 형태를 사용함으로써 이들 문제를 처리한다:

가중치 ws₀ 및 ws₁은 앞에서와 같이 정의되지만, 이제는 그들 각각의 이미지 도메인 상에서 정의된다. 그 다음, 이 방법은 u(r), r∈T의 연속성, 및 경계 조건

을 가정하여, u에 관해 E(u)를 최소화하는 단계를 포함한다.

그 결과는 도 5e에 도시된 바와 같이, 전경 및 배경 색을 충실하게 보존한다.

범함수 E(u)의 명세는, 이 범함수의 최소화가 임의의 적합한 공지된 방법을 사용하여 이산 픽셀 어레이 상에서 수치적으로 실행될 수 있다는 점에 주의해야 되긴 하지만, 명확성을 위해, 위에서 연속 도메인에서 제공되었다. 예를 들어, 변화도의 유한 차분 근사법은 다음과 같이 단측 및 양측 방법의 분리된 형태를 제공한다:

여기에서, p∈Ω은 E에 대한 도메인 내의 픽셀의 인덱스이고, N은 Ω 내의 이웃하는 픽셀 쌍의 집합이다. 단측의 경우에, v_p는 단순히 I_S의 픽셀이고, v_pq=v_p-v_q이다. 양측의 경우에, 도메인은 S₀∪S₁로서 분할되고, 픽셀은 도메인 S₀ 또는 S₁ 내에 놓이므로, v_p는 그에 상응하여 I₀ 또는 I₁의 픽셀이다. 이와 유사하게, 변화도 v_pq는 I₀ 또는 I₁ 상에서 계산되고, 유일한 문제는 pq가 분할 경계에 걸쳐있는 경우에 v_pq 및 w_pq를 정의하는 방법이다. 그러한 경우에, 우리는 2개의 이미지 상에서의 대비｜I_p-I_q｜를 평가하고, 더 높은 대비를 갖는 이미지를 사용하여, v_pq 및 w_pq를 정의한다. 각각의 u_p에 관한 바로 위의 방정식의 미분화는 동시 1차 방정식의 시스템에 최적조건을 제공하는데, 이것은 희박하다:

우리의 결과는 약 30,000 픽셀의 대역 상에서 통상적으로 몇 초 내에 실행되 는 희박한 가우스 소거법(MATLAB mldivider)에 의해 얻어진다. 더욱 큰 효율을 위해, 다중격자 SOR법(successive over-relaxation)이 본 분야에 공지된 바와 같이 사용될 수 있다. 주의할 점은 SOR법으로, 변화도 파라미터 λ=λ₀의 소정 값에 대한 방법을 계산하는 것과 유사한(실제로 조금 적은) 계산 비용으로, 우리는 값의 전체 범위 0≤λ≤λ₀에 대한 결과를 얻을 수 있다는 것이다. 이것은 SOR의 진행에 따라 점차 λ를 증가시킴으로써 달성된다. 그것은 사용자가 실시간으로 λ에 대한 그래픽 사용자 인터페이스 슬라이더를 조작처리 할 수 있게 하기 때문에 중요하다.

'컴퓨터'라는 용어는 여기에서, 명령어를 처리할 수 있을 정도의 처리 능력을 갖는 임의의 장치를 나타내기 위해 사용된다. 본 분야에 숙련된 기술자들은 그러한 처리 능력이 다수의 상이한 장치 내로 포함되므로, '컴퓨터'라는 용어가 PC, 서버, 이동 전화기, PDA(personal digital assistant) 및 다수의 기타 장치를 포함한다는 것을 알 수 있을 것이다.

본 예가 이미지 블렌딩 시스템 내에서 구현되는 것으로 여기에서 설명되고 도시되었지만, 설명된 시스템은 예시적으로 제공된 것이고, 제한적인 것이 아니다. 본 분야에 숙련된 기술자들이 알 수 있는 바와 같이, 본 예는 각종 상이한 유형의 이미지 처리 시스템에서의 애플리케이션에 적합하다.

본 분야에 숙련된 기술자들은 프로그램 명령어를 저장하기 위해 이용된 저장 장치가 네트워크를 통해 분산될 수 있다는 것을 알 수 있을 것이다. 예를 들어, 원격 컴퓨터는 소프트웨어로서 설명된 프로세스의 예를 저장할 수 있다. 로컬 또 는 단말기 컴퓨터는 원격 컴퓨터를 액세스하여, 프로그램을 실행하기 위한 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 대안적으로, 로컬 컴퓨터는 필요한 소프트웨어의 일부를 다운로드할 수 있고, 또는 로컬 단말기에서 일부 소프트웨어 명령어를 실행하고 원격 컴퓨터(또는 컴퓨터 네트워크)에서 일부를 실행할 수 있다. 본 분야에 숙련된 기술자들은 또한, 본 분야에 숙련된 기술자들에게 공지된 종래의 기술을 이용함으로써, 소프트웨어 명령어의 전부 또는 일부가 DSP, 프로그램가능 로직 어레이 등과 같은 전용 회로에 의해 실행될 수 있다는 것을 알 수 있을 것이다.

여기에서 설명된 방법은 저장 매체 상의 기계 판독가능 형태의 소프트웨어에 의해 실행될 수 있다. 이것은 소프트웨어가 가치있고 따로 매매가능한 상품일 수 있다는 것을 인정한다. 원하는 기능을 실행하기 위해 "덤(dumb)" 또는 표준 하드웨어 상에서 실행되거나 그러한 하드웨어를 제어하는 소프트웨어가 포함될 수 있다(따라서, 소프트웨어는 본질적으로 이미지 블렌더의 기능을 정의하므로, 표준 하드웨어와 결합되기 전이라도 이미지 블렌더로 칭해질 수 있다). 비슷한 이유로, 또한, 원하는 기능을 실행하기 위해, 실리콘 칩의 설계 또는 범용 프로그램가능 칩의 구성에 사용되는 HDL(hardware description language) 소프트웨어와 같이 하드웨어의 구성을 "설명하는" 또는 정의하는 소프트웨어가 포함될 수 있다.

여기에서 주어진 임의의 범위 또는 장치 값은 숙련된 기술자에게 명백해지는 바와 같이, 찾아낸 효과를 손실하지 않고서 확장되거나 변경될 수 있다.

양호한 실시예의 상기 설명은 단지 예시적으로 제공된 것이고, 본 분야에 숙 련된 기술자들에 의해 다양한 변경이 이루어질 수 있다는 것이 이해될 것이다. 상기 명세, 예 및 데이터는 본 발명의 예시적인 실시예의 구조 및 사용의 완전한 설명을 제공한다. 본 발명의 다양한 실시예가 어느 정도의 특수성을 갖고 또는 하나 이상의 개별 실시예와 관련하여 상술되었지만, 본 분야에 숙련된 기술자들은 본 발명의 정신 또는 범위를 벗어나지 않고서 개시된 실시예에 대해 많은 변경을 할 수 있다.

Claims (20)

1. 구성 이미지(constructed image)를 형성하기 위해 제1 이미지 및 제2 이미지를 블렌딩(blending)하는 방법에 있어서,

   (i) 구성 이미지를 형성하기 위해 제1 이미지의 적어도 일부와 제2 이미지의 적어도 일부를 결합하는 단계;

   (ii) 상기 제1 이미지로부터 형성된 구성 이미지 내의 영역과 상기 제2 이미지로부터 형성된 구성 이미지 내의 영역 사이에 있는 구성 이미지 내의 경계를 식별하는 단계; 및

   (iii) 상기 제1 및 제2 이미지들 중의 어느 한 이미지의 적어도 일부의 변화도(gradient)에 기초하여 상기 구성 이미지를 변경하는 단계

   를 포함하고,

   (iv) 상기 변경은 또한 색 보존 항(color preservation term), 및 상기 제1 및 제2 이미지들 중의 적어도 한 이미지 내의 대비도(degree of contrast) 표시 중의 하나 이상에 기초하여 실행되는 블렌딩 방법.
2. 제1항에 있어서, 상기 제1 이미지의 적어도 일부는 상기 구성 이미지를 형성하기 위해 상기 제2 이미지 상으로 복제되고, 상기 구성 이미지를 변경하는 단계는 상기 제1 이미지로부터 복제된 상기 구성 이미지의 일부만을 변경하는 단계를 포함하는 방법.
3. 제1항에 있어서, 상기 제1 이미지는 소스 이미지이고, 상기 제2 이미지는 소스 이미지이며, 그들 소스 이미지들은 합성 이미지를 형성하기 위해 함께 블렌딩되는 방법.
4. 제1항에 있어서, 상기 변경은 경계 조건들을 가정한 범함수

   

   의 최소화와 거의 동등하며 여기서, u는 상기 구성 이미지를 나타내고, I_S는 소스 이미지를 나타내며, λ는 가중 파라미터인 방법.
5. 제1항에 있어서, 상기 색 보존 항은 상기 제1 이미지와 상기 제2 이미지 사이의 블렌딩 정도를 제어하는 사용에서 효과가 있는 방법.
6. 제1항에 있어서, 가중 파라미터는 상기 색 보존 항에 기초한 변경과 상기 변화도에 기초한 변경 사이의 트레이드 오프(trade off)를 제어하기 위해 사용되는 방법.
7. 제6항에 있어서, 상기 가중 파라미터에 대한 값을 지정하는 사용자 입력을 수신하는 단계를 더 포함하는 방법.
8. 제7항에 있어서, 상기 가중 파라미터에 대한 값들의 순서화된 시퀀스를 지정하는 사용자 입력을 수신하는 단계를 더 포함하는 방법.
9. 제8항에 있어서,

   (i) 상기 가중 파라미터에 대한 값들의 순서화된 시퀀스에 기초하여 상기 구성 이미지를 다시 계산하는 단계; 및

   (ii) 실시간으로 표시하기 위해 상기 다시 계산된 구성 이미지들을 출력하는 단계

   를 더 포함하는 방법.
10. 제8항에 있어서, 상기 사용자 입력은 슬라이딩 그래픽 입력 도구를 포함하는 그래픽 사용자 인터페이스를 통해 수신되는 방법.
11. 제1항에 있어서, 상기 소스 이미지 내의 대비도 표시는 테두리들(edges)의 부재를 검출하는 작용을 하여, 사용시에, 상기 변경이 상기 구성 이미지 내의 테두리들의 부재를 유지하도록 되어 있는 방법.
12. 제1항에 있어서, 상기 대비도 표시에 기초한 변경은 취약성(fragility) 항을 사용하는 단계를 포함하는 방법.
13. 제1항에 있어서, 상기 경계는 사용자 입력의 결과로서 식별되는 방법.
14. 제1항에 있어서, 상기 경계는 자동 분할 계산의 결과로서 식별되는 방법.
15. 제14항에 있어서, 상기 자동 분할 계산은 그래프 컷(graph cut) 방법을 포함하는 방법.
16. 제3항에 있어서, 상기 소스 이미지들은 부분적으로 겹쳐지도록 배열되고, 상기 경계는 그들 이미지들 사이의 겹쳐진 영역 내에 있는 방법.
17. 제4항에 있어서, 상기 최소화는 변화도들의 유한 차분 근사법에 기초한 수치 해법을 사용하여 실행되는 방법.
18. 컴퓨터 판독가능 매체 상에 저장되어 있고, 제1항의 방법을 실행하도록 되어 있는 컴퓨터 프로그램.
19. 구성 이미지를 형성하기 위해 제1 이미지 및 제2 이미지를 블렌딩하는 장치에 있어서,

    (i) 구성 이미지를 형성하기 위해 제1 이미지의 적어도 일부와 제2 이미지의 적어도 일부를 결합하도록 되어 있는 이미지 결합기;

    (ii) 상기 제1 이미지로부터 형성된 구성 이미지 내의 영역과 상기 제2 이미지로부터 형성된 구성 이미지 내의 영역 사이에 있는 구성 이미지 내의 경계를 식별하도록 되어 있는 프로세서; 및

    (iii) 상기 제1 및 제2 이미지들 중의 어느 한 이미지의 적어도 일부의 변화도에 기초하여 상기 구성 이미지를 변경하도록 되어 있는 이미지 프로세서

    를 포함하고,

    상기 이미지 프로세서는 또한, 색 보존 항, 및 상기 제1 및 제2 이미지들 중의 적어도 한 이미지 내의 대비도 표시 중의 하나 이상에 기초하여 상기 구성 이미지를 변경하도록 되어 있는 장치.
20. 제19항에 있어서, 상기 프로세서는 상기 경계를 식별하는 사용자 입력을 수신하도록 되어 있는 장치.

Images