KR20060080872A - 이미지 모자이크 처리 방법 및 디바이스 - Google Patents

Abstract

본 발명은, 소스 이미지의 적어도 2개가 중첩되는 겹침 지역을 나타내는 잡음 소스 이미지의 모자이크를 처리하는 방법 및 디바이스에 관한 것이다.

본 발명에 따라, 상기 방법은, 상기 겹침 지역과, 소위 비-겹침 지역이라 불리는, 소스 이미지가 중첩되지 않는 지역 사이에 잡음에서의 편차를 적어도 부분적으로 보상하도록 상기 겹침 지역에서 무작위 잡음(35)을 생성하는 단계를 포함한다.

Description

이미지 모자이크 처리 방법 및 디바이스{METHOD AND DEVICE FOR PROCESSING A MOSAIC OF IMAGES}

도 1은 종래 기술에 따라 도 2의 모자이크를 생성하는데 사용된 4개의 소스 이미지를 도시한 도면.

도 2는, 도 1의 4개의 소스 이미지에 기초하여 종래 기술에 따라 생성된 모자이크를 도시하고, 겹침 지역 및 비-겹침 지역을 식별하는 도면.

도 3은 모자이크의 시각적 렌디션을 개선시키기 위해, 본 발명에 따른 이미지 처리 방법을 도시한 도면.

도 4는 겹침 지역에서 2개의 이미지를 혼합할 동안 사용된 가중치 함수를 도시한 도면.

도 5는 모자이크의 시각적 렌디션을 개선시키기 위해 본 발명에 따른 이미지 처리 디바이스를 도시한 도면.

<도면 주요 부분에 대한 부호의 설명>

50: 디바이스 51: 입출력 인터페이스

52: 메모리 53: 처리 유닛

54: 디스플레이 디바이스

본 발명은 이미지의 모자이크를 처리하고 이들 모자이크의 시각적 렌디션(visual rendition)을 개선시키는 방법 및 디바이스에 관한 것이다.

이미지의 모자이크라 불리는, 더 큰 이미지를 생성하기 위한 소스 이미지의 조합은 잘 알려진 이미지 처리 기술이다. 이러한 기술은 특히 우주 사진 또는 항공 사진 분야에 사용된다. 이 기술은 또한 멀티미디어 분야(예를 들어 파노라마 촬영의 생성을 위한) 또는 실제로 여러 프로젝터를 이용하는 대형 스크린 비디오 프로젝션 분야에 사용된다. 대형 스크린 비디오 프로젝션의 예에서, 소스 이미지의 크기는 프로젝터의 프로젝션 성능에 적응된다. 그러므로, 이러한 작은 이미지는 스크린 상에 대형 이미지를 디스플레이하도록 조합된다. 여러 소형 프로젝터의 이용은 특히 하드웨어의 비용을 감소시킬 수 있다.

종래 기술에 따라, 이들 이미지의 모자이크를 생성하는데 사용된 기술은 소스 이미지의 사전 왜곡의 제 1 선택 단계를 포함한다. 이러한 단계의 목적은 모든 소스 이미지를 동일한 기하학적 공간으로 이동시키는 것이다. 모자이크를 생성하는 방법의 제 2 단계는 이미지의 겹치는 부분을 혼합하는 것이다. 모자이크를 생성하기 위해, 또한 겹침 없는 병치(juxtaposition) 기술을 이용할 수 있지만, 본 발명은 이러한 기술에 관련되지 않는다.

도 1은 4개의 소스 이미지(I₁, I₂, I₃ 및 I₄)를 도시한다. 각 이미지는 2개의 성분, 즉 소스 이미지 신호(S)와 소스 잡음(n_s)의 합이다. 도 2에 도시된 모자이크는 이들 이미지로부터 생성된다. 도 2는 다양한 지역을 묘사한다. 제 1 지역(20)은 4개의 소스 이미지가 겹치는 중심 겹침 지역이다. 지역(21, 22, 23 및 24)은 2개의 이미지가 겹치는 지역에 대응한다. 따라서, 지역(21)은 이미지(I₁ 및 I₂)의 겹침 지역에 대응한다. 지역(22)은 이미지(I₂ 및 I₄)의 겹침 지역에 대응한다. 지역(23)은 이미지(I₃ 및 I₄)의 겹침 지역에 대응한다. 마지막으로, 지역(24)은 이미지(I₁ 및 I₃)의 겹침 지역에 대응한다. 지역(25, 26, 27, 28)은 겹치지 않는 소스 이미지의 부분에 대응한다. 겹침 지역에서, 소스 이미지를 혼합하는 가장 간단한 기술은, 2개의 이미지가 혼합될 때{지역(21, 22, 23, 24)}, 겹침 지역에서 2개의 소스 이미지의 합의 절반을 계산하는 것이다. 동일한 방식으로, 4개의 이미지가 혼합될 때{지역(20)}, 가장 간단한 기술은 겹침 지역에서 4개의 소스 이미지의 산술 평균을 계산하는 것이다.

일반적인 방식으로, 겹침 지역(20, 21, 22, 23, 24)에서의 소스 이미지를 혼합할 때, 2가지 양상, 즉 소스 이미지 신호(S) 및 소스 잡음(n_s)이 고려된다. 따라서, 이미지(I₁)에서 좌표(x 및 y)를 갖는 픽셀과 연관된 회색도는

이며,

여기서 c는 고려된 칼라 성분(즉, 청색, 녹색 또는 적색)이다.

겹침 지역(21)에서, 결과적인 평균 이미지(I_m)는 I₁ 과 I₂의 합의 절반이며, 따라서,

여기서 S_m(x,y,c)는 칼라 성분(c)에 대한 좌표(x,y)를 갖는 픽셀과 연관된 평균 이미지 신호이고,

여기서 n_m(x,y,c)는 칼라 성분(c)에 대한 좌표(x,y)를 갖는 픽셀과 연관된 평균 잡음이다.

이러한 기술을 통해, 이미지 신호(S₁ 및 S₂)의 평균, 즉

이 정확히 계산된다. 이미지가 독립적이므로 잡음이 상관되지 않으면, 잡음의 합은 이차 방정식이다. 이것은,

인 경우

와 같은 인자로 나누기 때문에, 즉

이기 때문에, 합산된 잡음의 진폭이 더 이상 정확하지 않다는 것을 의미한다.

동일한 방식으로, 4개의 이미지(I₁, I₂, I₃, I₄)가 겹치는 지역(20)을 고려하면, 결과적인 평균 이미지(I_m)는 다음과 같다:

이 경우에, 또한 이미지 신호(S₁, S₂, S₃, S₄)의 평균이 정확히 계산된다. 그 러나, 잡음의 진폭은 또한 정확하지 않은데, 이는

인 경우 2와 같은 인자로 나누어지기 때문이다.

그러므로, 겹침 지역에 걸쳐 감쇠되는 잡음의 진폭은 이들 지역(20, 21, 22, 23, 24)에 걸쳐 매끄러운 외형을 초래하여, 소스 이미지가 완전하지 않고 전혀 잡음이 없는 경우 이들 지역을 볼 수 있게 한다. 이러한 감쇠 현상은, 다음에 잡음이 디스플레이된 정보의 주된 성분이 되는 균일한 이미지 지역에서, 그리고 잡음의 시간 정보를 고려하여 비디오에서 인간의 눈에 더욱 더 인식가능하게 된다.

상기 감쇠 현상은 4개의 소스 이미지가 중첩될 때{지역(20)} 더 현저해진다. 그런 후에, 잡음의 진폭은 2로 나누어져서, 소스 이미지와의 차이를 한층 더 볼 수 있게 한다.

따라서, 겹침 지역에서의 소스 이미지의 혼합에 의해 야기된 본질적인 문제는, 잡음의 감쇠 인자가 고려된 지역에 따라 좌우되기 때문에 모자이크의 렌디션(rendition)이 균일하지 않다는 것이다.

본 발명의 목적은 이러한 종래 기술의 단점을 완화시키는 것이다. 더 구체적으로, 본 발명의 목적은 이미지의 모자이크를 균일하게 함으로써 이미지의 모자이크의 렌디션을 개선시키는 것이다.

이러한 목적을 위해, 본 발명은, 소스 이미지의 적어도 2개가 중첩되는 겹침 지역을 나타내는 잡음 소스 이미지의 모자이크를 처리하는 방법을 제안한다. 본 발 명에 따라, 상기 방법은, 소위 비-겹침 지역이라 불리는, 소스 이미지가 중첩되지 않는 지역과 겹침 지역 사이에 잡음에서의 편차를 적어도 부분적으로 보상하도록 겹침 지역에서의 무작위 잡음을 생성하는 단계를 포함한다.

본 발명의 특징에 따라, 겹침 지역에서, 소스 이미지는 혼합될 소스 이미지 사이에 가중된 합을 달성함으로써 혼합된다.

특정한 특징에 따라, 겹침 지역에 이용된 가중치 함수는, 겹침 지역에서 공간적으로 멀리 이동할 때 혼합된 이미지 중 하나의 비율을 감소시키도록 겹침 지역에서 선형적으로 변한다. 유리하게, 생성된 무작위 잡음은, 비-겹침 지역에서의 잡음의 파라미터 및 겹침 지역에서의 잡음의 파라미터에 기초하여 추정된 통계 파라미터를 갖는 잡음이다.

특정한 특징에 따라, 추정된 파라미터 중 하나는 잡음의 표준 편차이다.

바람직하게, 비-겹침 지역에서의 잡음의 파라미터는 소스 이미지의 균일한 지역에 걸쳐 국부적으로 추정된다.

본 발명은, 또한 소스 이미지 중 적어도 2개가 중첩되는 겹침 지역을 나타내는 잡음 소스 이미지의 모자이크를 처리하는 디바이스에 관한 것이다. 본 발명에 따라, 상기 디바이스는 모자이크를 생성하는 수단을 포함하고, 더욱이,

- 소위 비-겹침 지역이라 불리는, 소스 이미지가 중첩되지 않는 지역, 및 겹침 지역에서 무작위 잡음의 통계 파라미터를 추정하는 수단과;

- 통계 파라미터에 기초하여 겹침 지역에서 무작위 잡음을 생성하는 수단을 포함한다.

본 발명은 첨부 도면을 참조하여 한정되지 않는 방식으로 유리한 예시적인 실시예 및 구현 방법에 의해 예시되며 더 잘 이해될 것이다.

이미지 모자이크의 시각적 렌디션을 더 균일하게 하기 위해, 본 발명은, 소스 잡음(n_s)이 감쇠되는 바로 그 곳에서, 즉 겹침 지역에서 보정 잡음을 생성하는 것이다. 생성된 잡음은, 이들 지역에서 소스 이미지의 혼합에 의해 야기된 소스 이미지 감쇠 뿐 아니라 소스 잡음의 특성에 따라 좌우된다.

이를 위해, 본 발명은, 제 1 단계 동안 초기 모자이크를 생성한 후에, 제 2 단계 동안, 예를 들어 표준 편차와 같은 특징 파라미터를 추정하도록 소스 이미지에 존재하는 소스 잡음(n_s)을 분석하는 것이다. 제 3 단계에서, 겹침 지역에 존재하는 평균 잡음(n_m)의 동일한 특징 파라미터가 추정된다. 제 4 단계에서, 이전에 추정된 파라미터는 보정 잡음의 특징 파라미터를 추정하는데 사용된다. 제 5 단계에서, 이들 추정된 파라미터는, 소스 잡음이 감쇠되는 바로 그 곳, 즉 겹침 지역에서 보정 잡음을 생성하는데 사용된다. 마지막으로, 최종 단계 동안, 보정 잡음은 겹침 지역에서 초기 모자이크에 추가되어, 최종 모자이크의 공간 특성을 균일하게 만들고 소스 이미지에 대응하는 비-겹침 지역과 평균 이미지에 대응하는 다양한 겹침 지역 사이에 백분율 단위의 편차를 감소시키게 된다.

본 발명에 따른 방법은 도 3에 의해 예시된다. 상기 방법은 도 3에서 참조 번호(31 내지 36)를 갖는 6개의 단계를 포함한다. 도 3에서, 표현된 모듈은 기능 유닛이고, 이러한 기능 유닛은 물리적으로 구별가능한 유닛에 대응하거나 대응하지 않을 수 있다. 예를 들어, 이들 모듈 또는 이들 모듈 중 몇몇은 단일 요소로 함께 그룹화될 수 있거나, 소프트웨어의 동일한 부분의 기능을 구성한다. 다른 한 편으로, 특정 모듈은 가능하면 별도의 물리적 개체(entity)로 구성될 수 있다.

본 발명에 따라, 제 1 단계(31)는 소스 이미지(30)에 기초하여 초기 모자이크로 불리는 모자이크를 생성하는 것이다. 이 단계 동안, 모자이크의 겹침 지역이 또한 식별된다. 이들 겹침 지역에서, 소스 이미지의 혼합은 혼합될 이미지의 가중된 합을 통해 달성된다. 예를 들어, 그로부터 공간적으로 멀리 이동할 때 이미지 중 하나의 비율을 감소시킬 수 있다. 따라서, 겹침 지역(21)에서, 겹침 지역의 좌측부에 있는 이미지(I₁) 및 겹침 지역의 우측부에 있는 이미지(I₂)를 고려하는 방식으로, 좌측으로부터 우측으로 선형적으로 변하는 이미지(I₁ 및 I₂) 사이에 가중치를 가질 수 있다. 그 결과, 겹침 지역(21)에 놓인 픽셀은 값으로서 I_m(x,y,c)=α(x)I₁(x,y,c)+(1-α(x))I₂(x,y,c)를 갖는데, 여기서 α(x)는 도 4에 도시된 40과 같은 가중치 함수이다. 도 4에서, X₀ 및 X₁은 겹침 지역(21)의 경계에 위치한 픽셀의 횡좌표의 값이다. 따라서, 함수(α(x))는, x=X₀인 경우, 즉 겹침 지역의 좌측 경계에 위치한 픽셀에 대해 1의 값을 취하고, x=X₁인 경우, 즉 겹침 지역의 우측 경계에 위치한 픽셀에 대해 0의 값을 취한다.

마찬가지로, 겹침 지역(24)에서, 겹침 지역의 상부에 있는 이미지(I₁) 및 겹 침 지역의 하부에 있는 이미지(I₃)를 더 고려하는 방식으로 위에서 아래로 선형적으로 변하는 이미지(I₁ 및 I₃) 사이에 가중치를 가질 수 있다. 전술한 함수와 동일한 유형의 함수가 사용될 수 있다.

제 2 단계(32) 동안, 소스 잡음(n_s)의 분석은 통계 이미지 처리 툴을 통해 수행된다. 가장 간단한 접근법은 저역 통과 필터를 통해 소스 이미지(30)의 국부 평균을 추정하는 것이다. 그 다음에 이러한 평균은 고주파수를 국부적으로 추출하도록 소스 이미지로부터 감산된다. 제 1 근사치로서, 이들 고주파수는 소스 잡음(n_s)으로서 간주된다. 그러므로, 이들 고주파수에 기초하여, 소스 잡음(n_s)의 국부 통계 특성을 추정한다. 예를 들어, 3개의 기본 칼라(녹색, 청색 및 적색) 각각에 대한 소스 잡음의 표준 편차(

)를 추정한다. 표준 편차의 이러한 추정은 소스 이미지의 균일한 지역 또는 그렇지 않으면 평균 기울기가 추정될 수 있는 지역에 걸쳐 국부적으로 수행된다. 특히, 잡음을 적절히 추정하기 위해, 이미지 지역상의 관점(standpoint)을 채택할 필요가 있는데, 이 때문에, 잡음만을 추정하기 위해 유용한 신호(S)를 불필요하게 하는 것이 가능하다.

본 발명의 변형에 따라, 소스 잡음의 공간 및/또는 시간 특성을 고려하는 더 복잡한 잡음 모델(예를 들어, 자동-회귀 모델)을 이용할 수 있을 것이다.

제 3 단계(33)는 평균 잡음(n_m)을 추정하는 것이며, 표준 편차(

)는 소스 이미지의 혼합으로부터 초래된다. 상기 표준 편차(

)는 표준 편차(

)의 추정된 소스 잡음에 기초하여, 그리고 겹침 지역에서의 이미지 사이의 혼합이 단계(31)에서 모자이크의 생성 동안 수행되는 방식(예를 들어 가중된 합)을 고려하여 계산된다. 또한, 단계(32)에서 추정된

와 동일한 방식으로 겹침 지역의 균일한 지역에 기초하여

을 추정할 수 있다.

제 4 단계(34)는, 단계(32)에서 추정된 소스 잡음의 통계 특성(예를 들어,

)을 고려함으로써, 그리고 단계(33)에서 추정된 평균 잡음의 통계 특성(예를 들어,

)을 고려함으로써 무작위 보정 잡음의 특성 파라미터(n_c)를 추정하는 것이다. 고려된 유리한 통계 파라미터가 표준 편차인 간단한 경우에, 추정된 평균 잡음의 표준 편차(

)와 최종 잡음의 표준 편차(σ_f) 사이의 상보 표준 편차인 것으로 합성 잡음(n_c)의 표준 편차를 추정한다. 모자이크의 시각적 렌디션을 균일하게 하기 위해, 최종 잡음을 추정된 소스 잡음과 동일하게 할 필요가 있다. 그러므로, 표준 편차(σ_f)는 추정된 소스 잡음의 표준 편차(

)와 동일하다. 더욱이, 생성된 이미지가 보정 잡음(n_c)의 이미지라고 주어지면, 최종 이미지는 평균 이미지와 생성된 이미지의 합으로부터 초래된다. 이것은 다음 관계식,

에 의해 표준 편차 레벨에서 나타난다. 따라서, 생성될 보정 잡음(n_c)의 표준 편차(

)는

이다. 이러한 연산은 각 칼라에 대해 수행되어야 한다. 이러한 연산은 국부적으로 수행될 수 있다.

제 5 단계(35)는 겹침 지역에 걸쳐 표준 편차(

)의 잡음(n_c)을 생성하는 것이다.

최종 단계(36)는 최종 모자이크(37)를 생성하는 것이다. 이를 위해, 표준 편차(

)의 보정 잡음(n_c)은 더 균일한 시각적 외형의 보정된 모자이크를 얻기 위해 겹침 지역에서의 초기 모자이크에 추가된다. 비-겹침 지역(25, 26, 27, 28)에서, 최종 모자이크는 고려된 지역에 대응하는 초기 이미지의 지역과 동일하다. 따라서, 최종 이미지의 지역(25)은 이미지(I₁)의 부분에 대응한다.

더 구체적으로, 보정된 모자이크의 좌표(x,y)를 갖는 픽셀은 다음과 같은 값을 취한다:

픽셀이 지역(25)에 놓인 경우 I₁(x,y,c);

픽셀이 지역(26)에 놓인 경우 I₂(x,y,c);

픽셀이 지역(27)에 놓인 경우 I₄(x,y,c);

픽셀이 지역(28)에 놓인 경우 I₃(x,y,c); 또는

픽셀이 겹침 지역(20 내지 24) 중 임의의 하나에 놓인 경우 I_m(x,y,c)+n_c(x,y,c).

모자이크의 시각적 렌디션을 균일하게 하는 것 외에, 이 단계의 장점 중 하 나는 겹침 지역에 걸쳐 매끄러운 외형을 감소시키는 것이다.

본 발명은 또한 전술한 방법을 구현하기 위한 디바이스(50)에 관한 것이다. 디바이스의 본질적인 요소만이 도 5에 도시된다. 본 발명에 따른 디바이스는 모자이크의 보정을 위해 다양한 잡음의 특성의 추정된 값이 저장되는 특히 메모리(52)를 포함한다. 상기 디바이스는, 또한 처리 프로그램, 특히 잡음 파라미터를 추정하기 위한 프로그램을 포함하는 마이크로프로세서 등과 같은 처리 유닛(53)을 포함한다. 처리 유닛은 또한 추정된 파라미터에 기초하여 메모리(52)에 저장된 잡음을 생성하기 위한 함수를 포함한다. 더욱이, 상기 디바이스는 입력 비디오 신호, 및 특히 모자이크를 구성하기 위한 소스 이미지를 수신하기 위한 입/출력 인터페이스(51)를 포함한다. 인터페이스는 또한 본 발명의 방법에 따라 처리된 비디오 신호, 즉 최종 모자이크를 디스플레이 디바이스(54)로 송신할 수 있게 한다.

상술한 바와 같이, 본 발명은 이미지의 모자이크를 균일하게 함으로써 이미지의 모자이크의 렌디션을 개선시키는 것 등에 효과적이다.

Claims (8)

1. 겹침 지역(overlap zone)(20, 21, 22, 23, 24)을 나타내는 잡음 소스 이미지(11, 12, 13, 14)의 모자이크를 처리하는 방법으로서, 여기서 상기 소스 이미지의 적어도 2개는 중첩되는, 잡음 소스 이미지의 모자이크 처리 방법에 있어서,

   소위 비-겹침(non-overlap zone) 지역이라 불리는, 상기 소스 이미지가 중첩되는 지역과 상기 겹침 지역 사이에 잡음에서의 편차를 적어도 부분적으로 보상하도록 상기 겹침 지역에서 무작위 잡음(35)을 생성하는 단계를 포함하는 것을 특징으로 하는, 잡음 소스 이미지의 모자이크 처리 방법.
2. 제 1항에 있어서, 상기 겹침 지역에서, 상기 소스 이미지는 혼합될 소스 이미지 사이에 가중된 합을 달성함으로써 혼합되는 것을 특징으로 하는, 잡음 소스 이미지의 모자이크 처리 방법.
3. 제 2항에 있어서, 겹침 지역에 이용된 상기 가중치 함수는, 상기 겹침 지역으로부터 공간적으로 멀리 떨어질 때 상기 혼합된 이미지 중 하나의 비율을 감소시키도록 상기 겹침 지역에서 선형적으로 변하는 것을 특징으로 하는, 잡음 소스 이미지의 모자이크 처리 방법.
4. 제 1항에 있어서, 생성된 상기 무작위 잡음은, 상기 비-겹침 지역에서의 잡 음 파라미터 및 상기 겹침 지역에서의 잡음 파라미터에 기초하여 측정되는 것을 특징으로 하는, 잡음 소스 이미지의 모자이크 처리 방법.
5. 제 4항에 있어서, 추정된 상기 파라미터 중 하나는 상기 잡음의 표준 편차인 것을 특징으로 하는, 잡음 소스 이미지의 모자이크 처리 방법.
6. 제 4항 또는 제 5항에 있어서, 상기 비-겹침 지역에서의 잡음 파라미터는 상기 소스 이미지의 균일한 지역에 걸쳐 국부적으로 추정되는 것을 특징으로 하는, 잡음 소스 이미지의 모자이크 처리 방법.
7. 상기 소스 이미지 중 적어도 2개가 중첩되는 겹침 지역(20, 21, 22, 23, 24)을 나타내는 잡음 소스 이미지(11, 12, 13, 14)의 모자이크를 처리하는 디바이스로서, 상기 모자이크(53)를 생성하는 수단을 포함하는, 잡음 소스 이미지의 모자이크를 처리하는 디바이스에 있어서,

   - 비-겹침 지역이라 불리는, 상기 소스 이미지가 중첩되지 않는 지역과, 상기 겹침 지역에서 무작위 잡음(52,53)의 통계 파라미터를 추정하는 수단과;

   - 통계 파라미터에 기초하여 상기 겹침 지역에서 무작위 잡음(52, 53)을 생성하는 수단을

   더 포함하는 것을 특징으로 하는, 잡음 소스 이미지의 모자이크를 처리하는 디바이스.
8. 제 7항에 있어서, 제 1항 내지 제 6항 중 어느 한 항에 기재된 방법을 구현하는데 사용되는 것을 특징으로 하는, 잡음 소스 이미지의 모자이크를 처리하는 디바이스.

Images