KR20060006068A - 세그먼트화 개선 - Google Patents

Abstract

이미지의 초기 세그먼트들의 제 1 세트(100a)를 업데이트된 세그먼트들(A´, B´, C´, D´)의 제 2 세트로 변환하는 방법이 개시된다. 이 방법은 각 초기 세그먼트들로부터 유도된 중간 세그먼트들(A, B, C, D)의 반복적인 업데이트들을 포함한다. 각 업데이트는 화소의 화소값, 제 1 중간 세그먼트(A)의 제 1 파라미터 및 제 2 중간 세그먼트(B)의 제 2 파라미터에 기초하여, 화소(300)가 제 1 중간 세그먼트(A)로부터 제 2 중간 세그먼트(B)로 이동되어야 하는지 여부를 결정하는 것을 포함한다. 반복적인 업데이트들은 블록 기반상에서 수행된다. 이는 먼저, 다수의 반복적인 업데이트들이 이미지의 화소들(200)의 제 1의 2차원 블록의 화소들에 대하여 수행되고, 그 후, 이미지의 화소들(204)의 제 2의 2차원 블록의 화소들에 대하여 다수의 반복적인 업데이트들이 수행된다는 것을 의미한다.

이미지 처리 장치, 중간 세그먼트들, 슬라이딩 윈도, 곡률 패널티, 평균 컬러값

Description

세그먼트화 개선{Segmentation refinement}

본 발명은 이미지의 초기 세그먼트들의 제 1 세트를 이미지의 업데이트된 세그먼트들의 제 2 세트로 변환하는 방법에 관한 것으로, 상기 방법은 각 초기 세그먼트들로부터 유도된 중간 세그먼트들의 반복적인 업데이트들을 포함하며, 특정 업데이트는 특정 화소의 화소값에 기초하여, 중간 세그먼트들 중 제 1 중간 세그먼트의 제 1 파라미터에 기초하여, 그리고 중간 세그먼트들 중 제 2 중간 세그먼트의 제 2 파라미터에 기초하여, 중간 세그먼트들 중 제 1 중간 세그먼트, 및 중간 세그먼트들 중 제 2 중간 세그먼트 사이의 경계에 위치되어 있는 특정 화소가 중간 세그먼트들 중 제 1 중간 세그먼트로부터 중간 세그먼트들 중 제 2 중간 세그먼트로 이동되어야하는지 여부를 결정하는 것을 포함한다.

또한, 본 발명은 이런 변환 방법을 수행하도록 배열된 변환 유닛에 관한 것이다.

또한, 본 발명은 이미지 처리 장치에 관한 것이며, 이는

- 이미지를 나타내는 신호를 수신하는 수신 수단;

- 이미지의 초기 세그먼트들의 제 1 세트를 결정하는 세그먼트화 유닛;

- 초기 세그먼트들의 제 1 세트를 업데이트된 세그먼트들의 제 2 세트로 변환하는 변환 유닛; 및

- 업데이트된 세그먼트들의 제 2 세트에 기초하여 이미지를 처리하는 이미지 처리 유닛을 포함한다.

이미지 세그먼트화는 세그먼트 기반 깊이 추정 또는 비디오 압축 같은 다른 테스크들에 빈번히 선행하는 중요한 첫 번째 단계이다. 일반적으로, 이미지 세그먼트화는 총합시 장면 내에 존재하는 물리적 대상물들에 가능한 많이 대응하게 되는, 세그먼트들, 또는 비중첩 부분들의 세트로 이미지를 분할하는 프로세스이다. 히스토그램-기반 세그먼트화, 에지-기반 세그먼트화, 영역-기반 세그먼트화, 및 혼성 세그먼트화를 포함하는 이미지 세그먼트화의 테스크에 접근하는 다양한 방식들이 있다.

서두에 기술된 유형의 방법은 본 기술에 공지되어 있다. 이 공지된 방법으로, 이미지의 초기 세그먼트들의 제 1 세트는 이미지의 업데이트된 세그먼트들의 제 2 세트로 변환된다. 이 방법은 각 개시 세그먼트들로부터 유도된 중간 세그먼트들의 반복적인 업데이트들을 포함한다. 업데이트는 제 1 중간 세그먼트와 제 2 중간 세그먼트 사이의 경계에 위치된 특정 화소가 제 1 중간 세그먼트로부터 제 2 중간 세그먼트로 이동되어야 하는지 여부를 결정하는 것을 포함한다. 이는 특정 화소의 컬러값, 제 1 중간 세그먼트의 평균 컬러값 및 제 2 중간 세그먼트의 평균 컬러값에 기초한다. 특정 화소가 제 1 중간 세그먼트로부터 제 2 중간 세그먼트로 이동되어야하는 것을 나타내는 경우, 새로운 평균 컬러값들이 새로운 중간 세그먼트들을 위해 계산된다. 후속하여, 새로운 화소가 평가되고, 선택적으로 이동된다. 이미지상에 1회 스캔의 이미지의 관련 화소들의 평가 이후, 이미지상의 평가들의 다른 스캔이 시작된다.

그러나, 공지된 방법은 화소-정밀 세그먼트화(pixel-precise segmentation)를 실현하기 위해, 완전한 이미지의 수 개의 세그먼트화 개선 반복들이 수행되어야한다는 사실이 단점이 된다. 통상적으로, 이미지상에 20회 스캔들이 이미지의 업데이트된 세그먼트들의 제 2 세트를 달성하게 된다. 따라서, 이 접근법은 메모리 액세스, 전력 소비 및 계산 노력에 의해 매우 비싸다.

본 발명의 목적은 메모리 액세스에 관하여 비교적 효율적인 서두에서 설명된 종류의 방법을 제공하는 것이다.

본 발명의 이 목적은 먼저 이미지의 화소들의 제 1의 2차원 블록의 화소들에 대하여 다수의 반복적인 업데이트들이 수행되고, 그 후, 이미지의 화소들의 제 2의 2차원 블록의 화소들에 대하여 다수의 반복적인 업데이트들이 수행되어 달성된다. 통상적으로, 화소들의 블록들의 치수들은 8*8 또는 16*16 화소들이다. 평가들은 다수의 스캔들에서 블록내의 관련 화소들에 대하여 수행된다. 이는 예로서, 고려 대상 블록내의 이들 관련 화소들이 행 단위(row-by-row)로 평가되고, 그 후, 다시, 그 블록의 관련 화소들이 평가된다는 것을 의미한다. 세그먼트들의 파라미터들은 각 평가 이후 적용된다는 것을 주의하여야 한다. 화소들의 블록의 관련 화소들이 다수의 스캔들에서 평가된 이후, 화소들의 다른 블록의 화소값들이 유사한 방식으로 평가된다. 관련 화소들은 2개 세그먼트들 사이의 경계에 위치되어 있는 그들의 화소들을 의미한다. 화소가 중간 세그먼트로부터 취해지고, 그 이웃 중간 세그먼트에 더해지는 경우, 경계가 이동한다는 것, 즉, 세그먼트의 에지가 변한다는 것을 주의하라. 따라서, 블록의 관련 화소들은 각각의 스캔들에 대하여 다르다.

본 발명에 따른 장점은 후속 블록들의 화소들을 포함하는 슬라이딩 윈도가 단지 1회만 이미지 위로 이동된다는 것이다. 이는 화소들의 블록들이 메모리 디바이스로부터 단지 1회만 액세스된다는 것을 의미한다. 통상적으로, 고려 대상 블록의 화소값들은 캐시에 임시 저장된다. 그 후, 반복들은 캐시 내의 값들에 기초하여 수행된다.

본 발명에 따른 방법의 일 실시예에서, 제 1 파라미터는 제 1 중간 세그먼트의 평균 컬러값에 대응하고, 제 2 파라미터는 제 2 중간 세그먼트의 평균 컬러값에 대응하며, 특정 화소의 화소값은 특정 화소의 컬러값을 나타낸다. 컬러는 이미지 세그먼트화를 위한 비교적 양호한 기준이다. 본 발명에 다른 이 실시예의 장점은 업데이트된 세그먼트들이 비교적 양호하게 장면내의 대상물들에 대응한다는 것이다.

본 발명에 따른 방법의 일 실시예에서, 특정 업데이트는 중간 세그먼트들 중 제 1 중간 세그먼트의 형상에 의존하는 정규화 항에 기초하며, 상기 정규화 항은 화소들의 제 1의 2차원 블록의 화소들의 제 1 그룹에 기초하여 계산된다. 달리 말해서, 정규화 항은 세그먼트들 사이의 경계선의 형상에 의존한다. 정규화 항은 불규칙 세그먼트 경계선들에 페널티를 준다. 본 발명에 따른 본 실시에의 장점은 비교적 규칙적 세그먼트 경계선들이 결정된다는 것이다. 따라서, 본 발명에 따른 본 실시예는 이미지내의 노이즈에 덜 민감하다.

본 발명에 따른 방법의 일 실시예에서, 다수의 반복적인 업데이트들의 제 1 시퀀스는 화소들의 제 1 블록내에서 행 단위 스캐닝으로 수행되고, 다수의 반복적인 업데이트들의 제 2 시퀀스는 화소들의 제 1 블록내에서 열 단위 스캐닝으로 수행된다. 달리 말해서, 스캐닝 방향들은 연속적 스캔들 사이에서 교번된다. 예로서, 먼저 수평 방향으로 스캔이 수행되고, 그 후, 수직 방향으로 수행된다. 대안적으로, 먼저 수직 방향으로의 스캔이 수행되고, 그 후 수평 방향으로 이루어진다. 선택적으로, 제 3 스캔은 제 1 스캔의 대향 방향, 예로서, 좌에서 우로 대 우에서 좌로이다. 선택적으로, 제 4 스캔은 제 2 스캔에 대향 방향, 예로서, 상에서 하로 대 하에서 상으로이다. 바람직하게는 정규화 항들의 값들은 다양한 스캔들에 대하여 다르며, 예로서, 낮은 곡률 페널티(low curvature penalty)로부터 높은 곡률 페널티로 시작한다.

본 발명에 따른 방법의 일 실시예에서, 화소들의 제 1의 2차원 블록은 화소들의 제 2의 2차원 블록에 인접하여 위치된다. 본 발명에 따른 이 실시예의 장점은 비교적 단순한 메모리 할당 체계가 달성된다는 것이다.

본 발명에 따른 방법의 일 실시예에서, 정규화 항은 화소들의 제 1의 2차원 블록의 화소들의 제 1 그룹 및 화소들의 제 2의 2차원 블록의 화소들의 제 2 그룹에 기초하여 계산된다. 또한, 화소들의 이웃하는 블록의 화소들을 고려함으로써, 보다 양호한 정규화 항이 블록의 경계에서 화소들에 대하여 계산될 수 있다.

본 발명의 다른 목적은 메모리 액세스에 관하여 비교적 효율적인 서두에 기술된 종류의 변환 유닛을 제공하는 것이다.

본 발명의 이 목적은 변환 유닛이 먼저 이미지의 화소들의 제 1의 2차원 블록의 화소들을 위한 다수의 반복적인 업데이트들을 수행하고, 그후, 이미지의 화소들의 제 2의 2차원 블록의 화소들을 위한 다수의 반복적인 업데이트들을 수행하기 위한 계산 수단을 포함하는 것으로 달성된다.

본 발명에 따른 변환 유닛의 실시예를 서두에 설명된 바와 같은 이미지 처리 장치에 적용하는 것이 유리하다. 이미지 처리 장치는 부가적인 구성 요소들, 예로서, 처리된 이미지들의 저장을 위한 저장 수단 또는 처리된 이미지들을 디스플레이하기 위한 디스플레이 디바이스를 포함할 수 있다. 이미지 처리 유닛은 이미지 처리의 후속하는 유형들 중 하나 이상을 지원할 수 있다 :

- 예로서, MPEG 표준 또는 H26L 표준에 따른 비디오 압축, 즉, 인코딩; 또는

- 종래의 모노스코픽 비디오(2D) 자료를 스테레오스코픽(3D) 텔레비전상에 표시하기 위해 3D 비디오로 변환. 이 기술에서, 비디오 시퀀스내의 두 개의 연속 이미지들로부터 깊이 맵을 유도하기 위해 움직임 방법들로부터의 구조가 사용될 수 있다; 또는

- 예를 들면, 영상-기반 제어형 로보틱스(vision-based control like robotics) 또는 보안 응용들을 위한 이미지 분석.

방법의 변형들 및 그들의 변용들은 상기된 이미지 처리 장치의, 그리고, 변환 유닛의 그 변형들 및 변용들에 대응할 수 있다.

도 1은 종래 기술에 따른 스캐닝 체계를 개략적으로 도시하는 도면.

도 2는 본 발명에 따른 스캐닝 체계를 개략적으로 도시하는 도면.

도 3은 두 개의 인접한 중간 세그먼트들의 업데이트를 개략적으로 도시하는 도면.

도 4는 화상들의 블록에 대한 후속 스캐닝 방향들을 개략적으로 도시하는 도면.

도 5는 다수의 블록들의 슬라이딩 윈도(sliding window)를 개략적으로 도시하는 도면.

도 6은 본 발명에 따른 이미지 처리 장치를 개략적으로 도시하는 도면.

도 7은 본 발명에 따른 변환 유닛의 개념에서의 다수의 구성 요소들을 개략적으로 도시하는 도면.

본 발명에 다른 방법, 변환 유닛 및 이미지 처리 장치의 이들 및 다른 양태들은 첨부 도면들을 참조로 이하에 기술된 실시예들 및 구현예들에 관련하여 명백하고 명확하게 될 것이다.

동일한 참조 부호들이 도면들 전체에 걸쳐 유사한 부분들을 나타내는데 사용된다.

2D 비디오를 3D 비디오로 변환함에서 중요한 단계는 균질한 컬러를 갖는 이미지 세그먼트들 또는 영역들의 식별, 즉 이미지 세그먼트화이다. 깊이 불연속성들이 균질 컬러 영역들의 검출된 에지들과 일치하도록 취해진다. 단일 깊이값이 각각의 컬러 영역에 대해 추정된다. 이 영역당 깊이 추정은 영역 경계선을 따른 큰 컬러 콘트라스트가 해상력(definition)마다 존재하는 장점을 갖는다. 컬러 에지 위치들의 시간적 안정성이 깊이 맵들의 최종 품질에 대해 중요하다. 에지들이 시간 경과에 따라 안정하지 않으면, 비디오가 3D 컬러 텔레비전 상에 표시될 때 성가신 깜빡임(annoying flicker)이 시청자에 의해 인지될 수 있다. 따라서, 시간-안정성 세그먼트화 방법이 2D로부터 3D 비디오로의 변환 프로세스의 제 1 단계이다. 일정 컬러 모델을 사용하는 이미지 세그먼트화는 이 바람직한 효과를 성취한다. 이 이미지 세그먼트화 방법은 이하에 더 상세히 설명된다. 이는 업데이트된 세그먼트들의 제 2 세트를 초래하는 초기 세그먼트들의 제 1 세트 및 반복적인 업데이트들에 기초한다. 달리 말하면, 세그먼트화는 초기 세그먼트들의 제 1 세트를 업데이트된 세그먼트들의 제 2 세트로의 변환이다.

일정 컬러 모델은 대상 세그먼트의 시간-변화 이미지가 평균 영역 컬러에 의해 충분한 상세로 설명될 수 있는 것으로 가정한다. 이미지는 이미지 좌표들의 벡터값 함수로 표현된다:

여기서, r(x,y), g(x,y) 및 b(x,y)는 적색, 녹색 및 청색 컬러 채널이다. 목표는 고정된 수의 세그먼트들(N)로 이루어진 세그먼트화(L)로서 칭해지는 영역 구획을 찾는 것이다. 최적 세그먼트화(L_opt)는 이미지 내의 모든 화소들에 걸친 에러 항 e(x,y) 및 정규화 항 f(x,y)의 합을 최소화하는 세그먼트화로서 정의된다:

여기서, k는 정규화 항의 중요성을 가중하는 정규화 파라미터이다. 리차드 오. 듀다(Richard O. Duda), 피터 이. 하트(Peter E. Hart) 및 데이빗 쥐. 스톡(David G. Stork)의 서적 "패턴 분류(Pattern Classification)" 페이지 548-549, 죤 와일리 앤 선스 인크(John Wiley and Sons, Inc.), 뉴욕, 2001년에서, 수식들은 일 샘플이 일 클러스터로부터 다른 클러스터로 이동할 때 에러 기준의 간단하고 효율적인 업데이트를 위해 유도된다. 이들 도함수들은 세그먼트화 방법의 식들을 유도하는데 적용된다. 정규화 항은 씨. 올리버(C. Oliver), 에스. 퀘건(S. Quegan)의 서적 "합성 애퍼쳐 레이더 이미지들의 이해(Understanding Synthetic Aperture Radar Images)", 아텍-하우스(Artech-House), 1998년에 제시된 수단에 기초한다. 정규화 항은 센서 노이즈와 같은 랜덤 신호 변동들(random signal fluctuations)이 에지 위치들에 미치는 영향을 제한한다. 화소 위치(x,y)에서의 에러 e(x,y)는 컬러값 I(x,y) 및 세그먼트 라벨 L(x,y)에 의존한다:

여기서, m_L(x,y)는 라벨 L(x,y)을 갖는 세그먼트에 대한 평균 컬러이다. 이중 수직 바아들에서의 첨자는 유클리드 기준(Euclidean norm)을 나타낸다. 정규화 항 f(x,y)는 세그먼트들 사이의 경계선의 형상에 의존한다:

여기서, (x',y')는 (x,y)의 8개의 연결된 이웃 화소들로부터의 좌표들이다. x(A,B)의 값은 세그먼트 라벨들 A 및 B가 상이한지의 여부에 의존한다:

함수 f(x,y)는 직선적 해석을 갖는다. 주어진 화소 위치(x,y)에서, 함수는 상이한 세그먼트 라벨을 갖는 8개의 연결된 이웃 화소들의 수를 단순히 반환한다.

초기 세그먼트화가 주어지면, 이웃 세그먼트에 경계선 화소를 할당함으로써 세그먼트 경계선에 변화가 이루어진다. 라벨 A를 갖는 세그먼트 내에 현재 좌표들 (x,y)를 갖는 화소가 라벨 B를 갖는 세그먼트로 임시로 이동하는 것으로 가정한다. 세그먼트 A에 대한 평균 컬러의 변화는:

이고, 세그먼트 B에 대한 평균 컬러의 변화는:

이며, 여기서, n_A 및 n_B는 각각 세그먼트들 A 및 B의 내부의 화소들의 수이다. 제안된 라벨 변화는 이하의 수학식에 의해 제공된 에러 함수의 대응하는 변화를 유발한다.

화소(x,y)에서 A로부터 B로의 제안된 라벨 변화는 전체 정규화 함수 f를 변화시킨다. 제안된 이동은 (x,y)에서 뿐만 아니라 (x,y)의 8개의 연결된 이웃 화소 위치들에서 f에 영향을 준다. 정규화 함수의 변화는 합

에 의해 주어지고, 여기서 (x',y')는 (x,y)의 8개의 연결된 이웃 화소들이다.

제안된 라벨 변화는,

이면, 적합 기준(fit criterion)을 향상시킨다.

도 1은 종래 기술에 따른 스캐닝 체계를 개략적으로 도시한다. 도 1은 변환의 개시로부터 초기 세그먼트들로부터 유도되는 중간 세그먼트들(A, B, C D)를 갖는 이미지 및 업데이트된 세그먼트들(A´, B´, C´, D´)을 갖는 동일 이미지를 도시한다. 이미지의 화소들은 예로서 화살표(102)와 같은 화살표로 지시된 바와 같이 라인 단위 스캐닝(line-by-line scanning)으로 평가된다. 평가는 상술한 바와 같은 컬러 모델들의 평가에 기초한다.

도 2는 본 발명에 따른 스캐닝 체계를 개략적으로 도시한다. 도 2는 변환의 개시로부터 초기 세그먼트들로부터 유도되는 중간 세그먼트들(A, B, C, D)를 갖는 이미지 및 업데이트된 세그먼트들(A´, B´, C´, D´)을 갖는 동일 이미지를 도시한다. 이미지의 화소들은 블록간 체계(block by block scheme)에서 평가된다. 이는 제 1 블록(200) 내의 관련 화소들에 대해 제 1 다수의 반복적인 수식들이 수행된다는 것을 의미한다. 그 후, 다수의 반복적인 수식들이 제 2 블록(202) 내에서 관련 화소들에 대해 수행된다. 블록 내의 스캐닝의 방향은 화살표(204)로 나타낸 바와 같이, 즉 행간(row-by-row)일 수 있다. 수식들은 상술한 바와 같은 컬러 모델들의 평가에 기초한다.

도 3은 각각 두 개의 인접한 중간 세그먼트들(A, B)을 (A´, B´)로의 업데이트를 개략적으로 도시한다. 도 3은 제 1 중간 세그먼트(A)와 제 2 중간 세그먼트(B) 사이의 경계(302)에 위치된 8*8 화소들의 블록(200a)을 개략적으로 도시한다. 좌표들(x,y)을 갖는 화소(300)가 평가된다. 이는 화소(300)가 세그먼트(B)로 이동되어야 하는지를 결정하는 것을 의미한다. 평가는 수학식들 6 내지 9에 정의된 바와 같은 계산들에 기초한다. 평가에 기초하여, 화소(300)가 이동된다. 도 3은 또한 제 3 중간 세그먼트(A´)와 제 4 중간 세그먼트(B´) 사이의 경계(304)에 위치되는 8*8 화소들의 동일 블록(200b)을 도시한다. 제 3 중간 세그먼트는 제 1 중간 세그먼트(A)로부터 유도되고, 제 4 중간 세그먼트(B´)는 제 2 중간 세그먼트(B)로부터 유도된다.

도 4는 화소들의 블록에 대한 후속하는 스캐닝 방향들을 개략적으로 도시한다. 평가를 위한 블록 내의 화소들에 걸친 스캐닝은 수평 방향(200a, 200c) 및 수직 방향(200b, 200d)으로 교대로 이루어질 수 있다. 또한, 스캐닝은 좌에서 우로(200a) 및 그 역방향(200c)으로 할 수 있다. 또한, 스캐닝은 상에서 하(200d)로 및 하에서 상(200b)으로 이루어질 수 있다. 또한, 도시하지는 않았지만, 지그재그 스캔이 가능하다.

도 5는 다수의 블록들(200 내지 216)의 슬라이딩 윈도(500)를 개략적으로 도시한다. 전형적으로, 이들 블록들(200 내지 216)은 중앙 블록(208)의 화소들이 평가될 때 동시에 캐시된다. 이웃 블록들(200 내지 206, 210 내지 216)은 수학식 4에 정의된 바와 같은 정규화 항의 계산을 위해 요구된다. 모든 식들이 중앙 블록(208)에 대해 수행된 후, 새로운 윈도(502)가 이미지 내에 규정된다. 이 새로운 윈도는 블록들(206 내지 222)을 포함한다. 이 윈도의 중앙 블록(214)은 여기서 평가될 것이다. 블록 내에 에지가 존재하지 않으면 이 블록은 스킵될 수 있고 윈도가 또한 이동된다는 것을 유의해야 한다. 블록 내에는 단지 세그먼트의 경계에 위 치된 이들 화소들만이 평가된다.

도 6은,

- 비디오 이미지들을 표현하는 신호를 수신하는 수신 수단(602);

- 비디오 이미지들 중 하나의 초기 세그먼트들의 제 1 세트를 결정하는 세그먼트화 유닛(604);

- 초기 세그먼트들의 제 1 세트를 업데이트된 세그먼트들(A´, B´, C´, D´)의 제 2 세트로 변환하는 변환 유닛(606); 및

- 업데이트된 세그먼트들(A´, B´, C´, D´)의 제 2 세트에 기초하여 비디오 이미지(110b)를 처리하는 이미지 처리 유닛(608)을 포함하는, 본 발명에 따른 이미지 처리 장치(600)를 개략적으로 도시한다.

입력 신호는 안테나 또는 케이블을 거쳐 수신된 방송 신호일 수 있지만, 또한 VCR(비디오 카세트 레코더(Video Cassette Recorder)) 또는 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수 있다. 입력 신호는 입력 커넥터(610)에 제공된다. 이미지 처리 장치(600)는 출력 커넥터(612)에 출력을 제공한다.

초기 세그먼트들의 제 1 세트를 업데이트된 세그먼트들의 제 2 세트로 변환하는 변환 유닛(604)은 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이 기능은 소프트웨어 프로그램 제품의 제어 하에 수행된다. 실행 중에, 일반적으로 소프트웨어 프로그램 제품이 RAM과 같은 메모리 내에 로딩되고, 그로부터 실행된다. 프로그램은 ROM, 하드디스크 또는 자기 및/또는 광학 저장 장치와 같은 배 경 메모리로부터 로딩될 수 있고, 또는 인터넷과 같은 네트워크를 거쳐 로딩될 수 있다.

세그먼트화 유닛(604), 변환 유닛(606) 및 이미지 처리 유닛(608)은 일 프로세서로 조합될 수 있다.

출력은 압축된 비디오 데이터의 스트림일 수 있다. 대안적으로, 출력은 3D 비디오 콘텐트를 표현한다. 수신된 비디오 이미지들의 3D 비디오 콘텐트로의 변환은 엠. 옵 드 벡(M. Op de Beeck) 및 에이. 레데르트(A. Redert)의 "가정용 3차원 비디오(Three demensional video for the home)", 증분 가상 환경들 및 3차원 이미징의 국제 학회의 회보(Proceedings of the International Conference on Augmented Virtual Environments and Three-Dimensional Imaging), 미코노스, 그리스, 2001년, 페이지 188-191에 개시된 바와 같을 수 있다.

이미지 처리 장치(600)는 예로서 TV일 수 있다. 이미지 처리 장치(600)는 디스플레이 디바이스를 포함할 수 있다. 대안적으로는, 이미지 처리 장치(600)는 선택적 디스플레이 디바이스를 포함하지 않지만 디스플레이 디바이스를 포함하는 장치에 출력 데이터를 제공한다. 이후, 이미지 처리 장치(600)는 예를 들면, 셋 탑 박스, 위성-튜너(satellite-tunner), VCR 플레이어, DVD 플레이어 또는 레코더일 수 있다. 이미지 처리 장치(600)는 또한 영화-스튜디오 또는 방송국에 의해 적용되는 시스템일 수 있다.

선택적으로는, 이미지 처리 장치(600)는 하드디스크와 같은 저장 수단 또는 예를 들면, 광 디스크와 같은 분리성 매체 상의 저장을 위한 수단을 포함한다.

도 7은 본 발명에 따른 변환 유닛(706)의 개념에서의 다수의 부품들(702, 704)을 개략적으로 도시한다. 시스템(700)은 예를 들면, 이미지들의 화소들의 휘도 및 컬러값들과 같은 이미지 데이터의 저장을 위한 메모리 디바이스를 포함한다. 이 이미지 데이터는 제 1 입력 커넥터(710)에 제공된다. 시스템(700)은 이미지의 초기 세그먼트들의 제 1 세트를 업데이트된 세그먼트들(A´, B´, C´, D´)의 제 2 세트로 변환하도록 배열된 변환 유닛(706)을 추가로 포함한다. 이 변환은 각각의 초기 세그먼트들로부터 유도되는 중간 세그먼트(A, B, C, D)의 반복적인 업데이트들에 의해 수행되고, 여기서 특정 업데이트는 중간 세그먼트들의 제 1 세그먼트(A)와 중간 세그먼트들의 제 2 세그먼트(B) 사이의 경계(302)에 위치되는 특정 화소(300)가 특정 화소의 컬러값에 기초하여, 중간 세그먼트들의 제 1 세그먼트 A의 평균 컬러값에 기초하여, 그리고 중간 세그먼트들의 제 2 세그먼트 B의 평균 컬러값에 기초하여, 중간 세그먼트들의 제 1 세그먼트(A)로부터 중간 세그먼트들의 제 2 세그먼트(B)로 이동되어야 하는지를 결정하는 것을 포함한다. 이미지의 초기 세그먼트들의 제 1 세트는 제 2 입력 커넥터(712)에 제공되고, 업데이트된 세그먼트들(A´, B´, C´, D´)의 제 2 세트는 출력 커넥터(714)에 있다.

변환 유닛(706)은 이미지의 화소들(208)의 제 1의 2차원 블록의 화소들에 대한 다수의 반복적인 업데이트들을 먼저 수행하고, 그 후에 이미지의 화소들(214)의 제 2의 2차원 블록의 화소들에 대한 다수의 반복적인 업데이트들을 수행하기 위한 계산 수단을 포함한다. 블록들(200 내지 216)의 화소들은 중앙 블록(208)의 화소들이 평가될 때 캐시(704) 내에 동시에 캐시된다. 모든 평가들이 중앙 블록(208) 에 대해 수행된 후, 새로운 윈도(502)가 이미지 내에 규정된다. 이 새로운 윈도는 블록들(206 내지 222)을 포함한다. 이 윈도의 중앙 블록(214)이 여기서 평가될 것이다.

상술한 실시예들은 본 발명을 한정하기보다는 예시하는 것이며, 본 기술의 숙련자들은 첨부된 청구범위의 범주로부터 일탈하지 않고 대안의 실시예들을 고안할 수 있을 것을 유의해야 한다. 청구범위에서, 괄호들 사이에 배치된 임의의 참조 부호들은 청구항을 한정하는 것으로 해석되어서는 안 된다. 용어 '포함하는'는 청구항에 열거되지 않은 요소들 또는 단계들의 존재를 배제하는 것은 아니다. 단수로 표현된 요소는 복수의 이러한 요소들의 존재를 배제하는 것은 아니다. 본 발명은 다수의 개별 소자들을 포함하는 하드웨어에 의해 및 적합한 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 다수의 수단을 열거하는 유닛 청구항들에서, 수 개의 이들 수단은 하드웨어의 하나 및 동일한 아이템에 의해 구현될 수 있다.

Claims (9)

1. 이미지의 초기 세그먼트들의 제 1 세트(100a)를 상기 이미지의 업데이트된 세그먼트들(A´, B´, C´, D´)의 제 2 세트(100b)로 변환하는 방법으로서, 상기 방법은 각 초기 세그먼트들로부터 유도된 중간 세그먼트들(A, B, C, D)의 반복적인 업데이트들을 포함하고, 특정 업데이트는 상기 중간 세그먼트들 중 제 1 중간 세그먼트(A), 및 상기 중간 세그먼트들 중 제 2 중간 세그먼트(B) 사이의 경계(302)에 위치된 특정 화소(300)가 상기 중간 세그먼트들 중 상기 제 1 중간 세그먼트(A)로부터 상기 중간 세그먼트들 중 상기 제 2 중간 세그먼트(B)로 이동되어야 하는지 여부를 상기 특정 화소의 화소값, 상기 중간 세그먼트들 중 상기 제 1 중간 세그먼트(A)의 제 1 파라미터 및 중간 세그먼트들 중 상기 제 2 중간 세그먼트(B)의 제 2 파라미터에 기초하여 결정하는 단계를 포함하는, 상기 변환 방법에 있어서,

   먼저 다수의 반복적인 업데이트들이 상기 이미지의 화소들(200)의 제 1의 2차원 블록의 화소들에 대하여 수행되고, 그후, 상기 다수의 반복적인 업데이트들이 상기 이미지의 화소들(204)의 제 2의 2차원 블록의 화소들에 대하여 수행되는 것을 특징으로 하는, 변환 방법.
2. 제 1 항에 있어서,

   상기 제 1 파라미터는 상기 제 1 중간 세그먼트의 평균 컬러값에 대응하고, 상기 제 2 파라미터는 상기 제 2 중간 세그먼트의 평균 컬러값에 대응하며, 상기 특정 화소의 화소값은 상기 특정 화소의 컬러값을 나타내는 것을 특징으로 하는, 변환 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 특정 업데이트는 상기 중간 세그먼트들 중 상기 제 1 중간 세그먼트의 형상에 의존하는 정규화 항(regulation term)에 기초하고, 상기 정규화 항은 화소들의 상기 제 1의 2차원 블록의 화소들의 제 1 그룹에 기초하여 계산되는 것을 특징으로 하는, 변환 방법.
4. 제 1 항에 있어서,

   상기 다수의 반복적인 업데이트들의 제 1 시퀀스는 화소들의 상기 제 1 블록내에서 행 단위 스캐닝으로 수행되며, 상기 다수의 반복적인 업데이트들의 제 2 시퀀스는 화소들의 상기 제 1 블록 내에서 행 단위로 수행되는 것을 특징으로 하는, 변환 방법.
5. 제 1 항에 있어서, 화소들의 상기 제 1의 2차원 블록은 화소들의 상기 제 2의 2차원 블록에 인접 위치되는 것을 특징으로 하는, 변환 방법.
6. 제 1 항에 있어서,

   상기 정규화 항은 화소들의 상기 제 1의 2차원 블록의 화소들의 상기 제 1 그룹 및 화소들의 상기 제 2의 2차원 블록의 화소들의 제 2 그룹에 기초하여 계산되는 것을 특징으로 하는, 변환 방법.
7. 이미지의 초기 세그먼트들의 제 1 세트(100a)를 상기 이미지의 업데이트된 세그먼트들(A´, B´, C´, D´)의 제 2 세트(100b)로 변환하는 변환 유닛(706)으로서, 상기 변환 유닛은 각 초기 세그먼트들로부터 유도된 중간 세그먼트들(A, B, C, D)의 반복적인 업데이트들을 수행하도록 배열되며, 특정 업데이트는 상기 중간 세그먼트들 중 제 1 중간 세그먼트(A), 및 상기 중간 세그먼트들 중 제 2 중간 세그먼트(B) 사이의 경계(302)에 위치된 특정 화소(300)가 상기 중간 세그먼트들 중 상기 제 1 중간 세그먼트(A)로부터 상기 중간 세그먼트들 중 상기 제 2 중간 세그먼트(B)로 이동되어야 하는지 여부를 상기 특정 화소의 화소값, 상기 중간 세그먼트들 중 상기 제 1 중간 세그먼트(A)의 제 1 파라미터 및 상기 중간 세그먼트들 중 상기 제 2 중간 세그먼트(B)의 제 2 파라미터에 기초하여 결정하는 것을 포함하는, 상기 변환 유닛(706)에 있어서,

   상기 변환 유닛(706)은 먼저 다수의 반복적인 업데이트들이 상기 이미지의 화소들(200)의 제 1의 2차원 블록의 화소들에 대하여 수행하고, 그후, 상기 이미지의 화소들(204)의 제 2의 2차원 블록의 화소들에 대하여 다수의 반복적인 업데이트들을 수행하기 위한 계산 수단을 포함하는 것을 특징으로 하는, 변환 유닛.
8. 이미지 처리 장치(600)에 있어서,

   - 이미지를 나타내는 신호를 수신하는 수신 수단(602);

   - 상기 이미지의 초기 세그먼트들의 제 1 세트를 결정하기 위한 세그먼트화 유닛(604);

   - 초기 세그먼트들의 상기 제 1 세트를 업데이트된 세그먼트들의 제 2 세트로 변환하기 위한, 제 7 항에 기재된 바와 같은 변환 유닛(606); 및

   - 업데이트된 세그먼트들의 상기 제 2 세트에 기초하여 상기 이미지를 처리하기 위한 이미지 처리 유닛(608)을 포함하는, 이미지 처리 장치.
9. 제 8 항에 있어서, 상기 이미지 처리 유닛(608)은 비디오 압축을 수행하도록 설계된, 이미지 처리 장치.

Images