KR100714652B1

KR100714652B1 - 단위 화상 영역 조절 방법, 중요도 정보 보존 시스템 및 컴퓨터 판독 가능 기록 매체

Info

Publication number: KR100714652B1
Application number: KR1020047010997A
Authority: KR
Inventors: 발멜리로렌트; 버나르디니파우스토; 타우빈가브리엘
Original assignee: 인터내셔널 비지네스 머신즈 코포레이션
Priority date: 2002-02-12
Filing date: 2003-02-10
Publication date: 2007-05-04
Also published as: EP1479034A1; US20030152288A1; AU2003209106A1; WO2003069543A1; CN1315093C; KR20040079933A; EP1479034A4; CN1630876A; JP4398257B2; JP2005518032A; US7174050B2

Abstract

본 발명은 단위 영역 내의 정보 중요도(information importance)에 따라서 입력 화상(102) 내의 단위 화상 영역을 조절하는 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 것이다. 화상 수신기(image receiver)(304)는 입력 화상(102)을 수신하도록 구성된다. 화상 왜곡 장치(image warper)(316)는 중요도 맵(importance map)(310)에 결합되어, 입력 화상 내의 높은 중요도 영역을 왜곡된 화상(110) 내에서 확장시키고 입력 화상 내의 낮은 중요도 영역을 왜곡된 화상(110) 내에서 압축시키는 방식으로 왜곡된 화상(110)을 생성하도록 구성된다. 중요도 맵(310)은 입력 화상(102) 내에서 높은 중요도 영역과 낮은 중요도 영역을 구분하도록 구성된다. 텍스처 좌표(texture coordinates)(318)도 동일한 방식으로 왜곡될 수 있다. 그러므로, 화상은 텍스처 매핑 기능을 구비한 현대의 그래픽 어댑터(graphic adapters)에 의해 자동적으로 왜곡 해제(unwarped)될 수 있다.

Description

단위 화상 영역 조절 방법, 중요도 정보 보존 시스템 및 컴퓨터 판독 가능 기록 매체{SPACE-OPTIMIZED TEXTURE MAPS}

관련 특허

본 특허는 2002년 2월 12일 출원된 미국 특허 가출원 번호 제 60/356,441 호에 관련되고 그 출원일을 우선일로서 주장하고 있으며, 이 특허 문서는 본 명세서에 참조 문서로서 인용되어 있다.

기술 분야

본 발명은 일반적으로 화상 처리(image processing)에 관한 것으로, 특히 화상에서 크기 축소로 인한 뒤틀림이 더 방지되도록 화상 내의 정보 컨텐츠를 등화(equalization)하는 것에 관련된다.

텍스처 화상(texture images)은 적은 비용으로 폴리곤 메시(polygonal meshes)의 실현성을 증가시키는 단순하고도 효과적인 방법이다. 현재의 대부분의 하드웨어 그래픽 가속기(hardware graphics accelerators)는 메모리 캐시(memory cache)를 제공하여 텍스처 화상을 저장한다. 캐시 내의 화상은 GPU(Graphics Processing Unit)에 의해 고 대역폭 접속부(high-bandwidth connection)를 통과하여 액세스되므로 프레임 레이트(frame rate)가 향상된다. 그러나, 캐시의 크기는 그 비용, 특히 상업용 게임 지향 그래픽 보드 및 게임 콘솔(game console)에 소요되는 비용에 의해서 제한된다. 애플리케이션에 의해서 사용되는 모든 텍스처가 동시에 메모리 내에 상주할 수 없기 때문에, 복잡한 메모리 관리 알고리즘을 사용해야 한다. 더 많은 캐시를 이용할 수 있는 비행 시뮬레이터 등과 같은 고급 애플리케이션에서, 사용되는 텍스처의 양은 그에 비례하여 증가하고, 그와 정확하게 동일한 양의 텍스처 메모리(texture memory)를 할당하도록 요구된다.

화상 압축(image compression)에 의해서 제한된 텍스처 메모리에 의한 문제를 완화시킬 수 있다. 그러나, 대화형 프레임 레이트(interactive frame rate)를 획득하기 위해서, 렌더링(rendering) 도중에 압축된 텍스처는 그 작동에 따라서 디코딩되어야 하는데, 이는 전용 하드웨어를 필요로 한다. 현대의 통상적인 그래픽 보드에서 이용 가능한 텍스처 메모리를 최적으로 사용하기 위해서, 몇 명의 저자는 복잡한 인코딩에 의지하지 않으면서 텍스처 화상을 저장하는 데 필요한 공간의 감소에 대한 문제점을 고찰하였다.

반복적인 패턴을 포함하는 단순한 텍스처를 제외하고는, 전형적으로 디테일(details)은 화상 전체에 걸쳐 균일하게 분포되지 않는다. 예를 들면, 3D 스캐닝 시스템에 의해 획득되는 모델은 때때로 많은 양의 배경 화소를 포함하는 화상에 의해서 텍스처화된다. 인간 및 인물의 얼굴은 눈 및 입 등과 같은 영역에서 고 해상 도의 디테일을 필요로 하지만, 다른 영역의 형상은 단위 영역당 비교적 더 적은 수의 화소로 포착할 수 있다.

본 발명은 텍스처 화상에 의해 사용되는 공간을 최적화하는 기법을 구현함으로써 상술된 제한을 해결한다. 본 발명의 일실시예에서, 화상 주파수 컨텐츠는 화상에 걸쳐 균일하게 분포된다. 다시 말해, 화상은 고주파수 영역에서 연장되고, 저주파수 영역에서 압축된다. 텍스처 좌표(texture coordinates)는 화상 뒤틀림을 고려하여 유사한 방식으로 재매핑(remapped)된다. 그러면 결과적인 화상은 고주파수 컨텐츠를 포함하는 영역 내에서 디테일 손실이 최소가 되게 하여 낮은 (수축) 레이트로 재샘플링될 수 있다. 이와 다르게, 화상은 해당 영역에 걸쳐 시각적 충실도(visual fidelity)를 균일하게 손실하는 것으로 보다 적극적으로 서브샘플링(subsampled)될 수 있다. 오직 텍스처 화상 및 텍스처 좌표만이 최적화 프로세스(optimization process)에 의해 영향을 받는다. 모델의 형상이나 그의 연결성(connectivity)은 변경되지 않는다. 더 적게 최적화된 화상일수록 더 적은 텍스처 메모리를 사용하지만, 전용 하드웨어를 필요로 하지 않으며, 그의 "압축 해제(decompression)"는 보편적인 그래픽 하드웨어에서 이용가능한 텍스처 매핑 함수에 의해서 자동적으로 수행된다.

그러므로, 본 발명의 특징은 단위 영역 내의 정보 중요도(information importance)에 따라서 입력 화상 내의 단위 화상 영역을 조절하는 방법을 포함한 다. 이 방법은 중요도 맵(importance map)을 획득하는 획득 동작을 포함한다. 중요도 맵은 입력 화상 내에서 높은 중요도 영역과 낮은 중요도 영역을 구분한다. 다음에 왜곡 동작(warping operation)은 입력 화상을 왜곡하여 중요도 맵에 따라 왜곡된 화상(warped image)을 생성하고, 그에 따라 높은 중요도 영역은 확장되고 낮은 중요도 영역은 압축된다.

본 발명의 다른 특징은 입력 화상 내에 중요도 정보를 보존하는 시스템을 제공하는 것이다. 입력 화상은 연관된 입력 텍스처 좌표 매핑을 포함하고, 시스템은 화상 수신기 및 화상 왜곡 장치(image warper)를 포함한다. 화상 수신기는 입력 화상을 수신하도록 구성된다. 화상 왜곡 장치는 중요도 맵에 결합되고 입력 화상 내의 높은 중요도 영역을 왜곡된 화상 내에서 확장시키고 입력 화상 내의 낮은 중요도 영역을 왜곡된 화상 내에서 압축시키는 것에 의해 왜곡된 화상을 생성하도록 구성된다. 중요도 맵은 입력 화상 내에서 높은 중요도 영역과 낮은 중요도 영역을 구분하도록 구성된다.

본 발명의 또 다른 특징은 입력 화상 내의 단위 화상 영역을 단위 영역 내에서의 정보 중요도에 따라서 조정하는 컴퓨터 판독 가능 프로그램 코드(computer readable program codes)를 구비한 컴퓨터 프로그램 제품을 제공하는 것이다. 컴퓨터 판독 가능 프로그램 코드는 중요도 맵을 획득하고 중요도 맵에 따라서 높은 중요도 영역을 확장하고 낮은 중요도 영역을 압축하는 방식으로 입력 화상을 왜곡하도록 구성된다.

본 발명의 상술된 특징 및 다른 특징과 활용도 및 이점은 첨부된 도면 내에 서 도시된 바와 같은 본 발명의 여러 실시예에 대한 이하의 세부적인 설명으로부터 명확해질 것이다.

도 1(a)는 본 발명에 의해서 활용되는 예시적인 입력 화상을 도시하는 도면,

도 1(b)는 높은 중요도 영역과 낮은 중요도 영역이 구분되어 있는 입력 화상을 도시하는 도면,

도 1(c)는 본 발명의 일실시예에 따른 예시적으로 왜곡된 화상을 도시하는 도면,

도 1(d)는 본 발명의 일실시예에 따른 예시적으로 수축된 왜곡된 화상을 도시하는 도면,

도 1(e)는 본 발명의 일실시예에 따른 예시적으로 복원된 화상을 도시하는 도면,

도 2는 본 발명에 따른 시스템에 의해 수행되는 동작의 예시적인 흐름도를 도시하는 도면,

도 3은 본 발명의 일실시예에 따른 예시적인 시스템을 도시하는 도면,

도 4(a)는 본 발명에 의해 활용되는 예시적인 입력 화상을 도시하는 도면,

도 4(b)는 균일한 격자를 갖는 예시적인 입력 화상을 도시하는 도면,

도 4(c)는 본 발명의 일실시예에 따른 예시적인 중요도 맵을 도시하는 도면,

도 4(d)는 본 발명에 따른 예시적으로 이완된 격자를 도시하는 도면,

도 4(e)는 본 발명의 일실시예에 따른 왜곡된 화상을 도시하는 도면,

도 5는 본 발명에 따른 예시적인 웨이블릿 패킷 확장 변환 프로세스(wavelet packet expansion transform process)를 도시하는 도면,

도 6(a)는 본 발명에 따른 예시적인 입력 화상을 도시하는 도면,

도 6(b)는 본 발명에 따른 예시적인 입력 화상 좌표를 도시하는 도면,

도 6(c)는 본 발명에 따른 예시적으로 왜곡된 화상을 도시하는 도면,

도 6(d)는 본 발명에 따른 예시적으로 왜곡된 좌표를 도시하는 도면,

도 6(e)는 본 발명에 따른 예시적인 화상 모델을 도시하는 도면,

도 6(f)는 본 발명에 따른 예시적으로 묘사된 화상 모델을 도시하는 도면,

도 7(a) 내지 도 7(d)는 본 발명에 따른 최적화 프로세스를 사용하지 않으면서 3차원 모델로 매핑된 화상 텍스처를 도시하는 도면,

도 8(a) 내지 도 8(d)는 본 발명에 따른 최적화 프로세스를 사용하여 3차원 모델로 매핑된 화상 텍스처를 도시하는 도면,

도 9(a)는 본 발명에 따른 예시적인 아틀라스 화상(atlas image)을 도시하는 도면,

도 9(b)는 본 발명에 따른 예시적으로 왜곡된 아틀라스 화상을 도시하는 도면,

도 9(c)는 렌더링된 3차원 모델을 도시하는 도면,

도 9(d)는 원래의 아틀라스 화상 및 왜곡된 아틀라스 화상을 모두 사용하여 서브샘플링 에러를 나타내는 그래프를 도시하는 도면.

상술된 바와 같이, 본 발명은 화상에 의해 이용되는 공간을 유리하게 최적화한다. 중요한 화상 정보는 화상 영역을 더 차지하도록 연장되는 한편, 덜 중요한 정보는 압축된다. 그러므로, 결과적으로 단위 영역당 정보 중요도의 비가 화상 전체에 걸쳐 일정한 왜곡된 화상이 생성된다. 본 발명은 도 1 내지 도 9를 참조하여 본 명세서에 설명되었다. 도면을 참조할 때, 본 명세서 전체에서 나타난 동일한 구조 및 요소는 동일한 참조 부호로 표시되었다.

도 1(a)에서는, 본 발명의 일실시예에 따른 프로세싱에 적합한 예시적인 화상(102)이 도시되어 있다. 화상(102)은 임의의 타입의 화상일 수 있고 당업자들이 숙지하고 있는 여러 기법을 이용하여 인코딩될 수도 있다. 예를 들면, 화상(102)은 압축형, 압축 해제형, 흑백형, 그레이 스케일(gray scale)형 또는 컬러형일 수 있다. 또한, 화상(102)은 컴퓨터 메모리 내에 저장되거나, 컴퓨터 네트워크를 통해 전송될 수 있다. 그러므로, 화상(102)은 일반적으로 메모리 공간 또는 네트워크 대역폭(network bandwidth) 등과 같은 소정의 시스템 리소스를 소모한다.

도 1(b)에서, 화상(102)은 높은 중요도 영역과 낮은 중요도 영역이 구분된 상태로 도시되어 있다. 예를 들어 구별되는 얼굴 형상을 포함하는 화상 영역은, 이러한 형상이 없는 영역보다 더 중요한 영역으로 지정될 수 있다. 그러므로, 일실시예에서, 눈 영역(104) 및 입 영역(106)은 화상(102) 내에서 높은 중요도의 영역으로서 지정될 수 있다. 반대로, 배경 영역(108)은 화상(102) 내에서 낮은 중요도의 영역으로서 지정될 수 있다. 이하에서 상세하게 설명되는 바와 같이, 본 발 명에서는 중요도 맵을 활용하여 화상(102) 내에서 높은 중요도의 영역과 낮은 중요도의 영역을 구별한다.

본 발명은 중요한 영역으로 지정된 영역 내에서의 화상 디테일 손실량을 최소화하면서 화상(102)에 의해 소모되는 시스템 리소스의 양을 감소시키기 위해 노력한다. 이 목표를 달성하기 위해서, 본 발명은 중요도 맵에 따라서 중요한 화상 영역을 확장하고 덜 중요한 화상 영역을 압축하는 방식으로 화상(102)을 왜곡시킨다. 다음에 전체 왜곡된 화상은 크기가 축소되어 더 적은 시스템 리소스를 소모하게 된다. 그 이후에, 화상을 사용하고자 할 때, 축소된 왜곡 화상은 확장되고 왜곡이 해제(unwarped)된다.

도 1(c)에서, 본 발명에 따른 왜곡된 화상(110)이 도시되어 있다. 왜곡된 화상(110) 내에서, 중요도 맵에서 보다 중요하다고 지정된 영역은 확장되는 한편, 덜 중요하다고 지정된 영역은 압축된다. 그러므로, 왜곡된 화상(110) 내에서 눈 영역(112) 및 입 영역(114)은 원래의 화상(102) 내에서의 대응되는 눈 영역(104) 및 입 영역(106)보다 더 크다. 추가하여, 왜곡된 화상(110) 내의 배경 영역(116)은 원래의 화상(102) 내의 배경 영역(108)보다 더 작다. 왜곡된 화상(110)의 캔버스 크기(canvas size)는 원래의 화상(102)의 캔버스 크기와 동일하다는 것을 주지하라.

도 1(d)에서, 더 작은 왜곡된 화상(112)이 도시되어 있다. 왜곡된 화상(112)이 더 작을수록 원래의 화상(102)보다 더 적은 시스템 리소스를 사용한다. 본 발명은 왜곡된 화상(110)에 의해 소모되는 시스템 리소스를 감소시키기 위해서 당업자들에게 알려진 임의의 화상 처리 방법을 이용할 수 있을 것으로 예상된다. 일반적으로, 본 발명에서 사용되는 처리 방법은 화상 크기 축소(image downsizing), 이산 코사인 변환(discrete cosine transformations) 또는 압축 기법의 조합 등과 같이 손실이 많은 압축 기법이다.

도 1(e)에서는, 복원된 화상(restored image)(114)이 도시되어 있다. 왜곡된 화상(112)에 적용된 화상 압축 및 왜곡을 반전시키는 것에 의해서 복원된 화상(114)을 생성한다. 높은 중요도의 영역은 왜곡된 화상(112) 내에서 확장되기 때문에, 압축 단계 도중에 정보 손실이 적다. 그에 따라서, 화상(114)이 복원될 때 높은 중요도의 영역 내에 더 많은 화상 디테일이 보존된다. 복원된 화상(114)이 원래의 화상(102)과 동일한 캔버스 크기를 보유해야할 필요는 없다는 것을 주지하라. 예를 들면, 복원된 화상 3차원 모델에 대한 텍스처 묘사를 위해 이용될 수 있고, 그에 따라 변환되어 렌더링된 표면(rendered surface) 상에 나타낼 수 있다.

도 2에서는, 본 발명에 따른 시스템 내에서 수행되는 동작에 대한 흐름도가 도시되어 있다. 여기에서 나타낸 논리적 동작은 (1) 컴퓨터 시스템 상에서 진행되는 단계를 수행하는 컴퓨터의 시퀀스 및/또는 (2) 컴퓨터 시스템 내의 상호 접속된 머신 모듈로서 구현될 수 있다는 것을 인식해야 한다. 이 구현은 본 발명을 구현하는 시스템의 성능 조건에 따른 선택의 문제이다. 따라서, 본 명세서에서 설명된 본 발명의 실시예를 구성하는 논리적 동작은 그 대신에 동작, 단계 또는 모듈(modules)로서 지칭되기도 한다.

이 프로세스는 수신 동작(202)에서 시작된다. 이 동작 동안에, 시스템에 의 해 화상이 입력된다. 상술된 바와 같이, 화상은 임의의 타입일 수 있고, 본 기술 분야에서 알려진 여러 방법을 이용하여 인코딩될 수 있다. 본 발명의 일실시예에서, 화상은 컴퓨터 그래픽 애플리케이션에서 3차원 모델을 형성하는 폴리곤을 묘사하기 위해서 사용되는 텍스처 화상이다. 전형적으로, 텍스처 화상은 모델 표면 상에서의 화상 변환을 허용하는 화상 공간 내의 텍스처 좌표의 세트를 포함한다. 수신 동작(202)이 완료된 후에, 생성 동작(204)으로 진행되도록 제어한다.

생성 동작(204)에서는, 화상에 대한 중요도 맵을 생성한다. 이 동작은 사용자 또는 그래픽 전개 패키지(graphics development package)로부터 중요도 맵을 수신하는 단계를 포함할 수 있다. 이와 다르게, 이 시스템은 이하에서 설명된 바와 같이 화상을 프로세싱하고, 자동적으로 중요도 맵을 생성할 수 있다. 생성 동작(204)이 완료된 이후에, 왜곡 동작(206)으로 진행되도록 제어한다.

왜곡 동작(206)에서, 맵에 따라서 화상 내의 높은 중요도의 영역을 확대하는 한편 낮은 중요도의 영역을 축소시키는 방식으로 화상을 왜곡시킨다. 본 발명의 일실시예에서는, 이하에 상세하게 설명되는 바와 같이 격자 이완 알고리즘(grid relaxation algorithm)을 활용하여 화상을 재샘플링(resample)한다. 왜곡 동작(206)이 완료된 후에, 수축 동작(208)으로 진행되도록 제어한다.

수축 동작(208)에서는, 왜곡된 화상에 의해 요구되는 시스템 리소스의 양이 감소된다. 이 동작은 화상 크기를 수축시키고, 화상에 대해 압축 알고리즘을 적용하며, 당업자들에게 알려진 다른 처리를 수행하는 것을 수반할 수 있다. 수축 동작(208)이 완료된 후, 왜곡된 화상은 컴퓨터 그래픽 메모리 내에 저장되거나 AGP(accelerated graphics port) 등과 같은 통신 링크(communincaion links)를 거쳐 통신될 수 있다. 왜곡된 화상을 다시 디스플레이할 때, 왜곡 해제 동작(unwarping operation)(210)으로 진행되도록 제어한다.

왜곡 해제 동작(210)에서, 왜곡된 화상은 왜곡되지 않은 화상으로 다시 변환된다. 이 동작은 전형적으로 이전에 실행된 수축 및 왜곡 동작(208, 206)을 해제하는 것을 포함한다. 본 발명의 일실시예에서, 왜곡 해제 동작(210)은 이하에서 상세하게 설명되는 바와 같이 화상의 3차원 렌더링을 형성하기 위해서 화상을 폴리곤 메시(polygonal mesh)로 변환하는 것을 포함한다. 왜곡 해제 동작(210)이 완료되면, 이 프로세스는 종료된다.

도 3에서는, 본 발명에 따른 예시적인 시스템(302)이 도시되어 있다. 본 발명에 따르면, 시스템(302)을 형성하는 모듈은 컴퓨터 판독 가능 매체 내에 내장된 컴퓨터 판독 가능 프로그램 코드일 수 있다. 예로서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만 이에 제한되지는 않는다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈 또는 그 외의 데이터 등과 같은 정보의 저장을 위한 임의의 방법 또는 기법으로 구현되는 휘발성 및 비휘발성, 착탈 가능(remonable) 및 착탈 불가능 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리(flash memory) 또는 그 외의 저장 기법, CD-ROM, DVD(digital versatile disks) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 또는 그 외의 자기 저장 장치, 또는 원하는 정보를 저장하는 데 이용될 수 있고 관리 에이전트(management agents)에 의 해 접근 가능한 임의의 다른 매체를 포함할 수 있지만 이것으로 한정되지 않는다. 통신 매체는 전형적으로 캐리어 웨이브(carrier wave) 또는 다른 전송 메커니즘 등과 같은 변조된 데이터 신호(modulated data signal) 내에 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 내장하고, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 하나 이상의 그 자신의 특성 세트(characteristics set)를 갖거나 신호 내에 정보를 인코딩하는 방식으로 변경되는 신호를 의미한다. 제한하는 것이 아닌 예로서, 통신 매체는 유선 네트워크(wired network) 또는 직접 방식 유선 접속(direct-wired connection) 등과 같은 유선 매체(wired media)와, 음향(acoustic), RF, 적외선 및 그 외의 무선 매체 등과 같은 무선 매체를 포함한다. 상술된 것에 대한 임의의 조합도 컴퓨터 판독 가능 매체의 범주 내에 속하는 것이다.

시스템(302)은 입력 화상(102)을 수신하도록 구성되는 화상 수신기(304)를 포함한다. 참고를 위해, 예시적인 입력 화상(102)을 도 4(a)에 도시하였다. 도 3을 다시 참조하면, 화상 수신기(304)는 격자 생성기(grid generator)(306)에 접속되어 있다. 격자 생성기는 입력 화상(102) 내에 균일한 격자를 정의하도록 구성된다. 도 4(b)는 예시적인 균일한 격자를 갖는 입력 화상(102)을 도시한다. 격자 내의 행 및 열의 개수는 입력 화상(102)에 맞게 조절될 수 있다. 본 발명의 일실시예에서, 격자 해상도(grid resolution)는 라플라시안 평활화 절차(Laplacian smoothing procedure)(이하에서 상세히 설명됨)의 수렴(convergence) 상태에 따라서 반복적으로 재정의될 수 있다. 이 접근 방법에서, 격자 해상도는 처음에 낮게 설정되지만 격자 이완 반복에 따라서 점진적으로 증가된다. 그러므로, 격자 내에서 정점(vertices)의 개수는 화상 크기, 색상 및/또는 다른 화상 속성에 의존할 수 있다. 본 발명의 특정한 실시예에서, 시스템 사용자는 대화식으로 격자의 정밀도를 지정할 수 있고, 그에 따라 이하에서 설명되는 왜곡 절차의 정밀도에 직접적으로 영향을 줄 수 있다.

도 3을 다시 참조하면, 격자 생성기(306)는 격자 이완 모듈(grid relaxation module)(308)에 접속되어 있다. 격자 이완 모듈(308)은 균일한 화상 격자를 이완시켜서 중요도 맵에 따라 이완된 격자를 생성한다. 상술된 바와 같이, 중요도 맵(310)은 사용자에 의해서 지정될 수 있지만, 중요도 맵(312)은 시스템(302)에 의해서 생성될 수 있다. 사용자가 중요도 맵(310)을 제공하는 경우, 중요도 맵(310)은 각각의 화소(pixel) 위치에 의해 대응되는 화상 화소의 중요도가 지정되는 다른 화상일 수 있다. 사용자가 중요도 맵(310)을 전달할 수 있게 하는 것에 의해서 화상(102)의 특정한 변환을 수행할 수 있다.

이와 다르게, 화상 수신기(304)에 접속된 화상 평가기(image evaluator)(314)는 중요도 맵(312)을 생성하도록 구성될 수 있다. 본 발명의 일실시예에서, 입력 화상(102)의 주파수 컨텐츠를 분석하는 웨이블릿 패킷 확장 변환(wavelet packet expansion transform)을 이용하여 중요도 맵(312)을 생성한다. 이 변환은 화상을 주파수 하부 대역(frequency subband)을 특징짓는 계수의 세트로 분해한다.

다음으로 도 5를 참조하면, 본 발명에 따른 웨이블릿 패킷 확장 변환 프로세 스가 도시되어 있다. 이 프로세스는 다중 레벨(multilevel) 접근 방법을 이용하여 입력 화상(102) 내의 각 화소에 중요도 값을 할당한다. 이 프로세스는 각각의 화소를 2개의 중요도 클래스(importance class)로 분류하는 분류 루프(classification loop)(502, 504, 506)를 포함한다. 분류 루프(502, 504, 506)의 각각의 반복에 의해 화상에 대한 중요도 클래스의 개수는 2배가 된다. 그러므로, 분류 루프(502, 504, 506)를 첫 번째로 반복한 후, 화상(102) 내의 각 화소는 2개의 중요도 클래스 중 어느 하나로 분류된다. 분류 루프(502, 504, 506)를 두 번째로 반복한 후, 각각의 화소는 4개의 중요도 클래스 중의 하나로 분류되고, 그 다음에도 동일한 방식으로 수행된다. 분류 루프는 결정 동작(506)에서의 활성화 기준이 충족될 때까지 반복된다.

이 프로세스에서의 분류 동작(502)은 입력 화상(102)을 수신하고 각각의 화소를 저 주파수(low frequency : LF) 클래스 또는 고 주파수(high frequency : HF) 클래스로 분류한다. 전형적으로, 고 주파수 영역은 에지 및 작은 디테일을 포함하는 반면, 저 주파수 영역은 강도에서의 작은 변동을 포함한다. 주파수 변동을 정확하게 검출하기 위해서, 입력 화상(102)의 다중 스케일 분석(multiscale analysis)을 수행한다. 그에 따라, 디테일 계수 행렬 내에서 다음의 국부 최대값에 의해 에지를 효율적으로 검출할 수 있다. 이들 값은 웨이블릿 최대값(wavelet maxima)으로서 지칭된다.

그러므로, 분류 동작(502) 도중에, 대응되는 웨이블릿 계수 부근의 영역 내에 웨이블릿 최대값이 존재하는지에 대해서 각각의 화소 I(u,v)를 테스트한다. 이 러한 최대값이 존재한다면, 그 존재는 주파수 맵 내에 M(u,v)으로 표시되어 기록된다. 웨이블릿 패킷 변환은 다수의 스케일(즉, 주파수)에서 최대값을 발견하여 화상을 주파수 영역에 따라 분류할 수 있게 한다.

분류 동작(502)의 첫 번째 반복 이후에, 화상은 로우-패스 계수(low-pass coefficients)(0과 π/2 사이의 주파수를 나타냄)의 세트 및 디테일 계수(π/2와 π 사이의 주파수를 나타냄)의 3개의 세트로 변환된다. 디테일 계수의 각 세트에 있어서, 대응되는 하부 대역에서의 변동으로부터 측정된 임계값을 이용하여 웨이블릿 최대값을 측정한다. 그러므로, 분류 루프(502, 504, 506)의 첫 번째 반복 이후에, 화소는 2개의 세트로 분류되고 그 결과는 행렬(M¹(u,v)) 내에 저장되는데 이 행렬은 다음과 같이 정의된다.

분류 동작(502)의 두 번째 반복 후에, 각각의 하부 대역은 다시 2개의 반 대역(half-bands)으로 분리된다. 그에 따라 M¹(u,v)은 재정의되고, 각각의 이전의 입력은 대응되는 디테일 행렬 내의 웨이블릿 최대값을 탐색하는 것에 의해서 분류된다. 그러므로 새로운 행렬 M²(u,v)는 다음과 같이 정의된다.

측정 동작(504)에서, 활성도 측정을 수행하여 분류 루프(502, 504, 506)의 또 다른 반복이 필요한지 여부를 판정한다. 활성도 측정은 여러 측정 기준에 기반할 수 있는데, 이러한 측정 기준은 중요도 클래스의 개수, 분류의 정확도, 사용자가 제공받게 되는 수치적 용량(computational budget), 입력 화상(102) 내의 용량 정보의 크기 또는 이러한 활성도 측정의 임의의 조합을 포함한다. 결정 동작(506)에서, 활성도 측정값이 임계 레벨에 도달되지 않는다면, 분류 동작(502)으로 되돌아가도록 제어한다. 활성도 측정이 임계 레벨에 도달한다면, 중요도 맵(312)은 출력되고 변환은 종료된다. 도 4(c)에서는, 웨이블릿 패킷 확장 변환에 의해서 생성된 예시적인 중요도 맵(312)이 도시되어 있다.

도 3을 다시 참조하면, 격자 이완 모듈(308)은 이완 알고리즘을 사용하여 중요도 맵(310 또는 312)에 의해 표시된 입력 화상(102)의 더욱 중요한 영역 내에 격자점을 집중시키고 입력 화상(102)의 덜 중요한 영역 내에서 격자점을 분산시킨다. 예를 들어, 도 4(d)는 도 4(c)의 중요도 맵에 따른 이완된 격자를 구비한 입력 화상을 도시한다. 도 4(d)에 도시된 바와 같이, 이완된 격자의 정점은 더 많은 디테일을 포함하는 영역 내에서는 집중되고, 더 적은 디테일을 포함하는 영역 내에서는 분산되어 있다.

본 발명의 일실시예에서, 라플라시안 평활화 절차를 활용하여 중요도 맵에 따라서 영역을 확장시키거나 수축시키는 것에 의해 화상에 걸쳐 정보를 균일하게 분포시킨다. 특히, 격자 이완 모듈(308)은 에너지 함수를 최소화하는 것에 의해 균일한 격자를 이완시킨다.

이 이완 공정은 정점을 새로운 위치로 이동시켜서 격자 에지 e=(i,j)에 의해서 접속되는 2개의 정점(v_i, v_j) 사이의 거리인 |v_i-v_j|가 에지의 중심점에서 주파수 맵에 대해 대략 반비례하게 한다. 이완 공정은 대응되는 현재의 위치(v_i ⁿ)에 변위를 더하는 것에 의해 정점(v_i ⁿ ⁺¹)의 새로운 위치를 결정하는 연속적인 근사값 추정이다. 변위 정점은 다음의 2개의 식을 이용하여 계산된다.

(여기에서, i*는 격자 에지에 의해서 i에 접속되는 그리드 정점 지수의 세트임)

단위 평방의 4개의 모서리(격자의 4개의 정점에 대응됨)는 이동하지 않도록 제한되고, 다른 경계의 정점은 자신을 지지하는 직선의 경계 부분을 따라서만 이동하도록 제한된다. 그 결과로 제한된 변위 벡터(δ(vⁿ))가 생성되고, 그 다음에 이것을 현재의 정점 위치에 더하면 다음과 같다.

도 3을 다시 참조하면, 격자 이완 모듈(308)에서 획득된 이완된 격자를 사용하여 화상 왜곡 장치(316)에 의해 입력 화상(102)을 재샘플링하고, 그것에 의해 왜곡된 화상(110)을 생성한다. 화상 왜곡 장치(316)에 의해 수행되는 재샘플링 프로세스는 왜곡된 화상(110) 내의 각 화소에 있어서 이완된 격자(입력 화상의 도메인(domain) 내에 위치됨)를 이용하여 입력 화상(102) 내에서의 위치에 대해서 질의하는 것을 포함한다. 복귀된 위치를 사용하여 색상 강도(color intensity)를 검색하고, 이 색상 강도는 다음에 왜곡된 화상(110) 내의 시작 위치에서 복제된다. 이러한 단계는 도 4(e)에 도시된 바와 같이 왜곡된 화상(110) 내의 각 화소에 대해서 반복된다.

본 발명은 텍스처 매핑을 이용하는 그래픽 시스템에서 특히 유용하다. 이러한 시스템에서, 2차원 텍스처 화상은 3차원 모델을 묘사하는 데 사용되는 텍스처 좌표와 연관된다. 현대의 그래픽 가속기는 전형적으로 공급된 텍스처 좌표를 이용하여 텍스처 화상을 자동적으로 모델로 변환(또는 텍스처 매핑)할 수 있다.

그러므로, 도 3을 다시 참조하면, 입력 화상(102)과 연관된 입력 텍스처 좌표(318)의 세트는 또한 입력 화상(102)에서와 동일한 방식으로 화상 왜곡 장치(316)에 의해서 왜곡된다. 특히, 입력 텍스처 좌표(318) 내의 각각의 좌표는 이완된 격자에 의해서 규정된 새로운 왜곡된 좌표로 왜곡된다. 그 결과로 출력 텍스처 좌표(320)의 세트가 왜곡된 화상(110)에 대응된다.

예를 들면, 도 6(a) 내지 도 6(f)에서는, 본 발명에 따른 텍스처 매핑 시스템에 의해 묘사된 화상이 도시되어 있다. 텍스처 매핑 시스템은 입력 화상(102)과 입력 화상 도메인 내부의 입력 화상 좌표(318)의 세트를 포함한다. 입력 화상 좌표(318)는 입력 화상(102)이 묘사되는 3차원 모델(602)의 좌표에 대응된다. 그러므로, 입력 화상(102)은 모델(602)로 매핑되어, 묘사된 3차원 화상(604)을 생성한다. 상술된 바와 같이, 현대의 대부분의 그래픽 가속기는 입력 화상(102) 및 입력 텍스처 좌표(318)를 공급받으면 3차원 모델(602)을 자동적으로 텍스처 매핑하도록 구성된다.

본 발명의 일실시예에서, 입력 화상(102) 및 입력 좌표(318)는 모두 이완된 격자에 따라서 왜곡되고, 그것에 의해 왜곡된 화상(110) 및 왜곡된 좌표(320)를 생성한다. 좌표는 화상과 함께 왜곡되었기 때문에, 왜곡된 화상(110) 및 왜곡된 좌표(320)를 이용하여 모델(602)을 묘사할 때 3차원 화상(604)에서의 뒤틀림이 적게 나타나거나 뒤틀림이 없다. 그러므로, 왜곡된 화상(110)은 텍스처 매핑 기능을 구비한 현대의 그래픽 가속기에 의해서 자동적으로 "왜곡 해제"된다. 그러므로 본 발명을 이용하면 기존의 그래픽 가속기 기법을 이용하여 화상의 디테일을 유지하면서 화상을 압축하는 것에 의해 처리된 화상의 왜곡을 해제할 수 있다.

본 발명의 이점을 더 잘 설명하기 위해서, 다음으로 도 7(a) 내지 도 7(d) 및 도 8(a) 내지 도 8(d)를 참조한다. 도 7(a) 내지 도 7(d)에서는, 본 발명에 따른 최적화 프로세스를 사용하지 않고 화상을 3차원 모델로 텍스처 매핑한다. 도 8(a) 내지 도 8(d)에서는, 본 발명에 따른 최적화 프로세스로 화상을 3차원 모델로 텍스처 매핑한다. 도 7(a) 및 도 8(a)는 원래의(축소되지 않은) 화상을 이용하는 텍스처 매핑을 도시한다. 도 7(b) 및 도 8(b)는 화상이 원래 화상의 30%로 축소된 후의 텍스처 매핑을 도시한다. 도 7(c) 및 도 8(c)는 화상이 원래 화상의 20%로 축소된 후의 텍스처 매핑을 도시한다. 도 7(d) 및 도 8(d)는 화상이 원래 화상의 10%로 축소된 후의 텍스처 매핑을 도시한다. 2개의 도면의 세트를 비교하면, 최적화되지 않은 텍스처, 특히 원래 크기의 30% 및 20%인 텍스처에서 화소화 아티팩트(pixelization artifact)가 가장 뚜렷하다는 것이 명확할 것이다. 원래 크기의 10%에서도, 최적화된 화상은 최적화되지 않은 화상에서 존재하지 않는 소정의 고 주파수 디테일을 보존하고 있다.

도 9(a)에서, 요정 조각상(garden gnome)의 텍스처 아틀라스 화상(texture atlas image)이 도시되어 있다. 아틀라스 화상을 사용하여 여러 시점에서 바라본 3차원 모델을 텍스처 매핑하였다. 도 9(b)에서, 원래의 아틀라스 화상을 본 발명에 따라서 왜곡하여 도시하였다. 원래의 아틀라스 화상과 왜곡된 아틀라스 화상을 모두 사용하여 도 9(c)에 도시된 3차원 화상을 렌더링하였다. 다음으로, 여러 화상 압축 인자로 렌더링된 화상 모두에 대해 화상 뒤틀림 분석(image distortion analysis)을 수행하고, 그것을 도 9(d)에 그래프로 나타내었다. 수평축은 서브샘플링된 화상의 크기를 원래 화상의 퍼센트로서 나타낸다. 오른쪽에서부터 왼쪽으로 갈수록, 텍스처는 점차 수축된다. 수직축은 에러를 로그 단위로 나타낸다. 그러므로, 본 발명의 최적화를 이용하거나 이용하지 않고 화상을 서브샘플링하는 것에 의해 생성된 에러를 도 9(d)에 도시하였다. 도시된 바와 같이, 최적화된 화상은 매우 작은(10% 미만) 수축 인자인 경우를 제외하고는, 모든 화상 크기에 대해 기본적으로 더 작은 에러를 발생시킨다.

본 발명에 대한 이상의 설명은 묘사 및 설명을 위한 용도로 제시되었다. 이는 본 발명을 개시된 정확한 형태만으로 배제하거나 한정하기 위한 것이 아니고, 상술된 개시 내용의 견지에서 다른 수정 및 변경이 이루어질 수 있다. 예를 들면, 본 발명은 최적의 송신 및 수신 노드(nodes)를 선택하기 위해서 교번적인 메시지 시퀀스(alternative message sequences)를 사용할 수 있다. 그러므로, 개시된 실시예는 본 발명의 원리 및 그 실제적인 애플리케이션을 가장 잘 설명하기 위해 선택되고 서술되어 이것으로 당업자들이 예상되는 특정한 용도에 적합하게 여러 실시예 및 여러 수정으로 본 발명을 가장 잘 이용할 수 있게 하기 위한 것이다. 첨부된 청구항은 종래 기술에 의해서 한정되는 한도를 제외하고 본 발명의 이와 다른 실시예를 포함하는 것으로 해석되도록 의도된 것이다.

Claims

단위 영역 내의 정보 중요도(information importance)에 따라 입력 화상 내의 단위 화상 영역을 조절하는 방법으로서,

상기 입력 화상 내에서 높은 중요도 영역과 낮은 중요도 영역을 구분하는 중요도 맵(importance map)을 획득하는 단계와,

상기 중요도 맵에 따라서 왜곡된 화상(warped image)을 생성하되, 상기 높은 중요도 영역을 확장하고 상기 낮은 중요도 영역을 압축하도록 상기 입력 화상을 왜곡하는 단계와,

상기 중요도 맵을 생성하는 단계-상기 단계는 상기 입력 화상 내의 국부 주파수 성분(local frequency components)을 측정하는 단계를 구비함-를 포함하며,

상기 주파수 성분 측정 단계는,

상기 입력 화상의 각 단위 영역을 한 쌍의 활성 클래스(activity classes)로 소팅(sorting)하는 단계와,

활성 측정 기준이 달성될 때까지 상기 소팅 동작을 반복하는 단계

를 포함하는 단위 화상 영역 조절 방법.
제 1 항에 있어서,

상기 입력 화상을 왜곡하는 단계는 단위 영역당 정보 중요도의 비가 상기 화상 전체에 걸쳐 실질적으로 일정하게 되도록 상기 입력 화상을 왜곡하는 단계를 포함하는 단위 화상 영역 조절 방법.
제 1 항에 있어서,

역 왜곡 함수(inverse warping function)를 획득하기 위해서 상기 입력 화상 과 연관된 텍스처 좌표(texture coordinates)의 위치를 왜곡시키는 단계를 더 포함하는 단위 화상 영역 조절 방법.
삭제
삭제
삭제
제 1 항에 있어서,

균일한 격자를 이완(relaxing)시켜서 높은 중요도 영역 내의 격자점(grid vertices)을 압축하고 낮은 중요도 영역 내의 격자점을 확장하도록 상기 중요도 맵에 따라 이완된 격자(relaxed grid)를 형성하는 단계를 더 포함하는 단위 화상 영역 조절 방법.
제 7 항에 있어서,

상기 입력 화상의 왜곡 단계는, 상기 이완된 격자를 이용하여 각각의 단위 영역에 대한 변환을 실행함으로써 상기 입력 화상 내에서 각 단위 영역의 위치에 대한 상기 입력 화상 내에서의 새로운 위치를 계산하는 단계를 포함하는 단위 화상 영역 조절 방법.
제 1 항에 있어서,

상기 왜곡된 화상을 수축시키는 단계를 더 포함하는 단위 화상 영역 조절 방법.
제 1 항에 있어서,

상기 왜곡된 화상을 왜곡 해제(unwarping)하는 단계를 더 포함하는 단위 화상 영역 조절 방법.
삭제
삭제
삭제
삭제
청구 범위 제 1 항 내지 제 3 항, 제 7 항 내지 제 10 항 중 어느 한 항에 기재된 방법의 단계를 수행하는 컴퓨터 프로그램을 구비한 컴퓨터 판독 가능 기록 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제