KR20150073120A

KR20150073120A - 이미지의 리사이징

Info

Publication number: KR20150073120A
Application number: KR1020140184714A
Authority: KR
Inventors: 파브리스 미셸
Original assignee: 다솔 시스템므
Priority date: 2013-12-20
Filing date: 2014-12-19
Publication date: 2015-06-30
Also published as: JP6463625B2; CN104732479B; US20150178889A1; CA2875426A1; JP2015122069A; CA2875426C; EP2887305A1; EP2887305B1; CN104732479A; US9501811B2

Abstract

본 발명은 특히 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법에 관한 것이다. 그 방법은:
- 리사이징할 이미지 (I) 를 제공하는 단계;
- 리사이징할 이미지 내의 각 픽셀의 유의도를 컴퓨팅함으로써 이미지 유의도를 제공하는 단계;
- 유의도 이미지의 오리지널 공간 도메인을 추출하는 단계;
- Ω 로부터 리사이징된 공간 도메인 (Ω') 로 제어 포인트들의 세트에 의해 보간 스플라인으로서 파라미터화된 변환 T_θ을 제공하는 단계;
- 각 셀이 상기 세트의 제어 포인트들의 서브세트에 의해 정의되는 셀들로 Ω 를 서브분할하는 단계;
- 각 셀에 대해, 셀 내의 화소들의 유의도의 가중 평균을 컴퓨팅하는 단계, 그 가중 평균은 보간 스플라인을 사용하여 컴퓨팅된다;
- 더 작은 가중 평균을 갖는 셀들의 하나 이상의 제어 포인트들을 변위시킴으로써 Ω 의 셀들을 변형시키는 단계;
- 변위된 하나 이상의 제어 포인트들을 사용하여 이미지 (I) 의 공간 도메인에 대한 변환 T_θ을 컴퓨팅하는 단계;
- 리사이징할 이미지 (I) 의 공간 도메인에 컴퓨팅된 변환 T_θ를 적용함으로써 리사이징된 이미지 (J) 를 컴퓨팅하는 단계를 포함한다.

Description

이미지의 리사이징{RESIZING AN IMAGE}

본 발명은 컴퓨터 프로그램들 및 시스템들의 분야에 관한 것으로서, 특히 이미지를 리사이징하기 위한 방법, 시스템 및 프로그램에 관한 것이다.

컨텐츠 인식 이미지 리타겟팅 (content aware image retargeting) 은 이미지가 그의 컨텐츠에 따라 리사이징되는 이미지 프로세싱에 관련된다. 이미지 사이즈는 (이미지 크롭핑에 반대되는) 이미지의 픽셀들의 제거 없이 또는 픽셀 사이즈가 감소되는 이미지 스케일링에 반대되는) 관련 컨텐츠를 왜곡시킴 없이 변경된다.

Seam carving for content-aware image resizing (Avidan and Shamir, in proceeding of SIGGRAPH '07 ACM SIGGRAPH 2007, Article No. 10) 에서 인접한 픽셀들의 수직 및 수평 라인들이 이미지로부터 제거되어 이미지의 사이즈를 감소시킨다. 이미지 사이즈에서의 증대는 인접한 픽셀들의 라인들을 추가함으로써 행해진다. 이미지 유의도 (significance) 코스트의 계산이 알고리즘을 구동하고 알고리즘에 인접한 픽셀들의 어떤 라인을 제거해야하는지를 알리기 위해 수행된다.

그러나, 씸 카빙 (seam carving) 은 수직 라인이 제어될 때 이미지 내의 행당 (per row) 하나의 픽셀만이 제거되기 때문에 이미지 내에 아티팩트들을 생성할 수도 있다. 이러한 제거는 이러한 종류의 방법의 특징인 이미지 내의 불연속성들을 생성한다.

픽셀들 중 하나 또는 그룹의 제거는 이산 변환 방법들을 특징짓는다. 그러나, 이들 이산 변환 방법들은 모두 동일한 단점을 가진다; 그들은 제 1 장소에서 인접하지 않았던 픽셀들의 집성 (aggregation) 또는 제거에 의해 생성된 불연속성들로 인한 심각한 아티팩트들을 생성한다.

이산 변환 방법들은 연속적인 수학적 함수가 픽셀들에 새로운 위치들을 할당하는 연속 변환 방법들에 반대되고, 컴퓨터의 메모리 내부에서 표현된 이미지에서의 픽셀들의 위치들이 항상 정수인 동안 위치들은 항상 완전한 (integral) 위치들은 아니기 때문에, 보간 (선형, 쿼드래틱...) 이 이미지를 복구하는데 요구된다. 알려진 연속 변환 방법들은 일반적으로 보간을 통해 이미지에 적용되는 연속적인 변환을 다룬다.

그러나, 이들 변환들은 단지 이미지 상에 정의되는 셀들 내의 아핀 수축 (affine shrinkage) 이며, 이와 같이, 그 변환은 이미지를 가로질러 단지 구분적으로 평활하며, 이것은 특히 셀들의 에지들 상에 아티팩트들을 또한 생성할 수 있다. 이들 방법들은 또한 폴드오버들 (fold overs), 즉 변환이 그 자신 주위로 감겨지는 경우에 대한 명시적인 고려를 필요로 하고, 픽셀들이 이미지로부터 단순히 사라져 불쾌하게 하는 시각적 결과들을 야기한다.

이러한 정황에서, 이미지를 리사이징하기 위한 개선된 방법에 대한 필요가 여전히 존재한다.

따라서, 이미지 (I) 를 리사이징하기 위한 컴퓨터 구현 방법이 제공된다. 그 방법은:

- 리사이징할 이미지 (I) 를 제공하는 단계;

- 리사이징할 이미지 내의 각 픽셀의 유의도를 컴퓨팅함으로써 이미지 유의도를 제공하는 단계;

- 유의도 이미지의 오리지널 공간 도메인을 추출하는 단계;

- 오리지널 공간 도메인으로부터 리사이징된 공간 도메인으로 제어 포인트들의 세트에 의해 보간 스플라인으로서 파라미터화된 변환 T_θ을 제공하는 단계;

- 각 셀이 상기 세트의 제어 포인트들의 서브세트에 의해 정의되는 셀들로 오리지널 공간 도메인을 서브분할하는 단계;

- 각 셀에 대해, 셀 내의 화소들의 유의도의 가중 평균을 컴퓨팅하는 단계, 그 가중 평균은 보간 스플라인을 사용하여 컴퓨팅된다;

- 더 작은 가중 평균을 갖는 셀들의 하나 이상의 제어 포인트들을 변위시킴으로써 오리지널 공간 도메인의 셀들을 변형시키는 단계;

- 변위된 하나 이상의 제어 포인트들을 사용하여 이미지 (I) 의 공간 도메인에 대한 변환 T_θ을 컴퓨팅하는 단계;

- 리사이징할 이미지 (I) 의 공간 도메인에 컴퓨팅된 변환 T_θ를 적용함으로써 리사이징된 이미지 (J) 를 컴퓨팅하는 단계를 포함한다.

방법은 다음 중 하나 이상을 포함할 수도 있다:

- 제공된 변환 T_θ은 J(x) = I(T_θ ^-1(x)) 이도록 하는 미분동형사상 (diffeomorphic) 변환 T_θ이고, 여기서 I 는 리사이징될 이미지이고, J 는 리사이징된 이미지이며, x 는 오리지널 공간 도메인 (Ω) 내의 주어진 픽셀의 위치가다;

- 미분동형사상 변환 T_θ은 식 T_θ= x + u_θ(x) 에 의해 정의되고, 여기서 x 는 오리지널 공간 도메인 (Ω) 내의 주어진 픽셀의 위치가고, u_θ(x) 는 변위 함수이고 여기서 u 는 오리지널 공간 도메인 (Ω) 으로부터 리사이징된 공간 도메인 (Ω') 으로의 맵핑이다;

- 변환 T_θ은 자유 형태 변형 보간 스플라인으로서 파라미터화되고, 변위 함수 u_θ(x) 는 식

에 의해 정의되며, 여기서 B⁰, B¹, B², B³ 은 큐빅 B-스플라인들 함수들이고, θ 는 제어 포인트들을 나타내는 함수이며, s_w 는 수평 방향에서의 2 개의 제어 포인트들 사이의 간격이고, s_h 는 수직 방향에서의 2 개의 제어 포인트들 사이의 간격이고, x_w 는 수평 축 상의 오리지널 공간 도메인 (Ω) 에서의 픽셀의 위치이며, x_h 는 수직 축 상의 오리지널 공간 도메인 (Ω) 에서의 픽셀의 위치이다;

- 제어 포인트들의 세트는 그리드를 형성하고, θ 는 제어 포인트들의 그리드를 나타내는 함수이다;

- 각 셀에 대해, 셀 내의 픽셀들의 유의도의 가중 평균을 컴퓨팅하는 단계는 함수

를 사용하여 수행되며, 여기서 Ω_(i,j) 는 오리지널 공간 도메인 (Ω) 의 파티션이고, S(x) 는 제공된 유의도 이미지를 나타낸다;

- 파티션 Ω_(i,j) 는 셀들에 의해 커버된 도메인이다;

- 유의도 이미지로부터 추출된 오리지널 공간 도메인 (Ω) 은 리사이징할 이미지 (I) 의 공간 도메인 (Ω) 과 동일하다;

- 리사이징된 이미지 (J) 를 컴퓨팅하는 단계는 이미지 사이즈를 감소시키거나 증가시키는 단계를 포함한다.

그 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램이 또한 제공된다.

컴퓨터 프로그램을 기록한 컴퓨터 판독가능 저장 매체가 또한 제공된다.

컴퓨터 프로그램이 기록된 메모리에 커플링된 프로세서를 포함하는 시스템이 또한 제공된다.

본 발명의 실시형태들이 이제 비제한적인 예로써 그리고 첨부하는 도면들을 참조하여 기술될 것이다.
- 도 1 은 방법의 예의 플로우챠트를 도시한다.
- 도 2 는 본 발명에 따른 컨텐츠 인식 이미지 리타겟팅을 수행하는 컴퓨터 프로그램의 계산적 모듈들의 예를 도시한다.
- 도 3 및 도 4 는 이미지 유의도 계산의 에를 도시한다.
- 도 5 및 도 6 은 요약 이미지 계산의 예를 도시한다.
- 도 7 은 순방향 맵핑 변환의 예를 도시한다.
- 도 8 은 역방향 맵핑 변환의 에를 도시한다.
- 도 9 는 B-스플라인 보간 그리드의 예를 도시한다.
- 도 10 은 B-스플라인 보간 그리드의 제어 포인트의 변위의 영향의 예를 도시한다.
- 도 11 은 리사이징할 오리지날 이미지 (I) 를 도시한다.
- 도 12 는 도 11 의 이미지의 유의도 이미지를 도시한다.
- 도 13 은 변환을 인코딩하는데 사용되는 B-스플라인 보간 그리드를 도시한다.
- 도 14 는 도 12 의 유의도 이미지의 요약 이미지를 도시한다.
- 도 15 는 가장 큰 유의도를 갖는 그리드 칼럼들을 감소시킴으로써 변형된 도 13 의 그리드의 예를 도시한다.
- 도 16 은 도 11 의 오리지날 이미지 (I) 상에 변환을 적용함으로써 획득된 리사이징된 이미지를 도시한다.
- 도 17 은 본 발명에 따른 방법을 수행하는 컴퓨터 시스템의 예를 도시한다.

도 1 의 플로우챠트를 참조하면, 이미지 (I) 를 리사이징하기 위한 컴퓨터 구현 방법이 제안된다. 그 방법은 리사이징할 이미지 (I) 를 제공하는 단계를 포함한다. 방법은 또한 리사이징할 이미지 (I) 내의 각 픽셀의 유의도를 컴퓨팅하고, 이미지 유의도를 제공하는 단계를 포함한다. 이미지 유의도는 리사이징할 이미지 (I) 의 유의도를 픽셀 마다 기술한다. 방법은 또한 유의도 이미지의 오리지널 공간 도메인 (Ω) 을 추출하는 단계를 포함한다. 방법은 또한 제어 포인트들의 세트에 의해 보간 스플라인으로서 파라미터화된, T_θ로 표시된 변환 제공하는 단계를 포함한다. 그 변환은 오리지널 공간 도메인 (Ω) 으로부터 리사이징된 공간 도메인 (Ω') 으로의 맵핑이다. 또, 방법은 셀들로 오리지널 공간 도메인 (Ω) 을 서브분할하는 단계를 포함한다. 각 셀은 상기 세트의 제어 포인트들의 서브세트에 의해 정의된다. 방법은 또한, 각 셀에 대해, 셀 내의 화소들의 유의도의 가중 평균을 컴퓨팅하는 단계를 포함한다. 그 가중 평균은 보간 스플라인을 사용하여 컴퓨팅된다. 방법은 또한 더 작은 가중 평균을 갖는 셀들의 하나 이상의 제어 포인트들을 변위시킴으로써 오리지널 공간 도메인 (Ω) 의 셀들을 변형시키는 단계를 포함한다. 또한, 방법은 변위된 하나 이상의 제어 포인트들을 사용하여 리사이징할 이미지 (I) 의 공간 도메인에 대한 변환 T_θ을 컴퓨팅하는 단계를 포함한다. 방법은 또한 리사이징할 이미지 I 의 공간 도메인에 컴퓨팅된 변환 T_θ를 적용함으로써 리사이징된 공간 도메인 (Ω') 상의 리사이징된 이미지 J 를 컴퓨팅하는 단계를 포함한다.

그러한 방법은 이미지 내의 임의의 폴드오버를 방지하고 나타날 수도 있는 아티팩트들을 회피함으로써 이미지의 리사이징을 개선한다. 또, 방법은 표준 압축 알고리즘을 사용하여 더욱 용이하게 압축가능한 리사이징된 이미지들을 제공한다. 실제로, 리사이징할 이미지 (I) 에 적용되는 변환 T_θ의 파라미터들은 보간 스플라인의 제어 포인트들의 세트로 국부적으로 제어되는 글로벌 변환을 정의한다. 변환은 연속적이고 가역적이며, 변환의 유도체 (derivate) 도 연속적이며 가역적이다. 따라서, 본 발명은 변환의 특성들이 이미지 내의 임의의 폴드오버를 방지하고 셀들의 에지들 상에 나타날 수도 있는 아티팩트들을 회피하기 때문에 인간의 눈에 더욱 자연스럽게 보일 이미지들 내의 더 평활한 변환을 생성한다. 또, 본 발명에 따라 리사이징된 이미지들은 이미지를 특징짓기 위해 불연속성들에 많이 의존하는 표준 압축 알고리즘들 (예를 들어, JPEG, JPEG2000) 에 의해 더욱 용이하게 압축가능하다: 이미지가 더욱 많은 불연속성들을 가질 수록, 압축된 파일은 더 클 것이다. 따라서, 이미지 도함수들에서의 불연속성들을 제한함으로써, 더 높은 압축 레이트들이 사용될 수 있다.

방법은 컴퓨터로 구현된다. 이것은 방법의 단계들 (또는 실질적으로 모든 단계들) 이 적어도 하나의 컴퓨터 또는 유사한 임의의 시스템에 의해 실행된다. 따라서, 방법의 단계들은 컴퓨터에 의해 가능하게는 완전히 자동적으로, 또는 반자동적으로 수행된다. 예들에서, 방법의 단계들의 적어도 일부의 트리거링은 사용자-컴퓨터 상호작용을 통해 수행될 수도 있다. 요구되는 사용자-컴퓨터 상호작용의 레벨은 예상된 자동화의 레벨에 의존하고 사용자의 희망들을 구현할 필요와 균형을 맞출 수도 있다. 예들에서, 이러한 레벨은 사용자 정의 및/또는 사전 정의될 수도 있다.

예를 들어, 리사이징할 이미지 (I) 를 제공하는 단계는 사용자 액션 시에, 즉 사용자가 리사이징할 이미지를 선택할 때 수행될 수도 있다. 그 선택은 본 기술에서 잘려진 바와 같이 수행될 수도 있으며, 예를 들어 키보드, 마우스, 스타일러스, 터치 스크린 등과 같은 햅틱 디바이스를 통해 선택을 수행할 수도 있다. 예를 들어, 2-버튼 마우스에서, 좌측 버튼은 이미지를 선택하기 위해 사용될 수 있을 것이다. 시스템은 또한 이미지를 디폴트로, 즉 사용자 선택을 요구하지 않고 식별할 수도 있다.

방법의 컴퓨터 구현의 통상적인 예는 이러한 목적에 적응된 시스템으로 방법을 수행하는 것이다. 그 시스템은 메모리에 커플링된 프로세서 및 그래픽 사용자 인터페이스 (GUI) 를 포함할 수도 있고, 메모리는 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램을 저장하고 있다. 메모리는 또한 데이터베이스를 저장할 수도 있다. 메모리는 가능하게는 수개의 물리적 별개의 부분들 (예를 들어, 프로그램을 위해 하나, 및 가능하게는 데이터베이스를 위해 하나) 을 포함하는, 그러한 저장에 적응된 임의의 하드웨어이다.

도 17 은 메모리에 커플링된 컴퓨터 시스템 프로세서의 예를 도시한다. 프로세서는 예를 들어 리사이징된 이미지를 디스플레이하기 위해 그래픽 사용자 인터페이스에 커플링될 수도 있다.

예의 클라이언트 컴퓨터는 내부 통신 BUS (1000) 에 연결된 중앙 처리 유닛 (CPU), 그 BUS 에 또한 연결된 랜덤 액세스 메모리 (RAM) (1070) 를 포함한다. 클라이언트 컴퓨터는 또한 BUS 에 연결된 비디오 랜덤 액세스 메모리 (1100) 와 연관된 그래픽 처리 유닛 (GPU) (1110) 이 제공된다. 비디오 RAM (1100) 은 또한 프레임 버퍼로서 본 기술에서 알려져 있다. 대량 저장 디바이스 제어기 (1020) 는 하드 드라이브 (1030) 과 같은 대량 메모리 디바이스에의 액세스들을 관리한다. 컴퓨터 프로그램 명령들 및 데이터를 유형적으로 수록하기에 적합한 대량 메모리 디바이스들은 예로써 EPROM, EEPROM, 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 내부 하드 디스크들 및 착탈가능 디스크들과 같은 자기 디스크들; 자기광학 디스크들; 및 CD-ROM 디스크들 (1040) 을 포함하는, 비휘발성 메모리의 모든 형태들을 포함한다. 상술한 것 중 임의의 것이 특정적으로 설계된 ASIC 들 (주문형 반도체들) 에 의해 보충되거나 그것에 통합될 수도 있다. 네트워크 어댑터 (1050) 는 네트워크 (1060) 에의 액세스들을 관리한다. 클라이언트 컴퓨터는 또한 커서 제어 디바이스, 키보드 등과 같은 햅틱 디바이스 (1090) 를 포함할 수도 있다. 커서 제어 디바이스는 사용자가 디스플레이 (1080) 상의 임의의 원하는 위치에 커서를 선택적으로 위치시키는 것을 허용하기 위해 클라이언트 컴퓨터에서 사용된다. 또, 커서 제어 디바이스는 사용자가 여러 커맨드들을 선택하고, 제어 신호들을 입력하는 것을 가능하게 한다. 커서 제어 디바이스는 시스템으로 제어 신호들의 입력을 위한 다수의 신호 발생 디바이스들을 포함한다. 통상적으로, 커서 제어 디바이스는 마우스일 수도 있고, 그 마우스의 버튼은 신호들을 발생시키는데 사용된다. 대안적으로 또는 추가적으로, 클라이언트 컴퓨터 시스템은 선택적인 패드, 및/또는 선택적인 스크린을 포함할 수도 있다.

컴퓨터 프로그램은 컴퓨터에 의해 실행가능한 명령들을 포함할 수도 있으며, 그 명령들은 상기 시스템으로 하여금 방법을 수행하게 하는 수단을 포함한다. 프로그램은 시스템의 메모리를 포함하여, 임의의 데이터 저장 매체 상에 기록가능할 수도 있다. 프로그램은 예를 들어 디지털 전자 회로로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합으로 구현될 수도 있다. 프로그램은 장치, 예를 들어 프로그램가능 프로세서에 의한 실행을 위해 머신 판독가능 저장 디바이스에 유형적으로 구현된 제품으로서 구현될 수도 있다. 방법 단계들은 입력 데이터에 대해 연산하고 출력을 생성함으로써 방법의 기능들을 수행하는 명령들의 프로그램을 실행하는 프로그램가능한 프로세서에 의해 수행될 수도 있다. 따라서, 프로세서는 데이터 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고, 이들로 데이터 및 명령을 송신하도록 프로그램가능하고 커플링될 수도 있다. 애플리케이션 프로그램은 하이-레벨 절차적 또는 객체-지향 프로그래밍 언어로, 또는 원한다면 어셈블리 또는 기계 언어로 구현될 수도 있다. 어느 경우든, 그 언어는 컴파일되거나 인터프리트된 언어일 수도 있다. 프로그램은 완전 설치 프로그램 또는 업데이트 프로그램일 수도 있다. 시스템 상에의 프로그램의 적용은 어느 경우에나 방법을 수행하기 위한 명령들을 야기한다.

도 1 의 플로우챠트로 돌아가서, 단계 (S10) 에서, 리사징할 이미지 (I) 가 제공된다. 이미지 (예를 들어, 리사이징할 이미지 (I)) 를 제공하는 것은 이미지가 본 발명에 따른 방법을 수행하는 시스템에 이용가능한 것을 의미한다. 예를 들어, 이미지는 컴퓨터의 메모리에 일시적으로 저장될 수도 있고, 방법을 수행하기 위한 명령들을 포함하여, 컴퓨터에 의해 실행되는 컴퓨터 프로그램에 의해 액세스될 수도 있다. 상기와 달리, 단계 (S10) 는 리사이징할 이미지 (I) 의 입력이다. 이미지는 예를 들어, 도 17 의 디스플레이 (1080) 상에서 사용자에게 디스플레이되거나 디스플레이 되지 않을 수도 있다.

이미지는 벡터 또는 래스터 포맷일 수도 있지만 이것에 제한되지 않는다. 이미지가 래스터 포맷인 경우에, 본 발명에 따른 방법은 비트맵 픽셀 어레이 상에서 직접 수행될 수 있다. 이미지가 벡터 포맷인 경우에는, 리사이징할 이미지는 본 발명에 따른 방법이 수행되는 래스터 포맷으로 변환된다.

설명의 목적으로만, 이미지의 수학적 정의가 이제 논의된다. 이미지는 공간 도메인 (Ω) (디멘젼 (d) 인 공간 도메인 (Ω)) 으로부터 이미지 값들의 공간인 V (V 는 디멘젼 (c) 이다) 로의 맵핑이다. 가장 일반적인 의미에서 이미지를 정의하기 위해 Ω 또는 V 의 특성에 대한 어떠한 가종도 취해지지 않는다.

예를 들어, 컴퓨터 메모리에서 그레이의 256 개의 셰이드들에 걸치는, 디멘젼 m 바이 n 의 2차원 (2D) 이미지 (I) 는 맵핑 (식 1) 으로서 정의될 수 있다:

이러한 예에서, 공간 도메인 (Ω) 은 디멘젼 (d=2) 이고, 이미지 값들 V 의 공간은 디멘젼 (c=1) 이다. 2D 이미지는 그것이 이산 공간 도메인 (Ω) 상에서 정의되기 때문에 이산 이미지로서 고려될 수 있다. 이것은 형태:

의 공간 도메인 (Ω) 상에서 정의되는 연속적인 이미지들에 반대된다.

이산 변환들은 통상 이산 이미지들에 작용하는 변환들을 지칭하는 반면, 연속 변환들은 연속적인 이미지들에 작용한다. 이산 이미지 공간만이 컴퓨터의 메모리에서 표현될 수 있기 때문에, 보간과 같은 수치 방법들이 본 기술에서 알려진 정수 위치들

에서의 이미지의 값들을 컴퓨팅하는데 사용된다.

단계 (S20) 에서, 이미지 (I) 의 이미지 유의도 (S) 는 리이징할 이미지 (I) 내의 각 픽셀의 유의도를 컴퓨팅함으로써 제공된다. 이미지 유의도는 이미지의 각 픽셀과 연관된 코스트 (cost) 로서 정의된다. 이러한 코스트는 픽셀이 전달하는 정보의 양에 직접 링크된다. 픽셀에 의해 전달된 정보의 양은 이미지 내의 픽셀의 관련도 (relevance) 일 수도 있지만, 이것에 제한되지 않으며, 예를 들어 그 관련도는 사용자에 의해 결정될 수도 있다. 이미지 (I) 의 픽셀의 유의도는 이미지의 무결성을 위해 픽셀의 중요도를 정량화한다. 이리하여, 이미지 (I) 의 이미지 유의도는 다른 것들 보다 더 큰 중요도를 전달하는 이미지 (I) 내의 픽셀들을 나타낸다.

도 3 의 예의 경우, 캐릭터의 좌측 및 우측 상의 백색 존들을 감소시키는 것은 장면의 시각적 이해를 변화시키지 않을 것이다: 실제로, 관찰자는 도 3 의 이미지 및 백색 영역들이 감소되는 이미지 어느 것으로부터도 동일한 정보를 모을 것이다. 이상적으로 이미지 유의도는 컨텐츠가 시각적 외모의 주요한 변경 없이 부드러워질 수 없는 영역들에서 더 높은 값들으르 가질 것이다.

실제로, 이미지 유의도는 그 자체가 이미지로서 표현된다. 또한, 이미지 및 유의도 이미지 양자 모두의 공간 도메인은 동일하다: 즉, 양 이미지에서의 픽셀 로케이션들은 동일한 공간 위치들을 나타낸다.

유의도 이미지의 각 픽셀에 할당된 값은 픽셀에 의해 전달된 정보의 양을 나타낸다. 이것은 도 3 의 이미지로부터 획득된 유의도 이미지를 도시하는 도 4 에 도시된 바와 같다: 도 4 에서, 어두운 영역들은 높은 정보성 컨텐츠 영역들을 나타낸다. 유의도 이미지의 표시는 모든 백색 영역들이 이미지 글로벌 정보력에 크게 영향을 주지 않고 감소될 수 있다고 용이하게 해석하는 것을 허용한다.

본 기술에서 알려진 임의의 이미지 유의도 계산 방법들이 사용될 수 있다. 예를 들어, 이미지 유의도를 컴퓨팅하기 위한 가장 기본적인 방법들 중 하나가 사용될 수도 있다: 평활화가 2D 가우시안 필터들을 사용하여 행해지는 이미지 그레디언트 놈의 평활화된 버전. 도 4 는 이미지의 그레디언트 놈이 평활화된 도 3 의 이미지를 디스플레이한다. 이미지 유의도 계산의 다른 예로서, 이미지 세일리언스 (saliency) 계산이 사용될 수도 있다. 이미지 세일리언스는 이미지 세그멘테이션을 위해 이미지의 관련 부분들을 발견하는 것을 목적으로 한다. 흥미롭게도, 이미지 유의도는 또한 예를 들어 비디오에서의 경우와 같이, 이미지들이 정적이 아니라 동적인 경우에 모션 정보를 사용함으로써 계산될 수도 있다. 이것은 특히 비디오의 리타겟팅된 프레임들 사이의 시간 코히어런스를 유지하기 위해 비디오들을 리타겟팅할 때 유용하다. 모션 정보는 통산 이미지의 광학적 흐름으로서 코딩되고 본 기술에서 알려진 방법들 중 임의의 것을 사용하여 계산될 수 있을 것이다.

다음에, 단계 (S30) 에서, 유의도 이미지의 오리지널 공간 도메인이 추출된다. 오리지널 공간 도메인은 Ω 로 표시된다. 그 공간 도메인은 디지털 이미지가 그의 픽셀들의 공간 좌표들 (2D 이미지의 경우에 x, y, 일반적인 경우에

) 에 의해 정의되는 도메인 (예를 들어, 평면) 이다. 논의된 바와 같이, 유의도 이미지의 공간 도메인은 리사이징할 이미지 (I) 의 공간 도메인과 동일할 수도 있다. 유의도 이미지 및 이미지 (I) 의 양 공간 도메인들이 동일한 경우에, 양 이미지들에서의 픽셀 로케이션들은 동일한 공간 위치들을 나타낸다.

그 후, 단계 (S40) 에서, T_θ로 표시된 변환이 제공된다. T_θ는 오리지널 공간 도메인 (Ω) 으로부터 리사이징될 공간 도메인 (Ω') 으로 제어 포인트들의 세트에 의해 보간 스플라인으로서 파라미터화된다.

용어 변환은 이미지 (I) 픽셀 위치들에 적용되고, I 의 현존하는 픽셀들의 위치를 단순히 변위시켜, 리사이징된 이미지 (J) 를 야기하는 연산자를 의미한다. 이리하여, 변환은 그들의 값들이 아니라 픽셀 좌표들에 작용한다. 리사이징할 이미지 (I) 의 픽셀들 좌표들의 서브세트만이 관계되는 이산 변환으로부터, 이미지 (I) 의 모든 픽셀들이 관계되는 연속 변환까지 임의의 종류의 변환이 가능하다. 변환은 T_θ로 표시되고, 여기서 T 는 변환을 지정하기 위해 의도되고, θ 는 이후에 설명되는 바와 같이 변환의 파라미터들을 지정하기 위해 의도된다.

설명을 위해, 변환 T_θ의 수학적 정의가 이제 논의된다. 변환 T_θ과 같은 이미지 변환은 입력 공간 도메인 (Ω) 으로부터 출력 공간 도메인 (Ω') 으로의 맵핑이다. 입력 공간 도메인 (Ω) 은 단계 (S30) 에서 추출된 유의도 이미지의 오리지널 공간 도메인일 수도 있다. 출력 공간 도메인 (Ω') 은 리사이징된 이미지 (J) 의 공간 도메인일 수 있다. Ω' 는 Ω 의 리사이징된 버전이다. Ω 및 Ω' 는 동일한 밀도를 갖는다. 용어 밀도는 공간 내부의 그러나 가능하게는 상이한 바운드들 (bounds) 을 갖는 값들의 타입 (실수, 정량화된, 정수,...) 을 특징짓는다. 변환은 Ω 로부터 Ω' 로의 맵핑의 모든 특성들을 갖는다, 즉 맵핑이 선형이면 변환은 선형인 것으로 말해지며, 맵핑이 연속적이면, 변환은 연속적이다.

리사이징된 이미지 (J) 는 변환 T_θ이 적용되는 리사이징할 이미지 (I) 로서 정의된다. 이리하여, Ω 내의 픽셀들의 모든 위치 (x) 에 대해, 다음의 식 (식 2) 을 적용한다:

J(T_θ(x)) = I(x)

즉, 픽셀의 각 새로운 위치 y = T_θ(x) 에서, I(x) 의 값은 J(y) 에서 카피된다. 픽셀들의 값들은 변경되지 않고, 그들의 위치들만이 변경될 수 있다. 픽셀들은 리사이징할 이미지의 좌표 프레임으로부터 리사이징된 이미지로 "순방향으로" 이동되며; 이러한 경우에 순방향 맵핑이 도 7 상에 도시된 바와 같이 수행되며, 여기서 변환이 새로운 이미지 내의 비정수 (non-integral) 위치들로 맵핑하기 때문에 셰이딩된 사각형은 비어있는 픽셀을 도시한다.

흥미롭게도, 변환 T_θ은 가역적일 수도 있다. 즉, 변환은 역전될 수 있다. 이러한 경우에, 리사이징할 이미지 (I) 의 공간 도메인 (Ω) 에서의 모든 위치 (x) 에 대해, 다음의 식 (식 3) 을 적용한다:

J(x) = I(T_θ ^-1(x))

식 3 의 결과로서, 리사이징된 이미지 (J) 에서의 모든 픽셀은 이미지 (I) 내의 위치가 할당될 것이다. 픽셀들은 리사이징된 이미지 (J) 의 좌표 프레임으로부터 리사이징할 이미지 (I) 로의 "역방향" 으로 이동된다; 이러한 경우에 역방향 맵핑은 도 8 에 도시된 바와 같이 수행된다. 이러한 역방향 맵핑은 오리지널 위치 공간 내의 비정수 위치들을 다루는 경우 보간 스킴이 가능하기 대문에 수행될 수 있다. 실제로, 임의의 변환 인버전 (inversion) 스킴이 사용될 수도 있다. 예를 들어, Gary E. Christensen, Hans J. Johnson: Consistent Image Registration. IEEE Trans. Med. Imaging 20(7): 568-582 (2001) 에서 논의된 인버전 스킴이 사용될 수도 있다.

단계 (S40) 에서 제공된 변환 T_θ은 미분동형사상 변환 T_θ일 수도 있다. 미분동형사상 변환은 전단사 도함수에 대해 연속, 전단사, 미분가능한 변환이고, 그의 역이 또한 연속이고 미분가능하다. 이롭게도, 미분동형사상 변환은 리사이징할 이미지의 도함수들에서도 임의의 아티팩트들을 생성하지 않고 평활한 방식으로 리사이징할 이미지를 변환한다. 이것은 입력 공간 도메인 (Ω) 이 파티셔닝되어, 파티션들의 에지들에서 아티팩트들을 생성하는 구분적 평활 변환과 반대된다. 이들 아티팩트들 각각은 이미지들을 덜 압축하기 쉽게 하는 높은 주파수들을 생성한다. 미분동형사상 변환의 다른 이점은 그 변환이 가역적이라는 것이다: 비자연스럽게 보이는 모든 변환들은 폐기되고, 따라서 잘 알려져 있는 폴드오버 문제를 회피한다. 실제로, 변환이 한 곳에서 가역적이지 않다면, 가능하게는 공간 도메인 (Ω) 내의 2 개의 상이한 픽셀 위치들이 리사이징된 공간 도메인 (Ω') 내의 동일한 픽셀 위치로 맵핑하는 것을 획득할 수 있다. 그것은 폴드오버 자체인 이미지의 시각적 효과를 야기한다.

변환 T_θ은 파라미터화된다. 이것은 공간 도메인 (Ω) 이 매우 클 (가능하게는 무한일) 수도 있기 때문에 변환이 계산적으로 비현실적이기 때문에 변환이 전체 공간 도메인 (Ω) 상에서 명시적이게 되지 않는다는 것을 의미한다. 파라미터화된 변환은 Ω 내의 각각의 및 모든 위치에서, 그러나 Ω 의 카디널리티보다 작은 제한된 수의 파라미터들에 대해 평가될 수 있다.

변환 T_θ은 보간 스플라인으로서 파라미터화된다. 본 기술에서 알려져 있는 스플라인은 스플라인의 차수에 따라 구분적으로 정의된 다항식 함수이며, 피스 (piece) 들 사이의 연결에서의 평활함의 정도가 설정될 수 있다. 피스 연결들에서의 스플라인의 평활함의 정도는 또한 스플라인의 평활함의 전체 정도이다. 스플라인들은 보간 노드들로도 불리는 제어 포인트들을 갖는다. 제어 포인트들의 변위는 스플라인의 형상을 변경한다. 이리하여, 변환 T_θ은 T_θ을 파라미터화하는 보간 스플라인의 제어 포인트들의 세트에 의해 파라미터화된다.

임의의 종류의 스플라인이 변환 함수 T_θ를 파라미터화하기 위해 고려될 수 있다. 실제로,

- Bookstein, Fred L. "Principal warps: Thin-plate splines and the decomposition of deformations." In IEEE Transactions on Pattern Analysis and Machine Intelligence archive, Volume 11 Issue 6, June 1989, Page 567-585 에서 논의된 박판 스플라인들;

- Sederberg, Thomas W., and Scott R. Parry. "Free-form deformation of solid geometric models." In Proceeding of SIGGRAPH '86 Proceedings of the 13th annual conference on Computer graphics and interactive techniques, Pages 151-160 에서 논의된 자유 형태 변형들;

- Piegl, Les A., and Wayne Tiller. "The NURBS book" 에서 논의된 비균일 유리 B-스플라인 또는 NURBS

와 같은 그러나 이들에 제한되지 않는 이미지 프로세싱을 위한 특정한 관심의 스플라인들이 존재한다.

변환은 입력 공간 도메인 (Ω) 으로부터 출력 공간 도메인 (Ω') 으로의 맵핑이다. 변환 T_θ은 각 셀에 대해 픽셀 위치 (x) 및 그의 변위 u_θ(x) 의 합일 수도 있으며, 여기서 u_θ는 Ω 로부터 Ω' 로의 맵핑이다. Ω 내의 모든 위치 (x) 에 대해, 변환 T_θ은 다음의 식 (식 4) 에 의해 표현될 수 있다:

T_θ= x + u_θ(x)

변환 T_θ의 이러한 표현을 사용하는 것은 이롭게도 일반성의 손실 없이 픽셀들의 변위들에 의해 T_θ 을 표현하는 것을 허용한다. 변위는 그의 위치에 연관된 컴포넌트 및 픽셀 위치의 실제의 변위로 분해되고, 변환은 변위가 (큰 도메인 상에서) 작은 경우에도 꽤 클 수 있다.

이제 도 9 를 참조하면, 유의도 이미지로부터 추출된 오리지널 공간 도메인 (Ω) 에 대해 정의된 제어 포인트들의 세트의 예가 도시된다. 덧붙여 말하자면, 수개의 제어 포인트들이 오리지널 공간 도메인 (Ω) 밖에 있다는 것을 알 수있다. 이러한 예에서, 오리지널 공간 도메인 (Ω) 은 디멘젼 (d=2) 이고 셰이딩된 사각형에 의해 표현된다. 제어 포인트들의 세트는 변환 T_θ을 파라미터화하는 보간 스플라인의 파라미터들을 제어하고, 그들은 흑색 점들로 표현된다. 설명을 위해서만, 논의는 자유 형태 변형들 (FFD) 보간 스플라인에 초점을 맞춘다.

각 제어 포인트 위치들의 위치는 θ(i,j) 로서 표시될 수 있고, 여기서 θ(i,j) 는 (i,j) 제어 포인트의 위치를 나타내는 2D 벡터이다. 제어 포인트들은 각각 인덱스들 (i 및 j) 로 좌측에서 우측으로 및 상측에서 하측으로 임의적으로 인덱싱된다. 수평 방향에서의 2 개의 제어 포인트들 사이의 간격은 s_w 로서 표시되고, 수직 방향에서는 s_h 로서 표시되며, 동일한 방식으로 수평 축 상의 오리지널 공간 도메인 (Ω) 에서의 위치 (x) 의 투영은 x_w 로서 표시되고 수직 축상의 오리지널 공간 도메인 (Ω) 에서의 위치 (x) 의 투영은 x_h 로서 표시된다. 리사이징할 이미지 (I) 의 공간 도메인은 또한 좌측으로부터 우측으로 그리고 상측으로부터 하측으로 배향되는 것으로 고려된다.

수평 및 수직 방향들이 임의적으로 선택되고 참조 프레임 (x,y) 을 사용하여 정의될 수도 있다. 예를 들어, 도 9 에서, 참조 프레임은 Ω 의 좌상측 코너에 위치되는 공통 원점을 갖는 2 개의 화살표들에 의해 표현된다. 이리하여, 도 9 에서, x-축은 수형 방향을 나타내고, y-축은 수직 방향을 나타내다.

여전히 도 9 를 참조하여, 제어 포인트들의 세트는 규칙적인 그리드를 형성하고, 여기서 제어 포인트들은 오리지널 공간 도메인 (Ω) 에 대해 균일하게 확산된다. 제어 포인트들의 그리드는 FFD 로부터 획득되었다; 스플라인의 차수에 따라, 이러한 예에서 4 개의 제어 포인들에 의해 지원되는 2D 베지어 (Bezier) 보간 스플라인들이 컴퓨팅되었다. 용어 규칙적인 그리드는 2 개의 제어 포인트들 사이의 오리지널 수평 간격 (s_w) 의 값이 항상 동일하다는 것을 수반한다. 유사하게, 2 개의 제어 포인트들 사이의 오리지널 수직 간격 (s_h) 의 값이 항상 동일하다. 수평 간격 (s_w) 은 도 9 에 도시된 바와 같이 수직 간격 (s_h) 과 동일한 값을 가질 수도 있다. 도 9 의 제어 포인트들의 세트의 제어 포인트들은 이하에 설명되는 바와 같이 발명의 프로세스 동안 이동될 수도 있다.

흥미롭게도, 제어 포인트들의 세트는 오리지널 공간 도메인 (Ω) 에 대해 정의되는 새로운 도메인을 생성한다. 이러한 새로운 도메인은 Λ 로 지칭되며, 이후에 논의된다. Λ 는 Ω 상에 작용하며, 이것은 제어 포인트 (예를 들어, 도 10 의 제어 포인트 (100)) 의 변위가 스플라인에 영향을 줄것이고, 차례로 Ω 에 국부적으로 영향을 줄 것이라는 것을 의미한다.

이전에 논의된 바와 같이, 변환 T_θ은 입력 공간 도메인 (Ω) 으로부터 출력 공간 도메인 (Ω') 로의 맵핑이고, Ω 로부터 Ω' 로의 천이는 픽셀 위치 (x) 및 그의 변위 u_θ(x) 의 합이다. 임의의 픽셀 위치로부터, 변위 함수 u_θ(x) 는 제어 포인트 위치들로부터 획득될 수도 있다. 이리하여, 식 4 의 변위 함수 u_θ 는 다음의 식 5 에서 나타낸 바와 같이 제어 포인트들의 위치들의 가중 선형 조합으로서 정의될 수도 있다:

식 5 에서, FFD 의 표현은 큐빅 B-스플라인을 사용한다: 함수들 B_k 및 B_l 은 본 기술에서 알려져 있는 동일한 차수의 베른스타인 다항식들과 또한 일치하는 큐빅 B-스플라인들이다. 상이한 차수의 임의의 B-스플라인들이 사용될 수 있고, 본 발명은 제 3 차수의 B-스플라인들에 제한되지 않는다는 것을 이해한다. 본 발명은 FFD 에 링크되는 B-스플라인들에 제한되지 않지만, 이전에 논의된 임의의 종류의 스플라인에 제한된다.

이전에 논의된 바와 같이, 각 제어 포인트의 위치는 θ(i,j) 로 표시될 수 있다. 식 5 에서, θ 는 파라미터화된 변환의 제어 포인트들의 세트를 나타내는 함수이다. 특히, 함수 θ 는 변환 T_θ의 유일한 파라미터이다: 실제로, θ 에 대한 지식은 변위 u_θ 및 이리하여 변환 T_θ을 완전히 기술하는 것을 허용한다. 결과적으로, 그리드에서의 제어 포인트의 변위는 이에 따라 변환 T_θ을 변경할 것이다. 제어 포인트의 변위는 단지 공간 도메인 (Ω) 의 국부적 부분에 영향을 줄 것이다: 실제로, 식 5 에 의해 기술된 바와 같이, 제어 포인트의 위치 주위의 사이즈 4s_h x 4s_w 의 이웃에서 Ω 내의 픽셀 위치들 (x) 만이 그의 이동에 의해 영향을 받는다. 이웃 사이즈는 더 작은 차수의 B-스플라인들에서 상이할지도 모른다는 것을 이해한다.

식 5 의 큐빅 B-스플라인들에 기초한 FFD 는 제 3 차수로 평활한 설계에 의한다; 차수는 베른스타인 다항식의 차수가 더 낮은 경우 더 작다. 변위 및 그의 제 1 도함수의 가역성 및 전단사성 (bijectivity) 은 제어 포인트 변위에 대한 제약을 통해 달성된다: FFD 변위로부터 야기되는 변환은, 제어 포인트의 변위가 제어 포인트의 간격 (s_h 및 s_w) 의 0.48 배보다 작은 경우에 미분동형사상적이다; 이러한 결과들은 본 기술에서, 예를 들어, Lee, Seungyong, et al. "Image metamorphosis with scattered feature constraints." in IEEE Transactions on Visualizatiion and Computer Graphics archive, Volume 2 Issue 4, December 1996, Page 337-354 에서 알려져 있다. 이리하여, 제어 포인트들의 이동으로부터 초래되는 Ω 에서의 위치들 (x) 의 변위는 제어 포인트들의 변위를 뒤다를 것이다. 결과적으로, 2 개의 제어 포인트들을 가깝게 모으는 것은 제어 포인트들의 로케이션들 사이 내에서 이미지를 축소할 것인 반면, 제어 포인트들 사이의 공간을 확장하는 것은 제어 포인트의 로케이션들 사이 내에서 이미지를 확대할 것이다. Ω 에서의 변위된 위치들 (x) 의 둘러싸는 영역들 (4s_h x 4s_w) 은 또한 변위에서의 연속성을 유지하기 위해 영향을 받는다.

도 1 로 되돌아가서, 단계 (S50) 에서, 오리지널 공간 도메인 (Ω) 은 셀들로 서브분할된다. 각 셀은 세트의 제어 포인트들의 서브세트에 의해 정의된다. 이리하여, 용어 셀은 리사이징된 공간 도메인 (Ω') 의 서브-부분을 정의하고, 이러한 서브-부분은 제어 포인트들의 서브 세트에 의해 한정된다. 셀은 세트의 제어 포인트들을 연결하는 에지들에 의해 한정되는 폐쇄된 표면이다. 셀의 세트는 공간 도메인 (Ω) 위에 공간 도메인을 형성한다. 셀이 폐쇄된 표면인 경우, 이것은 셀이 적어도 3 개의 제어 포인트들에 의해 형성되는 것을 수반한다.

도 9 에서, 셀 (90) 은 4 개의 제어 포인트들을 연결하는 4 개의 에지들에 의해 정의된다. 셀 (90) 의 폐쇄된 표면 내에 있는 2 개의 대각선 에지들은 표현되지 않는다; 이들 2 개의 에지들은 셀의 폐쇄된 표면을 한정하는 것에 기여하지 않는다. 여전히 도 9 를 참조하여, 제어 포인트들은 셀들의 사각형 그리드를 형성한다; 예를 들어, 4 개의 제어 포인트들에 의해 정의되는 셀 (90) 은 4 개의 제어 포인트들에 의해 한정된 다각형이다. 제어 포인트들의 세트가 규칙적인 그리드를 반드시 형성하지는 않다는 것이 이해되어야 한다; 예를 들어, 4 개보다 많거나 적은 제어 포인트들의 셀이 사용될 수도 있다.

제어 포인트들의 세트로부터 획득된 그리드는 공간 도메인 (Ω) 내의 제어 포인트들의 좌표들의 표현으로서 고려될 수 있다.

제어 포인트들은 공간 도메인 (Ω) 에서 정의되지 않지만, 일부 제어 포인트들의 위치는 공간 도메인 (Ω) 과 중첩하며, 셀들은 Ω 와 중첩하는 제어 포인트들을 사용하여 공간 도메인 (Ω) 에서 정의된다.

셀들이 세트는 오리지널 공간 도메인 (Ω) 위의 층으로서 보여질 수도 있다. 각 셀은 오리지널 공간 도메인 (Ω) 의 하나 이상의 픽섹들과 연관된다: 각 셀에 의해 형성된 영역은 하나 이상의 픽셀들을 커버한다. Ω 및 Λ 는 분리하여 생각되지 않고, Λ 는 Ω 의 서브분할이다. Λ 가 Ω 위의 4 개의 셀들의 규칙적인 그리드인 경우에, 우리는 셀들의 인덱스들 (0, 0), (0, 1), (1, 0) 및 (1, 1) 을 가지며, 각 셀은 Ω 의 서브도메인이며, 예를 들어 셀 (0, 0) 은 Ω 로부터

을 포함한다. 이것은 결과적으로 다각형들이 이미지 상에 그려진다는 것을 말하고, 그 다각형 내의 각각의 및 모든 픽셀은 셀에 속한다.

셀의 사이즈를 감소시키는 것, 즉 그의 표면 면적을 감소시키는 것은 셀을 둘러싸는 제어 포인트들을 서로 가깝게 모으는 것과 동일하고, 이리하여 셀의 로케이션에서 이미지 도메인을 감소시키는 것과 동일하다. 이것은 또한 셀의 사이즈의 증대의 경우에 사실이다. 이미지 도메인은 실제로 셀들이 변형되는 것과 동일한 방식으로 거동한다. 그리고, 공간 도메인 (Ω) 밖에서 정의되는 제어 포인트들이 공간 도메인 (Ω) 내부에 위치된 제어 포인트들의 거리 (s_w 및 s_h) 에 머무르도록 클램핑되는 경우, 출력 이미지 도메인의 공간 도메인 (Ω') 은 내부 셀들의 축적된 면적과 동일한 면적을 가질 것이다. 클램핑될 필요가 있는 제어 포인트들의 수는 스플라인의 차수에 의존할 것이다. 이것은 식 4 에서 정의된 변환 T_θ으로부터 야기된다.

단계 (S50) 에서, 오리지널 공간 도메인 (Ω) 을 서브분할하는 셀의 세트가 결정되었다. 셀들의 이러한 세트는 Λ 로 표시된, 오리지널 공간 도메인 (Ω) 의 이산 도메인을 정의한다. 각 셀은 이미지에대한 픽셀 로케이션과 동일한 방법으로 고려될 수 있고, 동일한 양식으로 인덱싱될 수 있다. 예를 들어, 4 개의 셀들이 식 1 의 공간 도메인 (Ω) 상에서 정의되었다면, 그 4 개의 셀들은 각각 (0, 0), (0, 1), (1, 0) 및 (1, 1) 로 인덱싱되며, 각 셀은 Ω 의 서브도메인이며, 예를 들어 셀 (0, 0) 은 Ω 로부터 [0,1,...,(m/2)-1]x[0,1,...,(n/2)-1] 을 포함한다.

그 후, 단계 (S60) 에서, 셀 내의 픽셀들의 유의도의 가중 평균이 Λ 의 각 셀에 대해 컴퓨팅된다. 결과적으로, Λ 에 대한 유의도가 정의된다. 요약 이미지 (S) 가 Λ 를 형성하는 셀들의 세트로부터 형성된다: 요약 이미지의 각 셀은 요약 이미지의 픽셀인 것으로 생각될 수 있다.

Λ 가 Ω 의 파티션들로 이루어지기 때문에, 도메인 Λ 는 Λ = {Ω_(0,0), Ω_(0,1),..., Ω_(K,L)} 로 쓰일 수 있으며, 여기서 K 및 L 은 Ω 의 각 방향들에서의 파티션들의 수이고, Ω_(i,j) 는 Ω, 셀 (i,j) 에 의해 커버되는 도메인의 파티션이다. Ω 의 수평 및 수직 방향들은 임의로 선택될 수도 있고, 이미 논의된 바와 같이 참조 프레임 (x, y) 를 사용하여 정의될 수도 있다.

가중 평균은 보간 스플라인을 사용하여 컴퓨팅된다. 실제로, Λ 내의 각 y = (i,j) 위치에 대해, 큐빅 B-스플라인들 FFD 에 대해 요약 이미지를 정의하는 것이 가능하다. 요약 이미지 (SI) 는 식 6 에 의해 정의될 수 있다:

여기서, S(x) 는 제공된 유의도 이미지를 나타내는 함수이다.

도 5 를 이제 참조하면, 셀의 세트가 오리지널 공간 도메인 (Ω) 의 이산 도메인 (Λ) 을 정의하는 도 4 의 이미지의 유의도 이미지를 보여준다. 도메인 (Λ) 은 유의도 이미지의 오리지널 공간 도메인 (Ω) 위에 높인다. 도 5 에서, 도메인 (Λ) 은 도 4 의 오리지널 공간 도메인 (Ω) 을 완전히 커버한다. 또한, 셀들의 세트가 도 9 를 참조하여 논의된 바와 같이 오리지널 공간 도메인 (Ω) 위에 균일하게 확산된 제어 포인트들의 그리드를 형성하는 제어 포인트들의 세트로부터 획득되었다.

이제 도 6 을 참조하면, Λ 를 형성하는 셀들의 세트로부터 컴퓨팅된 요약 이미지가 도시되며, 셀 내의 픽셀즐의 유의도의 가중 평균이 각 셀에 대해 컴퓨팅되었다. 요약 이미지의 각 셀은 셀의 유의도, 및 따라서 셀 내에 포함된 픽셀의 세트의 유의도를 나타내는데 사용되는 그레이 스케일을 사용하여 컬러링된다. 예를 들어, 캐릭터의 좌측 및 우측 상의 영역들은 백색으로 표현되고, 따라서 이들 영역들이 신의 시각적 이해에 대해 유의하지 않다는 것을 의미한다.

도 1 의 플로우챠트로 돌아가, 단계 (S70) 에서, 오리지널 공간 도메인 (Ω) 의 셀들은 더 작은 가중 평균을 갖는 셀들의 하나 이상의 제어 포인트들을 변위시킴으로써 변형된다.

이미지를 리사이징하기 위해 픽셀들을 제거하거나 추가하는 컨텐츠 인식 알고리즘의 분야에서 사용되는 것으로 알려진 알고리즘들 중의 하나의 알고리즘은, 이들 알고리즘들이 픽셀들 상에서 대신에 셀들 (즉, 제어 포인트들의 그룹들) 상에서 동작할 것이라는 것을 제외하고, 요약 이미지에 직접 적용될 수도 있다. 이들 알고리즘들은 이미지 유의도에 의해 안내되고, 이미지 요약을 최소로 변경하면서 일부 최적성 제약에 따라 이미지를 변경하기 위해 변환 파라미터들을 튜닝할 것이다. 최적성 제약들은 이미지가 곧은 에지들을 유지해야 하지만, 또한 이미지를 최소로 왜곡하기 위한 제약들을 포함할 수도 있다는 사실을 포함한다 (동일한 결과의 이미지 유의도 코스트로, 수개의 변환들이 파라미터 공간 사이즈에 따라 여전히 가능하고, 이들 제약들을 추가하는 것은 가능한 변환들 파라미터들 및 이리하여 변환들 중에서 가장 적합한 것을 선택하는 것을 허용한다) .

셀들에 대해 연산하는 것은 알고리즘이 (i) 더 작은 가중 평균을 갖는 하나 이상의 셀들을 식별하고, (ii) (이들 알고리듬들에 의해 행해진 바와 같이 픽셀들을 제거하거나 추가하는 대신에) 식별된 셀들의 사이즈를 변경하는 것을 수반한다. 대응하는 셀들의 사이즈는 이전에 논의된 바와 같이 변경될 것이다.

- 셀의 사이즈는 상기 셀이 제거될 필요가 있는 것으로서 알고리즘에 의해 식별되었을 경우 감소된다;

- 셀의 사이즈는 상기 셀이 추가될 필요가 있는 픽셀로서 알고리즘에 의해 식별되었을 경우에 증가된다. 실제로, 셀들의 리사이징은 변환의 미분동형사상을 유지하기 위해 제어 포인트 간격의 최대 0.48 배까지 행해질 수도 있다.

그 후, 단계 (S80) 에서, 변환 T_θ은 변위된 하나 이상의 제어 포인트들을 사용하여 이미지 (I) 의 공간 도메인에 대해 컴퓨팅된다. 식 5 의 함수 (θ) 는 파라미터화된 변환의 제어 포인트들의 세트를 나타내는 함수이고, 함수 (θ) 는 변환 T_θ의 유일한 파라미터이다. 이리하여, 일단 제어 포인트들이 단계 (S70) 에서 수행된 바와 같이 변위되었으면, 변환들 T_θ의 파라미터들이 세팅된다. 따라서 식 5 에서 정의된 바와 같이 변환 T_θ을 컴퓨팅하는 것이 가능하다.

마지막으로, 단계 (S90) 에서, 리사이징된 이미지 (J) 가 리사이징할 이미지 (I) 의 공간 도메인에 컴퓨팅된 변환 T_θ을 적용함으로써 컴퓨팅된다. 리사이징된 이미지는 리사이징된 공간 도메인 (Ω') 상에서 정의된다ㅏ. 컴퓨팅된 변환 T_θ을 적용하는 것은 이미지 (I) 의 입력 공간 도메인 (Ω) 으로부터 이미지 (J) 의 출력 공간 도메인 (Ω') 로의 맵핑이 수행되는 것을 의미한다: 각 픽셀의 위치는 식 3 및 식 4 에 따라 변경된다.

이제 도 2 를 참조하면, 본 발명에 따른 이미지의 리사이징을 수행하기 위한 컴퓨터 프로그램의 계산적 모듈들의 예가 도시된다. 각 모듈은 컴퓨터, 예를 들어 도 17 의 컴퓨터 시스템에 의해 실행가능한 명령들을 포함한다.

유의도 계산 모듈 (20) 은 리사이징할 이미지 (I) 를 입력으로서 취한다 (단계 (S10)). 리사이징할 이미지 (I) 는 예를 들어 도 11 의 이미지일 수 있다. 모듈 (20) 은 이미지 (I) 의 각 픽셀의 유의도를 컴퓨팅한다. 모듈의 출력은 단계 (S20) 에 따라 이미지 (I) 의 이미지 유의도를 제공한다. 도 12 는 도 11 의 이미지의 유의도 이미지의 예를 도시한다.

요약 이미지 계산 모듈 (30) 은 모듈 (20) 의 출력을 입력으로서 취하고 단계들 (30 내지 60) 에 따라 요약 이미지를 계산한다. 도 14 는 도 12 의 유의도 이미지로부터 모듈 (30) 에 의해 계산된 요약 이미지의 예를 도시한다. 따라서, 모듈 (30) 은 변환 T_θ을 파라미터화하는 보간 스플라인의 제어 포인트들의 세트를 계산한다. 요약 이미지 계산 모듈 (30) 은 수개의 종류의 보간 스플라인 함수를 구현할 수도 있다; 하나의 스플라인 함수의 선택은 사용자 액션 시 또는 디폴트에 의해 수행될 수도 있다. 보간 스플라인으로부터 획득된 제어 포인트들의 세트는 그리드, 예를 들어 규치적인 그리드로서 표현될 수도 있으며, 여기서 제어 포인트들은 도 13 에 도시된 바와 같이 도 11 의 입력 이미지의 오리지널 공간 도메인 (Ω) 위에 균일하게 확산된다.

최적화기 모듈 (40) 은 요약 이미지를 입력으로서 취한다. 최적화기 모듈은 요약 이미지의 어느 픽셀이 삭제되거나 추가되어야 하는지를 리턴한다.

최적화기 모듈 (40) 은 요약 이미지 변환 정의에 이미지 유의도를 링크하는 계산 모듈이다. 그것은 컨텐츠 인식 알고리즘의 분야에서 픽셀들의 제거 또는 추가에 전용된 하나 이상의 알려진 알고리즘들을 구현한다. 더 작은 가중 평균을 갖는 하나 이상의 셀들을 식별하고 식별된 셀들의 사이즈를 변경하는 결정을 행할 수 있는 임의의 알고리즘이 사용될 수 있다는 것이 이해되어야 한다. 따라서, 이러한 모듈은 요약 이미지의 변환 파라미터들을 제공한다. 수개의 알고리즘 중에서 하나의 알고리즘의 선택은 사용자 액션 시에 또는 디폴트에 의해 수행될 수도 있다.

제어 포인트들 이동 모듈 (50) 은 단계 (S70) 에서 정의된 바와 같이 하나 이상의 제어 포인트들의 변위들을 정의하고, 변환 T_θ을 또한 컴퓨팅한다 (단계 (S80)). 이러한 모듈의 출력은 컴퓨팅된 변환의 변환 파라미터들을 포함한다. 이들 변환 파라미터들은 도 15 에 도시된 것과 같은 변형된 그리드를 형성한다. 이러한 모듈 (50) 은 모듈 (40) 의 출력으로부터, 즉 요약 이미지의 어느 픽셀이 삭제되거나 추가되어야 하는지로부터 제어 포인트 위치들을 추정한다.

변환 모듈 (60) 은 리사이징할 이미지 (I) 의 공간 도메인 상에 컴퓨팅된 변환 T_θ을 적용한다 (단계 (S90)). 변환 모듈의 출력은 리사이징된 이미지 (J), 예를 들어, 도 16 의 이미지이다.

그 후, 이미지 (I) 의 새로운 사이즈가 예상된 사이즈에 부응하는 지가 체크되고, 실제로 변환된 이미지를 컴퓨팅하지 않고 변환된 이미지의 예상된 디멘젼에 대해 확인하는 것이 가능하다. 리사이징된 이미지가 예상된 사이즈에 부응하는 경우에, 변환 모듈 (80) 의 출력은 새로운 리사이징된 이미지 (J) 인 것으로 고려된다. 리사이징된 이미지가 예상된 사이즈에 부응하지 않는 경우, 전체 프로세스 (단계들 (S20 내지 S80)) 가 새로운 변환 파라미터들로 반복된다: 제어 포인트들의 새로운 변위들이 최적화기 모듈 (40) 과 협동하여 제어 포인트 이동 모듈 (50) 에 의해 결정된다.

그 후, 최적화기 모듈 (40) 에 의해 사용된 알고리즘에 따라, 단 하나의 패스 (pass) 가 요구되고, 어떠한 반복들 (80) 도 행해지지 않거나, 원하는 사이즈가 하나의 단계에서 달성되지 않는 경우, 추가의 반복들 (80) 이 원하는 사이즈에 도달될 때까지 수행된다.

흥미롭게도, 이미지 유의도는 최적화기 모듈 (40) 에서 사용되는 알고리즘이 이미지 유의도를 재컴퓨팅할 필요가 있는 경우에 현재의 변위된 그리드로 어느 때나 재컴퓨팅될 수 있다. 최종 이미지는, 획득된 변환이 오리지날 이미지에 적용되는 경우, 결국에 단지 한 번 컴퓨팅된다.

본 발명은 이롭게도 Seam carving for content-aware image resizing 에서 기술된 것과 같은 현재의 컨텐츠 인식 이미지 리타겟팅과 함께 이미 사용 중인 일부 계산 모듈들을 재사용하는 것을 허용한다. 현존하는 유의도 계산 모듈 (20), 최적화기 모듈 (40) 및 변환 모듈 (60) 이 재사용될 수도 있을 것이다. 이것은 이롭게도 개발 비용을 제한하고 현재의 컨텐츠 인식 이미지 리타겟팅 소프트웨어들과의 본 발명의 통합을 용이하게 한다.

본 발명의 바람직한 실시형태가 기술되었다. 여러 변경들이 본 발명의 사상 및 범위로부터 일탈하지 않고 행해질 수도 있다는 것이 이해될 것이다. 따라서, 다른 구현들은 다음의 청구범위들의 범위 내에 있다. 예를 들어, (Lee, Seungyong, George Wolberg, and Sung Yong Shin. "Scattered data interpolation with multilevel B-splines", In IEEE Transactions on Visualization and Computer Graphics, Volume 3 Issue 3, July 1997, Page 228-244 에 기술된 바와 같이) 계산 속도를 증가시키는 멀티-스케일/멀티-해상도 접근법들이 또한 알고리즘에 대한 임의의 변경 없이 본 발명에서 사용될 수 있다; 이미지 유의도는 단지 각 새로운 스케일/해상도 레벨 후에 재컴퓨팅될 필요가 있다.

Claims

이미지 (I) 를 리사이징하는 컴퓨터 구현 방법으로서,
- 리사이징할 이미지 (I) 를 제공하는 단계 (S10);
- 상기 리사이징할 이미지 내의 각 픽셀의 유의도를 컴퓨팅함으로써 이미지 유의도를 제공하는 단계 (S20);
- 유의도 이미지의 오리지널 공간 도메인 (Ω) 을 추출하는 단계 (S30);
- 상기 오리지널 공간 도메인 (Ω) 으로부터 리사이징된 공간 도메인 (Ω') 으로의, 제어 포인트들의 세트에 의해 보간 스플라인으로서 파라미터화된 변환 T_θ을 제공하는 단계 (S40);
- 각 셀이 상기 세트의 제어 포인트들의 서브세트에 의해 정의되는 셀들로 상기 오리지널 공간 도메인 (Ω) 을 서브분할하는 단계 (S50);
- 각 셀에 대해, 상기 셀 내의 화소들의 유의도의 가중 평균을 컴퓨팅하는 단계 (S60) 로서, 상기 가중 평균은 상기 보간 스플라인을 사용하여 컴퓨팅되는, 상기 가중 평균을 컴퓨팅하는 단계 (S60);
- 더 작은 가중 평균을 갖는 셀들의 하나 이상의 제어 포인트들을 변위시킴으로써 상기 오리지널 공간 도메인 (Ω) 의 상기 셀들을 변형시키는 단계 (S70);
- 변위된 상기 하나 이상의 제어 포인트들을 사용하여 상기 이미지 (I) 의 공간 도메인에 대한 상기 변환 T_θ을 컴퓨팅하는 단계 (S80);
- 상기 리사이징할 이미지 (I) 의 공간 도메인에 컴퓨팅된 상기 변환 T_θ를 적용함으로써 리사이징된 이미지 (J) 를 컴퓨팅하는 단계 (S90) 를 포함하는, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 1 항에 있어서,
제공된 상기 변환 T_θ은 J(x) = I(T_θ ^-1(x)) 이도록 하는 미분동형사상 (diffeomorphic) 변환 T_θ이고, 여기서 I 는 리사이징될 상기 이미지이고, J 는 상기 리사이징된 이미지이며, x 는 상기 오리지널 공간 도메인 (Ω) 내의 주어진 픽셀의 위치인, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 2 항에 있어서,
상기 미분동형사상 변환 T_θ은 식 T_θ= x + u_θ(x) 에 의해 정의되고, 여기서 x 는 상기 오리지널 공간 도메인 (Ω) 내의 주어진 픽셀의 위치이고, u_θ(x) 는 변위 함수이고 여기서 u 는 상기 오리지널 공간 도메인 (Ω) 으로부터 상기 리사이징된 공간 도메인 (Ω') 으로의 맵핑인, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 3 항에 있어서,
상기 변환 T_θ은 자유 형태 변형 보간 스플라인으로서 파라미터화되고,
상기 변위 함수 u_θ(x) 는 식
에 의해 정의되며, 여기서 B⁰, B¹, B², B³ 은 큐빅 B-스플라인들 함수들이고, θ 는 제어 포인트들을 나타내는 함수이며, s_w 는 수평 방향에서의 2 개의 제어 포인트들 사이의 간격이고, s_h 는 수직 방향에서의 2 개의 제어 포인트들 사이의 간격이고, x_w 는 수평 축 상의 상기 오리지널 공간 도메인 (Ω) 에서의 픽셀의 위치이며, x_h 는 수직 축 상의 상기 오리지널 공간 도메인 (Ω) 에서의 픽셀의 위치인, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 4 항에 있어서,
제어 포인트들의 상기 세트는 그리드를 형성하고,
θ 는 제어 포인트들의 그리드를 나타내는 함수인, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 4 항 또는 제 5 항에 있어서,
상기 각 셀에 대해, 상기 셀 내의 픽셀들의 유의도의 가중 평균을 컴퓨팅하는 단계는 함수
를 사용하여 수행되며,
여기서 Ω_(i,j) 는 상기 오리지널 공간 도메인 (Ω) 의 파티션이고, S(x) 는 제공된 상기 유의도 이미지를 나타내는, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 6 항에 있어서,
상기 파티션 Ω_(i,j) 는 상기 셀들에 의해 커버되는 도메인인, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 유의도 이미지로부터 추출된 상기 오리지널 공간 도메인 (Ω) 은 상기 리사이징할 이미지 (I) 의 상기 공간 도메인 (Ω) 과 동일한, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 리사이징된 이미지 (J) 를 컴퓨팅하는 단계는 이미지 사이즈를 감소시키거나 증가시키는 단계를 포함하는, 이미지 (I) 를 리사이징하는 컴퓨터 구현 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 기재된 방법을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램.
제 10 항에 기재된 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 저장 매체.
제 10 항의 컴퓨터 프로그램을 기록한 메모리에 커플링된 프로세서를 포함하는 시스템.