KR20120049245A - 오버레이 그래픽을 갖는 이미지의 리타겟팅 - Google Patents

Abstract

한 행렬의 화소들에 의해 규정되고 오버레이 그래픽을 포함하는 이미지를 리타겟팅 하는 방법은 이미지로부터 오버레이 그래픽을 추출하는 단계(11); 오버레이 그래픽의 위치에 화소들을 에너지 함수에 중립인 화소들로 대체함으로써 이미지를 수정하는 단계(13); 화소 에너지 함수에 기초하여 상기 수정된 이미지의 살리엔시 맵을 계산하는 단계(15); 살리엔시 맵에 기초하여 상기 수정된 이미지를 리타겟팅 하는 단계(17); 및 오버레이 그래픽을 리타겟팅된 이미지에 다시 더하는 단계(19)를 포함한다.

Description

오버레이 그래픽을 갖는 이미지의 리타겟팅{RETARGETING OF IMAGE WITH OVERLAY GRAPHIC}

본 발명은 이미지 리타겟팅(retargeting)을 위한 방법에 관한 것이다. 동일하게 본 발명은 대응하는 장치 및 방법의 단계들을 이행하기 위한 명령들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

디스플레이 기술 분야에서 최근에 개발들은 디스플레이 크기들에서 상당한 다양성을 보였다. 디스플레이들은 저 해상도 휴대 디바이스들 내지는 고상세 와이드-스크린 TV들까지 다양하다. 이 날로 확대되는 한 세트의 잠재적 디스플레이들에 이미지들 및 비디오를 지원하기 위해 계산 및 통신 인프라스트럭처들이 발전하고 있다. 셀 전화들 및 휴대형 개인용 컴퓨터들(PCs), 비디오 능력들을 갖춘 PDA들(personal digital assistants) 및 홈-네트워크 미디어 기기들과 같은 디바이스들 상에서 정보를 공유, 표현, 및 교환하기 위해 시각적 콘텐트는 더 중요해지고 있다. 동일 콘텐트가 서로 다른 디바이스들마다 다른 치수 및 종횡비들로 디스플레이될 것이 요구된다. 스케일링 및 크롭하는 표준 이미지 처리 방법들은 충분한 것으로 입증되고 있지 않다.

와이드-스크린 TV들의 보급에 따라 디스플레이들 상에 비디오를 원래 의도된 된 것과는 달리 효과적으로 디스플레이할 수도 있을 효율적인 해결책들이 필요해진다. 통상적으로 TV들은 종횡비를 자동으로 조절하는 "블랙 바 검출"이라고 하는 방법을 이행한다. 비디오는 블랙 바들이 사라지게 스케일링된다. 이것은 특히 레터 박스크기의 와이드스크린 콘텐트에 대해 최신의 와이드스크린 평판 TV들에서 행해진다. 그러나, 와이드스크린 TV들 상에 4:3 콘텐트들을 디스플레이함에 있어, 스케일링 조절은 왜곡을 초래한다.

Brian Schoner 등의 미국 특허 7,339,627은 이미지를 둘러싸는 블랙 바들에 기초하여 종횡비 정정을 위한 방법을 기술한다. 시판되는 TV들에 적용되긴 하나, 이 방법은 소스 비디오가 부정확하게 하게 인코딩되거나(인터넷으로부터 다운로드된 많은 비디오들이 나타나는 바와 같은), 16:9 와이드스크린 TV 상에 조차도 블랙 바들이 보여질 것을 요구하는 2.35:1 영화 종횡비의 영화들에 있어선 적용되지 못하는 단점이 있다.

Philips TV들에서는, 이미지의 경계들이 더 넒은 스크린을 차지하게 신장되는 16:9 디스플레이 상에 4:3 콘텐트를 디스플레이하기 위해 파노라마 신장기술이 이용된다. 방법이 기반으로 하는 가정, 즉 가장 필수적인 정보는 중앙에 뷰에 있을 것이라는 가정이 흔히 적합한 가정일지라도, 이러한 이방성 신장이 최적이 해결책이 아닌 많은 경우들이 있다. 다양한 디스플레이들을 위해 효과적인 크기조절을 할 수 있게 하기 위한 더 나은 방법들이 요망된다.

이미지를 뷰하는데 적합하게 하기엔 단순 종횡비 정정이 충분하지 않을 때 이미지 리타겟팅이 적용된다. 리타겟팅은 콘텐트, 즉 장면 내 중요 대상들을 고려하면서 이미지를 스케일링한다. 그러므로 이것을 흔히 콘텐트-인식 크기조절이라고 한다. 서로 다른 리타겟팅 방법들은 이미지 특징들을 저 레벨 시각적 살리엔시에 기초하여 또는 얼굴 검출과 같은 툴들을 통한 고레벨 이미지 파악에 기초하여 식별한다. 중요 특징들에 기초한 리타겟팅 방법들은 타겟 크기로 크기조절하기 위해 덜 중요한 영역들 내 이미지를 수정하려고 한다.

리타겟팅 방법은 전형적으로 4:3 콘텐트를 16:9 디스플레이로 신장하거나 모든 정규 콘텐트를 21:9 디스플레이로 신장하는 것이 필요할 때 유용하다.

이미지가 서브타이틀들, 로고들, 등과 같은 오버레이 그래픽들이라고 하는, 중첩된 화상들을 가진 한 장면을 포함할 때, 리타겟팅 방법들은 잘 보이는 리타겟팅된 이미지를 제공하지 못한다. 예를 들면, 서브타이틀들은 콘텐트-인식 크기조절의 비균일한 스케일링에 의해 왜곡된다.

또한, 오버레이 그래픽들은 일반적으로 리타겟팅 방법들에 의해 이용되는 에너지 함수에 영향을 미쳐 차선의 결과들을 초래한다. 예를 들면, 에너지 함수들은 흔히 이미지 내 기울기들에 기초하기 때문에, 오버레이 그래픽들에서, 특히 서브타이틀들에서 일반적으로 보여지는 고 콘트라스트들 및 예리한 끝부분들은 이미지 콘텐트에 따라 이미지 내 다른 곳에서 더 큰 왜곡을 초래할 수도 있을 것이다.

그러므로 오버레이 그래픽들의 모습을 왜곡하지 않으며 오버레이 그래픽들이 이미지 리타겟팅에 영향을 미치지 않게 하는 리타겟팅 방법을 달성하는 것은 잇점이 있을 것이다.

이들 우려들 중 하나 이상을 더 잘 해결하기 위해서, 본 발명의 제 1 양태에서, 한 행렬의 화소들에 의해 규정되고 오버레이 그래픽을 포함하는 이미지를 리타겟팅 하는 방법은:

이미지로부터 오버레이 그래픽을 추출하는 단계;

오버레이 그래픽의 위치에 화소들을 에너지 함수에 중립인 화소들로 대체함으로써 이미지를 수정하는 단계;

화소 에너지 함수에 기초하여 상기 수정된 이미지의 살리엔시 맵을 계산하는 단계;

살리엔시 맵에 기초하여 상기 수정된 이미지를 리타겟팅하는 단계; 및

오버레이 그래픽을 리타겟팅된 이미지에 다시 더하는 단계를 포함한다.

잇점이 있게, 방법은 리타겟팅 처리 전에 오버레이 그래픽으로부터 이미지를 분리한다. 이미지 및 오버레이 그래픽은 리타겟팅 처리 후에 다시 함께 혼합된다.

결국, 오버레이 그래픽은 에너지 함수에 영향을 미치지 않으며 비균일한 스케일링에 의해 왜곡되지 않는다.

특정 실시예들에서,

오버레이 그래픽은 다시 더해지기 전에 조절된다; 예를 들면, 오버레이 그래픽은 오버레이 그래픽 치수를 리타겟팅된 이미지 치수에 맞추기 위한 스케일링, 해상도 향상 및 콘트라스트 향상에 의해 조절되고, 따라서, 오버레이 그래픽은 잘 보이게 디스플레이된다;

수정된 이미지는 다른 리타겟팅 방법들이 이용될 수 있을지라도, 규정된 화소 에너지 함수를 이용하는 심 카빙에 의해 리타겟팅된 된다;

화소 에너지 함수는 이미지 내 기울기들에 기초하고, 대체 화소들은 대체 화소들에 의해 야기되는 에너지를 최소화하기 위한 주변 화소들의 평균들이다;

오버레이 그래픽이 다시 더해질 때, 오버레이 그래픽의 위치 및 크기는 리타겟팅된 이미지 상에 오버레이 그래픽 추출에 의해 야기되는 아티팩트를 최소화하기 위해 조절되는데; 예를 들면, 오버레이 그래픽 위치 및 크기는 추출 전에 저장되고, 위치 및 크기는 다시 더해지는 오버레이 그래픽의 새로운 위치 및 크기를 규정하기 위해 리타겟팅 동안 이미지와 함께 크기조절되고, 따라서, 조절된 오버레이 그래픽은 대체 화소들이 놓여지는 영역을 적어도 부분적으로 가린다.

제 2 이미지는 이미지 콘텐트에 맞춘 화소들로 오버레이 그래픽 화소들을 대체함으로써 오버레이 그래픽의 추출 후에 생성되고, 제 2 이미지는 수정된 이미지 대신에, 계산된 살리엔시 맵에 기초하여 리타겟팅되어, 두 동작들 중 최상의 동작을 가져오게 리타겟팅되는 이미지로부터 살리엔시 맵의 계산을 분리시키는 잇점이 있다.

본 발명의 제 2 양태에서, 컴퓨터 프로그램 제품은 장치의 컴퓨터 수단에 로딩되어 실행될 때 위에 개시된 방법의 단계들을 이행하기 위한 명령들을 포함한다.

본 발명의 제 3 양태에서, 이미지를 리타겟팅하기 위한 장치는:

한 행렬의 화소들에 의해 규정되고 오버레이 그래픽을 포함하는 이미지를 얻기 위한 수신기;

이미지로부터 오버레이 그래픽의 추출기;

오버레이 그래픽의 위치에 화소들을 에너지 함수에 중립인 화소들로 대체함으로써 이미지를 수정하는 이미지 수정기;

화소 에너지 함수에 기초한 수정된 이미지의 살리엔시 맵 계산기;

살리엔시 맵에 기초하여 상기 수정된 이미지를 리타겟팅하기 위한 스케일러; 및

오버레이 그래픽을 리타겟팅된 이미지에 다시 더하기 위한 합성기를 포함한다.

이미지의 유형에 따라, 한 특정한 실시예는 적응시키기가 더 용이한 것으로서 또는 더 나은 결과를 제공하는 것으로서 바람직할 수 있다. 그러나, 이들 특정한 실시예들의 양태들은 적합할 때 또는 요망될 때 조합되거나 수정될 수도 있다.

본 발명의 이들 및 다른 특징들은 이하 기술되는 실시예로부터 명백해질 것이며 이들에 관련하여 기술될 것이다.

도 1은 본 발명의 일 실시예에 따른 방법의 서로 다른 단계들의 결과의 개략도.
도 2는 본 발명의 일 실시예에 따른 방법의 흐름도.
도 3은 본 발명의 또 다른 실시예에 따른 방법의 흐름도.
도 4는 본 발명의 일 실시예에 따른 장치의 개략도.

도 1을 참조하면, 이미지(1)은 서브타이틀들(3)을 포함한다. 서브타이틀들은 오버레이 그래픽들의 예들이다. 그외 오버레이 그래픽들은 로고들, 티커 테이프들, 스포츠 경기들을 위한 스코어보드들, 등이다.

제 1 단계에서, 서브타이틀들(3)은 이미지(5)를 얻기 위해 이미지(1)로부터 제거된다.

이어서 이미지(5)는 이미지(7)로 리타겟팅되고 이 위에 서브타이틀들(3)이 다시 더해져 최종의 리타겟팅된 이미지(9)를 얻는다.

이미지(1)를 리타겟팅하기 위한 방법을 이제 도 2를 참조하여 상세히 기술한다.

리타겟팅 방법은 일반적으로 화소 에너지 함수, 예를 들면, 기울기에 기초한 함수를 이용한다. 이미지에 적용되었을 때, 화소 에너지 함수는 스케일링 동작들을 저 살리엔시 영역들에 중점을 두기 위해 리타겟팅 방법에 의해 이용되는 살리엔시 맵을 정의한다.

단계 11에서, 서브타이틀들이 검출된다. 이것은 예를 들면, R. Lienhart 등에 양도된 US 2002/0159636에 개시된 알고리즘과 같은 서브타이틀 검출을 위한 활용할 수 있는 알고리즘을 이용하여 행해질 수 있다.

단계 13에서, 서브타이틀 화소들로서 마크되는 모든 화소들은 제거되고 이들 화소들을 에너지 함수에 중립인, 즉 에너지를 전혀 유발하거나 매우 제한된 에너지를 유발하는 화소 값으로 대체함으로써 이미지를 형성한다. 예를 들면, 기울기에 기초한 에너지 함수들에 있어서, 각 서브타이틀 화소는 주변 화소들의 평균들로 대체될 수 있다. 또 다른 예로서, 인-페인팅(in-painting) 알고리즘이 서브타이틀 화소들을 대체하기 위해 이용될 수 있다.

에너지 함수는 단계 15에서 살리엔시 맵을 계산하기 위해 수정된 이미지에 적용된다.

그리고 수정된 이미지는 단계 17에서, 살리엔시 맵에 기초하여 리타겟팅된다. 살리엔시 맵의 계산과 리타겟팅은 이용되는 리타겟팅 알고리즘에 따라, 하나의 단계로 결합될 수 있음에 유의한다.

개시된 방법을 위한 이용가능한 리타겟팅 알고리즘의 예로서, 심 카빙(Seam carving)이 인용될 수 있다. 심 카빙은 예를 들면, Avidan 등에 양도된 US 2008/0267528에 개시되어 있고, 살리엔시 맵을 "에너지 이미지"라 하고 있다.

단계 19에서, 이미지가 리타겟팅되고, 서브타이틀들이 다시 더해진다. 바람직하게, 서브타이틀들의 크기 및 위치는 리타겟팅된 이미지에 놓여질 때, 원 이미지로부터 서브타이틀들을 제거할 때 야기되었던 이미지 아티팩트을 마스크하게 하는 크기 및 위치이다. 이들 아티팩트를 마스크함에 있어, 원 이미지 내 서브타이틀들의 위치가 기억될 수 있고 이 정보는 리타겟팅 단계 동안 이미지와 함께 크기조절된다.

그러므로, 단계 21에서 서브타이틀들은 다시 더해지기 전에, 수정될 수도 있다. 예를 들면, 행해지는 크기조절에 따라, 서브타이틀 크기를 디스플레이 크기 및 포맷으로 조절하기 위해 서브타이틀들에 스케일링 단계가 적용될 수 있다.

다른 수정들은 콘트라스트 향상, 해상도 향상, 등을 포함할 수 있다.

서브타이틀들의 화소 위치들은 에너지 함수에 최소로 영향을 미칠 수 있는 값들로 채워졌기 때문에, 리타겟팅 알고리즘의 실행은 더 이상 서브타이틀들의 존재에 의해 영향을 받지 않는다.

그러나, 중립 화소들에 의한 대체는 이미지의 시각적 질 관점에서 보아 효율적이지 않을 수도 있다. 그러므로, 동일 단계에 동일 참조부호를 이용한 도 3에 관련하여 변형예를 개시한다. 중립 화소들로 서브타이틀 화소들을 대체하는 단계 13과 병행하여, 단계 31에서 제 2 이미지가 생성되는데, 서브타이틀 화소들은 잘 보이게 하는 화소들, 즉 예를 들면, 주변 화소들로부터 보간함으로써 이미지 콘텐트에 맞춘 화소들로 대체된다.

이 변형예에서, 단계 15에서 서브타이틀 화소들이 중립 화소들로 대체되었던 이미지로부터 살리엔시 맵이 계산된다. 그러나, 단계 17에서 리타겟팅 동작은 살리엔시 맵을 제 2 이미지, 즉 잘 보이는 이미지 상에 이용한다. 그외 단계들은 유사하다. 예를 들면, 서브타이틀들은 도 2의 단계 21에서와 같이 수정될 수도 있다. 방법은 이미지 크기조절 장치의 컴퓨터 수단에 로딩되어 실행될 때 위에 기술된 방법의 단계들 중 어느 것을 이행할 수 있는 컴퓨터 프로그램 제품에 의해 구현될 수 있다. 컴퓨터 프로그램은 다른 하드웨어가 함께 또는 이의 부분으로서 공급되는 적합한 매체 상에 저장/분배될 수 있지만 다른 형태들로, 이를테면 인터넷이나 그외 유선 또는 무선 전기통신 시스템들을 통해 분배될 수도 있다.

개시된 실시예들에 따라 방법 단계들 중 어느 하나를 실행하게 집적회로가 배열될 수 있다.

예를 들면, HD TV, 또는 와이드-스크린 TV는 비디오 이미지들을 디스플레이하기 전에 이들을 리타겟팅하기 위한 장치를 내장할 수도 있다.

도 4에서, 장치는:

한 행렬의 화소들에 의해 규정되고 오버레이 그래픽을 포함하는 이미지를 얻기 위한 수신기(41);

이미지로부터 오버레이 그래픽의 추출기(43);

오버레이 그래픽의 위치에 화소들을 에너지 함수에 중립인 화소들로 대체함으로써 이미지를 수정하는 이미지 수정기(45);

화소 에너지 함수에 기초한 상기 수정된 이미지의 살리엔시 맵 계산기(47);

살리엔시 맵에 기초하여 상기 수정된 이미지를 리타겟팅하기 위한 스케일러(49); 및

오버레이 그래픽을 리타겟팅된 이미지에 다시 더하기 위한 합성기(51)를 포함한다.

합성기(51)는 오버레이 그래픽이 다시 더해지기 전에 이를 조절하기 위한 오버레이 그래픽 수정기(53)를 포함할 수 있다.

본 발명이 도면들에 도시되고 전술한 설명에 상세히 기술되었지만, 이러한 도시 및 설명은 예시적이며 제약하는 것은 아닌 것으로 간주되어야 하고 본 발명은 개시된 실시예로 제한되지 않는다.

개시된 실시예들에 대한 다른 변형들은 도면들, 설명 및 첨부된 청구항들의 검토로부터, 청구된 발명을 실시함에 있어 당업자들에 의해 이해되고 달성될 수 있다. 청구항들에서, "포함하다"라는 단어는 다른 요소들을 배제하지 않으며 부정 관사("a" 또는 "an")은 복수를 배제하지 않는다.

41: 수신기 43: 추출기
45: 이미지 수정기 47: 맵 계산기
49: 스케일러 51: 합성기
53: 그래픽 수정기

Claims (14)

1. 한 행렬의 화소들에 의해 규정되고 오버레이 그래픽(overlay graphic)을 포함하는 이미지를 리타겟팅(retargeting)하기 위한 방법에 있어서:
   

   

   상기 이미지로부터 상기 오버레이 그래픽을 추출하는 단계(11);
   

   

   상기 오버레이 그래픽의 위치에 화소들을 에너지 함수에 중립인 화소들로 대체함으로써 상기 이미지를 수정하는 단계(13);
   

   

   상기 화소 에너지 함수에 기초하여 상기 수정된 이미지의 살리엔시 맵(saliency map)을 계산하는 단계(15);
   

   

   상기 살리엔시 맵에 기초하여 상기 수정된 이미지를 리타겟팅하는 단계(17); 및
   

   

   상기 오버레이 그래픽을 상기 리타겟팅된 이미지에 다시 더하는 단계(19)를 포함하는, 이미지를 리타겟팅하기 위한 방법.
2. 제 1 항에 있어서,
   상기 오버레이 그래픽은 다시 더해지기 전에 조절되는, 이미지를 리타겟팅하기 위한 방법.
3. 제 2 항에 있어서,
   상기 오버레이 그래픽은 상기 오버레이 그래픽 치수를 상기 리타겟팅된 이미지 치수로 맞추기 위한 스케일링, 해상도 향상 및 콘트라스트 향상 중 적어도 하나에 의해 조절되는, 이미지를 리타겟팅하기 위한 방법.
4. 제 1 항에 있어서,
   상기 수정된 이미지은 심 카빙(seam carving)에 의해 리타겟팅되고, 상기 심 카빙은 상기 규정된 화소 에너지 함수를 이용하는 것인, 이미지를 리타겟팅하기 위한 방법.
5. 제 1 항에 있어서,
   상기 화소 에너지 함수는 상기 이미지에서 기울기들에 기초하는, 이미지를 리타겟팅하기 위한 방법.
6. 제 1 항에 있어서,
   상기 대체 화소들은 상기 주변 화소들의 평균들인, 이미지를 리타겟팅하기 위한 방법.
7. 제 1 항에 있어서,
   상기 오버레이 그래픽은 다시 더해지고, 상기 오버레이 그래픽의 위치 및 크기는 상기 리타겟팅된 이미지 상에 상기 오버레이 그래픽 추출에 의해 야기되는 아티팩트를 최소화하기 위해 조절되는, 이미지를 리타겟팅하기 위한 방법.
8. 제 7 항에 있어서,
   상기 오버레이 그래픽 위치 및 크기는 추출 전에 저장되고, 상기 위치 및 상기 크기는 상기 다시 더해진 오버레이 그래픽의 새로운 위치 및 크기를 규정하기 위해 리타겟팅 동안 상기 이미지와 함께 크기조절되는, 이미지를 리타겟팅하기 위한 방법.
9. 제 1 항에 있어서,
   상기 오버레이 그래픽 화소들을 상기 이미지 콘텐트에 맞춘 화소들로 대체시킴으로써 상기 오버레이 그래픽의 추출 후에 제 2 이미지가 생성되고, 상기 제 2 이미지는, 상기 수정된 이미지 대신에, 상기 계산된 살리엔시 맵에 기초하여 리타겟팅되는, 이미지를 리타겟팅하기 위한 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 오버레이 그래픽은 서브타이틀, 로고, 티커 테이프 및 스코어보드 중 적어도 하나인, 이미지를 리타겟팅하기 위한 방법.
11. 장치의 컴퓨터 수단에 로딩되어 실행될 때 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법의 단계들을 구현하기 위한 명령들을 포함하는, 컴퓨터 프로그램 제품.
12. 이미지를 리타겟팅하기 위한 장치에 있어서:
    

    

    한 행렬의 화소들에 의해 규정되고 오버레이 그래픽을 포함하는 이미지를 얻기 위한 수신기(41);
    

    

    상기 이미지로부터 상기 오버레이 그래픽의 추출기(43);
    

    

    상기 오버레이 그래픽의 위치에 화소들을 에너지 함수에 중립인 화소들로 대체함으로써 상기 이미지를 수정하는 이미지 수정기(45);
    

    

    상기 화소 에너지 함수에 기초한 상기 수정된 이미지의 살리엔시 맵 계산기(47);
    

    

    상기 살리엔시 맵에 기초하여 상기 수정된 이미지를 리타겟팅하기 위한 스케일러(scaler)(49); 및
    

    

    상기 오버레이 그래픽을 상기 리타겟팅된 이미지에 다시 더하기 위한 합성기(51)를 포함하는, 이미지를 리타겟팅하기 위한 장치.
13. 제 12 항에 있어서,
    상기 합성기는 상기 오버레이 그래픽이 다시 더해지기 전에 상기 오버레이 그래픽을 조절하기 위한 오버레이 그래픽 수정기를 포함하는, 이미지를 리타겟팅하기 위한 장치.
14. 제 13 항에 있어서,
    상기 오버레이 그래픽 수정기는 상기 오버레이 그래픽 치수를 상기 리타겟팅된 이미지 치수에 맞추기 위한 스케일링, 해상도 향상 및 콘트라스트 향상 중 적어도 하나를 실행할 수 있는 것인, 이미지를 리타겟팅하기 위한 장치.

Images