KR20120055632A - 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치 - Google Patents

디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20120055632A
KR20120055632A KR1020127006153A KR20127006153A KR20120055632A KR 20120055632 A KR20120055632 A KR 20120055632A KR 1020127006153 A KR1020127006153 A KR 1020127006153A KR 20127006153 A KR20127006153 A KR 20127006153A KR 20120055632 A KR20120055632 A KR 20120055632A
Authority
KR
South Korea
Prior art keywords
image
interest
region
cropped
size
Prior art date
Application number
KR1020127006153A
Other languages
English (en)
Inventor
페드로 폰세카
마르크 안드레 페테르스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20120055632A publication Critical patent/KR20120055632A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

이미지 내의 적어도 하나의 관심 영역이 결정된다(단계 201). 상기 이미지는 타겟 이미지 사이즈로 리사이징된다(단계 207). 적어도 하나의 관심 영역이 결정되면, 상기 이미지는 상기 적어도 하나의 관심 영역의 각각에 대해 크로핑되고(단계 205), 상기 크로핑된 적어도 하나의 관심 영역은 상기 타겟 이미지 사이즈로 리사이징된다. 상기 리사이징된 이미지 및 상기 리사이징된 크로핑된 적어도 하나의 관심 영역은 디스플레이를 위해 저장된다(단계 209).

Description

디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AN IMAGE FOR DISPLAY}
본 발명은 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치에 관한 것이다. 특히, 그것은 이미지를 디스플레이를 위한 타겟 이미지 사이즈로 리사이징하는 것에 관한 것이다.
근년에 사용자들이 매일 캡처하는 디지털 이미지들의 양에서 폭발적인 증가가 보여지고 있다.
개발하는데 비용이 들기 때문에, 과거에 사용자들은 단지 특별한 이벤트들 동안의 이미지들만을 캡처하였고 상기 이미지들의 합성에 조심하였지만, 디지털 사진 카메라들 및 증가하는 저장 공간은 동작에서의 급격한 변화를 이끌어왔다. 사용자들이 동일한 대상에 대한 다수의 이미지들을 캡처하는 것은 이제 일반적이며, 수백의 이미지들, 또는 심지어 수천의 이미지들을 갖고 휴가들로부터 집으로 돌아오는 것은 드문 일이 아니다.
이들 이미지들의 해상도, 및 이에 대응하여 그것들이 저장 디바이스들에서 차지하는 물리적 사이즈가 또한 상당히 증가하였지만, 그러나, 이들 이미지들(예로서, 디지털 사진 프레임들)을 디스플레이하기 위해 사용되는 우선적 디바이스들의 저장 공간은 제한된다. 더욱이, 사용자들은 종종 그들의 가족 및 친구들과 특정 사진들을 공유하거나 또는 인터넷 블로그들 또는 소셜 웹사이트들에 그것들을 단순히 게시하기 위해 대역폭-제한된 수단을 사용한다. 그러므로, 이들 이미지들이 저장 디바이스들 상에서 차지하는 물리적 사이즈를 감소시키기 위한 바람이 존재한다.
이것은 그것들의 내부 메모리로 업로딩되는 이미지들을 자동으로 리사이징함으로써 부분적으로 극복되어 왔다. 이러한 리사이징 프로세스는 타겟 이미지 사이즈, 예를 들면 사진 프레임의 디스플레이 사이즈에 따라 이미지 사이즈를 최적화하고, 상기 디바이스 상에 보다 적은 저장 공간을 이용하는 것 모두에 대한 이점들을 가지며, 따라서 보다 많은 이미지들이 저장되게 허용한다. 이러한 리사이징 단계는 각각의 이미지를 디스플레이하기 직전에 수행될 수 있는데, 즉 상기 이미지는 그것의 전체 해상도로 저장될 수 있으며 그것이 렌더링되기 직전마다 상기 타겟 이미지 사이즈를 맞추도록 리사이징된다. 그러나, 이것은 보다 적은 이미지들이 디바이스 상에서 저장될 수 있으며 디스플레이되는 각각의 이미지에 대해 동일한 프로세스를 반복하는 부가적인 계산 리소스들을 이용하는 결과들을 가질 것이다.
이러한 자동 리사이징 단계는 이들 두 개의 양태들에 대해 유익하지만, 이것은 사용자가 이미지에 대한 관심 요소들, 예를 들어 얼굴들에 대해 "줌 인(zoom in)"하기를 원한다면, 이들 영역들의 품질은 매우 낮아지는 단점을 가지는데, 이는 상기 이미지가 이전에 다운사이징되었기 때문이다. 대신 "줌 인"이 원래의 이미지에 대해 이루어진다면, 품질은 통상적으로 대단히 우수할 것이다. 얼굴들은 종종 사용자들에 의해 캡처된 사진들에서 가장 중요한 요소들이기 때문에, 그것들의 품질은 디스플레이될 때 가능한 최대로 유지하는 것이 필수적이다.
더욱이, 디스플레이 사이즈는 비교적 작고 이들 프레임들은 통상적으로 테이블 또는 벽장의 상부에 위치되거나, 또는 단순히 벽에 걸려 있기 때문에, 그것들은 사용자들의 뷰로부터 다소 멀리 떨어져 있다. 더욱이, 단지 대부분의 이미지들의 특정 부분들만이, 예를 들면 가족들, 친구들 또는 연인들의 얼굴들을 보여주는데 관심이 있다. 멀리 디스플레이될 때, 이들 관심 영역들은 이들 디바이스들 상에서 디스플레이될 때 인식하기에 너무 작다. 얼굴 검출은 얼굴을 포함하는 이미지에서 영역들을 결정하기 위해 알려진 기술이다. 그러므로, 얼굴 검출은 이러한 이미지들의 가장 관심있는 부분들이 리사이징될 수 있고 가능한 많은 디스플레이 사이즈를 차지하도록 얼굴(들)을 포함하는 이미지에서의 영역을 자동으로 결정하기 위해 사용되어 왔다.
얼굴 검출은 얼굴의 주요 특징들을 포함하는 이미지에서의 영역들에 대해 양호한 결과들을 제공한다. 이것은 눈들, 코, 및 입에 의해 결정된 영역이다. 머리털과 같은 부분들은 그것들이 인간들 사이에서 너무 많이 다르기 때문에 특징적이지 않다.
하나의 알려진 기술은 검출기에 의해 리턴된 영역으로 상기 이미지를 단순히 크로핑(crop)하기 위해 얼굴 검출기의 결과들을 사용하는 것이다. 이것은 얼굴의 주요 특징들을 포함하는 이미지의 부분을 정확하게 제공하게 한다. 그러나, 그것은 즐거운 시청 경험을 제공하기 위해 요구되는, 상기 얼굴 주위의 콘텍스트의 필요한 요소들뿐만 아니라 전체 얼굴을 보여주는데 실패하였기 때문에, 매력적이지 않다.
예를 들면, WO 2008/025969호는 상기 이미지의 관심 요소들이 크로핑되고 얼굴과 같은 상기 관심 요소가 리사이징되도록 이미지를 크로핑하고 리사이징하기 위한 다양한 기술들을 개시한다. 그러나, 상기 기술들은 원래의 이미지에 대한 종횡비(aspect ratio)를 유지하지 않으며, 따라서 특히 얼굴에 바람직하지 않은 얼굴의 왜곡이 발생한다. 더욱이, 상기 사용자에게는 원래의 이미지를 디스플레이하거나 또는 관심 요소를 디스플레이하는 옵션이 제공되지 않는다.
본 발명은 저장 요건들을 최소화하면서 최대 품질이 보장되는 디스플레이를 위한 이미지(또는 이미지의 부분들)를 제공하고자 한다.
이것은 디스플레이를 위한 이미지를 제공하기 위한 방법에 의해, 본 발명의 일 양태에 따라 달성되며, 상기 방법은, 이미지 내에서 적어도 하나의 관심 영역을 결정하는 단계; 상기 이미지를 타겟 이미지 사이즈로 리사이징하는 단계; 관심 영역이 결정되면, 상기 이미지를 상기 적어도 하나의 관심 영역으로 크로핑하는 단계; 상기 크로핑된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하는 단계; 및 디스플레이를 위해 상기 리사이징된 이미지 및 상기 리사이징된 크로핑된 적어도 하나의 관심 영역을 저장하는 단계를 포함한다.
이것은 또한 본 발명의 제 2 양태에 따른 디스플레이를 위한 이미지를 제공하기 위한 장치에 의해 달성되며, 상기 장치는, 이미지 내에서 적어도 하나의 관심 영역을 결정하기 위한 결정 수단; 상기 이미지를 타겟 이미지 사이즈로 리사이징하고, 적어도 하나의 관심 영역이 결정되면, 상기 이미지를 상기 적어도 하나의 관심 영역의 각각으로 크로핑하고 상기 크로핑된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하기 위한 프로세서; 및 디스플레이를 위한 상기 리사이징된 이미지 및 상기 리사이징된 크로핑된 적어도 하나의 관심 영역을 저장하기 위한 저장 수단을 포함한다.
이러한 방식으로, 상기 리사이징된 이미지 및 상기 리사이징된 관심 영역 모두는 디스플레이를 위해 저장된다. 상기 관심 영역은 원래의 이미지로부터 리사이징되기 때문에, 저장 요건들을 감소시키고 리사이징된 이미지 또는 상기 리사이징된 관심 영역 중 하나가 디스플레이될 수 있게 하면서 이미지들의 품질들이 유지된다. 이들 두 개의 이미지들을 함께 연결함으로써, 사용자가 상기 두 개의 저장된 이미지들 중 하나를 선택하도록 허용하는 것이 용이해진다.
일 실시예에서, 상기 이미지를 타겟 이미지 사이즈로 리사이징하는 단계는, 상기 타겟 이미지의 사이즈 및 종횡비를 결정하는 단계; 상기 이미지의 사이즈 및 종횡비를 결정하는 단계; 상기 결정된 타겟 이미지의 사이즈 및 상기 결정된 이미지의 사이즈로부터 스케일링 팩터(scaling factor)를 결정하는 단계; 및 상기 결정된 스케일링 팩터에 따라 상기 이미지를 리사이징하는 단계를 포함할 수 있다. 더욱이, 상기 크로핑된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하는 단계는, 상기 크로핑된 적어도 하나의 관심 영역의 사이즈 및 종횡비를 결정하는 단계; 상기 결정된 상기 타겟 이미지의 사이즈 및 상기 결정된 상기 크로핑된 적어도 하나의 관심 영역의 사이즈로부터 스케일링 팩터를 결정하는 단계; 및 상기 결정된 상기 크로핑된 상기 적어도 하나의 관심 영역의 종횡비를 유지하면서 상기 결정된 스케일링 팩터에 따라 상기 크로핑된 적어도 하나의 관심 영역을 리사이징하는 단계를 포함할 수 있다. 더욱이, 상기 결정된 종횡비를 유지하면서 상기 결정된 스케일링 팩터에 따라 상기 크로핑된 적어도 하나의 관심 영역을 리사이징하는 단계는, 확대된 적어도 하나의 관심 영역이 상기 이미지의 상기 결정된 종횡비에 대응하는 종횡비를 갖도록 상기 크로핑된 적어도 하나의 관심 영역의 외부에 상기 이미지의 적어도 일부를 포함하기 위해 상기 크로핑된 적어도 하나의 관심 영역을 확대하는 단계; 상기 이미지를 상기 확대된 적어도 하나의 관심 영역으로 크로핑하는 단계; 및 상기 크로핑된 확대된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하는 단계를 포함할 수 있다.
이러한 방식으로, 상기 이미지 및 상기 적어도 하나의 관심 영역 모두의 종횡비는 상기 이미지의 왜곡을 제거하는 리사이징시에 유지된다.
일 실시예에서, 이미지 내의 적어도 하나의 관심 영역을 결정하는 단계는, 이미지 내의 적어도 하나의 관심 영역을 자동으로 검출하는 단계를 포함하고, 상기 이미지를 상기 적어도 하나의 관심 영역의 각각으로 크로핑하는 단계는, 상기 검출된 적어도 하나의 관심 영역의 외부에 상기 이미지의 일부를 포함하도록 상기 검출된 적어도 하나의 관심 영역을 확대하는 단계; 및 상기 이미지를 상기 확대된 적어도 하나의 관심 영역으로 크로핑하는 단계를 포함한다. 대안적으로, 이미지 내의 상기 적어도 하나의 관심 영역은 이미지 내의 적어도 하나의 관심 영역을 수동으로 정의함으로써 결정될 수 있다.
상기 적어도 하나의 관심 영역이 예를 들면 얼굴 검출기에 의해 자동으로 검출되면, 상기 적어도 하나의 관심 영역은 시청 경험을 향상시키는 상기 얼굴 주위의 콘텍스트의 요소들뿐만 아니라 전체 얼굴을 포함하도록 확대될 수 있다.
이것은 디바이스들(예로서, 사진 프레임들)로 이미지들의 업로딩 동안, 자동으로 검출함으로써 달성될 수 있으며, 이것은 이들 이미지들에서의 관심 요소들이고, 그러므로 사용자들이 "줌 인된 것(zoomed in)"을 보기 위해 인식하기 쉬울 것이다. 이들 요소들이 검출된다면, 사진에 대한 두 개의 카피들이 저장된다: a) 디스플레이 사이즈에 맞추도록 리사이징된 것 및 b) 원래의 이미지가 상기 관심 영역의 위치로 크로핑되고 이후 디스플레이 사이즈를 맞추기 위해 다운사이징된 것. 대안적인 실시예로서, 상기 원래의 이미지의 관심 영역들의 선택은 사용자에 의해 수동으로 선택될 수 있다.
이미지가 디스플레이되는 동안, 사용자가 전체 이미지를 보기를 원한다면, 제 1의 것(a)이 디스플레이를 위해 선택되며; 대신 사용자가 관심 요소들만을 보기를 선호한다면, 제 2 이미지(b)가 디스플레이를 위해 선택된다.
본 발명의 보다 완전한 이해를 위해, 이제 첨부한 도면들과 함께 취해진 다음의 설명에 대한 참조가 이루어진다.
본 발명에 따르면, 저장 요건들을 최소화하면서 최대 품질이 보상되는 디스플레이를 위한 이미지(또는 이미지의 부분들)를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따라 디스플레이를 위한 이미지를 제공하기 위한 장치의 단순화된 개략도.
도 2는 본 발명의 일 실시예에 따라 디스플레이를 위한 이미지를 제공하기 위한 방법의 흐름도.
도 3은 도 1의 장치의 저장 수단에 대한 단순화된 개략도.
도 1을 참조할 때, 일 실시예의 장치(100)는 결정 수단(103)의 입력에 연결된 입력 단자(101)를 포함한다. 상기 결정 수단(103)의 출력은 프로세서(105)의 입력에 연결된다. 상기 입력 단자(101)는 또한 상기 프로세서(105)의 입력에 연결된다. 상기 프로세서(105)의 출력은 저장 수단(107)에 연결된다. 상기 저장 수단(107)은 상기 장치(100)의 출력 단자(109)에 연결된다.
상기 저장 수단(107)은 상기 장치(100)에 대해 내부로서 본 명세서에 도시되지만, 대안적인 실시예에서, 상기 저장 수단(107)은 장치에 대해 외부일 수 있다. 상기 저장 수단(107)은 ROM/RAM 드라이브, CD, 카메라의 메모리 디바이스, 상기 장치(100)에 연결된 디지털 사진 프레임 또는 유사한 디바이스, 또는 원격 서버와 같이, 컴퓨터 시스템의 메모리 디바이스일 수 있다. 그것은 유선 또는 무선 접속을 통해 액세스될 수 있고/있거나 인터넷과 같은 보다 광범위한 네트워크를 통해 액세스될 수 있다. 상기 저장 수단(107)은 디스플레이하기 위해 복수의 이미지들을 저장한다. 원격 서버에 저장된 이미지들은 예를 들면 장치(100)의 저장 수단(107)에 업로딩될 수 있고 임시로 저장될 수 있다.
상기 출력 단자는 상기 저장 수단(107)의 이미지들을 렌더링하기 위한 디스플레이에 연결된다. 상기 디스플레이는 상기 장치(100)의 일체형 부분일 수 있다(도시되지 않음).
도 1의 장치의 동작은 이제 도 2를 참조하여 기술될 것이다.
이미지는 외부 저장 수단(도시되지 않음)으로부터 검색되고 상기 입력 단자(101)를 통해 상기 결정 수단(103)에 입력된다. 상기 이미지는 타겟 이미지 사이즈로 리사이징되며(단계 207), 예를 들어 상기 이미지는 프로세서(105)에 의해 디스플레이를 맞추기 위해 리사이징될 수 있다. 상기 이미지의 해상도는 통상적으로 사진 프레임의 디스플레이의 것보다 훨씬 더 크기 때문에, 상기 이미지는 언제나 다운사이징된다. 상기 리사이징된 이미지는 현재 종래의 사진 프레임 디바이스들에서 일어나는 것처럼 저장 수단(107)에 저장된다(단계 209).
동시에, 이미지에 대한 적어도 하나의 관심 영역이 결정 수단(103)에 의해 결정된다(단계 201). 상기 결정 수단(103)은 예를 들면, 기존의 최신 얼굴 검출 알고리즘들을 사용하여 하나 또는 다수의 얼굴들의 위치를 자동으로 검출하기 위한 검출기를 포함할 수 있거나, 또는 대안적으로 사용자는 이미지의 관심 영역을 수동으로 특정할 수 있다. 상기 원래의 이미지는 그 후 상기 영역으로 크로핑되며(단계 203) 결과적인 이미지는 그 후 상기 프로세서(105)에 의해 (예를 들면) 사진 프레임의 디스플레이를 맞추기 위해 타겟 이미지 사이즈로 리사이징된다(단계 205).
이러한 리사이징 단계(205)는 선택적일 수 있으며, 크로핑(단계 203)의 결과에 의존할 수 있고, 결과적인 크로핑된 이미지가 사진 프레임의 치수들에 정확하게 맞는다면, 리사이징은 요구되지 않는다. 그 외에, 상기 크로핑된 이미지가 상기 사진 프레임 디스플레이의 해상도보다 더 작다면, 상기 이미지는 업사이징되고, 상기 크로핑된 이미지가 상기 사진 프레임 디스플레이의 해상도보다 훨씬 더 크다면, 상기 이미지는 다운사이징된다.
이러한 단계 후, 상기 이미지에 대한 크로핑된/리사이징된 관심 영역은 저장 수단(107)에서 저장된다(단계 209).
이미지를 디스플레이할 때, 어떤 이미지를 취할지에 대한 선택은 디스플레이 옵션들에 의존한다. 도 3을 참조할 때, 사용자가 전체 이미지를 보기를 원한다면, 상기 다운사이징된 이미지가 사용된다. 이것은 상기 저장 수단(301)(도 1의 저장 수단(107))의 제 1 출력 단자(303)에 연결하고 디스플레이(309) 상에서 전체 이미지를 디스플레이(단계 213)하기 위해 전체 이미지를 선택(단계 211)하는 선택기(307)에 의해 달성된다. 대안적으로, 사용자가 단지 관심 영역만을 보기를 원한다면, 상기 크로핑된/리사이징된 이미지가 대신 사용된다. 이것은 상기 저장 수단(301)의 제 2 출력 단자(305)에 연결하고 상기 디스플레이(309) 상에서 상기 관심 영역을 디스플레이(단계 213)하기 위해 상기 이미지에 대한 크로핑된/리사이징된 관심 영역을 선택(단계 211)하는 상기 선택기(307)에 의해 달성된다.
상술된 상기 방법은 디지털 사진 프레임들에 이용되지만, 동일한 방법이 인터넷 사진 공유 서비스들, 사진들이 첨부되는 이메일 서비스들 등에 이용될 수 있음을 이해할 수 있다.
관심 영역을 자동으로 검출하고 그에 의해 적절한 크로핑 영역을 결정할 때, 여러 아이템들이 중요하다.
고려되는 제 1 아이템은 최소 사이즈이다. 타겟 애플리케이션의 해상도에 기초하여 얼굴을 크로핑한 후, 상기 얼굴은 실제로 상기 치수들에 맞추도록 더욱 다운스케일링될 수 있다. 따라서, 얼굴들에 대한 최소 사이즈가 부과되며, 이것은 상기 얼굴이 사진 프레임에 디스플레이될 때 또렷해지기에 충분히 크거나 또는 그것이 그렇게 되도록 다운스케일링될 수 있음을 보장한다. 예를 들면, 상기 프레임의 보다 작은 측면의 적어도 4분의 1인 얼굴들을 고려한다. 상기 프레임이 800×600의 해상도를 갖는다면, 얼굴 폭/높이는 적어도 150이 될 것이다.
고려되는 제 2 아이템은 영역 확대이다. 얼굴 특징들은 눈들, 코, 및 입을 포함하므로, 상기 영역은 전체 얼굴, 더하기 상기 주변 콘텍스트의 비트가 포함되는 것을 보장하기 위해 상당히 확대된다. 예를 들면, 상기 얼굴 주변의 모든 4개의 측면들이 확대될 수 있다. 예를 들면, 상기 얼굴 특징들이 300×300의 영역을 커버한다면, 관심 영역은 300개의 픽셀들에 의해 네 개의 측면들 각각을 확대함으로써 생성된 900×900일 것이다. 그러나, 예로서 상기 얼굴이 이미지의 에지에 위치된다면, 상기 확대가 상기 이미지 외부에서 이루어지지 않도록 상기 얼굴들의 다른 측면에서 확대가 이루어진다.
고려되는 제 3 아이템은 타겟 디스플레이의 해상도이다. 예를 들면, 상기 타겟 디스플레이가 디지털 사진 프레임이라면, 상기 사진 프레임의 해상도가 결정된다. 관심 영역은 사진 프레임의 해상도의 비를 매칭하도록 확대되어야 한다. 관심 영역이 900×900이고 사진 프레임이 800×600인 이전의 예가 계속된다. 상기 사진 프레임 비는 800/600 = 4/3이다. 따라서, 상기 관심 영역은 상기 비가 동일하도록 1200×900으로 확대되어야 한다. 상기 원래의 이미지를 이러한 1200×900 픽셀 영역으로 크로핑한 후, 이러한 영역은 상기 사진 프레임 해상도를 매칭하기 위해 다운스케일링될 수 있다.
고려되는 제 4 아이템은 상기 타겟 디스플레이의 방향(orientation)이다. 사진 프레임은 풍경 또는 초상화 스타일들 중 하나로 디스플레이될 수 있기 때문에, 그것은 애플리케이션에 의해 사용될 수 있는 2개의 영역들 모두를 고려하고 준비하도록 권고된다.
얼굴 위치가 또한 고려된다. 종종 상기 얼굴은 이미지의 중심에 위치된다. 그러나 사용자가 중심 밖의 얼굴을 갖도록 선택하는 다수의 경우들이 존재한다. 얼굴 영역의 최종 확대를 결정할 때, 즉 이것은 상기 얼굴이 좌/우 또는 상부/하부 방향 중 하나로 또한 약간 중심을 벗어나 위치되는지가 고려될 수 있다. 이전 예에서, 1200×900으로 확대되어야 하는 900×900 영역이 존재하였다. 간단한 선택은 좌측 및 우측 모두가 150 픽셀들만큼 확대되는 것이다. 그러나, 상기 얼굴이 중심에 있지 않다면, 하나의 측면은 300 픽셀들로 확대되며 다른 측면은 현 상황에서 그대로 둔다.
상기 이미지가 다수의 얼굴들을 포함하고 영역이 각각의 얼굴에 대해 산출된다면, 관심 영역은 또 다른 얼굴과 중첩하는 것을 회피하기 위해 이동될 수 있다. 가능하다면, 상기 관심 영역의 에지에서 또 다른 얼굴의 부분이 회피된다. 그러나, 이것이 항상 가능한 것은 아니다. 상기 예에서와 같이, 상기 900×900 영역은 1200×900으로 확대되어야 한다. 상기 관심 영역은 이러한 종류의 중첩을 회피하기 위해 약간 좌측 및 우측으로 쉬프트될 수 있다. 그러나, 또 다른 얼굴이 원래의 900×900 영역 내에 부분적으로 위치된다면, 이것은 예를 들면 머리털 영역의 부분에 대한 커팅의 위험 없이는 회피될 수 없다.
상기 이미지가 다수의 얼굴들을 포함한다면, 상기 이미지는 각각의 얼굴을 개별적으로 크로핑하기보다는 모든 얼굴들을 함께 포함하는 영역으로 크로핑하고 리사이징될 수 있다. 이제 얼굴들을 포함한 영역은 모든 얼굴들의 영역들을 에워싸는 직사각형이 된다. 이것은 각각의 얼굴이 개별적으로 그리고 그 후 그것들의 확대들의 최대를 취하는 확대를 결정함으로써 확대될 수 있다. 이것은 상기 얼굴들의 각각이 충분히 큰 확대를 가진다는 것을 보장한다. 상기 관심 영역의 사진 프레임의 방향 및 해상도를 사용하는 것은 얼굴들에 대해 개별적으로 행해지는 것과 동일한 방식으로 결정되고 크로핑/리사이징된다.
상기 이미지는 상기 타겟 이미지의 사이즈 및 종횡비를 결정하고 상기 이미지의 사이즈 및 종횡비를 결정함으로써 타겟 이미지 사이즈로 리사이징된다(단계 207). 스케일링 팩터가 그 후 다음과 같이 결정된다.
Figure pct00001
여기서 S는 상기 스케일링 팩터이고, I는 상기 결정된 이미지의 사이즈이며, T는 상기 결정된 타겟 이미지의 사이즈이다. 상기 이미지는 그 후 S에 따라 리사이징된다.
일 실시예에서, 타겟 이미지 사이즈를 맞추기 위해 관심 영역을 리사이징하는 세부사항들이 이하에 기술된다.
상기 타겟 이미지 사이즈의 사이즈 및 종횡비와 상기 크로핑된 관심 영역이 결정된다. 이것들은 스케일링 팩터를 결정하기 위해 비교된다.
Figure pct00002
S는 스케일링 팩터이고, R은 상기 결정된 관심 영역의 사이즈이며, T는 상기 결정된 타겟 이미지의 사이즈이다.
상기 결정된 종횡비에 대해, 상기 폭에 대한 스케일링 팩터(Sw) 및 상기 높이에 대한 스케일링 팩터(Sh)는 다음과 같이 결정된다.
Figure pct00003
Figure pct00004
여기서 Rw 및 Rh는 각각 관심 영역의 폭 및 높이이며, Tw 및 Th는 각각 상기 타겟 이미지의 폭 및 높이이다.
상기 관심 영역의 종횡비와 상기 타겟 이미지 사이즈가 상이하다면, Sw 및 Sh는 상이하다. 이것이 발생하면, Sw 또는 Sh 중 하나의 사용은 상기 리사이징된 관심 영역의 왜곡을 야기할 것이다. 이것은 Sw 및 Sh를 동일하게 만들기 위해 Rh 또는 Rw 중 하나를 확대하고 상기 관심 영역을 리사이징하기 위해 이러한 스케일링 팩터를 사용함으로써 극복한다.
이것은 상기 관심 영역을 원하는 Rh 및 Rw로 확대함으로써 달성된다.
본 발명의 실시예들은 첨부한 도면들에서 도시되며 앞서 말한 상세한 설명에 기술되었지만, 본 발명은 개시된 실시예들에 제한되지 않으며, 다음의 청구항들에 제시된 바와 같이 본 발명의 범위로부터 벗어나지 않고 다수의 변경들이 가능함을 이해할 것이다.
이 기술분야의 숙련자들에게 명백한 바와 같이, '수단'은 단독으로 또는 다른 기능들과 함께, 별개로 또는 다른 요소들과 협력하여 특정 기능을 재생하도록 설계되거나 또는 실시 중 재생하는 임의의 하드웨어(개별적인 또는 집적 회로들 또는 전자 요소들과 같은) 또는 소프트웨어(프로그램들 또는 프로그램들의 부분들과 같은)를 포함해야 한다. 본 발명은 여러 개별 요소들을 포함하는 하드웨어에 의해, 및 적절하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 장치 청구항에서, 열거한 여러 수단들, 이들 수단들의 몇몇은 하드웨어의 다름 아닌 바로 동일한 아이템에 의해 구현될 수 있다. '컴퓨터 프로그램 제품'은 인터넷과 같은 네트워크를 통해 다운로드 가능하거나 또는 임의의 다른 방식으로 판매 가능한 플로피 디스크와 같은 컴퓨터-판독가능한 매체에 저장된 임의의 소프트웨어 제품을 의미한다는 것을 이해할 것이다.
100 : 장치 101 : 입력 단자
103 : 결정 수단 105 : 프로세서
107, 301 : 저장 수단 303 : 제 1 출력 단자
305 : 제 2 출력 단자 307 : 선택기
309 : 디스플레이

Claims (13)

  1. 디스플레이를 위한 이미지를 제공하기 위한 방법에 있어서,
    이미지 내의 적어도 하나의 관심 영역을 결정하는 단계(201);
    상기 이미지를 타겟 이미지 사이즈로 리사이징하는 단계(207);
    적어도 하나의 관심 영역이 결정되면, 상기 이미지를 상기 적어도 하나의 관심 영역의 각각에 대해 크로핑(crop)하는 단계(203);
    상기 크로핑된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하는 단계(205);
    디스플레이를 위해 상기 리사이징된 이미지 및 상기 리사이징된 크로핑된 적어도 하나의 관심 영역을 저장하는 단계(209)를 포함하는, 디스플레이를 위한 이미지 제공 방법.
  2. 제 1 항에 있어서,
    상기 이미지를 타겟 이미지 사이즈로 리사이징하는 단계(207)는,
    상기 타겟 이미지의 상기 사이즈 및 종횡비(aspect ratio)를 결정하는 단계;
    상기 이미지의 상기 사이즈 및 종횡비를 결정하는 단계;
    상기 결정된 상기 타겟 이미지의 사이즈 및 상기 결정된 상기 이미지의 사이즈로부터 스케일링 팩터(scaling factor)를 결정하는 단계; 및
    상기 결정된 스케일링 팩터에 따라 상기 이미지를 리사이징하는 단계를 포함하는, 디스플레이를 위한 이미지 제공 방법.
  3. 제 2 항에 있어서,
    상기 크로핑된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하는 단계(205)는,
    상기 크로핑된 적어도 하나의 관심 영역의 상기 사이즈 및 종횡비를 결정하는 단계;
    상기 결정된 상기 타겟 이미지의 사이즈 및 상기 결정된 상기 크로핑된 적어도 하나의 관심 영역의 사이즈로부터 스케일링 팩터를 결정하는 단계; 및
    상기 결정된 상기 크로핑된 적어도 하나의 관심 영역의 종횡비를 유지하면서 상기 결정된 스케일링 팩터에 따라 상기 크로핑된 적어도 하나의 관심 영역을 리사이징하는 단계를 포함하는, 디스플레이를 위한 이미지 제공 방법.
  4. 제 3 항에 있어서,
    상기 결정된 종횡비를 유지하면서 상기 결정된 스케일링 팩터에 따라 상기 크로핑된 적어도 하나의 관심 영역을 리사이징하는 단계(205)는,
    확대된 적어도 하나의 관심 영역이 상기 결정된 상기 이미지의 종횡비에 대응하는 종횡비를 갖도록 상기 크로핑된 적어도 하나의 관심 영역의 외부에 적어도 상기 이미지의 일부를 포함하기 위해 상기 크로핑된 적어도 하나의 관심 영역을 확대하는 단계;
    상기 이미지를 상기 확대된 적어도 하나의 관심 영역에 대해 크로핑하는 단계; 및
    상기 크로핑된 확대된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하는 단계를 포함하는, 디스플레이를 위한 이미지 제공 방법.
  5. 제 1 항에 있어서,
    상기 이미지의 저장되고 리사이징된 이미지 또는 상기 이미지의 상기 저장되고 리사이징된 크로핑된 적어도 하나의 관심 영역을 선택하는 단계(211)를 추가로 포함하는, 디스플레이를 위한 이미지 제공 방법.
  6. 제 5 항에 있어서,
    상기 선택된 저장 이미지를 디스플레이하는 단계(213)를 추가로 포함하는, 디스플레이를 위한 이미지 제공 방법.
  7. 제 1 항에 있어서,
    이미지 내의 적어도 하나의 관심 영역을 결정하는 단계(201)는,
    이미지 내의 적어도 하나의 관심 영역을 자동으로 검출하는 단계를 포함하는, 디스플레이를 위한 이미지 제공 방법.
  8. 제 7 항에 있어서,
    상기 이미지를 상기 적어도 하나의 관심 영역의 각각에 대해 크로핑하는 단계(203)는,
    상기 검출된 적어도 하나의 관심 영역의 외부에 상기 이미지의 일부를 포함하도록 상기 검출된 관심 영역을 확대하는 단계; 및
    상기 이미지를 상기 확대된 적어도 하나의 관심 영역에 대해 크로핑하는 단계를 포함하는, 디스플레이를 위한 이미지 제공 방법.
  9. 제 1 항에 있어서,
    상기 이미지 내의 적어도 하나의 관심 영역을 결정하는 단계(201)는,
    이미지 내의 적어도 하나의 관심 영역을 수동으로 정의하는 단계를 포함하는, 디스플레이를 위한 이미지 제공 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 실행하기 위한 복수의 프로그램 코드 부분들을 포함하는, 컴퓨터 프로그램 제품.
  11. 디스플레이를 위한 이미지를 제공하기 위한 장치(100)에 있어서,
    이미지 내의 적어도 하나의 관심 영역을 결정하기 위한 결정 수단(103);
    상기 이미지를 타겟 이미지 사이즈로 리사이징하고, 적어도 하나의 관심 영역이 결정되면, 상기 이미지를 상기 적어도 하나의 관심 영역에 대해 크로핑하며, 상기 크로핑된 적어도 하나의 관심 영역을 상기 타겟 이미지 사이즈로 리사이징하기 위한 프로세서(105); 및
    디스플레이를 위해 상기 리사이징된 이미지 및 상기 리사이징된 크로핑된 적어도 하나의 관심 영역을 저장하기 위한 저장 수단(107)을 포함하는, 디스플레이를 위한 이미지 제공 장치.
  12. 제 11 항에 있어서,
    상기 저장된 이미지를 디스플레이하기 위한 디스플레이를 추가로 포함하는, 디스플레이를 위한 이미지 제공 장치.
  13. 제 11 항에 있어서,
    상기 결정 수단(103)은 이미지 내의 적어도 하나의 관심 영역을 자동으로 검출하기 위한 검출기를 포함하는, 디스플레이를 위한 이미지 제공 장치.
KR1020127006153A 2009-08-11 2010-08-11 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치 KR20120055632A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09167596.7 2009-08-11
EP09167596 2009-08-11

Publications (1)

Publication Number Publication Date
KR20120055632A true KR20120055632A (ko) 2012-05-31

Family

ID=42953821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127006153A KR20120055632A (ko) 2009-08-11 2010-08-11 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US20120134595A1 (ko)
EP (1) EP2465093A1 (ko)
JP (1) JP2013501993A (ko)
KR (1) KR20120055632A (ko)
CN (1) CN102498499A (ko)
RU (1) RU2012108572A (ko)
WO (1) WO2011018759A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158935A1 (ko) * 2021-01-25 2022-07-28 주식회사 와이즈오토모티브 중장비용 전방 영상 생성 장치

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
US8832570B1 (en) * 2011-12-22 2014-09-09 Google Inc. Representing a group identity in a social network
CN103517072B (zh) * 2012-06-18 2017-11-03 联想(北京)有限公司 视频通信方法和设备
US8825664B2 (en) * 2012-08-17 2014-09-02 Splunk Inc. Indexing preview
CN103051859B (zh) * 2012-12-05 2015-12-02 安科智慧城市技术（中国）有限公司 一种显示脸部影像的系统和方法
US20140193056A1 (en) * 2013-01-10 2014-07-10 Siemens Medical Solutions Usa, Inc. Systems and Methods for Patient Anatomical Image Volume Data Visualization Using A Portable Processing Device
CN103164119B (zh) * 2013-02-25 2016-06-08 东莞宇龙通信科技有限公司 通信终端及图像的自适应显示方法
US9607235B2 (en) * 2013-03-14 2017-03-28 Facebook, Inc. Image cropping according to points of interest
US9990693B2 (en) * 2014-04-29 2018-06-05 Sony Corporation Method and device for rendering multimedia content
CN104461300B (zh) * 2014-12-15 2017-12-12 宇龙计算机通信科技(深圳)有限公司 图片预览方法及系统
US9972111B2 (en) * 2016-02-24 2018-05-15 Adobe Systems Incorporated Optimizing image cropping
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
US10607314B2 (en) * 2018-01-09 2020-03-31 Universal City Studios Llc Image auto resizing
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP3756340A4 (en) * 2019-05-14 2020-12-30 SZ DJI Technology Co., Ltd. PHOTOGRAPHY PROCESS AND APPARATUS
CN110162286B (zh) * 2019-05-17 2023-04-07 维沃移动通信有限公司 一种图片显示方法及终端
CN110298380A (zh) * 2019-05-22 2019-10-01 北京达佳互联信息技术有限公司 图像处理方法、装置及电子设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
US6674439B1 (en) * 1999-05-13 2004-01-06 Matsushita Electric Industrial Co., Ltd. Information terminal device
US7206804B1 (en) * 2000-11-10 2007-04-17 Sharp Laboratories Of America, Inc. Methods and systems for transmitting digital images
US6654507B2 (en) * 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
US6912326B2 (en) * 2002-05-21 2005-06-28 Inventec Appliances Corp. Method for displaying an electronic document on a digital handheld device
EP1377023A1 (en) * 2002-06-28 2004-01-02 Océ-Technologies B.V. Image scanning and processing system, method of scanning and processing image and method of selecting one of a plurality of master files comprising data encoding a scanned image
JP3938775B2 (ja) * 2003-12-17 2007-06-27 株式会社エヌ・ティ・ティ・ドコモ 移動通信端末、サーバ、及びそのデータ処理方法
CN100373399C (zh) * 2004-08-18 2008-03-05 富士通株式会社 建立劣化字典的方法和装置
JP4574469B2 (ja) * 2004-08-23 2010-11-04 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
EP1638015A1 (en) * 2004-09-15 2006-03-22 Arizan Corporation Method for requesting and viewing a zoomed area of detail from an image attachment on a mobile communication device
JP2006109119A (ja) * 2004-10-06 2006-04-20 Omron Corp 動画記録装置および動画再生装置
JP2006191167A (ja) * 2004-12-28 2006-07-20 Casio Comput Co Ltd 撮像装置及び画像データの保存方法並びに再生方法
US9329827B2 (en) 2004-12-29 2016-05-03 Funmobility, Inc. Cropping of images for display on variably sized display devices
GB2422739B (en) * 2005-01-31 2010-07-14 Hewlett Packard Development Co Image processing method and apparatus
US7733405B2 (en) * 2005-02-10 2010-06-08 Seiko Epson Corporation Apparatus and method for resizing an image
US7773831B2 (en) * 2005-05-10 2010-08-10 Agfa-Gevaert N.V. Method for visual inspection of size-reduced digital image
US7574069B2 (en) * 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
JP4412552B2 (ja) * 2005-10-05 2010-02-10 富士フイルム株式会社 画像レイアウト装置および方法並びにプログラム
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
EP1895466A1 (en) 2006-08-30 2008-03-05 BRITISH TELECOMMUNICATIONS public limited company Providing an image for display
US8218895B1 (en) * 2006-09-27 2012-07-10 Wisconsin Alumni Research Foundation Systems and methods for generating and displaying a warped image using fish eye warping
WO2008119187A1 (en) * 2007-04-02 2008-10-09 Esight Corp. An apparatus and method for augmenting sight
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
CA2727569C (en) * 2008-06-09 2017-09-26 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
US8400473B2 (en) * 2009-06-24 2013-03-19 Ariel Shamir Multi-operator media retargeting
US8405681B2 (en) * 2009-06-24 2013-03-26 Ariel Shamir Image comparison by asymmetric dynamic warping
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158935A1 (ko) * 2021-01-25 2022-07-28 주식회사 와이즈오토모티브 중장비용 전방 영상 생성 장치

Also Published As

Publication number Publication date
CN102498499A (zh) 2012-06-13
JP2013501993A (ja) 2013-01-17
EP2465093A1 (en) 2012-06-20
WO2011018759A1 (en) 2011-02-17
US20120134595A1 (en) 2012-05-31
RU2012108572A (ru) 2013-09-20

Similar Documents

Publication Publication Date Title
KR20120055632A (ko) 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치
US10896478B2 (en) Image grid with selectively prominent images
EP3047644B1 (en) Method and apparatus for generating a text color for a group of images
US8928772B2 (en) Controlling the sharpness of a digital image
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
JP5340895B2 (ja) 画像データ作成支援装置および画像データ作成支援方法
KR102045957B1 (ko) 휴대단말의 촬영 방법 및 장치
US8724919B2 (en) Adjusting the sharpness of a digital image
US7424218B2 (en) Real-time preview for panoramic images
US8451365B2 (en) Image control apparatus, image control method, and recording medium
US20090295787A1 (en) Methods for Displaying Objects of Interest on a Digital Display Device
KR20130103527A (ko) 핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성
WO2013175051A1 (en) Method and apparatus for producing a cinemagraph
JP2006012154A (ja) 画像処理
CN115052104A (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
WO2017036273A1 (zh) 成像的方法及装置
CN101472064A (zh) 拍摄系统及其景深处理方法
US7876368B2 (en) Slimming effect for digital photographs
KR102374022B1 (ko) 영상 처리 장치 및 방법
KR20060070919A (ko) 듀얼 카메라를 구비한 이동통신 단말기의 파노라마 영상표시 방법
US11595584B2 (en) Imaging apparatus, method of controlling imaging apparatus and computer-readable medium
US7466321B2 (en) Method and apparatus for the creation of cartoon effect videos
RU2792413C1 (ru) Способ обработки изображений и мобильный терминал
JP7244661B2 (ja) 撮像装置及び画像処理方法
US11778131B1 (en) Automatic composite content generation

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid