KR20160130769A - 화상을 프로세싱하기 위한 방법 및 디바이스 - Google Patents

Abstract

적어도 하나의 페이스를 포함하는 화상을 프로세싱하는 방법이 개시된다. 방법은: - 화상에서의 크롭핑 윈도우를 획득하는 단계 (S10); - 크롭핑 윈도우에 의해 범위가 정해진 화상 부분을 크롭핑함으로써 화상을 프로세싱하는 단계 (S18) 를 포함하며, 여기서 방법은 적어도 하나의 페이스를 검출하는 단계 (S12), 검출된 적어도 하나의 페이스에 대한 가중치를 결정하는 단계 (S14), 및 가중치에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 단계 (S16) 를 더 포함하며, 여기서 가중치는 대응하는 검출된 페이스의 사이즈에 기초하여 결정된다.

Description

화상을 프로세싱하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR PROCESSING A PICTURE}

다음에서는, 화상을 프로세싱하는 방법이 개시된다. 구체적으로, 적어도 하나의 페이스 (face) 를 포함하는 화상을 프로세싱하는 방법이 개시되며, 여기서 프로세싱하는 것은 상기 화상을 크롭핑하는 (cropping) 것을 포함한다. 대응하는 디바이스가 또한 개시된다.

고정된 화상들 또는 비디오들의 세트에서의 네비게이션 애플리케이션들에 있어서, 한눈에 모든 화상들 및 비디오들을 디스플레이할 수 있는 것은 유용하다. 이 목적을 위해, 화상들 또는 비디오들이 동일한 화면에 동시에 디스플레이되어 쉽게 비교가능할 수 있도록 각각의 고정된 화상 또는 비디오들의 각각의 화상의 감소된 사이즈의 버전을 생성시키는 것은 흥미롭다. 마찬가지로, 작은 사이즈의 화면을 갖는 모바일 디바이스에서의, 예를 들어, 모바일 전화기에서의 또는 PDA 에서의, 비디오 컨텐츠의 브로드캐스트 애플리케이션에 있어서, 감소된 사이즈의 버전을 생성시키는 것이 필요하다.

소스 화상 또는 비디오로부터 이러한 감소된 화상들 또는 비디오들을 생성시키기 위한, 당업자에게 공지된 방법은 상기 소스 화상 또는 비디오를 서브샘플링하는 것으로 구성된다. 사이즈에서의 상당한 감소의 경우에, 일부 화상 부분들은 너무 작기 때문에 사용자가 이용할 수 없다.

다른 방법은 화상의 가장 현저하거나 시각적으로 매력적인 영역들을 포함하는 화상의 일부분을 크롭핑하는 것이다. 그러나, 화상에 다수의 페이스들이 있을 시에, 그러한 방법은 화상에서 적절한 크롭핑 윈도우를 규정하는데 종종 실패한다.

적어도 하나의 페이스를 포함하는 화상을 프로세싱하는 방법이 개시된다.

방법은:

- 화상에서의 크롭핑 윈도우를 획득하는 단계;

- 크롭핑 윈도우에 의해 범위가 정해진 화상 부분을 크롭핑함으로써 화상을 프로세싱하는 단계;

를 포함하며, 여기서 방법은 적어도 하나의 페이스를 검출하는 단계, 검출된 적어도 하나의 페이스에 대한 가중치를 결정하는 단계, 및 가중치에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 단계를 더 포함하며, 여기서 가중치는 대응하는 검출된 페이스의 사이즈에 기초하여 결정된다.

유리하게, 프로세싱된 화상은 페이스들의 존재함이 고려되기 때문에 품질이 더 좋다.

특정 실시형태에 따르면, 가중치에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 것은:

- 적어도 하나의 페이스 주위의 바운딩 박스를 결정하는 것; 및

- 바운딩 박스에 중심을 맞추도록 크롭핑 윈도우의 포지션을 수정하는 것

을 포함한다.

변형예에서, 화상은 복수의 페이스들을 포함한다. 이러한 경우에, 가중치의 검출 및 결정은 복수의 페이스들의 각각의 페이스에 대해 수행된다.

이러한 변형예에서, 가중치들에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 것은:

a) 순서화된 페이스들의 리스트를 형성하기 위해 가중치들의 내림 차순으로 복수의 페이스들을 순서화하는 단계;

b) 적어도 순서화된 리스트의 제 1 페이스를 포함하는 바운딩 박스에 중심을 맞추도록 크롭핑 윈도우의 포지션을 수정하는 단계;

c) 순서화된 리스트의 다음 페이스를 추가함으로써 바운딩 박스를 확대하는 단계;

d) 바운딩 박스가 크롭핑 윈도우보다 더 커질 때까지 단계 b) 및 단계 c) 를 반복하는 단계

를 포함한다.

유리하게, 단계 a) 에는 순서화된 리스트에서의 2 개의 연속적인 페이스들의 가중치들 사이의 차이를 계산하는 단계 및 순서화된 페이스들의 리스트에서 임계 값을 초과하는 차이 다음의 페이스들을 제거하는 단계를 포함하는 단계 a') 가 뒤따른다.

예시적으로, 복수의 페이스들의 각각의 페이스에 대한 가중치를 결정하는 것은, 하나의 페이스에 대해:

- 선명도의 레벨을 결정하고;

- 심도의 레벨을 결정하고;

- 현출성 (saliency) 의 레벨을 결정하고;

- 선명함의 레벨, 심도의 레벨, 현출성의 레벨, 및 사이즈의 선형 조합으로서 2 개의 페이스들의 각각에 대한 가중치를 계산하는

것을 포함한다.

적어도 하나의 페이스를 포함하는 화상을 프로세싱하기 위한 디바이스가 개시된다.

디바이스는:

- 화상에서의 크롭핑 윈도우를 획득하고;

- 크롭핑 윈도우에 의해 범위가 정해진 화상 부분을 크롭핑함으로써 화상을 프로세싱하도록

구성된 적어도 하나의 프로세서를 포함하며;

여기서 적어도 하나의 프로세서는 적어도 하나의 페이스를 검출하고, 검출된 적어도 하나의 페이스에 대한 가중치를 결정하고, 및 가중치에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하도록 더 구성되며, 여기서 가중치는 대응하는 검출된 페이스의 사이즈에 기초하여 결정된다.

특정 실시형태에서, 가중치에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 것은:

- 적어도 하나의 페이스 주위의 바운딩 박스를 결정하는 것; 및

- 바운딩 박스에 중심을 맞추도록 크롭핑 윈도우의 포지션을 수정하는 것

을 포함한다.

변형예에서, 화상은 복수의 페이스들을 포함하고, 가중치의 검출 및 결정은 복수의 페이스들의 각각의 페이스에 대해 수행된다.

이러한 경우에, 가중치들에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 것은:

a) 순서화된 페이스들의 리스트를 형성하기 위해 가중치들의 내림 차순으로 복수의 페이스들을 순서화하고;

b) 적어도 순서화된 리스트의 제 1 페이스를 포함하는 바운딩 박스에 중심을 맞추도록 크롭핑 윈도우의 포지션을 수정하고;

c) 순서화된 리스트의 다음 페이스를 추가함으로써 바운딩 박스를 확대하고;

d) 바운딩 박스가 크롭핑 윈도우보다 더 커질 때까지 단계 b) 및 단계 c) 를 반복하는 것을 포함한다.

유리하게, 단계 a) 에는 순서화된 리스트에서의 2 개의 연속적인 페이스들의 가중치들 사이의 차이를 계산하는 것 및 임계 값을 초과하는 차이에 따라 순서화된 페이스들의 리스트에서 페이스들을 제거하는 것을 포함하는 단계 a') 가 뒤따른다.

예시적으로, 복수의 페이스들의 각각의 페이스에 대한 가중치를 결정하는 것은, 하나의 페이스에 대해:

- 선명도의 레벨을 결정하고;

- 심도의 레벨을 결정하고;

- 현출성의 레벨을 결정하고;

- 선명함의 레벨, 심도의 레벨, 현출성의 레벨, 및 사이즈의 선형 조합으로서 2 개의 페이스들의 각각에 대한 가중치를 계산하는

것을 포함한다.

적어도 하나의 페이스를 포함하는 화상을 프로세싱하기 위한 디바이스가 개시된다.

디바이스는:

- 화상에서의 크롭핑 윈도우를 획득하는 수단;

- 크롭핑 윈도우에 의해 범위가 정해진 화상 부분을 크롭핑함으로써 화상을 프로세싱하는 수단;

을 포함하며, 여기서 디바이스는 적어도 하나의 페이스를 검출하는 수단, 검출된 적어도 하나의 페이스에 대한 가중치를 결정하는 수단, 및 가중치에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 수단을 더 포함하며, 여기서 가중치는 대응하는 검출된 페이스의 사이즈에 기초하여 결정된다.

특정 실시형태에 따르면, 가중치에 기초하여 화상에서의 크롭핑 윈도우의 포지션을 수정하는 수단은:

- 적어도 하나의 페이스 주위의 바운딩 박스를 결정하는 수단; 및

- 바운딩 박스에 중심을 맞추도록 크롭핑 윈도우의 포지션을 수정하는 수단

을 포함한다.

화상이 복수의 페이스들을 포함하는 변형예에서, 가중치를 결정하는 수단 및 가중치를 결정하는 수단은 복수의 페이스들의 각각의 페이스에 대해 가중치를 검출하고 결정하도록 수행하도록 구성된다.

컴퓨터 프로그램 제품은, 이러한 프로그램이 컴퓨터에서 실행되는 경우, 개시된 실시형태들 및 변형예들 중 임의의 것에 따른 프로세싱 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함한다.

개시된 실시형태들 및 변형예들 중 임의의 것에 따라, 프로세서가 적어도 프로세싱 방법의 단계들을 수행하게 하는 명령들이 내부에 저장된 프로세서 판독가능 매체가 개시된다.

도면들에서는, 본 발명의 실시형태가 도시된다. 이는 다음을 보여준다:
- 도 1 은 본 발명의 구체적이고 비-제한적인 실시형태에 따른 적어도 하나의 페이스를 포함하는 화상 (Y) 을 프로세싱하기 위한 디바이스를 도시한다;
- 도 2 는 본 발명의 구체적이고 비-제한적인 실시형태에 따른 도 1 의 프로세싱 디바이스의 예시적인 아키텍쳐를 나타낸다;
- 도 3 은 본 발명의 구체적이고 비-제한적인 실시형태에 따른 적어도 하나의 페이스를 포함하는 화상 (Y) 을 프로세싱하는 방법의 플로차트를 나타낸다;
- 도 4 는 본 발명의 구체적이고 비-제한적인 실시형태에 따른 도 3 에 도시된 플로차트의 세부사항을 나타낸다;
- 도 5 는 본 발명의 다양한 실시형태들에 따른 바운딩 박스에 중심을 둔 크롭핑 윈도우를 나타낸다;
- 도 6 은 본 발명의 구체적이고 비-제한적인 실시형태에 따른 도 3 에 도시된 플로차트의 세부사항을 나타낸다;
- 도 7 은 본 발명의 구체적이고 비-제한적인 실시형태에 따른 방법의 상이한 반복들을 도시한다;
- 도 8 은 내림 차순으로 순서화된 페이스들의 가중치들을 도시한다; 그리고
- 도 9 는 본 발명의 구체적이고 비-제한적인 실시형태에 따른 크롭핑한 후의 프로세싱된 화상을 나타낸다.

도 1 은 본 발명의 구체적이고 비-제한적인 실시형태에 따른 적어도 하나의 페이스를 포함하는 화상 (Y) 을 프로세싱하기 위한 디바이스 (1) 를 도시한다. 변형예에 따르면, 화상은 적어도 2 개의 페이스들을 포함한다.

프로세싱 디바이스 (1) 는 적어도 하나의 화상 (Y) 을 수신하도록 구성된 입력부 (10) 를 포함한다. 화상 (Y) 은 소스로부터 획득될 수도 있다. 본 발명의 상이한 실시형태들에 따르면, 소스는:

- 로컬 메모리, 예를 들어, 비디오 메모리, RAM, 플래시 메모리, 하드 디스크;

- 저장 인터페이스, 예를 들어, 대용량 스토리지, ROM, 광학 디스크, 또는 마그네틱 서포트와의 인터페이스;

- 통신 인터페이스, 예를 들어, 유선 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스 (예컨대, IEEE 802.11 인터페이스 또는 블루투스 인터페이스); 및

- 화상 캡쳐 회로 (예를 들어, 예컨대, CCD (또는 Charge-Coupled Device), 또는 CMOS (또는 Complementary Metal-Oxide-Semiconductor) 와 같은 센서) 를 포함하는 세트에 속한다.

입력부 (10) 는 화상 (Y) 에서의 크롭핑 윈도우를 획득하도록 구성된 모듈 (12) 에 링크된다. 크롭핑 윈도우는 또한 리프레이밍 윈도우 또는 추출 윈도우로 문헌에 공지되어 있다. 입력부 (10) 는 화상 (Y) 에서 적어도 하나의 페이스를 검출하도록 구성된 페이스 검출 모듈 (14) 에 더 링크된다. 페이스 검출 모듈 (14) 은 차례로 화상 (Y) 에서 검출된 페이스들의 각각에 대한 가중치를 결정하도록 구성된 모듈 (16) 에 링크된다. 각각의 가중치는 적어도 대응하는 페이스의 사이즈에 기초하여 결정된다. 모듈들 (12 및 16) 의 출력들은 모듈 (16) 에 의해 결정된 가중치들에 기초하여 화상 (Y) 에서 크롭핑 윈도우의 포지션을 수정하도록 구성된 모듈 (18) 에 연결된다. 모듈 (18) 은 크롭핑 윈도우에 의해 범위가 정해진 화상 부분을 크롭핑함으로써 화상 (Y) 을 프로세싱하도록 구성된 모듈 (20) 에 연결된다. 모듈 (20) 은 출력부 (22) 에 링크된다. 크롭핑된 화상 부분은 메모리에 저장될 수 있거나 목적지로 전송될 수 있다. 일 예로서, 크롭핑된 화상 부분은 원격부에 또는 로컬 메모리, 예를 들어, 비디오 메모리 또는 RAM, 하드 디스크에 저장된다. 변형예에서, 크롭핑된 화상 부분은 저장 인터페이스, 예를 들어, 대용량 스토리지, ROM, 플래시 메모리, 광학 디스크, 또는 자기적 지원부와의 인터페이스로 전송되고/되거나, 통신 인터페이스, 예를 들어, 포인트 투 포인트 링크, 통신 버스, 일 포인트 투 다중 포인트 링크, 또는 브로드캐스트 네트워크에 대한 인터페이스를 통해 송신된다.

도 2 는 본 발명의 구체적이고 비-제한적인 실시형태에 따른 프로세싱 디바이스 (1) 의 예시적인 아키텍쳐를 나타낸다. 프로세싱 디바이스 (1) 는, 예를 들어, 내부 메모리 (120) (예를 들어, RAM, ROM, EPROM) 와 함께, CPU, GPU 및/또는 DSP (Digital Signal Processor 의 영문 머리글자) 인 하나 이상의 프로세서(들) (110) 를 포함한다. 프로세싱 디바이스 (1) 는 출력 정보를 디스플레이하고/하거나 사용자가 커맨드들 및/또는 데이터를 입력하는 것을 허용하도록 적응되는 하나 또는 수 개의 입력/출력 인터페이스(들) (130) (예를 들어, 키보드, 마우스, 터치패드, 웹캠, 디스플레이); 및 프로세싱 디바이스 (1) 의 외부에 있을 수도 있는 파워 소스 (140) 를 포함한다. 프로세싱 디바이스 (1) 는 또한 네트워크 인터페이스(들) (미도시) 를 포함할 수도 있다.

본 발명의 예시적이고 비-제한적 실시형태에 따르면, 프로세싱 디바이스 (1) 는 메모리 (120) 에 저장된 컴퓨터 프로그램을 더 포함한다. 컴퓨터 프로그램은, 프로세싱 디바이스 (1) 에 의해, 특히 프로세서 (110) 에 의해 실행되는 경우, 프로세싱 디바이스 (1) 로 하여금, 도 3 을 참조하여 설명된 프로세싱 방법을 이행하게 하는 명령들을 포함한다. 변형예에 따르면, 컴퓨터 프로그램은 프로세싱 디바이스 (1) 에 외부적으로, 비일시적 디지털 데이터 서포트 상에, 예를 들어, 외부 저장 매체, 예컨대, HDD, CD-ROM, DVD, 판독전용 및/또는 DVD 드라이브 및/또는 DVD 판독/기록 드라이브 (모두 당해 기술 분야에 알려짐) 상에 저장된다. 프로세싱 디바이스 (1) 는 따라서 컴퓨터 프로그램을 판독하기 위한 인터페이스를 포함한다. 또한, 프로세싱 디바이스 (1) 는 대응하는 USB 포트들 (미도시) 을 통하여 하나 이상의 유니버셜 직렬 버스 (Universal Serial Bus; USB)-타입 저장 디바이스들 (예를 들어, "메모리 스틱") 에 액세스할 수 있다.

예시적이고 비-제한적인 실시형태들에 따르면, 프로세싱 디바이스 (1) 는:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿 (또는 태블릿 컴퓨터);

- 랩탑;

- 정지 화상 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 디코딩 칩;

- 정지 화상 서버;

- 비디오 서버 (예를 들어, 브로드캐스트 서버, 비디오-온-디맨드 서버, 또는 웹 서버); 및

- 비디오 쉐어링 플랫폼

을 포함하는 세트에 속하는 디바이스이다.

도 3 은 본 발명의 구체적이고 비-제한적인 실시형태에 따른 적어도 하나의 페이스를 포함하는 화상 (Y) 을 프로세싱하는 방법의 플로차트를 나타낸다. 변형예에서, 화상은 적어도 2 개의 페이스들을 포함한다.

단계 S10 에서, 예를 들어, 모듈 (12) 에 의해, 크롭핑 윈도우가 획득된다. 예시적으로, 크롭핑 윈도우는 메모리로부터 획득된다. 이러한 경우에, 크롭핑 윈도우는 미리 결정되어 메모리에 저장되었다. 변형예에서, 모듈 (12) 은 유럽 특허 출원 제 EP2005291938 호에 개시된 방법을 적용함으로써 크롭핑 윈도우를 획득한다. 이 특허 출원에서, 크롭핑 윈도우는 추출 윈도우라고 명명된다. 방법은 우선 화상 (Y) 으로부터 현출성 맵을 결정하는 단계를 포함한다. 현출성 맵은 화상의 현저함 (conspicuity) 의 2 차원 지형 표현이다. 이 맵은, 예를 들어, 0 과 255 사이에서 정규화된다. 현출성 맵은 따라서 지각적 관련성을 특징짓는 픽셀 당 현출성 값을 제공한다. 픽셀에 대한 현출성 값이 높을수록, 더 시각적으로 관련있는 픽셀이다. 예시적으로, 크롭핑 윈도우는 다음과 같이 획득된다:

a) 가장 높은 지각적 관심을 갖는 픽셀, 즉, 가장 높은 현출성 값을 갖는 픽셀에 중심을 맞추는 화상에서 현재 윈도우를 포지셔닝;

b) 화상에 포지셔닝된 각각의 윈도우에서의 픽셀들과 연관된 현출성 값들의 합과 화상과 연관된 현출성 값 사이의 현재 비율을 컴퓨팅;

c) 현재 비율이 임계치보다 낮으면:

새로운 가장 현출한 픽셀이라고 불리며, 단지 현재 가장 현출한 픽셀의 현출성 값보다 낮은 가장 높은 현출성 값을 갖는, 화상의 픽셀을 식별;

새로운 가장 현출한 픽셀에 중심을 둔 화상에 새로운 윈도우를 포지셔닝하는 것으로서, 새로운 현출한 픽셀이 현재 가장 현출한 픽셀로 되고 새로운 윈도우가 현재 윈도우로 됨;

단계 b 로 돌아감;

그렇지 않으면 상기 크롭핑 윈도우를 화상에 현재 포지셔닝된 모든 윈도우들을 포함하는 가장 작은 윈도우로 규정.

그러나, 본 발명은 크롭핑 윈도우를 획득하는 이러한 특정 방법으로 제한되지 않는다는 것이 이해될 것이다. 크롭핑 윈도우는 예를 들어 가장 높은 현출성 값을 갖는 픽셀에 중심을 둔 화상에 알려진 사이즈의 윈도우를 포지셔닝함으로써 획득될 수 있다.

단계 S12 에서, 예를 들어, 페이스 검출 모듈 (14) 에 의해, 페이스(들)가 화상 (Y) 에서 검출된다. 방법의 출력물은 각각의 사이즈 (Sz) 및 화상 (Y) 내의 포지션을 갖는 n 개의 검출된 페이스들 (Fi) 의 리스트이며, 여기서 i 및 n 은 정수이고, n≥1 이고, i ∈ [1;n] 이다. 검출된 페이스는 실제 페이스보다 더 많거나 더 적은 페이스를 커버할 수도 있다. 실제로, 검출된 페이스는 종종 오직 부분적으로 실제 페이스를 커버할 수도 있는 직사각형이다. 다음에서, 단어 "페이스" 는 검출된 페이스를 의미하는데 이용된다. 페이스(들)는 예를 들어, 2001 년의 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의에서 공개된 "Rapid object detection using boosted cascade of simple features" 라는 제목의 Viola 등으로 부터의 문서에서 개시된 방법을 적용함으로써 검출된다. 그러나, 본 발명은 페이스들 검출의 이러한 특정 방법으로 제한되지 않는다는 것이 이해될 것이다. 화상에서 페이스들을 검출하도록 적응된 임의의 방법은 적절하다. 2000 년에 컴퓨터 비전 및 패턴 인식에 관한 국제 학술 대회에서 공개된 "Fast Face Detection Using Subspace Discriminant Wavelet Features" 라는 제목의 논문에서 Zhu 등에 의해 개시된 방법이 그러한 방법의 다른 예이다. 이 방법은 보통 페이스 공간이라고 불리는 저-차원 선형 서브스페이스 (F) 에 의해 다중-탬플릿 (T) 의 근사치를 계산한다. F 로부터의 이미지들의 거리가 소정의 임계치보다 보다 작으면, 이미지들은 처음에 T 의 잠재적인 멤버들로 분류된다. 이러한 테스트를 통과한 이미지들은 F 에 프로젝팅되고, 이러한 프로젝션들은 트레이닝 세트에 있는 이미지들과 비교된다. <제목 "ConvolutionalFace Finder: A Neural Architecture for Fast and Robust Face Detection", 패턴 분석 및 머신 지능에 관한 IEEE 트랜젝션에서 공개, 26(11), 2004 년 11 월, Garcia 등> 의 논문에서는 매우 가변적인 페이스 패턴들을 강력하게 검출하도록 설계된 콘볼루션 신경 아키텍쳐에 기초한 다른 접근법을 개시한다.

단계 S14 에서, 적어도 이러한 검출된 페이스들의 사이즈 (Sz) 에 응답하여 검출된 페이스(들)의 각각에 대해 가중치가 결정된다. 가중치는 예를 들어 모듈 (16) 에 의해 결정된다. 예시적으로, 페이스에 대한 가중치는 페이스의 사이즈 (Sz) 와 동일하다. 사이즈 (Sz) 는, 예를 들어, 검출된 페이스의 픽셀들에서의 높이와 너비의 곱이다.

단계 S14 의 변형예가 도 4 에 도시된다. 단계 S140 에서, 하나의 페이스 (Fi) 에 대한 선명도 레벨 (LBi) 이 결정된다. 페이스 (Fi) 에 대한 선명도의 레벨은 페이스 (Fi) 에 위치된 픽셀과 연관된 선명도 값들의 평균을 계산함으로써 획득될 수 있다. 페이스가 흐릿한 경우, 페이스의 선명도 레벨은 낮다. 반대로 페이스가 선명한 경우, 페이스의 선명도 레벨은 높다.

2012 년에 ICCVG 에서 공개된 "Picture and video saliency models improvement by sharpness identification" 이라는 제목의 Baveye 등으로부터의 논문에 개시된 방법이 그러한 선명도 레벨을 결정하는데 이용될 수 있다. 이 방법은 화상에서의 각각의 픽셀을 선명도의 레벨과 연관시키는 선명도 맵을 제공한다. <제목 "Blur detection for digital images using wavelet transform", IEEE ICME 학술대회, 2004, Tong 등> 의 논문에서는 웨이블릿 변환들을 이용하는 것을 제안한다. 실제로, 그러한 변환들은 상이한 타입의 에지들을 구별하고 흐릿한 것으로부터 선명도를 식별하는 것 양자 모두를 할 수 있다. 그러나, 본 발명은 선명도 레벨 결정의 이러한 특정 방법들로 제한되지 않는다는 것이 이해될 것이다.

단계 S142 에서, 하나의 페이스 (Fi) 에 대한 심도 레벨 (LDi) 이 결정된다. 페이스 (Fi) 에 대한 심도의 레벨은 페이스 (Fi) 에 위치된 픽셀들과 연관된 심도 값들의 평균을 계산함으로써 획득될 수 있다. 페이스가 전경에 가까울 경우, 페이스의 심도 레벨은 높다. 반대로 페이스가 배경에 가까울 경우, 페이스의 심도 레벨은 낮다. 2011 년에 IEEE ICCE 에서 공개된 “Geometric and texture Cue based depth-map estimation for 2D to 3D Picture conversion” 이라는 제목의 Kyuseo 등의 논문에 개시된 방법이 그러한 심도 레벨을 추정하는데 이용될 수 있다. 방법은 화상에서의 각각의 픽셀을 심도의 레벨과 연관시키는 심도 맵을 제공한다. <제목 “Learning Depth from Single Monocular Images”, 인식을 위한 3D 표현에 관한 ICCV 워크숍에서 공개됨, 2007, Saxena 등> 의 논문에서는 다중 스케일 로컬-이미지 및 글로벌-이미지 피쳐들을 포함하는 계층적 다중-스케일 MRF (Markov Random Field) 를 이용하는 모델을 개시하고, 이미지에서의 상이한 지점들에서 심도 및 심도들 사이의 관계를 모델링한다. 그러나, 본 발명은 이러한 특정한 심도 레벨 결정의 방법으로 제한되지 않는다는 것이 이해될 것이다.

단계 S144 에서, 페이스 (Fi) 에 대한 현출성 레벨 (LSi) 이 결정된다. 유럽 특허 출원 제 EP2004804828 호에 개시된 방법이 그러한 현출성 레벨을 결정하는데 이용될 수 있다. 이 방법은 화상에서의 각각의 픽셀을 현출성의 레벨과 연관시키는 현출성 맵을 제공한다. 현출성 레벨은 지각적 관련성을 특징짓는다. 이 방법은:

- 이미지가 단일 컬러 이미지이면 휘도 성분에 따라, 그리고 이미지가 컬러 이미지이면 휘도 성분에 따라 그리고 색차 성분들에 따라 이미지의 프로젝션;

- 사람의 눈의 가시성 임계치에 따라 주파수 도메인에서 프로젝팅된 컴포넌트들의 지각적 서브-대역들 분해로서; 서브-대역들은 주파수 도메인을 공간 방사 주파수와 배향 양자로 분할함으로써 획득되며; 각각의 결과적인 서브-대역은 공간적 주파수 및 특정 배향의 범위로 튜닝된 시각 세포들의 집단에 대응하는 신경 이미지로 간주될 수도 있다;

- 휘도 성분에 관련되고 색차 성분들에 관련된 서브-대역들의 현출한 엘리먼트들, 즉, 서브-대역으로부터의 가장 중요한 정보의 추출;

- 휘도 성분 및 색차 성분들과 관련된 각각의 서브-대역에서 현출한 엘리먼트들의 윤곽 강조;

- 휘도 성분과 관련된 각각의 서브-대역의 현출한 엘리먼트들의 강조된 윤곽들로부터 휘도 성분에 대한 현출성 맵을 계산;

- 색차 성분들과 관련된 각각의 서브-대역의 현출한 엘리먼트들의 강조된 윤곽들로부터 각각의 색차 성분들에 대한 현출성 맵을 계산;

- 각각의 서브-대역에 대해 획득된 현출성 맵들의 함수로서 현출성 맵의 생성

을 포함한다.

그러나, 본 발명은 이러한 특정한 현출성 레벨 결정의 방법으로 제한되지 않는다는 것이 이해될 것이다. 화상에서 지각적 관심 데이터 (예를 들어, 현출성 맵들) 가 계산되는 것을 가능하게 하는 임의의 방법이 적합하다. 예를 들어, "A model of saliency-based visual attention for rapid scene analysis" 라는 제목으로 PAMI 에 관한 IEEE 트랜젝션에서 1998 년에 공개된 Itti 등에 의한 문서에서 개시된 방법이 이용될 수 있다. 페이스 (Fi) 에 대한 현출성의 레벨은 페이스 (Fi) 에 위치된 픽셀들과 연관된 현출성 값들의 평균을 계산함으로써 획득될 수 있다. 페이스가 현출한 경우, 페이스의 현출성 레벨은 높다. 반대로 페이스가 현출하지 않은 경우, 페이스의 현출성 레벨은 낮다.

단계 S146 에서, 페이스 (Fi) 의 선명도 레벨 (LBi), 심도 레벨 (LDi), 현출성 레벨 (LSi), 및 사이즈 (Sz) 가 가중치 (Wi) 로 선형적으로 조합된다. 예시적으로, Wi=KB*LBi/K+KD*LDi/K+KS*LSi/K+KSz*Sz/Sim 이며, 여기서 Sim 은 화상의 사이즈이고 K 는 0 과 1 사이에서 값들을 정규화하는데 이용되는 상수이다. LBi, LDi, 및 LSi 의 값들이 범위 [0;255] 내에 있으면, K=255 이다. 파라미터들 (KB, KD, KS, 및 KSz) 은 KB+KD+KS+KSz=1 이도록 규정된다. 예시적으로, KB=KD=KS=KSz=0.25 이다. 변형예에서, KB=KD=KS=0 이고 KSz=1 이다. 후자의 경우에, 가중치는 오직 페이스의 사이즈에만 응답한다. 파라미터들의 값들은 프로세싱 디바이스 (1) 의 입/출력 인터페이스(들) (130) 를 통해 설정될 수 있다. 파라미터들에 대한 상이한 값들을 이용하는 것은 다양한 레벨들 및 사이즈에 상이하게 가중치를 부여하는 것을 가능하게 한다.

단계 S140 및 단계 S144 는 단계 S12 에서 검출된 각각의 페이스 (Fi) 에 대해 가중치가 결정될 때까지 반복된다.

단계 S16 에서, 화상 (Y) 에서의 크롭핑 윈도우 (CW) 의 포지션이 단계 S14 에서 결정된 가중치들에 기초하여 수정된다. 화상 (Y) 에서의 크롭핑 윈도우의 포지션은 바운딩 박스에 중심을 맞추도록 수정되며, 바운딩 박스는 적어도 가장 높은 가중치를 갖는 검출된 페이스를 포함한다. 화상에 단일의 페이스가 있는 경우에, 크롭핑 윈도우는 그 단일 페이스를 둘러싸는 바운딩 박스에 중심을 둔다. 바운딩 박스는 둘러싸는 박스라고도 불리는 최소 바운딩 박스로 이해될 것이다. 최소 바운딩 박스는 검출된 페이스의 모든 픽셀들이 위치해 있는 가장 작은 영역을 갖는 박스를 지칭한다. 다양한 실시형태들에 따른 바운딩 박스에 중심을 둔 크롭핑 윈도우가 도 5 에서 표현된다. 이 도면에서, 바운딩 박스의 중심은 좌표 (x0, y0) 이고 크롭핑 윈도우의 중심은 좌표 (x1, y1) 이다. 도 5 의 상부 왼쪽에서, 단계 S10 에서 획득된 크롭핑 윈도우는 화상 (Y) 만큼 높다. 이 경우에, 크롭핑 윈도우가 바운딩 박스에 중심을 맞추는데, 중심들의 가로 좌표는 동일하나 (x0=x1) 중심들의 세로 좌표들 (y0 및 y1) 은 아마도 다르다. 도 5 의 중간 왼쪽 부분에서, 단계 S10 에서 획득된 크롭핑 윈도우는 화상 (Y) 만큼 넓으며, 그러면 크롭핑 윈도우는 바운딩 박스에 중심을 맞추는데, 중심들의 세로 좌표들은 동일하나 (y0=y1) 중심들의 세로 좌표들 (x0 및 x1) 은 아마도 다르다. 도 5 의 중간 오른쪽 부분에서, 단계 S10 에서 획득된 크롭핑 윈도우는 바운딩 박스에 중심을 맞추는데, 각각의 중심들은 코-로케이팅된다, 즉, 동일한 공간적 포지션 (x0, y0) 을 갖는다. 도 5 의 하부 왼쪽 부분에서, 바운딩 박스는 화상의 상부 또는 하부 경계에 가깝다. 이 경우에, 크롭핑 윈도우는 바운딩 박스에 중심을 맞추는데, 중심들의 가로좌표는 동일하나 (x0=x1) 중심들의 세로 좌표 (y0 및 y1) 는 아마도 상이하다. 도 5 의 하부 오른쪽 부분에서, 바운딩 박스는 화상의 왼쪽 또는 오른쪽 경계에 가깝다. 이 경우에, 크롭핑 윈도우는 바운딩 박스에 중심을 맞추는데, 중심들의 세로좌표는 동일하나 (y0=y1) 중심들의 가로 좌표 (x0 및 x1) 는 아마도 상이하다.

도 6 에 도시된 특정 실시형태에 따르면, 페이스들은 단계 S160 에서 페이스들의 가중치들의 내림 차순으로 순서화된다. 단계 S164 에서, 바운딩 박스는 리스트에서의 제 1 페이스 주위에 설정되고, 크롭핑 윈도우 CW(k) 의 포지션은 바운딩 박스에 중심을 맞추도록 단계 S166 에서 수정되는데, 여기서 k 는 반복을 표시하는 정수이다. 바운딩 박스가 크롭핑 윈도우 CW(k) 보다 작으면 (단계 S168 에서 검사한다), 바운딩 박스는 리스트에서의 제 2 페이스를 더 포함하도록 단계 S170 에서 확대된다. 크롭핑 윈도우의 포지션은 바운딩 박스에 중심을 맞추도록 수정된다. 바운딩 박스가 여전히 크롭핑 윈도우보다 작으면, 바운딩 박스는 리스트에서의 다음 페이스를 포함시키도록 확대된다. 리스트에서의 새로운 페이스로 바운딩 박스를 확대하는 단계 S170 및 바운딩 박스에 중심을 맞추도록 크롭핑 윈도우의 포지션을 수정하는 단계 S166 은 확대된 바운딩 박스가 크롭핑 윈도우보다 작게 있는 동안에 그리고 리스트에 남아 있는 페이스들이 있는 동안에 되풀이된다. 도 7 은 방법의 상이한 반복들을 도시한다. 제 1 반복 (화상의 상부 왼쪽 부분) 에서, 바운딩 박스 (BB) 는 가중치가 w1 인, 리스트에서의 제 1 페이스 주위에 있다. 크롭핑 윈도우 포지션은 따라서 CW(0) 가 바운딩 박스에 중심을 맞추도록 수정된다. 바운딩 박스가 크롭핑 윈도우보다 작기 때문에, 즉 바운딩 박스가 크롭핑 윈도우를 오버랩하지 않기 때문에, 방법은 반복 k=1 에서 계속된다. 이 반복 (화상의 상부 오른쪽 부분) 에서, 바운딩 박스는 바운딩 박스에 가중치 w2 의 페이스를 추가함으로써 확대된다. 크롭핑 윈도우 포지션은 따라서 CW(1) 이 바운딩 박스에 중심을 맞추도록 수정된다. 바운딩 박스가 크롭핑 윈도우보다 작기 때문에, 방법은 반복 k=2 에서 계속된다. 이 반복 (화상의 하부 오른쪽 부분) 에서, 바운딩 박스는 바운딩 박스에 가중치 w3 의 페이스를 추가함으로써 확대된다. 크롭핑 윈도우 포지션은 따라서 CW(2) 가 바운딩 박스에 중심을 맞추도록 수정된다. 바운딩 박스가 크롭핑 윈도우보다 작기 때문에, 방법은 반복 k=3 에서 계속된다. 이 반복 (화상의 하부 오른쪽 부분) 에서, 바운딩 박스는 바운딩 박스에 가중치 w4 의 페이스를 추가함으로써 확대된다. 크롭핑 윈도우 포지션은 따라서 CW(3) 이 바운딩 박스에 중심을 맞추도록 수정된다. 바운딩 박스가 크롭핑 윈도우보다 크기 때문에, 방법은 종료된다. 크롭핑하기 위해 이용될 최종 크롭핑 윈도우는 이전 반복에서 결정된 것, 즉, CW(2) 이다.

다른 실시형태들에 따르면, 방법은 사전 단계 S162 를 포함한다. 단계 S162 에서, 순서화된 리스트에서 2 개의 연속하는 페이스들의 가중치들 사이의 차이들 (Dw) 이 계산된다. 차이 (Dw) 가 임계 값을 초과하는 경우, 도 8 에 도시된 바와 같이, 오직 리스트에서의 이전의 페이스들, 즉, 가중치들이 W1, W2, 및 W3 인 페이스들만이 유지된다. 다른 페이스들, 즉, 가중치들이 W4 및 W5 인 페이스들은 순서화된 리스트로부터 제거된다. 감소된 리스트는 그러면 단계 S164 내지 단계 S168 에 의해 이용된다. 임계치는 사용자에 의해 설정될 수 있다. 예시적으로, 임계 값은 0.7*w1 과 동일하며, 여기서 w1 은 순서화된 리스트에서 제 1 페이스의 가중치이다.

단계 S18 에서, 화상 (Y) 은 수정된 크롭핑 윈도우 (W) 에 의해 범위가 정해진 화상 부분을 크롭핑함으로써 프로세싱된다. 크롭핑된 화상은 메모리에 저장되거나 목적지로 전송된다. 도 9 는 크롭핑된 후의 프로세싱된 화상을 나타낸다. 도 7 을 참조하면, 오직 CW(2) 에 의해 범위가 정해진 화상의 부분만이 유지된다.

본 원리들은 페이스들 이외의 관심 오브젝트들, 예를 들어, 들판에 있는 동물들에 적용될 수도 있다.

여기에 설명된 구현들은 예를 들어, 방법, 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수도 있다. 단일의 구현 형태의 맥락에서만 설명되었으나 (예를 들어, 오직 방법 또는 디바이스로서만 논의되었으나), 논의된 피쳐들의 구현은 다른 형태들 (예를 들어, 프로그램) 로 또한 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은, 예를 들어, 장치, 예컨대, 예를 들어, 일반적으로 프로세싱 디바이스들을 지칭하고, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는 프로세서로 구현될 수도 있다. 프로세서들은 또한 통신 디바이스들, 예컨대, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 휴대정보 단말기 ("PDA") 들, 및 엔드 유저들 간의 정보 통신을 용이하게 하는 다른 디바이스들을 포함한다.

여기에 설명된 여러 프로세스들 및 피쳐들의 구현들은 여러 상이한 장비들, 또는 애플리케이션들, 특히 예를 들어, 장비 또는 애플리케이션들에서 구현될 수도 있다. 이러한 장비의 예들은, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더로의 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-탑 박스, 랩탑, 개인용 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 분명한 바와 같이, 장비는 모바일일 수도 있고 심지어 모바일 디바이스 내에 설치될 수도 있다.

추가적으로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있으며, 그러한 명령들 (및/또는 구현에 의해 생성된 데이터 값들) 은, 예를 들어, 집적 회로, 소프트웨어 캐리어, 또는 예를 들어 하드 디스크, 컴팩트 디스켓 ("CD"), (예를 들어, 디지털 다기능 디스크 또는 디지털 비디오 디스크로서 종종 지칭되는 DVD 와 같은) 광학 디스크, 랜덤 액세스 메모리 ("RAM"), 또는 판독 전용 메모리 ("ROM") 와 같은 다른 저장 디바이스와 같은 프로세서 판독가능 매체 상에 저장될 수도 있다. 명령들은 프로세서-판독가능 매체 상에 유형으로 구체화되는 애플리케이션 프로그램을 형성할 수도 있다. 명령들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 이의 조합에 있을 수도 있다. 명령들은, 예를 들어, 운영 체제, 별도의 애플리케이션, 또는 이 둘의 조합에서 찾을 수도 있다. 따라서, 프로세서는 예를 들어, 프로세스를 수행하도록 구성되는 디바이스와, 프로세스를 수행하기 위한 명령들을 가진 프로세서-판독가능 매체 (예컨대, 저장 디바이스) 를 포함하는 디바이스 양쪽 모두로서 특징지어질 수도 있다. 또한, 프로세서-판독가능 매체는 명령들에 더하여, 또는 명령들 대신에 구현에 의해 생성되는 데이터 값들을 저장할 수도 있다.

당해 기술 분야의 당업자에 명백한 바와 같이, 구현들은 예를 들어, 저장 또는 송신될 수도 있는 정보를 전달하도록 포맷된 여러 신호들을 생성할 수도 있다. 정보는 예를 들어, 방법을 수행하기 위한 명령들, 또는 설명된 구현들 중 하나에 의해 생성되는 데이터를 포함할 수도 있다. 예를 들어, 신호는 설명된 실시형태의 구문을 읽거나 기록하기 위한 규칙들을 데이터로서 전달하거나 또는 설명된 실시형태에 의해 기록된 실제 구문 값들을 데이터로서 전달하도록 포맷될 수도 있다. 이러한 신호는 예를 들어, 전자기 파 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용) 로서, 또는 기저대역 신호로서 포맷될 수도 있다. 포맷은 예를 들어, 데이터 스트림을 인코딩하고, 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 전달하는 정보는 예를 들어, 아날로그, 또는 디지털 정보일 수도 있다. 신호는 알려진 바와 같이, 여러 상이한 무선 또는 유선 링크들을 통하여 송신될 수도 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수도 있다.

복수의 구현들이 설명되었다. 그럼에도 불구하고, 여러 변형들이 이루어질 수도 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 조합, 보충, 변경, 또는 제거되어 다른 구현들을 생성할 수도 있다. 추가적으로, 당해 기술 분야의 당업자는 다른 구조들 및 프로세스들이 이들 개시된 것에 대해 대체될 수도 있고 결과적인 구현들은 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)으로 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성할 수도 있음을 이해할 것이다. 이에 따라, 이들 및 다른 구현들이 본 출원에 의해 고려된다.

Claims (10)

1. 방법으로서,
   - 복수의 관심 오브젝트들을 포함하는 화상에서의 크롭핑 윈도우를 획득하는 단계 (S10);
   - 상기 복수의 오브젝트들의 각각의 관심 오브젝트를 검출하는 단계 (S12);
   - 검출된 상기 관심 오브젝트의 각각에 대한 가중치를 결정하는 단계 (S14) 로서, 상기 가중치는 대응하는 상기 검출된 관심 오브젝트의 사이즈에 적어도 기초하여 결정되는, 상기 검출된 관심 오브젝트의 각각에 대한 가중치를 결정하는 단계 (S14);
   - 상기 가중치(들)에 기초하여 상기 화상에서의 상기 크롭핑 윈도우의 포지션을 수정하는 단계 (S16); 및
   - 상기 크롭핑 윈도우에 의해 범위가 정해진 화상 부분을 크롭핑하는 단계 (S18)
   를 포함하고,
   상기 가중치(들)에 기초하여 상기 화상에서의 상기 크롭핑 윈도우의 상기 포지션을 수정하는 단계 (S16) 는,
   a) 관심 오브젝트들의 순서화된 리스트를 형성하기 위해 상기 가중치들의 내림 차순으로 상기 복수의 관심 오브젝트들을 순서화하는 단계 (S160);
   b) 상기 순서화된 리스트의 제 1 관심 오브젝트를 적어도 포함하는 바운딩 박스에 중심을 맞추도록 상기 크롭핑 윈도우의 상기 포지션을 수정하는 단계 (S166);
   c) 상기 순서화된 리스트의 다음 관심 오브젝트를 추가함으로써 상기 바운딩 박스를 확대하는 단계 (S170); 및
   d) 상기 바운딩 박스가 상기 크롭핑 윈도우보다 커질 때까지 b) 및 c) 를 되풀이하는 단계
   를 포함하는, 방법.
2. 제 1 항에 있어서,
   관심 오브젝트들의 순서화된 리스트를 형성하기 위해 상기 가중치들의 내림 차순으로 상기 복수의 관심 오브젝트들을 순서화하는 단계 (S160) 에는 상기 순서화된 리스트에서 2 개의 연속하는 관심 오브젝트들의 가중치들 사이의 차이들을 계산하고, 상기 관심 오브젝트들의 순서화된 리스트로부터, 임계 값을 초과하는 차이 다음의 관심 오브젝트들을 제거하는 것이 뒤따르는, 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 복수의 관심 오브젝트들의 각각의 관심 오브젝트에 대한 가중치를 결정하는 것은, 하나의 관심 오브젝트에 대해,
   - 선명도의 레벨을 결정하는 단계 (S140);
   - 심도의 레벨을 결정하는 단계 (S142);
   - 현출성 (saliency) 의 레벨을 결정하는 단계 (S144); 및
   - 상기 선명도의 레벨, 상기 심도의 레벨, 상기 현출성의 레벨, 및 상기 사이즈의 선형 조합으로서 상기 가중치를 계산하는 단계 (S146)
   를 포함하는, 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 관심 오브젝트는 페이스 (face) 인, 방법.
5. 적어도 하나의 프로세서 (110) 를 포함하는 디바이스로서,
   상기 적어도 하나의 프로세서 (110) 는,
   - 복수의 관심 오브젝트들을 포함하는 화상에서의 크롭핑 윈도우를 획득하고 (S10);
   - 상기 복수의 오브젝트들의 각각의 관심 오브젝트를 검출하고 (S12);
   - 검출된 상기 관심 오브젝트의 각각에 대한 가중치를 결정하는 것 (S14) 으로서, 상기 가중치는 대응하는 상기 검출된 관심 오브젝트의 사이즈에 적어도 기초하여 결정되는, 상기 검출된 관심 오브젝트의 각각에 대한 가중치를 결정하고 (S14);
   - 상기 가중치(들)에 기초하여 상기 화상에서의 상기 크롭핑 윈도우의 포지션을 수정하고 (S16);
   - 상기 크롭핑 윈도우에 의해 범위가 정해진 화상 부분을 크롭핑하도록 (S18)
   구성되고,
   상기 가중치(들)에 기초하여 상기 화상에서의 상기 크롭핑 윈도우의 상기 포지션을 수정하기 위해 (S16),
   a) 관심 오브젝트들의 순서화된 리스트를 형성하기 위해 상기 가중치들의 내림 차순으로 상기 복수의 관심 오브젝트들을 순서화하고 (S160);
   b) 상기 순서화된 리스트의 제 1 관심 오브젝트를 적어도 포함하는 바운딩 박스에 중심을 맞추도록 상기 크롭핑 윈도우의 상기 포지션을 수정하고 (S166);
   c) 상기 순서화된 리스트의 다음 관심 오브젝트를 추가함으로써 상기 바운딩 박스를 확대하고 (S170);
   d) 상기 바운딩 박스가 상기 크롭핑 윈도우보다 커질 때까지 b) 및 c) 를 되풀이하는
   것을 포함하는, 적어도 하나의 프로세서 (110) 를 포함하는 디바이스.
6. 제 5 항에 있어서,
   관심 오브젝트들의 순서화된 리스트를 형성하기 위해 상기 가중치들의 내림 차순으로 상기 복수의 관심 오브젝트들을 순서화하는 것 (S160) 에는 상기 순서화된 리스트에서 2 개의 연속하는 관심 오브젝트들의 가중치들 사이의 차이들을 계산하고, 상기 관심 오브젝트들의 순서화된 리스트로부터, 임계 값을 초과하는 차이 다음의 관심 오브젝트들을 제거하는 것이 뒤따르는, 적어도 하나의 프로세서 (110) 를 포함하는 디바이스.
7. 제 6 항에 있어서,
   상기 복수의 관심 오브젝트들의 각각의 관심 오브젝트에 대한 가중치를 결정하는 것은, 하나의 관심 오브젝트에 대해,
   - 선명도의 레벨을 결정하고;
   - 심도의 레벨을 결정하고;
   - 현출성 (saliency) 의 레벨을 결정하고;
   - 상기 선명도의 레벨, 상기 심도의 레벨, 상기 현출성의 레벨, 및 상기 사이즈의 선형 조합으로서 상기 가중치를 계산하는
   것을 포함하는, 적어도 하나의 프로세서 (110) 를 포함하는 디바이스.
8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 관심 오브젝트는 페이스 (face) 인, 적어도 하나의 프로세서 (110) 를 포함하는 디바이스.
9. 컴퓨터 프로그램 제품으로서,
   프로그램이 컴퓨터 상에서 실행되는 경우 제 1 항 내지 제 4 항 중 어느 한 항에 기재된 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
10. 명령들을 저장한 프로세서 판독가능 매체로서,
    상기 명령들은, 프로세서로 하여금, 적어도 제 1 항 내지 제 4 항 중 어느 한 항에 기재된 방법의 단계들을 수행하게 하는, 프로세서 판독가능 매체.

Images