KR101199804B1 - 화상 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 화상 처리 장치 및 방법에 관한 것으로서, 다양한 피사체나 일반적인 장면에 있어서도, 이상적인 구도나 센스가 양호한 구도로 촬영할 수 있는 화상 처리 장치를 제공하는 것을 과제로 한다.
상기 과제를 해결하기 위하여, 화상 처리 장치는, 스루 화상(51)에 대하여, 복수개의 특징량 맵 Fc, Fh, Fs를 통합한 현저성 맵 S에 기초하여, 주목점 영역(52)을 추정한다(단계 Sa 내지 Sc). 화상 처리 장치는, 스루 화상(51)에 대응하는 에지 화상(53)의 선 성분(에지 SL 등)을 추출한다(단계 Se, Sf). 화상 처리 장치는, 주목점 영역(52)이나 선 성분(에지 성분 SL 등)을 사용하여, 복수개의 모델 구도안 중에서, 주요 피사체의 배치 상태에 대하여 스루 화상(51)과 유사한 모델 구도안(예를 들면, 구도안 C3, C4 등)을 식별한다(단계 Sg, Sh).

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}

본 발명은, 화상 처리 장치 및 방법에 관한 것이며, 특히, 다양한 피사체나 일반적인 장면(scene)에 있어서도, 이상적인 구도나 센스가 양호한 구도에서의 촬영을 가능하게 하는 기술에 관한 것이다.

종래부터, 사용자가 카메라로 촬영하는 경우, 의도와는 다른 촬영 화상을 얻는 경우가 있었다. 이러한 실패를 피하기 위하여, 다양한 회피 대책이 제안되었다.

예를 들면, 인물 등의 주위의 풍경 전체를 촬영하고자 하여, 인물 등을 작게 촬영하는 현상이 발생한다. 이 현상의 회피책은, 일본 특허 출원 공개 번호 2006-148344호 공보 등에 제안되어 있다.

예를 들면, 사용자는, F 값이 작은[구경(口徑)이 큰] 렌즈를 사용하거나, 조리개를 개방하여 F 값을 낮춤으로써, 전경(前景)에만 핀트를 맞추어, 배경을 흐릿하게 촬영할 수 있다. 그러나, 흐릿한 정도가 적절하지 않은 상태로 촬영하는 등의 현상이 발생한다. 이 현상의 회피책은, 일본 특허 출원 공개 번호 평06-30349호 공보 등에 제안되어 있다.

예를 들면, 사용자는, 핀트 조작에 정신을 몰두하는 경우 등으로 인하여, 피사체를 중앙에 배치시키는 구도로 촬영한다. 이와 같은 경우, 촬영 화상이, 초심자가 촬영한 것 같은 화상이 되거나 단조로운 설명 화상으로 되는 현상이 발생한다. 이 현상의 회피책은, 일본 특허 출원 공개 번호 2002-232753호 공보, 일본 특허 출원 공개 번호 2007-174548호 공보 등에 제안되어 있다.

일본 특허 출원 공개 번호 2006-148344호 공보 일본 특허 출원 공개 번호 평06-30349호 공보 일본 특허 출원 공개 번호 2002-232753호 공보 일본 특허 출원 공개 번호 2007-174548호 공보

A. M. Treisman and G. Gelade, "A feature-integration theory of attention", Cognitiｖe Psychology, Vol.12, No.1, pp. 97-136, 1980. L. Itti, C. Koch, and E. Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No11, November 1998. T. Liu, J. Sun, N. Zheng, X. Tang, H. Sum, "Learning to Detect A Salient Object", CVPR07, pp.1-8, 2007.

그러나, 다양한 피사체나 일반적인 장면에 있어서, 이상적인 구도나 센스가 양호한 구도로 촬영할 수 없는 등의 현상이 발생하는 경우가 있다. 이러한 현상을 회피하기 위하여, 일본 특허 출원 공개 번호 2006-148344호 공보, 일본 특허 출원 공개 번호 평06-30349호 공보, 일본 특허 출원 공개 번호 2002-232753호 공보, 일본 특허 출원 공개 번호 2007-174548호 공보를 포함하는 종래의 회피책을 적용해도, 효과적으로 회피하기가 곤란하다.

그래서, 본 발명은, 다양한 피사체나 일반적인 장면에 있어서도, 이상적인 구도나 센스가 양호한 구도로 촬영하는 것을 가능하게 하는 것을 목적으로 한다.

본 발명의 제1 관점에 의하면, 주요 피사체를 포함하는 입력 화상에 대하여, 상기 입력 화상으로부터 추출된 복수개의 특징량에 기초하여, 주목점 영역을 추정하는 추정부와, 상기 추정부에 의해 추정된 상기 주목점 영역을 사용하여, 복수개의 모델 구도안 중에서, 상기 주요 피사체의 배치 상태에 대하여 상기 입력 화상과 유사한 모델 구도안을 식별하는 식별부를 구비하는 화상 처리 장치를 제공한다.

본 발명의 제2 관점에 의하면, 주요 피사체를 포함하는 입력 화상에 대하여, 상기 입력 화상으로부터 추출된 복수개의 특징량에 기초하여, 주목점 영역을 추정하는 추정 단계와, 상기 추정 단계의 처리에 의해 추정된 상기 주목점 영역을 사용하여, 복수개의 모델 구도안 중에서, 상기 주요 피사체의 배치 상태에 대하여 상기 입력 화상과 유사한 모델 구도안을 식별하는 식별 단계를 포함하는 화상 처리 방법을 제공한다.

본 발명에 의하면, 다양한 피사체나 일반적인 장면에 있어서도, 이상적인 구도나 센스가 양호한 구도로 촬영할 수 있다.

도 1은 본 발명의 제1 실시예에 따른 화상 처리 장치의 하드웨어의 구성도이다.
도 2는 본 발명의 제1 실시예에서의 장면 구도 식별 처리를 개략적으로 설명하는 도면이다.
도 3은 본 발명의 제1 실시예에서의 장면 구도 식별 처리 중 구도 분류 처리에 사용되는, 각 모델 구도안의 각종 정보가 저장된 테이블 정보의 일례를 나타낸 도면이다.
도 4는 본 발명의 제1 실시예에서의 장면 구도 식별 처리 중 구도 분류 처리에 사용되는, 각 모델 구도안의 각종 정보가 저장된 테이블 정보의 일례를 나타낸 도면이다.
도 5는 본 발명의 제1 실시예에서의 촬영 모드 처리의 흐름의 일례를 나타낸 흐름도이다.
도 6은 본 발명의 제1 실시예에서의 촬영 모드 처리의 구체적인 처리 결과의 예를 나타낸 도면이다.
도 7은 본 발명의 제1 실시예에서의 촬영 모드 처리 중 장면 구도 식별 처리의 흐름의 상세예를 나타내는 흐름도이다.
도 8은 본 발명의 제1 실시예에서의 촬영 모드 처리 중 주목점 영역 추정 처리의 흐름의 상세한 것을 일례로 나타낸 흐름도이다.
도 9는 본 발명의 제1 실시예에서의 촬영 모드 처리 중 특징량 맵 작성 처리의 흐름의 일례를 나타낸 흐름도이다.
도 10은 본 발명의 제1 실시예에서의 촬영 모드 처리 중 특징량 맵 작성 처리의 흐름의 다른 예를 나타내는 흐름도이다.
도 11은 본 발명의 제1 실시예에서의 촬영 모드 처리 중 구도 분류 처리의 흐름의 상세한 것을 일례로 나타낸 흐름도이다.
도 12은 본 발명의 제2 실시예에서의 액정 디스플레이의 표시예를 나타내고 있다.

[제1 실시예]

이하, 본 발명의 제1 실시예를 도면을 참조하여 설명한다.

도 1은, 본 발명의 제1 실시예에 따른 화상 처리 장치(100)의 하드웨어의 구성을 나타낸 도면이다. 화상 처리 장치(100)는, 예를 들면, 디지털 카메라에 의해 구성할 수 있다.

화상 처리 장치(100)는, 광학 렌즈 장치(1)와, 셔터 장치(2)와, 액츄에이터(3)와, CMOS(Complementary Metal Oxide Semiconductor) 센서(4)와, AFE(Analog Front End)(5)와, TG(Timing Generator)(6)와, DRAM(Dynamic Random Access Memory)(7)과, DSP(Digital Signal Processor)(8)와, CPU(9)(Central Processing Unit)와, RAM(Random Access Memory)(10)과, ROM(Read Only Memory)(11)과, 액정 표시 컨트롤러(12)와, 액정 디스플레이(13)와, 조작부(14)와, 메모리 카드(15)와, 거리 측정 센서(16)와, 측광(測光) 센서(17)를 구비한다.

광학 렌즈 장치(1)는, 예를 들면, 포커스 렌즈나 줌 렌즈 등으로 구성된다. 포커스 렌즈는, CMOS 센서(4)의 수광면에 피사체상을 결상시키기 위한 렌즈이다.

셔터 장치(2)는, 예를 들면, 셔터 블레이드(shutter blade) 등으로 구성된다. 셔터 장치(2)는, CMOS 센서(4)에 입사되는 광속(光束)을 차단하는 기계식 셔터로서 기능한다. 셔터 장치(2)는, 또한, CMOS 센서(4)에 입사되는 광속의 광량을 조절하는 조리개로서도 기능한다. 액츄에이터(3)는, CPU(9)에 의한 제어에 따라, 셔터 장치(2)의 셔터 블레이드를 개폐시킨다.

CMOS 센서(4)는, 예를 들면, CMOS형의 이미지 센서 등으로 구성된다. CMOS 센서(4)에는, 광학 렌즈 장치(1)로부터 셔터 장치(2)를 통하여 피사체상이 입사된다. 그리고, CMOS 센서(4)는, TG(6)로부터 공급되는 클록 펄스에 따라, 일정 시간마다 피사체상을 광전 변환(촬영)하여 화상 신호를 축적하고, 축적된 화상 신호를 아날로그 신호로서 순차적으로 출력한다.

AFE(5)에는, CMOS 센서(4)로부터 아날로그의 화상 신호가 공급된다. 여기서, AFE(5)는, TG(6)로부터 공급되는 클록 펄스에 따라, 아날로그의 화상 신호에 대하여, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 행한다. 각종 신호 처리의 결과, 디지털 신호가 생성되어, AFE(5)로부터 출력된다.

TG(6)는, CPU(9)에 의한 제어에 따라, 일정 시간마다 클록 펄스를 CMOS 센서(4)와 AFE(5)에 각각 공급한다.

DRAM(7)은, AFE(5)에 의해 생성되는 디지털 신호나, DSP(8)에 의해 생성되는 화상 데이터를 일시적으로 기억한다.

DSP(8)는, CPU(9)에 의한 제어에 따라, DRAM(7)에 기억된 디지털 신호에 대하여, 화이트 밸런스 보정 처리, γ 보정 처리, YC 변환 처리 등의 각종 화상 처리를 행한다. 각종 화상 처리의 결과, 휘도 신호와 색차 신호로 이루어지는 화상 데이터가 생성된다. 그리고, 이하, 이러한 화상 데이터를 「프레임 화상 데이터」라고 칭하며, 이 프레임 화상 데이터에 의해 표현되는 화상을 「프레임 화상」이라고 칭한다.

CPU(9)는, 화상 처리 장치(100) 전체의 동작을 제어한다. RAM(10)은, CPU(9)가 각각의 처리를 실행할 때 작업 영역으로서 기능한다. ROM(11)은, 화상 처리 장치(100)가 각각의 처리를 실행하는데 필요한 프로그램이나 데이터를 기억한다. CPU(9)는, RAM(10)을 작업 영역으로 하여 ROM(11)에 기억되어 있는 프로그램과의 협동에 의해 각종 처리를 실행한다.

액정 표시 컨트롤러(12)는, CPU(9)에 의한 제어에 따라, DRAM(7)이나 메모리 카드(15)에 기억되어 있는 프레임 화상 데이터를 아날로그 신호로 변환하여, 액정 디스플레이(13)에 공급한다. 액정 디스플레이(13)는, 액정 표시 컨트롤러(12)로부터 공급되는 아날로그 신호에 대응하는 화상으로서, 프레임 화상을 표시한다.

또한, 액정 표시 컨트롤러(12)는, CPU(9)에 의한 제어에 따라, ROM(11) 등에 미리 기억되어 있는 각종 화상 데이터를 아날로그 신호로 변환하여, 액정 디스플레이(13)에 공급한다. 액정 디스플레이(13)는, 액정 표시 컨트롤러(12)로부터 공급되는 아날로그 신호에 대응하는 화상을 표시한다. 예를 들면, 본 실시예에서는, 각종 장면을 특정 가능한 정보(이하, 「장면 정보」라고 칭함)의 화상 데이터가 ROM(11)에 기억되어 있다. 그러므로, 도 4를 참조하여 후술하는 바와 같이, 각종 장면 정보가 액정 디스플레이(13)에 적절하게 표시된다. 그리고, 「장면」이란, 풍경, 경치, 포트레이트(portrait) 등의 정지 화상을 의미한다.

조작부(14)는, 사용자로부터 각종 버튼의 조작을 받아들인다. 조작부(14)는, 전원 버튼, 십자 버튼, 결정 버튼, 메뉴 버튼, 릴리즈 버튼 등을 구비한다. 조작부(14)는, 사용자로부터 받아들인 각종 버튼의 조작에 대응하는 신호를, CPU(9)에 공급한다. CPU(9)는, 조작부(14)로부터의 신호에 기초하여 사용자의 조작 내용을 해석하고, 그 조작 내용에 따른 처리를 실행한다.

메모리 카드(15)는, DSP(8)에 의해 생성된 프레임 화상 데이터를 기록한다. 거리 측정 센서(16)는, CPU(9)에 의한 제어에 따라, 피사체까지의 거리를 검출한다. 측광 센서(17)는, CPU(9)에 의한 제어에 따라, 피사체의 휘도(밝기)를 검출한다.

이와 같은 구성을 가지는 화상 처리 장치(100)의 동작 모드로서, 촬영 모드나 재생 모드를 포함하는 각종 모드가 존재한다. 다만, 이하에서는, 설명의 간략화를 위하여, 촬영 모드 시의 처리(이하, 「촬영 모드 처리」라고 칭함)에 대해서만 설명한다. 그리고, 이하, 촬영 모드 처리의 주체는 주로 CPU(9)로 한다.

다음으로, 도 1의 화상 처리 장치(100)의 촬영 모드 처리 중, 현저성(顯著性) 맵에 기초한 주목점 영역을 사용하여, 장면의 구도를 식별하기까지의 일련의 처리를 개략적으로 설명한다. 그리고, 이하, 이러한 처리를, 「장면 구도 식별 처리」라고 칭한다.

도 2는, 장면 구도 식별 처리를 개략적으로 설명하는 도면이다.

도 1의 화상 처리 장치(100)의 CPU(9)는, 촬영 모드를 개시하면 CMOS 센서(4)에 의한 촬영을 계속시키고, 그 동안에 DSP(8)에 의해 축차(逐次) 생성되는 프레임 화상 데이터를, DRAM(7)에 일시적으로 기억시킨다. 그리고, 이하에서는, 이러한 CPU(9)의 일련의 처리를, 「스루 촬상」이라고 칭한다.

또한, CPU(9)는, 액정 표시 컨트롤러(12) 등을 제어하여, 스루 촬상 시에 DRAM(7)에 기록된 각 프레임 화상 데이터를 순차적으로 판독하여, 각각에 대응하는 프레임 화상을 액정 디스플레이(13)에 표시하게 한다. 그리고, 이하에서는, 이러한 CPU(9)의 일련의 처리를, 「스루 표시」라고 칭한다. 또한, 스루 표시되어 있는 프레임 화상을, 「스루 화상」이라고 칭한다.

이하의 설명에서는, 스루 촬상 및 스루 표시에 의해, 예를 들면, 도 2에 나타내는 스루 화상(51)이 액정 디스플레이(13)에 표시되어 있는 것으로 한다.

이 경우, 단계 Sa에 있어서, CPU(9)는, 특징량 맵 작성 처리로서, 예를 들면, 다음과 같은 처리를 실행한다.

즉, CPU(9)는, 스루 화상(51)에 대응하는 프레임 화상 데이터에 대하여, 예를 들면, 색, 방위, 휘도 등의 복수 종류의 특징량의 콘트라스트로부터, 복수 종류의 특징량 맵을 작성할 수 있다. 이와 같은 복수 종류 중 소정의 1종류의 특징량 맵을 작성할 때까지의 일련의 처리를, 여기서는, 「특징량 맵 작성 처리」라고 칭하고 있다. 각 특징량 맵 작성 처리의 상세예에 대해서는, 도 9나 도 10을 참조하여 후술한다.

예를 들면, 도 2의 예에서는, 후술하는 도 10의 (A)의 멀티 스케일의 콘트라스트의 특징량 맵 작성 처리의 결과, 특징량 맵 Fc가 작성되어 있다. 또한, 후술하는 도 10의 (B)의 Center-Surround의 색 히스토그램의 특징량 맵 작성 처리의 결과, 특징량 맵 Fh가 작성되어 있다. 또한, 도 10의 (C)의 색공간(color space) 분포의 특징량 맵 작성 처리의 결과, 특징량 맵 Fs가 작성되어 있다.

단계 Sb에 있어서, CPU(9)는, 복수 종류의 특징량 맵을 통합함으로써, 현저성 맵을 구한다. 예를 들면, 도 2의 예에서는, 특징량 맵 Fc, Fh, Fs가 통합되어 현저성 맵 S가 구해져 있다.

단계 Sb의 처리는, 후술하는 도 8의 단계 S45의 처리에 대응한다.

단계 Sc에 있어서, CPU(9)는, 현저성 맵을 사용하여, 스루 화상 중에서, 인간의 시각적인 주의를 끌 가능성이 높은 화상 영역(이하, 「주목점 영역」이라고 칭함)을 추정한다. 예를 들면, 도 2의 예에서는, 현저성 맵 S를 사용하여, 스루 화상(51) 중에서 주목점 영역(52)이 추정되어 있다.

단계 Sc의 처리는, 후술하는 도 8의 단계 S46의 처리에 대응한다.

그리고, 이상의 단계 Sa 내지 Sc까지의 일련의 처리를, 이하, 「주목점 영역 추정 처리」라고 칭한다. 주목점 영역 추정 처리는, 후술하는 도 7의 단계 S26의 처리에 대응한다. 주목점 영역 추정 처리의 상세한 설명은, 도 8 내지 도 10을 참조하여 후술한다.

다음으로, 단계 Sd에 있어서, CPU(9)는, 주목점 영역 평가 처리로서, 예를 들면, 다음과 같은 처리를 실행한다.

즉, CPU(9)는, 주목점 영역[도 2의 예에서는 주목점 영역(52)]에 대한 평가를 행한다. 구체적으로는, 예를 들면, CPU(9)는, 주목점 영역에 대한, 면적, 개수, 분포 범위의 넓이, 분산, 고립 정도 등의 각종 평가를 행한다.

단계 Sd의 처리는, 후술하는 도 7의 단계 S27의 처리에 대응한다.

한편, 단계 Se에 있어서, CPU(9)는, 에지 화상 생성 처리로서, 예를 들면, 다음과 같은 처리를 실행한다.

즉, CPU(9)는, 스루 화상(51)에 대하여, 평균화 처리 및 에지 필터 처리를 행함으로써, 에지 화상(윤곽 화상)을 생성한다. 예를 들면, 도 2의 예에서는, 에지 화상(53)을 얻을 수 있다.

단계 Se의 처리는, 후술하는 도 7의 단계 S28의 처리에 대응한다.

단계 Sf에 있어서, CPU(9)는, 에지 화상 평가 처리로서, 예를 들면, 다음과 같은 처리를 실행한다.

즉, CPU(9)는, 에지 화상으로부터, 직선 성분, 곡선 성분, 및 에지(윤곽선) 성분의 추출을 시도한다. 그리고, CPU(9)는, 추출된 성분마다, 개수, 길이, 위치 관계, 분포 상태 등의 각종 평가를 행한다. 예를 들면, 도 2의 예에서는, 에지 성분 SL 등이 추출되어, 그 평가가 이루어진다.

단계 Sf의 처리는, 후술하는 도 7의 단계 S29의 처리에 대응한다.

다음으로, 단계 Sg에 있어서, CPU(9)는, 스루 화상(51)에 대한 구도 요소의 추출 처리로서, 예를 들면, 다음과 같은 처리를 실행한다.

즉, CPU(9)는, 단계 Sd의 주목점 영역 평가 처리의 평가 결과, 및 단계 Sf의 에지 화상 평가 처리의 평가 결과를 사용하여, 스루 화상(51)에 포함되는 피사체 중 주목해야 할 주요 피사체에 대하여, 각 구도 요소의 배열 패턴을 추출한다.

구도 요소 자체는, 특별히 한정되지 않지만, 예를 들면, 본 실시예에서는, 주목점 영역, 각종 선(에지가 되는 선을 포함함), 및 인물의 얼굴이 채용되는 것으로 한다.

배열 패턴의 종류도 특별히 한정되지 않는다. 예를 들면, 본 실시예에서는, 주목점 영역에 대해서는, 「화면 전체에 넓게 분포」, 「상하로 분할」, 「수평으로 분포」, 「수직으로 분포」, 「경사지게 분할」, 「대각선으로 분포」, 「대략 중앙에 분포」, 「중앙 하측에 터널 모양」, 「좌우로 대칭」, 「좌우로 병렬」, 「복수개의 상사형(相似形)으로 분포」, 「분산」, 「고립」 등이, 배열 패턴으로서 채용되고 있다. 각종 선에 대해서는, 존재 유무, 장단, 중앙 하측에 터널 모양, 동일 종류의 복수의 선이 거의 동일 방향으로 존재, 약간 중앙으로부터 상하/좌우로 방사상(放射狀), 위 또는 아래로부터 방사상 등이, 배열 패턴으로서 채용되고 있다. 인물의 얼굴에 대해서는, 주요 피사체에 포함되는지의 여부 등이, 배열 패턴으로서 채용되고 있다.

단계 Sg의 처리는, 후술하는 도 11a의 구도 분류 처리 중 단계 S201의 처리에 대응한다. 즉, 도 2의 예에서는, 단계 Sg의 처리는, 마치 단계 Sh의 처리와는 독립되어 있는 것으로 나타나 있지만, 본 실시예에서는 단계 Sh의 일부의 처리로 되어 있다. 그리고, 당연히, 단계 Sg의 처리는, 단계 Sh의 처리와는 독립된 처리로 용이하게 될 수 있다.

단계 Sh에 있어서, CPU(9)는, 구도 분류 처리로서, 예를 들면, 다음과 같은 처리를 실행한다.

즉, 1의 모델 구도안을 식별할 수 있는 소정 패턴(이하, 「분류 식별 패턴」이라고 칭함)이, 복수개의 각 구도안 ROM(11) 등에 미리 기억되어 있다고 한다. 그리고, 분류 식별 패턴의 구체예에 대해서는, 도 3과 도 4를 참조하여 후술한다.

이 경우, CPU(9)는, 스루 화상(51)에 포함되는 주요 피사체에 대한 각 구도 요소의 배열 패턴과, 복수개의 각각의 모델 구도안의 각 분류 식별 패턴을 1개씩 비교 대조해 간다. 그리고, CPU(9)는, 비교 대조의 결과에 기초하여, 복수개의 모델 구도안 중에서, 스루 화상(51)과 유사한 모델 구도안의 후보(이하, 「모델 구도안 후보」라고 칭함)를 P개 선택한다. 여기에서, P는 1 이상의 정수값이며, 설계자 등이 임의로 설정할 수 있는 정수값이다. 예를 들면, 도 2의 예에서는, 모델 구도안 후보로서, 구도 C3[사선 구도/대각선 구도]나 구도 C4[방사선 구도]가 선택되어, 분류 결과로서 출력되어 있다.

단계 Sh의 처리는, 후술하는 도 11a의 구도 분류 처리 중 단계 S202 이후의 처리에 대응한다.

도 3과 도 4는, 이와 같은 단계 Sh의 구도 분류 처리에 있어서 사용되는, 각 모델 구도안의 각종 정보가 저장된 테이블 정보의 일례를 나타내고 있다.

예를 들면, 본 실시예에서는, 도 3과 도 4에 나타내는 테이블 정보가 ROM(11)에 미리 기억되어 있는 것으로 한다.

도 3과 도 4의 테이블 정보에는, 「구도안의 명칭, 견본 화상, 및 설명문」, 및 「분류 식별 패턴」이라는 각 항목이 설치되어 있다. 또한, 도 3과 도 4의 테이블 정보에 있어서, 소정의 1행은 소정의 1모델 구도안에 대응하고 있다.

따라서, 동일 행의 각 항목에는, 소정의 모델 구도안에 대한 각각의 항목 명칭과 동(同) 내용의 정보, 즉, 그 명칭, 견본 화상(화상 데이터), 및 설명문(텍스트 데이터), 그리고 분류 식별 패턴이 저장되어 있다.

「분류 식별 패턴」의 항목에 있어서, 굵은 선은, 구도 요소로서의 「에지」를 나타내고 있다. 점선은, 구도 요소로서의 「선」을 나타내고 있다. 사선이나 도트의 회색 영역은, 구도 요소로서의 「주목점 영역」을 나타내고 있다. 또한, 도 2의 단계 Sg의 구도 요소 추출 처리의 결과가, 도 2에 나타낸 바와 같은 화상(54)(화상 데이터)인 경우에는, 분류 식별 패턴도, 도 3에 나타낸 바와 같은 화상(화상 데이터)으로서 저장된다.

한편, 구도 요소 추출 처리의 결과가, 전술한 바와 같은 구도 요소와 그 배치 패턴의 내용을 나타내는 정보인 경우, 분류 식별 패턴도, 구도 요소와 배치 패턴의 내용을 나타내는 정보로서 저장된다. 구체적으로는, 예를 들면, 1행째의 구도 C1[수평선 구도]의 분류 식별 패턴은, 「수평으로 긴 직선 에지가 존재」, 및 「주목점 영역이 화면 전체에 넓게 분포」, 「주목점 영역이 수평 방향으로 분포」, 및 「수평으로 긴 직선이 존재」라는 정보로서 저장된다.

그리고, 도 3과 도 4에는, 본 실시예에서 채용되고 있는 모델 구도안의 일부가 나타나 있는 것에 지나지 않는다. 그리고, 이하에서는, 다음의 모델 구도안 C0 내지 C12가 본 실시예에서 채용되고 있는 것으로 한다. 그리고, 다음 단락의 괄호 내의 요소는, 모델 구도안 Ck(k는 0 내지 12 중 어느 하나의 정수값)에 대한, 부호 Ck, 구도안의 명칭, 및 설명문을 각각 나타내고 있다.

(C0, 중앙 일점 구도, 집중력을 가지고 피사체의 존재감을 강조한다.)

(C1, 수평선 구도, 화면에 퍼지는 느낌과 느긋하고 평안함을 나타낸다.)

(C2, 수직선 구도, 상하 방향으로의 신장감으로 화면을 바싹 죄어서 표시한다.)

(C3, 사선 구도/대각선 구도, 생생하고 리드미컬한 생동감을 낸다. 또는, 등분할한 화면으로 안정감을 나타낸다.)

(C4, 방사선 구도, 개방감이나 고양감, 약동감을 끌어낸다.)

(C5, 곡선 구도/S자 구도, 우아함이나 온화함을 화면에 자아낸다.)

(C6, 삼각형/역삼각형 구도, 안정감과 견고한 힘찬 느낌을 표현한다. 또는, 상부로 퍼지는 생명력이나 개방감을 표현한다.)

(C7, 대비/대칭 구도, 긴장감이나 침착한 정숙감을 표현한다.)

(C8, 터널 구도, 화면에 집중력이나 침착성을 가지게 한다.)

(C9, 패턴 구도, 반복 패턴에 의한 리듬감이나 통일감을 나타낸다.)

(C10, 포트레이트 구도, ???)

(C11, 3분할/4분할 구도, 가장 일반적인 구도로서, 균형잡힌 사진이 된다.)

(C12, 원근법 구도, 자연 형태에 따라, 거리감이나 깊이를 강조함.)

이상, 도 2 내지 도 4를 참조하여, 화상 처리 장치(100)가 실행하는 장면 구도 식별 처리를 개략적으로 설명하였다. 다음으로, 도 5 내지 도 11a 및 도 11b를 참조하여, 장면 구도 식별 처리를 포함하는 촬영 모드 처리 전체에 대하여 설명한다.

도 5는, 촬영 모드 처리의 흐름의 일례를 나타낸 흐름도이다.

촬영 모드 처리는, 사용자가 촬영 모드를 선택하는 소정의 조작을 조작부(14)에 대하여 행한 경우, 그 조작을 계기로 개시된다. 즉, 다음과 같은 처리가 실행된다.

단계 S1에 있어서, CPU(9)는, 스루 촬상과 스루 표시를 행한다.

단계 S2에 있어서, 장면 구도 식별 처리를 실행함으로써, P개의 모델 구도안 후보를 선택한다. 장면 구도 식별 처리에 대한 개략적인 것은 도 2를 참조하여 전술한 바와 같으며, 자세한 것은 도 7을 참조하여 후술한다.

단계 S3에 있어서, CPU(9)는, 액정 표시 컨트롤러(12) 등을 제어함으로써, 선택된 P개의 모델 구도안 후보를 액정 디스플레이(13)에 표시하게 한다. 정확하게는, P개의 각각의 모델 구도안 후보에, 각각을 특정 가능한 정보(예를 들면, 견본 화상이나 명칭 등)가, 액정 디스플레이(13)에 표시된다.

단계 S4에 있어서, CPU(9)는, P개의 모델 구도안 후보 중에서 모델 구도안을 결정한다. 단계 S5에 있어서, CPU(9)는, 촬영 조건을 설정한다.

단계 S6에 있어서, CPU(9)는, 그 시점의 스루 화상에 대한 모델 구도안의 구도 평가값을 산출한다. 그리고, CPU(9)는, 액정 표시 컨트롤러(12) 등을 제어함으로써, 구도 평가값을 액정 디스플레이(13)에 표시하게 한다. 구도 평가값은, 예를 들면, 미리 설정된 지표값에 대한, 스루 화상과 모델 구도안과의 상이도, 분산, 유사도, 상관성 등의 비교 결과에 기초하여 산출된다.

단계 S7에 있어서, CPU(9)는, 모델 구도안에 기초하여 가이드 정보를 생성한다. 그리고, CPU(9)는, 액정 표시 컨트롤러(12) 등을 제어함으로써, 가이드 정보를 액정 디스플레이(13)에 표시하게 한다. 그리고, 가이드 정보의 구체적인 표시예에 대해서는, 도 6을 참조하여 후술한다.

단계 S8에 있어서, CPU(9)는, 스루 화상의 피사체 위치와, 모델 구도안의 피사체 위치를 비교한다. 단계 S9에서, CPU(9)는, 그 비교 결과에 기초하여, 스루 화상의 피사체 위치가, 모델 구도안의 피사체 위치의 근방인지의 여부를 판정한다.

스루 화상의 피사체 위치가, 모델 구도안의 피사체 위치로부터 먼 곳에 존재하는 경우, 아직 촬영 처리의 타이밍이 아닌 것으로 하여, 단계 S9에서 NO인 것으로 판정되어, 처리는 단계 S6으로 되돌려져 그 이후의 처리가 반복된다. 그리고, 단계 S9에서 NO인 것으로 판정된 경우, 처리가 단계 S6으로 되돌려질 때마다, 후술하는 구도 잡기의 변경[프레이밍(framing)]이 실행되고, 구도 평가값과 가이드 정보의 표시는 시시각각으로 갱신된다.

그 후, 스루 화상의 피사체 위치가, 모델 구도안의 피사체 위치의 근방으로 된 시점에서, 촬영 처리의 타이밍이 된 것으로 하여, 단계 S9에서 YES인 것으로 판정되어, 처리는 단계 S10으로 진행한다. 단계 S10에서, CPU(9)는, 구도 평가값이 설정값 이상인지의 여부를 판정한다.

구도 평가값이 설정값 미만의 경우, 아직 스루 화상에 있어서 적절한 구도로 되어 있지 않은 것으로 하여, 단계 S10에서 NO인 것으로 판정되어, 처리는 단계 S6으로 되돌려져 그 이후의 처리가 반복된다. 이 경우, 도 5에는 도시하지 않았지만, 예를 들면, 그 시점의 스루 화상(그 주요 피사체의 배열 패턴)에 근접한 모델 구도안이나, 구도 평가값을 설정값보다 높게 할 수 있는 모델 구도안이, 액정 디스플레이(13)나 파인더(도 1에 도시하지 않음)에 표시된다고 한다. 또한, 그 후, 이들 모델 구도안 중에서 사용자에 의해 새로운 모델 구도안이 허락 또는 선택된 경우, 새롭게 허락 또는 선택된 모델 구도안의 위치 관계가 되도록 사용자를 가이드 해 감으로써, 촬영 구도를 변경시키는 가이드 정보가, 액정 디스플레이(13)나 파인더에 표시된다고 한다. 이 경우, 새롭게 허락 또는 선택된 모델 구도안에 대하여, 단계 S6 이후의 처리가 실행된다.

그 후, 다시 촬영 처리의 타이밍이 된 시점, 즉, 다시 단계 S9의 처리에서 YES인 것으로 판정된 시점에서, 구도 평가값이 설정값 이상이 되면, 스루 화상에 있어서 적절한 구도로 된 것으로 보고, 단계 S10에서 YES인 것으로 판정되어, 처리는 단계 S11로 진행한다. 그리고, 다음과 같은 단계 S11의 처리가 실행됨으로써, 그 시점의 모델 구도안에 대응하는 구도로 자동 촬영이 행해진다.

즉, 단계 S11에 있어서, CPU(9)는, 촬영 조건 등에 기초하여, AF(Automatic Focus)처리(오토 포커스 처리)를 실행한다. 단계 S12에 있어서, CPU(9)는, AWB(Automatic White Balance) 처리(오토 화이트 밸런스 처리), 및 AE(Automatic Exposure) 처리(자동 노출 처리)를 실행한다. 즉, 측광 센서(17)에 의한 측광 정보나 촬영 조건 등에 기초하여, 조리개, 노출 시간, 스트로보 조건 등이 설정된다.

단계 S13에 있어서, CPU(9)는, TG(6)나 DSP(8) 등을 제어하여, 촬영 조건 등에 기초하여, 노출 및 촬영 처리를 실행한다. 이 노출 및 촬영 처리에 의해, 촬영 조건 등에 따라서, CMOS 센서(4)에 의해 촬영된 피사체상은, 프레임 화상 데이터로서 DRAM(7)에 기억된다. 그리고, 이하, 이러한 프레임 화상 데이터를 「촬영 화상 데이터」라고 칭하며, 또한, 촬영 화상 데이터에 의해 표현되는 화상을 「촬영 화상」이라고 칭한다.

단계 S14에 있어서, CPU(9)는, DSP(8) 등을 제어하여, 촬영 화상 데이터에 대하여 보정 및 변경 처리를 행한다. 단계 S15에 있어서, CPU(9)는, 액정 표시 컨트롤러(12) 등을 제어하여, 촬영 화상의 리뷰 표시 처리를 실행한다. 또한, 단계 S16에 있어서, CPU(9)는, DSP(8) 등을 제어하여 촬영 화상 데이터의 압축 부호화 처리를 실행한다. 그 결과, 부호화 화상 데이터가 얻어지게 된다. 여기서, 단계 S17에 있어서, CPU(9)는, 부호화 화상 데이터의 보존 기록 처리를 실행한다. 이로써, 부호화 화상 데이터가 메모리 카드(15) 등에 기록되어, 촬영 모드 처리가 종료된다.

그리고, CPU(9)는, 부호화 화상 데이터의 보존 기록 처리로서, 촬영시의 장면 모드나 촬영 조건 데이터 등은 물론, 촬영시에 결정 또는 산출된 모델 구도안이나 구도 평가값의 정보를, 부호화 화상 데이터와 관련시켜서 메모리 카드(15)에 기록시킬 수도 있다. 이로써, 사용자는, 촬영 화상을 검색하는 경우, 장면이나 촬영 조건뿐만 아니라, 촬영된 구도나 구도 평가값의 불량 여부 등을 사용할 수 있으므로, 원하는 화상을 신속하게 검색할 수 있게 된다.

도 6은, 도 5의 촬영 모드 처리의 구체적인 처리 결과를 나타내고 있다.

도 6의 (A)는, 단계 S7의 처리 후의 액정 디스플레이(13)의 표시예를 나타내고 있다.

그리고, 도 1에는 도시하지 않은 파인더에도, 액정 디스플레이(13)와 동일한 표시가 된 것으로 한다.

도 6의 (A)에 나타낸 바와 같이, 액정 디스플레이(13)에는, 주표시 영역(101)과 서브 표시 영역(102)이 설치되어 있다.

도 6의 (A)의 예에서는, 스루 화상(51)이 주표시 영역(101)에 표시되어 있다.

주표시 영역(101)에는 또한, 보조 정보로서, 스루 화상(51)의 주목점 영역의 근방의 가이드라인(121)이나, 그 주목점 영역 주위의 피사체의 윤곽선(122)이, 다른 상세한 것과 구별 가능하도록 표시되어 있다. 그리고, 이와 같은 보조 정보는, 가이드라인(121)이나 윤곽선(122)으로 특별히 한정되지 않는다. 예를 들면, 주목점 영역(주요 피사체)에 대한, 윤곽 형상 또는 그 위치, 분포나 배열 패턴을 나타낸 도형, 또는 이들의 위치 관계를 나타내는 보조선을, 주표시 영역(101)에 표시시킬 수도 있다.

주표시 영역(101)에는 또한, 가이드 정보로서, 모델 구도안의 구도 요소의 선에 대응하는 참조선(123), 모델 구도안의 지표선(124), 주목점 영역의 이동 목표를 나타내는 심볼(125)이 표시되어 있다. 그리고, 이와 같은 가이드 정보는, 참조선(123), 지표선(124), 심볼(125) 등으로 특별히 한정되지 않는다. 예를 들면, 모델 구도안에서의 주요 피사체에 대한, 윤곽 형상 또는 그 위치, 분포나 배열 패턴을 나타낸 도형, 또는 이들의 위치 관계를 나타내는 보조선을, 주표시 영역(101)에 표시할 수도 있다.

주표시 영역(101)에는 또한, 가이드 정보로서, 프레임의 이동 방향을 나타내는 화살표(126)나, 프레임의 회전 방향을 나타내는 화살표(127) 등이 표시되어 있다. 즉, 화살표(126, 127) 등은, 스루 화상(51) 중의 주요 피사체의 위치를, 모델 구도안에서의 피사체의 위치[예를 들면, 심볼(125)의 위치]까지 이동하도록 사용자를 가이드함으로써, 구도를 변경시키는 가이드 정보이다. 이와 같은 가이드 정보는, 화살표(126, 127)로 특별히 한정되지 않고, 그 외에, 예를 들면, 「카메라를 좀 더 우측을 향하도록 해 주세요」 등의 메시지를 채용할 수도 있다.

또한, 모델 구도안을 나타내는 정보(111 내지 113)가 서브 표시 영역(102)에 표시되어 있다.

도 6의 (A)의 예에서는, 도 5의 단계 S4의 처리에서 결정된 모델 구도안은, 예를 들면, 정보(111)에 대응하는 모델 구도안이 되어 있다.

또한, 예를 들면, 정보(112)나 정보(113)는, 구도 평가값이 설정값 미만의 경우에 단계 S10에서 NO인 것으로 판정된 후에 표시된다. 구체적으로는, 예를 들면, 정보(112)나 정보(113)는, 스루 화상에 가까운 모델 구도안을 나타내는 정보와, 구도 평가값을 설정값보다 높게 할 수 있는 모델 구도안 등을 나타내는 정보이다.

따라서, 사용자는, 구도 평가값이 설정값 미만인 경우 등에, 조작부(14)를 조작함으로써, 각 모델 구도안을 나타내는 정보(111 내지 113) 중에서, 원하는 1개를 선택하여 결정할 수 있다. 이 경우, CPU(9)는, 사용자에 의해 결정된 정보에 대응하는 모델 구도안에 대하여, 단계 S6 내지 S10의 처리를 행한다.

도 6의 (A)의 표시 상태에서, 구도 잡기의 변경이나 자동적인 프레이밍이 행해지고, 그 결과, 도 6의 (B)의 표시 상태로 되었다고 한다. 즉, 스루 화상(51) 중의 주요 피사체의 위치가 심볼(125)의 위치와 일치할 때까지 구도가 변경되는 것으로 한다. 이 경우, 도 5의 단계 S9의 처리에서 YES인 것으로 판정된다. 따라서, 구도 평가값이 설정값 이상이면, 단계 S10의 처리에서 YES인 것으로 판정되어, 단계 S11 내지 S17의 처리가 실행된다. 이로써, 도 6의 (B)에 나타내는 구도로 자동 촬영이 행해진다. 그 결과, 도 6의 (C)에 나타내는 촬영 화상(131)의 리뷰 표시가 행해져, 촬영 화상(131)에 대응하는 부호화 화상 데이터가 메모리 카드(15)에 기록된다.

그리고, 도 5의 예에서는 생략되어 있지만, 당연히, 사용자가 손가락 등으로 릴리즈 버튼을 누름으로써, CPU(9)에 촬영 처리를 실행시킬 수도 있다. 이 경우, 사용자는, 예를 들면, 도 6의 (A)에 나타내는 가이드 정보에 따라 구도를 수동으로 이동시키고, 도 6의 (B)에 나타내는 구도로 된 타이밍에서 릴리즈 버튼을 완전히 누를 수 있다. 그 결과, 도 6의 (C)에 나타내는 촬영 화상(131)의 리뷰 표시가 행해져, 촬영 화상(131)에 대응하는 부호화 화상 데이터가 메모리 카드(15)에 기록된다.

다음으로, 도 5의 촬영 모드 처리 중, 단계 S2의 장면 구도 식별 처리의 상세예에 대하여 설명한다.

도 7은, 장면 구도 식별 처리의 흐름의 상세예를 나타내는 흐름도이다.

단계 S21에 있어서, CPU(9)는, 스루 촬상에 의해 얻어진 프레임 화상 데이터를, 처리 대상 화상 데이터로서 입력한다.

단계 S22에 있어서, CPU(9)는, 식별종료 FLAG가 1인지의 여부를 판정한다. 식별종료 FLAG란, 전회(前回)의 프레임 화상 데이터에 대하여 모델 구도안 후보가 이미 선택(이미 식별)되었는의 여부를 나타내는 플래그를 말한다. 따라서, 식별종료 FLAG=0의 경우, 전회의 프레임 화상 데이터에 대하여 모델 구도안 후보가 미선택이다. 그러므로, 식별종료 FLAG=0의 경우, 단계 S22에 있어서 NO인 것으로 판정되어, 처리는 단계 S26으로 진행하여, 그 이후의 처리가 실행된다. 그 결과, 처리 대상 화상 데이터에 대한 모델 구도안 후보가 선택된다. 다만, 단계 S26 이후의 처리의 상세한 것에 대해서는 후술한다.

이에 비해, 식별종료 FLAG=1의 경우, 전회의 프레임 화상 데이터에 대하여 모델 구도안 후보가 이미 선택되었으므로, 처리 대상 화상 데이터에 대한 모델 구도안 후보의 선택이 불필요하게 되는 경우도 있다. 즉, CPU(9)는, 단계 S26 이후의 처리를 실행할 것인지의 여부를 판단할 필요가 있다. 그러므로, 식별종료 FLAG=1의 경우, 단계 S22에 있어서 YES인 것으로 판정되어, 처리는 단계 S23으로 진행하고, 다음과 같은 처리가 실행된다.

즉, 단계 S23에 있어서, CPU(9)는, 처리 대상 화상 데이터와 전회의 프레임 화상 데이터를 비교한다. 단계 S24에 있어서, CPU(9)는, 촬영 조건 또는 피사체 상태에, 소정의 레벨 이상의 변화가 있는지의 여부를 판정한다. 촬영 조건 및 피사체 상태에 소정의 레벨 이상의 변화가 없는 경우, 단계 S24에 있어서 NO인 것으로 판정되어, 단계 S25 이후의 처리는 실행되지 않고, 장면 구도 식별 처리는 종료된다.

이에 비해, 촬영 조건과 피사체 상태 중에서 적어도 한쪽에 소정 레벨 이상의 변화가 있는 경우, 단계 S24에 있어서 YES인 것으로 판정되어, 처리는 단계 S25로 진행한다. 단계 S25에 있어서, CPU(9)는, 식별종료 FLAG를 0으로 변경한다. 이로써, 다음과 같은 단계 S26 이후의 처리가 실행된다.

단계 S26에 있어서, CPU(9)는, 주목점 영역 추정 처리를 실행한다. 즉, 전술한 도 2의 단계 Sa 내지 Sc에 대응하는 처리가 실행된다. 이로써, 전술한 바와 같이, 처리 대상 화상 데이터에 대한 주목점 영역을 얻을 수 있게 된다. 그리고, 주목점 영역 추정 처리의 상세예에 대하여는, 도 8 내지 도 10을 참조하여 후술한다.

단계 S27에 있어서, CPU(9)는, 주목점 영역 평가 처리를 실행한다. 즉, 전술한 도 2의 단계 Sd에 대응하는 처리가 실행된다.

단계 S28에 있어서, CPU(9)는, 에지 화상 생성 처리를 실행한다. 즉, 전술한 도 2의 단계 Se에 대응하는 처리가 실행된다. 이로써, 전술한 바와 같이, 처리 대상 화상 데이터에 대한 에지 화상을 얻을 수 있게 된다.

단계 S29에 있어서, CPU(9)는, 에지 화상 평가 처리를 실행한다. 즉, 전술한 도 2의 단계 Sf에 대응하는 처리가 실행된다.

단계 S30에 있어서, CPU(9)는, 주목점 평가 처리의 결과나 에지 화상 평가 처리의 결과를 사용하여, 구도 분류 처리를 실행한다. 즉, 전술한 도 2의 단계 Sh(단계 Sg를 포함함)에 대응하는 처리가 실행된다. 그리고, 구도 분류 처리의 상세예에 대해서는, 도 11a 및 도 11b를 참조하여 후술한다.

단계 S31에 있어서, CPU(9)는, 구도의 분류 식별에 성공했는지의 여부를 판정한다.

단계 S30의 처리에서 P=1 이상의 모델 구도안 후보가 선택된 경우, 단계 S31에 있어서 YES인 것으로 판정되어, 처리는 단계 S32로 진행한다. 단계 S32에 있어서, CPU(9)는, 식별종료 FLAG를 1로 설정한다.

이에 비해, 단계 S30의 처리로 모델 구도안 후보가 선택되지 않은 경우, 단계 S31에 있어서 NO인 것으로 판정되어, 처리는 단계 S33으로 진행한다. 단계 S33에 있어서, CPU(9)는, 식별종료 FLAG를 0으로 설정한다.

식별종료 FLAG가, 단계 S32의 처리로 1로 설정되거나, 또는 단계 S33의 처리로 0으로 설정되면, 장면 구도 식별 처리는 종료하고, 즉, 도 5의 단계 S2의 처리는 종료하고, 처리는 단계 S3으로 진행하여, 그 이후의 처리가 실행된다.

다음으로, 도 7의 장면 구도 식별 처리 중, 단계 S26(도 2의 단계 Sa 내지 Sc)의 주목점 영역 추정 처리의 상세예에 대하여 설명한다.

전술한 바와 같이, 주목점 영역 추정 처리에서는, 주목점 영역의 추정을 위하여, 현저성 맵이 작성된다. 따라서, 주목점 영역 추정 처리에 대하여, 예를 들면, Treisman의 특징 통합 이론이나, Itti 및 Koch 등에 의한 현저성 맵을 적용할 수 있다.

그리고, Treisman의 특징 통합 이론에 대해서는, 「A. M. Treisman and G. Gelade, "A feature-integration theory of attention", Cognitiｖe Psychology, Vol.12, No.1, pp. 97-136, 1980.」을 참조하면 된다.

또한, Itti 및 Koch 등에 의한 현저성 맵에 대해서는, 「L. Itti, C. Koch, and E. Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, VOl.20, No11, November 1998.」을 참조하면 된다.

도 8은, Treisman의 특징 통합 이론이나 Nitti 및 Koch 등에 의한 현저성 맵을 적용한 경우에 있어서의, 주목점 영역 추정 처리의 흐름의 상세예를 나타내는 흐름도이다.

단계 S41에 있어서, CPU(9)는, 처리 대상 화상 데이터를 취득한다. 그리고, 여기서 취득되는 처리 대상 화상 데이터는, 도 7의 단계 S21의 처리로 입력된 처리 대상 화상 데이터를 의미한다.

단계 S42에 있어서, CPU(9)는, 가우시안 해상도 피라미드(Gaussian Resolution Pyramid)을 작성한다. 구체적으로는, 예를 들면, CPU(9)는, 처리 대상 화상 데이터{(x, y)의 위치의 화소 데이터}를 I(0)=I(x, y)로서 가우시안 필터 처리와 다운 샘플링 처리를 순차적으로 반복 실행한다. 그 결과로서, 계층형의 스케일 화상 데이터 I(L)(예를 들면, L∈{0???8})의 조(組)가 생성된다. 이 계층형의 스케일 화상 데이터 I(L)의 조가, 「가우시안 해상도 피라미드」라고 칭해지고 있다. 여기서, 스케일 L=k(여기서는 k는 1 내지 8 중 임의의 정수값)의 경우, 스케일 화상 데이터 I(k)는, 1/2k의 축소 화상[k=0의 경우에는 원화상(original image)]을 나타낸다.

단계 S43에 있어서, CPU(9)는, 각 특징량 맵 작성 처리를 개시한다. 각 특징량 맵 작성 처리의 상세예에 대해서는, 도 9나 도 10을 참조하여 후술한다.

단계 S44에 있어서, CPU(9)는, 모든 특징량 맵 작성 처리가 종료되었는지의 여부를 판정한다. 각 특징량 맵 작성 처리 중 하나만이라도 처리가 종료되어 있지 않은 경우, 단계 S44에 있어서, NO인 것으로 판정되어, 처리는 단계 S44에 다시 되돌려진다. 즉, 각 특징량 맵 작성 처리의 전체 처리가 종료할 때까지, 단계 S44의 판정 처리가 반복적으로 실행된다. 그리고, 각 특징량 맵 작성 처리의 전체 처리가 종료하여, 모든 특징량 맵이 작성되면, 단계 S44에 있어서 YES인 것으로 판정되어, 처리는 단계 S45로 진행한다.

단계 S45에 있어서, CPU(9)는, 각 특징량 맵을 선형합으로 결합하여, 현저성 맵 S(Saliency Map)를 구한다.

단계 S46에 있어서, CPU(9)는, 현저성 맵 S를 사용하여, 처리 대상 화상 데이터로부터 주목 영역을 추정한다. 즉, 일반적으로, 주요 피사체가 되는 인물이나 촬영 대상(objects)이 되는 물체의 대부분은, 배경(background) 영역에 비해, 현저성(saliency)이 높은 것으로 여겨진다. 그래서, CPU(9)는, 현저성 맵 S를 사용하여, 처리 대상 화상 데이터로부터 현저성(saliency)이 높은 영역을 인식한다. 그리고, CPU(9)는, 그 인식 결과에 따라 인간의 시각적 주의를 끌 가능성이 높은 영역, 즉, 주목점 영역을 추정한다. 이와 같이 하여, 주목점 영역이 추정되면, 주목점 영역 추정 처리는 종료한다. 즉, 도 7의 단계 S26의 처리는 종료하고, 처리는 단계 S27로 진행한다. 도 2의 예에 있어서는, 단계 Sa 내지 Sc의 일련의 처리는 종료하고, 처리는 단계 Sd로 진행한다.

다음으로, 각 특징량 맵 작성 처리의 구체예에 대하여 설명한다.

도 9는, 휘도, 색, 및 방향성의 특징량 맵 작성 처리의 흐름의 일례를 나타낸 흐름도이다.

도 9의 (A)는, 휘도의 특징량 맵 작성 처리의 일례를 나타내고 있다.

단계 S61에 있어서, CPU(9)는, 처리 대상 화상 데이터에 대응하는 각 스케일 화상으로부터, 각 주목 화소를 설정한다. 예를 들면, 각 주목 화소 c∈{2, 3, 4}가 설정된 것으로 하여, 이하의 설명을 행한다. 각 주목 화소 c∈{2, 3, 4}란, 스케일 c∈{2, 3, 4}의 스케일 화상 데이터 I(c)상의 연산 대상으로서 설정된 화소를 말한다.

단계 S62에 있어서, CPU(9)는, 각 주목 화소 c∈{2, 3, 4}의 각 스케일 화상의 휘도 성분을 구한다.

단계 S63에 있어서, CPU(9)는, 각 주목 화소의 주변 화소 s=c+δ의 각 스케일 화상의 휘도 성분을 구한다. 각 주목 화소의 주변 화소 s=c+δ란, 예를 들면 δ∈{3, 4}로 하면, 스케일 s=c+δ의 스케일 화상 I(s) 상의, 주목 화소(대응점)의 주변에 존재하는 화소를 말한다.

단계 S64에 있어서, CPU(9)는, 각 스케일 화상에 대하여, 각 주목 화소 c∈{2, 3, 4}에서의 휘도 콘트라스트를 구한다. 예를 들면, CPU(9)는, 각 주목 화소 c∈{2, 3, 4}와, 각 주목 화소의 주변 화소 s=c+δ(예를 들면δ∈{3, 4})의 스케일간의 차분을 구한다. 여기서, 주목 화소 c를 「Center」라고 호칭하고, 주목 화소의 주변 화소 s를 「Surround」라고 칭하면, 구해진 스케일간의 차분은, 「휘도의 Center-Surround 스케일간의 차분」이라고 칭할 수 있다. 이 휘도의 Center-Surround 스케일간의 차분은, 주목 화소 c가 흰색이며 주변 화소 s가 흑색인 경우 또는 그 반대의 경우에는 큰 값을 취하는 성질이 있다. 따라서, 휘도의 Center-Surround 스케일간의 차분은, 휘도 콘트라스트를 나타낸 것이 된다. 그리고, 이하, 이러한 휘도 콘트라스트를 I(c, s)로 기술한다.

단계 S65에 있어서, CPU(9)는, 처리 대상 화상 데이터에 대응하는 각 스케일 화상에 있어서, 주목 화소로 설정되어 있지 않은 화소가 존재하는지의 여부를 판정한다. 그와 같은 화소가 존재하는 경우, 단계 S65에 있어서 YES인 것으로 판정되어, 처리는 단계 S61로 되돌려져 그 이후의 처리가 반복된다.

즉, 처리 대상 화상 데이터에 대응하는 각 스케일 화상의 각 화소에 대하여, 단계 S61 내지 S65의 처리가 각각 행해져, 각 화소의 휘도 콘트라스트 I(c, s)가 구해진다. 여기서, 각 주목 화소 c∈{2, 3, 4}, 및 주변 화소 s=c+δ(예를 들면, δ∈{3, 4})가 설정되는 경우, 단계 S61 내지 S65의 1회의 처리로, (주목 화소 c의 3가지)×(주변 화소 s의 2가지)=6가지의 휘도 콘트라스트 I(c, s)가 구해진다. 여기서, 소정의 c와 소정의 s에 대하여 구해진 휘도 콘트라스트 I(c, s)의 화상 전체의 집합체를, 이하, 「휘도 콘트라스트 I의 특징량 맵」이라고 칭한다. 휘도 콘트라스트 I의 특징량 맵은, 단계 S61 내지 S65의 루프 처리의 반복의 결과, 6가지로 구해지게 된다. 이와 같이 하여, 6가지의 휘도 콘트라스트 I의 특징량 맵이 구해지면, 단계 S65에 있어서 NO인 것으로 판정되어, 처리는 단계 S66으로 진행한다.

단계 S66에 있어서, CPU(9)는, 휘도 콘트라스트 I의 각 특징량 맵을 정규화한 후 결합함으로써, 휘도의 특징량 맵을 작성한다. 이로써, 휘도의 특징량 맵 작성 처리는 종료한다. 그리고, 이하, 휘도의 특징량 맵을, 다른 특징량 맵과 구별하기 위하여, FI라고 기술한다.

도 9의 (B)는, 색의 특징량 맵 작성 처리의 일례를 나타내고 있다.

도 9의 (B)의 색의 특징량 맵 작성 처리는, 도 9의 (A)의 휘도의 특징량 맵 작성 처리와 비교하면, 처리의 흐름은 기본적으로 동일하며, 처리 대상이 상이할 뿐이다. 즉, 도 9의 (B)의 단계 S81 내지 S86의 각각의 처리는, 도 9의 (A)의 단계 S61 내지 S66의 각각에 대응하는 처리이며, 각 단계의 처리 대상이 도 9의 (A)와는 상이할 뿐이다. 따라서, 도 9의 (B)의 색의 특징량 맵 작성 처리에 대해서는, 처리의 흐름의 설명은 생략하고, 이하, 처리 대상에 대해서만 간단하게 설명한다.

즉, 도 9의 (A)의 단계 S62와 S63의 처리 대상은 휘도 성분이었는데 비해, 도 9의 (B)의 단계 S82와 S83의 처리 대상은 색 성분이다.

또한, 도 9의 (A)의 단계 S64의 처리에서는, 휘도의 Center-Surround 스케일간의 차분이, 휘도 콘트라스트 I(c, s)로서 구해졌다. 이에 비해, 도 9의 (B)의 단계 S84의 처리에서는, 색상(R/G, B/Y)의 Center-Surround 스케일간의 차분이, 색상 콘트라스트로서 구해진다. 그리고, 색성분 중, 적색 성분이 R로 표시되고, 녹색 성분이 G로 표시되고, 청색 성분이 B로 표시되고, 황색 성분이 Y로 나타내어져 있다. 또한, 이하에서는, 색상 R/G에 대한 색상 콘트라스트를, RG(c, s)로 기술하고, 색상 B/Y에 대한 색상 콘트라스트를 BY(c, s)로 기술한다.

여기서, 전술한 예에 맞추어서, 주목 화소 c가 3가지 존재하며, 주변 화소 s가 2가지 존재한다. 이 경우, 도 9의 (A)의 단계 S61 내지 S65의 루프 처리의 결과, 6가지의 휘도 콘트라스트 I의 특징량 맵이 구해졌다. 이에 비해, 도 9의 (B)의 단계 S81 내지 S85의 루프 처리의 결과, 6가지의 색상 콘트라스트 RG의 특징량 맵과 6가지의 색상 콘트라스트 BY의 특징량 맵이 구해진다.

최종적으로, 도 9의 (A)의 단계 S66의 처리로, 휘도의 특징량 맵 FI가 구해졌다. 이에 비해, 도 9의 (B)의 단계 S86의 처리로, 색의 특징량 맵이 구해진다. 그리고, 이하, 색의 특징량 맵을, 다른 특징량 맵과 구별하기 위하여, FC라고 기술한다.

도 9의 (C)는, 방향성의 특징량 맵 작성 처리의 일례를 나타내고 있다.

도 9의 (C)의 방향성의 특징량 맵 작성 처리는, 도 9의 (A)의 휘도의 특징량 맵 작성 처리와 비교하면, 처리의 흐름은 기본적으로 동일하며, 처리 대상이 상이할 뿐이다. 즉, 도 9의 (C)의 단계 S101 내지 S106의 각각의 처리는, 도 9의 (A)의 단계 S61 내지 S66의 각각에 대응하는 처리이며, 각 단계의 처리 대상이 도 9의 (A)와는 상이할 뿐이다. 따라서, 도 9의 (C)의 방향성의 특징량 맵 작성 처리에 대해서는, 처리의 흐름의 설명은 생략하고, 이하, 처리 대상에 대해서만 간단하게 설명한다.

즉, 단계 S102와 S1023의 처리 대상은 방향 성분이다. 여기서, 방향 성분이란, 휘도 성분에 대하여 가우스 필터 φ를 컨벌루션(convolution)한 결과 얻어지는 각각의 방향의 진폭 성분을 말한다. 여기서 말하는 방향이란, 가우스 필터 φ의 파라미터로서 존재하는 회전각 θ에 의해 나타내어지는 방향을 말한다. 예를 들면, 회전각 θ로서는, 0°, 45°, 90°, 135°의 4방향을 채용할 수 있다.

또한, 단계 S104의 처리에서는, 방향성의 Center-Surround 스케일간의 차분이, 방향성 콘트라스트로서 구해진다. 그리고, 이하, 방향성 콘트라스트를, O(c, s, θ)로 기술한다.

여기서, 전술한 예에 맞추어서, 주목 화소 c가 3가지 존재하며, 주변 화소 s가 2가지 존재한다고 한다. 이 경우, 단계 S101 내지 S105의 루프 처리의 결과, 회전각 θ마다, 6가지의 방향성 콘트라스트 O의 특징량 맵이 구해진다. 예를 들면, 회전각 θ로서 0°, 45°, 90°, 135°의 4방향이 채용되어 있는 경우에는, 24방법(= 6×4 방법)의 방향성 콘트라스트 O의 특징량 맵이 구해진다.

최종적으로, 단계 S106의 처리로, 방향성의 특징량 맵이 구해진다. 그리고, 이하, 방향성의 특징량 맵을, 다른 특징량 맵과 구별하기 위하여, FO라고 기술한다.

이상 설명한 도 9의 특징량 맵 작성 처리의 보다 상세한 처리 내용에 대해서는, 예를 들면, 「L. Itti, C. Koch, and E. Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No11, November 1998.」을 참조하면 된다.

그리고, 특징량 맵 작성 처리는, 도 9의 예로 특별히 한정되지 않는다. 예를 들면, 특징량 맵 작성 처리로서, 명도, 채도, 색상, 및 모션의 각 특징량을 사용하여, 각각의 특징량 맵을 작성하는 처리를 채용할 수도 있다.

또한, 예를 들면, 특징량 맵 작성 처리로서, 멀티 스케일의 콘트라스트, Center-Surround의 색 히스토그램, 및 색공간 분포의 각 특징량을 사용하여, 각각의 특징량 맵을 작성하는 처리를 채용할 수도 있다.

도 10은, 멀티 스케일의 콘트라스트, Center-Surround의 색 히스토그램, 및 색공간 분포의 특징량 맵 작성 처리의 일례를 나타낸 흐름도이다.

도 10의 (A)는, 멀티 스케일의 콘트라스트의 특징량 맵 작성 처리의 일례를 나타내고 있다.

단계 S121에 있어서, CPU(9)는, 멀티 스케일의 콘트라스트의 특징량 맵을 구한다. 이로써, 멀티 스케일의 콘트라스트의 특징량 맵 작성 처리는 종료된다.

그리고, 이하, 멀티 스케일의 콘트라스트의 특징량 맵을, 다른 특징량 맵과 구별하기 위하여, Fc라고 기술한다.

도 10의 (B)는, Center-Surround의 색 히스토그램의 특징량 맵 작성 처리의 일례를 나타내고 있다.

단계 S141에 있어서, CPU(9)는, 상이한 어스펙트비마다, 직사각형 영역의 색 히스토그램과 주변 윤곽의 색 히스토그램을 구한다. 어스펙트비 자체는, 특별히 한정되지 않으며, 예를 들면, {0.5, 0.75, 1.0, 1.5, 2.0} 등을 채용할 수 있다.

단계 S142에 있어서, CPU(9)는, 상이한 어스펙트비마다, 직사각형 영역의 색 히스토그램과 주변 윤곽의 색 히스토그램과의 카이제곱(χ²(chi-square)) 거리를 구한다. 단계 S143에 있어서, CPU(9)는, 카이제곱 거리가 최대가 되는 직사각형 영역의 색 히스토그램을 구한다.

단계 S144에 있어서, CPU(9)는, 카이제곱 거리가 최대가 되는 직사각형 영역의 색 히스토그램을 사용하여, Center-Surround의 색 히스토그램의 특징량 맵을 작성한다. 이로써, Center-Surround의 색 히스토그램의 특징량 맵 작성 처리는 종료된다.

그리고, 이하, Center-Surround의 색 히스토그램의 특징량 맵을, 다른 특징량 맵과 구별하기 위하여, Fh라고 기술한다.

도 10의 (C)는, 색공간 분포의 특징량 맵 작성 처리의 일례를 나타내고 있다.

단계 S161에 있어서, CPU(9)는, 색공간 분포에 대하여, 수평 방향의 분산을 계산한다. 또한, 단계 S162에 있어서, CPU(9)는, 색공간 분포에 대하여, 수직 방향의 분산을 계산한다. 그리고, 단계 S163에 있어서, CPU(9)는, 수평 방향의 분산과 수직 방향의 분산을 사용하여, 색의 공간적인 분산을 구한다.

단계 S164에 있어서, CPU(9)는, 색의 공간적인 분산을 사용하여, 색공간 분포의 특징량 맵을 작성한다. 이로써, 색공간 분포의 특징량 맵 작성 처리는 종료된다.

그리고, 이하, 색공간 분포의 특징량 맵을, 다른 특징량 맵과 구별하기 위하여, Fs라고 기술한다.

이상 설명한 도 10의 특징량 맵 작성 처리의 보다 상세한 처리 내용에 대해서는, 예를 들면, 「T. Liu, J. Sun, N. Zheng, X. Tang, H. Sum, "Learning to Detect A Salient Object", CVPR07, pp.1-8, 2007.」을 참조하면 된다.

다음으로, 도 7의 장면 구도 식별 처리 중, 단계 S30의 구도 분류 처리의 상세예에 대하여 설명한다.

도 11a 및 도 11b는, 구도 분석 처리의 흐름의 상세예를 나타내는 흐름도이다.

그리고, 도 11a 및 도 11b의 예에서는, 전술한 모델 구도안 C1 내지 C11 중 1개가, 모델 구도안 후보로서 선택된다. 즉, 도 11a 및 도 11b의 예에서는, P=1의 모델 구도안 후보가 선택된다.

단계 S201에 있어서, CPU(9)는, 구도 요소 추출 처리를 실행한다. 즉, 전술한 도 2의 단계 Sg에 대응하는 처리가 실행된다. 이로써, 전술한 바와 같이, 도 7의 단계 S21의 처리로 입력된 처리 대상 화상 데이터로부터, 구도 요소와 그 배열 패턴이 추출된다.

여기서, 도 2의 단계 Sh(단계 Sg를 제외함)에 대응하는 처리로서, 다음과 같은 단계 S202 이후의 처리가 실행된다. 그리고, 도 11a 및 도 11b의 예에서는, 단계 S201의 처리의 결과로서, 구도 요소와 그 배치 패턴의 내용을 나타내는 정보를 얻을 수 있다. 그러므로, 도 3과 도 4의 테이블 정보에 저장되어 있는 분류 식별 패턴의 형태는, 전술한 도면에 나타낸 바와 같은 화상 데이터가 아니고, 구도 요소와 배치 패턴의 내용을 나타내는 정보인 것으로 한다. 즉, 이하의 단계 S202 이후의 처리에 있어서는, 단계 S201의 처리의 결과 얻어진 구도 요소 및 그 배치 패턴과, 분류 식별 패턴으로서의 구도 요소 및 그 배치 패턴이 비교 대조된다.

단계 S202에 있어서, CPU(9)는, 주목점 영역이 화면 전체에 넓게 분포되어 있는지의 여부를 판정한다.

단계 S202에 있어서, 주목점 영역이 화면 전체에 넓게 분포되어 있지 않다고 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S212로 진행한다. 다만, 단계 S212 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S202에 있어서, 주목점 영역이 화면 전체에 넓게 분포되어 있는 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S203으로 진행한다. 단계 S203에 있어서, CPU(9)는, 주목점 영역이 상하로 분할 또는 수평으로 분포되어 있는지의 여부를 판정한다.

단계 S203에 있어서, 주목점 영역이 상하로 분할되어 있지 않고, 또한 수평으로 분포하고 있지 않다고 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S206으로 진행한다. 다만, 단계 S206 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S203에 있어서, 주목점 영역이 상하로 분할 또는 수평으로 분포되어 있는 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S204로 진행한다. 단계 S204에 있어서, CPU(9)는, 수평으로 긴 직선 에지가 있는지의 여부를 판정한다.

단계 S204에 있어서, 수평으로 긴 직선 에지가 없는 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S227로 진행한다. 다만, 단계 S227 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S204에 있어서, 수평으로 긴 직선 에지가 있다고 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S205로 진행한다. 단계 S205에 있어서, CPU(9)는, 모델 구도안 C1「수평선 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S203의 처리로 NO인 것으로 판정되면, 처리는 단계 S206으로 진행한다. 단계 S206에 있어서, CPU(9)는, 주목점 영역이 좌우로 분할 또는 수직으로 분포되어 있는지의 여부를 판정한다.

단계 S206에 있어서, 주목점 영역이 좌우로 분할되어 있지 않고, 또한 수직으로 분포하고 있지 않는다고 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S209로 진행한다. 다만, 단계 S209 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S206에 있어서, 주목점 영역이 좌우로 분할 또는 수직으로 분포되어 있는 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S207로 진행한다. 단계 S207에 있어서, CPU(9)는, 수직으로 긴 직선 에지가 있는지의 여부를 판정한다.

단계 S207에 있어서, 수직으로 긴 직선 에지가 없는 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S227로 진행한다. 다만, 단계 S227 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S207에 있어서, 수직으로 긴 직선 에지가 있다고 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S208로 진행한다. 단계 S208에 있어서, CPU(9)는, 모델 구도안 C2「수직선 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S206의 처리로 NO인 것으로 판정되면, 처리는 단계 S209로 진행한다. 단계 S209에 있어서, CPU(9)는, 주목점 영역이 경사지게 분할 또는 대각선으로 분포되어 있는지의 여부를 판정한다.

단계 S209에 있어서, 주목점 영역이 경사지게 분할되어 있지 않고, 또한 대각선으로 분포하고 있지 않다고 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S227로 진행한다. 다만, 단계 S227 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S209에 있어서, 주목점 영역이 경사지게 분할 또는 대각선으로 분포되어 있는 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S210으로 진행한다. 단계 S210에 있어서, CPU(9)는, 긴 사선 에지가 있는지의 여부를 판정한다.

단계 S210에 있어서, 긴 사선 에지는 없는 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S227로 진행한다. 다만, 단계 S227 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S210에 있어서, 긴 사선 에지가 있다고 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S211로 진행한다. 단계 S211에 있어서, CPU(9)는, 모델 구도안 C3「사선 구도/대각선 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S202의 처리로 NO인 것으로 판정되면, 처리는 단계 S212로 진행한다. 단계 S212에 있어서, CPU(9)는, 주목점 영역이 대략 중앙에 약간 넓게 분포되어 있는지의 여부를 판정한다.

단계 S212에 있어서, 주목점 영역이 대략 중앙에 약간 넓게 분포되어 있지 않다고 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S219로 진행한다. 다만, 단계 S219 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S212에 있어서, 주목점 영역이 대략 중앙에 약간 넓게 분포되어 있는 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S213으로 진행한다. 단계 S213에 있어서, CPU(9)는, 긴 곡선이 있는지의 여부를 판정한다.

단계 S213에 있어서, 긴 곡선은 없는 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S215로 진행한다. 다만, 단계 S215 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S213에 있어서, 긴 곡선이 있다고 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S214로 진행한다. 단계 S214에 있어서, CPU(9)는, 모델 구도안 C5「곡선 구도/S자 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S213의 처리로 NO인 것으로 판정되면, 처리는 단계 S215로 진행한다. 단계 S215에 있어서, CPU(9)는, 사선 에지 또는 방사선 에지가 존재하는지의 여부를 판정한다.

단계 S215에 있어서, 사선 에지 및 방사선 에지가 존재하지 않는 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S217로 진행한다. 다만, 단계 S217 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S215에 있어서, 사선 에지 또는 방사선 에지가 존재한다고 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S216으로 진행한다. 단계 S216에 있어서, CPU(9)는, 모델 구도안 C6「삼각형/역삼각형 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S215의 처리로 NO인 것으로 판정되면, 처리는 단계 S217로 진행한다. 단계 S217에 있어서, CPU(9)는, 주목점 영역 및 에지가 함께, 중앙 하측에 터널 모양인지의 여부를 판정한다.

단계 S217에 있어서, 주목점 영역 및 에지가 함께, 중앙 하측에 터널 모양이 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S227로 진행한다. 다만, 단계 S227 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S217에 있어서, 주목점 영역 및 에지가 함께, 중앙 하측에 터널 모양인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S218로 진행한다. 단계 S218에 있어서, CPU(9)는, 모델 구도안 C8「터널 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S212의 처리로 NO인 것으로 판정되면, 처리는 단계 S219로 진행한다. 단계 S219에 있어서, CPU(9)는, 주목점 영역이 분산 또는 고립 인지의 여부를 판정한다.

단계 S219에 있어서, 주목점 영역이 분산도 아니고 고립도 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S227로 진행한다. 다만, 단계 S227 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S219에 있어서, 주목점 영역이 분산 또는 고립인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S220으로 진행한다. 단계 S220에 있어서, CPU(9)는, 주요 피사체는 인물의 얼굴인지의 여부를 판정한다.

단계 S220에 있어서, 주요 피사체는 인물의 얼굴이 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S222로 진행한다. 다만, 단계 S222 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S220에 있어서, 주요 피사체는 인물의 얼굴인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S221로 진행한다. 단계 S221에 있어서, CPU(9)는, 모델 구도안 C10「포트레이트 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S220의 처리로 NO인 것으로 판정되면, 처리는 단계 S222로 진행한다. 단계 S222에 있어서, CPU(9)는, 주목점 영역이 좌우 또는 대칭으로 병렬인지의 여부를 판정한다.

단계 S222에 있어서, 주목점 영역이 좌우 및 대칭으로 병렬이 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S224로 진행한다. 다만, 단계 S224 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S222에 있어서, 주목점 영역이 좌우 또는 대칭으로 병렬인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S223으로 진행한다. 단계 S223에 있어서, CPU(9)는, 모델 구도안 C7「대비/대칭 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S222의 처리로 NO인 것으로 판정되면, 처리는 단계 S224로 진행한다. 단계 S224에 있어서, CPU(9)는, 주목점 영역 또는 윤곽이 복수개의 상사형이며 분산인지의 여부를 판정한다.

단계 S224에 있어서, 주목점 영역 또는 윤곽이 복수개의 상사형이며 분산인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S225로 진행한다. 단계 S225에 있어서, CPU(9)는, 모델 구도안 C9「패턴 구도」를, 모델 구도안 후보로서 선택한다.

이에 비해, 단계 S224에 있어서, 주목점 영역 및 윤곽이 복수개의 상사형도 아니고 분산도 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S226으로 진행한다. 단계 S226에 있어서, CPU(9)는, 모델 구도안 C11「3분할/4분할 구도」를, 모델 구도안 후보로서 선택한다.

단계 S225 또는 S226의 처리가 종료하면, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S204, S207, S209, S210, S217, 또는 S219의 처리로 NO인 것으로 판정되면, 처리는 단계 S227로 진행한다. 단계 S227에 있어서, CPU(9)는, 복수개의 사선 또는 방사선이 있는지의 여부를 판정한다.

단계 S227에 있어서, 복수개의 사선도 복수개의 방사선도 없는 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S234로 진행한다. 다만, 단계 S234 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S227에 있어서, 복수개의 사선 또는 방사선이 있다고 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S228로 진행한다. 단계 S228에 있어서, CPU(9)는, 대략 동일 방향으로 복수개의 사선이 있는지의 여부를 판정한다.

단계 S228에 있어서, 대략 동일 방향으로 복수개의 사선이 없는 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S230으로 진행한다. 다만, 단계 S230 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S228에 있어서, 대략 동일 방향으로 복수개의 사선이 있다고 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S229로 진행한다. 단계 S229에 있어서, CPU(9)는, 모델 구도안 C3「사선 구도/대각선 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S228의 처리로 NO인 것으로 판정되면, 처리는 단계 S230으로 진행한다. 단계 S230에 있어서, CPU(9)는, 사선이 약간 중앙으로부터 상하 또는 좌우로 방사상인지의 여부를 판정한다.

단계 S230에 있어서, 사선이 약간 중앙으로부터 상하로 방사상도 아니고 좌우로 방사상도 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S232로 진행한다. 다만, 단계 S232 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S230에 있어서, 사선이 약간 중앙으로부터 상하 또는 좌우에 방사상인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S231로 진행한다. 단계 S231에 있어서, CPU(9)는, 모델 구도안 C4「방사선 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S230의 처리로 NO인 것으로 판정되면, 처리는 단계 S232로 진행한다. 단계 S232에 있어서, CPU(9)는, 사선이 위 또는 아래로부터 방사상인지의 여부를 판정한다.

단계 S232에 있어서, 사선이 위로부터 방사상도 아니고 아래로부터 방사상도 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S234로 진행한다. 다만, 단계 S234 이후의 처리에 대해서는 후술한다.

이에 비해, 단계 S232에 있어서, 사선이 위 또는 아래로부터 방사상인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S233으로 진행한다. 단계 S233에 있어서, CPU(9)는, 모델 구도안 C6「삼각형/역삼각형 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

전술한 바와 같이, 단계 S227 또는 S232의 처리로 NO인 것으로 판정되면, 처리는 단계 S234로 진행한다. 단계 S234에 있어서, CPU(9)는, 주요 피사체는 인물의 얼굴인지의 여부를 판정한다.

단계 S234에 있어서, 주요 피사체는 인물의 얼굴인 것으로 판정된 경우, 즉, YES인 것으로 판정된 경우, 처리는 단계 S235로 진행한다. 단계 S235에 있어서, CPU(9)는, 모델 구도안 C10「포트레이트 구도」를, 모델 구도안 후보로서 선택한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 YES인 것으로 판정되어, 단계 S32의 처리로, 식별종료 FLAG가 1로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

이에 비해, 단계 S234에 있어서, 주요 피사체는 인물의 얼굴이 아닌 것으로 판정된 경우, 즉, NO인 것으로 판정된 경우, 처리는 단계 S236으로 진행한다. 단계 S236에 있어서, CPU(9)는, 구도의 분류 식별에 실패라고 인정한다. 이로써, 구도 분류 처리는 종료된다. 즉, 도 7의 단계 S30의 처리가 종료하고, 단계 S31의 처리로 NO인 것으로 판정되어, 단계 S33의 처리로, 식별종료 FLAG가 0로 설정된다. 그 결과, 장면 구도 식별 처리 전체가 종료된다.

이상 설명한 바와 같이, 제1 실시예에 따른 화상 처리 장치(100)의 CPU(9)는, 주요 피사체를 포함하는 입력 화상에 대하여, 입력 화상으로부터 추출된 복수개의 특징량에 기초하여, 주목점 영역을 추정하는 기능을 가지고 있다. CPU(9)는, 주목점 영역을 사용하여, 복수개의 모델 구도안 중에서, 주요 피사체의 배치 상태(예를 들면, 배열 패턴이나 위치 관계)에 대하여 입력 화상과 유사한 모델 구도안을 식별하는 기능을 가지고 있다.

이와 같이 하여 식별된 모델 구도안은, 주요 피사체의 배치 상태(예를 들면, 배열 패턴이나 위치 관계)에 대하여 입력 화상(스루 화상)과 유사하므로, 모델 구도안은, 입력 화상에 있어서 이상적인 구도안이나 센스가 양호한 구도안으로 파악할 수 있다. 따라서, 이와 같은 구도안이 사용자에게 제시되어 받아들여질 경우에는, 사용자는, 다양한 피사체나 일반적인 장면에 있어서도, 이상적인 구도나 센스가 양호한 구도로 촬영할 수 있게 된다.

제1 실시예에 따른 CPU(9)의 구도안을 식별하는 기능에는, 주목점 영역에 더하여, 입력 화상에 대응하는 에지 화상의 선 성분을 사용하여, 주요 피사체의 배치 상태(예를 들면, 배열 패턴이나 위치 관계)에 대하여 입력 화상과 유사한 모델 구도안을 식별하는 기능이 포함된다.

이와 같은 기능을 채용함으로써, 종래의 황금 분할선(3분할선) 그리드의 교점에 피사체를 위치시키는, 단순한 구도안 이외의 다종 다양한 모델 구도안도, 구도안으로서 제시할 수 있다. 그 결과, 구도안 후보로서 제시된 구도안은 틀에 박힌 방식의 구도가 되지 않기 때문에, 사용자는, 장면이나 피사체에 따라 다종 다양한 구도로, 또한, 임기응변의 다양한 구도로, 주요 피사체를 촬영할 수 있게 된다.

제1 실시예에 따른 CPU(9)는 또한, 식별된 모델 구도안을 제시하는 기능을 가진다. 이로써, 사용자는, 파인더 등으로 입력 화상(스루 화상)을 보면서 주요 피사체를 겨냥하는 것만으로, 인물의 얼굴 이외의 일반적인 주요 피사체를 촬영할 때의 모델 구도안이 제시된다. 따라서, 사용자는, 제시된 모델 구도안에 기초하여 구도의 양호와 불량을 평가할 수 있다. 또한, 사용자는, 장면을 변경함으로써, 각 장면마다 복수개의 모델 구도안이 제시되므로, 제시된 복수개의 모델 구도안 중에서 원하는 것을, 촬영 시의 구도로서 선택할 수 있다.

제1 실시예에 따른 CPU(9)는 또한, 식별된 모델 구도안에 대한 평가를 행하는 기능을 가지고 있다. 그리고, 제시의 기능에는, 이 평가 결과를, 식별된 모델 구도안과 함께 제시하는 기능이 포함된다. 이로써, CPU(9)는, 구도 잡기의 변경(프레이밍)에 따라 시시각각 모델 구도안을 식별하고, 이들 평가를 시시각각 행할 수 있다. 따라서, 사용자는, 시시각각 변화하는 평가를 사용함으로써, 입력 화상에 있어서 보다 양호한 구도를 찾거나, 다양한 구도 잡기를 용이하게 시험할 수 있다.

제1 실시예에 따른 CPU(9)는 또한, 식별된 모델 구도안에 기초하여, 소정의 구도(예를 들면, 이상적인 구도)로 안내하는 가이드 정보를 생성하는 기능을 가지고 있다. 그리고, 제시의 기능에는, 이 가이드 정보를 제시하는 기능이 포함된다. 이로써, 촬영에 익숙하지 않은 사용자라도, 이상적인 구도나, 센스가 양호한 구도, 또는 밸런스가 양호한 구도로, 용이하게 주요 피사체를 촬영할 수 있다.

또한, 제1 실시예에 따른 CPU(9)는, 식별된 모델 구도안에 대응하는 구도가 되도록, 프레이밍이나 주밍을 이동하거나 변경하도록 사용자를 가이드할 수 있다. 또한, CPU(9)는, 식별된 모델 구도안에 대응하는 구도와 유사하도록, 자동 프레이밍이나 자동 트리밍을 실행하여, 촬영할 수도 있다. 또한, 복수 장의 연사가 행해진 경우, CPU(9)는, 연사된 복수의 촬영 화상을 각각 입력 화상으로 하여, 모델 구도안을 식별할 수 있다. 따라서, CPU(9)는, 연사된 복수의 촬영 화상 중에서 구도가 양호한 촬영 화상을, 식별된 각 모델 구도안에 기초하여 선택하고, 기록하게 할 수도 있다. 그 결과, 사용자는, 단조로운 구도로부터 벗어나, 적절한 구도로 촬영할 수 있게 된다. 또한, 사용자로서는, 실패 구도로 촬영하는 것을 회피할 수 있게 된다.

[제2 실시예]

다음으로, 본 발명의 제2 실시예를 설명한다.

그리고, 본 발명의 제2 실시예에 따른 화상 처리 장치의 하드웨어의 구성은, 제1 실시예에 따른 화상 처리 장치(100)의 도 1의 하드웨어의 구성과 기본적으로 동일하다. 또한, CPU(9)의 기능도, 제1 실시예의 CPU(9)가 가지는 전술한 각종 기능을 그대로 가지고 있다.

제2 실시예에 따른 화상 처리 장치(100)는, 또한 「픽쳐 모드」나 「BEST SHOT(등록상표)」 등의 기능에 기초하여, 복수 장면을 사용자에게 제시하는 기능을 가지고 있다.

도 12는, 액정 디스플레이(13)의 표시예로서, 복수 장면을 각각 특정 가능한 정보(이하, 장면 정보)가 표시된 예를 나타내고 있다.

장면 정보(201)는, 「아침해/석양」의 장면을 나타내고 있다. 장면 정보(202)는, 「꽃」의 장면을 나타내고 있다. 장면 정보(203)는, 「벚꽃」의 장면을 나타내고 있다. 장면 정보(204)는, 「계류(溪流)」의 장면을 나타내고 있다. 장면 정보(205)는, 「나무」의 장면을 나타내고 있다. 장면 정보(206)는, 「숲/수풀」의 장면을 나타내고 있다. 장면 정보(207)는, 「하늘/구름」의 장면을 나타내고 있다. 장면 정보(208)는, 「폭포」의 장면을 나타내고 있다. 장면 정보(209)는, 「산」의 장면을 나타내고 있다. 장면 정보(210)는, 「바다」의 장면을 나타내고 있다.

그리고, 간략하게 설명하기 위하여, 장면 정보(201, 210)로서는, 각 장면의 명칭이 표시되도록 도 12에는 나타나 있지만, 도 12의 예로 특별히 한정되지 않고, 그 외에, 예를 들면, 각 장면의 견본 화상이라도 된다.

사용자는, 조작부(14)를 조작하여, 장면 정보(201 내지 210) 중에서, 원하는 장면 정보를 선택할 수 있다. 제2 실시예에 따른 화상 처리 장치(100)는, 이와 같은 선택에 대한 기능으로서, 다음과 같은 기능을 가지고 있다. 즉, 화상 처리 장치(100)는, 선택된 장면 정보에 대응하는 장면, 그 장면에 포함되고 얻는 피사체의 종류, 그 장면의 작풍 등에 따라, 복수개의 모델 구도안 중에서, 그 장면에 대하여 추천하는 모델 구도안을 식별하는 기능을 가지고 있다.

구체적으로는, 예를 들면, 장면 정보(201)가 선택된 경우, 화상 처리 장치(100)는, 「아침해/석양」의 장면에 대하여, 모델 구도안 C11「3분할/4분할 구도」를 식별한다. 이로써, 태양과 수평선이 3분할법에 기초한 위치에 배치되어 촬영할 수 있게 된다.

예를 들면, 장면 정보(202)가 선택된 경우, 화상 처리 장치(100)는, 「꽃」의 장면에 대하여, 모델 구도안 C7「대비/대칭 구도」를 식별한다. 이로써, 주역의 꽃을 눈에 띄게 하는 조역을 찾아내 주역과 조역에 의한 「대비 구도」에서의 촬영이 가능하게 된다.

예를 들면, 장면 정보(203)가 선택된 경우, 화상 처리 장치(100)는, 「벚꽃」의 장면에 대하여, 모델 구도안 C4「방사선 구도」를 식별한다. 이로써, 나무줄기와 가지에 대하여 「방사선 구도」에서의 촬영이 가능하게 된다.

예를 들면, 장면 정보(204)가 선택된 경우, 화상 처리 장치(100)는, 「계류」의 장면에 대하여, 모델 구도안 C12「원근법 구도」를 식별한다. 이로써, 거리감을 강조하고 「원근법 구도」에 의해, 포인트가 되는 피사체를 배치시킨 촬영이 가능하게 된다.

예를 들면, 장면 정보(205)가 선택된 경우, 화상 처리 장치(100)는, 「나무」의 장면에 대하여, 모델 구도안 C7「대비/대칭 구도」를 식별한다. 이로써, 주역인 고목 등을 눈에 띄게 하는 조역을 배경의 나무들로 하여, 주역과 조역에 의한 「대비 구도」에서의 촬영이 가능하게 된다. 그 결과, 고목 등 피사체의 스케일감을 연출할 수 있게 된다.

예를 들면, 장면 정보(206)가 선택된 경우, 화상 처리 장치(100)는, 「숲/수풀」의 장면에 대하여, 모델 구도안 C4「방사선 구도」를 식별한다. 이로써, 햇빛이 내리쬐는 투과광 하에서, 나무가지를 엑센트 라인으로 하는 「방사선 구도」로 촬영할 수 있게 된다.

예를 들면, 장면 정보(207)가 선택된 경우, 화상 처리 장치(100)는, 「하늘/구름」의 장면에 대하여, 모델 구도안 C4「방사선 구도」나 모델 구도안 C3「사선 구도/대각선 구도」를 식별한다. 이로써, 구름의 라인을 「방사선 구도」나 「대각선 구도」로 촬영할 수 있게 된다.

예를 들면, 장면 정보(208)가 선택된 경우, 화상 처리 장치(100)는, 「폭포」의 장면에 대하여, 저속 셔터로 얻어지는 폭포의 흐름을 「구도의 축」으로 하여 촬영할 수 있는 모델 구도안을 식별한다.

예를 들면, 장면 정보(209)가 선택된 경우, 화상 처리 장치(100)는, 「산」의 장면에 대하여, 모델 구도안 C3「사선 구도/대각선 구도」를 식별한다. 이로써, 능선을 「사선 구도」로 촬영하여, 촬영 화상에 리듬감을 나타낼 수 있게 된다. 그리고, 이 경우, 하늘은 너무 넓게 촬영하지 않는 것이 바람직하다.

예를 들면, 장면 정보(210)가 선택된 경우, 화상 처리 장치(100)는, 「바다」의 장면에 대하여, 모델 구도안 C1「수평선 구도」와 모델 구도안 C7「대비/대칭 구도」를 식별한다. 이로써, 바다를 「수평선 구도」와 「대비 구도」의 조합에 의해 촬영할 수 있게 된다.

이와 같은 제2 실시예에서는, 제1 실시예에서 얻어지는 효과를 그대로 얻을 수 있으며, 또한 다음과 같은 효과를 얻을 수 있다.

즉, 제2 실시예에서는, 장면 별로 촬영 프로그램이 선택되어 촬영하는 경우 등에 있어서, 장면에 대응하는 모델 구도안이 식별되므로, 입력 화상(스루 화상)에서의 주요 피사체의 배치나 위치 관계에만 의존하지 않고, 장면을 눈에 띄게 하는 최적 모델 구도안을 식별할 수 있게 된다. 그 결과, 누구든지 이상적인 구도로 촬영할 수 있게 된다.

예를 들면, 장면 별로 촬영 프로그램에 대응하는 견본 화상이나, 모델 구도안으로서, 사용자가 촬영한 화상이나, 유명 작가의 사진 작품 등을 추가로 등록할 수 있다고 하면, 이 경우, 화상 처리 장치(100)는, 등록 화상으로부터 주목점 영역 등을 추출하여, 추출 결과에 기초하여 구도 요소나 배열 패턴 등을 자동적으로 추출할 수 있다. 이로써, 화상 처리 장치(100)는, 추출된 구도 요소나 배열 패턴 등을, 새로운 모델 구도안이나 배열 패턴 정보로서 추가로 등록할 수 있다. 이 경우, 장면 별로 촬영 프로그램에 의한 촬영 시에, 사용자는, 추가 등록된 모델 구도안을 선택함으로써, 원하는 구도안에 의한 촬영을 더욱 간단하게 행할 수 있다.

그리고, 본 발명은 상기 실시예로 한정되지 않고, 본 발명의 목적을 달성할 수 있는 범위 내에서의 변형, 개량 등은 본 발명에 포함된다.

예를 들면, 전술한 실시예에서는, 본 발명이 적용되는 화상 처리 장치는, 디지털 카메라로 구성되는 예로서 설명하였다. 그러나, 본 발명은, 디지털 카메라로 특별히 한정되지 않고, 오브젝트를 포함하는 화상과 일치하는 장면을 식별하는 기능을 가지는 전자 기기에 일반적으로 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은, 비디오 카메라, 휴대형 네비게이션 장치, 휴대용 게임기 등에 적용할 수 있다.

또한, 제1 실시예와 제2 실시예를 조합시켜도 된다.

전술한 일련의 처리는, 하드웨어에 의해 실행될 수도 있고, 소프트웨어에 의해 실행될 수도 있다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다. 컴퓨터는, 전용 하드웨어에 내장되어 있는 컴퓨터라도 된다. 또한, 컴퓨터는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행할 수 있는 컴퓨터, 예를 들면, 범용 퍼스널 컴퓨터라도 된다.

이와 같은 프로그램을 포함하는 기록 매체는, 도시하지 않지만, 사용자에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 착탈 가능 미디어에 의해 구성되는 경우뿐만 아니라, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체 등으로 구성될 수 있다. 착탈 가능 미디어는, 예를 들면, 자기 디스크(floppy disk를 포함함), 광디스크, 또는 광자기 디스크 등에 의해 구성된다. 광디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등에 의해 구성된다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성된다. 또한, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM(11)이나, 도시하지 않은 하드디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함한다.

100: 화상 처리 장치 1: 광학 렌즈 장치
2: 셔터 장치 3: 액츄에이터
4: CMOS 센서 5: AFE
6: TG 7: DRAM
8: DSP 9: CPU
10: RAM 11: ROM
11: 액정 표시 컨트롤러 13: 액정 디스플레이
14: 조작부 15: 메모리 카드
16: 거리 측정 센서 17: 측광 센서

Claims (19)

1. 주요 피사체를 포함하는 입력 화상으로부터 복수개의 특징량을 추출하는 특징량 추출부;
   상기 특징량 추출부에 의해 추출된 복수개의 특징량에 기초하여 현저성 맵을 작성하는 현저성 맵 작성부;
   상기 현저성 맵 작성부에 의해 작성된 현저성 맵을 사용하여 상기 입력 화상에 있어서 주목점(注目点) 영역을 추정하는 추정부;
   상기 추정부에 의해 추정된 상기 주목점 영역의 배치 패턴을 추출하는 추출부;
   분류 식별 패턴으로서 배치 패턴을 포함하는 모델 구도안을 복수개 기억하는 기억부; 및
   상기 추출부에 의해 추출된 상기 주목점 영역의 배치 패턴을 상기 주목점 영역의 분포 형태에 따라 분류하여 구도를 판정하고, 상기 기억부에 기억되어 있는 복수개의 모델 구도안(構圖案) 중에서, 상기 판정된 구도에 대응하는 모델 구도안을 식별하는 식별부
   를 포함하는
   화상 처리 장치.
2. 삭제
3. 제1항에 있어서,
   상기 식별부에 의해 식별된 상기 모델 구도안을 제시하는 제시부
   를 더 포함하는, 화상 처리 장치.
4. 제3항에 있어서,
   상기 식별부에 의해 식별된 상기 모델 구도안과 상기 입력 화상의 비교 결과에 기초하여 구도 평가값을 산출하는 평가부
   를 더 포함하고,
   상기 제시부는, 상기 평가부에서 산출된 구도 평가값을 더 제시하는, 화상 처리 장치.
5. 제3항에 있어서,
   상기 식별부에 의해 식별된 상기 모델 구도안에 기초하여, 소정의 구도로 안내하는 가이드 정보를 생성하는 생성부
   를 더 포함하고,
   상기 제시부는, 상기 생성부에 의해 생성된 상기 가이드 정보를 더 제시하는, 화상 처리 장치.
6. 제1항에 있어서,
   상기 특징량 추출부는, 상기 입력 화상으로부터 복수개의 종류의 특징량 맵을 작성하고,
   상기 현저성 맵 작성부는, 상기 특징량 추출부에 의해 작성된 복수 종류의 특징량 맵에 기초하여 현저성 맵을 작성하는, 화상 처리 장치.
7. 제6항에 있어서,
   상기 복수 종류의 특징량 맵은, 색, 방위, 휘도, 멀티 스케일의 콘트라스트, 색 히스토그램, 및 색공간 분포 중 적어도 하나의 특징량 맵을 포함하는, 화상 처리 장치.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 제1항에 있어서,
    스루 화상에 의해 순차적으로 얻어지는 주요 피사체를 포함하는 프레임 화상 데이터를 출력하는 촬상부
    를 더 포함하고,
    상기 특징량 추출부는,
    상기 촬상부로부터 출력되는 프레임 화상 데이터로부터 복수개의 특징량을 추출하는, 화상 처리 장치.
14. 제13항에 있어서,
    상기 촬상부로부터 출력되는 전회(前回)와 금회(今回)의 프레임 화상 데이터를 비교하는 비교부;
    상기 비교부에 의한 비교 결과에 기초하여, 상기 추정부에 의한 금회의 프레임 화상 데이터에 대응하는 주목점 영역의 추정을 실행할 것인지 여부를 제어하는 추정 제어부
    를 더 포함하는, 화상 처리 장치.
15. 제13항에 있어서,
    상기 촬상부로부터 출력되는 프레임 화상 데이터의 피사체 위치가 상기 모델 구도안의 피사체 위치의 근방인지 여부를 판단하는 판단부;
    상기 판단부에 의해 상기 프레임 화상 데이터의 피사체 위치가 상기 모델 구도안의 피사체 위치의 근방이라고 판단된 경우에 상기 촬상부에 대하여 촬영 처리를 행하는 촬영 제어부
    를 더 포함하는, 화상 처리 장치.
16. 제15항에 있어서,
    상기 식별부에 의해 식별된 상기 모델 구도안과 상기 프레임 화상 데이터의 비교 결과에 기초하여 구도 평가값을 산출하는 평가부
    를 더 포함하고,
    상기 판단부는, 상기 평가부에 의해 산출된 구도 평가값이 소정값 이상인지 여부를 더 판단하고,
    상기 촬영 제어부는, 상기 판단부에 의해 상기 프레임 화상 데이터의 피사체 위치가 상기 모델 구도안의 피사체 위치의 근방이라고 판단되고, 또한 상기 구도 평가값이 소정값 이상이라고 판단된 경우에 상기 촬상부에 대하여 촬영 처리를 행하는 것을 특징으로 하는, 화상 처리 장치.
17. 제13항에 있어서,
    상기 촬상부로부터 출력되는 프레임 화상 데이터를 스루 화상으로서 표시하는 표시부;
    상기 식별부에 의해 식별된 상기 모델 구도안에 기초하여, 소정 구도로 안내하는 가이드 정보를 생성하는 생성부;
    상기 생성부에 의해 생성된 상기 가이드 정보를 상기 표시부에 스루 화상과 동시에 표시시키는 표시 제어부
    를 더 포함하는, 화상 처리 장치.
18. 제1항에 있어서,
    상기 주목점 영역의 배치 패턴은 상기 주목점 영역의 분포 형태에 따라, 1)화면 전체에 넓게 분포, 2)상하로 분할, 3)수평으로 분포, 4)수직으로 분포, 5)경사지게 분할, 6)대각선으로 분포, 7)중앙에 분포, 8)중앙 하측에 터널 모양, 9)좌우로 대칭, 10)좌우로 병렬, 11)복수개의 상사형(相似形)으로 분포, 12)분산, 13)고립을 포함하는 군으로부터 선택된 구도 중 하나 이상의 구도로 분류될 수 있는, 화상 처리 장치.
19. 주요 피사체를 포함하는 입력 화상으로부터 복수개의 특징량을 추출하는 특징량 추출 단계;
    상기 특징량 추출 단계의 처리에 의해 추출된 복수개의 특징량에 기초하여 현저성 맵을 작성하는 현저성 맵 작성 단계;
    상기 현저성 맵 작성 단계의 처리에 의해 작성된 현저성 맵을 사용하여 상기 입력화상에 있어서 주목점(注目点) 영역을 추정하는 추정 단계;
    상기 추정 단계에서 추정된 상기 주목점 영역의 배치 패턴을 추출하는 추출 단계;
    분류 식별 패턴으로서 배치 패턴을 포함하는 모델 구도안을 복수개 기억하는 기억 단계; 및
    상기 추출 단계에서 추출된 상기 주목점 영역의 배치 패턴을 상기 주목점 영역의 분포 형태에 따라 분류하여 구도를 판정하고, 상기 기억 단계에서 기억된 복수개의 모델 구도안 중에서, 상기 판정된 구도에 대응하는 모델 구도안을 식별하는 식별 단계
    를 포함하는 화상 처리 방법.

Images