KR20110025621A

KR20110025621A - 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체

Info

Publication number: KR20110025621A
Application number: KR1020100086314A
Authority: KR
Inventors: 고이치 나카고미
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2009-09-04
Filing date: 2010-09-03
Publication date: 2011-03-10
Also published as: CN102014251B; US8345986B2; KR101155406B1; JP2011054071A; JP4862930B2; TW201114255A; CN102014251A; US20110058747A1; TWI416945B

Abstract

본 발명은 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체에 관한 것이다. 본 발명에 따르면 화상 처리 장치가 제공된다. 본 발명의 화상 처리 장치는, 화상을 취득하도록 구성된 취득부(unit)와, 상기 화상의 복수개의 특징 각각에 대응하는 특징 맵을 생성하도록 구성된 생성부(unit)와, 상기 화상의 촬상 환경을 특정하도록 구성된 촬상 환경 특정부(unit)와, 상기 촬상 환경에 따라, 상기 특징 맵의 가중치를 부여하도록 구성된 가중치 부여부(unit)와, 가중치가 부여된 상기 특징 맵의 특징 분포에 기초하여, 상기 화상으로부터 특정 영역(ROI)을 검출하도록 구성된 검출부(detector)을 구비하는 것을 특징으로 한다.

Description

화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND COMPUTER READABLE-MEDIUM}

본 원은 2009년 9월 4일에 출원된 일본 특허 출원 2009-204213을 우선권 주장하는 것으로서, 상기 출원의 전체 내용은 참조에 의해 본 발명에 원용된다.

본 발명은, 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체에 관한 것이다.

화상 처리 분야에 있어서는, 화상으로부터 얻어지는 복수개의 물리적 특징을 나타내는 특징 맵을 생성하고, 이들을 통합함으로써, 처리 대상의 화상으로부터 특정한 영역을 주목 영역(ROI: Region of Interest)으로서 검출하는 기술이 알려져 있다.

보다 구체적인 방법으로서, 예를 들면, Treisman의 특징 통합 이론은, 복수개의 특징 맵을 통합한 현저성 맵을 화상의 주목 영역으로서 얻는다. 또한, Itti나 Koch 등의 이론은, 복수개의 특징 맵을 각각의 평균값과의 제곱 오차를 사용하여 정규화하고, 모든 특징 맵을 선형 결합에 의해 통합한 후, 이 통합한 특징 맵을 가우시안 필터의 차이(difference-of-Gaussian filter)에 의해 재귀적으로 필터링하고, 최종적으로 얻어진 필터링 결과의 국소적인 피크를 주목 영역으로서 얻는다(예를 들면, 비특허 문헌 1 참조).

그리고, 전술한 이론에서 사용되는 복수개의 특징 맵은, 높은 명도나 특정 색, 강한 콘트라스트 등, 인간의 시각 프로세스의 초기 단계에 있어서 지각적으로 현저한 물체를 우선적으로 주목하는 성질을 이용하여 얻는 것이 일반적으로 되어 있다.

Laurent Itti, Christof Koch, and Ernst Niebur, 「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, (미국), IEEE Computer Society, 1998년 11월, 제20권, 제11호, p.1254-1259

그러나, 상기 비특허 문헌 1의 이론의 경우, 물리적 특징의 종류에 대한 가중치는 고정화되어 있고, 예를 들면, 촬상 등에 의해 얻은 다양한 물리적 특징을 가지는 화상에 적용시키는 경우에는, 그 화상으로부터 적정하게 주목 영역을 추출하기가 곤란했다.

본 발명의 실시예는, 전술한 문제점 및 언급되지 않은 다른 문제점을 감안한 것이다. 그러나, 본 발명은 전술한 문제점을 반드시 극복할 필요는 없으며, 따라서 본 발명의 하나의 실시예는 전술한 문제점을 극복하지 못할 수도 있다.

따라서, 본 발명의 구체적 태양은, 촬상 환경을 고려하여 주목도가 높은 특정 영역(ROI)을 적정하게 검출할 수 있는 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체를 제공하는 것이다.

본 발명의 1 이상의 구체적 태양에 의하면, 화상 처리 장치가 제공된다. 상기 화상 처리 장치는, 화상을 취득하도록 구성된 취득부(unit)와, 상기 화상의 복수개의 특징 각각에 대응하는 특징 맵을 생성하도록 구성된 생성부(unit)와, 상기 화상의 촬상 환경을 특정하도록 구성된 촬상 환경 특정부(unit)와, 상기 촬상 환경에 따라 상기 특징 맵의 가중치를 부여하도록 구성된 가중치 부여부(unit)와, 가중치가 부여된 상기 특징 맵의 특징 분포에 기초하여, 상기 화상으로부터 특정 영역(ROI)을 검출하도록 구성된 검출부(detector)를 구비한다.

본 발명의 1 이상의 구체적 태양에 의하면, 화상 처리 방법이 제공된다. 상기 방법은, (a) 화상을 취득하고, (b) 상기 화상의 복수개의 특징 각각에 대응하는 특징 맵을 생성하고, (c) 상기 화상의 촬상 환경을 특정하고, (d) 상기 촬상 환경에 따라, 상기 특징 맵의 가중치 부여를 행하고, (e) 가중치가 부여된 상기 특징 맵의 특징 분포에 기초하여, 상기 화상으로부터 특정 영역(ROI)을 검출하는 단계를 포함한다.

본 발명의 1 이상의 구체적 태양에 의하면, 하기 동작을 컴퓨터에 실행시키기 위하여 프로그램을 기억하는 컴퓨터로 판독 가능한 매체가 제공된다. 전술한 동작은 (a) 화상을 취득하고, (b) 상기 화상의 복수개의 특징 각각에 대응하는 특징 맵을 생성하고, (c) 상기 화상의 촬상 환경을 특정하고, (d) 상기 촬상 환경에 따라, 상기 특징 맵의 가중치 부여를 행하고, (e) 가중치가 부여된 상기 특징 맵의 특징 분포에 기초하여, 상기 화상으로부터 특정 영역(ROI)을 검출한다.

도 1은 본 발명을 적용한 일실시예의 촬상 장치의 개략적인 구성을 나타낸 블록도이다.
도 2는 도 1의 촬상 장치에 기억되어 있는 가중치 테이블의 일례를 나타낸 도면이다.
도 3은 도 1의 촬상 장치에 의한 특정 영역 검출 처리에 관한 동작의 일례를 나타낸 흐름도이다.
도 4는 특정 영역 검출 처리를 설명하기 위한 도면이다.
도 5는 가중치 테이블의 작성에 관한 외부 기기의 개략적인 구성을 나타낸 블록도이다.
도 6은 도 5의 외부 기기에 의한 가중치 테이블 작성 처리에 관한 동작의 일례를 나타낸 흐름도이다.
도 7은 가중치 테이블 작성 처리에 관한 화상 세트를 설명하기 위한 도면이다.
도 8은 화상 세트의 일례를 모식적으로 나타낸 도면이다.
도 9는 가중치 테이블 작성 처리에 관한 가중 계수의 일례를 나타낸 도면이다.
도 10은 가중치 테이블 작성 처리에 관한 정답 맵 및 가통합(假統合) 맵의 일례를 나타낸 도면이다.

이하에서, 본 발명에 대하여, 도면을 참조하여 전형적인 실시예를 설명한다. 다만, 본 발명의 범위는 도시한 예로 한정되지 않는다.

도 1은, 본 발명을 적용한 일실시예의 촬상 장치(100)의 개략적인 구성을 나타낸 블록도이다.

본 실시예의 촬상 장치(100)는, 처리 대상 화상의 촬상 환경에 따라, 상기 처리 대상 화상의 복수개의 특징 각각에 관한 특징 맵의 가중치 부여를 행하고, 중요한 복수개의 특징 맵의 특징 분포에 기초하여, 처리 대상 화상으로부터 특정 영역을 검출한다.

구체적으로는, 도 1에 나타낸 바와 같이, 촬상 장치(100)는, 촬상부(1)와, 촬상 제어부(2)와, 화상 데이터 생성부(3)와, 메모리(4)와, 화상 처리부(5)와, 기억부(6)와, 표시 제어부(7)와, 표시부(8)와, 기록 매체(9)와, 외부 접속부(10)와, 조작 입력부(11)와, 중앙 제어부(12)를 구비하고 있다.

촬상부(1)는, 피사체를 촬상하여 화상 프레임을 생성한다. 구체적으로는, 촬상부(1)는, 도시는 생략하지만, 줌 렌즈나 포커스 렌즈 등의 복수개의 렌즈로 구성된 렌즈부와, 렌즈부를 통과하는 광의 양을 조정하는 조리개와, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-oxide Semiconductor) 등의 이미지 센서로 구성되며, 렌즈부의 각종 렌즈를 통과한 광학상을 2차원 화상 신호로 변환하는 전자 촬상부를 구비하고 있다.

촬상 제어부(2)는, 도시는 생략하지만, 타이밍 발생기, 드라이버 등을 구비하고 있다. 그리고, 촬상 제어부(2)는, 타이밍 발생기, 드라이버에 의해 전자 촬상부를 주사 구동하여, 소정 주기마다 광학상을 전자 촬상부에 의해 2차원 화상 신호로 변환시켜, 상기 전자 촬상부의 촬상 영역으로부터 1화면분씩 화상 프레임을 판독하여 화상 데이터 생성부(3)에 출력시킨다.

또한, 촬상 제어부(2)는, 촬상 조건의 조정 제어로서 AE(자동 노출 처리), AF(자동 초점 처리), AWB(자동 화이트 밸런스) 등을 행한다.

화상 데이터 생성부(3)는, 전자 촬상부로부터 전송된 화상 데이터의 아날로그 값의 신호에 대하여 RGB의 각 색 성분마다 적절하게 게인 조정한 후, 샘플 홀드 회로(도시 생략)에서 샘플 홀딩하고 A/D 변환기(도시 생략)에서 디지털 데이터로 변환하여, 컬러 프로세스 회로(도시 생략)에서 화소 보간 처리 및 γ 보정 처리를 포함하는 컬러 프로세스 처리를 행한 후, 디지털 값의 휘도 신호 Y 및 색차 신호 Cb, Cr(YUV 색 공간의 화상 데이터)를 생성한다.

컬러 프로세스 회로로부터 출력되는 휘도 신호 Y 및 색차 신호 Cb, Cr은, 도시하지 않은 DMA 컨트롤러를 통하여, 버퍼 메모리로서 사용되는 메모리(4)에 DMA 전송된다.

메모리(4)는, 예를 들면, DRAM 등에 의해 구성되며, 화상 처리부(5)나 중앙 제어부(12) 등에 의해 처리되는 데이터 등을 일시적으로 기억한다.

화상 처리부(5)는, 촬상부(1)에 의해 촬상된 입력 화상을 처리 대상 화상으로서 취득하는 화상 취득부(취득부)(5a)를 구비하고 있다.

구체적으로는, 화상 취득부(5a)는, 예를 들면, 라이브 뷰 화상이나 기록용 화상의 촬상 시에 화상 데이터 생성부(3)에 의해 생성된 입력 화상(도 4 참조)의 YUV 데이터를 취득한다.

또한, 화상 처리부(5)는, 피사체의 촬상 시에, 화상의 촬상 환경(도 4 참조)을 특정하는 촬상 환경 특정부(5b)를 구비하고 있다.

구체적으로는, 촬상 환경 특정부(5b)는, 사용자에 의한 조작 입력부(11)의 선택 결정 버튼의 소정 조작에 따른 촬상 모드(선택 신(scene))의 지정에 기초하여, 상기 촬상 모드에 대응하는 피사체의 촬상 조건이 설정됨으로써 촬상 환경을 특정한다. 더 구체적으로는, 촬상 환경 특정부(5b)는, 예를 들면, 「1. 자동」, 「2. 인물」, 「3. 풍경」, 「4. 풍경과 인물」, 「5. 어린이」, 「6. 스포츠」, 「7. 캔들라이트」, 「8. 파티」, 「9. 애완동물」 등의 복수개의 촬상 모드 중에서, 사용자에 의해 지정된 촬상 모드에 의해 규정되어 있는, 예를 들면, 노출 조건(셔터 속도나 조리개, 또는 증폭률 등)이나 화이트 밸런스 등의 피사체의 촬상 조건(촬상 모드 정보) 등을 촬상 환경으로서 특정한다.

또한, 촬상 환경 특정부(5b)는, 화상의 촬상 환경으로서 사용자에 의한 조작 입력부(11)의 소정 조작에 따라 지정된 줌 량(줌 렌즈 위치)에 기초하여, 상기 줌 량에 따라 설정된 화각에 관한 화각 정보를 특정한다.

또한, 촬상 환경 특정부(5b)는, 화상의 촬상 환경으로서 도시하지 않은 카운트부에 의해 카운트된 시각(時刻)에 관한 시각 정보를 특정한다.

또한, 촬상 환경 특정부(5b)는, 화상의 촬상 환경으로서 도시하지 않은 위치 검출부에 의해 검출된 위치에 기초하여, GPS(전지구측위시스템) 정보나 고도 정보를 특정한다.

그리고, 화상의 촬상 환경으로서 예시한, 촬상 모드 정보, 화각 정보, 시각 정보, GPS 정보, 및 고도 정보는 일례이며 이들로 한정되는 것은 아니다.

여기서, 촬상 환경 특정부(5b) 및 조작 입력부(11)는, 청구항 중의 촬상 환경 특정부를 구성하고 있다.

또한, 화상 처리부(5)는, 화상 취득부(5a)에 의해 취득된 입력 화상의 복수개의 특징 각각에 대하여, 복수개의 특징 맵(도 4 참조)을 생성하는 특징 맵 생성부(생성부)(5c)를 구비하고 있다.

특징 맵 생성부(5c)는, 화상 취득부(5a)에 의해 취득된 화상 데이터(YUV 데이터)에 기초하여, 수평(x축) 및 수직(y축) 모두를 소정의 비율로 축소한 축소 화상[예를 들면, VGA 사이즈(x×y: 640×480 화소)의 화상]을 생성한 후, 예를 들면, 콘트라스트, 히스토그램의 바타차리야 거리(Bhattacharyya distance), 각 색의 분산 정도(degree of dispersion)(모인 정도, degree of gathering) 등을 이용한 제1∼제3 특징 맵 F1∼F3를 생성한다.

구체적으로는, 특징 맵 생성부(5c)는, 먼저, 축소 화상의 화상 데이터에 기초하여, 수평(x축) 및 수직(y축) 모두를 소정의 비율 비율로 더 축소한 화상을 축소 비율을 상이하게 하여 복수개 생성한다. 그리고, 특징 맵 생성부(5c)는, 생성된 복수개의 축소된 화상 각각의 콘트라스트를 산출한 후, 이들 콘트라스트를 각 화상의 축소 비율에 대응시켜 확대하여 치수를 맞추어서 가산함으로써 제1 특징 맵 F1를 생성한다.

또한, 특징 맵 생성부(5c)는, 먼저, 축소 화상의 화상 데이터에 기초하여, 각 화소를 중심으로 하여 치수나 형상이 상이한 프레임을 복수개 생성한다. 그리고, 특징 맵 생성부(5c)는, 복수개의 프레임 내의 화상 영역끼리의 유사도의 지표로서, 히스토그램의 바타차리야 거리를 산출한 후, 상기 바타차리야 거리에 기초하여 각 화소를 구별하여 색을 입힘으로써 제2 특징 맵 F2를 생성한다. 그리고, 도 4에 나타내는 제2 특징 맵 F2에 있어서는, 히스토그램의 바타차리야 거리가 커질수록 희게 표시되어 있다. 여기서, 바타차리야 거리란, 2개의 확률 밀도 분포의 기하 평균을 모든 영역으로 적분하고, 차원을 확률로 되돌린 다음, 그 자기 정보량을 구하고, 이것을 거리로서 해석하는 거리 척도이다.

또한, 특징 맵 생성부(5c)는, 먼저, 축소 화상의 YUV 색 공간의 화상 데이터를 소정의 변환식에 따라 HSV 색 공간의 화상 데이터로 변환한 후, EM 알고리즘을 이용하여 혼합 가우스 분포로 표현한다. 그리고, 특징 맵 생성부(5c)는, 소정의 기준에 의해 그룹으로 분류된 복수개의 그룹(색의 덩어리, color clusters)에 대하여 분산치를 산출한 후, 상기 분산치에 기초하여 각 화소를 색을 입혀서 구별함으로써 제3 특징 맵 F3를 생성한다. 그리고, 도 4에 나타내는 제3 특징 맵 F3에 있어서는, 분산치가 작아질수록(색이 모여 있을수록) 희게 표시되어 있다.

그리고, 특징 맵으로서 제1∼제3 특징 맵 F1∼F3를 예시했지만, 이는 일례로서 이들로 한정되지 않고, 입력 화상의 각종 특징에 관한 것이면 어떤 특징 맵이라도 된다. 또한, 특징 맵의 수(종류)도 3개로 한정되지 않고, 복수개일 수 있다.

또한, 화상 처리부(5)는, 특징 맵 생성부(5c)에 의해 생성된 복수개의 특징 맵의 중요도를 부여하는 가중치 부여부(5d)를 구비하고 있다.

즉, 가중치 부여부(5d)는, 가중 계수 기억부로서, 제1∼제3 특징 맵 F1∼F3의 각각의 가중 계수 w1∼w3와 촬상 조건이 대응한 가중치 테이블 T1을 기억하고 있다.

가중치 테이블 T1은, 도 3에 나타낸 바와 같이, 피사체의 촬상 조건을 규정하는 복수개의 촬상 모드 「인물」, 「풍경」, 「풍경과 인물」, 「어린이」, 「스포츠」, 「캔들라이트」, 「파티」, 「애완동물」 각각에 대하여, 제1∼제3 특징 맵 F1∼F3의 각 가중 계수 w1∼w3와 대응시켜 기억하고 있다.

그리고, 가중치 테이블 T1은, 촬상 장치(100)와 외부 접속부(10)를 통하여 접속되는 외부 기기(200)(후술함)에 의한 가중치 테이블 작성 처리(후술함)에 의해 작성된 후, 촬상 장치(100)에 송신되어 가중치 부여부(5d)에 기억된 것이다.

그리고, 가중치 부여부(5d)는, 복수개의 촬상 모드 중, 사용자에 의한 조작 입력부(11)의 소정 조작에 기초하여 지정된 촬상 모드와 대응하고 있는 피사체의 촬상 조건에 따라, 제1∼제3 특징 맵 F1∼F3의 중요도를 부여한다. 구체적으로는, 가중치 부여부(5d)는, 가중 계수 w1∼w3에 따라 가중치가 부여된 제1∼제3 특징 맵 F1∼F3의 특징 분포를 통합하는 특징 분포 통합부(5e)를 구비하고 있다.

즉, 가중치 부여부(5d)는, 사용자에 의한 조작 입력부(11)의 소정 조작에 기초하여, 어느 하나의 촬상 모드가 지정되면, 상기 촬상 모드에 대응하는 제1∼제3 특징 맵 F1∼F3의 가중 계수 w1∼w3를 가중치 테이블 T1 내에서 특정한 후, 소정의 가중 계수(예를 들면, 가중 계수 w1 등)를 판독하여 취득한다. 그리고, 특징 분포 통합부(5e)는, 취득한 가중 계수 w1∼w3에 따라 제1∼제3 특징 맵 F1∼F3의 가중치 부여를 행하여, 통합 맵 T(x, y)를 생성한다. 구체적으로는, 특징 분포 통합부(5e)는, 하기 식 (1)에 따라, 제1∼제3 특징 맵 F1∼F3 각각의 특징 분포와 대응하는 각 가중 계수 w1∼w3를 곱하여 적분함으로써, 통합 맵 T(x, y)를 생성한다.

그리고, 「i」는, 제1∼제3 특징 맵 F1∼F3 및 가중 계수 w1∼w3를 지정하기 위한 인덱스이다. 또한, 통합 맵 T(x, y)는, 「0」∼「1」의 값으로 표시되고, 주요 피사체의 가능성이 높은 영역일수록, 「1」에 가까운 값을 취하며, 도 4에서는 「1」에 가깝게 될수록 희게 표시되어 있다.

여기서, 특징 분포 통합부(5e)는, 청구항 중의 통합부를 구성하고 있다.

그리고, 촬상 환경으로서, 피사체의 촬상 조건을 규정하는 촬상 모드 정보를 예시했지만, 이에 한정되지 않고, 피사체의 촬상 시에, 예를 들면, 화각 정보, 시각 정보, GPS 정보, 고도 정보 등의 촬상 환경이 촬상 환경 특정부(5b)에 의해 특정된 경우에는, 가중치 부여부(5d)는, 상기 촬상 환경에 따라 제1∼제3 특징 맵 F1∼F3의 가중치 부여를 행해도 된다.

또한, 가중치 테이블 T1으로서, 촬상 모드 정보와 제1∼제3 특징 맵 F1∼F3 각각의 가중 계수 w1∼w3가 대응한 것을 예시했지만, 이는 일례로서 이에 한정되지 않고, 다른 촬상 환경, 예를 들면, 화각 정보, 시각 정보, GPS 정보, 고도 정보 등과 제1∼제3 특징 맵 F1∼F3 각각의 가중 계수 w1∼w3를 대응시켜 기억한 것일 수도 있다.

또한, 도 3에 나타내는 가중치 테이블 T1의 가중 계수 w1∼w3의 각 수치는 일례로서 이에 한정되지 않고, 특정 영역의 검출 정밀도로 따라 적절하게 또한 임의로 변경할 수 있다.

여기서, 가중치 부여부(5d)는, 청구항 중의 가중치 부여부를 구성하고 있다.

또한, 화상 처리부(5)는, 특징 분포 통합부(5e)에 의해 생성된 통합 맵의 특징 분포에 기초하여, 입력 화상으로부터 특정 영역을 검출하는 특정 영역 검출부(5f)를 구비하고 있다.

특정 영역 검출부(5f)는, 통합 맵 T(x, y)에 기초하여, 소정의 임계치 이상의 값을 취하는 영역을 특정 영역으로서 검출한다. 구체적으로는, 특정 영역 검출부(5f)는, 통합 맵 T(x, y)를 화상 취득부(5a)에 의해 취득된 입력 화상의 원치수(original size)에 대응시키도록, 수평(x축) 및 수직(y축) 모두를 축소 비율에 대응하는 비율로 확대한다. 그 후, 특정 영역 검출부(5f)는, 확대된 통합 맵 T(x, y)의 특징 분포를 입력 화상에 적용하여, 소정의 임계치 이상의 값을 취하는 영역을 특정 영역으로서 검출한다.

기억부(6)는, 예를 들면, 불휘발성 메모리(플래시 메모리) 등에 의해 구성되며, 중앙 제어부(12)의 동작에 필요한 각종 프로그램이나 데이터(도시 생략)를 기억하고 있다.

또한, 기억부(6)에는, 피사체의 복수개의 촬상 모드의 설정에 관한 모드 테이블 T2가 저장되어 있다.

모드 테이블 T2는, 예를 들면, 노출 조건(셔터 속도나 조리개, 또는 증폭률 등)이나 화이트 밸런스 등의 피사체의 촬상 조건이 각각 규정된 복수개의 촬상 모드를 기억하고 있다.

촬상 모드로서는, 예를 들면, 피사체의 촬상 조건을 자동적으로 조정하는 「자동」, 주요 피사체를 인물로 하는 촬상에 적합한 촬상 조건으로 조정하는 「인물」과, 주요 피사체를 풍경으로 하는 촬상에 적합한 촬상 조건으로 조정하는 「풍경」과, 풍경과 인물의 촬상에 적합한 촬상 조건으로 조정하는 「풍경과 인물」과, 주요 피사체를 어린이로 하는 촬상에 적합한 촬상 조건으로 조정하는 「어린이」와, 스포츠의 촬상에 적합한 촬상 조건으로 조정하는 「스포츠」와, 캔들라이트의 불빛에서의 인물의 촬상에 적합한 촬상 조건으로 조정하는 「캔들라이트」와, 복수 인물이 존재하는 파티의 촬상에 적합한 촬상 조건으로 조정하는 「파티」와, 주요 피사체를 애완동물로 하는 촬상에 적합한 촬상 조건으로 조정하는 「애완동물」 등이 있다.

여기서, 기억부(6)는, 청구항 중의 기억부를 구성하고 있다.

표시 제어부(7)는, 메모리(4)에 일시적으로 기억되어 있는 표시용 화상 데이터를 판독하여 표시부(8)에 표시하게 하는 제어를 행한다.

구체적으로는, 표시 제어부(7)는, VRAM, VRAM 컨트롤러, 디지털 비디오 인코더 등을 구비하고 있다. 그리고, 디지털 비디오 인코더는, 중앙 제어부(12)의 제어 하에서 메모리(4)로부터 판독되어 VRAM(도시 생략)에 기억되어 있는 휘도 신호 Y 및 색차 신호 Cb, Cr을, VRAM 컨트롤러를 통하여 VRAM으로부터 정기적으로 판독하여, 이들 데이터를 기초로 비디오 신호를 발생하여 표시부(8)에 출력한다.

표시부(8)는, 예를 들면, 액정 표시 장치이며, 표시 제어부(7)로부터의 비디오 신호에 기초하여 전자 촬상부에 의해 촬상된 화상 등을 표시 화면에 표시한다. 구체적으로는, 표시부(8)는, 정지화상 촬상 모드나 동영상 촬상 모드에 의해, 촬상부(1)에 의한 피사체의 촬상에 의해 생성된 복수개의 화상 프레임을 소정의 프레임 레이트로 축차(逐次) 갱신하면서 라이브 뷰 화상을 표시한다. 또한, 표시부(8)는, 정지 화상으로서 기록되는 화상[렉뷰 화상(rec view image)]을 표시하거나, 동영상으로서 기록중인 화상을 표시한다.

기록 매체(9)는, 예를 들면, 불휘발성 메모리(플래시 메모리) 등에 의해 구성되며, 화상 처리부(5)의 부호화부(도시 생략)에 의해 소정의 압축 형식으로 부호화된 기록용 정지 화상 데이터나 복수개의 화상 프레임으로 이루어지는 동화상 데이터를 기억한다.

외부 접속부(10)는, 외부 기기(200)와 접속하기 위한 단자(예를 들면, USB 단자 등)를 구비하고, 소정의 통신 케이블(예를 들면, USB 케이블 등; 도시 생략)을 통하여 데이터의 송수신을 행한다.

구체적으로는, 외부 접속부(10)는, 외부 기기(200)에 의한 가중치 테이블 작성 처리(후술)에 의해 작성되고, 또한 외부 기기(200)로부터 송신된 가중치 테이블 T1을 수신한다.

조작 입력부(11)는, 촬상 장치(100)의 소정 조작을 행하기 위한 것이다. 구체적으로는, 조작 입력부(11)는, 피사체의 촬영 지시에 관한 셔터 버튼, 촬상 모드나 기능 등의 선택 지시에 관한 선택 결정 버튼, 줌 량의 조정 지시에 관한 줌 버튼 등을 구비하고(모두 도시 생략), 이들 버튼의 조작에 따라 소정의 조작 신호를 중앙 제어부(12)에 출력한다.

또한, 조작 입력부(11)의 선택 결정 버튼은, 사용자에 의한 메뉴 버튼의 소정 조작에 기초하여 표시부(8)에 표시된 모드 선택 화면에서, 예를 들면, 「자동」, 「인물」, 「풍경」, 「풍경과 인물」, 「어린이」, 「스포츠」, 「캔들라이트」, 「파티」, 「애완동물」 등의 복수개의 촬상 모드 중에서, 어느 하나의 촬상 모드의 설정 지시를 입력한다. 그리고, 상기 선택 결정 버튼의 조작에 따라 소정의 설정 신호를 중앙 제어부(12)에 출력한다.

중앙 제어부(12)는, 입력된 설정 신호에 따라 모드 테이블 T2에 기억되어 있는 복수개의 촬상 모드 중 사용자 원하는 촬상 모드를 설정한다.

여기서, 조작 입력부(11) 및 중앙 제어부(12)는, 복수개의 촬상 모드 중 어느 하나의 촬상 모드를 지정하는 모드 지정부를 구성하고 있다.

중앙 제어부(12)는, 촬상 장치(100)의 각 부를 제어한다. 구체적으로는, 중앙 제어부(12)는, CPU(도시 생략)를 구비하고, 촬상 장치(100)용의 각종 처리 프로그램(도시 생략)에 따라 각종 제어 동작을 행한다.

다음으로, 특정 영역 검출 처리에 대하여 도 3을 참조하여 설명한다.

도 3은, 특정 영역 검출 처리에 관한 동작의 일례를 나타낸 흐름도이다.

도 3에 나타낸 바와 같이, 화상 처리부(5)의 화상 취득부(5a)는, 예를 들면, 촬상부(1)에 의해 라이브 뷰 화상이나 기록용 화상을 촬상함으로써 화상 데이터 생성부(3)에 의해 생성된 처리 대상 화상의 화상 데이터(YUV 데이터)를 취득한다(단계 S1).

그리고, 촬상부(1)에 의한 라이브 뷰 화상이나 기록용 화상의 촬상 시에는, 복수개의 촬상 모드(예를 들면, 「인물」, 「풍경」, 「풍경과 인물」, 「어린이」, 「스포츠」, 「캔들라이트」, 「파티」, 「애완동물」 등) 중 어느 하나의 촬상 모드가 지정되어 있는 것으로 한다.

계속하여, 화상 처리부(5)의 특징 맵 생성부(5c)는, 화상 취득부(5a)에 의해 취득된 화상 데이터(YUV 데이터)에 기초하여, 수평(x축) 및 수직(y축) 모두를 소정의 비율로 축소한 축소 화상(예를 들면, VGA 사이즈의 화상)을 생성한 후(단계 S2), 예를 들면, 콘트라스트, 히스토그램의 바타차리야 거리, 각 색의 분산 정도를 이용한 제1∼제3 특징 맵 F1∼F3(도 4 참조)를 생성한다(단계 S3).

다음으로, 화상 처리부(5)의 촬상 환경 특정부(5b)는, 촬상부(1)에 의한 라이브 뷰 화상이나 기록용 화상의 촬상 시에 사용자에 의한 조작 입력부(11)의 소정 조작에 따라 지정된 촬상 모드(예를 들면, 촬상 모드 「애완동물」)에 기초하여, 상기 촬상 모드에 대응하는 피사체의 촬상 조건을 촬상 환경으로서 특정한다(단계 S4).

계속하여, 화상 처리부(5)의 가중치 부여부(5d)는, 촬상 환경 특정부(5b)에 의해 특정된 촬상 환경(촬상 모드)에 대응하는 제1∼제3 특징 맵 F1∼F3의 가중 계수 w1∼w3를 가중치 테이블 T1 내에서 특정하여 취득한다(단계 S5). 그리고, 특징 분포 통합부(5e)는, 취득한 가중 계수 w1∼w3에 따라 제1∼제3 특징 맵 F1∼F3의 가중치 부여를 행하여, 통합 맵 T(x, y)를 생성한다. 구체적으로는, 특징 분포 통합부(5e)는, 하기 식 (2)에 따라, 제1∼제3 특징 맵 F1∼F3 각각의 특징 분포와 대응하는 각 가중 계수 w1∼w3를 곱하여 적분함으로써, 통합 맵 T(x, y)를 생성한다(단계 S6).

그리고, 특정 영역 검출 처리에 있어서는, 제1∼제3 특징 맵 F1∼F3를 생성하는 처리(단계 S3)와, 촬상 환경을 특정하는 처리(단계 S4)의 순서는, 반대로 되어도 된다. 즉, 촬상 환경을 특정하는 처리를 먼저 행하고, 그 후, 제1∼제3 특징 맵 F1∼F3를 생성하는 처리를 행해도 된다.

다음으로, 특정 영역 검출부(5f)는, 통합 맵 T(x, y)를 화상 취득부(5a)에 의해 취득된 입력 화상의 원치수에 대응시키도록, 수평(x축) 및 수직(y축) 모두를 축소 비율에 대응하는 비율로 확대한 후, 확대된 통합 맵 T(x, y)의 특징 분포를 입력 화상에 적용하여, 소정의 임계치 이상의 값을 취하는 영역을 특정 영역으로서 검출한다(단계 S7). 그 후, 화상 처리부(5)는, 검출된 특정 영역을 메모리(4)에 출력하고(단계 S8), 특정 영역 검출 처리를 종료한다.

다음으로, 가중치 테이블 T1의 작성에 대하여 설명한다.

먼저, 가중치 테이블 작성 처리를 실행하는 외부 기기(200)의 구성에 대하여 도 5를 참조하여 설명한다.

도 5에 나타낸 바와 같이, 외부 기기(200)는, 가중치 결정부(201)와, 기억부(202)와, 메모리(203)와, 표시부(204)와, 외부 접속부(205)와, 조작 입력부(206)와, 중앙 제어부(207)를 구비하고 있다.

가중치 결정부(201)는, 가중치 테이블 작성 처리를 실행한다. 구체적으로는, 가중치 결정부(201)는, 촬상 환경 지정부(201a)와, 영역 지정부(201b)와, 가중 계수 특정부(201c)를 구비하고 있다.

촬상 환경 지정부(201a)는, 사용자에 의한 조작 입력부(206)의 소정 조작에 기초하여, 촬상 화상의 촬상 환경을 지정한다.

촬상 환경 지정부(201a)는, 기억부(202)에 기억되어 있는 복수장(예를 들면, 약 1000장)의 촬상 화상에 대하여, 1인 이상의 사용자 각각에 의한 조작 입력부(206)의 소정 조작에 기초하여 촬상 장치(100)의 촬상 모드와 대응하는 촬상 신을 선택 지시하고, 지시된 촬상 신 또는 상기 촬상 모드에 대응하는 피사체의 촬상 조건에 따라 라벨링한다. 구체적으로는, 촬상 환경 지정부(201a)는, 촬상 장치(100)의 촬상 모드와 대응하는, 예를 들면, 「인물」, 「풍경」, 「풍경과 인물」, 「어린이」, 「스포츠」, 「캔들라이트」, 「파티」, 「애완동물」 등의 촬상 신에 따른 화상 세트 1∼8[도 7의 (A) 및 도 7의 (B) 참조]로 복수장의 촬상 화상을 소팅한다. 이로써, 촬상 환경 지정부(201a)는, 복수장의 촬상 화상 각각의 촬상 환경을 지정한다.

그리고, 하나의 촬상 화상에 대하여, 복수 사용자에 의해 복수개의 상이한 촬상 신이 지시된 경우에는, 다수결이나 평균을 취함으로써 어느 하나의 촬상 신에 대응하도록 라벨링해도 되고, 지시된 복수개의 촬상 신 각각에 대응하도록 라벨링해도 된다.

여기서, 촬상 환경 지정부(201a) 및 조작 입력부(206)는, 촬상 화상의 촬상 환경을 지정하는 영역 지정부를 구성하고 있다.

영역 지정부(201b)는, 사용자에 의한 조작 입력부(206)의 소정 조작에 기초하여, 각 촬상 화상 내에서 사용자가 주목하는 주목 영역을 지정한다.

영역 지정부(201b)는, 각 화상 세트 내의 모든 촬상 화상에 대하여, 복수 사용자 각각에 의한 조작 입력부(206)의 소정 조작에 기초하여 주요 피사체 영역(주목 영역)을 지정하고, 지정된 복수개의 주목 영역을 평균함으로써 주목 영역으로서 정답 맵 Sj(x, y)를 생성한다. 구체적으로는, 영역 지정부(201b)는, 예를 들면, 화상 세트 8에 포함되는 어느 하나의 화상 j(예를 들면, 주요 피사체가 사슴인 화상)에 대하여, 복수 사용자 각각에 의한 조작 입력부(206)의 소정 조작에 기초하여 주요 피사체 영역을 지정한 후, 복수개의 주요 피사체 영역의 평균을 취함으로써 정답 맵 Sj(x, y)를 생성한 후, 화상 j(원화상)와 대응시켜 화상 세트 내에 저장한다(도 8 참조).

그리고, 정답 맵 Sj(x, y)는, 「0」∼「1」의 값으로 표시되고, 주요 피사체 영역으로서 동의한 인원수가 많을수록, 「1」에 가까운 값을 취하며, 도 8에 있어서는 「1」에 가까울수록 희게 표시되어 있다. 또한, 정답 맵 Sj(x, y)는, 원화상에 대하여 수평(x축) 및 수직(y축) 모두를 소정의 비율 비율로 축소한 치수[예를 들면, VGA 사이즈(x×y: 640×480 화소)]로 되어 있다. 또한, 「j」는, 사용자에 의해 처리 대상으로서 지정된 화상 세트(예를 들면, 화상 세트 8)에 포함되는 화상의 인덱스이다.

여기서, 영역 지정부(201b) 및 조작 입력부(206)는, 촬상 화상 내에서 사용자가 주목하는 주목 영역을 지정하는 영역 지정부를 구성하고 있다.

가중 계수 특정부(201c)는, 각 화상 세트에 대하여 제1∼제3 특징 맵 F1∼F3의 가중 계수 w1∼w3를 특정하는 것이며, 구체적으로는, 계수 변경부(201d)와, 가특정 영역 검출부(201e)를 가지고 있다.

계수 변경부(201d)는, 제1∼제3 특징 맵 F1∼F3의 가중 계수 w1∼w3를 여러 가지로 변경한다. 구체적으로는, 계수 변경부(201d)는, 가특정 영역 검출부(201e)에 의한 가통합 맵 Tjk(x, y)의 생성 시에, 제1∼제3 특징 맵 F1∼F3 각각의 가중 계수 w1∼w3를 규정하는 계수 결정용 테이블(도 9 참조)의 「k」의 값을 여러 가지로 변화시킨다.

그리고, 「k」는, w1∼w3의 다양한 조합을 지정하기 위한 인덱스이다.

가특정 영역 검출부(201e)는, 계수 변경부(201d)에 의해 변경 지정된 가중 계수 w1∼w3에 따라 가중치가 부여된 제1∼제3 특징 맵 F1∼F3의 특징 분포에 기초하여, 촬상 화상으로부터 가통합 맵 Tjk(x, y)를 생성한다.

구체적으로는, 가특정 영역 검출부(201e)는, 정답 맵 Sj(x, y)가 생성된 처리 대상 화상의 화상 데이터에 기초하여, 수평(x축) 및 수직(y축) 모두를 소정의 비율로 축소한 축소 화상[예를 들면, VGA 사이즈(x×y: 640×480 화소)의 화상]을 생성한 후, 예를 들면, 콘트라스트, 히스토그램의 바타차리야 거리, 각 색의 분산 정도(모인 정도) 등을 이용한 제1∼제3 특징 맵 F1∼F3를 생성한다. 그 후, 가특정 영역 검출부(201e)는, 하기 식 (3)에 따라, 계수 변경부(201d)에 의해 지정된 가중 계수 w1∼w3에 따라 제1∼제3 특징 맵 F1∼F3 각각의 특징 분포를 가중치 부여 연산함으로써, 가통합 맵 Tjk(x, y)를 생성한다.

여기서, 「i」는, 제1∼제3 특징 맵 F1∼F3 및 가중 계수 w1∼w3를 지정하기 위한 인덱스이다. 또한, 「j」는, 사용자에 의해 처리 대상으로서 지정된 화상 세트(예를 들면, 화상 세트 8)에 포함되는 화상의 인덱스이다. 또한, 「k」는, w1∼w3의 다양한 조합을 지정하기 위한 인덱스이다.

여기서, 가특정 영역 검출부(201e)는, 가중 계수 w1∼w3에 따라 가중치가 부여된 복수개의 특징 맵의 특징 분포에 기초하여, 촬상 화상으로부터 가특정 영역[가통합 맵 Tjk(x, y)]을 검출하는 가검출부를 구성하고 있다.

그리고, 가중 계수 특정부(201c)는, 각 화상 세트에 대하여 계수 변경부(201d)에 의해 변경된 가중 계수 w1∼w3에 따라, 가특정 영역 검출부(201e)에 의해 산출된 가통합 맵 Tjk(x, y)[도 10의 (B) 참조]와, 영역 지정부(201b)에 의해 지정된 정답 맵 Sj(x, y)[도 10의 (A) 참조]와의 면적의 중첩 정도를 일치도 Tk로서 하기 식 (4)에 따라 산출한다.

그리고, 일치도 Tk는, 「0」∼「1」의 값으로 표시되고, 가통합 맵 Tjk(x, y)와 정답 맵 Sj(x, y)와의 면적의 중첩 정도가 클수록, 「1」에 가까운 값을 취한다. 또한, 일치도 Tk의 산출에 관한 식 (3)은 일례로서 이에 한정되지 않고, 가통합 맵 Tjk(x, y)와 정답 맵 Sj(x, y)와의 일치도의 산출에 관한 식이면 적절하게 또한 임의로 변경할 수 있다.

그리고, 가중 계수 특정부(201c)는, 계수 변경부(201d)에 의해 변경 지정된 복수개의 가중 계수 w1∼w3에 따라 산출된 복수개의 일치도 Tk 중, 가장 높은 일치도 Tk를 특정한다. 가중 계수 특정부(201c)는, 상기 가장 높은 일치도 Tk의 산출에 관한 가중 계수 w1∼w3를, 촬상 환경 지정부(201a)에 의해 지정된 촬상 환경(예를 들면, 화상 세트 8에 대응하는 촬상 신 「애완동물」)에서의 제1∼제3 특징 맵 F1∼F3 각각의 가중 계수 w1∼w3의 조합으로서 특정한다.

또한, 가중 계수 특정부(201c)는, 전술한 처리를 모든 화상 세트의 가중 계수 w1∼w3에 대하여 행함으로써, 복수개의 화상 세트 각각에 대하여 제1∼제3 특징 맵 F1∼F3의 가중 계수 w1∼w3가 대응한 가중치 테이블 T1을 생성한다.

이와 같이, 가중 계수 특정부(201c)는, 촬상 환경 지정부(201a)에 의해 지정된 촬상 환경, 및 영역 지정부(201b)에 의해 지정된 주목 영역으로서의 정답 맵 Sj(x, y)에 기초하여, 복수개의 특징 맵 각각의 가중 계수 w1∼w3를 특정하는 특정부를 구성하고 있다.

기억부(202)는, 예를 들면, 불휘발성 메모리(플래시 메모리) 등에 의해 구성되며, 중앙 제어부(207)의 동작에 필요한 각종 프로그램이나 데이터(도시 생략)를 기억하고 있다.

또한, 기억부(202)에는, 가중치 테이블 작성 처리에 의해 작성된 가중치 테이블 T1(도 2 참조)이 저장되어 있다.

메모리(203)는, 예를 들면, DRAM 등에 의해 구성되며, 가중치 결정부(201)나 중앙 제어부(207) 등에 의해 처리되는 데이터 등을 일시적으로 기억한다.

표시부(204)는, 예를 들면, LCD(Liquid Crystal Display), CRT(Cathode Ray Tube) 등의 디스플레이로 구성되며, 중앙 제어부(207)의 제어 하에서 각종 정보를 표시 화면에 표시한다.

외부 접속부(205)는, 촬상 장치(100)와 접속하기 위한 단자(예를 들면, USB 단자 등)를 구비하고, 소정의 통신 케이블(예를 들면, USB 케이블 등; 도시 생략)을 통하여 데이터의 송수신을 행한다.

구체적으로는, 외부 접속부(205)는, 가중치 테이블 작성 처리에 의해 작성되고, 기억부(202)에 기억되어 있는 가중치 테이블 T1을 촬상 장치(100)에 송신한다.

조작 입력부(206)는, 예를 들면, 수치, 문자 등을 입력하기 위한 데이터 입력 키나, 데이터의 선택, 스크롤 조작 등을 행하기 위한 상하 좌우 이동 키나 각종 기능 키 등에 의해 구성되는 키보드나 마우스 등의 조작부를 구비하고, 이들 조작부의 조작에 따라 소정의 조작 신호를 중앙 제어부(207)에 출력한다.

중앙 제어부(207)는, 외부 기기(200)의 각 부를 제어한다. 구체적으로는, 중앙 제어부(207)는, CPU(도시 생략)를 구비하고, 외부 기기(200)용의 각종 처리 프로그램(도시 생략)에 따라 각종 제어 동작을 행한다.

다음으로, 가중치 결정부(201)에 의해 실행되는 가중치 테이블 작성 처리에 대하여 도 6∼도 10을 참조하여 설명한다.

도 6은, 가중치 테이블 작성 처리에 관한 동작의 일례를 나타낸 흐름도이다.

도 6에 나타낸 바와 같이, 먼저, 촬상 환경 지정부(201a)는, 기억부(202)에 기억되어 있는 복수장(예를 들면, 약 1000장)의 촬상 화상에 대하여, 복수 사용자 각각에 의한 조작 입력부(206)의 소정 조작에 기초하여 촬상 신을 선택 지시하고, 지시된 촬상 신에 따라 라벨링함으로써 복수장의 촬상 화상을 화상 세트 1∼8[도 7의 (A) 및 도 7의 (B) 참조]로 소팅한다(단계 S21).

다음으로, 영역 지정부(201b)는, 각 화상 세트(예를 들면, 화상 세트 8 등) 내의 모든 촬상 화상에 대하여, 복수 사용자 각각에 의한 조작 입력부(206)의 소정 조작에 기초하여 주요 피사체 영역(예를 들면, 주요 피사체로서 사슴인 화상 영역)을 지정하고(단계 S22), 지정된 복수개의 주목 영역을 평균함으로써 주목 영역으로서 정답 맵 Sj(x, y)를 생성한다(단계 S23; 도 8 참조).

다음으로, 가중 계수 특정부(201c)는, 복수개의 화상 세트 중에서 어느 하나의 화상 세트(예를 들면, 화상 세트 8)를 처리 대상으로서 지정한다(단계 S24).

계속하여, 가중 계수 특정부(201c)는, 처리 대상의 화상 세트 내에서 복수장의 촬상 화상 중에서 어느 하나의 촬상 화상을 지정한 후(단계 S25), 가특정 영역 검출부(201e)는, 계수 변경부(201d)에 의해 변경 지정된 복수개의 가중 계수 w1∼w3(도 9 참조) 각각에 따라 가중치가 부여된 제1∼제3 특징 맵 F1∼F3의 특징 분포에 기초하여, 촬상 화상으로부터 가통합 맵 Tjk(x, y) 각각을 하기 식 (5)에 따라 생성한다(단계 S26).

다음으로, 가중 계수 특정부(201c)는, 처리 대상의 화상 세트 내의 모든 촬상 화상에 대하여 가통합 맵 Tjk(x, y)를 생성하였는지의 여부를 판정하는 처리를 행한다(단계 S27). 여기서, 모든 촬상 화상에 대하여 가통합 맵 Tjk(x, y)를 생성하고 있지 않은 것으로 판정되면(단계 S27; NO), 처리 대상의 화상 세트 내에서 다음 촬상 화상을 지정한 후(단계 S28), 처리를 단계 S26로 이행한다.

단계 S26의 처리는, 단계 S27에서, 모든 촬상 화상에 대하여 가통합 맵 Tjk(x, y)를 생성했다고 판정될 때까지(단계 S27; YES), 반복적으로 행해진다.

그리고, 단계 S27에서, 모든 촬상 화상에 대하여 가통합 맵 Tjk(x, y)를 생성했다고 판정되면(단계 S27; YES), 가중 계수 특정부(201c)는, 처리 대상의 화상 세트에 대하여, 계수 변경부(201d)에 의해 변경된 가중 계수 w1∼w3에 따라 가통합 맵 Tjk(x, y)와 정답 맵 Sj(x, y)와의 일치도 Tk를 하기 식 (6)에 따라 산출한다[도 10의 (A) 및 도 10의 (B) 참조].

계속하여, 가중 계수 특정부(201c)는, 계수 변경부(201d)에 의해 변경 지정된 복수개의 가중 계수 w1∼w3에 따라 산출된 복수개의 일치도 Tk 중, 가장 높은 일치도 Tk를 특정한 후, 상기 가장 높은 일치도 Tk의 산출에 관한 가중 계수 w1∼w3를 상기 촬상 환경(예를 들면, 화상 세트 8에 대응하는 촬상 신 「애완동물」)에서의 제1∼제3 특징 맵 F1∼F3 각각의 가중 계수 w1∼w3의 조합으로서 특정한다(단계 S29). 그 후, 가중치 결정부(201)는, 특정된 제1∼제3 특징 맵 F1∼F3의 가중 계수 w1∼w3의 조합을 처리 대상의 화상 세트와 대응시켜 가중치 테이블 T1에 저장한다(단계 S30).

다음으로, 가중치 결정부(201)는, 복수개의 화상 세트 모두에 대하여 가중 계수 w1∼w3의 조합을 특정했는지의 여부를 판정하는 처리를 행한다(단계 S31). 여기서, 모든 화상 세트에 대하여 가중 계수 w1∼w3의 조합을 생성하고 있지 않은 것으로 판정되면(단계 S31; NO), 가중 계수 특정부(201c)가 복수개의 화상 세트 중 다음 화상 세트를 지정한 후(단계 S32), 가중치 결정부(201)는, 처리를 단계 S25로 이행하여, 그 이후의 처리를 실행한다.

단계 S25 이후의 처리는, 단계 S31에서, 모든 화상 세트에 대하여 가중 계수 w1∼w3의 조합을 생성했다고 판정될 때까지(단계 S31; YES), 반복적으로 행해진다.

이에 따라, 가중 계수 특정부(201c)는, 복수개의 화상 세트 각각에 대하여 제1∼제3 특징 맵 F1∼F3의 가중 계수 w1∼w3가 대응한 가중치 테이블 T1을 생성한다.

그리고, 단계 S31에서, 모든 화상 세트에 대하여 가중 계수 w1∼w3의 조합을 생성했다고 판정되면(단계 S31; YES), 가중치 테이블 작성 처리를 종료한다.

이상과 같이, 본 실시예의 촬상 장치(100)에 의하면, 종래와 같이 처리 대상 화상으로부터 추출할 영역의 특징의 종류에 대한 가중치가 고정되어 있지 않고, 처리 대상 화상의 촬상 환경을 특정하고, 상기 촬상 환경에 따라 복수개의 특징 맵의 중요도를 부여함으로써, 촬상 환경을 고려하여 복수개의 특징 맵의 가중치를 유연하게 변경할 수 있다. 그리고, 중요한 복수개의 특징 맵의 특징 분포를 통합하여 통합 맵을 생성하고, 상기 통합 맵에 기초하여 처리 대상 화상으로부터 특정 영역을 검출함으로써, 촬상 환경을 고려하여 사용자의 주목도가 높은 특정 영역의 검출을 적절하게 행할 수 있다.

또한, 촬상 모드와 촬상 조건이 대응되어 복수개 기억되어 있으므로, 복수개의 촬상 모드 중 지정된 어느 하나의 촬상 모드와 대응하고 있는 촬상 조건에 따라, 복수개의 특징 맵의 중요도를 부여할 수 있다. 즉, 촬상부(1)에 의한 라이브 뷰 화상이나 기록용 화상의 촬상 시에, 사용자에 의한 조작 입력부(11)의 소정 조작에 따라 촬상 모드(예를 들면, 촬상 모드 「애완동물」)가 지정되는 것만으로, 상기 촬상 모드에 대응하는 피사체의 촬상 조건을 촬상 환경으로서 특정하므로, 복수개의 특징 맵의 가중치 부여에 관한 촬상 환경을 적절하게 특정할 수 있다. 이에 따라, 촬상 환경을 고려한 복수개의 특징 맵의 가중치의 변경을 적절하게 행할 수 있다.

또한, 복수개의 특징 맵 각각의 가중 계수 w1∼w3와 촬상 조건이 대응되어 가중치 테이블 T1에 기억되어 있으므로, 촬상 환경 특정부(5b)에 의해 화상의 촬상 환경으로서 촬상 조건이 특정되는 것만으로, 상기 촬상 조건과 대응하고 있는 가중 계수 w1∼w3를 취득할 수 있고, 복수개의 특징 맵의 가중치 부여를 간편하면서도 신속하게 행할 수 있다.

그리고, 가중치 테이블 T1의 작성에 있어서는, 외부 기기(200)에 의해, 사용자에 의한 조작 입력부(206)의 소정 조작에 기초하여 촬상 화상의 촬상 환경 및 주요 피사체 영역(주목 영역)이 지정되는 것만으로, 이들 촬상 환경 및 주요 피사체 영역에 기초하여 복수개의 특징 맵 각각의 가중 계수 w1∼w3의 특정을 적절하게 행할 수 있다. 구체적으로는, 가중 계수 w1∼w3에 따라 가중치가 부여된 복수개의 특징 맵의 특징 분포에 기초하여, 촬상 화상으로부터 가통합 맵 Tjk(x, y)를 생성하고, 그리고, 주요 피사체 영역에 기초하여 생성된 정답 맵 Sj(x, y)와 가통합 맵 Tjk(x, y)와의 일치도 Tk가 가장 높아지는 가중 계수 w1∼w3의 조합을 결정함으로써, 복수개의 특징 맵 각각의 가중 계수 w1∼w3의 조합을 특정할 수 있다.

그리고, 본 발명은, 상기 실시예로 한정되지 않고, 본 발명의 취지를 벗어나지 않는 범위에 있어서, 각종 개량 및 설계의 변경을 행할 수도 있다.

예를 들면, 가중치 테이블 T1의 작성을 촬상 장치(100)와는 상이한 외부 기기(200)로 행하도록 했지만, 이에 한정되는 것은 아니다. 즉, 외부 기기(200)에 의해 가중치 테이블 T1을 작성하여, 가중치 테이블 T1을 촬상 장치(100)에 의해 사용하는 화상 처리 시스템을 예시했지만, 촬상 장치(100)나 외부 기기(200)의 구성은, 상기 실시예로 예시한 것은 일례이며, 이들 촬상 장치(100)와 외부 기기(200)의 모든 기능을 구비하는 하나의 화상 처리 장치일 수도 있다.

또한, 처리 대상 화상의 촬상은, 상기 촬상 장치(100)와는 상이한 촬상 장치에 의해 행하고, 이 촬상 장치로부터 전송된 처리 대상 화상의 화상 데이터를 취득하여, 특정 영역의 검출을 행하는 화상 처리 장치일 수도 있다.

여기에 더하여, 상기 실시예에 있어서는, 취득부, 생성부, 가중치 부여부, 검출부로서의 기능을, 중앙 제어부(12)의 제어 하에, 화상 처리부(5)의 화상 취득부(5a), 특징 맵 생성부(5c), 가중치 부여부(5d), 특정 영역 검출부(5f)가 구동함으로써 실현되는 구성으로 하였으나, 이에 한정되지 않고, 중앙 제어부(12)의 CPU에 의해 소정의 프로그램 등이 실행되는 것에 의해 실현되는 구성으로 해도 된다.

즉, 프로그램을 기억하는 프로그램 메모리(도시 생략)에, 취득 처리 루틴, 생성 처리 루틴, 촬상 환경 특정 처리 루틴, 가중치 부여 처리 루틴, 검출 처리 루틴을 포함하는 프로그램을 기억시켜 둔다. 그리고, 취득 처리 루틴에 의해 중앙 제어부(12)의 CPU를, 화상을 취득하는 취득부로서 기능하도록 해도 된다. 또한, 생성 처리 루틴에 의해 중앙 제어부(12)의 CPU를, 취득부에 의해 취득된 화상의 복수개의 특징 각각에 대하여 특징 맵을 생성하는 생성부로서 기능하도록 해도 된다. 또한, 촬상 환경 특정 처리 루틴에 의해 중앙 제어부(12)의 CPU를, 취득부에 의해 취득된 화상의 촬상 환경을 특정하는 촬상 환경 특정부로서 기능하도록 해도 된다. 또한, 가중치 부여 처리 루틴에 의해 중앙 제어부(12)의 CPU를, 촬상 환경 특정부에 의해 특정된 화상의 촬상 환경에 따라, 생성부에 의해 생성된 복수개의 특징 맵의 중요도를 부여하는 가중치 부여부로서 기능하도록 해도 된다. 또한, 검출 처리 루틴에 의해 중앙 제어부(12)의 CPU를, 가중치 부여부에 의해 중요한 복수개의 특징 맵의 특징 분포에 기초하여, 화상으로부터 특정 영역을 검출하는 검출부로서 기능하도록 해도 된다.

이상, 구체적인 실시예를 참조에 의해 나타내고, 또한 설명했으나, 다양한 형태와 상세한 설명에 따른 실시예는 첨부된 청구항에 의해 정의된 본 발명의 정신과 범위로부터 일탈하지 않는 범위 내에서 이루어진 것으로 이해되어야 할 것이다. 따라서, 본 발명의 정신과 범위를 일탈하지 않는 이러한 모든 변경과 개량은, 첨부된 청구항에서 커버한다.

Claims

화상을 취득하도록 구성된 취득부(unit);
상기 화상의 복수개의 특징 각각에 대응하는 특징 맵을 생성하도록 구성된 생성부(unit);
상기 화상의 촬상 환경을 특정하도록 구성된 촬상 환경 특정부(unit);
상기 촬상 환경에 따라, 상기 특징 맵의 가중치를 부여하도록 구성된 가중치 부여부(unit); 및
가중치가 부여된 상기 특징 맵의 특징 분포에 기초하여, 상기 화상으로부터 특정 영역(ROI)을 검출하도록 구성된 검출부(detector)
를 포함하는 화상 처리 장치.
제1항에 있어서,
상기 취득부는, 촬상 조건을 설정하도록 구성된 촬상부(unit)를 포함하고,
상기 촬상 환경 특정부는, 상기 촬상 조건에 기초하여 상기 촬상 환경을 특정하도록 구성되며,
상기 가중치 부여부는, 상기 촬상 조건에 따라 상기 특징 맵의 가중치를 부여하도록 구성된, 화상 처리 장치.
제2항에 있어서,
서로 관련된 복수개의 촬상 모드와 촬상 조건을 기억하도록 구성된 기억부(unit); 및
상기 복수개의 촬상 모드 중 1개를 지정하도록 구성된 모드 지정부(unit)
를 더 포함하고,
상기 촬상부는 지정된 상기 촬상 모드와 관련된 촬상 조건을 설정하도록 구성된, 화상 처리 장치.
제2항에 있어서,
서로 관련된 상기 특징 맵의 가중 계수와 촬상 조건을 기억하도록 구성된 가중 계수 기억부(unit)를 더 포함하고,
상기 가중치 부여부는, 설정된 상기 촬상 조건과 관련된 가중 계수를 판독하고, 판독된 상기 가중 계수를 사용하여 상기 특징 맵의 가중치를 부여하도록 구성된, 화상 처리 장치.
제1항에 있어서,
가중치가 부여된 상기 특징 맵의 특징 분포를 통합하도록 구성된 통합부(unit)를 더 포함하고,
상기 검출부는, 통합된 상기 특징 분포에 기초하여, 상기 화상으로부터 특정 영역을 검출하도록 구성된, 화상 처리 장치.
화상 처리 방법으로서,
(a) 화상을 취득하고,
(b) 상기 화상의 복수개의 특징 각각에 대응하는 특징 맵을 생성하고,
(c) 상기 화상의 촬상 환경을 특정하고,
(d) 상기 촬상 환경에 따라, 상기 특징 맵의 가중치를 부여하고,
(e) 가중치가 부여된 상기 특징 맵의 특징 분포에 기초하여, 상기 화상으로부터 특정 영역(ROI)을 검출하는
단계를 포함하는 화상 처리 방법.
(a) 화상을 취득하고,
(b) 상기 화상의 복수개의 특징의 각각에 대응하는 특징 맵을 생성하고,
(c) 상기 화상의 촬상 환경을 특정하고,
(d) 상기 촬상 환경에 따라, 상기 특징 맵의 가중치를 부여하고,
(e) 가중치가 부여된 상기 특징 맵의 특징 분포에 기초하여, 상기 화상으로부터 특정 영역(ROI)을 검출하는
동작을 컴퓨터에 실행시키기 위한 프로그램을 기억하는, 컴퓨터로 판독 가능한 매체.