KR101677315B1 - 화상 처리 장치 및 방법과 컴퓨터 판독가능 기록 매체 - Google Patents

화상 처리 장치 및 방법과 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101677315B1
KR101677315B1 KR1020127024675A KR20127024675A KR101677315B1 KR 101677315 B1 KR101677315 B1 KR 101677315B1 KR 1020127024675 A KR1020127024675 A KR 1020127024675A KR 20127024675 A KR20127024675 A KR 20127024675A KR 101677315 B1 KR101677315 B1 KR 101677315B1
Authority
KR
South Korea
Prior art keywords
area
subject
image
frame
unit
Prior art date
Application number
KR1020127024675A
Other languages
English (en)
Other versions
KR20130009788A (ko
Inventor
마사야 기노시타
유타카 요네다
다카시 가메야
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130009788A publication Critical patent/KR20130009788A/ko
Application granted granted Critical
Publication of KR101677315B1 publication Critical patent/KR101677315B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

화상 처리 장치, 방법 및 비일시적 컴퓨터 프로그램 기억 장치는 연속적인 화상을 처리하기 위해 협동한다. 각각의 프레임들은 연속적인 화상내에 생성되고 위치하며, 각 프레임은 경계를 가지고 있다. 프레임 경계간의 변화가 검출될 때, 제어기는 화상의 촬상을 트리거링한다. 본 방법은 피사체가 인물 피사체가 아니라고 할지라도, 주목 순간을 촬상하게 된다. 프레임 경계의 변화는 예를 들어, 종횡비, 형상, 방향 및 위치의 변화를 포함하는, 다양한 방식으로 분류될 수 있다. 이러한 방식으로 변화를 검출함으로써, 촬상 장치는 자동적으로 주목 이벤트의 화상을 촬상할 수 있다.

Description

화상 처리 장치 및 방법과 컴퓨터 판독가능 기록 매체{IMAGE PROCESSING APPARATUS, METHOD, AND COMPUTER PROGRAM STORAGE DEVICE}
본 발명은 화상 처리 장치 및 방법과 컴퓨터 프로그램 기억 장치에 관한 것이다. 본 발명은 특히, 베스트 샷 화상을 구할 수 있는 화상 처리 장치 및 방법과 컴퓨터 프로그램 기억 장치에 관한 것이다.
최근, 디지털 스틸 카메라 등의 촬상 장치에서, 피사체인 사람의 얼굴을 검출하고, 그 얼굴의 표정을 검출하는 표정 검출 기능을 구비한 기술이 제안되고 있다. 이 표정 검출 기능이 피사체의 얼굴 표정이 웃는 얼굴인 것을 검출했을 때에, 자동적으로 촬상 화상이 기록된다(특허 문헌 1 참조).
일본 특허 제4197019호 공보
그러나, 본 발명자들에 의해 인식된 바와 같이, 특허 문헌 1에 개시된 기술에서는, 셔터의 트리거는 얼굴의 표정뿐이며, 얼굴 이외의 피사체의 상태의 변화, 예를 들어, 달리고 있는 사람이 넘어졌을 때의 순간이나, 계속해서 움직이는 아이가 멈춘 순간 등을 자동적으로 촬상 화상으로서 기록할 수는 없었다. 또한, 특허 문헌 1에 개시된 기술은 사람 이외의 표정을 갖지 않는 피사체에는 적용할 수 없다.
본 발명은 이러한 상황에 감안해서 이루어진 것이며, 특히, 본 발명은 보다 확실하게 베스트 샷 화상을 얻도록 하는 것이다.
예를 들면, 본 발명의 제1 실시 형태에 따른 예시적인 화상 처리 장치는,
제1 화상내에 위치한 제1 프레임 경계와 제2 화상내에 위치한 제2 프레임 경계를 결정하도록 구성된 프로세서 -상기 제1 화상과 상기 제2 화상은 시간적으로 연속된 화상임- ; 및
상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화를 검출하도록 구성된 제어기를 포함한다.
화상 처리 장치는 셔터, 및 상기 제어기가 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화를 검출하는 것에 응답하여 상기 셔터를 작동시켜서 이미지 센서로 화상을 촬상하도록 구성된 셔터 트리거링 메카니즘을 선택적으로 포함한다. 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화는
종횡비의 변화,
형상의 변화, 및
위치의 변화
중 적어도 하나일 수 있다. 또한, 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화는 상기 제1 프레임 경계와 상기 제2 프레임 경계내에서의 피사체의 움직임, 및 상기 피사체의 특징 변화 중 하나에 응답하여 발생한다.
상기 셔터 트리거링 메카니즘은 상기 셔터가 작동되지 않는 선정된 시간 이후에 상기 셔터가 작동되도록 구성될 수도 있다.
예시적인 화상 처리 장치는 동화상내의 제1 화상 및 제2 화상을 처리할 수 있으며, 이 동화상은 디지털 스틸 카메라와 디지털 비디오 레코더 중 적어도 하나의 뷰파인더로 촬상된 화상을 포함하고; 제1 프레임 경계 및 제2 프레임 경계는 뷰파인더내에서 볼 수 있다.
또한, 상기 프로세서는 상기 제1 프레임 경계내에 위치한 제1 소형 프레임과, 상기 제2 프레임 경계내에 위치한 제2 소형 프레임을 결정하도록 구성되고,
상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화는 상기 제1 프레임 경계에 대한 상기 제1 소형 프레임의 영역의 비와 상기 제2 프레임 경계에 대한 상기 제2 소형 프레임의 영역의 비가 선정된 기준을 만족할 때 상기 제어기에 의해 검출된다.
본 발명의 다른 예시적인 실시 형태는
프로세서로 제1 화상내에 위치한 제1 프레임 경계와 제2 화상내에 위치한 제2 프레임 경계를 결정하는 단계 -상기 제1 화상과 상기 제2 화상은 시간적으로 연속된 화상임- ; 및
상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화를 검출하는 단계를 포함하는 방법이다.
본 방법은 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화를 검출하는 것에 응답하여 상기 셔터를 작동시켜서 이미지 센서로 화상을 촬상한다. 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화는
종횡비의 변화,
형상의 변화, 및
위치의 변화
중 적어도 하나이다. 또한, 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화는 상기 제1 프레임 경계와 상기 제2 프레임 경계내에서의 피사체의 움직임, 및 상기 피사체의 특징 변화 중 하나에 응답하여 발생한다.
셔터는 셔터가 작동되지 않는 선정된 시간 이후에 작동될 수도 있다.
본 방법은 또한 디지털 스틸 카메라와 디지털 비디오 레코더 중 적어도 하나의 뷰파인더로 화상을 촬상하는 단계; 및
상기 뷰파인더내에 상기 제1 프레임 경계와 상기 제2 프레임 경계를 제공하는 단계를 포함할 수 있다.
선택적으로, 본 방법은 상기 제1 프레임 경계내에 위치한 제1 소형 프레임과, 상기 제2 프레임 경계내에 위치한 제2 소형 프레임을 결정할 수 있으며, 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화는 상기 제1 프레임 경계에 대한 상기 제1 소형 프레임의 영역의 비와 상기 제2 프레임 경계에 대한 상기 제2 소형 프레임의 영역의 비가 선정된 기준을 만족할 때 검출된다.
본 발명의 다른 예시적인 실시 형태는 프로세서에 의해 실행될 때 하기 방법을 수행하는 명령을 구비한 비일시적 컴퓨터 판독가능한 기억 장치로서, 상기 방법은, 프로세서로 제1 화상내에 위치한 제1 프레임 경계와 제2 화상내에 위치한 제2 프레임 경계를 결정하는 단계 -상기 제1 화상과 상기 제2 화상은 시간적으로 연속된 화상임- ; 및
상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화를 검출하는 단계를 포함한다.
비일시적 컴퓨터 판독가능한 기억 장치는 또한 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화를 검출하는 것에 응답하여 셔터를 작동시켜서 이미지 센서로 화상을 촬상할 수 있으며,
상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화는
종횡비의 변화,
형상의 변화, 및
위치의 변화
중 적어도 하나이다. 화상은 제1 프레임 경계와 제2 프레임 경계가 뷰파인더내에 제공되는 디지털 스틸 카메라와 디지털 비디오 레코더 중 적어도 하나의 뷰파인더로 촬상될 수 있다.
사용될 수 있는 다른 특징은 제1 화상내에 위치한 제1 소형 프레임과, 제2 화상내에 위치한 제2 소형 프레임의 결정이며, 검출하는 단계는 제1 프레임 경계에 대한 제1 소형 프레임의 영역의 비와 제2 프레임 경계에 대한 제2 소형 프레임의 영역의 비가 선정된 기준을 만족할 때, 상기 제1 프레임 경계와 상기 제2 프레임 경계간의 변화를 검출하는 단계를 포함한다.
도 1은 본 발명의 일 실시 형태에 따른 화상 처리 장치의 구성예를 도시하는 블록도.
도 2는 피사체 추종부의 구성예를 도시하는 블록도.
도 3은 피사체 맵 생성부의 구성예를 도시하는 블록도.
도 4는 피사체 후보 영역 직사각형화부의 구성예를 도시하는 블록도.
도 5는 피사체 영역 선택부의 구성예를 도시하는 블록도.
도 6은 피사체 추종 처리에 대해서 설명하는 플로우차트.
도 7은 피사체 맵 생성 처리에 대해서 설명하는 플로우차트.
도 8은 피사체 맵 생성 처리의 구체예를 도시하는 도면.
도 9는 피사체 후보 영역 직사각형화 처리에 대해서 설명하는 플로우차트.
도 10은 피사체 후보 영역 직사각형화 처리의 구체예를 도시하는 도면.
도 11은 피사체 영역 선택 처리에 대해서 설명하는 플로우차트.
도 12는 대역 특징량 맵의 피사체 영역 특징량의 합에 대해서 설명하는 도면.
도 13은 가중치 계수에 대해서 설명하는 도면.
도 14는 제어부의 기능 구성예를 도시하는 블록도.
도 15는 자동 셔터 처리에 대해서 설명하는 플로우차트.
도 16은 피사체 영역의 종횡비의 변화에 대해서 설명하는 도면.
도 17은 제어부의 다른 기능 구성예를 도시하는 블록도.
도 18은 자동 셔터 처리에 대해서 설명하는 플로우차트.
도 19는 제어부의 또 다른 기능 구성예를 도시하는 블록도.
도 20은 자동 셔터 처리에 대해서 설명하는 플로우차트.
도 21은 소정 영역 내에서의 피사체 영역의 종횡비의 변화에 대해서 설명하는 도면.
도 22는 화상 처리 장치의 다른 구성예를 도시하는 블록도.
도 23은 도 22의 제어부의 기능 구성예를 도시하는 블록도.
도 24는 자동 셔터 처리에 대해서 설명하는 플로우차트.
도 25는 피사체 영역과 얼굴 영역의 비의 변화에 대해서 설명하는 도면.
도 26은 제어부의 다른 기능 구성예를 도시하는 블록도.
도 27은 자동 셔터 처리에 대해서 설명하는 플로우차트.
도 28은 피사체 영역과 얼굴 영역의 비의 변화에 대해서 설명하는 도면.
도 29는 화상 처리 장치의 또 다른 구성예를 도시하는 블록도.
도 30은 도 29의 제어부의 기능 구성예를 도시하는 블록도.
도 31은 프레임 특정 처리에 대해서 설명하는 플로우차트.
도 32는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도.
이하, 본 발명의 실시 형태에 대해서 도면을 참조해서 설명한다.
(화상 처리 장치의 구성예)
도 1은 본 발명의 실시 형태에 따른 화상 처리 장치(11)의 구성예를 도시하는 도면이다.
화상 처리 장치(11)는 예를 들어, 움직임이 있는 피사체를 촬상하는 디지털 비디오 카메라나, 디지털 스틸 카메라 등의 촬상 장치에 구비된다.
화상 처리 장치(11)는 광학계(31), 이미저(32), 디지털 신호 처리부(33), 표시부(34), 제어부(35), 렌즈 구동부(36), 인터페이스 제어부(37), 및 유저 인터페이스(38)를 포함한다.
광학계(31)는 촬상 렌즈(도면에 도시되지 않음)를 포함하는 광학계로서 구성된다. 광학계(31)에 입사한 광은 CCD(Charge Coupled Device) 등의 촬상 소자로 구성되는 이미저(32)에 의해 광전 변환된다. 이미저(32)에 의해 광전 변환된 전기 신호(아날로그 신호)는 A/D(Analog to Digital) 변환부(도면에 도시되지 않음)에 의해 디지털 신호의 화상 데이터로 변환되어, 이 화상 데이터는 디지털 신호 처리부(33)에 공급된다.
디지털 신호 처리부(33)는 이미저(32)로부터 공급된 화상 데이터에 대해 소정의 신호 처리를 실시한다. 디지털 신호 처리부(33)는 전처리부(51), 디모자이크 처리부(52), YC 생성부(53), 해상도 변환부(54), 피사체 추종부(55), 및 CODEC(56)을 포함한다.
전처리부(51)는 전처리로서, 이미저(32)로부터의 화상 데이터에 대하여, R, G, B의 흑 레벨을 소정의 레벨로 클램프하는 클램프 처리나, R, G, B의 색 채널간의 보정 처리 등을 실시한다. 디모자이크 처리부(52)는 전처리부(51)에 의해 전처리된 화상 데이터에 대하여, 화상 데이터의 각 화소가 R, G, B 모든 색 성분을 갖도록, 화소의 색 성분을 보완하는 디모자이크 처리를 실시한다.
YC 생성부(53)는 디모자이크 처리부(52)에 의해 디모자이크 처리된, R, G, B의 화상 데이터로부터, 휘도(Y) 신호 및 색(C) 신호를 생성(분리)한다. 해상도 변환부(54)는 YC 생성부(53)에서 처리된 화상 데이터에 대하여, 해상도 변환 처리를 실행한다.
피사체 추종부(55)는 피사체 추종 처리를 실행한다. 이 피사체 추종 처리는 YC 생성부(53)에 의해 생성된 휘도 신호 및 색신호로 이루어지는 화상 데이터를 기초로, 화상 데이터에 대응하는 입력 화상에서의 피사체를 검출하고, 그 피사체를 추종한다.
여기서, 피사체의 검출은 유저가 입력 화상을 흘끗 본 경우에, 유저가 주목한다고 추정되는 입력 화상의 물체, 즉 유저가 보고 있다고 추정되는 물체가 피사체인 것으로 해서 행해진다. 따라서, 피사체는 반드시 인물에 한정되는 것은 아니다.
피사체 추종부(55)는 피사체 추종 처리의 결과로서 얻어진 피사체 프레임에 관한 데이터를 제어부(35)에 공급한다. 피사체 프레임은 입력 화상에서의 영역을 나타내며, 이 영역은 피사체를 포함한다. 피사체 추종부(55)의 상세에 대해서는 도 2를 참조해서 후술할 것이라는 것에 유의하라.
CODEC(56)은 YC 생성부(53) 또는 해상도 변환부(54)에서 생성된 화상 데이터나, DRAM(40)에 기록된 화상 데이터를 필요에 따라서 부호화한다. 또한, CODEC(56)은 부호화된 화상 데이터를 기록 미디어(도면에 도시되지 않음)에 기록하거나, 부호화된 화상 데이터를 복호한다. CODEC(56)에 의해 복호된 화상 데이터 또는 해상도 변환부(54)에 의해 얻어진 화상 데이터는 표시부(34)에 공급되어 표시된다. 표시부(34)는 예를 들어, 액정 디스플레이로 형성된다. 표시부(34)는 제어부(35)의 제어에 따라서 디지털 신호 처리부(33)로부터 공급된 화상 데이터에 대응하는 입력 화상을 표시한다.
제어부(35)는 인터페이스 제어부(37)로부터 공급되는 제어 신호에 따라 화상 처리 장치(11)의 각 부를 제어한다.
예를 들어, 제어부(35)는 디지털 신호 처리부(33)에, 각종 신호 처리에 사용되는 파라미터 등을 공급한다. 또한, 제어부(35)는 디지털 신호 처리부(33)로부터의 각종 신호 처리의 결과로서 얻어진 데이터를 취득하여, 그 데이터를 인터페이스 제어부(37)에 공급한다.
또한, 제어부(35)는 피사체 추종부(55)로부터 공급된 피사체 프레임에 관한 데이터에 기초하여, 표시부(34)에 표시된 입력 화상 상에 피사체 프레임을 표시시킨다. 이 피사체 프레임은 입력 화상에서의 피사체가 포함되는 영역을 나타낸다.
또한, 제어부(35)는 광학계(31)를 구성하는 촬상 렌즈를 구동시키고, 조리개 등을 조절하기 위한 제어 신호를 렌즈 구동부(36)에 공급한다. 또한, 제어부(35)는 이미저(32)에 의한 입력 화상의 촬상을 제어한다.
유저 인터페이스(38)는 유저가 화상 처리 장치(11)에 대한 지시를 입력할 때에 조작되는 버튼, 레버, 스위치, 마이크로폰 등의 입력 장치를 포함한다. 또한, 사용자 인터페이스(38)는 유저에 대하여 정보를 제시하는 램프나 스피커 등의 출력 장치를 포함한다.
예를 들어, 유저 인터페이스(38)는 유저 인터페이스(38)로서의 버튼이 조작되면, 그 조작에 따른 제어 신호를 인터페이스 제어부(37)를 통해서 제어부(35)에 공급한다.
(피사체 추종부의 구성예)
다음으로, 도 2를 참조하여, 도 1에 나타낸 피사체 추종부(55)의 구성예에 대해서 설명한다.
도 2에 나타낸 피사체 추종부(55)는 피사체 맵 생성부(71), 피사체 후보 영역 직사각형화부(72), 피사체 영역 선택부(73) 및 가중치 계수 산출부(74)를 포함한다.
피사체 맵 생성부(71)는 입력 화상이 갖는 휘도나 색 등의 특징마다, 입력 화상의 소정 프레임의 소정 영역에서의 특징량을 나타내는 특징량 맵을 생성하여, 이 생성된 특징량 맵을 가중치 계수 산출부(74)에 공급한다. 또한, 피사체 맵 생성부(71)는 생성한 특징량 맵과 가중치 계수 산출부(74)로부터 공급되는 특징량마다의 가중치 계수에 기초하여, 입력 화상에서의 피사체의 영역다움을 나타내는 피사체 맵을 생성한다.
보다 구체적으로는, 피사체 맵 생성부(71)는 특징마다의 특징량 맵의 각 영역의 정보(특징량)를 가중치 부여 가산함으로써, 피사체 맵을 생성한다. 이 가중치 부여는 동일한 위치에 있는 영역마다 행해진다. 피사체 맵 생성부(71)는 생성한 피사체 맵을 피사체 후보 영역 직사각형화부(72)에 공급한다.
각 특징량 맵에서, 보다 정보량이 많은 영역, 즉 특징량이 많은 영역에 대응하는 입력 화상상의 영역은, 피사체가 포함될 가능성이 보다 높은 영역이라는 것에 유의하라. 따라서, 각 특징량 맵에 기초하여, 입력 화상에서의 피사체가 포함되는 영역을 특정할 수 있다.
피사체 후보 영역 직사각형화부(72)는 피사체 맵 생성부(71)로부터 공급된 피사체 맵에서, 피사체의 후보로 되는 영역, 즉, 피사체 맵에서의 정보량이 많은 영역을 포함하는 직사각형 영역을 구하고, 그 직사각형 영역의 좌표를 나타내는 좌표 정보를 피사체 영역 선택부(73)에 공급한다. 또한, 피사체 후보 영역 직사각형화부(72)는 피사체 맵 상에서 좌표 정보에 의해 표시된 직사각형 영역에 관한 정보(이하, 영역 정보라고 함)를 산출하고, 이 영역 정보를 좌표 정보에 대응시켜서, 피사체 영역 선택부(73)에 공급한다.
피사체 영역 선택부(73)는, 추종 대상으로 되는, 주목해야 할 피사체가 포함되는 직사각형 영역인 피사체 영역을 피사체 후보 영역 직사각형화부(72)로부터 공급된 영역 정보에 기초하여 직사각형 영역 중에서 선택한다. 다음으로, 피사체 영역 선택부(73)는 피사체 영역의 좌표 정보를 제어부(35)(도 1 참조) 및 가중치 계수 산출부(74)에 공급한다.
가중치 계수 산출부(74)는 피사체 맵 생성부(71)로부터 공급된 소정 프레임의 각 특징량 맵 상의, 피사체 영역에 대응하는 영역에서의 특징량 중, 상대적으로 큰 특징량에 대응하는 다음 프레임의 특징량 맵을 가중치 부여하는 가중치 계수를 산출한다. 다음으로, 가중치 계수 산출부(74)는 산출된 가중치 계수를 피사체 맵 생성부(71)에 공급한다.
이와 같은 구성에 의해, 피사체 추종부(55)는 입력 화상의 프레임마다, 피사체 영역을 나타내는 피사체 프레임을 구할 수 있다.
(피사체 맵 생성부의 구성예)
다음으로, 도 3을 참조하여, 도 2에 나타낸 피사체 맵 생성부(71)의 구성예에 대해서 설명한다.
도 3에 나타낸 바와 같이, 피사체 맵 생성부(71)는 특징량 맵 생성부(111), 대역 특징량 맵 생성부(112), 대역 특징량 맵 합성부(113) 및 합성 특징량 맵 합성부(114)를 포함한다.
특징량 맵 생성부(111)는 입력 화상의 소정 프레임으로부터, 휘도나 색과 같은 특징에 관한 정보(특징량)를 나타내는 특징량 맵을 특징량마다 생성하여, 이 생성된 특징량 맵을 대역 특징량 맵 생성부(112)에 공급한다.
대역 특징량 맵 생성부(112)는 특징량 맵 생성부(111)로부터 공급된 각 특징량 맵에서의 특징량으로부터, 소정의 대역 성분의 특징량을 소정의 횟수만큼 추출하고, 추출한 각각의 특징량을 나타내는 대역 특징량 맵을 생성한다. 다음으로, 대역 특징량 맵 생성부(112)는 생성된 대역 특징량 맵을 가중치 계수 산출부(74) 및 대역 특징량 맵 합성부(113)에 공급한다.
대역 특징량 맵 합성부(113)는 대역 특징량 맵 생성부(112)로부터 공급된 대역 특징량 맵을 가중치 계수 산출부(74)로부터 공급된 가중치 계수에 기초하여 특징량마다 합성함으로써, 합성된 특징량 맵을 생성한다. 다음으로, 대역 특징량 맵 합성부(113)는 합성된 특징량 맵을 가중치 계수 산출부(74) 및 합성 특징량 맵 합성부(114)에 공급한다.
합성 특징량 맵 합성부(114)는 대역 특징량 맵 합성부(113)로부터 공급된 합성 특징량 맵을 가중치 계수 산출부(74)로부터 공급된 가중치 계수에 기초하여 합성함으로써, 피사체 맵을 생성한다. 다음으로, 합성 특징량 맵 합성부(114)는 피사체 맵을 피사체 후보 영역 직사각형화부(72)(도 2 참조)에 공급한다.
이하에서는, 상술한 대역 특징량 맵 및 합성 특징량 맵을 간단히 특징량 맵이라고도 한다.
(피사체 후보 영역 직사각형화부의 구성예)
다음으로, 도 4를 참조하여, 도 2에 나타낸 피사체 후보 영역 직사각형화부(72)의 구성예에 대해서 설명한다.
도 4에 나타낸 바와 같이, 피사체 후보 영역 직사각형화부(72)는 2치화 처리부(131), 라벨링 처리부(132), 직사각형 영역 좌표 산출부(133), 및 영역 정보 산출부(134)를 포함한다.
2치화 처리부(131)는 피사체 맵 생성부(71)로부터 공급된 피사체 맵에서의, 입력 화상의 각 화소에 대응하는 정보를 소정의 임계값에 기초하여 0 또는 1 중 어느 하나의 값으로 2치화하여, 그 값을 라벨링 처리부(132)에 공급한다. 이하에서는, 피사체 맵에서의, 입력 화상의 각 화소에 대응하는 정보를 간단히 화소라고도 한다.
라벨링 처리부(132)는 2치화 처리부(131)로부터 공급된 2치화된 피사체 맵에서, 값이 1인 화소가 인접하는 영역(이하, 영역은 연결 영역이라고 함)에 대하여 라벨링하여, 라벨링된 연결 영역을 갖는 피사체 맵을 직사각형 영역 좌표 산출부(133)에 공급한다.
직사각형 영역 좌표 산출부(133)는 라벨링 처리부(132)로부터 공급된 연결 영역이 라벨링된 피사체 맵에서, 연결 영역을 포함하는(둘러싸는) 직사각형 영역의 좌표를 산출한다. 다음으로, 직사각형 영역 좌표 산출부(133)는 좌표를 나타내는 좌표 정보를 피사체 맵과 함께 영역 정보 산출부(134)에 공급한다.
영역 정보 산출부(134)는 직사각형 영역 좌표 산출부(133)로부터 공급된 피사체 맵 상에서 좌표 정보에 의해 표시된 직사각형 영역에 관한 정보인 영역 정보를 산출한다. 다음으로, 영역 정보 산출부(134)는 영역 정보를 좌표 정보에 대응시키서, 이를 피사체 영역 선택부(73)(도 1 참조)에 공급한다.
(피사체 영역 선택부의 구성예)
다음으로, 도 5를 참조하여, 피사체 영역 선택부(73)의 구성예에 대해서 설명한다.
도 5에 나타낸 바와 같이, 피사체 영역 선택부(73)는 영역 정보 비교부(151) 및 피사체 영역 결정부(152)를 포함한다.
영역 정보 비교부(151)는 피사체 후보 영역 직사각형화부(72)로부터 공급된 각각의 직사각형 영역의 영역 정보와 영역 정보 기억부(153)에 기억되어 있는 1 프레임 전의 피사체 영역(예를 들면, 시간적으로 연속된 화상들)의 영역 정보를 비교하여, 비교 결과를 피사체 영역 결정부(152)에 공급한다.
피사체 영역 결정부(152)는 영역 정보 비교부(151)로부터 공급된 비교 결과에 기초하여, 1 프레임 전의 피사체 영역의 영역 정보에 가장 가까운 영역 정보에 대응지어져 있는 좌표 정보로 표시되는 직사각형 영역을 피사체 영역으로 결정한다. 피사체 영역 결정부(152)는 결정한 피사체 영역의 좌표 정보를 제어부(35)(도 1 참조) 및 가중치 계수 산출부(74)(도 2 참조)에 공급한다. 이와 동시에, 피사체 영역 결정부(152)는 피사체 영역의 영역 정보를 영역 정보 기억부(153)에 공급한다.
영역 정보 기억부(153)는 피사체 영역 결정부(152)로부터 공급된 피사체 영역의 영역 정보를 기억한다. 영역 정보 기억부(153)에 기억된 피사체 영역의 영역 정보는 1 프레임 후에, 영역 정보 비교부(151)에 의해 판독된다.
(피사체 추종 처리)
이하에서는, 화상 처리 장치(11)의 피사체 추종 처리에 대해서 설명한다.
도 6은 화상 처리 장치(11)에 의해 수행되는 피사체 추종 처리에 대해서 설명하는 플로우차트이다. 피사체 추종 처리는 예를 들어, 버튼으로서의 유저 인터페이스(38)가 유저에 의해 조작됨으로써, 화상 처리 장치(11)의 동작 모드가 피사체 추종 처리를 실행하는 피사체 추종 처리 모드로 천이하고, 표시부(34)에 표시된 입력 화상에서, 추종 대상으로의 피사체의 소정 영역이 유저에 의해 선택되었을 때에 개시된다.
스텝 S11에서, 피사체 추종부(55)의 피사체 맵 생성부(71)는 피사체 맵 생성 처리를 행하여, 피사체 맵을 생성한다. 피사체 맵 생성부(71)는 피사체 맵을 피사체 후보 영역 직사각형화부(72)에 공급한다.
(피사체 맵 생성 처리)
여기서, 도 7 및 도 8을 참조하여, 피사체 맵 생성 처리의 상세에 대해서 설명한다. 도 7은 피사체 맵 생성 처리에 대해서 설명하는 플로우차트이고, 도 8은 피사체 맵 생성 처리의 구체예를 도시하는 도면이다.
도 7의 플로우차트의 스텝 S31에서, 피사체 맵 생성부(71)의 특징량 맵 생성부(111)는 입력 화상의 소정 프레임으로부터, 휘도나 색 등의 특징마다(특징량마다) 특징량 맵을 생성한다. 다음으로, 특징량 맵 생성부(111)는 생성된 특징량 맵을 대역 특징량 맵 생성부(112)에 공급한다.
구체적으로는, 도 8에 도시된 바와 같이, 입력 화상(200)으로부터, M종류의 특징량 맵이 생성된다. M종류의 특징량 맵은 휘도에 관한 정보를 나타내는 휘도 정보 맵 F1, 색에 관한 정보를 나타내는 색정보 맵 F2 내지 FK, 및 엣지에 관한 정보를 나타내는 엣지 정보 맵 F(K+1) 내지 FM을 포함한다.
휘도 정보 맵 F1에서는, 입력 화상의 각 화소로부터 얻어지는 휘도 성분(휘도 신호) Y가 입력 화상의 각 화소에 대응하는 정보로 된다. 색정보 맵 F2 내지 FK에서는, 입력 화상의 각 화소로부터 얻어지는 색 성분(색신호) R, G, B가 입력 화상의 각 화소에 대응하는 정보로 된다. 또한, 엣지 정보 맵 F(K+1) 내지 FM에서는, 예를 들어, 입력 화상의 각 화소에서의 0도, 45도, 90도, 및 135도의 방향의 엣지 강도가, 입력 화상의 각 화소에 대응하는 정보로 된다.
상술한 특징량 맵에 대해서, 화소의 R, G, B의 각 성분의 값의 평균값을 휘도 정보 맵 F1의 정보(특징량)로 사용할 수도 있고, 색차 성분 Cr, Cb나, Lab 색 공간에서의 a＊ 좌표 성분 및 ab＊ 좌표 성분을 색정보 맵 F2 내지 FK의 정보로 사용할 수도 있다는 것에 유의하라. 또한, 0도, 45도, 90도, 및 135도 이외의 방향의 엣지 강도는 엣지 정보 맵 F(K+1) 내지 FM의 정보로 사용될 수도 있다.
스텝 S32에서, 대역 특징량 맵 생성부(112)는 각 특징량 맵에서의 특징량으로부터, 소정의 대역 성분의 특징량을 N회 추출하고, 추출한 각각의 특징량을 나타내는 대역 특징량 맵을 생성한다. 다음으로, 대역 특징량 맵 생성부(112)는 생성된 대역 특징량 맵을 가중치 계수 산출부(74) 및 대역 특징량 맵 합성부(113)에 공급한다.
구체적으로는, 도 8에 도시된 바와 같이, 휘도 정보 맵 F1에서의 휘도 정보로부터, 소정의 대역 1 내지 대역 N의 휘도 정보가 추출되고, 그 대역 각각의 휘도 정보를 나타내는 대역 휘도 정보 맵 R11 내지 R1N이 생성된다. 또한, 색정보 맵 F2 내지 FK에서의 색정보로부터, 소정의 대역 1 내지 대역 N의 색정보가 추출되고, 그 대역 각각의 색정보를 나타내는 대역 색정보 맵 R21 내지 R2N, …, RK1 내지 RKN이 생성된다. 또한, 엣지 정보 맵 F(K+1) 내지 FM에서의 엣지 정보로부터, 소정의 대역 1 내지 대역 N의 엣지 정보가 추출되고, 그 대역 각각의 엣지 정보를 나타내는 대역 엣지 정보 맵 R(K+1)1 내지 R(K+1)N, …, RM1 내지 RMN이 생성된다. 이와 같이, 대역 특징량 맵 생성부(112)는 (M×N)종류의 대역 특징량 맵을 생성한다.
여기서, 대역 특징량 맵 생성부(112)에 의해 수행되는 처리의 일례에 대해서 설명한다.
예를 들어, 대역 특징량 맵 생성부(112)는 각 특징량 맵을 사용하여, 서로 해상도가 상이한 복수의 특징량 맵을 생성하고, 특징량 맵을 그 특징량의 피라미드 화상으로 한다. 예를 들어, 레벨 L1 내지 레벨 L8까지의 8개의 해상도의 계층의 피라미드 화상이 생성된다. 레벨 L1의 피라미드 화상이 가장 해상도가 높고, 레벨 L1로부터 레벨 L8까지 순서대로 피라미드 화상의 해상도가 낮아지는 것으로 한다.
이 경우, 특징량 맵 생성부(111)에 의해 생성된 특징량 맵은 레벨 L1의 피라미드 화상으로 표현된다. 또한, 레벨 Li(단, i=1 또는 i=7 또는 1＜i＜7)의 피라미드 화상에서의, 서로 인접하는 4개의 화소의 화소값의 평균값은 인접한 4개의 화소와 대응하는 레벨 L(i+1)의 피라미드 화상의 1개의 화소의 화소값으로 된다. 따라서, 레벨 L(i+1)의 피라미드 화상은 레벨 Li의 피라미드 화상에 대하여 종횡 절반(나눠 떨어지지 않는 경우에는 버림)의 화상이다.
또한, 대역 특징량 맵 생성부(112)는 복수의 피라미드 화상 중, 서로 계층이 상이한 2개의 피라미드 화상을 선택하고, 선택한 피라미드 화상의 차분을 구함으로써, 각 특징량의 차분 화상을 N매 생성한다. 각 계층의 피라미드 화상은 크기가 상이(화소수가 상이)하기 때문에, 차분 화상의 생성 시에는, 보다 작은 쪽의 피라미드 화상이, 보다 큰 피라미드 화상에 맞추어 업 컨버트(up-convert)된다는 것에 유의하라.
예를 들어, 대역 특징량 맵 생성부(112)는 각 계층의 특징량의 피라미드 화상 중, 레벨 L6 및 레벨 L3, 레벨 L7 및 레벨 L3, 레벨 L7 및 레벨 L4, 레벨 L8 및 레벨 L4, 및 레벨 L8 및 레벨 L5의 각 계층의 조합의 피라미드 화상의 차분을 구한다. 따라서, 합계 5개의 특징량의 차분 화상이 얻어진다.
구체적으로, 예를 들어, 레벨 L6 및 레벨 L3의 조합의 차분 화상이 생성되는 경우, 레벨 L6의 피라미드 화상은 레벨 L3의 피라미드 화상의 크기에 맞추어 업 컨버트된다. 즉, 업 컨버트 전의 레벨 L6의 피라미드 화상의 1개의 화소의 화소값은 업 컨버트 후의 레벨 L6의 피라미드 화상의 서로 인접하는 몇 개의 화소의 화소값으로 된다. 다음으로, 레벨 L6의 피라미드 화상의 화소의 화소값과, 레벨 L6의 피라미드 화상의 화소와 동일한 위치에 있는 레벨 L3의 피라미드 화상의 화소의 화소값의 차분이 구해지고, 그 차분은 차분 화상의 화소의 화소값으로 된다.
이와 같이, 차분 화상을 생성함으로써, 특징량 맵에 밴드 패스 필터를 사용한 필터 처리를 적용하는 것과 같이, 특징량 맵으로부터 소정의 대역 성분의 특징량을 추출할 수 있다.
이상의 설명에서, 특징량 맵으로부터 추출되는 대역의 폭이 차분 화상을 구할 때 피라미드 화상의 각 계층의 조합에 의해 결정된다고 할지라도, 이 조합은 임의로 결정될 수 있다는 것에 유의하라.
또한, 소정의 대역 성분의 특징량의 추출은 상술한 차분 화상에 의한 방법에 한하지 않고, 다른 방법을 사용할 수도 있다.
도 7의 플로우차트로 되돌아와서, 스텝 S33에서, 대역 특징량 맵 합성부(113)는 대역 특징량 맵 생성부(112)로부터 공급된 대역 특징량 맵을 가중치 계수 산출부(74)로부터 공급된 가중치 계수군 WR에 기초하여 특징량마다 합성한다. 대역 특징량 맵 합성부(113)는 합성한 대역 특징량 맵(합성 특징량 맵)을 가중치 계수 산출부(74) 및 합성 특징량 맵 합성부(114)에 공급한다.
구체적으로는, 도 8에 도시된 바와 같이, 대역 휘도 정보 맵 R11 내지 R1N은 가중치 계수 산출부(74)로부터 공급된 대역 휘도 정보 맵마다의 가중치인 가중치 계수 w11 내지 w1N에 의해 가중치 부여 가산되고, 합성 특징량 맵 C1이 구해진다. 또한, 대역 색정보 맵 R21 내지 R2N, …, RK1 내지 RKN은 가중치 계수 산출부(74)로부터 공급된 대역 색정보 맵마다의 가중치인 가중치 계수 w21 내지 w2N, …, wK1 내지 wKN에 의해 가중치 부여 가산되고, 합성 특징량 맵 C2 내지 CK가 구해진다. 또한, 대역 엣지 정보 맵 R(K+1)1 내지 R(K+1)N, …, RM1 내지 RMN은 가중치 계수 산출부(74)로부터 공급된 대역 엣지 정보 맵마다의 가중치인 가중치 계수 w(K+1)1 내지 w(K+1)N, …, wM1 내지 wMN에 의해 가중치 부여 가산되고, 합성 특징량 맵 CK +1 내지 CM이 구해진다. 이와 같이, 대역 특징량 맵 합성부(113)는 M종류의 합성 특징량 맵을 생성한다. 가중치 계수군 WR의 상세에 대해서는 후술하지만, 가중치 계수군 WR의 각 가중치 계수는 0 내지 1의 값을 갖는다. 그러나, 1회째의 피사체 맵 생성 처리를 행할 경우에는, 가중치 계수군 WR의 각 가중치 계수는 모두 1로 되고, 대역 특징량 맵은 가중치 없이 가산된다.
스텝 S34에서, 합성 특징량 맵 합성부(114)는 대역 특징량 맵 합성부(113)로부터 공급된 합성 특징량 맵을 가중치 계수 산출부(74)로부터 공급된 가중치 계수군 WC에 기초하여 합성함으로써, 피사체 맵을 생성하여, 그 피사체 맵을 피사체 후보 영역 직사각형화부(72)에 공급한다.
구체적으로는, 도 8에 도시된 바와 같이, 합성 특징량 맵 C1 내지 CM은 가중치 계수 산출부(74)로부터 공급된 대역 휘도 정보 맵마다의 가중치인 가중치 계수 w1 내지 wM을 사용해서 선형 결합된다. 또한, 선형 결합의 결과로서 얻어진 맵의 화소값에, 미리 구해진 가중치인 피사체 가중치가 승산되어 정규화됨으로써, 피사체 맵(201)이 구해진다. 가중치 계수군 WC의 상세에 대해서는 후술하지만, 가중치 계수군 WC의 각 가중치 계수는 0 내지 1의 값을 갖는다는 것에 유의하라. 그러나, 1회째의 피사체 맵 생성 처리를 행할 경우에는, 가중치 계수군 WC의 각 가중치 계수는 모두 1로 되고, 합성 특징량 맵은 가중치 없이 선형 결합된다는 것에 유의하라.
즉, 구하려고 하는 피사체 맵 상의 주목하는 위치(화소)를 주목 위치로 하면, 각 합성 특징량 맵의 주목 위치와 동일한 위치(화소)의 화소값에, 합성 특징량 맵마다의 가중치 계수가 승산되고, 가중치 계수가 승산된 화소값의 총합은 주목 위치의 화소값으로 된다. 또한, 이와 같이 하여 구해진 피사체 맵의 각 위치의 화소값에, 피사체 맵에 대하여 미리 구해진 피사체 가중치가 승산되어 정규화됨으로써, 최종적인 피사체 맵이 구해진다. 예를 들어, 정규화는 피사체 맵의 각 화소의 화소값이 0 내지 255 사이의 값이 되도록 이루어진다.
이상과 같이 하여, 피사체 맵 생성부(71)는 특징량 맵으로부터, 대역 특징량 맵 및 합성 특징량 맵을 생성함으로써, 피사체 맵을 생성한다.
도 6의 플로우차트로 되돌아가서, 스텝 S12에서, 피사체 후보 영역 직사각형화부(72)는 피사체 후보 영역 직사각형화 처리를 행하고, 피사체 맵 생성부(71)로부터 공급된 피사체 맵에서, 피사체의 후보로 되는 영역을 포함하는 직사각형 영역을 구한다.
(피사체 후보 영역 직사각형화 처리)
도 9 및 도 10을 참조하여, 피사체 후보 영역 직사각형화 처리의 상세에 대해서 설명한다. 도 9는 피사체 후보 영역 직사각형화 처리에 대해서 설명하는 플로우차트이며, 도 10은 피사체 후보 영역 직사각형화 처리의 구체예를 도시하는 도면이다.
도 9의 플로우차트의 스텝 S51에서, 피사체 후보 영역 직사각형화부(72)의 2치화 처리부(131)는 피사체 맵 생성부(71)로부터 공급된 피사체 맵에서의 정보를 소정의 임계값에 기초하여 0 또는 1 중 어느 하나의 값으로 2치화하여, 그 값을 라벨링 처리부(132)에 공급한다.
보다 구체적으로는, 2치화 처리부(131)는, 도 10의 상부에 나타낸 피사체 맵(201)의 각 화소의 화소값(0 내지 255 사이의 값)에 대하여, 예를 들어, 임계값 127보다 작은 값의 화소값을 0으로 하고, 127과 동일하거나 큰 값의 화소값을 1로 한다. 따라서, 도 10의 위에서부터 2번째로 도시한 2치화 맵(202)이 얻어진다. 도 10에서 도시되는 2치화 맵(202)에서는, 백색으로 표시되는 부분(화소)는 1의 화소값을 갖고, 흑색으로 표시되는 부분(화소)은 0의 화소값을 갖는다. 여기서는, 임계값을 127인 것으로 했지만, 다른 값이어도 된다는 것에 유의하라.
스텝 S52에서, 라벨링 처리부(132)는, 2치화 처리부(131)로부터 공급된 2치화 맵(202)(2치화된 피사체 맵)에서, 예를 들어, 몰포로지 연산(morphological operation)에 의해 얻어지는, 화소값이 1인 화소가 인접하는 연결 영역에 대하여 라벨링한다. 다음으로, 라벨링 처리부(132)는 2치화 맵(202)을 직사각형 영역 좌표 산출부(133)에 공급한다.
보다 구체적으로는, 예를 들어, 도 10의 위에서부터 3번째 맵으로 도시된 바와 같이, 2치화 맵(202)에서는, 연결 영역(211)은 라벨 "1"로 라벨링되고, 연결 영역(212)은 라벨 "2"로 라벨링된다.
스텝 S53에서, 직사각형 영역 좌표 산출부(133)는, 라벨링 처리부(132)로부터의 2치화 맵(202)에서, 연결 영역(211, 212)을 포함하는(둘러싸는) 직사각형 영역의 좌표를 산출한다. 다음으로, 직사각형 영역 좌표 산출부(133)는 직사각형 영역의 좌표를 나타내는 좌표 정보를 2치화 맵(202)과 함께 영역 정보 산출부(134)에 공급한다.
보다 구체적으로는, 도 10의 위에서부터 4번째 맵으로 도시된 바와 같이, 2치화 맵(202)에서, 라벨 "1"로 라벨링된 연결 영역(211)을 외측으로부터 둘러싸는 직사각형 프레임(외접 프레임)(221)이 검출되고, 그 직사각형 프레임(221)의, 예를 들어 도면 중 좌측 상부 및 우측 하부의 정점의 좌표가 구해진다. 또한, 라벨 "2"로 라벨링된 연결 영역(212)을 외측으로부터 둘러싸는 직사각형 프레임(222)이 검출되고, 그 직사각형 프레임(222)의, 예를 들어 도면 중 좌측 상부 및 우측 하부의 정점의 좌표가 구해진다.
스텝 S54에서, 영역 정보 산출부(134)는 직사각형 영역 좌표 산출부(133)로부터 공급된 좌표 정보와 피사체 맵 생성부(71)로부터 공급된 피사체 맵에 기초하여, 피사체 맵 상에서 직사각형 프레임으로 둘러싸이는 직사각형 영역에 관한 영역 정보를 산출한다.
보다 구체적으로는, 영역 정보 산출부(134)는, 2치화 맵(202)에서의 직사각형 프레임(221, 222)을 나타내는, 직사각형 영역 좌표 산출부(133)로부터 공급된 좌표 정보에 기초하여, 직사각형 프레임(221, 222) 각각의 사이즈 및 직사각형 프레임(221, 222) 각각의 중심 위치의 좌표를 각각의 직사각형 영역에 관한 영역 정보로서 산출한다. 영역 정보 산출부(134)는 산출한 영역 정보를 직사각형 영역 좌표 산출부(133)로부터 공급된 좌표 정보에 대응시켜서, 그 대응시킨 영역 정보를 피사체 영역 선택부(73)에 공급한다.
이상과 같이 하여, 피사체 후보 영역 직사각형화부(72)는 피사체 맵에서, 주목해야 할 피사체의 후보로 되는 각 영역을 둘러싸는 직사각형 프레임, 및 피사체 맵 상에서 직사각형 프레임으로 둘러싸이는 영역의 특징을 나타내는 영역 정보를 구한다. 직사각형 프레임은 배치되는 화상의 경계내에 위치한 둘레에 의해 정의된다.
도 6의 플로우차트로 되돌아가서, 스텝 S13에서, 피사체 영역 선택부(73)는 피사체 영역 선택 처리를 행하고, 주목해야 할 피사체가 포함되는 직사각형 영역인 피사체 영역을 피사체 영역 선택부(73)로부터 공급된 영역 정보에 기초하여 직사각형 영역 중에서 선택한다.
(피사체 영역 선택 처리)
여기서, 도 11의 플로우차트를 참조하여, 피사체 영역 선택 처리의 상세에 대해서 설명한다.
스텝 S71에서, 영역 정보 비교부(151)는 피사체 후보 영역 직사각형화부(72)로부터 공급되는 각각의 직사각형 영역의 영역 정보와, 영역 정보 기억부(153)에 기억되어 있는 1 프레임 전의 피사체 영역의 영역 정보를 비교하여, 비교 결과를 피사체 영역 결정부(152)에 공급한다.
보다 구체적으로는, 예를 들어, 영역 정보 비교부(151)는 피사체 후보 영역 직사각형화부(72)로부터 공급되는 피사체 맵 상에서의 각각의 직사각형 영역을 둘러싸는 직사각형 프레임의 사이즈와, 영역 정보 기억부(153)에 기억되어 있는 1 프레임 전의 피사체 영역을 둘러싸는 직사각형 프레임(피사체 프레임)의 사이즈를 비교한다. 프레임 경계의 영역은 검출될 수 있는 특정된 것인데 반하여, 프레임의 다른 상대적인 속성은 위치, 형상 및 종횡비와 같은 연속적인 프레임들간에 검출될 수도 있다. 또한, 예를 들어, 영역 정보 비교부(151)는 피사체 후보 영역 직사각형화부(72)로부터 공급되는 피사체 맵 상에서의 각 직사각형 영역을 둘러싸는 직사각형 프레임의 중심 위치의 좌표와, 영역 정보 기억부(153)에 기억되어 있는 1 프레임 전의 피사체 영역을 둘러싸는 직사각형 프레임(피사체 프레임)의 중심 위치의 좌표를 비교한다.
스텝 S72에서, 피사체 영역 결정부(152)는 영역 정보 비교부(151)로부터의 비교 결과에 기초하여, 1 프레임 전의 피사체 영역을 둘러싸는 직사각형 프레임(피사체 프레임)의 사이즈를 갖는 직사각형 영역, 중심 위치의 좌표에 가장 가까운 직사각형 프레임의 사이즈를 갖는 직사각형 영역, 및 중심 위치를 갖는 직사각형 영역 중 하나를 피사체 영역으로 한다. 피사체 영역 결정부(152)는 결정한 피사체 영역의 좌표 정보를 제어부(35) 및 가중치 계수 산출부(74)에 공급한다. 이와 동시에, 피사체 영역 결정부(152)는 결정된 피사체 영역의 영역 정보(피사체 프레임의 사이즈 또는 중심 위치)를 영역 정보 기억부(153)에 공급한다.
1회째의 피사체 영역 선택 처리에서, 영역 정보 기억부(153)에는 1 프레임 전의 피사체 영역의 영역 정보가 기억되지 않는다는 것에 유의하라. 따라서, 피사체 추종 처리의 개시 시에 유저에 의해 선택된 피사체의 소정 영역(이하, 소정 영역은 초기 선택 영역이라고 함)을 포함하는 직사각형 영역은 피사체 영역으로 설정된다.
이상과 같이 하여, 피사체 영역 선택부(73)는 피사체의 후보로 되는 직사각형 영역 중에서, 주목해야 할 피사체의 피사체 영역을 선택한다.
(가중치 계수의 산출)
도 6의 플로우차트로 되돌아가서, 스텝 S14에서, 가중치 계수 산출부(74)는 피사체 맵 생성부(71)로부터 공급된 대역 특징량 맵 및 합성 특징량 맵과, 피사체 영역 선택부(73)로부터 공급된 피사체 영역을 나타내는 좌표 정보에 기초하여, 도 8에 도시된 가중치 계수군 WR, WC를 산출한다.
보다 구체적으로는, 도 12에 도시된 바와 같이, 소정의 대역 특징량 맵 Rmn(1=m 또는 1＜m＜M 또는 m=M, 1=n 또는 1＜n＜N 또는 n=N) 상의 피사체 영역을 나타내는 피사체 프레임(231)에 대응하는 직사각형 영역 내의 특징량(정보량)의 합을 피사체 영역 특징량의 합 rmn으로 한 경우, 도 13의 상측에 도시된 바와 같은 가중치 계수군 WR이 산출된다.
도 13에 도시된 가중치 계수군 WR에서의 계수 각각은, 도 8에 도시된 가중치 계수 w11 내지 wMN의 각각에 대응하고 있다. 도 13에서, Max(a, ..., z)는 값 a 내지 z 중 최대값을 가리킨다는 것에 유의하라.
예를 들어, 도 13에 나타낸 가중치 계수군 WR에서의 위에서부터 1번째 행의 각 계수는 도 8에서 도시된, "대역 1"에 대응하는 특징량 마다의 대역 특징량 맵 R11 내지 RM1에 관한 가중치 계수 w11 내지 wM1을 나타내고 있다. 도 13에 도시된 바와 같이, 가중치 계수 w11 내지 wM1은 분모가 대역 특징량 맵 R11 내지 RM1 각각에 관한 피사체 영역 특징량 합 r11 내지 rM1 중의 최대값으로 되고, 분자가 대역 특징량 맵 R11 내지 RM1 각각에 관한 피사체 영역 특징량의 합 r11 내지 rM1로 되는 계수이며, 0 내지 1의 값을 취한다.
마찬가지로, 도 13에 나타낸 가중치 계수군 WR에서의 위에서부터 N번째 행의 각 계수는 도 8에 도시된, "대역 N"에 대응하는 특징량 마다의 대역 특징량 맵 R1N 내지 RMN에 관한 가중치 계수 w1N 내지 wMN을 나타내고 있다. 도 13에 도시된 바와 같이, 가중치 계수 w1N 내지 wMN은 분모가 대역 특징량 맵 R1N 내지 RMN 각각에 관한 피사체 영역 특징량의 합 r1N 내지 rMN 중의 최대값으로 되고, 분자가 대역 특징량 맵 R1N 내지 RMN 각각에 관한 피사체 영역 특징량의 합 r1N 내지 rMN으로 되는 계수이며, 0 내지 1의 값을 취한다.
즉, 가중치 계수 w1n 내지 wMn에 따르면, "대역 n"에 대응하는 특징량 마다의 대역 특징량 맵 R1n 내지 RMn에서, 피사체 영역 특징량의 합이 최대로 되는 특징량의 대역 특징량 맵에 최대값이 1로 되는 가중치 부여가 이루어지고, 그 밖의 대역 특징량 맵에는, 피사체 영역 특징량의 합에 해당하는 가중치 부여가 이루어진다.
또한, 소정의 대역 특징량 맵 Cm(1=m 또는 1＜m＜M 또는 m=M) 상의, 피사체 영역을 나타내는 직사각형 프레임(221)에 대응하는 직사각형 영역 내의 특징량(정보량)의 합을 피사체 영역 특징량의 합 cm으로 한 경우, 도 13의 하측에 도시된 바와 같은 가중치 계수군 WC가 산출된다.
도 13의 가중치 계수군 WC에서의 계수 각각은 도 8에서 도시된 가중치 계수 w1 내지 wM 각각에 대응하고 있다.
보다 구체적으로, 도 13의 가중치 계수군 WC에서의 각 계수는, 도 8에 도시된 특징량마다의 합성 특징량 맵 C1 내지 CM에 관한 가중치 계수 w1 내지 wM을 나타내고 있다. 도 13에 도시된 바와 같이, 가중치 계수 w1 내지 wM은 분모가 합성 특징량 맵 C1 내지 CM 각각에 관한 피사체 영역 특징량 합 c1 내지 cM 중의 최대값으로 되고, 분자가 합성 특징량 맵 C1 내지 CM 각각에 관한 피사체 영역 특징량 합 c1 내지 cM으로 되는 계수이며, 0 내지 1의 값을 취한다.
즉, 가중치 계수 w1 내지 wM에 따르면, 특징량마다의 합성 특징량 맵 C1 내지 CM중에서, 피사체 영역 특징량 합이 최대로 되는 특징량의 합성 특징량 맵에 최대값 1로 되는 가중치 부여가 이루어지고, 그 밖의 합성 특징량 맵에는, 피사체 영역 특징량 합에 대응하는 가중치 부여가 이루어진다.
가중치 계수 산출부(74)는 산출한 가중치 계수군 WR을 피사체 맵 생성부(71)의 대역 특징량 맵 합성부(113)에 공급한다. 이와 동시에, 가중치 계수 산출부(74)는 가중치 계수군 WC를 피사체 맵 생성부(71)의 합성 특징량 맵 합성부(114)에 공급한다. 도 6의 플로우차트에서는, 스텝 S14를 수행한 후, 다음 프레임에 관한 피사체 추종 처리가 실행되고, 이 처리가 1 프레임마다 반복된다.
이상의 처리에 따르면, 입력 화상의 소정의 프레임에 관한 특징량마다의 특징량 맵에서, 그 프레임에서 선택된 피사체 영역에 대응하는 영역의 특징량의 상대적인 크기에 따라, 다음 프레임에 관한 특징량마다의 특징량 맵에 대한 가중치 계수가 결정된다. 따라서, 프레임간에서 특징량이 변동하는 경우라도, 복수의 특징량 중 피사체를 가장 잘 나타내는 특징량의 특징량 맵이 가장 크게 가중치 부여된 피사체 맵이 생성된다. 따라서, 피사체의 상태가 변동하는 환경 하에서도, 피사체를 보다 안정되게 추종할 수 있다.
또한, 피사체 영역은 피사체 전체를 포함하도록 결정되므로, 피사체의 일부의 영역의 상태가 변동하는 환경 하에서도, 피사체를 보다 안정되게 추종할 수 있다.
특히, 종래의 피사체 추종 기술에서, 피사체 영역 내의 어느 하나의 좌표(또는 그 좌표를 포함하는 일부 영역)가 특정되는 경우에는, 피사체 전체를 추종할 수 없고, AF(Auto Focus)나 AE(Auto Exposure), ACC(Auto Color Control)의 검파 프레임을 정확하게 설정할 수 없었다. 피사체 영역 내에서 특징량이 동일한 동일 특징량 영역이 특정되는 경우에는, 상술한 경우보다는 검파 프레임을 설정하는 정밀도를 높일 수 있다. 그러나, 동일 특징량 영역은, 피사체 영역의 극히 일부에 지나지 않는 경우가 많기 때문에, 충분한 검파 정밀도는 얻어지지 않았다.
한편, 상술한 피사체 추종 처리에 따르면, 피사체 전체를 포함하는 피사체 영역을 특정할 수 있다. 따라서, 검파 정밀도를 높일 수 있고, 나아가서는, 추종 결과를 다양한 어플리케이션에 적용할 수도 있다.
또한, 피사체 추종 기술에는 예를 들어, 인간의 전체 형상을 학습에 의해 사전에 등록함으로써, 인간을 검출하고 추종하는 것도 공지되어 있습니다. 그러나, 사전에 등록된 인간이나 인간 이외의 피사체를 추종할 수는 없다. 또한, 사전에 등록되는 정보(화상)의 양은 방대한 양으로 되기 때문에, 장치 규모가 커지게 된다.
한편, 상술한 피사체 추종 처리에 따르면, 임의의 피사체를 검출하고 추종할 수 있고, 또한, 사전 등에 방대한 양의 정보를 등록할 필요가 없다. 따라서, 장치 규모를 콤팩트하게 할 수 있다.
이상에서는, 특징량으로서, 휘도 성분, 색 성분, 및 엣지 방향이 사용되었다. 그러나, 본 발명은 이러한 예에 국한되지 않고, 예를 들어, 움직임 정보가 부가될 수도 있다. 또한, 사용되는 특징량은, 예를 들어, 휘도 성분과 색 성분과 같은, 상보적인 관계에 있는 것이 적합하고, 그러한 특징량은 적절하게 선택될 수도 있다.
또한, 이상에서는, M×(N+1)종류의 특징량 맵에 대응하여, M×(N+1)종류의 가중치 계수를 산출하였다. 그러나, 일부의 특징량 맵에 대응하는 가중치 계수만을 적절하게 산출하도록 함으로써, 화상 처리 장치(11)에서의 연산량을 감소시킬 수 있다. 예를 들어, 합성 특징량 맵 C1 내지 CM의 M종류의 특징량 맵에 대응하는 가중치 계수 w1 내지 wM만을 산출할 수도 있다.
또한, 이상에서는, 영역 정보 산출부(134)는 직사각형 영역의 영역 정보로서, 직사각형 프레임의 사이즈 및 중심 위치의 좌표를 산출하였다. 그러나, 영역 정보 산출부(134)는 직사각형 영역 내의 화소값의 적분값이나 피크값(최대값)을 산출할 수도 있다. 이 경우, 피사체 영역 선택 처리(도 11 참조)에서는, 1 프레임 전의 피사체 영역 내의 화소값의 적분값 또는 피크값에 가장 가까운 영역 내의 화소값의 적분값 또는 피크값을 갖는 직사각형 영역이 피사체 영역으로 된다.
화상 처리 장치(11)가 정지 화상을 촬상하는 디지털 스틸 카메라로서 구성되는 경우, 유저는 표시부(34)에 표시되어 있는 동화상(뷰 파인더에 제공된 파인더 화상)을 확인하면서, 원하는 타이밍에 셔터 트리거링 메카니즘에 의해 트리거되는 셔터를 이용하여 셔터 조작을 행함으로써, 정지 화상을 촬상한다.
상술한 피사체 추종 처리의 추종 결과를 적용한 어플리케이션의 일례로서, 이와 같이 구성되는 화상 처리 장치(11)가 유저에 의한 셔터 조작 대신에, 자동 셔터 처리를 수행할 수 있게 할 수 있다. 자동 셔터 처리는 추종된 피사체의 상태 변화에 따라 정지 화상을 촬상할 수 있다.
(제어부의 기능 구성예)
여기서, 도 14를 참조하여, 자동 셔터 처리를 실행하는 제어부(35)의 기능 구성예에 대해서 설명한다. 자동 셔터 처리는 상술한 피사체 추종 처리에 의해 추종한 피사체의 상태 변화에 따라, 정지 화상을 촬상한다.
도 14에 도시한 제어부(35)는 좌표 정보 취득부(331), 영역 형상 판정부(332), 촬상 제어부(333)를 구비하고 있다.
좌표 정보 취득부(331)는 피사체 추종부(55)(도 1 참조)로부터 입력 화상의 1 프레임마다 공급되는 피사체 영역의 좌표 정보를 취득하고, 영역 형상 판정부(332)에 공급한다.
영역 형상 판정부(332)는 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보에 기초하여, 입력 화상의 프레임 사이에서의 피사체 영역의 형상의 변화를 판정한다. 구체적으로는, 영역 형상 판정부(332)는 피사체 영역의 좌표 정보로 표시되는, 직사각형 영역으로서의 피사체 영역의 종횡비의, 프레임 사이에서의 변화를 판정하고, 판정의 결과에 따른 정보를 촬상 제어부(333)에 공급한다.
촬상 제어부(333)는 영역 형상 판정부(332)로부터 공급된 정보에 기초하여, 이미저(32), 디지털 신호 처리부(33), 및 렌즈 구동부(36)를 제어함으로써, 촬상 렌즈의 구동, 조리개의 조절, 화상 데이터에 대한 신호 처리나 기록 미디어(도면에 도시되지 않음)에의 기록 등을 제어한다. 요약하자면, 촬상 제어부(333)는 화상 처리 장치(11)에 의한 촬상을 제어한다.
(자동 셔터 처리)
다음에, 도 15의 플로우차트를 참조하여, 화상 처리 장치(11)에 의한 자동 셔터 처리에 대해서 설명한다.
스텝 S311에서, 피사체 추종부(55)는 도 6의 플로우차트를 참조하여 설명한 피사체 추종 처리를 실행하고, 피사체 영역의 좌표 정보를 제어부(35)에 공급한다.
스텝 S312에서, 좌표 정보 취득부(331)는 피사체 추종부(55)로부터의 피사체 영역의 좌표 정보를 취득하여, 그 좌표 정보를 영역 형상 판정부(332)에 공급한다.
스텝 S313에서, 영역 형상 판정부(332)는 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보에 기초하여, 1 프레임마다, 입력 화상에서의 피사체 영역의 종횡비를 감시하고, 프레임 사이에서, 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화했는지의 여부를 판정한다.
스텝 S313에서, 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화하고 있지 않다고 판정된 경우, 처리는 스텝 S311로 되돌아가서, 스텝 S311 내지 S313의 처리가 반복된다.
한편, 스텝 S313에서, 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화했다고 판정된 경우, 영역 형상 판정부(332)는 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화되었다는 취지의 정보를 촬상 제어부(333)에 공급한다.
예를 들어, 도 16의 좌측에 도시된 바와 같이, (n-1)프레임째의 입력 화상에서, 피사체인 어린이가 달리고 있다고 가정한다. 여기서, (n-1)프레임째의 입력 화상에서의 피사체 영역을 나타내는 피사체 프레임 H(n-1)의 높이를 Hh(n-1)로 하고, 피사체 프레임 H(n-1)의 폭을 Hw(n-1)로 하면, 피사체 영역의 종횡비 P(n-1)는 Hh(n-1)/Hw(n-1)로 나타내진다.
다음으로, 도 16의 우측에 도시된 바와 같이, n프레임째의 입력 화상에서, 피사체인 어린이가 넘어진 경우, n프레임째의 입력 화상에서의 피사체 영역의 종횡비 P(n)=Hh(n)/Hw(n)는 (n-1)프레임째의 입력 화상에서의 피사체 영역의 종횡비 P(n-1)와 비교해서 변화한다.
이때, 영역 형상 판정부(332)에 의해, (n-1)프레임째의 입력 화상에서의 피사체 영역의 종횡비 P(n-1)와, n프레임째의 입력 화상에서의 피사체 영역의 종횡비 P(n)의 차 ｜P(n)-P(n-1)｜가, 소정의 임계값보다 크다고 판정되면, 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화되었다는 취지의 정보가, 촬상 제어부(333)에 공급된다.
도 15에 나타낸 플로우차트로 되돌아가서, 스텝 S314에서, 촬상 제어부(333)는, 영역 형상 판정부(332)로부터, 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화되었다는 취지의 정보가 공급되면, 이미저(32), 디지털 신호 처리부(33), 및 렌즈 구동부(36)에, 촬상을 지시하는 정보를 공급한다. 이에 의해, 디지털 신호 처리부(33)에서는, 도 16에 도시된 n프레임째의 입력 화상에 대응하는 화상 데이터에 대하여 소정의 신호 처리가 실시된다. 그 결과 얻어진 화상 데이터는 기록 미디어(도면에는 도시되지 않음)에 기록된다.
이상의 처리에 따르면, 피사체가 포함되는 피사체 영역의 종횡비가 크게 변화되었을 때에, 정지 화상이 촬상된다. 따라서, 도 16을 참조해서 설명한 바와 같은, 어린이가 넘어진 순간 등의 결정적 순간을 놓치지 않고 촬상할 수 있다. 또한, 피사체 추종 처리에서, 피사체로서 새가 선택된 경우에는, 그 새를 둘러싸는 피사체 프레임(피사체 영역)의 종횡비의 변화에 의해, 예를 들어, 새가 날개짓하는 순간 등을 촬상할 수 있다. 이와 같이, 사람 이외의, 표정을 갖지 않는 피사체이어도, 보다 확실하게 베스트 샷 화상을 얻을 수 있다.
상술한 설명에서는, 피사체 영역의 종횡비를 (피사체 영역의 높이)/(피사체 영역의 폭)으로 나타냈지만, (피사체 영역의 폭)/(피사체 영역의 높이)로 나타낼 수도 있다는 것에 유의하라.
또한, 상술한 설명에서는, 프레임 사이에서의, 피사체 영역의 종횡비의 변화를 판정하도록 했지만, 간단히 프레임 사이에서의, 피사체 영역의 높이나 폭의 변화를 판정하도록 해도 된다.
이상에서는, 피사체의 상태가 변화되었을 때에 정지 화상을 촬상하는 구성에 대해서 설명했지만, 피사체의 상태의 변화가 정지했을 때에 정지 화상을 촬상할 수도 있다.
(제어부의 다른 기능 구성예)
이에 덧붙여서, 도 17을 참조하여, 피사체의 상태 변화가 정지했을 때에 정지 화상을 촬상하는 화상 처리 장치(11)에 제공된 제어부(35)의 기능 구성예에 대해서 설명한다.
도 17에 도시된 제어부(35)에서, 도 14에 도시된 제어부(35)에 제공된 구성 요소와 마찬가지의 기능을 구비하는 구성 요소에 대해서는, 동일 명칭 및 동일한 부호를 붙이고, 그 설명은 적절하게 생략한다는 점에 유의하라.
보다 구체적으로, 도 17의 제어부(35)에서, 도 14에 도시한 제어부(35)와 상이한 것은, 영역 형상 판정부(332) 대신에, 영역 형상 판정부(431)를 제공하고 있다는 점이다.
영역 형상 판정부(431)는, 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보에 기초하여, 피사체 영역의 좌표 정보로 표시되는, 직사각형 영역으로서의 피사체 영역의 종횡비의, 소정수 프레임간의 변화를 판정한다. 다음으로, 영역 형상 판정부(431)는 판정의 결과에 따른 정보를 촬상 제어부(333)에 공급한다.
(자동 셔터 처리)
다음으로, 도 18의 플로우차트를 참조하여, 도 17에 나타낸 제어부(35)를 구비하는 화상 처리 장치(11)에 의한 자동 셔터 처리에 대해서 설명한다.
도 18에 나타낸 플로우차트의 스텝 S411, S412, S414의 처리는, 도 15에 나타낸 플로우차트의 스텝 S311, S312, S314의 처리와 기본적으로 동일하기 때문에, 그 설명은 생략한다는 것에 유의하라.
구체적으로, 스텝 S413에서, 영역 형상 판정부(431)는, 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보에 기초하여, 1 프레임마다, 입력 화상에서의 피사체 영역의 종횡비를 감시하고, 피사체 영역의 종횡비가, 소정수 프레임동안 변화하고 있지 않은지의 여부를 판정한다.
스텝 S413에서, 피사체 영역의 종횡비가, 소정수 프레임동안 변화했다고 판정된 경우, 처리는 스텝 S411로 되돌아가서, 스텝 S411 내지 S413의 처리가 반복된다.
한편, 스텝 S413에서, 피사체 영역의 종횡비가, 소정수 프레임동안 변화하지 않다고 판정된 경우, 영역 형상 판정부(431)는 피사체 영역의 종횡비가 소정수 프레임동안 변화하지 않다는 취지의 정보를 촬상 제어부(333)에 공급한다.
예를 들어, (n-q)프레임째로부터 n프레임째까지의 q프레임동안, 피사체 영역의 종횡비 P(n-q), ..., P(n)의 변화의 폭이 거의 검출되지 않는 경우, 즉, 피사체의 상태 변화가 정지했을 때, 피사체 영역의 종횡비가 소정수 프레임동안 변환하지 않다는 취지의 정보가, 촬상 제어부(333)에 공급된다. 이에 응답하여, 촬상 제어부(333)에 의해 n프레임째의 입력 화상의 촬상이 지시된다.
이상의 처리에 따르면, 피사체가 포함되는 피사체 영역의 종횡비가 소정수 프레임동안 변화하지 않을 때에, 정지 화상이 촬상된다. 따라서, 예를 들어, 계속 움직이고 서 있거나 웅크리거나 하는 것을 반복하는 어린이의 동작이 멈춘 수 초를 놓치지 않고 촬상할 수 있다. 또한, 피사체 추종 처리에서, 피사체로서 새가 선택된 경우에는, 공중에서 새가 날개짓을 멈춘 수 초동안 촬상할 수 있다. 이와 같이, 사람 이외의, 표정을 갖지 않는 피사체이어도, 보다 확실하게 베스트 샷 화상을 얻을 수 있다.
이상에서는, 피사체의 상태 변화에 따라서 정지 화상을 촬상하였다. 그러나, 이 구성에서는, 입력 화상 상의 피사체의 위치에 관계없이 정지 화상이 촬상된다. 따라서, 피사체가 화상의 가장자리 쪽에 있는 화상이 얻어지게 되는 경우가 있다. 이러한 화상은 결코 좋은 구도의 화상이라고는 할 수 없을 가능성이 높다.
(제어부의 또 다른 기능 구성예)
이에 덧붙여서, 도 19를 참조하여, 피사체의 위치와, 피사체의 상태의 변화에 따라서 정지 화상을 촬상하는 화상 처리 장치(11)에 제공된 제어부(35)의 기능 구성예에 대해서 설명한다.
도 19의 제어부(35)에서, 도 14에 도시한 제어부(35)의 구성 요소와 동일한 기능을 구비한 구성 요소에 대해서는, 동일 명칭 및 동일 부호를 부여하고, 그 설명은 적절하게 생략한다는 것에 유의하라.
보다 구체적으로, 도 19에 도시한 제어부(35)에서, 도 14에 도시한 제어부(35)와 상이한 것은, 위치 검출부(531)를 새롭게 제공하고 있다는 점이다.
위치 검출부(531)는 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보에 기초하여, 입력 화상의 소정의 프레임에서의 피사체의 위치를 검출한다. 검출된 위치에 따라, 위치 검출부(531)는 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보를 영역 형상 판정부(332)에 공급한다.
(자동 셔터 처리)
다음으로, 도 20에 도시한 플로우차트를 참조하여, 도 19에 도시한 제어부(35)를 구비하는 화상 처리 장치(11)에 의한 자동 셔터 처리에 대해서 설명한다.
도 20에 도시한 플로우차트의 스텝 S511, S512, S514, S515의 처리는, 도 15에 도시한 플로우차트의 스텝 S311 내지 S314의 처리와 기본적으로 동일하기 때문에, 그 설명은 생략한다는 것에 유의하라.
구체적으로, 스텝 S513에서, 위치 검출부(531)는 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보에 기초하여, 1 프레임마다, 입력 화상에서의 피사체 영역의 위치를 감시하고, 피사체 영역의 위치가 입력 화상에서의 소정 영역 내에 있는지 여부를 판정한다. 위치 검출부(531)에 의해 검출되는 피사체 영역의 위치는 직사각형 영역인 피사체 영역의 4정점의 모든 좌표이거나, 피사체 영역의 중심 위치의 좌표일 수도 있다. 또한, 소정 영역은 입력 화상에서, 입력 화상의 중심 부근에 설정되는 것으로 가정한다.
스텝 S513에서, 피사체 영역의 위치가 소정 영역 내에 없다고 판정된 경우, 처리는 스텝 S511로 복귀되고, 스텝 S511 내지 S513의 처리가 반복된다.
한편, 스텝 S513에서, 피사체 영역의 위치가 소정 영역 내에 있다고 판정된 경우, 위치 검출부(531)는 좌표 정보 취득부(331)로부터 공급된 피사체 영역의 좌표 정보를 영역 형상 판정부(332)에 공급한다.
그 결과, 도 21에 도시된 바와 같이, 파선으로 나타내지는 영역 A 내에 피사체 영역이 있는 경우에, 영역 형상 판정부(332)에 의해, (n-1)프레임째의 입력 화상에서의 피사체 영역의 종횡비 P(n-1)와, n프레임째의 입력 화상에서의 피사체 영역의 종횡비 P(n)간의 차 ｜P(n)-P(n-1)｜가, 소정의 임계값보다 크다고 판정되면, 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화되었다는 취지의 정보가, 촬상 제어부(333)에 공급된다. 이에 응답하여, 촬상 제어부(333)에 의해 n프레임째의 입력 화상의 촬상이 지시된다.
이상의 처리에 따르면, 입력 화상 상의 소정 영역 내에서, 피사체가 포함되는 피사체 영역의 종횡비가 크게 변화되었을 때에, 정지 화상이 촬상된다. 따라서, 도 21에 도시된 바와 같이, 예를 들어, 어린이가 넘어진 순간 등의 결정적 순간을 놓치지 않고, 보다 좋은 구도로 촬상할 수 있다. 또한, 피사체 추종 처리에서, 피사체로서 새가 선택된 경우에는, 그 새를 둘러싸는 피사체 프레임(피사체 영역)의 종횡비의 변화에 의해, 예를 들어, 새가 날개짓하는 순간을 보다 좋은 구도로 촬상할 수 있다. 이와 같이, 사람 이외의, 표정을 갖지 않는 피사체이어도, 보다 좋은 구도로, 보다 확실하게 베스트 샷 화상을 얻을 수 있다.
이상에서는, 입력 화상 상의 소정 영역 내에서, 피사체의 상태가 변화되었을 때에 정지 화상을 촬상하였다. 그러나, 도 19에 도시한 제어부(35)에서, 영역 형상 판정부(332) 대신에, 도 17에 도시한 영역 형상 판정부(431)가 제공되는 경우, 입력 화상 상의 소정 영역 내에서, 피사체의 상태 변화가 정지했을 때에 정지 화상을 촬상할 수도 있다.
또한, 이상에서는, 소정 영역은 입력 화상의 중심 부근에 설정되는 것으로 가정했지만, 유저에 의해, 입력 화상 상의 원하는 위치에 설정되도록 할 수도 있다. 따라서, 유저가 원하는 구도의 화상을 촬상할 수 있다.
이상에서는, 인물에 한정되지 않는 피사체의 상태 변화에 따라서 정지 화상을 촬상하였다. 피사체가 인물인 경우, 인물의 얼굴을 검출하고, 피사체(인물) 전체와 얼굴의 관계에 따라서 인물의 정지 화상을 촬상할 수도 있다.
(화상 처리 장치의 다른 구성예)
도 22는 피사체로서의 인물의 얼굴을 검출하고, 피사체(인물) 전체와 얼굴의 관계에 따라서 정지 화상을 촬상하도록 한 화상 처리 장치(611)의 구성예를 도시하고 있다.
도 22에 도시한 화상 처리 장치(611)에서, 도 1의 화상 처리 장치(11)에 제공된 구성 요소와 동일한 기능을 구비한 구성 요소에 대해서는, 동일 명칭 및 동일한 부호를 붙이고, 그 설명은 적절하게 생략한다는 것에 유의하라.
구체적으로, 도 22의 화상 처리 장치(611)에서, 도 1에 도시한 화상 처리 장치(11)와 상이한 것은, 디지털 신호 처리부(33)에서 얼굴 검출부(621)를 새롭게 제공하고, 제어부(35) 대신에, 제어부(622)를 제공했다는 점이다.
얼굴 검출부(621)는 YC 생성부(53)에 의해 생성된 휘도 신호 및 색신호로 이루어지는 화상 데이터에 기초하여, 화상 데이터에 의해 표시되는 입력 화상에서, 피사체 추종부(55)에 의해 검출된 피사체로서의 인물의 피사체 영역으로부터 얼굴을 검출한다. 다음으로, 얼굴 검출부(621)는 얼굴의 영역(이하, 얼굴 영역이라고 함)을 나타내는 좌표 정보를 제어부(622)에 공급한다.
제어부(622)는 피사체 추종부(55)로부터 공급된 피사체 영역 및 얼굴 검출부(621)로부터 공급된 얼굴 영역의 좌표 정보에 기초하여, 정지 화상을 촬상하는 자동 셔터 처리를 실행한다.
(제어부의 기능 구성예)
여기서, 도 23을 참조하여, 제어부(622)의 기능 구성예에 대해서 설명한다.
또한, 도 23에 도시한 제어부(622)에서, 촬상 제어부(633)는 도 14에 도시한 제어부(35)에서의 촬상 제어부(333)와 기본적으로 동일한 기능을 가지고 있기 때문에, 그 설명은 생략한다는 것에 유의하라.
좌표 정보 취득부(631)는 피사체 추종부(55)로부터, 입력 화상의 1 프레임마다 공급되는 피사체 영역의 좌표 정보를 취득하고, 또한, 얼굴 검출부(621)로부터, 입력 화상의 1 프레임마다 공급되는 얼굴 영역의 좌표 정보를 취득하여, 이 취득된 좌표 정보를 영역 형상 판정부(632)에 공급한다.
영역 형상 판정부(632)는 좌표 정보 취득부(631)로부터 공급된 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 피사체 영역과 얼굴 영역의 비의, 프레임간에서의 변화를 판정하고, 판정의 결과에 따른 정보를 촬상 제어부(633)에 공급한다.
(자동 셔터 처리)
다음으로, 도 24에 도시한 플로우차트를 참조하여, 도 23에 도시한 제어부(622)를 구비하는 도 22에 도시한 화상 처리 장치(611)에 의한 자동 셔터 처리에 대해서 설명한다.
또한, 도 24에 도시한 플로우차트의 스텝 S611 및 S615의 처리는 도 15에 도시한 플로우차트의 스텝 S311 및 S314의 처리와 기본적으로 동일하기 때문에, 그 설명은 생략한다.
구체적으로, 스텝 S612에서, 얼굴 검출부(621)는 입력 화상에서, 피사체 추종부(55)에 의한 피사체 추종 처리에 의해 검출된 피사체로서의 인물의 피사체 영역으로부터 얼굴을 검출한다. 다음으로, 얼굴 검출부(621)는 얼굴 영역을 나타내는 좌표 정보를 제어부(622)에 공급한다.
스텝 S613에서, 좌표 정보 취득부(631)는 피사체 추종부(55) 및 얼굴 검출부(621)로부터 각기 공급된 피사체 영역 및 얼굴 영역의 좌표 정보를 취득하여, 이 취득된 좌표 정보를 영역 형상 판정부(632)에 공급한다.
스텝 S614에서, 영역 형상 판정부(632)는 좌표 정보 취득부(631)로부터 공급된 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 1 프레임마다, 입력 화상에서의 피사체 영역과 얼굴 영역의 비를 감시하고, 프레임 사이에서, 피사체 영역과 얼굴 영역의 비가 소정의 임계값보다 크게 변화했는지의 여부를 판정한다.
보다 구체적으로는, 영역 형상 판정부(632)는 좌표 정보 취득부(631)로부터의 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 프레임 사이에서, 비 Fh/Hw(Fh는 얼굴 영역을 나타내는 얼굴 프레임 F의 높이이고 Hw는 피사체 영역을 나타내는 피사체 프레임 H의 폭임)가 소정의 임계값보다 크게 변화했는지의 여부를 판정한다.
스텝 S614에서, 피사체 영역과 얼굴 영역의 비가 소정의 임계값보다 크게 변화하지 않다고 판정된 경우, 처리는 스텝 S611로 되돌아가서, 스텝 S611 내지 S614의 처리가 반복된다.
한편, 스텝 S614에서, 피사체 영역과 얼굴 영역의 비가 소정의 임계값보다 크게 변화했다고 판정된 경우, 영역 형상 판정부(632)는 피사체 영역과 얼굴 영역의 비가 소정의 임계값보다 크게 변화되었다는 취지의 정보를 촬상 제어부(633)에 공급한다.
예를 들어, 도 25의 좌측에 도시된 바와 같이, (n-1)프레임째의 입력 화상에서, 피사체인 어린이가 달리고 있는 경우, 피사체 영역과 얼굴 영역의 비 Q(n-1)는 피사체 영역을 나타내는 피사체 프레임 H(n-1)의 폭 Hw(n-1)와, 얼굴 영역을 나타내는 얼굴 프레임 F(n-1)의 높이 Fh(n-1)를 사용하여, Fh(n-1)/Hw(n-1)로 나타내진다.
그리고, 도 25의 우측에 도시된 바와 같이, n프레임째의 입력 화상에서, 피사체인 어린이가 넘어진 경우, n프레임째의 입력 화상에서의 피사체 영역과 얼굴 영역의 비 Q(n)=Fh(n)/Hw(n)는, (n-1)프레임째의 입력 화상에서의 피사체 영역과 얼굴 영역의 비 Q(n-1)와 비교해서 변화되었다.
이때, 영역 형상 판정부(632)에 의해, (n-1)프레임째의 입력 화상에서의 피사체 영역과 얼굴 영역의 비 Q(n-1)와, n프레임째의 입력 화상에서의 피사체 영역과 얼굴 영역의 비 Q(n)간의 차 ｜Q(n)-Q(n-1)｜가, 소정의 임계값보다 크다고 판정되면, 피사체 영역과 얼굴 영역의 비가 소정의 임계값보다 크게 변화되었다는 취지의 정보가, 촬상 제어부(633)에 공급된다. 이에 응답하여, 촬상 제어부(633)에 의해 n프레임째의 입력 화상의 촬상이 지시된다.
이상의 처리에 따르면, 피사체 영역과 얼굴 영역의 비가 크게 변화되었을 때에, 정지 화상이 촬상된다. 그 결과, 도 25에 도시된 바와 같이, 어린이가 넘어진 순간과 같은 결정적 순간을 놓치지 않고 촬상할 수 있기 때문에, 보다 확실하게 베스트 샷 화상을 얻을 수 있다.
또한, 도 23에 도시한 제어부(622)에서, 좌표 정보 취득부(631)의 후단에, 도 19에 도시한 위치 검출부(531)를 더 포함하는 경우, 입력 화상 상의 소정 영역 내에서, 피사체 영역과 얼굴 영역의 비가 크게 변화되었을 때에 정지 화상을 촬상할 수도 있다는 것에 유의하라.
또한, 이상에서는, 인물인 피사체의 피사체 영역과, 인물의 일부인 얼굴의 얼굴 영역의 비가 변화되었을 때에 정지 화상을 촬상하였다. 그러나, 피사체와, 그 피사체의 일부를 각각 검출할 수 있으면, 각각의 영역의 비의 변화에 따라, 인물 이외의 피사체를 촬상할 수도 있다.
이상에서는, 피사체 영역과 얼굴 영역의 비가 변화되었을 때에 정지 화상을 촬상하는 구성에 대해서 설명했지만, 피사체 영역과 얼굴 영역의 비가 미리 결정된 소정값으로 되었을 때에 정지 화상을 촬상할 수도 있다.
(제어부의 다른 기능 구성예)
이에 덧붙여서, 도 26을 참조하여, 피사체 영역과 얼굴 영역의 비가, 미리 결정된 소정값으로 되었을 때에 정지 화상을 촬상하는 화상 처리 장치(611)에 제공되는 제어부(622)의 구성예에 대해서 설명한다.
도 26의 제어부(622)에서, 도 23에 도시된 제어부(622)에 제공된 구성 요소와 동일한 기능을 구비하는 구성 요소에 대해서는, 동일 명칭 및 동일한 부호를 붙이고, 그 설명은 적절하게 생략한다는 것에 유의하라.
보다 구체적으로, 도 26에 도시된 제어부(622)에서, 도 23에 도시된 제어부(622)와 상이한 것은, 영역 형상 판정부(632) 대신에, 영역비 비교부(731)를 제공한다는 점이다.
영역비 비교부(731)는 좌표 정보 취득부(631)로부터 공급된 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 입력 화상의 소정의 프레임에서의 피사체 영역과 얼굴 영역의 비와, 미리 결정된 목표값을 비교하고, 비교의 결과에 따른 정보를 촬상 제어부(633)에 공급한다. 목표값은 유저에 의해 임의로 설정되도록 할 수 있다는 것에 유의하라.
(자동 셔터 처리)
다음으로, 도 27의 플로우차트를 참조하여, 도 26에 도시한 제어부(622)를 구비하는 도 22의 화상 처리 장치(611)에 의해 수행되는 자동 셔터 처리에 대해서 설명한다.
또한, 도 27에 도시한 플로우차트의 스텝 S711 내지 S713, S715의 처리는 도 24에 도시한 플로우차트의 스텝 S611 내지 S613, S615의 처리와 기본적으로 동일하기 때문에, 그 설명은 생략한다.
구체적으로, 스텝 S714에서, 영역비 비교부(731)는 좌표 정보 취득부(631)로부터 공급된 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 입력 화상의 소정의 프레임에서의 피사체 영역과 얼굴 영역의 비와, 미리 결정된 목표값을 비교한다.
보다 구체적으로는, 영역비 비교부(731)는 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 피사체 영역과 얼굴 영역의 비와 목표값간의 차가 소정의 임계값보다 작은지의 여부를 판정한다.
스텝 S714에서, 피사체 영역과 얼굴 영역의 비와 목표값간의 차가 소정의 임계값보다 작지 않다고 판정된 경우, 처리는 스텝 S711로 되돌아가서, 스텝 S711 내지 S714의 처리가 반복된다.
한편, 스텝 S714에서, 피사체 영역과 얼굴 영역의 비와 목표값간의 차가 소정의 임계값보다 작다고 판정된 경우, 즉, 피사체 영역과 얼굴 영역의 비와 목표값이 동일 또는 거의 동일한 경우, 영역비 비교부(731)는 피사체 영역과 얼굴 영역의 비와 목표값간의 차가 소정의 임계값보다 작아졌다는 취지의 정보를 촬상 제어부(633)에 공급한다.
예를 들어, 도 28의 좌측에 도시된 바와 같이, p프레임째의 입력 화상에서, 피사체인 어린이가 화상 처리 장치(611)의 뒷쪽에서부터 앞쪽으로 달려오고 있는 것으로 가정한다. 여기서, 피사체 영역과 얼굴 영역의 비 S(p)는 p프레임째의 입력 화상에서의 피사체 영역을 나타내는 피사체 프레임 H(p)의 높이 Hh(p)와, 얼굴 영역을 나타내는 얼굴 프레임 F(p)의 높이 Fh(p)를 사용하여, Hh(p)/Fh(p)로 나타내진다.
그리고, 도 28의 우측에 도시된 바와 같이, 피사체인 어린이가 화상 처리 장치(611)의 근접하여 이동하고, N프레임째의 입력 화상에서, 피사체 영역과 얼굴 영역의 비 S(N)=Hh(N)/Fh(N)와 목표값간의 차가, 소정의 임계값보다 작다고 판정되면, 피사체 영역과 얼굴 영역의 비와 목표값간의 차가 소정의 임계값보다 작다는 취지의 정보가 촬상 제어부(633)에 공급된다. 이에 응답하여, 촬상 제어부(633)에 의해 N프레임째의 입력 화상의 촬상이 지시된다.
이상의 처리에 따르면, 피사체 영역과 얼굴 영역의 비와 목표값간의 차가 소정의 임계값보다 작아졌을 때에, 정지 화상이 촬상된다. 그 결과, 도 28에 도시된 바와 같이, 어린이가 근접해 와서, 촬상 범위에서의 인물의 크기(소위 샷)가, 상반신을 촬상하는 베스트 샷으로 된 순간을 촬상할 수 있다. 따라서, 보다 확실하게 베스트 샷 화상을 얻을 수 있다.
또한, 목표값을 조정함으로써, 전신상을 촬상하는 풀 샷이나, 얼굴을 촬상하는 클로즈-업 샷 등과 같은 유저가 원하는 샷에서, 정지 화상을 촬상할 수 있다.
이상에서는, 화상 처리 장치가, 정지 화상을 촬상하는 디지털 스틸 카메라로서 구성되는 경우의 처리에 대해서 설명하였다. 화상 처리 장치가 동화상을 촬상하는 디지털 비디오 카메라로서 구성되는 경우, 화상 처리 장치가 피사체 추종 처리의 추종 결과를 적용한 어플리케이션의 일례로서, 프레임 특정 처리를 실행하게 할 수 있다. 이 프레임 특정 처리는 추종한 피사체의 상태 변화에 따라, 동화상에서의 소정의 프레임을 특정한다.
(화상 처리 장치의 또 다른 구성예)
다음으로, 도 29를 참조하여, 프레임 특정 처리를 실행하는 화상 처리 장치(811)의 구성예에 대해서 설명한다. 이 프레임 특정 처리는 상술한 피사체 추종 처리에 의해 추종한 피사체의 상태 변화에 따라, 동화상에서의 소정의 프레임을 특정한다.
또한, 도 29에 도시한 화상 처리 장치(811)에서, 도 1에 도시한 화상 처리 장치(11)에 제공된 구성 요소와 동일한 기능을 구비하는 구성 요소에 대해서는, 동일 명칭 및 동일한 부호를 붙이고, 그 설명은 적절하게 생략한다는 것에 유의하라.
구체적으로, 도 29에 도시한 화상 처리 장치(811)에서, 도 1에 도시한 화상 처리 장치(11)와 상이한 것은, 제어부(35) 대신에, 제어부(821)가 제공된다는 점이다.
제어부(821)는 피사체 추종부(55)로부터 공급된 피사체 영역의 좌표 정보에 기초하여, 동화상에서의 소정의 프레임을 특정하는 프레임 특정 처리를 실행한다.
(제어부의 기능 구성예)
여기서, 도 30을 참조하여, 제어부(821)의 기능 구성예에 대해서 설명한다.
도 30에 나타낸 제어부(821)에서, 좌표 정보 취득부(831) 및 영역 형상 판정부(832)는 도 14에 나타낸 제어부(35)에 제공된 좌표 정보 취득부(331) 및 영역 형상 판정부(332)와 기본적으로 동일한 기능을 구비하기 때문에, 그 설명은 생략한다.
프레임 특정부(833)는 영역 형상 판정부(832)로부터의 정보에 기초하여, 디지털 신호 처리부(33)를 제어하여, 디지털 신호 처리부(33)에서 신호 처리를 실시하고, 기록 미디어(도면에 도시되지 않음)에 기록되는 입력 화상의 소정의 프레임을 특정시킨다.
(프레임 특정 처리)
다음으로, 도 31에 도시한 플로우차트를 참조하여, 도 30에 도시한 제어부(821)를 포함하는 도 29에 도시한 화상 처리 장치(811)에 의한 프레임 특정 처리에 대해서 설명한다.
도 31에 도시한 플로우차트의 스텝 S811 내지 S813의 처리는, 도 15에 도시한 플로우차트의 스텝 S311 내지 S313의 처리와 기본적으로 동일하기 때문에, 그 설명은 생략한다는 것에 유의하라.
구체적으로, 스텝 S814에서, 프레임 특정부(833)는 영역 형상 판정부(832)로부터, 피사체 영역의 종횡비가 소정의 임계값보다 크게 변화되었다는 취지의 정보가 공급되면, 디지털 신호 처리부(33)를 제어하여, 입력 화상에 대하여, 소정의 프레임을 특정하기 위한 태그를 부가시킨다. 이에 의해, 소정의 프레임을 특정하는 태그가 메타데이터로서 부가된 동화상이 기록 미디어(도면에 도시되지 않음)에 기록된다.
이상의 처리에 따르면, 피사체가 포함되는 피사체 영역의 종횡비가 크게 변화되었을 때에, 동화상에서 프레임을 특정하는 태그가 부가된다. 따라서, 예를 들어, 기록된 동화상을 편집하는 경우, 어린이가 넘어진 순간과 같은 결정적 순간을 간단하게 검색하는 것이 가능해진다.
이상에서는, 피사체 영역의 종횡비가 크게 변화되었을 때에, 동화상에서 프레임이 특정되었다는 것에 유의하라. 그러나, 도 30에 도시된 제어부(821)에 영역 형상 판정부(832) 대신에, 도 17에 도시된 영역 형상 판정부(431)를 제공하는 경우, 입력 화상 상의 소정 영역 내에서, 피사체의 상태의 변화가 정지했을 때에 동화상에서 프레임을 특정하도록 할 수도 있다.
또한, 도 30에 도시된 제어부(821)가 좌표 정보 취득부(831)의 후단에, 도 19에 도시된 위치 검출부(531)를 더 포함하는 경우, 입력 화상 상의 소정 영역 내에서, 피사체의 상태가 변화되었을 때에 동화상에서 프레임을 특정하도록 할 수도 있다.
또한, 화상 처리 장치(811)의 디지털 신호 처리부(33)가 도 22에 도시된 얼굴 검출부(621)를 더 포함하고, 도 30에 도시된 제어부(821)가 영역 형상 판정부(832) 대신에, 도 23에 도시된 영역 형상 판정부(632)를 포함하는 경우, 피사체 영역과 얼굴 영역의 비가 크게 변화되었을 때에, 동화상에서 프레임을 특정하도록 할 수도 있다.
또한, 피사체 영역과 얼굴 영역의 비가 크게 변화되었을 때에, 프레임 특정부(833)는 디지털 신호 처리부(33)에 대하여, 기록 미디어(도면에 도시되지 않음)에의 동화상의 기록을 개시 또는 종료시키는 지시를 발행할 수도 있다.
상술한 일련의 처리는 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터에, 프로그램 기록 매체로부터 인스톨된다.
도 32는 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은 버스(904)에 의해 서로 접속되어 있다.
버스(904)에는, 또한, 입출력 인터페이스(905)가 접속되어 있다. 입출력 인터페이스(905)에는, 입력부(906), 출력부(907), 기억부(908), 통신부(909), 리무버블 미디어(911)를 구동하는 드라이브(910)가 접속되어 있다. 입력부(906)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(907)는 디스플레이, 스피커 등을 포함한다. 기억부(908)는 하드 디스크, 비휘발성의 메모리 등을 포함한다. 통신부(909)는 네트워크 인터페이스 등을 포함한다. 리무버블 미디어(911)는 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등이다.
이상과 같이 구성되는 컴퓨터에서는, CPU(901)가 예를 들어, 기억부(908)에 기억되어 있는 프로그램을 입출력 인터페이스(905) 및 버스(904)를 통해 RAM(903)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(901))가 실행하는 프로그램은 예를 들어, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(911)에 기록함으로써 제공된다. 대안적으로, 상술한 프로그램은 근거리 통신망, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해서 제공된다.
프로그램은 리무버블 미디어(911)를 드라이브(910)에 장착함으로써, 입출력 인터페이스(905)를 통하여, 기억부(908)에 인스톨할 수 있다. 또한, 프로그램은 유선 또는 무선의 전송 매체를 통하여, 통신부(909)에서 수신하고, 기억부(908)에 인스톨할 수 있다. 또한, 프로그램은 ROM(902) 또는 기억부(908)에, 미리 인스톨될 수 있다.
또한, 컴퓨터가 실행하는 프로그램은 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램일 수 있거나, 호출이 행해졌을 때와 같은 필요한 타이밍에서 처리가 행해지는 프로그램일 수도 있다는 것에 유의하라.
본 발명의 실시 형태는 상술한 실시 형태에 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
11 : 화상 처리 장치
34 : 표시부
35 : 제어부
55 : 피사체 추종부
71 : 피사체 맵 생성부
72 : 피사체 후보 영역 직사각형화부
73 : 피사체 영역 선택부
74 : 가중치 계수 산출부
111 : 특징량 맵 생성부
112 : 대역 특징량 맵 생성부
113 : 대역 특징량 맵 합성부
114 : 합성 특징량 맵 합성부
131 : 2치화 처리부
132 : 라벨링 처리부
133 : 직사각형 영역 좌표 산출부
134 : 영역 정보 산출부
151 : 영역 정보 비교부
152 : 피사체 영역 결정부
200 : 입력 화상
201 : 피사체 맵
221, 222 : 직사각형 영역
231 : 피사체 프레임
332 : 영역 형상 판정부
333 : 촬상 제어부
431 : 영역 형상 판정부
531 : 위치 검출부
632 ; 영역 형상 판정부
633 : 촬상 제어부
731 ; 영역비 비교부
832 : 영역 형상 판정부
833 : 프레임 판정부

Claims (20)

  1. 연속하는 복수 프레임의 화상에 있어서, 주목하는 피사체의 영역인 피사체 영역의 형상의 변화를 판정하는 판정 수단과,
    상기 판정 수단에 의해 상기 피사체 영역의 형상의 변화가 판정된 프레임의 화상을 특정하는 특정 수단을 구비하고,
    상기 판정 수단은, 주목하는 상기 피사체로서의 인물의 영역인 인물 영역의 폭과, 상기 인물 영역에 포함되는, 상기 인물의 얼굴의 영역인 얼굴 영역의 높이의 비가, 프레임 간에, 소정의 임계값보다 크게 변화했는지 여부를 판정하고,
    상기 특정 수단은, 상기 판정 수단에 의해 상기 인물 영역의 폭과 상기 얼굴 영역의 높이의 비가, 프레임 간에, 상기 소정의 임계값보다 크게 변화했다고 판정된 때의 프레임의 화상을 특정하는, 화상 처리 장치.
  2. 제1항에 있어서,
    피사체를 촬상하는 촬상 수단을 더 구비하고,
    상기 특정 수단은, 상기 판정 수단에 의해 상기 피사체 영역의 형상의 변화가 판정된 상기 프레임의 화상을 특정하고, 상기 촬상 수단에, 특정한 상기 프레임의 화상의 촬상을 지시하는, 화상 처리 장치.
  3. 연속하는 복수 프레임의 화상에 있어서, 주목하는 피사체의 영역인 피사체 영역의 형상의 변화를 판정하는 판정 수단과,
    상기 판정 수단에 의해 상기 피사체 영역의 형상의 변화가 판정된 프레임의 화상을 특정하는 특정 수단을 구비하는 화상 처리 장치의 화상 처리 방법에 있어서,
    상기 판정 수단이, 연속하는 복수 프레임의 화상에 있어서, 주목하는 상기 피사체의 영역인 피사체 영역의 형상의 변화를 판정하는 판정 단계와,
    상기 특정 수단이, 상기 판정 단계의 처리에 의해 상기 피사체 영역의 형상의 변화가 판정된 프레임의 화상을 특정하는 특정 단계를 포함하고,
    상기 판정 단계의 처리는, 주목하는 상기 피사체로서의 인물의 영역인 인물 영역의 폭과, 상기 인물 영역에 포함되는, 상기 인물의 얼굴의 영역인 얼굴 영역의 높이의 비가, 프레임 간에, 소정의 임계값보다 크게 변화했는지 여부를 판정하고,
    상기 특정 단계의 처리는, 상기 판정 단계의 처리에 의해 상기 인물 영역의 폭과 상기 얼굴 영역의 높이의 비가, 프레임 간에, 상기 소정의 임계값보다 크게 변화했다고 판정된 때의 프레임의 화상을 특정하는, 화상 처리 방법.
  4. 연속하는 복수 프레임의 화상에 있어서, 주목하는 피사체의 영역인 피사체 영역의 형상의 변화를 판정하는 판정 단계와,
    상기 판정 단계의 처리에 의해 상기 피사체 영역의 형상의 변화가 판정된 프레임의 화상을 특정하는 특정 단계를 포함하는 처리를 컴퓨터에 실행시키고,
    상기 판정 단계의 처리는, 주목하는 상기 피사체로서의 인물의 영역인 인물 영역의 폭과, 상기 인물 영역에 포함되는, 상기 인물의 얼굴의 영역인 얼굴 영역의 높이의 비가, 프레임 간에, 소정의 임계값보다 크게 변화했는지 여부를 판정하고,
    상기 특정 단계의 처리는, 상기 판정 단계의 처리에 의해 상기 인물 영역의 폭과 상기 얼굴 영역의 높이의 비가, 프레임 간에, 상기 소정의 임계값보다 크게 변화했다고 판정된 때의 프레임의 화상을 특정하는, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 연속하는 복수 프레임의 화상에 있어서, 주목하는 피사체로서의 인물의 영역인 인물 영역의 높이와, 상기 인물 영역에 포함되는, 상기 인물의 얼굴의 영역인 얼굴 영역의 높이의 비와, 미리 정해진 목표 값을 비교하는 비교 수단과,
    상기 비교 수단에 의한 비교의 결과, 상기 인물 영역의 높이와 상기 얼굴 영역의 높이의 비와, 상기 목표 값의 차가, 소정의 임계값보다 작게 된 프레임의 화상을 특정하는 특정 수단을 구비하는 화상 처리 장치.
  13. 연속하는 복수 프레임의 화상에 있어서, 주목하는 피사체로서의 인물의 영역인 인물 영역의 높이와, 상기 인물 영역에 포함되는, 상기 인물의 얼굴의 영역인 얼굴 영역의 높이의 비와, 미리 정해진 목표 값을 비교하는 비교 수단과,
    상기 비교 수단에 의한 비교의 결과, 상기 인물 영역의 높이와 상기 얼굴 영역의 높이의 비와, 상기 목표 값의 차가, 소정의 임계값보다 작게 된 프레임의 화상을 특정하는 특정 수단을 구비하는 화상 처리 장치의 화상 처리 방법에 있어서,
    상기 비교 수단이, 연속하는 복수 프레임의 화상에 있어서, 주목하는 상기 피사체로서의 인물의 영역인 인물 영역의 높이와, 상기 인물 영역에 포함되는, 상기 인물의 얼굴의 영역인 얼굴 영역의 높이의 비와, 미리 정해진 목표 값을 비교하는 비교 단계와,
    상기 특정 수단이, 상기 비교 단계의 처리에 의한 비교의 결과, 상기 인물 영역의 높이와 상기 얼굴 영역의 높이의 비와, 상기 목표 값의 차가, 소정의 임계값보다 작게 된 프레임의 화상을 특정하는 특정 단계를 포함하는 화상 처리 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020127024675A 2010-03-30 2011-03-16 화상 처리 장치 및 방법과 컴퓨터 판독가능 기록 매체 KR101677315B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-079189 2010-03-30
JP2010079189A JP5577793B2 (ja) 2010-03-30 2010-03-30 画像処理装置および方法、並びにプログラム
PCT/JP2011/001547 WO2011121917A1 (en) 2010-03-30 2011-03-16 Image processing apparatus, method, and computer program storage device

Publications (2)

Publication Number Publication Date
KR20130009788A KR20130009788A (ko) 2013-01-23
KR101677315B1 true KR101677315B1 (ko) 2016-11-17

Family

ID=44711687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024675A KR101677315B1 (ko) 2010-03-30 2011-03-16 화상 처리 장치 및 방법과 컴퓨터 판독가능 기록 매체

Country Status (9)

Country Link
US (2) US8964038B2 (ko)
EP (2) EP2553920B1 (ko)
JP (1) JP5577793B2 (ko)
KR (1) KR101677315B1 (ko)
CN (1) CN102812699B (ko)
BR (1) BR112012023987A2 (ko)
RU (1) RU2012140422A (ko)
TW (1) TW201204024A (ko)
WO (1) WO2011121917A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5577793B2 (ja) * 2010-03-30 2014-08-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN103548056B (zh) * 2012-03-26 2017-02-22 松下电器（美国）知识产权公司 图像处理装置、摄像装置以及图像处理方法
WO2013187047A1 (ja) * 2012-06-13 2013-12-19 パナソニック株式会社 物体検出装置
US20150178587A1 (en) * 2012-06-18 2015-06-25 Thomson Licensing Device and a method for color harmonization of an image
US10474921B2 (en) 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
FR3047597B1 (fr) * 2016-01-04 2018-01-19 Laoviland Experience Procede de traitement graphique d'images
JP2018037944A (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置および撮像制御方法
WO2018076182A1 (zh) * 2016-10-25 2018-05-03 华为技术有限公司 一种图像拍摄方法及装置
CN106488128B (zh) * 2016-10-27 2020-02-28 成都西纬科技有限公司 一种自动拍照的方法及装置
JP2020154828A (ja) * 2019-03-20 2020-09-24 富士通株式会社 データ補完プログラム、データ補完方法及びデータ補完装置
JP7089493B2 (ja) * 2019-08-14 2022-06-22 Kddi株式会社 人物検知装置、方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031760A (ja) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
JP2009124210A (ja) * 2007-11-12 2009-06-04 Olympus Imaging Corp 撮像装置、撮像方法、画像検索装置および画像検索方法
JP2009253542A (ja) * 2008-04-03 2009-10-29 Casio Comput Co Ltd 撮影装置、画像記録方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04197019A (ja) 1990-11-28 1992-07-16 Hitachi Ltd ディジタル保護継電装置
JP3065838B2 (ja) * 1993-02-15 2000-07-17 沖電気工業株式会社 人物認識方法
JP4341936B2 (ja) * 1998-12-25 2009-10-14 カシオ計算機株式会社 撮像方法および撮像装置
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
WO2006040761A2 (en) * 2004-10-15 2006-04-20 Oren Halpern A system and a method for improving the captured images of digital still cameras
JP4096950B2 (ja) * 2005-02-24 2008-06-04 船井電機株式会社 撮像装置および自動撮影方法
JP2007123953A (ja) * 2005-10-24 2007-05-17 Sony Corp 撮像装置及び撮像方法
JP4197019B2 (ja) 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP4656331B2 (ja) * 2006-12-27 2011-03-23 富士フイルム株式会社 撮像装置および撮像方法
US20090009651A1 (en) 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
JP2009200713A (ja) 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
US8253812B2 (en) * 2008-02-23 2012-08-28 Sanyo Electric Co., Ltd. Video camera which adopts a focal-plane electronic shutter system
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP2010021943A (ja) 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
KR20100075167A (ko) * 2008-12-24 2010-07-02 삼성전자주식회사 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법
JP5577793B2 (ja) * 2010-03-30 2014-08-27 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031760A (ja) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
JP2009124210A (ja) * 2007-11-12 2009-06-04 Olympus Imaging Corp 撮像装置、撮像方法、画像検索装置および画像検索方法
JP2009253542A (ja) * 2008-04-03 2009-10-29 Casio Comput Co Ltd 撮影装置、画像記録方法、及びプログラム

Also Published As

Publication number Publication date
EP2553920A4 (en) 2014-06-18
KR20130009788A (ko) 2013-01-23
JP5577793B2 (ja) 2014-08-27
US9509903B2 (en) 2016-11-29
TW201204024A (en) 2012-01-16
EP2553920B1 (en) 2019-05-08
US8964038B2 (en) 2015-02-24
BR112012023987A2 (pt) 2016-08-02
CN102812699A (zh) 2012-12-05
EP2553920A1 (en) 2013-02-06
CN102812699B (zh) 2016-03-30
US20130027579A1 (en) 2013-01-31
RU2012140422A (ru) 2014-03-27
JP2011211631A (ja) 2011-10-20
WO2011121917A1 (en) 2011-10-06
US20150168811A1 (en) 2015-06-18
EP3512191A1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
KR101677315B1 (ko) 화상 처리 장치 및 방법과 컴퓨터 판독가능 기록 매체
JP5565041B2 (ja) 画像処理装置および方法、並びにプログラム
KR101603791B1 (ko) 파노라마의 생성 방법
EP2330812A1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
US20090002509A1 (en) Digital camera and method of controlling same
US11070729B2 (en) Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
US9332196B2 (en) Image processing device, method and program
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
JP2011146827A (ja) 画像処理装置および方法、並びにプログラム
US20230148125A1 (en) Image processing apparatus and method, and image capturing apparatus
JP5247419B2 (ja) 撮像装置および被写体追跡方法
WO2015104780A1 (ja) 映像撮像装置
JP5677080B2 (ja) 画像処理装置およびその制御方法
JP2005203880A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN117714862A (zh) 对焦方法、电子设备、芯片系统、存储介质及程序产品

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant