KR20080082526A - 화상 처리 장치, 화상 처리 방법, 및 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20080082526A
KR20080082526A KR1020080021491A KR20080021491A KR20080082526A KR 20080082526 A KR20080082526 A KR 20080082526A KR 1020080021491 A KR1020080021491 A KR 1020080021491A KR 20080021491 A KR20080021491 A KR 20080021491A KR 20080082526 A KR20080082526 A KR 20080082526A
Authority
KR
South Korea
Prior art keywords
image
subject
selection
face
unit
Prior art date
Application number
KR1020080021491A
Other languages
English (en)
Inventor
마사미찌 아스까이
마사아끼 쯔루따
노조무 오자끼
다이지 이또
아끼노부 스기노
히데히꼬 세끼자와
아까네 사노
요이찌로 사꼬
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080082526A publication Critical patent/KR20080082526A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

피사체와 촬상한 촬상자와의 관계에 기초하여 적어도 1 이상의 화상 중으로부터 피사체마다 화상을 선택하는 화상 처리 장치, 화상 처리 방법, 및 프로그램을 제공한다. 순차적으로 입력되는 선택 대상 화상 중으로부터 피사체의 얼굴 영역을 특정하고, 얼굴 영역에 대응하는 얼굴 화상을 선택 대상 화상마다 추출하는 얼굴 화상 추출부와, 얼굴 화상을 이용하여 선택 대상 화상을 촬상한 촬상자에 대한 피사체의 호감도를 선택 대상 화상마다 산출하는 호감도 산출부와, 호감도 산출부에서 호감도가 산출된 선택 대상 화상과, 이미 호감도가 산출된 피사체가 동일한 선택 대상 화상 중에서 가장 호감도가 큰 선택 후보 화상과의 비교를 행하여, 호감도가 큰 화상을 새로운 선택 후보 화상으로 하는 선택 화상 갱신부를 구비하는 화상 처리 장치가 제공된다.
Figure P1020080021491
호감도, 얼굴 영역, 선택 대상 화상, 선택 후보 화상, 선택 화상 갱신부, 얼굴 화상, 피사체, 촬상자

Description

화상 처리 장치, 화상 처리 방법, 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM}
본 발명은, 화상 처리 장치, 화상 처리 방법, 및 프로그램에 관한 것이다.
근년에, 디지털 카메라(Digital camera), 본건 출원인이 상표권을 갖는 「핸디캠(Handycam)」 등의 디지털 비디오 카메라(Digital video camera), 디지털 카메라 기능을 갖는 휴대 전화 등, 정지 화상 또는 동화상을 촬상하는 촬상 기능을 갖고, 또한, 촬상 기능 외에 음성 등의 녹음 기능도 아울러 갖는 장치가 널리 보급되고 있다.
상기 장치를 사용하는 유저는, 촬영한 정지 화상, 동화상을 후일(예를 들면, 당일, 수일 후, 혹은, 수년 후 등) 확인함으로써, 촬영 시에서의 정경의 추억에 잠길 수 있다. 또한, 유저는, 촬영한 정지 화상, 동화상을 확인하는 과정에서, 촬영한 정지 화상, 동화상 중으로부터, 예를 들면, 피사체가 미소를 지어 보이고 있는 화상이나, 피사체가 시선을 상기 장치를 향하고 있는 화상 등, 피사체의 촬상을 행한 촬상자에의 호의가 느껴지는 특정한 화상을 발견하고, 특정한 화상을 얻을 수도 있다.
그러나, 촬영한 정지 화상, 동화상의 양이 많아지면 많아질수록, 유저가 확인에 요하는 시간도 많아지고, 또한, 유저가 시간을 들여 확인을 행하였다고 해도, 확인한 정지 화상, 동화상으로부터 원하는 화상이 얻어진다고는 할 수 없다.
여기서, 피사체의 얼굴의 검출에 관련되는 기술로서는, 예를 들면, 특허 문헌 1을 들 수 있다.
[특허 문헌 1] 일본 특개 2000-132693호 공보
본 발명은, 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적으로 하는 부분은, 피사체와 촬상한 촬상자와의 관계에 기초하여 적어도 1 이상의 화상 중으로부터 피사체마다 화상을 선택하는 것이 가능한, 신규이며 또한 개량된 화상 처리 장치, 화상 처리 방법, 및 프로그램을 제공하는 것에 있다.
상기 목적을 달성하기 위해서, 본 발명의 제1 관점에 따르면, 순차적으로 입력되는 선택 대상 화상 중으로부터 피사체의 얼굴 영역을 특정하고, 얼굴 영역에 대응하는 얼굴 화상을 상기 선택 대상 화상마다 추출하는 얼굴 화상 추출부와, 상기 얼굴 화상을 이용하여 상기 선택 대상 화상을 촬상한 촬상자에 대한 피사체의 호감도를 상기 선택 대상 화상마다 산출하는 호감도 산출부와, 상기 호감도 산출부에서 호감도가 산출된 선택 대상 화상과, 이미 호감도가 산출된 피사체가 동일한 선택 대상 화상 중에서 가장 호감도가 큰 선택 후보 화상과의 비교를 행하여, 호감 도가 큰 화상을 새로운 선택 후보 화상으로 하는 선택 화상 갱신부를 구비하는 화상 처리 장치가 제공된다.
다시 말하면, 적어도 1 이상의 선택 대상 화상의 각각에 대해서, 피사체의 얼굴 화상을 추출하는 얼굴 화상 추출부와, 상기 얼굴 화상을 이용하여 상기 피사체의 호감도를 산출하는 호감도 산출부와, 상기 호감도 산출부에서 산출된 상기 호감도 중, 호감도가 가장 큰 얼굴 화상에 대응하는 화상을 선택 후보 화상으로서 선택하는 선택 화상 갱신부를 구비하는 화상 처리 장치가 제공된다.
상기 화상 처리 장치는, 얼굴 화상 추출부와, 호감도 산출부와, 선택 화상 갱신부를 구비할 수 있다. 얼굴 화상 추출부는, 순차적으로 입력되는 선택 대상 화상 중으로부터 피사체의 얼굴 부분을 포함하는 영역을 특정함으로써, 선택 대상인 피사체의 얼굴 영역에 대응하는 얼굴 화상을 추출할 수 있다. 호감도 산출부는, 얼굴 화상 추출부가 추출한 얼굴 화상을 이용하여, 선택 대상 화상에서의 피사체와 그 선택 대상 화상을 촬상한 촬상자와의 관계를 정량화한 값인 「호감도」를 선택 대상 화상마다 산출할 수 있다. 선택 화상 갱신부는, 호감도 산출부에서 호감도가 산출된 선택 대상 화상과, 이미 호감도가 산출된 피사체가 동일한 선택 대상 화상 중에서 가장 호감도가 큰 화상인 선택 후보 화상과의 비교를 행하여, 호감도가 큰 화상을 새로운 선택 후보 화상으로 할 수 있다. 이러한 구성에 의해, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 호감도가 가장 큰 화상을 선택할 수 있다.
또한, 상기 선택 화상 갱신부에서 갱신된 피사체마다의 상기 선택 후보 화상 을, 피사체마다의 선택 화상으로서 선택하는 화상 선택부를 더 구비하는 것으로 하여도 된다.
이러한 구성에 의해, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 호감도가 가장 큰 화상을 선택할 수 있다.
또한, 상기 호감도는, 상기 얼굴 화상의 크기, 피사체의 표정, 피사체의 얼굴의 방향, 피사체의 시선의 방향, 피사체의 눈 및 입의 검출의 유무, 상기 얼굴 화상의 채도, 상기 얼굴 화상의 공간 주파수 중 어느 하나, 또는, 조합에 기초하여 산출되는 것으로 하여도 된다.
이러한 구성에 의해, 피사체와 촬상한 촬상자와의 관계에 따른 호감도를 정량적으로 산출 할 수 있다.
또한, 상기 순차적으로 입력되는 선택 대상 화상 각각과 대응하는 음성이 입력되고, 상기 호감도는, 상기 음성의 억양, 상기 음성의 음량에 더 기초하여 산출되는 것으로 하여도 된다.
이러한 구성에 의해, 피사체와 촬상한 촬상자와의 관계에 따른 호감도를 정량적으로 산출할 수 있다.
또한, 상기 순차적으로 입력되는 선택 대상 화상마다 피사체가 선택 화상의 선택 대상인지의 여부를 판정하는 대상 판정부를 더 구비하는 것으로 하여도 된다.
이러한 구성에 의해, 피사체마다 화상을 선택할지의 여부를 제어할 수 있다.
또한, 상기 대상 판정부는, 화상을 선택하지 않는 피사체를 특정하는 비선택 대상 정보를 이용하여 상기 판정을 행하는 것으로 하여도 된다.
이러한 구성에 의해, 피사체마다 화상을 선택할지의 여부를 제어할 수 있다.
또한, 상기 호감도 산출부가 상기 선택 대상 화상에 대하여 산출한 호감도의 증감이 가능한 제1 호감도 편집부를 더 구비하는 것으로 하여도 된다.
이러한 구성에 의해, 유저의 손에 의한 호감도의 증감이 가능해지므로，보다 플렉시블(flexible)하게 화상의 선택을 행할 수 있다.
또한, 상기 피사체마다의 선택 후보 화상에 대하여 산출된 호감도의 증감이 가능한 제2 호감도 편집부를 더 구비하는 것으로 하여도 된다.
이러한 구성에 의해, 유저의 손에 의한 호감도의 증감이 가능해지므로，보다 플렉시블하게 화상의 선택을 행할 수 있다.
또한, 촬상을 행하는 촬상부를 더 구비하고, 상기 적어도 1 이상의 선택 대상 화상은, 상기 촬상부에 의해 촬상된 리얼타임으로 입력되는 화상인 것으로 하여도 된다.
또한, 화상을 유지하는 기억부를 더 구비하고, 상기 적어도 1 이상의 선택 대상 화상은, 상기 기억부에 유지된 화상인 것으로 하여도 된다.
또한, 상기 적어도 1 이상의 선택 대상 화상은, 외부 장치로부터 입력된 화상인 것으로 하여도 된다.
이러한 구성에 의해, 선택 대상 화상의 입력 경로를 막론하고, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 호감도가 가장 큰 화상을 선택할 수 있다.
또한, 상기 목적을 달성하기 위해서, 본 발명의 제2 관점에 따르면, 적어도 1 이상의 선택 대상 화상의 각각에 대하여, 피사체의 얼굴 영역을 특정하고, 얼굴 영역에 대응하는 얼굴 화상을 추출하는 스텝과, 상기 얼굴 화상을 이용하여 상기 피사체의 호감도를 산출하는 스텝과, 상기 산출하는 스텝에서 산출된 상기 호감도 중, 호감도가 가장 큰 얼굴 화상에 대응하는 화상을 선택 후보 화상으로서 선택하는 스텝을 갖는 화상 처리 방법이 제공된다.
이러한 방법을 이용함으로써, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 호감도가 가장 큰 화상을 선택할 수 있다.
또한, 상기 호감도가 큰 화상을 새로운 선택 후보 화상으로 하는 스텝에서 갱신된 피사체마다의 상기 선택 후보 화상을, 피사체마다의 선택 화상으로서 선택하는 스텝을 더 갖는 것으로 하여도 된다.
이러한 방법을 이용함으로써, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 호감도가 가장 큰 화상을 선택할 수 있다.
또한, 상기 목적을 달성하기 위해서, 본 발명의 제3 관점에 따르면, 적어도 1 이상의 선택 대상 화상의 각각에 대하여, 피사체의 얼굴 영역을 특정하고, 얼굴 영역에 대응하는 얼굴 화상을 추출하는 수단, 상기 얼굴 화상을 이용하여 상기 피사체의 호감도를 산출하는 수단, 상기 산출하는 수단에서 산출된 상기 호감도 중, 호감도가 가장 큰 얼굴 화상에 대응하는 화상을 선택 후보 화상으로서 선택하는 수 단으로서 컴퓨터를 기능시키기 위한 프로그램이 제공된다.
이러한 프로그램에 의해, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 호감도가 가장 큰 화상을 선택할 수 있다.
또한, 상기 호감도가 큰 화상을 새로운 선택 후보 화상으로 하는 수단에서 갱신된 피사체마다의 상기 선택 후보 화상을, 피사체마다의 선택 화상으로서 선택하는 수단으로서 상기 컴퓨터를 더 기능시키는 것으로 하여도 된다.
이러한 프로그램에 의해, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 호감도가 가장 큰 화상을 선택할 수 있다.
본 발명에 따르면, 피사체와 촬상한 촬상자와의 관계에 기초하여 적어도 1 이상의 화상 중으로부터 피사체마다 화상을 선택할 수 있다.
이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써 중복 설명을 생략한다.
(본 발명의 실시 형태에 따른 화상 처리 장치의 일례)
우선, 본 발명의 실시 형태에 따른 화상 처리 장치에 대해서 예시한다. 도 1, 도 2는, 본 발명의 실시 형태에 따른 화상 처리 장치의 일례를 도시하는 설명도 이다.
본 발명의 실시 형태에 따른 화상 처리 장치로서는, 예를 들면, 도 1에 도시한 바와 같은 웨어러블 카메라 등의 유저의 신체에 장착되어 사용되는 장치(예를 들면, 유저의 시선에 가까운 위치로부터 촬상을 행할 수 있음), 도 2에 도시한 바와 같은 디지털 비디오 카메라, 디지털 카메라(도시 생략), 디지털 카메라 기능을 가진 휴대 전화(도시 생략) 등, 정지 화상이나 동화상의 촬영이 가능한 촬상 기능을 갖는 장치, 또는, 정지 화상이나 동화상의 촬영과 함께 음성의 녹음도 가능한 촬상 기능, 녹음 기능을 갖는 장치를 들 수 있다.
또한, 본 발명의 실시 형태에 따른 화상 처리 장치는, 도 1, 도 2에 도시한 바와 같은 촬상 기능이나 녹음 기능을 갖는 장치에 한정되지 않고, 예를 들면, PC(Personal Computer)나 PDA(Personal Digital Assistant) 등의 촬상 기능이나 녹음 기능을 반드시 갖고 있지는 않는 정보 처리 장치에 적용할 수도 있다. 이하, 본 발명의 실시 형태에 따른 화상 처리 장치에 대해서 설명한다.
(제1 실시 형태)
도 3은, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(100)를 도시하는 블록도이다.
도 3을 참조하면, 화상 처리 장치(100)는, 화상 처리부(102)와, 촬상부(104)와, 기억부(106)와, 조작부(108)와, 표시부(110)를 구비한다. 또한, 화상 처리 장치(100)는, MPU(Micro Processing Unit) 등으로 구성되며 화상 처리 장치(100) 전체를 제어하는 제어부(도시 생략), 화상 처리 장치(100)와는 별체의 외부 장치로부 터 송신되는 화상을 수신하는 것이 가능한 통신부(도시 생략)를 구비하고 있어도 된다.
화상 처리부(102)는, 화상 처리부(102)에 순차적으로 입력되는 화상(이하, 「선택 대상 화상」이라고 함) 중으로부터 피사체마다 화상을 처리하고, 화상의 갱신, 선택을 행할 수 있다. 여기서, 화상 처리부(102)에서의 화상의 갱신, 선택은, 선택 대상 화상에 포함되는 피사체와 그 선택 대상 화상을 촬상한 촬상자와의 관계를 정량화한 값인 「호감도」를 이용하여 행해진다. 화상 처리부(102)에서의 화상의 갱신, 선택 수단에 대해서는 후술한다.
또한, 선택 대상 화상은, 촬상부(104)(후술함)가 촬영한 화상이어도 되고, 기억부(106)(후술함)에 유지된 화상이어도 된다. 또한, 선택 대상 화상은, 화상 처리 장치(100)와는 별체의 외부 장치로부터 송신되는 화상으로 할 수도 있다.
또한, 본 발명의 실시 형태에 따른 선택 대상 화상은, 정지 화상에 한정되지 않고, 동화상(예를 들면, 동화상은 프레임 단위로 정지 화상으로서 취급할 수 있음)이어도 된다. 여기서, 정지 화상으로서는, 예를 들면, JPEG(Joint Photographic Experts Group)나 비트맵(bitmap) 등의 정지 화상 포맷으로 기록된 화상을 들 수 있다. 또한, 동화상으로서는, 예를 들면, WMV(Windows Media Video)나 H.264/MPEG-4 AVC(H.264/Moving Picture Experts Group phase-4 Advanced Video Coding) 등의 동화상 포맷으로 기록된 화상을 들 수 있다. 또한, 본 발명의 실시 형태에 따른 선택 대상 화상이 상기에 한정되지 않는 것은 물론이다.
촬상부(104)는, 예를 들면, 렌즈(Lens)와, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 갖는 촬상 수단으로서, 촬상을 행함으로써 선택 대상 화상을 생성할 수 있다.
기억부(106)는, 화상 처리 장치(100)가 구비하는 기억 수단으로서, 적어도 이미 촬영된 촬영 완료의 화상으로서의 선택 대상 화상을 유지할 수 있다. 여기서, 기억부(106)로서는, 예를 들면, 하드디스크나 자기 테이프 등의 자기 기록 매체나, 플래시 메모리, MRAM(Magnetoresistive Random Access Memory), FeRAM(Ferroelectric Random Access Memory), PRAM(Phase change Random Access Memory) 등의 불휘발성 메모리(nonvolatile memory), 광 자기 디스크(Magneto Optical Disk) 등을 들 수 있지만, 상기에 한정되지 않는 것은 물론이다.
조작부(108)는, 화상 처리 장치(100)를 사용하는 유저가 조작 가능한 디바이스이며, 조작부(108)에서 소정의 조작이 이루어짐으로써, 예를 들면, 화상 처리부(102)의 화상의 갱신, 선택에 관련되는 명령이나, 촬상부(104)에 대한 촬영 명령 등의 각종 명령을, 화상 처리 장치(100)의 각 부에 전달할 수 있다. 여기서, 조작부(108)로서는, 예를 들면, 버튼, 방향 키, 죠그 다이얼 등의 회전형 셀렉터, 터치 패드, 혹은, 이들의 조합 등을 들 수 있지만, 상기에 한정되지 않는다.
표시부(110)는, 화상 처리 장치(100)가 구비하는 표시 수단으로, 화상 처리부(102)에서 갱신, 선택된 화상을 표시할 수 있다. 표시부(110)로서는, 예를 들면, LCD(Liquid Crystal Display; 액정 디스플레이), OLED 디스플레이(Organic Light Emitting Diode display; 또는, 유기 EL 디스플레이(organic electroluminescence display)라고도 함), FED(Field Emission Display; 전계 방출 디스플레이) 등을 들 수 있지만, 상기에 한정되지 않는다.
화상 처리 장치(100)는, 상기한 바와 같은 구성에 의해, 피사체와 촬상한 촬상자와의 관계를 정량화한 값인 「호감도」에 기초하여, 적어도 1 이상의 선택 대상 화상 중으로부터 피사체마다 화상을 선택할 수 있다. 이하, 화상 처리 장치(100)에서의 화상의 갱신, 선택을 보다 상세하게 설명하기 위해서, 본 발명의 실시 형태에 따른 화상 선택 수단에 대해서 설명한다.
[본 발명의 실시 형태에 따른 화상 선택 수단]
도 4는, 본 발명의 실시 형태에 따른 화상 선택 수단을 설명하기 위한 블록도이다.
도 4를 참조하면, 화상 처리부(102)는, 얼굴 화상 추출부(112)와, 대상 판정부(114)와, 호감도 산출부(116)와, 선택 화상 갱신부(118)와, 리스트 생성부(120)를 구비한다.
얼굴 화상 추출부(112)는, 순차적으로 입력되는 선택 대상 화상 중으로부터 피사체의 얼굴 부분을 포함하는 영역(이하, 「얼굴 영역」이라고 함)을 특정함으로써, 선택 대상인 피사체의 해당 얼굴 영역에 대응하는 얼굴 화상을 추출(생성)한다. 도 5는, 본 발명의 실시 형태에 따른 얼굴 화상의 추출을 설명하기 위한 설명도이다. 여기서, 도 5의 (a)는, 본 발명의 실시 형태에 따른 선택 대상 화상의 일례를 도시한 도면이고, 또한, 도 5의 (b)는, 도 5의 (a)에 도시한 선택 대상 화상으로부터 얼굴 화상 X가 추출된 것을 도시하는 도면이다. 또한, 도 5의 (b)에 도시한 얼굴 화상 X에서는, 도 5의 (a)에 도시한 선택 대상 화상에 도시되는 배경이 도시되어 있지 않지만, 이것은 편의상 생략한 것이며, 얼굴 화상 X에 배경이 포함되어 있어도 된다(이하에 도시한 도면에서는, 마찬가지로 얼굴 화상에서 배경을 생략한다).
얼굴 화상 추출부(112)는, 도 5의 (b)에 도시한 바와 같이, 예를 들면, 선택 대상 화상으로부터 피사체의 얼굴 부분을 포함하는 사각형의 얼굴 영역을 특정한다. 여기서, 피사체의 얼굴 영역의 특정은, 예를 들면, 얼굴의 휘도 분포 및 구조 패턴과 유사한 영역을 검출함으로써 행할 수 있다. 또한, 얼굴의 휘도 분포 및 구조 패턴의 데이터 등, 얼굴 영역의 특정에 관련되는 데이터는, 예를 들면, 기억부(106)에 유지할 수 있거나, 또는, 화상 처리 장치(100)가 통신부(도시 생략)를 구비하여 외부 장치로부터 취득할 수도 있지만, 상기에 한정되지 않는다.
또한, 선택 대상 화상이 동화상인 경우에는, 피사체의 얼굴 영역의 특정은, 예를 들면, 하나 전의 프레임(frame)과의 차분을 취하여 동체를 검출하고, 검출된 그 동체로부터 머리부를 특정함으로써 행할 수도 있다.
또한, 상기 사각형의 얼굴 영역의 사이즈는, 예를 들면, 얼굴 부분의 사이즈와 사각형의 얼굴 영역의 사이즈가 대응지어진 테이블(예를 들면, 기억부(106)에 유지됨)을 이용하여 정할 수 있다. 또한, 얼굴 부분으로부터 일정한 폭분 외측의 영역을 얼굴 영역으로 하여 사각형의 얼굴 영역의 사이즈를 정할 수도 있다. 또한, 상기 사각형의 얼굴 영역의 사이즈는, 조작부(108)로부터 지정할 수도 있다(도 4에서 도시 생략).
얼굴 화상 추출부(112)는, 얼굴 영역이 특정되면, 예를 들면, 그 얼굴 영역 을 잘라내는 잘라내기 처리(트리밍)를 행함으로써, 얼굴 화상 X를 추출한다. 또한, 얼굴 화상 추출부(112)는, 얼굴 화상 X의 추출 시에, 또한 왜곡 보정 처리를 행해도 된다. 여기서, 본 발명의 실시 형태에 따른 왜곡 보정 처리로서는, 예를 들면, 잘라내기 처리에 의해 추출된 얼굴 화상을 수평 방향 및/또는 수직 방향으로 신장함으로써, 잘라내기 처리에 의해 추출된 얼굴 화상을 사각형의 화상으로 보정하고, 수평 방향 및 수직 방향 각각에 대하여 신장의 정도에 따라서 균등화하는 것을 들 수 있다. 또한, 왜곡 보정 처리는, 상기에 한정되지 않고, 화상의 왜곡을 보정하는 것이 가능한 임의의 방법을 이용할 수 있는 것은 물론이다.
또한, 얼굴 화상 추출부(112)는, 추출한 얼굴 화상에 대하여, 예를 들면, 얼굴 화상과 그 얼굴 화상의 추출원인 선택 대상 화상을 대응짓기 위한 인덱스 정보를 부가할 수도 있다. 여기서, 인덱스 정보는, 예를 들면, 태그(tag) 형식, 또는 전자 워터마크(digital watermarking) 등을 이용하여 얼굴 화상에 부가할 수 있지만, 부가하는 수단은 상기에 한정되지 않는다. 얼굴 화상에 대하여 인덱스 정보가 부가됨으로써, 얼굴 화상과, 그 얼굴 화상의 추출원으로 된 선택 대상 화상을 일의로 결부시킬 수 있다.
대상 판정부(114)는, 얼굴 화상 추출부(112)가 추출한 얼굴 화상을 이용하여 피사체가 화상의 선택 대상인지의 여부를 판정할 수 있다. 도 6은, 본 발명의 실시 형태에 따른 피사체가 화상의 선택 대상인지의 여부의 판정에 대해서 설명하기 위한 설명도이다.
<피사체가 화상의 선택 대상인지의 여부의 제1 판정 수단>
대상 판정부(114)는, 예를 들면, 얼굴 화상 추출부(112)가 추출한 얼굴 화상 X와, 화상을 선택하는 대상을 특정하기 위한 선택 대상 정보(122)에 포함되는 선택 대상 얼굴 화상 A∼C 각각과의 비교를 행하여, 얼굴 화상 X가 화상의 선택 대상 인지를 판정한다. 여기서, 얼굴 화상 X가 화상의 선택 대상인지의 판정은, 예를 들면, 얼굴 화상으로부터 특징점의 데이터를 추출하고, 미리 등록되어 있는 선택 대상 얼굴 화상 A∼C 각각의 특징점의 데이터와의 비교를 행하는 얼굴 인증 등에 의해 행할 수 있지만, 상기에 한정되지 않는다.
도 6에서는, 얼굴 화상 X가 나타내는 피사체는, 선택 대상 얼굴 화상 C로서 선택 대상 정보(122)에 포함되어 있고, 대상 판정부(114)는, 얼굴 화상 X가 나타내는 피사체를 선택 대상으로 판정할 수 있다. 여기서, 피사체가 화상의 선택 대상인지의 여부의 판정 결과는, 예를 들면, 1비트(bit)의 데이터로서 나타낼 수 있지만(즉, 「0」 또는 「1」의 값으로 판정 결과가 나타내어짐), 1비트에 한정되지 않는다.
<피사체가 화상의 선택 대상인지의 여부의 제2 판정 수단>
대상 판정부(114)는, 예를 들면, 얼굴 화상 추출부(112)가 추출한 얼굴 화상 X와, 화상을 선택하지 않는 대상을 특정하기 위한 비선택 대상 정보(124)에 포함되는 비선택 대상 얼굴 화상 D, E 각각과의 비교를 행하여, 얼굴 화상 X가 화상의 선택 대상인지를 판정한다. 여기서, 얼굴 화상 X가 화상의 선택 대상인지의 판정은, 상기 제1 판정 수단과 마찬가지로, 예를 들면, 얼굴 인증의 기술을 이용하여 행할 수 있다.
도 6에서는, 얼굴 화상 X가 나타내는 피사체는, 비선택 대상 정보(124)에 포함되어 있지 않기 때문에, 대상 판정부(114)는, 얼굴 화상 X가 나타내는 피사체를 선택 대상으로 판정할 수 있다. 여기서, 피사체가 화상의 선택 대상인지의 여부의 판정 결과는, 상기 제1 판정 수단과 마찬가지로, 예를 들면, 1비트의 데이터로서 나타낼 수 있다.
<피사체가 화상의 선택 대상인지의 여부의 제3 판정 수단>
대상 판정부(114)는, 예를 들면, 얼굴 화상 추출부(112)가 추출한 얼굴 화상 X, 화상을 선택하는 대상을 특정하기 위한 선택 대상 정보(122), 및 화상을 선택하지 않는 대상을 특정하기 위한 비선택 대상 정보(124)를 이용하여, 얼굴 화상 X가 화상의 선택 대상인지를 판정할 수도 있다.
상기의 경우에는, 예를 들면, 다음에 나타내는 4개의 패턴이 생길 가능성이 있다.
(1) 얼굴 화상 X가 나타내는 피사체가, 선택 대상 정보(122)에 포함되고, 비선택 대상 정보(124)에 포함되지 않는 경우 : 제1 판정 수단과 마찬가지의 패턴
(2) 얼굴 화상 X가 나타내는 피사체가, 선택 대상 정보(122)에 포함되지 않고, 비선택 대상 정보(124)에 포함되는 경우 : 제2 판정 수단과 마찬가지의 패턴
(3) 얼굴 화상 X가 나타내는 피사체가, 선택 대상 정보(122)에 포함되고, 또한 비선택 대상 정보(124)에도 포함되는 경우
(4) 얼굴 화상 X가 나타내는 피사체가, 선택 대상 정보(122)에 포함되지 않고, 비선택 대상 정보(124)에도 포함되지 않는 경우
따라서, 제3 판정 수단의 경우에는, 상기 (3), (4)의 경우에서 판정 결과를 어떻게 설정할지에 따라, 얼굴 화상이 나타내는 피사체를 화상의 선택 대상으로 할지의 여부를 변화시킬 수 있으므로, 보다 플렉시블한 판정을 행할 수 있다.
대상 판정부(114)는, 예를 들면, 제1∼제3 판정 수단에 나타내는 바와 같이, 선택 대상 정보(122), 및/또는, 비선택 대상 정보(124)를 이용하여, 얼굴 화상 X가 화상의 선택 대상인지를 판정할 수 있다. 여기서, 선택 대상 정보(122), 비선택 대상 정보(124)에 설정되는 정보(예를 들면, 선택 대상 얼굴 화상, 비선택 대상 얼굴 화상 등)는, 예를 들면, 기억부(106)에 유지할 수 있다. 또한, 선택 대상 정보(122), 비선택 대상 정보(124)에 설정되는 정보는, 예를 들면, 유저가 조작부(108)를 이용하여 등록할 수 있고, 또한, 외부 장치로부터 송신되어도 되지만, 상기에 한정되지 않는다.
호감도 산출부(116)는, 얼굴 화상 추출부(112)가 추출한 얼굴 화상을 이용하여, 선택 대상 화상에서의 피사체와 그 선택 대상 화상을 촬상한 촬상자와의 관계를 정량화한 값인 「호감도」를 산출한다.
또한, 호감도 산출부(116)에는, 대상 판정부(114)에서 판정된 얼굴 화상 추출부(112)가 추출한 얼굴 화상이 나타내는 피사체가 화상의 선택 대상인지의 여부의 판정 결과가 입력된다. 여기서, 대상 판정부(114)에서, 얼굴 화상이 나타내는 피사체가 화상의 선택 대상이 아니라고 판정된 경우에는, 호감도 산출부(116)는 호감도의 산출을 행하지 않는 것으로 할 수 있다. 이하, 도 7을 참조하여 본 발명의 실시 형태에 따른 호감도의 산출 수단에 대해서 설명한다. 도 7은, 본 발명의 실 시 형태에 따른 호감도의 산출 수단의 일례를 설명하기 위한 설명도아다.
<호감도의 산출 수단의 제1 예>
호감도 산출부(116)는, 예를 들면, 수학식 1에 의해 호감도를 산출할 수 있다.
Figure 112008016897935-PAT00001
여기서, 수학식 1에서의 「기준값」은, 호감도의 기준으로 되는 값이며, 예를 들면, "-100", "0", "50.5", "100", "200" 등 임의의 값을 설정할 수 있다. 또한, 수학식 1에서의 「얼굴 화상으로부터 얻어지는 변동값」은, 예를 들면, 얼굴 화상의 크기, 피사체의 표정, 피사체의 얼굴의 방향, 피사체의 시선의 방향, 눈 및 입의 검출의 유무, 얼굴 화상의 채도, 얼굴 화상의 공간 주파수 등으로부터 설정할 수 있지만 상기에 한정되지 않는다.
도 7은, 일례로서, 피사체의 표정, 피사체의 얼굴의 방향, 및 피사체의 시선의 방향의 3개의 척도에 따른 값을 유지하는 테이블을 이용하여 수학식 1에서의 「얼굴 화상으로부터 얻어지는 변동값」을 산출하는 예를 도시한 것이다. 호감도 산출부(116)는, 예를 들면, 얼굴 화상 X로부터 눈, 코, 입술의 양단 각각의 위치(특징점)를 검출하고, 검출된 눈, 코, 입술의 양단 각각의 위치로부터, 피사체의 표정, 얼굴의 방향, 및 시선의 방향을 각각 결정할 수 있다. 또한, 본 발명의 실시 형태에 따른 피사체의 표정, 얼굴의 방향, 및 시선의 방향의 결정 수단이, 상기에 한정되지 않는 것은 물론이다.
또한, 호감도 산출부(116)에서 피사체의 표정, 얼굴의 방향, 및 시선의 방향 등을 결정하기 위한 정보(예를 들면, 검출된 눈, 코, 입술의 양단 각각의 위치와, 표정과의 관계에 따른 정보 등)는, 예를 들면, 기억부(106)에 유지할 수 있다. 또한, 호감도 산출부(116)에서 피사체의 표정, 얼굴의 방향, 및 시선의 방향 등을 결정하기 위한 정보는, 호감도 산출부(116)가 기억 수단을 구비하고, 그 기억 수단에 유지되어도 된다. 여기서, 호감도 산출부(116)가 구비하는 기억 수단으로서는, 예를 들면, 하드디스크 등의 자기 기록 매체나, 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있지만, 상기에 한정되지 않는다.
도 7에 도시한 얼굴 화상 X에서는, 피사체의 표정은 웃는 얼굴이며, 얼굴의 방향은 정면, 그리고, 시선의 방향은 정면을 향하고 있다. 따라서, 예를 들면, 「기준값」을 100으로 한 경우, 호감도 산출부(116)가 얼굴 화상 X에 대해서 산출하는 호감도는, 얼굴 화상 X의 호감도=100+(10+5+10)=125로 된다.
호감도 산출부(116)는, 상기한 바와 같이, 예를 들면, 수학식 1을 이용하여 호감도를 산출할 수 있다. 여기서, 도 7에서는, 피사체의 표정, 얼굴의 방향, 및 시선의 방향의 3개의 척도를 이용하여 호감도를 산출하였지만, 척도의 수를 늘림으로써, 선택 대상 화상에 대하여 취할 수 있는 값이 보다 폭넓은 호감도를 설정할 수 있다.
<호감도의 산출 수단의 제2 예>
호감도의 산출 수단의 제1 예에서는, 「얼굴 화상으로부터 얻어지는 변동값」을 이용하여 호감도를 산출하는 예를 나타냈지만, 본 발명의 실시 형태에 따른 호감도의 산출 수단은 상기에 한정되지 않는다. 예를 들면, 입력되는 선택 대상 화상이, 예를 들면, 디지털 비디오 카메라에 의해 촬영된 동화상일 때, 그 동화상에 대응하는 음성이 기록되는 경우가 있다. 따라서, 호감도 산출부(116)는, 화상 처리 장치(100)에 입력되는 선택 대상 화상 각각에 대응하는 음성을 이용하여 호감도의 산출을 행할 수도 있다. 상기의 경우, 호감도 산출부(116)는, 예를 들면, 수학식 2에 의해 호감도를 산출할 수 있다.
Figure 112008016897935-PAT00002
여기서, 수학식 2에서의 「기준값」 및 「얼굴 화상으로부터 얻어지는 변동값」은, 상기 수학식 1(제1 예)과 마찬가지이다. 또한, 수학식 2에서의 「음성으로부터 얻어지는 변동값」은, 예를 들면, 음성의 억양이나 음성의 음량 등으로부터 설정할 수 있지만 상기에 한정되지 않는다.
호감도 산출부(116)에서의 「음성으로부터 얻어지는 변동값」의 설정은, 예를 들면, 입력되는 음성의 억양이나 음성의 음량 등과, 변동값이 일의로 대응한 테이블을 호감도 산출부(116)가 참조함으로써 행할 수 있다. 여기서, 상기 테이블 등 「음성으로부터 얻어지는 변동값」을 설정하기 위해서 이용되는 정보는, 예를 들면, 기억부(106)에 유지할 수 있다. 또한, 「음성으로부터 얻어지는 변동값」을 설정하기 위해서 이용되는 정보는, 호감도 산출부(116)가 기억 수단을 구비하고, 그 기억 수단에 유지되어도 된다.
또한, 호감도의 산출에 음성을 이용하는 경우, 대상 판정부(114)는, 예를 들 면, 성문의 정보가 설정된 선택 대상 정보(122), 비선택 대상 정보(124)를 이용하여, 화상의 선택 대상으로 할지의 여부를 판정할 수 있다. 따라서, 호감도 산출부(116)는, 호감도의 산출에 음성을 이용하는 경우에서도, 대상 판정부(114)에서 얼굴 화상이 나타내는 피사체가 화상의 선택 대상이 아니라고 판정된 경우에는, 호감도 산출부(116)는 호감도의 산출을 행하지 않는 것으로 할 수 있다.
<호감도의 산출 수단의 제3 예>
호감도의 산출 수단의 제1 예에서는 「얼굴 화상으로부터 얻어지는 변동값」을 이용하여 호감도를 산출하고, 제2 예에서는 또한 「음성으로부터 얻어지는 변동값」을 이용하여 호감도를 산출하는 예를 설명하였지만, 본 발명의 실시 형태에 따른 호감도의 산출 수단은 상기에 한정되지 않는다. 예를 들면, 촬영된 일시를 나타내는 정보(예를 들면, 타임 스탬프 등)나 촬영된 장소를 나타내는 정보(예를 들면, 위도나 경도 등)가 입력되는 선택 대상 화상에 부가되어 있는 정보가 있는 경우에는, 수학식 3에 나타내는 바와 같이, 또한 그 선택 대상 화상에 부가되어 있는 정보를 이용하여 호감도를 산출할 수도 있다. 여기서, 선택 대상 화상에는, 예를 들면, 태그 형식, 전자 워터마크 등에 의해 정보(메타 정보)를 부가할 수 있다.
Figure 112008016897935-PAT00003
여기서, 수학식 3에서의 「기준값」, 「얼굴 화상으로부터 얻어지는 변동값」, 및 「음성으로부터 얻어지는 변동값」은, 상기 수학식 2(제2 예)와 마찬가지이 다. 또한, 수학식 3에서의 「선택 대상 화상에 부가된 정보로부터 얻어지는 변동값」은, 예를 들면, 유저가 조작부(108)를 이용하여, 예를 들면, 시각이나 장소 등의 선택 조건을 호감도 산출부(116)에 전달하고, 호감도 산출부(116)가 전달되는 선택 조건과, 선택 대상 화상에 부가되어 있는 정보가 합치하는지의 여부에 의해 설정할 수 있다. 또한, 호감도의 산출 수단의 제3 예에 따른 선택 대상 화상에 부가되어 있는 정보가, 촬영된 일시를 나타내는 정보나 촬영된 장소를 나타내는 정보에 한정되지 않는 것은 물론이다.
호감도 산출부(116)는, 상기한 바와 같이, 예를 들면, 수학식 1∼수학식 3을 이용하여 호감도를 산출할 수 있다. 또한, 본 발명의 실시 형태에 따른 호감도의 산출 수단은, 수학식 1∼수학식 3에 한정되지 않고, 예를 들면, (얼굴 화상으로부터 얻어지는 변동값)과, (선택 대상 화상에 부가된 정보로부터 얻어지는 변동값)으로부터 산출되어도 된다.
<제1 호감도 편집 수단>
또한, 호감도 산출부(116)가 산출한 호감도는, 예를 들면, 유저가, 제1 호감도 편집부로서의 조작부(108)를 조작함으로써, 호감도의 값의 증감을 행할 수도 있다(제1 호감도 편집 수단. 도 4에서는 도시 생략). 상기 구성에 의해, 설령 호감도 산출부(116)에서 호감도가 낮게 산출된 선택 대상 화상이라도, 유저는 호감도의 값을 조정할 수 있으므로, 화상 처리 장치(100)는, 유저가 원하는 화상을 선택 화상으로 할 수 있다. 또한, 상기의 경우, 화상 처리 장치(100)는, 유저가 조작부(108)를 이용하여 호감도의 값의 조정을 행하기 때문에, 호감도 산출부(116)가 호감도를 산출한 선택 대상 화상의 확인 수단(도시 생략)을 가질 수 있는 것은 물론이다. 상기 확인 수단으로서는, 예를 들면, LCD, OLED 디스플레이 등을 이용한 확인용의 표시부를 들 수 있지만, 상기에 한정되지 않는다.
선택 화상 갱신부(118)는, 호감도 산출부(116)가 얼굴 화상에 대하여 산출한 호감도를 이용하여, 피사체마다 선택되는 화상(이하, 「선택 화상」이라고 함)의 후보로 되는 화상(이하, 「선택 후보 화상」이라고 함)의 갱신을 행한다. 여기서, 선택 화상 갱신부(118)가 갱신하는 선택 후보 화상은, 예를 들면, 선택 화상 갱신부(118)가 구비하는 기억 수단에 유지할 수 있지만, 상기에 한정되지 않고, 기억부(106)에 유지되어도 된다. 또한, 선택 화상 갱신부(118)가 구비하는 기억 수단으로서는, 예를 들면, 하드디스크 등의 자기 기록 매체나, 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있지만, 상기에 한정되지 않는다.
이하, 도 8∼도 10을 참조하여 본 발명의 실시 형태에 따른 선택 후보 화상의 갱신 수단에 대해서 설명한다.
<선택 후보 화상의 제1 갱신 수단>
도 8은, 본 발명의 실시 형태에 따른 선택 후보 화상의 제1 갱신 수단을 설명하기 위한 설명도이다. 여기서, 도 8의 (a)는 갱신 전의 상태를 도시하는 도면이고, 도 8의 (b)는 갱신 후의 상태를 도시하는 도면.
도 8의 (a)에 도시한 바와 같이, 제1 갱신 수단은, 얼굴 화상 X(선택 대상 화상)가 나타내는 피사체에 대해서, 얼굴 화상 X의 추출 이전에 호감도가 산출되어 있지 않은 경우, 즉, 얼굴 화상 X가 나타내는 피사체에 대해서 비로소 호감도가 산 출된 경우에서의 갱신 수단이다.
얼굴 화상 X가 나타내는 피사체에 대해서 이미 호감도가 산출되어 있는지의 여부의 판정은, 예를 들면, 호감도 산출부(116)에서 호감도가 산출된 얼굴 화상(선택 대상 화상)마다, 선택 화상 갱신부(118)가 갱신한 피사체마다의 선택 후보 화상과 얼굴 인증을 행함으로써 행할 수 있다. 또한, 선택 화상 갱신부(118)가 갱신한 선택 후보 화상을 도 6에 도시한 선택 대상 정보(122)로서 유지시키는 경우에는, 대상 판정부(114)에서 얼굴 화상 X가 나타내는 피사체에 대해서 이미 호감도가 산출되어 있는지의 여부의 판정을 행하고, 선택 화상 갱신부(118)는, 대상 판정부(114)의 판정 결과를 이용하여 얼굴 화상 X가 나타내는 피사체에 대해서 이미 호감도가 산출되어 있는지의 여부를 판정할 수도 있다.
선택 화상 갱신부(118)가 얼굴 화상 X가 나타내는 피사체에 대해서 비로소 호감도가 산출되었다고 판정한 경우에는, 도 8의 (b)에 도시한 바와 같이, 선택 화상 갱신부(118)는, 얼굴 화상 X(선택 대상 화상)를 새로운 선택 후보 화상의 얼굴 화상으로서 갱신한다. 전술한 바와 같이, 얼굴 화상 X에는, 얼굴 화상 X의 추출원으로 된 선택 대상 화상과 대응짓는 인덱스 정보를 부가할 수 있다. 따라서, 선택 화상 갱신부(118)는, 예를 들면, 얼굴 화상에 부가된 인덱스 정보를 참조함으로써, 얼굴 화상의 추출원으로 된 선택 대상 화상을 선택 후보 화상으로 할 수 있다. 또한, 선택 화상 갱신부(118)가 갱신하는 선택 후보 화상은, 얼굴 화상의 추출원으로 된 선택 대상 화상에 한하지 않고, 얼굴 화상을 선택 후보 화상으로 할 수 있는 것은 물론이다. 이하에서는, 편의상, 얼굴 화상이 선택 후보 화상인 것으로 하여 설 명한다.
<선택되는 화상의 제2 갱신 수단>
다음으로, 제2 갱신 수단에 대해서 설명한다. 도 9는, 본 발명의 실시 형태에 따른 선택 후보 화상의 제2 갱신 수단을 설명하기 위한 설명도이다. 여기서, 도 9의 (a)는 갱신 전의 상태를 도시하는 도면이고, 도 9의 (b)는 갱신 후의 상태를 도시하는 도면이다.
도 9의 (a)에 도시한 바와 같이, 제2 갱신 수단은, 얼굴 화상 X(선택 대상 화상)가 나타내는 피사체에 대해서 이미 호감도가 산출되어 있는 얼굴 화상 Xold(선택 후보 화상)가 존재하는 경우에서의 갱신 수단이다.
선택 화상 갱신부(118)이 얼굴 화상 X가 나타내는 피사체에 대해서 이미 호감도가 산출되어 있다고 판정한 경우에는, 이미 호감도가 산출된 선택 후보 화상(얼굴 화상 Xold)에 설정된 호감도 115와, 얼굴 화상 X에 대해서 산출된 호감도 125의 비교를 행한다.
선택 화상 갱신부(118)는, 호감도의 비교를 행한 결과, 보다 호감도의 값이 큰 화상을 새로운 선택 후보 화상으로 할 수 있다. 따라서, 도 9의 (b)에 도시한 바와 같이, 선택 화상 갱신부(118)는, 호감도의 값이 선택 후보 화상보다도 큰 얼굴 화상 X(선택 대상 화상)를 새로운 선택 후보 화상으로서 갱신한다.
<선택되는 화상의 제3 갱신 수단>
다음으로, 제3 갱신 수단에 대해서 설명한다. 도 10은, 본 발명의 실시 형태에 따른 선택 후보 화상의 제3 갱신 수단을 설명하기 위한 설명도이다. 여기서, 도 10의 (a)는 갱신 전의 상태를 도시하는 도면이고, 도 10의 (b)는 갱신 후의 상태를 도시하는 도면이다.
도 10의 (a)에 도시한 바와 같이, 제3 갱신 수단은, 얼굴 화상 X가 선택 후보 화상으로 되어 있을 때, 얼굴 화상 X가 나타내는 피사체와 동일한 피사체의 얼굴 화상 Xnew(선택 대상 화상)에 대해서 호감도가 산출된 경우에서의 갱신 수단이다.
선택 화상 갱신부(118)이 얼굴 화상 Xnew(선택 대상 화상)가 나타내는 피사체에 대해서 이미 호감도가 산출되어 있다고 판정한 경우에는, 제2 갱신 수단과 마찬가지로, 이미 호감도가 산출된 얼굴 화상 X(선택 후보 화상)에 설정된 호감도 125와, 얼굴 화상 Xnew(선택 대상 화상)에 대해서 산출된 호감도 105의 비교를 행한다.
상기한 바와 같이, 선택 화상 갱신부(118)는, 호감도의 비교를 행한 결과, 보다 호감도의 값이 큰 화상을 선택 후보 화상으로 할 수 있다. 도 10의 (b)에 도시한 바와 같이, 선택 후보 화상(얼굴 화상 X)쪽이 선택 대상 화상(얼굴 화상 Xnew)보다도 호감도가 큰 경우에는, 선택 화상 갱신부(118)는, 얼굴 화상 Xnew(선택 대상 화상)를 새로운 선택 후보 화상으로서 갱신하지 않는다. 따라서, 얼굴 화상 X가 계속해서 선택 후보 화상으로서 유지되게 된다.
선택 화상 갱신부(118)는, 호감도 산출부(116)에서 호감도가 산출될 때마다, 전술한 제1∼제3 갱신 수단의 처리를 행한다. 따라서, 모든 선택 대상 화상에 대해서, 호감도의 산출이 행해진 후에 유지되는 선택 후보 화상은, 피사체마다 가장 호감도가 높은 화상으로 된다. 또한, 선택 대상 화상에 대해서 산출된 호감도와, 선택 후보 화상에 설정된 호감도가 동일한 값인 경우, 선택 화상 갱신부(118)는, 선택 대상 화상을 새로운 선택 후보 화상으로서 갱신해도 되고, 또는, 선택 후보 화상의 갱신을 행하지 않을 수도 있는 것은 물론이다.
따라서, 화상 처리부(102)는, 선택 대상 화상에서의 피사체와 그 선택 대상 화상을 촬상한 촬상자와의 관계를 정량화한 값인 「호감도」에 기초하여, 「호감도」가 가장 큰 화상을 선택 화상으로서 선택할 수 있다. 상기의 경우에는, 동일한 피사체에 관련되는 화상이, 피사체마다의 선택 화상으로서 중복되어 선택되는 것을 방지할 수 있다.
또한, 상기에서는, 피사체마다 「호감도」가 가장 큰 화상을 선택하는 구성에 대해서 설명하였지만, 본 발명의 실시 형태에 따른 화상 처리 장치(100)는 상기에 한정되지 않고, 예를 들면, 동일한 피사체에 대해서 복수의 선택 화상을 선택할 수도 있다. 상기의 구성은, 예를 들면, 선택 화상 갱신부(118)가 동일한 피사체에 대하여 복수의 선택 후보 화상을 유지시키고, 그 복수의 선택 후보 화상 각각에 설정된 호감도와, 호감도 산출부(116)에서 선택 대상 화상에 대하여 산출된 호감도를 비교( 즉, 1 대 다의 비교)함으로써 실현할 수 있다.
<제2 호감도 편집 수단>
또한, 선택 화상 갱신부(118)가 갱신한 선택 후보 화상(또는, 복수의 화상인 경우에는 선택 후보 화상 각각)에 설정되어 있는 호감도는, 예를 들면, 유저가, 제2 호감도 편집부로서의 조작부(108)를 조작함으로써, 호감도의 값의 증감을 행할 수도 있다(제2 호감도 편집 수단. 또한, 도 4에서는, 기억부(106)에 선택 후보 화상이 유지되는 경우를 도시하고 있다). 상기 구성에 의해, 유저는 호감도의 값을 조정할 수 있으므로, 화상 처리 장치(100)는, 유저가 원하는 화상을 선택 화상으로 할 수 있다. 또한, 상기의 경우, 화상 처리 장치(100)는, 유저가 조작부(108)를 이용하여 호감도의 값의 조정을 행하기 때문에, 선택 화상 갱신부(118)가 갱신한 선택 후보 화상의 확인 수단(도시 생략)을 가질 수 있는 것은 물론이다.
리스트 생성부(120)는, 본 발명의 실시 형태에 따른 화상 선택부의 일 실시예로서, 선택 화상 갱신부(118)로부터 출력되는 피사체마다의 선택 화상(선택 화상 갱신부(118)가 갱신한 선택 후보 화상)을 이용하여, 선택 화상을 통합한 선택 화상 리스트를 생성할 수 있다. 도 11은, 본 발명의 실시 형태에 따른 선택 화상 리스트의 일례를 도시하는 설명도이다.
도 11은, 피사체마다의 선택 화상을, 선택 화상 각각에 설정된 호감도에 기초하여 호감도가 큰 순으로 재배열한 선택 화상 리스트의 예이다. 도 11에 도시한 바와 같은 선택 화상 리스트를 리스트 생성부(120)가 생성함으로써, 유저는, 화상 처리 장치(100)에 의해 선택된 피사체마다의 선택 화상을 용이하게 확인할 수 있다.
또한, 리스트 생성부(120)가 생성하는 선택 화상 리스트에는, 도 11에 도시한 바와 같이, 피사체의 이름 등의 부가적인 정보를 추가할 수도 있다. 여기서, 피사체의 이름 등의 부가적인 정보는, 예를 들면, 유저가 조작부(108)를 이용하여 편집(추가, 변경, 삭제 등)할 수도 있고, 선택 화상에 부가된 정보(예를 들면, 태 그 형식, 전자 워터마크 등에 의해 부가됨)에 기초하여 부가되어도 된다.
또한, 리스트 생성부(120)는, 예를 들면, 유저가 조작부(108)를 통해서 명령을 전달함으로써, 선택 화상 리스트의 생성을 선택적으로 행할 수 있는 것은 물론이다. 리스트 생성부(120)가 선택 화상 리스트의 생성을 행하지 않는 경우에는, 피사체마다의 선택 화상은, 예를 들면, 개별로 출력되게 된다.
이상과 같이, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(100)는, 화상 처리부(102)에 순차적으로 입력되는 선택 대상 화상 각각으로부터, 피사체마다의 얼굴 화상을 추출하고, 그 얼굴 화상을 이용하여 선택 대상 화상마다 호감도를 산출한다. 그리고, 호감도가 산출된 선택 대상 화상과, 이미 호감도가 산출된 피사체가 동일한 선택 대상 화상 중에서 가장 호감도가 큰 화상인 선택 후보 화상과의 비교를 행하여, 호감도가 큰 화상을 새로운 선택 후보 화상으로 할 수 있다. 따라서, 화상 처리 장치(100)는, 피사체마다 호감도가 가장 큰 화상을 선택 화상으로서 선택할 수 있다.
여기서, 화상 처리 장치(100)가 화상의 선택에 이용하는 「호감도」는, 선택 대상 화상에 포함되는 피사체와 그 선택 대상 화상을 촬상한 촬상자와의 관계를 나타내는 정량화된 지표로서, 선택 대상 화상으로부터 산출된다. 따라서, 화상 처리 장치(100)를 사용하는 유저는, 예를 들면, 피사체가 미소를 지어 보이고 있는 화상이나, 피사체가 시선을 촬상 수단측을 향하고 있는 화상 등, 피사체의 촬상을 행한 촬상자에의 호의가 느껴지는 특정한 화상을, 피사체마다 취득할 수 있다.
또한, 화상 처리 장치(100)는, 피사체마다 선택 화상을 선택하는 것이 가능 하므로, 유저는, 선택 대상 화상에 어떤 피사체가 포함되어 있었는지를 용이하게 확인할 수 있다. 따라서, 화상 처리 장치(100)는, 유저가 기억을 되살리는 것을 보조할 수 있다. 또한, 화상 처리 장치(100)는, 호감도에 기초하여 피사체마다 선택 화상을 선택한 결과, 유저가 생각지도 않았던 피사체의 화상을 선택하는 것도 가능하여, 유저의 멘탈 부분에 대하여 플러스의 방향으로 작용하는 것이 가능하다. 따라서, 화상 처리 장치(100)는, 유저의 멘탈 헬스를 유지하기 위한 보조 효과를 발휘할 수도 있다.
또한, 화상 처리 장치(100)는, 유저가 호감도를 편집 가능한 호감도 편집 수단을 구비할 수 있다. 따라서, 유저는, 원하는 선택 대상 화상을 선택되는 선택 화상으로 할 수도 있다.
또한, 화상 처리 장치(100)는, 화상의 선택을 허가하는 피사체를 규정하는 선택 대상 정보, 및/또는, 화상의 선택을 허가하지 않는 피사체를 규정하는 비선택 대상 정보를 가질 수 있다. 따라서, 화상 처리 장치(100)는, 상기 선택 대상 정보, 및/또는, 상기 비선택 대상 정보를 이용함으로써, 피사체마다 화상을 선택할지의 여부를 제어할 수 있다. 또한, 상기 선택 대상 정보, 및/또는, 상기 비선택 대상 정보는, 유저가 임의로 설정할 수도 있다. 따라서, 유저는, 특정한 피사체의 화상만을 취득할 수 있고, 또한, 원하지 않는 피사체의 화상의 취득을 의도적으로 제외할 수도 있다.
(제1 실시 형태에 따른 프로그램)
제1 실시 형태에 따른 화상 처리 장치(100)를 컴퓨터로서 기능시키기 위한 프로그램에 의해, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여 피사체마다 선택 후보 화상의 갱신을 행하고, 적어도 1 이상의 화상 중으로부터 피사체마다 화상을 선택할 수 있다. 또한，이 프로그램은, 이 프로그램을 기록한 기록 매체를 화상 처리 장치(100)에 구비되는 기록 매체 판독 장치에 장전시키고, 그 기록 매체로부터 판독되어 화상 처리부(102)의 MPU에서 실행되어도 되고, 화상 처리 장치(100)에 접속된 외부 장치 또는 네트워크를 통해서 접속된 서버로부터 제공되어 화상 처리부(102)의 MPU에서 실행되어도 된다.
(본 발명의 실시 형태에 따른 화상 처리 방법)
다음으로, 본 발명의 실시 형태에 따른 화상 처리 방법에 대해서 설명한다. 도 12는, 본 발명의 실시 형태에 따른 화상 처리 방법을 설명하는 흐름도이다. 또한, 도 12에 설명한 화상 처리 방법은, 하나의 선택 대상 화상에 대한 방법을 나타낸 것이며, 순차적으로 입력되는 선택 대상 화상의 수만큼 반복된다.
순차적으로 입력되는 선택 대상 화상 중의 하나의 선택 대상 화상 중으로부터 피사체의 얼굴 영역을 특정하고, 얼굴 화상을 추출한다(S100). 그리고, 스텝 S100에서 추출된 얼굴 화상을 이용하여, 얼굴 화상이 나타내는 피사체가 화상의 선택 대상인지의 여부를 판정한다(S102). 여기서, 스텝 S102에서의 판정은, 예를 들면, 스텝 S100에서 추출된 얼굴 화상과, 화상을 선택하는 대상을 특정하기 위한 선택 대상 정보 및/또는 화상을 선택하지 않는 대상을 특정하기 위한 비선택 대상 정보를 이용한 얼굴 인증에 의해 행할 수 있다.
스텝 S102에서, 얼굴 화상이 나타내는 피사체가 화상의 선택 대상이 아니라 고 판정된 경우에는, 스텝 S100에서 얼굴 화상을 추출한 선택 대상 화상에 대한 처리를 종료한다.
또한, 스텝 S102에서, 얼굴 화상이 나타내는 피사체가 화상의 선택 대상이라고 판정된 경우에는, 스텝 S100에서 추출된 얼굴 화상을 이용하여, 선택 대상 화상에 포함되는 피사체와 그 선택 대상 화상을 촬상한 촬상자와의 관계를 나타내는 정량화된 지표인 호감도를 산출한다(S104).
스텝 S104에서 호감도를 산출한 얼굴 화상이 나타내는 피사체와 동일한 피사체로서, 이미 호감도가 산출된 선택 후보 화상이 있는지의 여부를 판정한다(S106).
스텝 S106에서, 이미 호감도가 산출된 피사체가 동일한 선택 후보 화상은 없다고 판정된 경우에는, 스텝 S100에서 얼굴 화상을 추출한 선택 대상 화상을, 선택되는 선택 화상의 후보인 선택 후보 화상으로 한다(S112).
또한, 스텝 S106에서, 이미 호감도가 산출된 피사체가 동일한 선택 후보 화상은 있다고 판정된 경우에는, 스텝 S104에서 산출한 호감도(선택 대상 화상의 호감도)와, 선택 후보 화상으로 설정되어 있는 호감도의 비교를 행한다(S108). 그리고, 스텝 S108에서 호감도를 비교한 결과, 호감도가 보다 큰 화상을 새로운 선택 후보 화상으로 한다(S110).
이상과 같이, 본 발명의 실시 형태에 따른 화상 처리 방법은, 순차적으로 입력되는 선택 대상 화상 각각으로부터, 피사체마다의 얼굴 화상을 추출하고, 그 얼굴 화상을 이용하여 선택 대상 화상마다 호감도를 산출한다. 그리고, 호감도가 산출된 선택 대상 화상과, 이미 호감도가 산출된 피사체가 동일한 선택 대상 화상 중 에서 가장 호감도가 큰 화상인 피사체마다의 선택 후보 화상과의 비교를 행하여, 호감도가 큰 화상을 새로운 선택 후보 화상으로 할 수 있다. 따라서, 본 발명의 실시 형태에 따른 화상 처리 방법을 적용한 화상 처리 장치는, 피사체마다 호감도가 가장 큰 화상을 선택 화상으로서 선택할 수 있다.
또한, 호감도가 가장 큰 얼굴 화상을 선택하는 방법은 이에 한하지 않고, 예를 들면, 고감도를 키로 하여 소팅을 행해도 된다.
또한, 본 발명의 실시 형태에 따른 화상 처리 방법은, 피사체마다 선택 대상인지의 여부를 판정할 수 있으므로, 본 발명의 실시 형태에 따른 화상 처리 방법을 적용한 화상 처리 장치는, 피사체마다 화상을 선택할지의 여부를 제어할 수 있다.
(제2 실시 형태)
전술한 제1 실시 형태에 따른 화상 처리 장치(100)는, 화상 처리 장치 단체, 즉, 스탠드 얼론(stand-alone) 상태에서 기능하는 장치에 대해서 설명하였다. 그러나, 본 발명의 실시 형태에 따른 화상 처리 장치는, 스탠드 얼론 상태의 장치에 한정되지 않는다. 따라서 다음에, 외부 장치와 통신을 행하는 것이 가능한 제2 실시 형태에 따른 화상 처리 장치와, 제2 실시 형태에 따른 화상 처리 장치를 이용한 응용예에 대해서 설명한다.
[제1 응용예 : 호감도 랭킹의 생성]
도 13은, 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템의 일례를 도시하는 블록도이다.
도 13을 참조하면, 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용 한 시스템은, 화상 처리 장치(200, 300, …)와, 외부 장치(500)를 갖고, 화상 처리 장치(200, 300, …)와 외부 장치(500)는, 네트워크 회선(600)으로 연결된다. 여기서, 네트워크 회선(600)은, 예를 들면, LAN(Local Area Network)이나 WAN(Wide Area Network) 등 유선 네트워크이어도 되고, 또는, MIMO(Multiple-Input Multiple-Output)를 이용한 WLAN(Wireless Local Area Network) 등의 무선 네트워크, 혹은, TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 통신 프로토콜을 이용한 인터넷(Internet)이어도 되지만, 상기에 한정되지 않는다.
화상 처리 장치(200)는, 기본적으로 본 발명의 제1 실시 형태에 따른 화상 처리 장치(100)와 마찬가지의 구성을 갖고 있으며, 화상 처리 장치(100)와 비교하면, 네트워크 회선(600)을 통해서 외부 장치(500) 등과 통신을 행하기 위한 화상 처리 장치측 통신부(도시 생략)를 새롭게 갖고 있다. 따라서, 화상 처리 장치(200)는, 화상 처리 장치(100)와 마찬가지로 피사체마다 선택 화상을 선택할 수 있다.
화상 처리 장치측 통신부(도시 생략)는, 화상 처리부(102)가 선택한 피사체마다의 선택 화상이나, 선택 화상 리스트를 외부 장치(500)에 송신할 수 있다. 또한, 화상 처리 장치(300, …)에 대해서는, 화상 처리 장치(200)와 마찬가지의 구성을 취할 수 있다.
외부 장치(500)는, 외부 장치측 기억부(502)와, 호감도 랭킹 생성부(504)를 구비할 수 있다. 또한, 외부 장치(500)는, MPU 등으로 구성되며 외부 장치(500) 전체를 제어하는 제어부(도시 생략), 화상 처리 장치(200, 300, …)와 통신을 행하 기 위한 통신부(도시 생략), 조작부(도시 생략) 등을 구비하고 있어도 된다.
외부 장치측 기억부(502)는, 외부 장치(500)가 구비하는 기억 수단이다. 외부 장치(500)가 구비하는 기억 수단으로서는, 예를 들면, 하드디스크 등의 자기 기록 매체, 플래시 메모리 등의 불휘발성 메모리, 광 자기 디스크 등을 들 수 있지만, 상기에 한정되지 않는다.
또한, 외부 장치측 기억부(502)는, 화상 처리 장치(200, 300, …) 각각으로부터 송신된 피사체마다의 선택 화상이나, 선택 화상 리스트를 유지할 수 있다. 도 13에서는, 외부 장치측 기억부(502)는, 화상 처리 장치(200)로부터 송신된 선택 화상 리스트A(506), 화상 처리 장치(300)로부터 송신된 선택 화상 리스트B(508), …이 유지되어 있다.
호감도 랭킹 생성부(504)는, 외부 장치측 기억부(502)에 유지된 선택 화상 리스트(506, 508)를 이용하여, 각 선택 화상 리스트에 포함되는 피사체의 호감도를 집계하여, 랭킹을 생성할 수 있다. 또한, 호감도 랭킹 생성부(504)가, 화상 처리 장치(200, 300, …) 각각으로부터 송신된 피사체마다의 선택 화상을 이용하여 랭킹을 생성할 수 있는 것은 물론이다. 도 14는, 본 발명의 실시 형태에 따른 호감도 랭킹의 일례를 도시하는 설명도이다.
도 14는, 일정 기간(1월)에서의 호감도 랭킹을 도시한 도면이다. 여기서, 호감도 랭킹 생성부(504)가 생성하는 호감도 랭킹에서 나타내어지는 호감도는, 예를 들면, 피사체마다의 호감도의 평균값, 피사체마다의 호감도의 합산값, 복수의 선택 화상 리스트에서의 피사체마다의 빈도 등 다양한 수단에 의해 산출되어 설정 할 수 있다. 또한, 호감도 랭킹 생성부(504)가 생성하는 호감도 랭킹에서 나타내어지는 피사체의 화상은, 예를 들면, 피사체마다 가장 큰 호감도가 설정된 선택 화상으로 할 수 있지만, 상기에 한정되지 않는다. 또한, 호감도 랭킹 생성부(504)가 생성하는 호감도 랭킹은, 예를 들면, JPEG 형식, GIF(Graphics Interchange Format) 형식 등의 화상 파일, HTML(HyperText Markup Language) 문서 등으로 나타낼 수 있다.
제1 응용예에서는, 화상 처리 장치(200, 300, …) 각각으로부터 송신되는 피사체마다의 선택 화상이나, 선택 화상 리스트를 이용하여, 도 14에 도시한 바와 같은 호감도 랭킹을 생성함으로써, 예를 들면, WWW(World Wide Web)에서의 페이지 뷰(page view)와 같은 피사체의 뷰를 실현할 수 있다.
[제1 응용예의 변형예]
또한, 도 13에서는, 복수의 화상 처리 장치(200, 300, …)와, 외부 장치(500)를 갖는 구성이 도시되어 있지만, 본 발명의 제2 실시 형태는 상기에 한정되지 않고, 하나의 화상 처리 장치(200)와 외부 장치(500)를 갖는 구성이어도 된다. 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템이 상기의 구성을 갖는 경우에는, 호감도 랭킹 생성부(504)는, 본 발명의 실시 형태에 따른 화상 선택 수단으로서 기능할 수 있다. 따라서, 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템은, 예를 들면, 화상 처리 장치(200)가 리스트 생성부를 구비하지 않는 구성(즉, 화상 처리 장치(200)로부터 선택 화상 리스트가 출력되지 않는 구성)이었다고 해도, 호감도 랭킹 생성부(504)에 의해, 선택 화상 리 스트를 생성할 수 있다.
[제2 응용예 : 피사체마다의 선택 화상, 선택 화상 리스트를 외부 장치에 유지시키는 구성]
도 13에 도시하는 제1 응용예에서는, 화상 처리 장치(200, 300, …) 각각으로부터 송신되는 피사체마다의 선택 화상이나, 선택 화상 리스트를 이용하여 호감도 랭킹을 생성하는 구성을 나타냈지만, 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템은 상기에 한정되지 않는다. 예를 들면, 외부 장치는, 화상 처리 장치(200, 300, …) 각각으로부터 송신되는 피사체마다의 선택 화상이나, 선택 화상 리스트를 단순히 유지하는 구성이어도 된다.
제2 실시 형태에 따른 화상 처리 장치는, 예를 들면, 화상 처리 장치를 사용하는 촬상자(유저)가 옥외에서 촬영을 행한 경우에서, 화상 처리 장치가 촬영한 화상(선택 대상 화상)에 대하여 본 발명의 실시 형태에 따른 화상 처리 방법을 적용하여 선택 화상의 선택을 행하고, 외부 장치인 촬상자의 자택의 PC에 선택 결과(피사체마다의 선택 화상, 선택 화상 리스트)를 송신할 수 있다. 따라서, 촬상자는, 귀택 후 자택의 PC에 유지된 상기 선택 결과를 확인하기만 하면, 선택 대상 화상에 어떤 피사체가 포함되어 있었는지를 용이하게 확인할 수 있다.
또한, 상기에 설명한 제1, 제2 응용예는, 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템의 일례로서, 본 발명의 실시 형태에 따른 화상 처리 장치를 이용한 시스템이 상기에 한정되지 않는 것은 물론이다.
이상과 같이, 본 발명의 제2 실시 형태에 따른 화상 처리 장치는, 기본적으 로 제1 실시 형태에 따른 화상 처리 장치(100)와 마찬가지의 구성을 갖고 있다. 따라서, 제2 실시 형태에 따른 화상 처리 장치는, 제1 실시 형태에 따른 화상 처리 장치(100)와 마찬가지의 효과를 발휘할 수 있다.
또한, 본 발명의 제2 실시 형태에 따른 화상 처리 장치는, 외부 장치에 피사체마다의 선택 화상, 선택 화상 리스트를 송신할 수 있으므로, 예를 들면, 호감도 랭킹을 생성하는 시스템 등의 응용 시스템을 실현할 수 있다.
또한 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템의 구성 요소로서, 외부 장치를 예를 들어 설명하였지만, 본 발명의 실시 형태는, 이러한 형태에 한정되지 않고, 예를 들면, PC나 서버(Server) 등의 컴퓨터 등에 적용할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대해서 설명하였지만, 본 발명은 이러한 예에 한정되지 않는 것은 물론이다. 당업자이면, 특허청구 범위에 기재된 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 분명하며, 그들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 양해된다.
예를 들면, 도 4에 도시한 제1 실시 형태에 따른 화상 처리부(102)는, 리스트 생성부(120)를 구비하고 있지만, 이러한 형태에 한정되지 않고, 화상 처리부(102)가 리스트 생성부(120)를 구비하고 있지 않은 구성으로 할 수도 있다. 상기의 구성이라도, 본 발명에 따른 화상 처리 장치는, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여 피사체마다 선택 후보 화상의 갱신을 행할 수 있으 므로, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 화상을 선택할 수 있다.
또한, 도 4에 도시한 제1 실시 형태에 따른 화상 처리부(102)는, 대상 판정부(114)를 구비하고 있지만, 이러한 형태에 한정되지 않고, 화상 처리부(102)가 대상 판정부(114)를 구비하고 있지 않은 구성으로 할 수도 있다. 상기의 구성이라도, 본 발명에 따른 화상 처리 장치는, 피사체와 촬상한 촬상자와의 관계에 따른 호감도에 기초하여, 적어도 1 이상의 화상 중으로부터 피사체마다 화상을 선택할 수 있다.
또한, 전술한 제1, 제2 실시 형태에 따른 화상 장치에서는, 호감도에 기초하여 화상을 선택하는 구성에 대해서 설명하였지만, 이러한 형태에 한정되지 않고, 예를 들면, 수학식 2의 「음성으로부터 얻어지는 변동값」을 이용하여 호감도를 산출하고, 그 호감도에 기초하여, 입력되는 음성을 부분적으로 취출할 수도 있다.
전술한 구성은, 당업자가 용이하게 변경할 수 있을 정도의 것이며, 본 발명의 등가 범위에 속하는 것으로 이해해야 한다.
도 1은 본 발명의 실시 형태에 따른 화상 처리 장치의 제1 예를 도시하는 설명도.
도 2는 본 발명의 실시 형태에 따른 화상 처리 장치의 제2 예를 도시하는 설명도.
도 3은 본 발명의 제1 실시 형태에 따른 화상 처리 장치를 도시하는 블록도.
도 4는 본 발명의 실시 형태에 따른 화상 선택 수단을 설명하기 위한 블록도.
도 5는 본 발명의 실시 형태에 따른 얼굴 화상의 추출을 설명하기 위한 설명도.
도 6은 본 발명의 실시 형태에 따른 피사체가 화상의 선택 대상인지의 여부의 판정을 설명하기 위한 설명도.
도 7은 본 발명의 실시 형태에 따른 호감도의 산출 수단의 일례를 설명하기 위한 설명도.
도 8은 본 발명의 실시 형태에 따른 선택 후보 화상의 제1 갱신 수단을 설명하기 위한 설명도.
도 9는 본 발명의 실시 형태에 따른 선택 후보 화상의 제2 갱신 수단을 설명하기 위한 설명도.
도 10은 본 발명의 실시 형태에 따른 선택 후보 화상의 제3 갱신 수단을 설명하기 위한 설명도.
도 11은 본 발명의 실시 형태에 따른 선택 화상 리스트의 일례를 도시하는 설명도.
도 12는 본 발명의 실시 형태에 따른 화상 처리 방법을 설명하는 흐름도.
도 13은 본 발명의 제2 실시 형태에 따른 화상 처리 장치를 이용한 시스템의 일례를 도시하는 블록도.
도 14는 본 발명의 실시 형태에 따른 호감도 랭킹의 일례를 도시하는 설명도.
<도면의 주요 부분에 대한 부호의 설명>
100, 200, 300 : 화상 처리 장치
102 : 화상 처리부
104 : 촬상부
106 : 기억부
108 : 조작부
110 : 표시부
112 : 얼굴 화상 추출부
114 : 대상 판정부
116 : 호감도 산출부
118 : 선택 화상 갱신부
120 : 리스트 생성부

Claims (15)

  1. 적어도 1 이상의 선택 대상 화상의 각각에 대하여, 피사체의 얼굴 영역을 특정하고, 얼굴 영역에 대응하는 얼굴 화상을 추출하는 얼굴 화상 추출부와,
    상기 얼굴 화상을 이용하여 상기 피사체의 호감도를 산출하는 호감도 산출부와,
    상기 호감도 산출부에서 산출된 상기 호감도 중, 호감도가 가장 큰 얼굴 화상에 대응하는 화상을 선택 후보 화상으로서 선택하는 선택 화상 갱신부
    를 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 선택 화상 갱신부에서 선택된 피사체마다의 상기 선택 후보 화상을, 피사체마다의 선택 화상으로서 선택하는 화상 선택부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 호감도는, 상기 얼굴 화상의 크기, 피사체의 표정, 피사체의 얼굴의 방향, 피사체의 시선의 방향, 피사체의 눈 및 입의 검출의 유무, 상기 얼굴 화상의 채도, 상기 얼굴 화상의 공간 주파수 중 어느 하나, 또는, 조합에 기초하여 산출되는 것을 특징으로 하는 화상 처리 장치.
  4. 제3항에 있어서,
    상기 적어도 1 이상의 선택 대상 화상 각각과 대응하는 음성이 입력되고,
    상기 호감도는, 상기 음성의 억양, 상기 음성의 음량에 더 기초하여 산출되는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 적어도 1 이상의 선택 대상 화상마다 피사체가 선택 화상의 선택 대상인지의 여부를 판정하는 대상 판정부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  6. 제5항에 있어서,
    상기 대상 판정부는, 화상을 선택하지 않는 피사체를 특정하는 비선택 대상 정보를 이용하여 상기 판정을 행하는 것을 특징으로 하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 호감도 산출부가 상기 선택 대상 화상에 대하여 산출한 호감도의 증감이 가능한 제1 호감도 편집부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 피사체마다의 선택 후보 화상에 대하여 산출된 호감도의 증감이 가능한 제2 호감도 편집부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  9. 제1항에 있어서,
    촬상을 행하는 촬상부를 더 구비하고,
    상기 적어도 1 이상의 선택 대상 화상은, 상기 촬상부에 의해 촬상된 리얼타임으로 입력되는 화상인 것을 특징으로 하는 화상 처리 장치.
  10. 제1항에 있어서,
    화상을 유지하는 기억부를 더 구비하고,
    상기 적어도 1 이상의 선택 대상 화상은, 상기 기억부에 유지된 화상인 것을 특징으로 하는 화상 처리 장치.
  11. 제1항에 있어서,
    상기 적어도 1 이상의 선택 대상 화상은, 외부 장치로부터 입력된 화상인 것을 특징으로 하는 화상 처리 장치.
  12. 적어도 1 이상의 선택 대상 화상의 각각에 대하여, 피사체의 얼굴 영역을 특정하고, 얼굴 영역에 대응하는 얼굴 화상을 추출하는 스텝과,
    상기 얼굴 화상을 이용하여 상기 피사체의 호감도를 산출하는 스텝과,
    상기 산출하는 스텝에서 산출된 상기 호감도 중, 호감도가 가장 큰 얼굴 화상에 대응하는 화상을 선택 후보 화상으로서 선택하는 스텝
    을 갖는 것을 특징으로 하는 화상 처리 방법.
  13. 제12항에 있어서,
    상기 선택하는 스텝에서 선택된 피사체마다의 상기 선택 후보 화상을, 피사체마다의 선택 화상으로서 선택하는 스텝을 더 갖는 것을 특징으로 하는 화상 처리 방법.
  14. 적어도 1 이상의 선택 대상 화상의 각각에 대하여, 피사체의 얼굴 영역을 특정하고, 얼굴 영역에 대응하는 얼굴 화상을 추출하는 수단과,
    상기 얼굴 화상을 이용하여 상기 피사체의 호감도를 산출하는 수단과,
    상기 산출하는 수단에서 산출된 상기 호감도 중, 호감도가 가장 큰 얼굴 화상에 대응하는 화상을 선택 후보 화상으로서 선택하는 수단
    으로서 컴퓨터를 기능시키기 위한 프로그램.
  15. 제14항에 있어서,
    상기 선택하는 수단에서 선택된 피사체마다의 상기 선택 후보 화상을, 피사체마다의 선택 화상으로서 선택하는 수단으로서 상기 컴퓨터를 더 기능시키기 위한 프로그램.
KR1020080021491A 2007-03-08 2008-03-07 화상 처리 장치, 화상 처리 방법, 및 프로그램 KR20080082526A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-00058704 2007-03-08
JP2007058704A JP2008225550A (ja) 2007-03-08 2007-03-08 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20080082526A true KR20080082526A (ko) 2008-09-11

Family

ID=39844147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080021491A KR20080082526A (ko) 2007-03-08 2008-03-07 화상 처리 장치, 화상 처리 방법, 및 프로그램

Country Status (4)

Country Link
US (1) US8363910B2 (ko)
JP (1) JP2008225550A (ko)
KR (1) KR20080082526A (ko)
CN (1) CN101261680B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138798A (ko) * 2012-03-16 2014-12-04 인텔 코오퍼레이션 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009003334A (ja) * 2007-06-25 2009-01-08 Sony Corp 画像撮像装置、撮像制御方法
KR102469694B1 (ko) * 2015-08-24 2022-11-23 삼성전자주식회사 카메라를 구비하는 장치에서 사진 촬영 지원 기법
CN106447758B (zh) * 2016-09-26 2019-09-17 上海传英信息技术有限公司 图像互换格式图片的生成方法和移动终端
US10408190B2 (en) 2016-10-07 2019-09-10 Robert B. Deioma Wind turbine with open back blade
US10776610B2 (en) * 2017-09-15 2020-09-15 Ruth Ellen Cashion LLC System for monitoring facial presentation of users

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6353531A (ja) 1986-08-25 1988-03-07 Canon Inc 像ブレ防止カメラ
US4901096A (en) 1988-12-30 1990-02-13 Lemelson Jerome H Camera apparatus and method
JP2603871B2 (ja) 1989-09-06 1997-04-23 旭光学工業株式会社 像ブレ防止カメラ
JP3063801B2 (ja) 1991-11-15 2000-07-12 株式会社ニコン ブレ防止カメラ
US5463443A (en) 1992-03-06 1995-10-31 Nikon Corporation Camera for preventing camera shake
JPH0630374A (ja) 1992-07-10 1994-02-04 Kyocera Corp 不要撮影を防止する電子スチルカメラ
JPH0743803A (ja) 1993-07-29 1995-02-14 Olympus Optical Co Ltd カメラの手ぶれ防止装置
JPH07218970A (ja) 1994-02-03 1995-08-18 Nikon Corp カメラ
JPH08256289A (ja) 1995-03-15 1996-10-01 Canon Inc 撮像装置
JP2736963B2 (ja) 1995-04-24 1998-04-08 旭光学工業株式会社 像ブレ防止カメラ
JPH1048681A (ja) 1996-05-10 1998-02-20 Olympus Optical Co Ltd ぶれ防止カメラ
US5923908A (en) 1997-10-30 1999-07-13 Eastman Kodak Company Camera with touch sensitive control
JPH11174520A (ja) 1997-12-16 1999-07-02 Canon Inc 撮像装置
JPH11205761A (ja) 1998-01-14 1999-07-30 Mitsubishi Electric Corp カメラ機能付携帯電話装置
JP2000163196A (ja) 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2000132693A (ja) 1998-10-27 2000-05-12 Sony Corp 画像処理装置および方法、並びに提供媒体
JP4043708B2 (ja) 1999-10-29 2008-02-06 富士フイルム株式会社 画像処理方法および装置
JP3939889B2 (ja) 2000-02-01 2007-07-04 ペンタックス株式会社 像振れ防止デジタルカメラ
JP3740351B2 (ja) 2000-06-23 2006-02-01 日本電信電話株式会社 画像加工装置および方法およびこの方法の実行プログラムを記録した記録媒体
JP3955170B2 (ja) * 2000-07-03 2007-08-08 富士フイルム株式会社 画像検索システム
JP2002023716A (ja) 2000-07-05 2002-01-25 Pfu Ltd プレゼンテーションシステムおよび記録媒体
JP2002049912A (ja) 2000-08-04 2002-02-15 Nri & Ncc Co Ltd 人物画像取得システム
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
GB0118436D0 (en) 2001-07-27 2001-09-19 Hewlett Packard Co Synchronised cameras with auto-exchange
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
JP2004120404A (ja) 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像配信装置および画像処理装置並びにプログラム
JP2004134950A (ja) 2002-10-09 2004-04-30 Sony Corp 画像合成方法および画像合成装置
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US7711253B2 (en) 2002-12-25 2010-05-04 Nikon Corporation Blur correction camera system
US7212230B2 (en) 2003-01-08 2007-05-01 Hewlett-Packard Development Company, L.P. Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera
US7453506B2 (en) 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4206888B2 (ja) 2003-09-30 2009-01-14 カシオ計算機株式会社 画像処理装置及びプログラム
JP2005182526A (ja) 2003-12-19 2005-07-07 Seiko Epson Corp 著作権保護システム、配置装置、保護装置及び著作権保護方法
JP2005303511A (ja) 2004-04-08 2005-10-27 Logic:Kk 画像蓄積システム、携帯端末、画像蓄積装置、画像蓄積方法、画像送信プログラムおよび画像蓄積プログラム
JP2006050163A (ja) 2004-08-03 2006-02-16 Olympus Corp 撮像装置
JP3906847B2 (ja) 2004-04-16 2007-04-18 ソニー株式会社 撮像装置
JP3892860B2 (ja) 2004-06-11 2007-03-14 三菱電機株式会社 カメラ付き携帯端末機器
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
JP4932161B2 (ja) 2005-01-14 2012-05-16 三菱電機株式会社 視聴者情報測定装置
JP2006202049A (ja) 2005-01-20 2006-08-03 Omron Corp 顔認識装置
JP2006201531A (ja) 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置
JP2006203600A (ja) 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム
JP4642489B2 (ja) 2005-01-24 2011-03-02 キヤノン株式会社 撮像装置及び撮像方法、並びに撮像プログラム及び記憶媒体
JP2006202181A (ja) 2005-01-24 2006-08-03 Sony Corp 画像出力方法および装置
JP3992286B2 (ja) 2005-01-28 2007-10-17 キヤノン株式会社 カメラシステムおよび交換レンズ
JP2006221378A (ja) 2005-02-09 2006-08-24 Smart Wireless Kk 顔認証を利用した警報システムおよび方法
JP2006279291A (ja) 2005-03-28 2006-10-12 Toshiba Corp 撮影装置
US7612832B2 (en) * 2005-03-29 2009-11-03 Microsoft Corporation Method and system for video clip compression
JP2006319610A (ja) 2005-05-12 2006-11-24 Matsushita Electric Ind Co Ltd 撮像装置
US8374403B2 (en) 2005-05-16 2013-02-12 Cisco Technology, Inc. Methods and apparatus for efficient, automated red eye detection
JP2006330800A (ja) 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 画像合成システム、画像合成方法、この方法のプログラム
JP2006331271A (ja) 2005-05-30 2006-12-07 Nippon Hoso Kyokai <Nhk> 代表画像抽出装置及び代表画像抽出プログラム
US20070014543A1 (en) 2005-07-13 2007-01-18 Canon Kabushiki Kaisha Image processing apparatus and control method therefor
JP2007097090A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
JP4630807B2 (ja) 2005-12-16 2011-02-09 キヤノン株式会社 画像処理装置及び画像処理方法
JP4872396B2 (ja) 2006-03-15 2012-02-08 オムロン株式会社 画像編集装置、画像編集方法および画像編集プログラム
JP4853320B2 (ja) 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP4424364B2 (ja) 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
US20080231714A1 (en) 2007-03-22 2008-09-25 Texas Instruments Incorporated System and method for capturing images
JP4396720B2 (ja) 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009003334A (ja) 2007-06-25 2009-01-08 Sony Corp 画像撮像装置、撮像制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138798A (ko) * 2012-03-16 2014-12-04 인텔 코오퍼레이션 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법
CN104246660A (zh) * 2012-03-16 2014-12-24 英特尔公司 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法

Also Published As

Publication number Publication date
CN101261680B (zh) 2011-02-23
US20080273798A1 (en) 2008-11-06
US8363910B2 (en) 2013-01-29
JP2008225550A (ja) 2008-09-25
CN101261680A (zh) 2008-09-10

Similar Documents

Publication Publication Date Title
KR20080082526A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
CN106134178B (zh) 图像处理装置、摄像装置以及图像处理方法
JP5364573B2 (ja) 不完全なデータからの評価指標
Zheng et al. Hybrid patching for a sequence of differently exposed images with moving objects
US20090040324A1 (en) Imaging apparatus, imaging system, and imaging method
US20130162672A1 (en) Image processing device, image processing method, and program
WO2010018669A1 (ja) 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム
US8406571B2 (en) Automatic super-resolution transformation for images
TW201251443A (en) Video summary including a feature of interest
Zheng et al. Single image brightening via multi-scale exposure fusion with hybrid learning
JP2007006033A (ja) 対象決定装置、撮像装置および監視装置
DE112019001257T5 (de) Stabilisierung von video zur verringerung von kamera- und gesichtsbewegung
JP2008165700A (ja) 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
CN104885442A (zh) 服务器装置和拍摄装置
JP2012044415A (ja) 撮像装置及びその制御方法、並びにプログラム
CN105721752B (zh) 摄像装置和摄像方法
CN110278399A (zh) 一种景点参观视频自动生成方法、系统、设备和存储介质
CN103685934B (zh) 图像编辑装置
CN107730461A (zh) 图像处理方法、装置、设备及介质
Zhu et al. Blind image quality assessment via cross-view consistency
CN103685937B (zh) 图像编辑装置以及图像编辑方法
JP5147670B2 (ja) 画像処理装置及び画像処理方法、撮像装置
US20190320116A1 (en) Image pickup device and method for controlling same
JP2014174782A (ja) 画像処理装置、画像処理方法及びプログラム
CN104144286A (zh) 拍摄装置和拍摄方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid