KR20090016767A - 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램 - Google Patents

얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램 Download PDF

Info

Publication number
KR20090016767A
KR20090016767A KR1020097000862A KR20097000862A KR20090016767A KR 20090016767 A KR20090016767 A KR 20090016767A KR 1020097000862 A KR1020097000862 A KR 1020097000862A KR 20097000862 A KR20097000862 A KR 20097000862A KR 20090016767 A KR20090016767 A KR 20090016767A
Authority
KR
South Korea
Prior art keywords
region
face
interest
image
dynamic extraction
Prior art date
Application number
KR1020097000862A
Other languages
English (en)
Other versions
KR101103115B1 (ko
Inventor
무네타카 츠다
슈지 히라마츠
아키라 스즈키
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20090016767A publication Critical patent/KR20090016767A/ko
Application granted granted Critical
Publication of KR101103115B1 publication Critical patent/KR101103115B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

인물의 얼굴을 나타내는 화상을 표시하는 경우에, 얼굴에 착목한 동화상으로서 표시할 수 있는 얼굴 화상표시장치를 제공한다.
얼굴영역 검출부(21)가, 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 표현된 얼굴영역을 검출하고, 동적 추출영역 생성부(22)가, 상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하며, 동화상 출력부(27)가, 상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 얼굴 화상표시장치이다.
얼굴영역 검출부, 동적 추출영역 생성부, 동화상 출력부, 얼굴 화상표시장치, 얼굴 화상표시방법, 얼굴 화상표시 프로그램

Description

얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램{FACE IMAGE DISPLAY, FACE IMAGE DISPLAY METHOD, AND FACE IMAGE DISPLAY PROGRAM}
본 발명은 인물의 얼굴을 나타내는 화상을 표시하는 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램에 관한 것이다.
통상, 인물 등이 촬상(撮像)된 사진 등의 화상데이터를 화상표시장치가 표시하는 경우에는 화상의 전체를 표시한다. 또한 움직임을 수반하는 동화상으로서 화상을 표시하는 경우에는, 암전(暗轉)한 상태에서 화상 전체의 명도를 서서히 올려서 표시하거나, 화상의 소정의 위치로부터 서서히 줌아웃(zoom out)함으로써 전체의 화상을 표시하는 등의 방법을 이용하는 경우가 있다.
그러나 상기 종래예에 의한 동화상은 화상의 내용에 착목하여 생성된 것이 아니기 때문에 비교적 단조롭고, 이용자에게 있어서 오락성이 결여되어 있다. 또한 화상 중에서 중요도가 비교적 낮은 부분에 이용자의 주의를 집중시켜 버린다는 문제가 있다.
본 발명은 상기 실정에 비추어 이루어진 것으로, 그 목적의 하나는, 인물의 얼굴을 나타내는 화상을 표시하는 경우에, 얼굴에 착목한 동화상으로서 표시할 수 있는 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램을 제공하 것이다.
상기 과제를 해결하기 위한 본 발명에 따른 얼굴 화상표시장치는, 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 나타난 얼굴영역을 검출하는 얼굴영역 검출수단과, 상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하는 동적 추출영역 생성수단과, 상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 동화상 출력수단을 포함하는 것을 특징으로 한다.
또한 본 발명에 따른 얼굴 화상표시방법은, 컴퓨터를 이용하여 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 나타난 얼굴영역을 검출하는 단계와, 상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하는 단계와, 상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 단계를 실행하는 것을 특징으로 한다.
또한 본 발명에 따른 얼굴 화상표시 프로그램은, 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 나타난 얼굴영역을 검출하는 얼굴영역 검출수단, 상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하는 동적 추출영역 생성수단, 및 상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 동화상 출력수단으로서 컴퓨터를 기능시키는 것을 특징으로 한다.
또한 본 발명에 따른 정보기록매체는, 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 나타난 얼굴영역을 검출하는 얼굴영역 검출수단, 상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하는 동적 추출영역 생성수단, 및 상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 동화상 출력수단으로서 컴퓨터를 기능시키는 프로그램을 격납한 컴퓨터로 판독 가능한 정보 기록매체이다.
본 발명에 따른 얼굴 화상표시장치는 얼굴영역에 착목한 동화상을 출력할 수 있다.
또한, 본 발명에 따른 얼굴 화상표시장치는, 얼굴영역을 포함하는 주목영역의 특징에 따른 순서에 의해 주목영역을 표시하는 동화상을 출력할 수 있다.
또한, 본 발명에 따른 얼굴 화상표시장치는, 얼굴영역의 검출에 걸리는 시간에 의해 사용자를 기다리게 하지 않고, 복수의 대상화상에 나타나는 주목영역을 연속해서 표시하는 동화상을 출력할 수 있다.
또한, 본 발명에 따른 얼굴 화상표시장치는, 검출된 얼굴영역에 따른 패턴의 동화상을 출력할 수 있다.
본 발명의 한 실시형태에 따른 얼굴 화상표시장치에 있어서는, 얼굴영역 검출수단이, 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 나타난 얼굴영역을 검출한다. 그리고, 동적 추출영역 생성수단이, 상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성한다. 나아가, 동화상 출력수단이, 상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력한다.
이로써, 본 실시형태에 따른 얼굴 화상표시장치는 얼굴영역에 착목한 동화상을 출력할 수 있다.
여기서, 상기 동적 추출영역 생성수단은, 상기 얼굴영역을 하나 또는 복수 포함하는 주목(注目)영역을 결정하는 주목영역 결정수단과, 상기 주목영역을 추출 하는 추출순서를 소정의 조건에 기초하여 결정하는 추출순서 결정수단과, 상기 주목영역 및 상기 추출순서에 기초하여 상기 동적 추출영역을 결정하는 동적 추출영역 결정수단을 포함하는 것으로 해도 된다.
나아가, 상기의 경우에 있어서, 상기 추출순서 결정수단은, 상기 주목영역에 나타난 얼굴의 수, 상기 주목영역의 크기 또는 상기 주목영역의 상기 대상화상 내의 위치 중 적어도 어느 하나에 기초하여 추출순서를 결정하는 것으로 해도 된다.
이로써, 본 실시형태에 따른 얼굴 화상표시장치는, 얼굴영역을 포함하는 주목영역의 특징에 따른 순서에 의해 주목영역을 표시하는 동화상을 출력할 수 있다.
또한 상기 동적 추출영역 결정수단은, 상기 동적 추출영역을, 상기 주목영역의 상기 대상화상 중의 위치에 기초하여 결정하는 이동경로를 따라, 상기 대상화상 중에 있어서 위치를 시간과 함께 변화시키도록 결정하는 것으로 해도 된다.
이로써, 본 실시형태에 따른 얼굴 화상표시장치는, 얼굴영역을 포함하는 주목영역에 맞추어 이동하면서 대상화상의 일부를 순차 표시하는 동화상을 출력할 수 있다.
또한 본 실시형태에 따른 얼굴 화상표시장치는, 상기 동화상 출력수단이 복수의 대상화상에 기초하여 상기 동화상을 출력하는 경우에, 상기 얼굴영역 검출수단이 하나 또는 복수의 다른 대상화상 중에서 얼굴영역을 검출하는 검출시간을 예측하는 검출시간 예측수단을 더 포함하고, 상기 동화상 출력수단은, 상기 검출시간 예측수단에 의해 예측된 검출시간에 기초하여 결정한 시간에 걸쳐서 상기 동화상을 출력하며, 상기 얼굴영역 검출수단은, 상기 동화상 출력수단에 의한 상기 동화상의 출력기간 중에, 상기 하나 또는 복수의 다른 대상화상에 포함되는 얼굴영역을 검출하는 것으로 해도 된다.
이로써 본 실시형태에 따른 얼굴 화상표시장치는, 얼굴영역의 검출에 걸리는 시간에 의해 사용자를 기다리게 하지 않고, 복수의 대상화상에 나타나는 주목영역을 연속해서 표시하는 동화상을 출력할 수 있다.
또한 본 실시형태에 따른 얼굴 화상표시장치에 있어서, 상기 동적 추출영역 생성수단은, 상기 검출된 얼굴영역의 수, 상기 검출된 얼굴영역의 크기 또는 상기 얼굴영역의 상기 대상화상 내의 위치 중 적어도 어느 하나에 기초하여 소정의 동화상 패턴후보 중에서 동화상의 패턴을 선택하고, 당해 선택한 패턴에 기초하여 상기 동적 추출영역을 생성하며, 상기 동화상 출력수단은, 상기 선택한 패턴에 기초한 동화상을 출력하는 것으로 해도 된다.
이로써 본 실시형태에 따른 얼굴 화상표시장치는, 검출된 얼굴영역에 따른 패턴의 동화상을 출력할 수 있다.
이하, 본 발명의 바람직한 실시의 형태에 대해서 도면을 참조하면서 설명한다.
본 발명의 실시의 형태에 따른 얼굴 화상표시장치는, 도 1에 나타내는 바와 같이, 제어부(11), 기억부(12), 표시부(13) 및 조작부(14)를 포함하여 구성되어 있다.
여기서 제어부(11)는, 예컨대 CPU 등으로 구성되어 있고, 기억부(12)에 격납되어 있는 프로그램을 실행한다. 기억부(12)는 RAM이나 ROM 등의 메모리 소자 및/ 또는 디스크 디바이스 등을 포함하여 구성되어 있다. 이 기억부(12)에는 제어부(11)에 의해 실행되는 프로그램이나 본 실시의 형태에 있어서 처리의 대상이 되는 대상화상의 데이터 등이 격납되어 있다. 또한 기억부(12)는 제어부(11)의 워킹 메모리(working memory)로서도 동작한다.
표시부(13)는, 예컨대 디스플레이 등으로서, 제어부(11)로부터 출력된 지시에 따라 화상을 표시한다. 조작부(14)는 사용자의 지시조작을 접수하여 당해 지시조작의 내용을 제어부(11)에 출력한다. 조작부(14)는 키보드나 마우스여도 되며, 가정용 게임기의 컨트롤러 등이어도 된다.
본 실시의 형태에 따른 얼굴 화상표시장치는, 기능적으로는 도 2에 나타내는 바와 같이, 얼굴영역 검출부(21), 동적 추출영역 생성부(22), 검출시간 예측부(26) 및 동화상 출력부(27)를 포함하여 구성되어 있다.
얼굴영역 검출부(21)는, 우선 본 실시의 형태에 있어서 처리의 대상이 되는 대상화상을 취득한다. 대상화상은 기억부(12)에 보유되어 있어도 되고, 도시하지 않은 통신부에 의해 네트워크를 통해서 취득하는 것으로 해도 된다. 그리고, 얼굴영역 검출부(21)는 대상화상 중에서 얼굴이 나타난 화상영역을 얼굴영역으로서 검출한다.
구체적으로는, 예컨대 얼굴영역을 직사각형 영역으로서 검출하는 경우, 얼굴영역의 위치 및 크기를, 대상화상의 화소의 크기를 단위로 해서 결정하여 기억부(12)에 보유시킨다. 이 경우, 예컨대 직사각형 영역의 왼쪽 위의 점이나 중심에 위치하는 점을 얼굴영역의 대표점으로 하고, 얼굴영역의 위치는 당해 대표점의 대 상화상 위의 위치좌표로서 결정한다. 또한 얼굴영역의 크기는 직사각형 영역의 폭 및 높이의 두 개의 값으로서 결정한다. 또한 얼굴영역을 원형의 영역으로서 검출하는 경우, 원형의 영역의 중심점을 대표점으로 하고, 크기는 원의 반경을 나타내는 하나의 값으로서 결정한다. 혹은, 얼굴영역을 타원형의 영역으로서 결정해도 된다. 이 경우에는, 타원의 중심을 대표점으로 하고, 긴 축 및 짧은 축 각각의 반경을 나타내는 값으로 얼굴영역의 크기를 특정한다.
얼굴영역 검출부(21)가 얼굴영역을 검출하는 방법으로는 특별히 한정되지 않고 여러 가지 기술을 이용할 수 있다. 예컨대, 얼굴영역 검출부(21)는 미리 학습으로 획득한 얼굴의 형상패턴에 관한 통계데이터를 이용해 얼굴영역의 검출을 행하는 것으로 해도 된다. 이러한 통계적 수법을 이용해 얼굴영역을 검출하는 경우, 얼굴영역을 검출하는 동시에 검출한 영역이 실제로 얼굴을 나타내는 부분을 포함하고 있을 가능성을 나타내는 우도(尤度;likelihood)에 관한 값을 얻을 수 있다. 이는, 소위 당해 영역의 얼굴다움(facial likeness)을 나타내는 값으로서, 이 얼굴다움의 값을 나중에 추출순서 결정부(24)에서 이용하는 것으로 해도 된다. 또한, 얼굴의 형상패턴으로부터 얼굴의 방향을 결정하고, 이 정보를 나중에 추출순서 결정부(24)에서 이용하는 것으로 해도 된다.
나아가, 얼굴영역 검출부(21)는 얼굴영역의 검출과 함께 당해 영역에 포함되는 것이 어느 인물의 얼굴인지를 식별하는 처리를 행해도 된다. 과거에 검출한 얼굴영역이 어느 인물의 얼굴에 해당하는지에 대해 사용자가 이미 등록한 얼굴정보 등이 있으면, 얼굴영역 검출부(21)는 예컨대 고유얼굴법(eigenface method) 등의 얼굴식별기술(face-identifying technique)에 의해 검출한 얼굴영역이 어느 인물의 얼굴인지를 특정할 수 있다. 이 정보는 뒤에 추출순서 결정부(24)에 의해 주목영역의 추출순서를 결정할 때에 이용할 수 있다. 이로써, 예컨대 사용자의 가족사진 등의 화상을 표시하는 경우에, 사진에 찍힌 인물에 따라 표시할지 말지를 결정하거나, 인물에 따른 표시순서 및 표시방법으로 화상을 표시하거나 할 수 있다.
또한, 얼굴영역 검출부(21)는 검출한 얼굴영역의 속성에 관한 속성정보를 취득해도 된다. 이 속성정보에는, 예컨대 얼굴영역에 나타나 있는 인물이 젊은지(연령)에 관한 정보나, 당해 인물의 표정에 관한 정보 등이 포함된다. 구체적으로 얼굴영역 검출부(21)는, 얼굴영역에 대한 주파수 분석의 결과나 얼굴영역에 포함되는 주목점(눈이나 코, 입의 위치 등)의 위치관계 등에 기초하여 당해 얼굴영역에 포함되는 인물의 젊음이나 표정 등을 추정함으로써, 이러한 속성정보를 취득할 수 있다. 이 속성정보는 나중에 추출순서 결정부(24)가 주목영역의 추출순서를 결정할 때에 이용된다. 이로써, 예컨대 아이의 얼굴을 나타내는 얼굴영역을 우선해서 동화상의 표시를 행하는 등의 처리를 실현할 수 있다.
동적 추출영역 생성부(22)는 얼굴영역 검출부(21)에 의해 검출되는 얼굴영역에 기초하여 동적 추출영역을 생성한다. 여기서 동적 추출영역은, 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽이 시간과 함께 변화하는 영역이며, 시간의 정보와 대상화상 중의 위치 및 크기의 정보를 관련시킨 정보에 의해 특정된다. 동화상 출력부(27)는 당해 영역에 기초하여 대상화상을 클리핑(clipping)함으로써 출력하는 동화상에 나타나는 화상을 취득한다. 동적 추출영역을 얼굴영역에 기초하여 결정함으로써, 본 실시의 형태에 따른 얼굴 화상표시장치는 얼굴영역에 주목한 동화상을 출력할 수 있다.
여기서는, 동적 추출영역 생성부(22)가 하나 또는 복수의 얼굴영역을 포함하는 화상영역을 주목영역으로 결정하고, 주목영역을 소정의 조건에 기초한 순서로 추출하는 동적 추출영역을 생성하는 경우의 예에 대해서 설명한다. 이 경우, 동적 추출영역 생성부(22)는 기능적으로 주목영역 결정부(23), 추출순서 결정부(24) 및 동적 추출영역 결정부(25)를 포함하여 구성된다.
주목영역 결정부(23)는, 얼굴영역 검출부(21)가 검출한 복수의 얼굴영역에 대해 이들의 얼굴영역을 필요에 따라 소정의 조건에 맞추어 그룹화함으로써 주목영역을 결정한다. 주목영역은 하나 또는 복수의 얼굴이 나타난, 대상화상 중에 포함되는 화상영역이다. 주목영역은 얼굴영역과 마찬가지로 대상화상 상의 위치 및 크기를 나타내는 값으로 특정된다.
복수의 얼굴영역을 그룹화하는 방법으로는, 예컨대 이하와 같은 것이 있다. 즉, 어떤 두 개의 얼굴영역이 중복하는 경우에, 중복하는 부분의 면적이 소정의 역치 이상인 경우 같은 그룹으로 판정한다. 혹은, 단순히 중복되는 영역이 존재한다면 같은 그룹으로 판정해도 된다. 또한 두 개의 얼굴영역에 대해, 각각의 얼굴영역의 대표점을 P, Q로 하여 PQ간의 거리가 소정의 역치 이하인 경우에 같은 그룹으로 판정해도 된다. 또한 두 개의 얼굴영역에 대해, 당해 두 개의 얼굴영역의 인접변 사이의 거리가 소정의 역치 이하이거나 또는 얼굴영역의 크기에 대해 소정의 비율에 의해 정해지는 값 이하인 경우에 같은 그룹으로 판정해도 된다. 여기서 인접변 은, 두 개의 얼굴영역의 외주(外周)를 구성하는 각각의 변(얼굴영역이 원형이거나 타원형의 영역인 경우에는 당해 얼굴영역에 외접하는 직사각형의 변) 중 한쪽의 얼굴영역의 변과 다른 쪽 얼굴영역의 변 사이에서 가장 거리가 작아지는 두 개의 변의 세트이다. 주목영역 결정부(23)는 이들의 조건에 따라 같은 그룹에 속한다고 판정된 하나 또는 복수의 얼굴영역에 기초하여 주목영역을 결정한다. 여기서 주목영역은, 대상으로 하는 얼굴영역을 모두 포함하는 크기여도 되고, 각각의 얼굴영역을 소정의 비율 이상 포함하는 크기여도 된다. 또한, 얼굴영역 주위의 소정의 화소수 분의 영역을 포함하는 크기여도 된다. 혹은, 얼굴영역에 포함되는 얼굴의 방향에 따라, 예컨대 얼굴의 아래 방향의 영역을, 얼굴영역의 크기에 대해 소정의 비율에 따라 정해지는 화소수 분만큼 포함하도록 주목영역의 크기를 결정해도 된다. 이로써, 예컨대 체스트업(chest up)의 구도가 되도록 인물의 얼굴을 포함한 주목영역을 결정할 수 있다. 또한 주목영역이 얼굴영역을 하나만 포함하는 화상영역인 경우에는, 주목영역의 형상 및 크기는 얼굴영역과 일치하는 것으로 해도 된다.
또한 주목영역 결정부(23)는, 얼굴영역을 하나 포함하는 주목영역을 결정하는 경우 등에 있어서, 주목영역의 크기를 당해 주목영역에 포함되는 얼굴영역의 크기에 따라 결정해도 된다. 예컨대 주목영역 결정부(23)는, 상술한 바와 같이 얼굴영역 주위의 소정의 화소수 분의 영역을 포함하는 영역을 주목영역으로 하는 경우에, 이 소정의 화소수를 얼굴영역의 크기에 기초하여 결정한다. 구체예로서, 주목영역 결정부(23)는 소정의 화소수를 얼굴영역의 크기가 클수록 작은 값으로, 반대로 얼굴영역의 크기가 작을수록 큰 값으로 결정한다. 이렇게 하면, 주목영역 결정 부(23)가 결정하는 주목영역의 크기는 얼굴영역 검출부(21)가 검출하는 얼굴영역의 크기만큼 편차가 생기지 않고, 비교적 근접한 크기가 된다. 이로써, 예컨대 후술하는 바와 같이, 동적 추출영역 결정부(25)가 주목영역을 향해 줌인(zoom in)하는 동화상 패턴에 따른 동적 추출영역을 결정하는 경우에, 동적 추출영역의 크기가 시간과 함께 급격하게 변화하는 것을 억제할 수 있다.
주목영역 결정부(23)에 의해, 대상화상에 포함되는 인물의 얼굴을 나타내는 부분이 각각 어느 하나의 주목영역에 포함되도록 주목영역이 결정된다. 예컨대, 도 3에 모식적으로 나타내는 대상화상 I1에서는, 세 개의 얼굴영역을 포함하는 주목영역 A, 하나의 얼굴영역을 포함하는 주목영역 B, 두 개의 얼굴영역을 포함하는 주목영역 C가 각각 얻어진다. 그리고, 이후의 처리에 의해, 동적 추출영역 생성부(22)는 이 주목영역을 소정의 순서에 기초하여 추출하도록 동적 추출영역을 생성한다.
추출순서 결정부(24)는, 주목영역 결정부(23)가 결정한 주목영역 중에서 동화상 출력부(27)가 추출할 대상으로 하는 주목영역을 결정하고, 추출대상으로 하는 주목영역을 소정의 조건에 기초해 다시 배열하여 추출순서를 결정한다.
구체적으로는, 추출순서 결정부(24)는 예컨대 각각의 주목영역에 대해, 주목영역의 특징을 나타내는 값 등에 기초하여 스코어(score) 값을 산출한다. 그리고, 이 스코어 값에 기초하여 주목영역을 추출대상으로 할지의 여부, 및 추출대상으로 할 주목영역을 어떠한 순서로 추출할지를 결정한다. 스코어 값은, 주목영역에 나타난 얼굴의 수나 주목영역의 면적 등에 기초하여 산출할 수 있다. 또한, 스코어 값은 주목영역에 포함되는 얼굴영역에 대해, 얼굴영역 검출부(21)에서 얻어진 얼굴다 움에 관한 값이나, 그 얼굴이 누구의 얼굴인지 등의 정보를 이용하여 결정해도 된다.
또한 추출순서 결정부(24)는, 스코어 값을, 주목영역에 포함되는 얼굴영역에 대해 상술한 얼굴영역 검출부(21)가 취득한 속성정보에 기초하여 결정해도 된다.
나아가, 스코어 값은 이들의 주목영역에 관한 정보를 조합시켜서 산출되는 것으로 해도 된다. 예컨대, 주목영역에 나타난 얼굴의 수와 주목영역의 면적에 기초하여 스코어 값을 산출하는 경우, 대상화상 I1에 있어서, 주목영역 A, B, C의 각각의 스코어 값을 SCA, SCB, SCC로 하면, 이하의 계산식으로 스코어 값을 구할 수 있다.
SCA=(SA×a1)+(NA×a2)
SCB=(SB×a1)+(NB×a2)
SCC=(SC×a1)+(NC×a2)
여기서, NA, NB, NC는 각각 주목영역 A, B, C에 나타난 얼굴의 수이며, SA, SB, SC는 각각 주목영역 A, B, C의 면적을 나타내는 값이다. 또한 a1, a2는 미리 정해진 웨이팅(weighting) 계수이다.
각각의 주목영역에 대한 스코어 값을 산출한 후, 추출순서 결정부(24)는 추출순서를 결정한다. 구체적으로는, 예컨대 스코어 값이 큰 순서대로 주목영역을 다시 배열하고, 다시 배열한 순서에 따라 추출하는 것으로 한다. 또한, 스코어 값이 소정의 역치 이하인 주목영역에 대해서는 추출대상에서 제외하는 것으로 해도 된다. 예컨대 상술한 예에 있어서, SCA>SCB>SCC로서, 소정의 역치 SCmin에 대해 SCB>SCmin, SCmin≥SCC가 성립한 경우, 추출순서 결정부(24)는 주목영역 C를 동적 추출영역 결정부(25)에 의한 처리의 대상에서 제외하고, 주목영역 A, B를 이 순서로 추출하도록 추출순서를 결정한다. 이렇게 하면, 예컨대 풍경을 촬영한 사진의 화상 등에 있어서, 배경에 찍혀버린 작은 인물의 얼굴 등은 처리의 대상에서 제외할 수 있다.
또한 추출순서 결정부(24)는, 스코어 값에 따라 추출순서를 결정하는 방법 대신에, 얼굴의 방향에 관한 정보나 주목영역의 위치에 따라 추출순서를 결정해도 된다. 이 경우, 예컨대 대상화상 중에 있어서 좌측에 위치하는 주목영역부터 순서대로 추출하도록 추출순서를 결정한다. 또한, 대상화상에 찍힌 피사체의 카메라로부터의 거리에 관한 정보를 핀트에 관한 정보나 피사체의 상의 겹침 등에 기초하여 취득할 수 있는 경우, 이들의 정보에 기초하여 얼굴영역을 앞쪽에서 뒤쪽, 또는 뒤쪽에서 앞쪽으로 배열한 순서를 결정하고, 이 순서에 따라 추출순서를 결정해도 된다. 또한, 이러한 주목영역의 정보에 의하지 않고 랜덤하게 추출순서를 결정해도 된다. 나아가, 스코어 값에 의하지 않고 추출순서를 결정하는 경우라도, 상술한 예와 같이 주목영역에 대해 스코어 값을 산출하고, 스코어 값이 소정의 역치 이하인 주목영역에 대해서는 동화상 출력부(27)가 추출하는 대상에서 제외하는 것으로 해도 된다.
여기서, 주목영역의 위치에 기초하여 추출순서를 결정하는 방법의 구체예에 대해 설명한다. 예컨대 추출순서 결정부(24)는 대상화상 중에 있어서 소정의 범위 내에 포함되는 주목영역을 추출대상에서 제외한다. 이렇게 하면, 예컨대 대상화상의 외주의 근방에 있는 주목영역을 무시하고 동적 추출영역을 생성할 수 있다. 또한 추출순서 결정부(24)는, 추출대상에서 제외되지 않는 주목영역 중에서 서로 가장 거리가 떨어진 두 개의 주목영역을 검출하여, 당해 두 개의 주목영역의 한쪽을 최초로 하고 다른 한쪽을 최후가 되도록 추출순서를 결정해도 된다.
또한 추출순서 결정부(24)는, 추출대상으로 하는 주목영역의 결정과 함께 추출대상으로 하는 주목영역이 소정의 조건을 만족하는 경우, 두 개 이상의 추출대상이 되는 주목영역에 포함되어 있는 얼굴영역이 하나의 주목영역에 포함되도록 주목영역을 재설정하는 것으로 해도 된다. 예컨대, 추출대상이 되는 주목영역의 수가 소정의 수 이하인 경우, 이들 추출대상이 되는 주목영역에 포함되는 얼굴영역을 모두 포함하도록 주목영역의 위치 및 크기를 재설정한다. 혹은, 어떤 두 개의 주목영역에 대해 두 개의 주목영역의 대표점 사이의 거리가 소정의 역치 이하인 경우에, 이 두 개의 주목영역에 포함되는 얼굴영역을 모두 포함하도록 주목영역을 재설정하는 것으로 해도 된다. 이로써, 예컨대 추출대상이 되는 주목영역의 수가 적을 경우 등에 대응하여 바람직한 주목영역을 추출할 수 있다.
동적 추출영역 결정부(25)는, 주목영역 결정부(23)가 결정한 주목영역과, 추출순서 결정부(24)가 결정한 추출순서에 기초하여 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 결정한다. 구체적 으로는, 주목영역을 추출순서에 따라 추출하도록 동적 추출영역을 결정한다. 여기서 동적 추출영역 결정부(25)는, 동화상 출력부(27)가 출력하는 동화상의 패턴에 기초하여 동적 추출영역을 결정한다. 또한, 동적 추출영역의 형상은 상기 동화상의 패턴에 의해 결정된다.
동화상 출력부(27)가 출력하는 동화상의 패턴으로서 후술하는 모핑(morphing)처리를 이용하는 패턴이나, 페이드인·페이드아웃(fade-in/fade-out)에 의한 패턴을 이용하는 경우, 동적 추출영역 결정부(25)는 동적 추출영역의 위치 및 면적을 이하와 같이 결정한다. 즉, 우선 첫 번째의 추출순서에 대응하는 주목영역을 포함하도록 대상화상 중의 위치 및 면적을 결정한다. 이어서, 소정의 조건에 따라 결정한 단위시간이 경과한 후, 다음 추출순서에 대응하는 주목영역을 포함하는 대상화상 중의 위치 및 면적으로 변화시키도록 동적 추출영역을 결정한다. 이것을 반복하여 추출순서 결정부(24)가 결정한 추출순서대로 주목영역을 포함하는 위치 및 면적으로 순차 동적 추출영역을 변화시킨다.
여기서, 상술한 단위시간은 미리 정해진 시간이어도 되고, 당해 대상화상에 기초하여 생성한 동화상 전체를 출력하는 표준출력시간 Tmin에 기초하여 결정해도 된다. 여기서, 표준출력시간 Tmin는 미리 정해진 시간이어도 되고, 표시하는 주목영역의 수에 기초하여 결정한 시간이어도 된다. 또한, 표준출력시간 Tmin와 후술하는 검출시간 예측부(26)에 의해 산출된 예측시간에 기초하여 단위시간을 결정해도 된다.
이와는 별도의 동화상 출력부(27)가 출력하는 동화상의 패턴으로는, 주목영역의 대상화상 중의 위치에 기초하여 결정한 이동경로를 따라 동적 추출영역을 이동시킴으로써 대상화상 중을 이동하는 동화상을 출력하는 패턴이 있다. 이하에서는, 이 경우에 동적 추출영역 결정부(25)가 동적 추출영역을 결정하는 처리에 대해 자세하게 설명한다.
우선, 동적 추출영역 결정부(25)는 대상화상 상에서 동적 추출영역을 이동시키는 이동경로를 결정한다. 이동경로는, 예컨대 주목영역의 대표점을 추출순서 결정부(24)가 결정한 순서대로 지나도록 결정된다. 이동경로는 각 대표점을 직선으로 연결한 꺾인 선이어도 되고, 각 대표점을 통과하는 스플라인 곡선이어도 된다. 또한, 베지어곡선(Bezier Curve)을 이용하여 이동경로를 결정해도 되지만, 이 경우 최종적으로 동적 추출영역이 주목영역을 통과하도록 베지어곡선을 보정할 필요가 있다. 이로써, 동적 추출영역 결정부(25)는 추출해야 할 주목영역을 소정의 순서에 따라 통과하도록 동적 추출영역을 결정하기 때문에, 동화상 출력부(27)는 주목영역을 소정의 순서대로 표시하는 동화상을 출력할 수 있다.
도 4는, 도 3에 나타낸 대상화상 I1의 예에 있어서, 주목영역 A, B, C를 이 순서대로 표시하는 경우의 이동경로의 예를 나타내는 도이다. 이 도에 있어서, 주목영역 A, B, C의 대표점은 각각 CA, CB, CC이며, 이동경로는 이 세 점을 연결하는 곡선 R이 된다. 동적 추출영역은 이 이동경로 R을 따라 점 CA, CB, CC를 이 순서대로 경유해서 이동하도록 결정된다.
또한, 이동경로는 반드시 주목영역의 대표점 위를 통과하지 않아도 된다. 예컨대, 각 주목영역의 외주상의 모든 점에 대해, 각 점에서 이동경로까지의 거리 h가 소정의 역치 이하가 되도록 이동경로를 결정한다. 그리고, 상기의 거리 h 중 최대가 되는 거리 hmax에 기초하여 동적 추출영역의 크기를 결정한다. 이로써, 이동경로가 주목영역의 대표점을 통과하지 않는 경우라도, 동화상 출력부(27)는 동적 추출영역에 의해 클리핑한 화상을 순차 취득함으로써, 주목영역을 표시시키는 동화상을 출력할 수 있다.
구체적으로는, 예컨대 각 대표점의 위치를 직선으로 근사하고, 당해 직선을 최대거리 hmax가 최소가 되도록 평행이동하여 얻어진 직선을 이동경로로 한다. 이로써, 주목영역이 거의 직선상으로 배열되어 있고 추출순서 결정부(24)가 주목영역의 추출순서를 주목영역의 위치에 기초하여 결정한 경우에는, 동적 추출영역을 당해 직선상으로 이동시킴으로써 주목영역을 표시하는 동화상을 출력할 수 있다. 도 5는 도 3에 나타낸 대상화상 I1의 예에 있어서, 주목영역 C를 추출대상으로 하지 않고, 주목영역 A, B를 이 순서대로 표시하는 경우의, 직선에 의한 이동경로 R′의 예를 나타내는 도이다. 여기서는, 이동경로 R′는 주목영역 A의 밑변과 주목영역 B의 윗변의 중간을 통과하도록 결정되며, 최대거리 hmax는 이동경로 R′와 주목영역 B의 윗변과의 거리, 및 이동경로 R′와 주목영역 A의 밑변과의 거리에 상당한다. 또한, 이 경우, 동적 추출영역을 세로방향의 크기가 hmax의 2배인 직사각형 영역으로 결정한다.
이동경로를 결정하면, 동적 추출영역 결정부(25)는 이동경로를 따라 동적 추출영역의 위치를 순차 변경시키도록 동적 추출영역을 결정한다. 구체적으로는, 동적 추출영역의 대표점을 주목영역과 동일하게 영역의 중심점 등에 설정했다고 하면, 상술한 이동경로 상을 이동하도록 동적 추출영역의 위치를 순차 변화시킨다. 동적 추출영역의 최초의 위치는, 첫 번째로 표시해야 할 주목영역의 위치여도 되고, 이동경로가 대상화상의 외주와 교차하는 점이어도 된다. 이동경로가 대상화상의 외주와 교차하는 점을 최초의 위치로 하는 경우, 동화상 출력부(27)는 대상화상의 주변부부터 화상의 추출을 개시하게 된다.
동적 추출영역 결정부(25)가 동적 추출영역의 위치를 순차 변화시키는 경우에, 동적 추출영역이 이동경로 상을 이동하는 속도는, 하나의 화상을 추출하고 나서 다음 화상을 추출할 때에 동적 추출영역의 위치를 이동시키는 이동경로 상의 길이에 의해 표시된다. 이 동적 추출영역의 속도는 미리 정해진 값이어도 되고, 소정의 방법에 의해 산출해도 된다. 구체적으로는, 예컨대 하나의 주목영역에서 다음 주목영역까지의 이동경로의 길이를, 미리 결정하는 출력시간 T의 사이에 동화상 출력부(27)가 출력하는 프레임 화상의 수로 나누어서 산출하는 것으로 한다. 이 경우, 동적 추출영역은 하나의 주목영역에서 다음 주목영역까지 이동경로 상을 일정한 속도로 이동하게 된다.
또한, 이동경로 상의 속도는 주목영역의 근방의 영역이 표시되는 시간이 길어지도록 산출하는 것으로 해도 된다. 구체적으로는, 예컨대 주목영역 A에서 주목영역 B까지 동적 추출영역을 이동시키는 경우에는, 도 6에 나타내는 바와 같은 모 식적인 그래프에 의해 이동경로 상의 속도를 결정한다. 여기서, 그래프의 가로축은 주목영역 A에서 주목영역 B까지 이동할 때의 시간을 나타내고, 동적 추출영역이 주목영역 A의 대표점에 위치하는 시점을 시각 0, 주목영역 B의 대표점에 위치하는 시점을 시각 T로 한다. 또한, 세로축은 주목영역 A에서 주목영역 B까지의 이동경로 상의 거리를 나타내고, 주목영역 A의 위치를 이동거리 0, 주목영역 B의 위치를 이동거리 L로 한다. 도 4에 나타내는 이동경로의 예에 있어서는, 점 CA와 점 CB의 사이의 곡선 R의 길이가 L에 상당한다. 도 6의 그래프에 있어서, 이동거리 0 및 L의 근방에서 그래프의 경사는 완만해지고, 중간부근에서 경사는 급해진다. 그 때문에, 이 그래프에 따라 결정한 이동거리에 기초하여 동적 추출영역을 결정하면, 동적 추출영역이 주목영역의 근방을 이동하는 속도가 느려지고, 주목영역에서 떨어진 위치에서는 이동하는 속도가 빨라진다. 이로써, 대상화상 내를 이동하면서, 특히 인물의 얼굴이 있는 위치의 근방에서는 천천히 이동하는 동화상을 출력할 수 있고, 보다 얼굴에 주목한 연출이 가능해진다. 또한, 최초의 주목영역과 최후의 주목영역을 추출할 때에는 이 그래프에 따라 동적 추출영역의 속도를 결정하고, 도중의 주목영역을 추출할 때에는 일정한 속도로 이동하도록 동적 추출영역의 속도를 결정해도 된다.
여기서, 하나의 주목영역에서 다음 주목영역까지 동적 추출영역이 이동하는 시간을 나타내는 출력시간 T는 소정의 시간이어도 되고, 이동거리 L의 값에 기초하여 결정하는 것으로 해도 된다. 또한, 후술하는 검출시간 예측부(26)에 의해 산출 된 예측시간에 기초하여 출력시간 T를 결정하는 것으로 해도 된다.
여기서, 동적 추출영역 결정부(25)는 동적 추출영역의 위치를 순차 변경하는 동시에, 주목영역을 포함하는 크기가 되도록 동적 추출영역의 크기를 순차 변경하는 것으로 해도 된다. 예컨대, 주목영역이 직사각형 영역이라고 하고, 주목영역 A의 크기가 폭 wA, 높이 hA, 주목영역 B의 크기가 폭 wB, 높이 hB로 표현된다고 하자. 이 경우, 동적 추출영역을 주목영역 A의 위치에서 주목영역 B의 위치로 이동시킴과 동시에 동적 추출영역의 폭을 wA에서 wB로 서서히 변화시키고, 또한 동적 추출영역의 높이를 hA에서 hB로 서서히 변화시킨다. 이 크기를 변화시킨 동적 추출영역에서 대상화상을 클리핑함으로써, 주목영역의 크기에 맞추어 대상화상 내의 표시범위가 변화하는 동화상을 출력할 수 있다. 이 경우의 폭 및 높이의 변화량은, 항상 변화량이 일정해지도록 결정해도 되고, 동적 추출영역의 이동 속도에 맞추어 변화하도록 결정해도 된다.
검출시간 예측부(26)는 본 실시의 형태에 따른 얼굴 화상표시장치가 복수의 대상화상 중에서 얼굴영역을 검출하고, 당해 얼굴영역에 기초하여 생성한 동화상을 연속해서 출력하는 경우에, 하나 또는 복수의 대상화상에 대해, 그 중에 포함되는 얼굴영역을 검출하는 처리에 걸리는 시간을 예측한다. 예컨대 두 개의 대상화상 I1, I2의 각각에 기초하여 생성한 동화상을 연속해서 출력하는 경우의 예에 대해서 이하에 설명한다. 여기서, 대상화상 I1에 기초하여 생성한 동적 추출영역 중의 화상을 순서대로 추출해서 얻을 수 있는 동화상을 동화상 A1, 대상화상 I2에 기초하 여 생성한 동적 추출영역 중의 화상을 순서대로 추출해서 얻을 수 있는 동화상을 동화상 A2로 하면, 검출시간 예측부(26)는 우선 대상화상 I2 중에서 얼굴영역을 검출하는 처리에 필요한 시간을 예측한다. 그리고, 그 결과 얻어진 예측시간 Tnext는 동화상 출력부(27)가 동화상 A2의 하나 앞에 출력하는 동화상 A1의 출력시간을 동적 추출영역 생성부(22)가 결정할 때에, 당해 출력시간을 조정하기 위해서 이용된다.
구체적으로, 검출시간 예측부(26)는 예컨대 대상화상의 파일 사이즈나 해상도 등에 기초하여 예측시간을 산출한다. 또한, 사전에 거친 해상도로 간이하게 대상화상의 얼굴인식을 행하는 조인식(粗認識)의 처리에 의해 예측시간을 산출해도 된다. 나아가, 검출시간 예측부(26)는 얼굴영역 검출부(21)에 의한 얼굴영역검출의 처리뿐만 아니라, 얼굴영역을 그룹화하여 주목영역을 결정하는 처리나, 결정한 주목영역을 추출하는 추출순서를 결정하는 처리 등, 대상화상 I2에 관해서 동화상 A2의 출력을 개시하기 위해 필요한 처리에 걸리는 시간을 예측하여 산출하는 예측시간 Tnext에 포함시켜도 된다.
또한, 검출시간 예측부(26)가 예측시간을 산출할 대상으로 하는 것은, 동화상 출력부(27)가 현재 출력하고 있는 동화상 다음에 출력할 대상화상에 한정되지 않는다. 예컨대, 두 개 이상의 대상화상의 얼굴영역을 검출하는 처리를 병렬시켜 실행하는 경우 등은, 복수의 대상화상에 대해 예측시간을 산출한다. 이와 같이, 현시점보다 나중에 표시하는 하나 또는 복수의 대상화상에 관한 처리가 예측시간을 산출할 대상이 된다.
여기서, 동화상 출력부(27)가 두 개의 대상화상 I1, I2의 각각 중에서 검출한 얼굴영역을 표시하는 동화상 A1, A2를 연속해서 출력하는 경우의, 동화상의 출력시간의 제어에 대해서 설명한다. 동적 추출영역 생성부(22)는, 대상화상 I1에 기초한 동화상 A1을 출력하는 표준출력시간 Tmin가 검출시간 예측부(26)에 의해 산출된 다음 동화상 A2의 얼굴영역을 검출하기 위해 필요한 예측시간 Tnext를 밑돌 경우에는, 동화상 A1의 출력시간으로서 Tnext를 이용하는 것으로 한다. 그리고, 동화상 출력부(27)가 동화상 A1을 출력하는 처리를 실행함과 동시에, 얼굴영역 검출부(21)가 다음에 표시의 대상이 될 대상화상 I2에 대해 얼굴영역을 검출하는 처리를 행한다. 이로써, 동화상 A1의 출력이 완료할 때까지 동화상 A2를 출력하기 위해 필요한 준비를 행할 수 있고, 사용자를 기다리게 하지 않고 동화상을 연속해서 표시시킬 수 있다.
또한 검출시간 예측부(26)는, 이미 산출된 다음의 대상화상에 대한 예측시간에 기초하여, 동화상 출력부(27)가 동화상 A1을 출력하는 처리를 실행하는 도중이라도 하나 또는 복수의 소정의 타이밍에 있어서, 대상화상 I2 중에서 얼굴영역을 검출하는 처리에 요하는 나머지 시간을 다시 예측해도 된다. 이 다시 산출된 예측시간은, 현재 동화상 출력부(27)가 출력하고 있는 동화상 A1의 나머지 출력시간을 수시로 조정하기 위해서 이용된다. 이 경우, 다시 산출된 예측시간에 기초하여 동적 추출영역 생성부(22)가 동적 추출영역을 재생성함으로써, 동화상의 나머지 출력 시간이 조정된다.
구체적으로는, 예컨대 어떤 시점에 있어서, 동화상 A1의 나머지 출력시간이 Tnow이고 Trest>Tnow인 경우, 동적 추출영역 결정부(25)는 동적 추출영역의 위치를 변화시키는 경우에 각각의 위치에 있는 시간이 길어지도록 동적 추출영역을 재결정하여, 동화상 A1의 나머지 출력시간이 Trest보다 길어지도록 조정을 행한다. 이로써, 당초의 예측시간보다 동화상 A2에 관한 처리에 시간이 걸리고 있는 경우에도, 적절히 동화상 A1의 출력시간을 조정함으로써, 사용자가 동화상의 표시를 기다리는 시간을 없앨 수 있다.
나아가, 검출시간 예측부(26)가 산출한 예측시간을 초과하여 다음 대상화상 I2의 얼굴영역 검출 등의 처리에 시간이 걸리고, 결과로서 동화상 A1을 출력 종료한 시점에서 다음의 동화상 A2의 출력을 개시할 수 없는 경우에는, 동화상 출력부(27)는 필요한 처리가 완료할 때까지 현재의 상태로 기다리거나, 혹은 동화상 A1을 다시 반복해서 출력하면 된다. 또한, 대상화상 I1에 포함되는 얼굴영역을 표시하는 별도의 패턴의 동화상을 출력하는 것으로 해도 된다.
한편, 동적 추출영역을 이동경로를 따라 이동시키는 동화상의 패턴에 있어서는, 다음 대상화상의 얼굴영역의 검출에 당초 산출한 예측시간보다 많은 시간이 걸리고 있는 경우, 동적 추출영역의 이동속도를 조정함으로써 현재의 동화상의 출력시간을 증가시킬 수 있다. 또한, 동적 추출영역의 이동거리가 길어지도록 대상화상 I1상의 이동경로를 변경함으로써, 현재의 동화상 A1의 출력시간을 길게 해도 된다.
동화상 출력부(27)는 동적 추출영역 생성부(22)가 생성한 동적 추출영역에 기초하여 대상화상을 클리핑하고 동적 추출영역 중의 화상을 순서대로 추출한다. 그리고, 추출한 화상을 필요에 따라 소정의 동화상의 패턴에 기초하여 가공하고 동화상으로서 생성하여 표시부(13)에 대해 출력한다.
동화상 출력부(27)가 출력하는 동화상의 패턴으로는, 예컨대 이하와 같은 것이 있다. 즉, 우선 추출순서가 첫 번째인 주목영역을 포함하는 동적 추출영역 중의 화상을 추출하고, 계속해서 모핑처리에 의해 당해 화상이 두 번째의 주목영역을 포함하는 화상으로 서서히 변화하는 화상을 생성하며, 생성된 화상을 순차 표시함으로써, 다음 주목영역을 포함하는 동적 추출영역 중의 화상으로 서서히 변화하는 동화상이다. 동적 추출영역의 위치 및 면적을, 주목영역을 포함하는 위치 및 면적으로 변화시키면서 반복함으로써, 순차 주목영역을 표시시키는 동화상을 출력할 수 있다.
또한, 주목영역을 포함하는 화상을 페이드인·페이드아웃시키는 동화상의 패턴이어도 된다. 이 경우, 우선 추출순서가 첫 번째인 주목영역을 포함하는 동적 추출영역 중의 화상을 추출하여 이 화상을 페이드아웃시키고, 계속해서 추출순서가 두 번째의 주목영역을 페이드인시키는 화상을 순차 출력한다. 이것을 모핑처리의 패턴과 마찬가지로, 동적 추출영역의 위치 및 면적을, 주목영역을 포함하는 위치 및 면적으로 변화시키면서 반복함으로써, 순차 주목영역을 표시시키는 동화상을 출력할 수 있다. 이 경우, 예컨대 추출한 화상의 밝기를 서서히 변화시킴으로써 페이드인·페이드아웃을 실현한다. 또한, 화상의 투명도를 서서히 증가시킴으로써 추출 한 주목영역을 투명하게 하고, 다음의 주목영역을 처음에는 완전히 투명한 상태에서 투명도를 서서히 감소시킴으로써 표시하는 동화상이어도 된다.
또한, 이동경로를 따라 동적 추출영역을 이동시키는 패턴에 있어서는, 동적 추출영역에 의해 추출한 화상을 가공하지 않고 그대로 출력하거나, 혹은 확대 또는 축소를 행하여 출력함으로써, 대상화상 중을 이동하는 동화상을 출력할 수 있다.
또한, 동적 추출영역의 크기는 통상 주목영역의 크기에 기초하여 시간과 함께 변화하는데, 동화상 출력부(27)가 동적 추출영역에 의해 추출한 화상을 순차 출력하는 경우, 표시부(13)가 표시할 수 있는 화상의 크기에 맞추어 클리핑에 의해 취득한 화상을 확대 또는 축소함으로써, 같은 크기의 화상으로서 표시부(13)에 표시시키는 것으로 해도 된다.
동화상 출력부(27)가 이상 설명한 바와 같은 복수의 동화상 패턴 중 어느 패턴을 이용할지에 대해서는, 사용자가 선택하는 것으로 해도 되고, 랜덤하게 선택되는 것으로 해도 된다. 또한, 표시하는 주목영역의 수에 기초하여 결정하는 것도 가능하다. 예컨대, 표시하는 주목영역이 소정의 수 이상인 경우는 페이드인·페이드아웃에 의한 동화상을 표시하는 것으로 하고, 표시하는 주목영역이 소정의 수를 밑도는 경우에는 동적 추출영역을 이동시킴으로써 표시하는 것으로 해도 된다.
또한, 대상화상에 추출대상으로 하는 주목영역이 포함되어 있지 않은 경우나 추출대상으로 하는 주목영역이 하나밖에 포함되어 있지 않은 경우에는, 대상화상 전체를 표시하는 소정의 패턴에 의한 동화상을 출력하는 것으로 해도 된다. 나아가, 주목영역이 포함되어 있지 않은 대상화상에 대해서는, 동화상 출력부(27)가 동 화상을 출력하는 대상에서 제외하는 것으로 해도 된다.
이상 설명한 본 발명의 실시의 형태에 따르면, 인물의 얼굴을 나타내는 화상을 표시하는 경우에, 얼굴영역에 착목하여 생성한 동화상을 표시할 수 있다.
한편, 본 실시의 형태에 있어서는, 얼굴영역을 주목영역 결정부(23)가 그룹화함으로써 주목영역을 결정했지만, 이 주목영역 결정부(23)는 없어도 된다. 그 경우, 얼굴영역 검출부(21)가 검출한 얼굴영역을 그대로 하나의 얼굴을 나타내는 주목영역으로 해서, 본 실시의 형태에 따른 처리를 실행함으로써 얼굴영역에 착목한 동화상을 표시할 수 있다.
또한, 본 실시의 형태에 따른 얼굴 화상표시장치에 있어서는, 이상 설명한 바와 같은 동화상의 패턴 이외에, 이하와 같은 패턴에 의한 동화상을 출력할 수 있다. 즉, 얼굴영역을 포함하는 하나 또는 복수의 주목영역에 대해, 줌인·줌아웃하는 동화상이다. 이 경우, 동적 추출영역 결정부(25)는 우선 대상화상 전체를 포함하도록 동적 추출영역의 위치 및 면적을 결정한다. 이어서, 동적 추출영역의 위치 및 면적을, 첫 번째로 추출해야 할 주목영역을 포함하는 최소의 크기가 되도록 서서히 변화시키도록 동적 추출영역을 결정한다. 예컨대, 도 7에 모식적으로 나타내는 대상화상 I1의 예에 있어서, 주목영역 A에 줌인하는 동화상을 출력하고 싶은 경우, 동적 추출영역을 대상화상 전체에 일치하는 영역에서 주목영역 A에 일치하는 영역으로 서서히 변화시킨다. 여기서, 도면 중 파선으로 나타낸 화살표는, 동적 추출영역의 대상화상 중에 있어서의 변화의 과정을 나타내고 있다. 계속해서, 이와 반대로 대상화상 전체를 포함하는 크기까지 동적 추출영역의 위치 및 면적을 서서 히 변화시킨다. 나아가, 추출대상이 되는 주목영역이 복수 있는 경우에는, 그 수만큼 이상에서 설명한 변화를 반복하도록 동적 추출영역을 결정한다. 동화상 출력부(27)는 동적 추출영역 결정부(25)가 결정한 동적 추출영역 중의 화상을, 동적 추출영역의 크기에 관계없이 소정의 크기로 확대해서 출력한다. 이로써, 줌인·줌아웃에 의해 주목영역을 표시하는 동화상을 출력할 수 있다.
한편, 본 실시의 형태에 따른 얼굴 화상표시장치는, 하나의 대상화상에 대해, 줌인 또는 줌아웃 중 어느 한쪽의 동화상의 패턴에 의한 동화상을 출력하는 것으로 해도 된다.
또한, 다른 동화상의 패턴으로서, 하나 또는 복수의 주목영역에 와이프인·와이프아웃(wipe-in/wipe-out)하는 동화상의 패턴을 이용해도 된다. 이 경우, 줌인·줌아웃의 패턴과 동일하게 동적 추출영역을 결정한다. 그리고, 동화상 출력부(27)는 출력하는 출력화상을 이하와 같이 생성한다. 즉, 당해 출력화상은 대상화상 I1 전체의 크기의 화상으로서, 동적 추출영역 중의 화상을 동적 추출영역의 위치 및 면적을 그대로 유지하여 당해 출력화상 중에 나타내고, 그 이외의 영역은 흑색 또는 다른 소정의 색으로 칠한 화상이 된다. 이러한 화상을, 동적 추출영역의 변화에 따라 순서대로 생성하여 출력한다. 예컨대, 대상화상 I1에 있어서 주목영역 A에 와이프인하는 경우, 도 8에 모식적으로 나타내는 바와 같은 화상이 출력된다. 이 도면에 있어서도, 파선으로 표시된 화살표는 동적 추출영역의 변화의 과정을 나타내고 있다. 또한, 이 도면의 예에 있어서는, 주목영역 및 동적 추출영역의 형상은 타원형으로 하고 있다. 이로써, 와이프인·와이프아웃에 의해 주목영역을 표시 하는 동화상을 출력할 수 있다.
한편, 본 실시형태에 따른 얼굴 화상표시장치는, 하나의 대상화상에 대해, 와이프인 또는 와이프아웃 중 어느 한쪽의 동화상의 패턴에 의한 동화상을 출력하는 것으로 해도 된다.
또한, 다른 동화상의 패턴으로서, 렌즈블러(Lens Blur) 효과를 이용한 동화상의 패턴에 의한 동화상을 출력해도 된다. 이 동화상의 패턴에 있어서는, 동적 추출영역은 예컨대 상술한 와이프인·와이프아웃의 패턴과 동일하게 결정된다. 그리고, 동화상 출력부(27)는 출력하는 출력화상을 이하와 같이 생성한다. 즉, 당해 출력화상은 대상화상 I1 전체의 크기의 화상으로서, 동적 추출영역 중의 화상을 동적 추출영역의 위치 및 면적을 그대로 유지하여 당해 출력화상 중에 표시하고, 그 이외의 영역에 대해서는 대상화상 I의 대응하는 영역에 대해 소정의 화상처리를 실시한 화상이 된다. 여기서 소정의 화상처리는 당해 영역에 렌즈블러 효과를 발생시키는 화상처리이다. 구체적으로는, 예컨대 영역 내의 각 화소에 대해, 당해 화소 및 당해 화소 주위의 화소의 화소값의 평균치를 산출하고, 각 화소의 화소값을 산출된 평균치로 치환하는 처리이다. 이로써 동적 추출영역 이외의 영역에 있어서의 화상은, 핀트가 맞지 않고 흐릿한 모양을 나타내는 화상이 된다.
여기서 동화상 출력부(27)는, 이 렌즈블러 효과를 발생시키는 화상처리에 있어서 이용되는 소정의 파라미터를 서서히 변화시키는 것으로 해도 된다. 예컨대 동화상 출력부(27)는, 화소값의 평균치를 산출하는 대상이 되는 주위의 화소의 범위를 증가시키면서 출력화상을 생성하는 처리를 반복하는 것으로 한다. 이로써, 동화 상 출력부(27)는 주목영역 이외의 영역에 있어서 서서히 핀트의 어긋남이 커지는 모양을 나타내는 동화상을 출력할 수 있다. 이러한 동화상의 패턴에 따르면, 인물의 얼굴을 나타내는 영역 이외의 영역의 핀트가 어긋남으로써 인물의 얼굴을 나타내는 부분이 붕 떠오르는 듯한 연출을 실현할 수 있다. 한편, 이 렌즈블러 효과의 동화상의 패턴에 있어서, 동적 추출영역은 선택된 하나의 주목영역에 따른 위치 및 크기가 변화하지 않는 고정된 영역이어도 된다.
여기서, 본 실시 형태에 따른 얼굴 화상표시장치가 상술한 복수의 동화상 패턴 중 어느 하나의 동화상 패턴을 선택하는 처리의 다른 예에 대해 설명한다.
예컨대 동적 추출영역 생성부(22)는 얼굴영역 검출부(21)에 의해 검출된 얼굴영역의 수, 얼굴영역의 크기 또는 얼굴영역의 대상화상 내의 위치 중 적어도 어느 하나에 기초하여 소정의 동화상 패턴후보 중에서 동화상 패턴을 선택하고, 당해 선택한 패턴에 기초하여 상기 동적 추출영역을 생성한다. 그리고, 동화상 출력부(27)는 동적 추출영역 생성부(22)에 의해 선택된 동화상 패턴에 기초한 동적 추출영역의 클리핑 및 화상처리를 행하여 동화상을 출력한다.
이 경우에 있어서, 동적 추출영역 생성부(22)가 선택하는 패턴후보는, 구체적으로는, 상술한 동적 추출영역을 이동경로를 따라 이동시키는 동화상 패턴(패닝(panning) 화상의 패턴)이나, 모핑처리를 이용하는 동화상 패턴, 페이드인 또는 페이드아웃에 의한 동화상 패턴, 줌인 또는 줌아웃의 동화상 패턴, 와이프인 또는 와이프아웃의 동화상 패턴, 렌즈블러 효과를 이용한 동화상 패턴 등이다. 또한, 패턴후보는 이들의 동화상 패턴을 조합시킨 패턴이어도 된다. 예컨대, 패턴후보는 주 목영역 이외의 영역에 렌즈블러 효과를 실시하면서 주목영역에 줌인하는 동화상 패턴 등이어도 된다.
구체적으로, 동적 추출영역 생성부(22)는, 예컨대 검출된 얼굴영역의 수가 복수 있는 경우에는, 패닝 화상의 패턴을 포함하는 패턴후보 중에서 동화상 패턴을 선택하고, 검출된 얼굴영역의 수가 하나인 경우에는 팬 화상패턴을 제외한 패턴후보 중에서 동화상 패턴을 선택하는 것으로 한다.
또한, 얼굴영역이 하나도 검출되지 않은 경우라도, 이들의 패턴후보 중에서 동화상 패턴이 선택되는 것으로 해도 된다. 이 경우, 동적 추출영역 생성부(22)는 주목영역 대신에, 예컨대 대상화상의 중심위치나, 소정의 후보위치 중에서 랜덤하게 선택된 기준위치 등에 기초하여 동적 추출영역을 생성하는 것으로 해도 된다.
한편, 동적 추출영역 생성부(22)는 선택할 수 있는 패턴후보 중에서 랜덤하게 동화상 패턴을 선택해도 된다. 또한, 지금부터 출력하려고 하는 동화상보다 앞에 동화상 출력부(27)가 출력한 동화상에서 이용된 동화상 패턴에 따라 동화상 패턴을 선택해도 된다. 예컨대 동적 추출영역 생성부(22)는 지금부터 출력하려고 하는 동화상보다 하나 앞에 출력된 동화상에서 이용된 동화상 패턴과 다른 동화상 패턴을, 지금부터 출력할 동화상에 대해 이용하는 동화상 패턴으로 선택한다. 이렇게 하면, 연속해서 대상화상에 기초한 동화상을 출력하는 경우에 동일한 패턴에 기초한 동화상이 연속되는 것을 막을 수 있고, 단조로운 표시가 돼버리는 것을 방지할 수 있다.
또한, 본 실시 형태에 따른 얼굴 화상표시장치가 복수의 대상화상에 기초한 동화상을 순서대로 표시하는 경우, 이하와 같은 처리를 실행하는 것으로 해도 된다. 즉, 동화상 출력부(27)는 현재 표시 중인 동화상의 최후 소정 시간분의 출력화상의 명도를 서서히 감소시켜서 페이드아웃하는 동화상을 출력한다. 그런 다음, 다음에 표시해야 할 동화상의 최초 소정 시간분의 화상의 명도를 서서히 증가시켜서 페이드인하는 동화상을 출력한다.
혹은, 동화상 출력부(27)는 현재 표시 중인 동화상의 최후 소정 시간분의 출력화상과 다음에 표시해야 할 동화상의 최초 소정 시간분의 출력화상을 반투명 합성해서 표시하는 것으로 해도 된다. 이 경우에 있어서, 현재 표시 중인 동화상에 있어서의 출력화상에 대한 투명도를 서서히 올리는 동시에, 다음에 표시해야 할 동화상에 있어서의 출력화상에 대한 투명도를 서서히 내리면서 두 개의 출력화상을 합성하는 것으로 해도 된다. 이렇게 하면, 현재 표시 중인 동화상이 페이드아웃하는 동시에, 다음에 표시해야 할 동화상이 페이드인하는 모양을 나타내는 동화상을 표시할 수 있다.
도 1은 본 발명의 실시의 형태에 따른 얼굴 화상표시장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시의 형태에 따른 얼굴 화상표시장치의 기능을 나타내는 기능 블록도이다.
도 3은 본 발명의 실시의 형태에 따른 얼굴 화상표시장치에 의한 처리의 대상이 되는 대상화상의 일례를 모식적으로 나타내는 도이다.
도 4는 동적 추출영역 결정부가 이동경로를 결정하는 경우에 있어서의, 대상화상 상의 동적 추출영역의 이동경로의 일례를 나타내는 도이다.
도 5는 동적 추출영역 결정부가 이동경로를 결정하는 경우에 있어서의, 대상화상 상의 동적 추출영역의 이동경로의 다른 일례를 나타내는 도이다.
도 6은 동적 추출영역 결정부가 이동경로에 기초하여 동적 추출영역을 결정하는 경우에 있어서의, 동적 추출영역의 이동속도의 일례를 모식적으로 나타내는 그래프이다.
도 7은 동적 추출영역 결정부가 결정하는 동적 추출영역의 일례를 나타내는 도이다.
도 8은 동화상 출력부가 출력하는 화상의 일례를 나타내는 도이다.

Claims (3)

  1. 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 표현된 얼굴영역을 검출하는 얼굴영역 검출수단과,
    상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하는 동적 추출영역 생성수단과,
    상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 동화상 출력수단을 포함하는 것을 특징으로 하는 얼굴 화상표시장치.
  2. 컴퓨터를 이용하여,
    복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 표현된 얼굴영역을 검출하는 단계와,
    상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하는 단계와,
    상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 단계를 실행하는 것을 특징으로 하는 얼굴 화상표시방법.
  3. 복수의 인물의 얼굴을 나타내는 대상화상 중에서 얼굴이 표현된 얼굴영역을 검출하는 얼굴영역 검출수단,
    상기 얼굴영역 검출수단에 의해 검출되는 상기 얼굴영역에 기초하여 상기 대상화상 중에 있어서 위치 또는 면적의 적어도 한쪽을 시간과 함께 변화시키는 동적 추출영역을 생성하는 동적 추출영역 생성수단, 및
    상기 동적 추출영역 중의 화상을 순서대로 추출해서 동화상으로서 출력하는 동화상 출력수단으로서 컴퓨터를 기능시키는 프로그램을 격납한 컴퓨터로 판독 가능한 정보 기록매체.
KR1020097000862A 2005-08-12 2006-07-31 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램 KR101103115B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2005-234739 2005-08-12
JP2005234739 2005-08-12
PCT/JP2006/315144 WO2007020789A1 (ja) 2005-08-12 2006-07-31 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020077010813A Division KR100892022B1 (ko) 2005-08-12 2006-07-31 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시프로그램

Publications (2)

Publication Number Publication Date
KR20090016767A true KR20090016767A (ko) 2009-02-17
KR101103115B1 KR101103115B1 (ko) 2012-01-04

Family

ID=37757454

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097000862A KR101103115B1 (ko) 2005-08-12 2006-07-31 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램
KR1020077010813A KR100892022B1 (ko) 2005-08-12 2006-07-31 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020077010813A KR100892022B1 (ko) 2005-08-12 2006-07-31 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시프로그램

Country Status (6)

Country Link
US (3) US8803886B2 (ko)
EP (1) EP1923835A4 (ko)
JP (1) JP4538008B2 (ko)
KR (2) KR101103115B1 (ko)
CN (1) CN101052996B (ko)
WO (1) WO2007020789A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055315A1 (en) * 2006-09-05 2008-03-06 Dale Ducharme Method and System to Establish and Animate a Coordinate System for Content on a Display
JP4364266B2 (ja) * 2007-08-01 2009-11-11 株式会社東芝 画像処理装置およびプログラム
JP5464799B2 (ja) * 2007-11-16 2014-04-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5061987B2 (ja) * 2008-03-25 2012-10-31 セイコーエプソン株式会社 画像処理方法およびそのプログラム並びに画像処理装置
JP5458802B2 (ja) * 2008-10-23 2014-04-02 リコーイメージング株式会社 デジタルカメラ
US8797348B2 (en) 2008-11-25 2014-08-05 Sony Corporation Image display apparatus, image display method, and information storage medium
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP2011176747A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
JP5449550B2 (ja) * 2010-06-22 2014-03-19 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよび記録媒体
WO2012031767A1 (en) * 2010-09-10 2012-03-15 Deutsche Telekom Ag Method and system for obtaining a control information related to a digital image
US8935259B2 (en) * 2011-06-20 2015-01-13 Google Inc Text suggestions for images
KR20130078676A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2012095363A (ja) * 2012-02-15 2012-05-17 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
DE102013203300A1 (de) * 2012-02-27 2013-08-29 Denso Corporation Bildverarbeitungsvorrichtung und Fahrzeugsteuersystem unter Verwendung derselben
JP5982884B2 (ja) * 2012-03-08 2016-08-31 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータ読み取り可能な記録媒体
JP6071289B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5368614B2 (ja) * 2012-08-07 2013-12-18 オリンパスイメージング株式会社 画像検索装置および画像検索方法
JP5613304B2 (ja) * 2013-09-11 2014-10-22 オリンパスイメージング株式会社 画像検索装置および画像検索方法
JP5935779B2 (ja) * 2013-09-30 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10049477B1 (en) 2014-06-27 2018-08-14 Google Llc Computer-assisted text and visual styling for images
JP6372696B2 (ja) 2014-10-14 2018-08-15 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
KR20180130504A (ko) 2016-03-31 2018-12-07 소니 주식회사 정보 처리 장치, 정보 처리 방법, 프로그램
US9892326B2 (en) * 2016-03-31 2018-02-13 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
JP6798183B2 (ja) 2016-08-04 2020-12-09 株式会社リコー 画像解析装置、画像解析方法およびプログラム
WO2018096661A1 (ja) 2016-11-25 2018-05-31 日本電気株式会社 画像生成装置、顔照合装置、画像生成方法、およびプログラムを記憶した記憶媒体
JP6859765B2 (ja) * 2017-03-13 2021-04-14 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP2022102461A (ja) * 2020-12-25 2022-07-07 株式会社リコー 動画生成装置、動画生成方法、プログラム、記憶媒体

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) * 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
JP3363039B2 (ja) * 1996-08-29 2003-01-07 ケイディーディーアイ株式会社 動画像内の移動物体検出装置
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6184926B1 (en) * 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
JPH1173512A (ja) 1997-03-10 1999-03-16 Yuseisho Tsushin Sogo Kenkyusho 領域抽出装置および領域抽出方法
AU3639699A (en) * 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
CN1222911C (zh) * 1998-05-19 2005-10-12 索尼电脑娱乐公司 图像处理装置和方法
US6362850B1 (en) * 1998-08-04 2002-03-26 Flashpoint Technology, Inc. Interactive movie creation from one or more still images in a digital imaging device
JP2001209802A (ja) * 1999-11-15 2001-08-03 Fuji Photo Film Co Ltd 顔抽出方法および装置並びに記録媒体
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6883140B1 (en) * 2000-02-24 2005-04-19 Microsoft Corporation System and method for editing digitally represented still images
JP2002092626A (ja) * 2000-09-19 2002-03-29 Sharp Corp 画像処理装置
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002215180A (ja) 2001-01-17 2002-07-31 Digital Media Lab Inc 通信装置
GB2372658A (en) * 2001-02-23 2002-08-28 Hewlett Packard Co A method of creating moving video data from a static image
JP4778158B2 (ja) * 2001-05-31 2011-09-21 オリンパス株式会社 画像選出支援装置
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
CN1276388C (zh) * 2002-07-26 2006-09-20 佳能株式会社 检测图象中的人脸的方法和设备
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
JP4068485B2 (ja) * 2002-09-30 2008-03-26 株式会社東芝 画像合成方法、画像合成装置、画像合成プログラム
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
EP1422668B1 (en) * 2002-11-25 2017-07-26 Panasonic Intellectual Property Management Co., Ltd. Short film generation/reproduction apparatus and method thereof
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP2004348674A (ja) * 2003-05-26 2004-12-09 Noritsu Koki Co Ltd 領域検出方法及びその装置
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
US7209601B2 (en) * 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP2005135169A (ja) * 2003-10-30 2005-05-26 Nec Corp 携帯端末およびデータ処理方法
JP2005165984A (ja) * 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
JP2005182196A (ja) 2003-12-16 2005-07-07 Canon Inc 画像表示方法および画像表示装置
KR100602576B1 (ko) 2003-12-17 2006-07-19 학교법인 한양학원 얼굴 인식 방법 및 이를 이용한 인물 검색／표시 방법
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US20060114327A1 (en) * 2004-11-26 2006-06-01 Fuji Photo Film, Co., Ltd. Photo movie creating apparatus and program
KR101159847B1 (ko) * 2005-01-20 2012-06-25 삼성전자주식회사 졸음운전 감지용 얼굴 검출 정규화 장치 및 방법
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
WO2007069255A2 (en) * 2005-12-14 2007-06-21 Yeda Research And Development Co. Ltd. Example based 3d reconstruction
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus

Also Published As

Publication number Publication date
JP4538008B2 (ja) 2010-09-08
KR101103115B1 (ko) 2012-01-04
EP1923835A1 (en) 2008-05-21
EP1923835A4 (en) 2017-10-25
CN101052996B (zh) 2011-06-15
US8803886B2 (en) 2014-08-12
US20160063311A1 (en) 2016-03-03
US20140321722A1 (en) 2014-10-30
US9247156B2 (en) 2016-01-26
CN101052996A (zh) 2007-10-10
JPWO2007020789A1 (ja) 2009-02-19
WO2007020789A1 (ja) 2007-02-22
US9852323B2 (en) 2017-12-26
US20100066745A1 (en) 2010-03-18
KR100892022B1 (ko) 2009-04-07
KR20070067712A (ko) 2007-06-28

Similar Documents

Publication Publication Date Title
KR101103115B1 (ko) 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램
US10277812B2 (en) Image processing to obtain high-quality loop moving image
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
US10293252B2 (en) Image processing device, system and method based on position detection
US8698796B2 (en) Image processing apparatus, image processing method, and program
US8531484B2 (en) Method and device for generating morphing animation
US20080181507A1 (en) Image manipulation for videos and still images
US8830381B2 (en) Imaging device and method to provide bokeh effect in captured image by determining distance and focus of captured objects in secondary image sequence
JP2011509451A (ja) 画像データのセグメント化
KR20150004397A (ko) 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들
US11758082B2 (en) System for automatic video reframing
JP2016085742A (ja) 前景画像分割方法及び前景画像分割装置
US8810665B2 (en) Imaging device and method to detect distance information for blocks in secondary images by changing block size
JP2004166246A (ja) 画像生成方法および画像生成装置
JP2017201818A (ja) 領域抽出装置
JP2014170979A (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2012153868A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN115205921A (zh) 电子设备以及控制方法
EP2287805A1 (en) Image processing device, image processing method, and information storage medium
JP2012244249A (ja) 撮像装置および撮像方法
JP2023004357A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016062184A (ja) 動画像生成システム、動画像生成装置、動画像生成方法、及びコンピュータプログラム
JP2006279556A (ja) 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体
CN117079330A (zh) 一种人脸图像跟踪方法及装置、计算机可读介质
JP2009124491A (ja) カメラおよび画像選択プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181219

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 9