KR20060132040A - 얼굴 화상 작성장치 및 방법 - Google Patents
얼굴 화상 작성장치 및 방법 Download PDFInfo
- Publication number
- KR20060132040A KR20060132040A KR1020067023336A KR20067023336A KR20060132040A KR 20060132040 A KR20060132040 A KR 20060132040A KR 1020067023336 A KR1020067023336 A KR 1020067023336A KR 20067023336 A KR20067023336 A KR 20067023336A KR 20060132040 A KR20060132040 A KR 20060132040A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- face image
- image
- face part
- creating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 58
- 230000014509 gene expression Effects 0.000 claims description 55
- 230000001815 facial effect Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 abstract description 9
- 238000003786 synthesis reaction Methods 0.000 abstract description 9
- 210000004709 eyebrow Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 10
- 230000002194 synthesizing effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 210000004209 hair Anatomy 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
제 1 얼굴 화상 작성용 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치(100)로, 제 2 얼굴 화상의 입력을 수신하고, 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하며, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출 물리적 특징 추출부(103)와, 참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 얼굴 특징 기억부(104)와, 제 1 얼굴 화상 작성용의 각 얼굴부품의 제 1 얼굴 화상에서의 디폴트 위치를 기억하고 있는 묘사 룰 기억부(106)와, 산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와 특정의 얼굴부품의 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 초상화 합성부(108)를 구비한다.
얼굴 화상, 얼굴부품, 디폴트 위치, 참조위치, 얼굴특징, 거리, 초상화 합성
Description
입력된 얼굴 화상에 의거하여, 당해 얼굴 화상에 의거한 새로운 얼굴 화상을 작성하는 기술에 관한 것으로, 특히, 작성하는 얼굴 화상을 구성하는 각 얼굴부품(face part)의 배치를 입력된 얼굴 화상에서의 각 얼굴부품의 배치에 의거하도록 하기 위한 기술에 관한 것이다.
종래의 얼굴 화상 작성장치에서는, 대상자의 얼굴의 화상 데이터를 취득하고, 얼굴 화상 작성장치에 미리 기록되어 있는 얼굴의 각 부위의 일러스트(illustration)를 나타내는 얼굴부품 중에서 취득한 화상 데이터가 나타내는 얼굴의 특징에 의거하여 얼굴부품이 선택되어 얼굴 화상이 작성되고 있다.
특허문헌 1에는 대상자로부터 취득한 얼굴 화상에 의거하여 표정이나 화풍(image style)을 바꾼 얼굴 화상을 작성하는 기술이 개시되어 있다.
이에 의해, 하나의 입력화상으로부터 화상이나 표정이 다른 복수의 얼굴 화상을 작성할 수 있으므로, 사용자는 변화가 풍부한 다양한 얼굴 화상을 즐길 수 있다.
그러나, 특허문헌 1에 개시되어 있는 기술에서는, 얼굴 화상 작성장치에 새로 표정이나 화풍이 다른 얼굴 화상의 얼굴부품을 추가할 때마다, 당해 얼굴부품의 설정에 부가하여 당해 얼굴 화상에서 입력화상에 표시되는 얼굴부품의 배치를 반영시키기 위해서 복잡한 얼굴부품 배치 룰을 설정할 필요가 있어서, 설정조작이 번거로워진다는 문제가 발생한다.
그래서, 본 발명은 복잡한 얼굴부품 배치 룰을 설정하지 않고, 입력한 얼굴 화상에서의 얼굴부품의 배치에 의거한 얼굴 화상의 작성이 가능한 얼굴 화상 작성장치 및 방법을 제공하는 것을 목적으로 한다.
특허문헌 1 : 일본국 특허공개공보 평10-240919호
상기 종래의 과제를 해결하기 위해서 본 발명은, 제 1 얼굴 화상 작성용의 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치로, 제 2 얼굴 화상의 입력을 수신하는 수신수단과 입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하고, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출수단과, 참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과, 제 1 얼굴 화상 작성용의 각 얼굴부품의 제 1 얼굴 화상에서의 디폴트 위치(default position)를 기억하는 디폴트 위치 기억수단과, 산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와, 특정의 얼굴부품 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여, 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정수단을 구비한다.
또, 본 발명은, 제 1 얼굴 화상 작성용의 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치에 사용하는 얼굴 화상 작성방법으로, 상기 얼굴 화상 작성장치는 참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과 제 1 얼굴 화상 작성용의 각 얼굴부품과 그 제 1 얼굴 화상에서의 디폴트 위치를 기억하는 디폴트 위치 기억수단을 구비하고, 상기 얼굴 화상 작성방법은, 제 2 얼굴 화상의 입력을 수신하는 수신스텝과 입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하며, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출스텝과 산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와 특정의 얼굴부품 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정스텝을 포함하는 것으로 해도 된다.
또, 본 발명은, 제 1 얼굴 화상 작성용의 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치에 얼굴 화상 작성처리를 실행시키는 프로그램으로, 상기 얼굴 화상 작성장치는, 참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과 제 1 얼굴 화상 작성용의 각 얼굴부품과 그 제 1 얼굴 화상에서의 디폴트 위치를 기억하는 디폴트 위치 기억수단을 구비하고, 상기 얼굴 화상 작성처리는, 제 2 얼굴 화상의 입력을 수신하는 수신스텝과 입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하며, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출스텝과 산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와 특정의 얼굴부품 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정스텝을 포함하는 것으로 해도 된다.
또, 본 발명은, 제 1 얼굴 화상 작성용의 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치에 얼굴 화상 작성처리를 실행시키는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체로, 상기 얼굴 화상 작성장치는 참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과 제 1 얼굴 화상 작성용의 각 얼굴부품과 그 제 1 얼굴 화상에서의 디폴트 위치를 기억하는 디폴트 위치 기억수단을 구비하고, 상기 얼굴 화상 작성처리는, 제 2 얼굴 화상의 입력을 수신하는 수신스텝과 입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하며, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출스텝과 산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와 특정의 얼굴부품 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정스텝을 포함하는 것으로 해도 된다.
상기 구성을 구비함으로써, 제 1 얼굴 화상 작성용의 각 얼굴부품의 디폴트 위치를 미리 설정해 두는 것만으로 입력한 제 2 얼굴 화상의 배치를 반영한 제 1 얼굴 화상을 작성할 수 있으므로, 복잡한 얼굴부품 배치 룰을 설정하지 않고, 입력한 얼굴 화상에서의 얼굴부품의 배치에 의거한 얼굴 화상을 용이하게 작성할 수 있다.
여기서, 상기 배치결정수단은, 각 얼굴부품에 대하여 산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와, 당해 얼굴부품에 대한 참조위치의 사이의 수평방향의 거리를 수평방향의 변경 파라미터로 결정하고, 각 얼굴부품 중 어느 하나와, 그 이외의 각 얼굴부품과의 세트에 대한 상기 위치 사이의 수직방향의 거리의, 당해 세트에 대한 참조위치 사이의 수직방향의 거리에 대한 비를 수직방향의 변경 파라미터로 결정하는 변경 파라미터 결정수단과, 각 얼굴부품의 디폴트 위치를, 당해 얼굴부품에 대하여 결정된 수평방향의 파라미터에, 각 얼굴부품의 참조위치에 의거하여 특정되는 외접 직사각형의 폭에 대한 각 얼굴부품의 디폴트 위치에 의거하여 특정되는 외접 직사각형의 폭의 비를 곱한 값에 상당하는 거리만큼 수평방향으로, 상기 각 세트에서의 디폴트 위치 사이의 수직방향의 거리가, 당해 세트에 대하여 결정된 수직방향의 변경 파라미터를 곱한 값에 상당하는 거리로 변경되도록, 각 얼굴부품의 디폴트 위치를 수직방향으로 각각 이동한 위치를 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치로 결정하는 디폴트 위치 변경수단을 갖는 것으로 해도 된다.
이에 의해, 입력된 제 2 얼굴 화상에서의 각 얼굴부품의 위치관계를 연산에 의해 제 1 얼굴 화상에서의 각 얼굴부품의 위치관계에 반영시킬 수 있으므로, 입력된 얼굴 화상에서의 각 얼굴부품의 위치관계를 훨씬 정확하게 반영한 얼굴 화상을 작성할 수 있다.
여기서, 상기 디폴트 위치 기억수단은 복수의 표현형태의 제 1 화상 작성용의 각 얼굴부품과 그 디폴트 위치를 기억하고, 상기 수신수단은 표정이 다른 대상자의 얼굴 화상의 입력을 복수 회 수신하며, 상기 화상 작성장치는, 입력된 상기 각 얼굴 화상으로부터 각 얼굴 화상을 구성하는 얼굴부품의 물리적 특징량을 추출하는 추출수단과, 수신한 얼굴 화상 내의 하나를 제 2 얼굴 화상으로 하고, 제 2 얼굴 화상을 구성하는 얼굴부품의 물리적 특징량과 제 2 얼굴 화상 이외의 수신한 각 얼굴 화상을 구성하는 얼굴부품의 물리적 특징량의 비교결과에 의거하여 제 1 얼굴 화상 작성용의 얼굴부품의 표현형태를 특정하는 표현형태 특정수단을 구비하며, 상기 배치결정수단은 특정된 표현형태의 제 1 화상 작성용의 각 얼굴부품에 대하여 배치하는 위치를 결정하는 것으로 해도 된다.
이에 의해, 입력되는 얼굴 화상에서 표정을 변화시킴으로써, 표정에 따른 표현형태의 얼굴 화상이 자동으로 작성되므로, 사용자는 표정을 바뀐 얼굴 화상을 촬상하여 입력함으로써 다양한 표현형태의 얼굴 화상의 작성을 즐길 수 있다.
여기서, 상기 얼굴 화상 작성장치는 얼굴 화상 입력장치와 얼굴 화상 묘사장치로 구성되고, 상기 얼굴 화상 입력장치는, 상기 수신수단과, 상기 위치산출수단과, 상기 참조위치 기억수단과, 상기 변경 파라미터 결정수단과, 결정한 수평방향 및 수직방향의 변경 파라미터를 상기 얼굴 화상 묘사장치에 송신하는 송신수단과, 상기 얼굴 화상 묘사장치로부터 송신된 제 1 얼굴 화상을 수신하는 수신수단을 가지며, 상기 얼굴 화상 묘사장치는, 결정된 수평방향 및 수직방향의 변경 파라미터를 수신하는 수신수단과, 상기 디폴트 위치 기억수단과, 상기 디폴트 위치 변경수단과, 상기 디폴트 위치 변경수단에 의해서 결정된 위치에 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성수단과, 작성한 제 1 얼굴 화상을 상기 얼굴 화상 입력장치에 송신하는 송신수단을 갖는 것으로 해도 된다.
이에 의해, 많은 메모리 용량을 요하는 얼굴 화상 묘사처리를 얼굴 화상 묘사장치가 행하게 할 수 있으므로, 메모리 용량에 제한이 있는 휴대기기를 얼굴 화상 입력장치로서 기능을 하게 함으로써, 휴대기기에서도 다양한 표현형태의 얼굴 화상의 작성을 할 수 있다.
도 1은 얼굴 화상 작성장치(100)의 구성을 나타내는 기능 블록도이다.
도 2는 각 얼굴부품에 대하여 추출되는 물리적 특징량을 나타내는 테이블이다.
도 3은 얼굴 화상 데이터로부터 추출되는 각 얼굴부품에 대한 물리적 특징량을 이미지적으로 표현한 도면이다.
도 4는 배치 변경량과 중심좌표와의 관계를 나타내는 도면이다.
도 5는 묘사 룰 기억부(106)에 기억되어 있는 묘사 룰의 구체 예를 나타낸다.
도 6은 초상화 화상에서의 초상화용 얼굴부품의 수평방향 및 수직방향의 배치 결정방법을 도시한 도면이다.
도 7은 얼굴 화상 작성장치(100)가 행하는 초상화 작성처리의 동작을 나타내는 플로차트이다.
도 8은 얼굴 특징 추출부(103)가 행하는 개인 특징정보 결정처리의 동작을 나타내는 플로차트이다.
도 9는 초상화 합성부(108)가 행하는 초상화 묘사처리의 동작을 나타내는 플로차트이다.
도 10은 얼굴 화상 작성장치(200)의 구성을 나타내는 기능 블록도이다.
도 11은 얼굴 화상 작성장치(200)가 행하는 초상화 작성처리의 동작을 나타내는 플로차트이다.
도 12는 얼굴 화상 작성장치(200)가 행하는 표현형태 선택처리의 동작을 나타내는 플로차트이다.
도 13은 얼굴 화상 작성장치(200)가 행하는 초상화 묘사처리의 동작을 나타내는 플로차트이다.
도 14는 얼굴 화상 작성장치의 구성의 변형 예를 나타낸다.
도 15는 초상화 조건 입력장치(301)가 행하는 초상화 작성조건 송신처리의 동작을 나타내는 플로차트이다.
도 16은 초상화 조건 입력장치(301)가 행하는 개인 특징정보 결정처리의 동작을 나타내는 플로차트이다.
도 17은 초상화 묘사장치(302)가 행하는 초상화 묘사처리 동작을 나타내는 플로차트이다.
도 18은 얼굴 특징 기억부(104)의 구성을 나타내는 기능 블록도이다.
도 19는 얼굴부품 A에 대한 얼굴부품 분류표의 구체 예를 나타낸다.
도 20은 각 얼굴부품에 대한 기준위치를 나타내는 중심좌표의 구체 예를 나타낸다.
(제 1 실시 예)
<구성>
이하, 본 실시 예에 관한 얼굴 화상 작성장치(100)에 대하여 설명한다.
도 1은 얼굴 화상 작성장치(100)의 구성을 나타내는 기능 블록도이다. 얼굴 화상 작성장치(100)는 화상 입력부(101), 물리적 특징 추출부(102), 얼굴 특징 추출부(103), 얼굴 특징 기억부(104), 표현형태 입력부(105), 묘사 룰(plot rule) 기억부(106), 묘사 룰 판독부(107), 초상화 합성부(108), 화상 출력부(109)로 구성된다.
여기서, 「초상화(portrait)」란, 화상 입력부(101)로부터 입력되는 대상자의 얼굴 화상을 구성하는 각 얼굴부품의 당해 얼굴 화상에서의 배치에 의거하여 합성되는 얼굴 화상을 말한다.
얼굴 화상 작성장치(100)는, CPU, ROM, RAM, 하드 디스크 유닛, CD 드라이브, 플렉시블 디스크나 메모리 카드 등의 이동 가능한(removable) 미디어, 카메라, 키보드, 마우스, 모니터 등으로 이루어지고, ROM 또는 상기 하드 디스크 유닛에는 컴퓨터 프로그램이 기억되며, 상기 CPU가 상기 컴퓨터 프로그램에 따라서 동작함으 로써 상기 장치는 그 기능을 달성한다. 후술하는 제 2 실시 예에서의 얼굴 화상 작성장치(200)에 대해서도 동일하다.
(화상 입력부(101))
비디오 카메라나 디지털 카메라 등, 피사체의 촬상이 가능한 장치로 구성되고, 대상자의 얼굴 화상을 입력하고, 입력한 얼굴 화상을 얼굴 화상 데이터로 변환하여 물리적 특징 추출부(102)에 출력한다.
(물리적 특징 추출부(102))
화상 입력부(101)로부터 입력된 얼굴 화상 데이터를 화상 처리하여 각 얼굴부품을 추출하고, 추출한 각 얼굴부품에 대하여 물리적 특징량을 산출하여 얼굴 특징 추출부(103)에 출력한다. 구체적으로는, 얼굴 화상 데이터에 포함되는 각 얼굴부품의 화상 데이터를 추출하고, 추출한 화상 데이터에 의거하여 눈썹, 눈, 코, 입, 얼굴 윤곽의 각 얼굴부품의 상하단 및 좌우 단을 검출하며, 추출한 각 얼굴부품에 대하여 상하단, 좌우단의 각 점을 변에 포함하는 직사각형(이하, 「부품 외접 직사각형(part circumscribing rectangle)」이라고 한다)의 폭, 높이, 기울기 및 부품 외접 직사각형의 중심좌표를 물리적 특징량으로 산출하여 얼굴 특징 추출부(103)에 출력한다.
또, 추출한 머리카락의 얼굴부품에 대해서는 머리카락 영역을 구성하는 각 화소의 화소 데이터를 물리적 특징량으로 취득하여 얼굴 특징 추출부(103)에 출력한다.
여기서, 얼굴부품의 추출 및 검출방법에 대해서는, 예를 들어, 특허문헌(일 본국 특허공개공보 평10-255017)에 개시되어 있는 방법을 사용할 수 있다.
도 2는 각 얼굴부품에 대하여 추출되는 물리적 특징량을 나타내는 테이블이고, 도 3은 얼굴 화상 데이터로부터 추출되는 각 얼굴부품에 대한 물리적 특징량을 이미지적으로 나타낸 도면이다.
도 3의 1 ~ 7은 각 얼굴부품의 부품 외접 직사각형을 나타내고, 8은 머리카락 영역의 화소를 나타내며, 11, 21, 33, 42, 51, 61, 73은 각 얼굴부품의 상단을 나타내고, 31, 44, 53, 63, 71은 각 얼굴부품의 하단을 나타내며, 12, 32, 43, 52, 62, 74는 각 얼굴부품의 좌단을 나타내고, 22, 34,41, 54, 64, 72는 각 얼굴부품의 우단을 나타내며, 13은 얼굴부품(왼쪽 눈썹)의 우단과 하단이 중복하고 있음을 나타내고, 23은 얼굴부품(오른쪽 눈썹)의 좌단과 하단이 중복하고 있음을 나타낸다.
여기서, 「부품 외접 직사각형의 폭」은 부품 외접 직사각형의 밑변의 길이를 말하고, 「부품 외접 직사각형의 높이」는 부품 외접 직사각형의 세로 변의 길이를 말하며, 「부품 외접 직사각형의 기울기」는 얼굴부품의 우단을 시점으로 하고 좌단을 종점으로 하는 직선(예를 들어, 도 3의 13과 12를 잇는 직선)과, 우단을 시점으로 하는 당해 부품 외접 직사각형의 밑변과 평행한 직선(도 3의 13에서 12 측으로 향하는 밑변과 평행한 직선)이 이루는 각도를 말하고, 얼굴부품이 오른쪽 눈썹, 오른쪽 눈인 경우에는 상기에서 좌단과 우단을 바꾼 경우에서의 상기 각도를 말한다.
여기에서는, 우단과 좌단을 잇는 직선이 상기 밑변과 평행한 직선에 대하여 시계 회전방향에 있는 경우의 상기 각도를 양의 각도로 하고, 반 시계 회전방향에 있는 경우의 상기 각도를 음의 각도로 한다.
또, 「중심좌표」는 각 얼굴부품의 부품 외접 직사각형에서의 중심점(대각선의 교점)의 좌표를 말한다.
(얼굴 특징 기억부(104))
도 18은 얼굴 특징 기억부(104)의 구성을 나타내는 기능 블록도이다.
얼굴 특징 기억부(104)는 개인 특징정보 기억부(1041), 얼굴부품 분류표 기억부(1042), 얼굴부품 기준위치 기억부(1043)로 구성된다.
(개인 특징정보 기억부(1041))
개인 특징정보를 기억하고 있다.
여기서, 「개인 특징정보」는 각 얼굴부품의 분류와 각 얼굴부품에 대한 물리적 특징량과 얼굴부품 기준위치 기억부(1043)에 기억되어 있는 후술하는 각 얼굴부품에 대한 기준위치에 의거하여 얼굴 특징 추출부(103)에 의해서 산출되는 배치 변경량을 포함하는 정보를 말한다.
「배치 변경량」은 수평방향의 배치 변경량과 수직방향의 배치 변경량으로 구성된다.
「수평방향의 배치 변경량」은 각 얼굴부품에 대하여 산출된 중심좌표의 X 좌표 값(수평방향의 좌표값)과 당해 얼굴부품에 대응하는 얼굴부품(예를 들어, 눈)에 대한 기준위치를 나타내는 중심좌표의 X 좌표값과의 차분을 말한다. 「눈」이나 「눈썹」과 같이 얼굴부품이 복수인 경우에는 각 X 좌표값(예를 들어, 왼쪽 눈과 오른쪽 눈의 X 좌표값)의 평균값에 대하여 차분이 산출된다.
「수직방향의 배치 변경량」은 기준점(예를 들어, 눈썹의 중심좌표)의 Y 좌표 값(수직방향의 좌표값)과 각 얼굴부품(예를 들어, 눈)에 대하여 산출된 중심좌표의 Y 좌표값과의 차분의, 기준점의 Y 좌표값과 당해 얼굴부품에 대응하는 얼굴부품(예를 들어, 눈)에 대한 기준위치를 나타내는 중심좌표의 Y 좌표값과의 차분에 대한 비를 말한다. 「눈」이나 「눈썹」과 같이 얼굴부품이 복수인 경우에는 각 Y 좌표값인 평균값에 대하여 차분 및 비가 산출된다.
여기서, 「기준점」은 산출대상이 되는 얼굴부품의 중심좌표의 주위에 있는 어느 하나의 얼굴부품의 중심좌표를 말한다.
도 4는 배치 변경량과 중심좌표와의 관계를 나타내는 도면이다. 도 4(a)는 각 얼굴부품의 기준위치를 나타내는 중심좌표를 나타내는 이미지 도이다. 도 4(a)의 A, A'는 눈썹의, B, B'는 눈의, C는 코의, D는 입의 각각 기준위치를 나타내는 중심좌표를 나타낸다.
도 4(b)는 각 얼굴부품에 대하여 산출된 중심좌표를 나타내는 이미지 도이다. 도 4(b)의 a, a'는 눈썹의, b, b'는 눈의, c는 코의, d는 입의 각각 중심좌표를 나타낸다.
도 4(c)는 도 4(a) 및 도 4(b)에 나타내는 중심좌표에 의거하여 각 얼굴부품에 대하여 산출된 수평방향의 배치 변경량의 구체 예이다.
도 4(d)는 도 4(a) 및 도 4(b)에 나타내는 중심좌표에 의거하여 각 얼굴부품에 대하여 산출된 수직방향의 배치 변경량의 구체 예이다. 도 4(d)의 괄호는 기준점이 되는 얼굴부품 명을 나타낸다.
(얼굴부품 분류표 기억부(1042))
각 얼굴부품에 대한 얼굴부품 분류표를 기억하고 있다.
여기서, 「얼굴부품 분류표」는, 산출된 물리적 특징량과 얼굴부품의 분류의 대응관계를 나타내는 표를 말하며, 구체적으로는, 기울기와 부품 외접 직사각형의 폭에 대한 높이의 비(이하, 「폭과 높이의 비」라고 한다)의 대응관계에 의거하여 추출된 얼굴부품의 분류를 결정하기 위한 표를 말하며, 결정된 분류에 따라서 후술하는 초상화용 얼굴부품이 선택된다.
또한, 얼굴부품이 머리카락인 경우에는, 머리카락 영역에서의 각 화소의 화소 데이터의 분포 패턴을 소정의 복수 종류의 머리카락의 머리카락 영역에서의 화소 데이터의 분포 패턴과 비교함으로써 분류가 결정된다.
도 19는 얼굴부품 A에 대한 얼굴부품 분류표의 구체 예를 나타낸다.
(얼굴부품 기준위치 기억부(1043))
표준적인 사람의 얼굴 화상 데이터로부터 추출된 각 얼굴부품의 기준위치를 나타내는 중심좌표를 기억하고 있다. 각 얼굴부품의 기준위치는, 예를 들어, 복수의 표준적인 사람의 얼굴 화상 데이터를 화상 처리하여, 각 사람의 얼굴 화상 데이터에 의거하여 각 얼굴부품의 위치를 산출하고, 산출한 위치를 얼굴부품별로 평균화하여 구할 수 있다.
도 20은 각 얼굴부품에 대한 기준위치를 나타내는 중심좌표의 구체 예를 나타낸다. 도 20의 각 중심좌표는 도 4(a)의 이미지 도에 표시되는 각 얼굴부품의 기준위치를 나타내는 중심좌표에 대응하고 있다.
(얼굴 특징 추출부(103))
물리적 특징 추출부(102)로부터 입력된 물리적 특징량에 의거하여 추출된 각 얼굴부품의 분류를 결정하고, 또한, 수평방향 및 수직방향의 배치 변경량을 결정한다.
구체적으로는, 추출된 각 얼굴부품의 부품 외접 직사각형의 폭과 높이로부터 폭과 높이의 비를 산출하고, 추출된 각 얼굴부품의 기울기와 당해 얼굴부품에 대하여 산출한 폭과 높이의 비에 의거하여, 해당하는 얼굴부품에 대한 얼굴부품 분류표로부터 당해 얼굴부품의 분류를 결정하며, 또한, 추출된 각 얼굴부품의 중심좌표와 당해 얼굴부품에 대응하는 얼굴부품에 대한 기준위치를 나타내는 중심좌표에 의거하여 당해 얼굴부품에 대하여 수평방향 및 수직방향의 배치 변경량을 결정하고, 결정한 각 얼굴부품의 분류 및 배치 변경량을 개인 특징정보로 얼굴 특징 기억부(104)에 기록한다.
(표현형태 입력부(105))
사용자로부터 초상화의 표현형태의 지정을 수신하고, 묘사 룰 판독부(107)에 출력한다.
여기서, 「표현형태」란 초상화의 종류를 말하며, 예를 들어, 동물 풍의 초상화, 만화의 캐릭터 풍의 초상화, 각 표정에 따른 초상화(예를 들어, 화난 얼굴의 초상화, 웃는 얼굴의 초상화, 우는 얼굴의 초상화, 곤혹스런 얼굴의 초상화) 등을 말하며, 표현형태를 지정함으로써 초상화의 종류가 특정되고, 묘사 룰 기억부(106)에 기억되어 있는 후술하는 묘사 룰이 지정된다.
각 묘사 룰은 초상화의 종류에 대응되어 있다.
(묘사 룰 기억부(106))
초상화의 종류별로 설치된 묘사 룰을 기억하고 있다.
여기서, 「묘사 룰」은 초상화의 각 얼굴부품의 화상 데이터 군(얼굴부품의 크기 정보(폭, 높이)를 포함한다)과 각 얼굴부품의 초상화 화상에서의 기준위치를 나타내는 중심좌표(얼굴부품이 얼굴 윤곽인 경우에는, 그 중심좌표, 그 외접 직사각형의 폭, 높이)를 나타내는 초상화용 얼굴부품 기준위치 정보를 포함하는 정보를 말한다.
각 묘사 룰은 각 얼굴부품에 대하여 그 분류에 따라서 복수의 얼굴부품의 화상 데이터 군을 포함한다. 여기에서의 분류는, 얼굴부품 분류표에서 사용한 분류기준과 마찬가지로, 기울기와 초상화용 얼굴부품의 부품 외접 직사각형의 폭과 높이의 비와의 대응관계에 의거하여 결정되며, 결정된 분류에 해당하는 초상화용 얼굴부품의 화상 데이터가 할당되어 있다.
이에 의해, 각 묘사 룰에 포함되는 복수의 얼굴부품의 화상 데이터 군으로부터 얼굴 특징 추출부(103)에 의해서 결정된 각 얼굴부품의 분류에 대응하는 얼굴부품의 화상 데이터를 상기 화상 데이터 군으로부터 선택할 수 있다.
도 5는 묘사 룰 기억부(106)에 기억되어 있는 묘사 룰의 구체 예를 나타낸다. 도 5의 501은 묘사 룰을 나타내고, 502는 초상화용 얼굴부품 기준 위치정보를 나타내며, 503은 각 얼굴부품에 대한 화상 데이터 군을 나타낸다.
또, 도 5의 5031은 얼굴부품이 눈의 각 분류에 속하는 화상 데이터 군을 나 타내고, 도 5의 5032는 얼굴부품이 눈썹의 각 분류에 속하는 화상 데이터 군을 나타낸다.
(묘사 룰 판독부(107))
표현형태 입력부(105)로부터 표현형태가 지정되고, 묘사 룰이 특정되면, 특정된 묘사 룰을 묘사 룰 기억부(106)로부터 판독하여 초상화 합성부(108)에 출력한다.
(초상화 합성부(108))
얼굴부품 배치 계산부(110), 초상화용 얼굴부품 선택부(111), 초상화용 얼굴부품 배치부(112)로 구성된다.
(얼굴부품 배치 계산부(110))
초상화 화상에서의 초상화용 얼굴부품의 수평방향 및 수직방향의 배치를 결정한다. 먼저, 수평방향의 배치 결정방법에 대하여 설명한다.
얼굴부품 배치 계산부(110)는, 얼굴부품 기준위치 기억부(1043)에 기억되어 있는 각 얼굴부품의 기준위치를 나타내는 중심좌표를 취득하고, 취득한 중심좌표의 좌표값에 의거하여 직교 좌표 상의 우단, 좌단, 상단, 하단에 위치하는 얼굴부품의 중심좌표를 각각 특정하며, 특정한 각 중심좌표를 변에 포함하는 직사각형(이하, 「중심좌표 외접 직사각형 A」라고 한다)의 폭(W1)을 산출한다.
이어서, 얼굴부품 배치 계산부(110)는, 묘사 룰 기억부(106)에 기억되어 있는 특정된 묘사 룰에 포함되는 초상화용 얼굴부품 기준 위치정보를 취득하고, 상기와 동일하게 하여, 초상화용 얼굴부품 기준 위치정보가 나타내는 각 중심좌표의 좌 표값에 의거하여 직교 좌표 상의 우단, 좌단, 상단, 하단에 위치하는 초상화용 얼굴부품의 중심좌표를 각각 특정하며, 특정한 각 중심좌표를 변에 포함하는 직사각형(이하, 「중심좌표 외접 직사각형 B」라고 한다.)의 폭(W2)을 산출한다.
도 6(b)의 603은 중심좌표 외접 직사각형 A를, 604는 중심좌표 외접 직사각형 B의 구체 예를 나타내고, 603 및 604에 포함되는 각 검은 원은 각 중심좌표 외접 직사각형에 포함되는 각 얼굴부품의 중심좌표를 나타낸다.
이어서, 얼굴부품 배치 계산부(110)는, 얼굴 특징 기억부(1041)에 기억되어 있는 수평방향의 배치 변경량을 취득하고, 취득한 각 얼굴부품의 수평방향의 배치 변경량에 산출한 W2의 W1에 대한 비(W2/ W1)를 곱하여 좌표값의 수평방향의 변경량을 산출하여, 당해 얼굴부품에 대응하는 초상화용 얼굴부품의 기준위치를 나타내는 중심좌표의 X 좌표값을 산출한 변경량만큼 변경(가산 또는 감산)하여 당해 초상화용 얼굴부품을 초상화 화상에 배치할 때의 중심좌표의 X 좌표값을 결정한다.
도 6(b)의 606은 물리적 특징량으로 산출된 얼굴부품의 중심좌표를 나타내고, 605는 당해 중심좌표에 대한 수평방향의 배치 변경량의 산출대상이 되는 기준위치를 나타내는 중심좌표를 나타내며, d는 양자의 중심좌표 사이의 수평방향의 배치 변경량을 나타내고, 607은 초상화 화상을 구성하는 얼굴부품의 기준위치를 나타내는 중심좌표를 나타내며, 608은 결정 후의 당해 얼굴부품의 배치를 나타내는 중심좌표를 나타내고, d'는 좌표값의 수평방향의 변경량을 나타내며, 609는 d'의 산출 식을 나타낸다.
도 6(c)은 각 초상화용 얼굴부품에 대한 d'의 산출 식을 나타낸다. 또, d1은 얼굴부품이 눈썹인 경우의, d2는 얼굴부품이 눈인 경우의, d3은 얼굴부품이 코인 경우의, d4는 얼굴부품이 입인 경우의 수평방향의 배치 변경량을 각각 나타낸다.
또한, 605 ~ 608이 나타내는 각 중심좌표에서는 수직방향의 좌표값은 설명의 편의상 동일한 것으로 하고 있다.
이어서, 수직방향의 배치 결정방법에 대하여 설명한다.
얼굴부품 배치 계산부(110)는, 얼굴 특징 기억부(104)에 기억되어 있는 각 얼굴부품에 대하여 산출된 수직방향의 배치 변경량과, 묘사 룰 기억부(106)에 기억되어 있는 특정된 묘사 룰에 포함되는 초상화용 얼굴부품 기준 위치정보를 취득하고, 취득한 수직방향의 각 배치 변경량에 당해 배치 변경량의 산출대상이 된 기준점에 상당하는 초상화 작성용 얼굴부품의 기준위치를 나타내는 중심좌표(예를 들어, 눈의 중심좌표가 산출대상이 된 기준점이었던 경우에는 초상화용 얼굴부품이 눈의 중심좌표, 이하, 「기준 중심좌표」라고 한다)의 Y 좌표값과, 당해 배치 변경량의 산출대상이 된 얼굴부품에 상당하는 초상화용 얼굴부품의 기준위치를 나타내는 중심좌표의 Y 좌표값과의 차분(이하, 「수직방향 차분」이라고 한다)을 곱하여 각 초상화용 얼굴부품의 Y 좌표값의 변경량을 산출하고, 당해 초상화용 얼굴부품에 대한 기준 중심좌표의 Y 좌표값으로부터 산출한 변경량만큼 변경한 Y 좌표값을 당해 초상화용 얼굴부품을 초상화 화상에 배치할 때의 중심좌표의 Y 좌표값으로 결정한다.
도 6(a)의 601은 초상화용 얼굴부품이 눈썹의 중심좌표를 기준 중심좌표로 한 경우에서의 주변의 각 초상화용 얼굴부품의 기준위치를 나타내는 중심좌표와의 수직방향 차분을 나타낸다. 구체적으로는, α는 눈썹과 눈 사이의 수직방향 차분을, β는 눈썹과 코 사이의 수직방향 차분을, γ는 눈썹과 입 사이의 수직방향 차분을 각각 나타낸다. 이 경우, 눈을 기준 중심좌표로 한 경우에서의 눈과 코 사이의 수직방향 차분은 (β-α)로 표시되고, 코를 기준 중심좌표로 한 경우에서의 코와 입 사이의 수직방향 차분은 (γ-β)로 나타낼 수 있다.
또, 도 6(a)의 602는 각 초상화용 얼굴부품에 대하여 산출된 Y 좌표값의 변경량을 나타낸다. 구체적으로는, α'는 초상화용 얼굴부품이 눈인 경우에서의 Y 좌표값의 변경량을, β'는 초상화용 얼굴부품이 코인 경우에서의 Y 좌표값의 변경량을, γ'는 초상화용 얼굴부품이 입인 경우에서의 Y 좌표값의 변경량을 각각 나타낸다.
α', β', γ'는 이하에 나타내는 각 식에 의해 산출된다.
여기서, α'는 [수학식 1] 및 [수학식 4]의 2개의 식으로부터 2개의 α'가 산출될 수 있으므로, 그 평균값을 산출함으로써 α'를 산출한다. 구체적으로는 이하에 나타내는 [수학식 6]으로부터 α'가 산출된다.
또한, [수학식 6]에 의하지 않고, [수학식 1] 또는 [수학식 4] 중 어느 하나에 의해 α'를 산출하는 것으로 해도 된다.
또, β'에 대해서도 마찬가지로 [수학식 2], [수학식 4], [수학식 5]의 3개의 식으로부터 3개의 β'가 산출될 수 있으므로, 그 평균값을 산출함으로써 β'를 산출한다. 구체적으로는 이하에 나타내는 [수학식 7]로부터 β'가 산출된다.
또한, [수학식 7] 에 의하지 않고, [수학식 2], [수학식 4], [수학식 5] 중 어느 하나에 의해 β'를 산출하는 것으로 해도 된다.
또, γ'에 대해서도 마찬가지로 [수학식 3] 및 [수학식 5] 의 2개의 식으로부터 2개의 γ'가 산출될 수 있으므로, 그 평균값을 산출함으로써 γ'를 산출한다. 구체적으로는 이하에 나타내는 [수학식 8]로부터 γ'가 산출된다.
또한, [수학식 8]에 의하지 않고, [수학식 3] 또는 [수학식 5] 중 어느 하나에 의해 γ'를 산출하는 것으로 해도 된다.
(초상화용 얼굴부품 선택부(111))
얼굴 특징 기억부(104)에 기억되어 있는 각 얼굴부품에 대하여 결정된 분류를 판독하고, 판독한 각 분류에 대응하는 분류에 속하는 초상화용 얼굴부품의 화상 데이터를 묘사 룰 판독부(107)로부터 입력된 묘사 룰에 포함되는 각 초상화용 얼굴부품에 대한 화상 데이터 군으로부터 선택한다.
(초상화용 얼굴부품 배치부(112))
각 초상화용 얼굴부품에 대하여 선택한 화상 데이터와 결정한 중심좌표에 의거하여 각 초상화용 얼굴부품을 결정한 중심좌표에 배치한 초상화 화상을 합성하여 화상 출력부(109)에 출력한다.
(화상 출력부(109))
초상화 합성부(108)로부터 입력된 초상화용 화상을 외부 표시장치(미 도시)에 출력하여 초상화 화상을 표시하도록 한다.
<동작>
(초상화 작성처리)
이어서, 얼굴 화상 작성장치(100)가 행하는 초상화 작성처리의 동작에 대하여 설명한다. 도 7은 상기 동작을 나타내는 플로차트이다.
화상 입력부(101)로부터 대상자의 얼굴 화상의 얼굴 화상 데이터가 입력되면(스텝 S 701), 물리적 특징 추출부(102)는 입력된 얼굴 화상 데이터를 화상 처리하여 각 얼굴부품의 물리적 특징량을 추출하고(스텝 S 702), 물리적 특징 추출부(102)에 출력한다.
이어서, 표현형태 입력부(105)는 사용자로부터 초상화의 표현형태의 지정을 수신하고(스텝 S 703), 묘사 룰 판독부(107)에 출력한다.
이어서, 얼굴 특징 추출부(103)는 후술하는 개인 특징정보 결정처리를 행하고(스텝 S 704), 묘사 룰 판독부(107) 및 초상화 합성부(108)는 후술하는 초상화 묘사처리를 더 행한다(스텝 S 705).
(개인 특징정보 결정처리)
이어서, 얼굴 특징 추출부(103)가 행하는 개인 특징정보 결정처리의 동작에 대하여 설명한다. 도 8은 상기 동작을 나타내는 플로차트이다.
얼굴 특징 추출부(103)는 물리적 특징 추출부(102)에 의해 추출된 각 얼굴부품의 물리적 특징량에 의거하여 추출된 각 얼굴부품의 분류를 결정하고(스텝 S 801), 추출된 물리적 특징량으로부터 각 얼굴부품의 중심좌표를 취득하며, 당해 중심좌표와 당해 얼굴부품에 대응하는 얼굴부품에 대한 기준위치를 나타내는 중심좌표를 비교하여(스텝 S 802) 당해 얼굴부품에 대하여 수평방향 및 수직방향의 배치 변경량을 결정하고(스텝 S 803, 스텝 S 804), 결정한 각 얼굴부품의 분류와 수평방 향 및 수직방향의 배치 변경량을 개인 특징정보로서 얼굴 특징 기억부(104)에 기록한다(스텝 S 805).
(초상화 묘사처리)
이어서, 초상화 합성부(108)가 행하는 초상화 묘사처리의 동작에 대하여 설명한다. 도 9는 상기 동작을 나타내는 플로차트이다.
묘사 룰 판독부(107)는 표현형태 입력부(105)로부터 지정된 표현형태가 입력되면 입력된 표현형태에 대응하는 묘사 룰을 묘사 룰 기억부(106)로부터 판독하고(스텝 S 901), 초상화 합성부(108)에 출력한다.
초상화 합성부(108)는 얼굴 특징 기억부(104)에 기억되어 있는 각 얼굴부품의 기준위치를 나타내는 중심좌표, 각 얼굴부품에 대하여 결정된 분류, 수평방향 및 수직방향의 배치 변경량을 각각 판독하고(스텝 S 902), 각 초상화용 얼굴부품에 대하여 판독된 묘사 룰에 포함되는 분류로 나누어진 당해 초상화용 얼굴부품의 화상 데이터 중에서 판독한 각 분류에 대응하는 분류에 속하는 초상화용 얼굴부품의 화상 데이터를 선택하며(스텝 S 903), 판독된 묘사 룰에 포함되는 각 초상화용 얼굴부품의 중심좌표와 각 얼굴부품의 기준위치를 나타내는 중심좌표와 수평방향 및 수직방향의 배치 변경량에 의거하여 각 초상화용 얼굴부품을 배치하는 중심좌표를 결정하고(스텝 S 904), 각 얼굴부품에 대하여 선택한 화상 데이터와 결정한 중심좌표에 의거하여 각 초상화용 얼굴부품을 결정한 중심좌표에 배치한 초상화 화상을 합성하여 화상 출력부(109)에 출력한다(스텝 S 905).
이어서, 묘사 룰 판독부(107)는 표현형태 입력부(105)로부터 표현형태의 재 입력이 있었는가 여부를 판정하여(스텝 S 906), 재입력이 있었던 경우에는(스텝 S 906) 스텝 S 901의 처리로 이행한다.
(제 2 실시 예)
이하, 본 실시 예에 관한 얼굴 화상 작성장치(200)에 대하여 설명한다.
도 10은 얼굴 화상 작성장치(200)의 구성을 나타내는 기능 블록도이다. 얼굴 화상 작성장치(200)는 화상 입력부(101), 물리적 특징 추출부(102), 얼굴 특징 추출부(103), 얼굴 특징 기억부(104), 표현형태 선택부(205), 묘사 룰 기억부(106), 묘사 룰 판독부(107), 초상화 합성부(108), 화상 출력부(109)로 구성된다.
상기 구성에서 제 1 실시 예에서의 얼굴 화상 작성장치(100)와 동일한 구성요소에 대해서는 동일한 번호를 부여하고, 이하, 얼굴 화상 작성장치(100)와의 상이점을 중심으로 설명하며, 동일한 구성요소에 대해서는 설명을 생략한다.
(표현형태 선택부(205))
대상자의 표정이 다른 복수의 얼굴 화상으로부터 추출된 각 얼굴부품의 물리적 특징량에 대하여 표정 간의 차를 산출하고, 산출한 차를 미리 보유하고 있는 각 임계값(임계값 1 ~ 4, 임계값 1 > 임계값 4 > 임계값 2 > 임계값 3)과 비교함으로써 표현형태를 선택하는 처리를 행한다.
구체적으로는, 최초에 입력된 대상자의 얼굴 화상으로부터 추출된 눈의 얼굴부품에 대한 부품 외접 직사각형의 폭(w0)과 높이(h0)로부터 폭과 높이의 비(h0/w0)를 산출하고, 입의 얼굴부품에 대한 부품 외접 직사각형의 폭(w'0)을 더 취득하며, 그 후, 표정이 다른 얼굴 화상이 입력될 때마다 입력된 얼굴 화상으로부 터 추출된 물리적 특징량에 의거하여, 동일한 방법으로 하여 눈의 폭과 높이의 비(h1/W1로 한다)를 산출하고, 입의 부품 외접 직사각형의 폭(w'1로 한다)을 더 취득하여 폭과 높이의 비 및 입의 부품 외접 직사각형의 폭에 대하여 최초의 것과의 차분(h1/W1 - h0/w0, w'1 - w'0)을 산출하고, 보유하고 있는 임계값과의 비교결과에 의거하여 선택해야 할 표현형태를 결정한다.
<동작>
(초상화 작성처리)
이어서, 얼굴 화상 작성장치(200)가 행하는 초상화 작성처리의 동작에 대하여 설명한다. 도 11은 상기 동작을 나타내는 플로차트이다.
도 11에 도시하는 바와 같이, 얼굴 화상 작성장치(200)가 행하는 초상화 작성처리의 동작은, 표현형태의 입력을 사용자로부터 수신하는 대신에 후술하는 표현형태 선택처리를 행함으로써 표현형태를 선택하는 점에서, 도 7에 나타내는 얼굴 화상 작성장치(100)가 행하는 초상화 작성처리 동작과 상이하다.
(표현형태 선택처리)
이어서, 얼굴 화상 작성장치(200)가 행하는 표현형태 선택처리의 동작에 대하여 설명한다. 도 12는 상기 동작을 나타내는 플로차트이다.
여기서, 설명의 편의상, 도 12의 플로차트는 화상 입력부(101))로부터 최초의 대상자의 얼굴 화상이 이미 입력되어 있고, 물리적 특징 추출부(102)에 의해서 당해 얼굴 화상으로부터 물리적 특징량이 추출되며, 표현형태 선택부(205)에 의해서 눈의 얼굴부품의 폭과 높이의 비가 산출되고, 입의 얼굴부품의 부품 외접 직사 각형의 폭이 취득된 후의 동작을 나타내고 있다.
화상 입력부(101)로부터 대상자의 얼굴 화상의 재입력이 있으면(스텝 S 1201), 물리적 특징 추출부(102)는 재입력된 얼굴 화상으로부터 각 얼굴부품의 물리적 특징량을 추출하고(스텝 S 1202), 표현형태 선택부(205)에 출력한다.
표현형태 선택부(205)는 입력된 물리적 특징량으로부터 재입력된 얼굴 화상의 눈의 얼굴부품의 폭과 높이의 비(h1/W1)를 산출하고, 눈의 얼굴부품의 부품 외접 직사각형의 폭(w'1)을 더 취득하여, 최초에 입력된 얼굴 화상의 눈의 얼굴부품의 폭과 높이의 비(h0/w0), 입의 얼굴부품의 부품 외접 직사각형의 폭(w'0)과의 각각의 차(h1/W1 - h0/w0), (w'1 - w'0)을 산출하고(스텝 S 1203), 산출한 폭과 높이의 비의 차가 0보다 큰 경우(스텝 S 1204 : Y), 보유하고 있는 임계값 1보다 큰가 여부를 더 판정하여(스텝 S 1205), 큰 경우(스텝 S 1205 : Y)에는 표현형태를 「놀람」으로 결정하고(스텝 S 1206), 크지 않은 경우(스텝 S 1205 : N)에는 산출한 폭의 차가 보유하고 있는 임계값 4보다 큰가 여부를 판정하여(스텝 S 1211), 큰 경우(스텝 S 1211 : Y)에는 표현형태를 「곤혹」으로 결정한다(스텝 S 1212).
스텝 S 1204의 판정이 부정적인 경우(스텝 S 1204 : N), 표현형태 선택부(205)는 폭과 높이의 비의 차가 보유하고 있는 임계값 2보다 작은가 여부를 판정하고(스텝 S 1207), 작은 경우(스텝 S 1207 : Y)에는 폭과 높이의 비의 차가 임계값 3보다 작은가 여부를 더 판정하고(스텝 S 1208), 작은 경우(스텝 S 1208 : Y)에는 표현형태를 「슬픔」으로 결정하고(스텝 S 1209), 작지 않은 경우(스텝 S 1208 : N)에는 표현형태를 「기쁨」으로 결정한다(스텝 S 1210).
스텝 S 1207, 스텝 S 1211의 판정이 각각 부정적인 경우에는 표현형태 선택부(205)는 표현형태를 「표준」으로 결정한다(스텝 S 1213).
(초상화 묘사처리)
이어서, 얼굴 화상 작성장치(200)가 행하는 초상화 묘사처리의 동작에 대하여 설명한다. 도 13은 상기 동작을 나타내는 플로차트이다.
묘사 룰 판독부(107)는 표현형태 선택부(205)에 의해서 결정된 표현형태에 대응하는 묘사 룰을 묘사 룰 기억부(106)로부터 판독하고(스텝 S 1301), 초상화 합성부(108)에 출력한다. 스텝 S 1302 ~ 스텝 S 1305의 처리는 도 9의 스텝 S 902 ~ 스텝 S 905의 처리와 동일하므로 설명을 생략한다.
스텝 S 1305의 처리가 행해진 후, 화상 입력부(101)는 대상자의 화상의 재입력이 있었는가 여부를 판정하여(스텝 S 1306), 재입력이 있었던 경우(스텝 S 1306 : Y)에는 도 12에 도시된 표현형태 선택처리를 반복한다(스텝 S 1307).
<보충>
이상, 본 발명의 제 1 , 2 실시 예에 대하여 설명하였으나, 본 발명은 이들 실시 예에 한정되는 것은 물론 아니다.
(1) 예를 들어, 제 1 실시 예 및 제 2 실시 예에서는, 하나의 얼굴 화상 작성장치가 입력된 대상자의 얼굴 화상으로부터 물리적 특징량을 추출하고, 추출한 물리적 특징량 등에 의거하여 초상화 화상을 합성하는 것으로 하였으나, 물리적 특징량 추출과정과 초상화 합성과정을 각각 다른 장치가 행하는 것으로 해도 된다.
구체적으로는, 얼굴 화상 작성장치를, 도 14에 도시하는 바와 같이, 화상 입 력부(101), 물리적 특징 추출부(102), 얼굴 특징 추출부(103), 표현형태 입력부(105)(또는 표현형태 선택부(205)), 통신부(309), 얼굴부품 분류표 기억부(1042), 얼굴부품 기준위치 기억부(1043)로 구성되는 초상화 조건 입력장치(301)와 통신부(310), 묘사 룰 기억부(106), 개인 특징정보 기억부(1041), 묘사 룰 판독부(107), 초상화 합성부(108), 화상 출력부(109)로 구성되는 초상화 묘사장치(302)로 분리한 구성으로 하고, 얼굴 특징 추출부(103)가 결정한 개인 특징정보와 표현형태 입력부(105)로부터 출력된 사용자 지정의 표현형태를 초상화 조건 입력장치(301)가 통신부(309)를 통하여 초상화 묘사장치(302)에 송신하며, 초상화 묘사장치(302)가 송신된 개인 특징정보와 표현형태에 의거하여 초상화 화상을 합성하고, 합성한 초상화 화상을 초상화 조건 입력장치에 송신하는 것으로 해도 된다.
도 15는 초상화 조건 입력장치(301)가 행하는 초상화 작성조건 송신처리의 동작을 나타내는 플로차트이다. 도 15의 스텝 S 1501 ~ 스텝 S 1504의 처리는 도 7의 스텝 S 701 ~ 스텝 S 704의 처리와 동일하다. 스텝 S 1504의 처리 후, 통신부(309)는 스텝 S 1504 의 처리에 의해 결정한 분류, 배치 변경량과 표현형태 입력부(105)로부터 출력된 사용자 지정의 표현형태를 초상화 묘사장치(302)에 송신한다(스텝 S 1505).
도 16은 초상화 조건 입력장치(301)가 행하는 개인 특징정보 결정처리의 동작을 나타내는 플로차트이다.
도 16의 스텝 S 1601 ~ 스텝 S 1604의 처리는 도 8의 스텝 S 801 ~ 스텝 S 804와 동일하다.
도 17은 초상화 묘사장치(302)가 행하는 초상화 묘사처리의 동작을 나타내는 플로차트이다. 도 17의 스텝 S 1704 ~ 스텝 S 1706의 처리는 도 9의 스텝 S 902 ~ 스텝 S 904의 처리와 동일하다.
스텝 S 1701에서 통신부(310)는, 결정된 개인 특징정보와 사용자 지정의 표현형태를 초상화 조건 입력장치(301)로부터 수신하고, 수신한 개인 특징정보를 얼굴 특징 기억부(104)에 기록한다(스텝 S 1702).
이어서, 초상화 묘사장치(302)는, 묘사 룰 판독부(107)를 통하여 수신한 표현형태에 대응하는 묘사 룰을 묘사 룰 기억부(106)로부터 판독하고(스텝 S 1703), 그 후, 스텝 S 1704 ~ 스텝 S 1706의 처리를 행한다.
초상화 묘사장치(302)는, 초상화 합성부(108)를 통하여 각 초상화용 얼굴부품에 대하여 선택한 화상 데이터와 결정한 중심좌표에 의거하여, 각 초상화용 얼굴부품을 결정한 중심좌표에 배치한 초상화 화상을 합성하여, 합성한 초상화 화상을 초상화 조건 입력장치(301)에 송신하고(스텝 S 1707), 초상화 조건 입력장치(301)로부터 표현형태의 재입력이 있었는가 여부를 판정하여(스텝 S 1708), 재입력이 있었던 경우에는(스텝 S 1708 : Y) 스텝 S 1703의 처리로 이행한다.
(2) (1)에서 초상화 조건 입력장치(301)에 표현형태 입력부(105)를 설치하는 대신에 표현형태 선택부(205)를 설치하고, 표현형태의 출력을 표현형태 입력부(105) 대신에 표현형태 선택부(205)가 행하는 것으로 해도 된다.
(3) 얼굴 화상 작성장치를 복수의 장치로 분리한 구성은 (1)에서 나타낸 구성 이외의 다른 구성이어도 된다. 예를 들어, 묘사 룰 기억부(106)와 묘사 룰 판독 부(107)를 하나의 장치로 하고, 화상 입력부(101), 물리적 특징 추출부(102), 얼굴 특징 추출부(103), 얼굴 특징 기억부(104), 표현형태 입력부(105), 초상화 합성부(108), 화상 출력부(109)를 다른 하나의 장치로 하여 구성하여, (1)과 마찬가지로 통신부를 통하여 데이터의 송수신을 행하는 것으로 해도 된다.
또, 화상 입력부(101), 물리적 특징 추출부(102), 얼굴 특징 추출부(103)를 하나의 장치로 하여 구성하고, 얼굴 특징 기억부(104), 표현형태 입력부(105), 묘사 룰 기억부(106), 묘사 룰 판독부(107), 초상화 합성부(108), 화상 출력부(109)를 하나의 장치로 하여 구성하여, (1)과 마찬가지로 통신부를 통하여 데이터의 송수신을 행하는 것으로 해도 된다.
또, 화상 입력부(101), 물리적 특징 추출부(102), 얼굴 특징 추출부(103)를 포함하는 장치와, 표현형태 선택부(205)를 포함하는 장치와 묘사 룰 기억부(106), 얼굴 특징 기억부(104), 묘사 룰 판독부(107), 초상화 합성부(108), 화상 출력부(109)를 포함하는 장치를 각각 다른 구성으로 하여, (1)과 마찬가지로 각 장치 사이에서 통신부를 통하여 데이터의 송수신을 행하는 것으로 해도 된다.
(4) 또, 제 2 실시 예에서는, 표현형태 선택부(205)는 최초에 입력된 얼굴 화상으로부터 추출된 물리적 특징량을 차분 산출대상의 물리적 특징량으로 하고, 당해 물리적 특징량과 그 후에 입력된 각 얼굴 화상으로부터 추출된 물리적 특징량과의 차분을 산출하는 것으로 하였으나, 최초 이외의 입력 얼굴 화상으로부터 추출된 물리적 특징량을 차분 산출대상의 물리적 특징량으로 하여 다른 입력얼굴 화상으로부터 추출된 물리적 특징량과의 차분을 산출하는 것으로 하고, 산출한 차를 미 리 보유하고 있는 각 임계값과 비교함으로써 표현형태를 선택하는 처리를 행하며, 또, 차분 산출대상의 물리적 특징량에 대하여, 도 11의 스텝 S 1104에 나타내는 개인얼굴 특징정보 결정처리를 행하는 것으로 해도 된다.
본 발명은 입력된 얼굴 화상에 의거하여 당해 얼굴 화상에 의거한 새로운 얼굴 화상을 작성하는 기술로 이용할 수 있다.
Claims (7)
- 제 1 얼굴 화상 작성용 얼굴부품(face part)을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치로,제 2 얼굴 화상의 입력을 수신하는 수신수단과,입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하고, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출수단과,참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과,제 1 얼굴 화상 작성용의 각 얼굴부품의 제 1 얼굴 화상에서의 디폴트 위치(default position)를 기억하는 디폴트 위치 기억수단과,산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와, 특정의 얼굴부품의 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여, 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정수단을 구비하는 것을 특징으로 하는 얼굴 화상 작성장치.
- 제 1 항에 있어서,상기 배치결정수단은,각 얼굴부품에 대하여 산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와, 당해 얼굴부품에 대한 참조위치와의 사이의 수평방향의 거리를 수평방향의 변경 파라미터로 결정하고, 각 얼굴부품 중 어느 하나와, 그 이외의 각 얼굴부품의 세트에 대한 상기 위치 사이의 수직방향의 거리의, 당해 세트에 대한 참조위치 사이의 수직방향의 거리에 대한 비를 수직방향의 변경 파라미터로 결정하는 변경 파라미터 결정수단과,각 얼굴부품의 디폴트 위치를, 당해 얼굴부품에 대하여 결정된 수평방향의 파라미터에, 각 얼굴부품의 참조위치에 의거하여 특정되는 외접 직사각형의 폭에 대한 각 얼굴부품의 디폴트 위치에 의거하여 특정되는 외접 직사각형의 폭의 비를 곱한 값에 상당하는 거리만큼 수평방향으로,상기 각 세트에서의 디폴트 위치 사이의 수직방향의 거리가, 당해 세트에 대하여 결정된 수직방향의 변경 파라미터를 곱한 값에 상당하는 거리로 변경되도록, 각 얼굴부품의 디폴트 위치를 수직방향으로 각각 이동한 위치를 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치로 결정하는 디폴트 위치 변경수단을 갖는 것을 특징으로 하는 얼굴 화상 작성장치.
- 제 1 항 또는 제 2 항에 있어서,상기 디폴트 위치 기억수단은 복수의 표현형태의 제 1 화상 작성용의 각 얼굴부품과 그 디폴트 위치를 기억하고,상기 수신수단은 표정이 다른 대상자의 얼굴 화상의 입력을 복수 회 수신하 며,상기 화상 작성장치는,입력된 상기 각 얼굴 화상으로부터 각 얼굴 화상을 구성하는 얼굴부품의 물리적 특징량을 추출하는 추출수단과,수신한 얼굴 화상 내의 하나를 제 2 얼굴 화상으로 하고, 제 2 얼굴 화상을 구성하는 얼굴부품의 물리적 특징량과 제 2 얼굴 화상 이외의 수신한 각 얼굴 화상을 구성하는 얼굴부품의 물리적 특징량의 비교결과에 의거하여 제 1 얼굴 화상 작성용의 얼굴부품의 표현형태를 특정하는 표현형태 특정수단을 구비하며,상기 배치결정수단은 특정된 표현형태의 제 1 화상 작성용의 각 얼굴부품에 대하여 배치하는 위치를 결정하는 것을 특징으로 하는 얼굴 화상 작성장치.
- 제 2 항 또는 제 3 항에 있어서,상기 얼굴 화상 작성장치는 얼굴 화상 입력장치와 얼굴 화상 묘사장치(face image plot device)로 구성되고,상기 얼굴 화상 입력장치는,상기 수신수단과,상기 위치산출수단과,상기 참조위치 기억수단과,상기 변경 파라미터 결정수단과,결정한 수평방향 및 수직방향의 변경 파라미터를 상기 얼굴 화상 묘사장치에 송신하는 송신수단과,상기 얼굴 화상 묘사장치로부터 송신된 제 1 얼굴 화상을 수신하는 수신수단을 가지며,상기 얼굴 화상 묘사장치는,결정된 수평방향 및 수직방향의 변경 파라미터를 수신하는 수신수단과,상기 디폴트 위치 기억수단과,상기 디폴트 위치 변경수단과,상기 디폴트 위치 변경수단에 의해서 결정된 위치에 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성수단과,작성한 제 1 얼굴 화상을 상기 얼굴 화상 입력장치에 송신하는 송신수단을 갖는 것을 특징으로 하는 얼굴 화상 작성장치.
- 제 1 얼굴 화상 작성용의 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치에 사용하는 얼굴 화상 작성방법으로,상기 얼굴 화상 작성장치는,참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과,제 1 얼굴 화상 작성용의 각 얼굴부품과 그 제 1 얼굴 화상에서의 디폴트 위치를 기억하는 디폴트 위치 기억수단을 구비하고,상기 얼굴 화상 작성방법은,제 2 얼굴 화상의 입력을 수신하는 수신스텝과,입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하고, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출스텝과,산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와, 특정 얼굴부품의 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여, 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정스텝을 포함하는 것을 특징으로 하는 얼굴 화상 작성방법.
- 제 1 얼굴 화상 작성용의 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치에 얼굴 화상 작성처리를 실행시키는 프로그램으로,상기 얼굴 화상 작성장치는,참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과,제 1 얼굴 화상 작성용의 각 얼굴부품과 그 제 1 얼굴 화상에서의 디폴트 위치를 기억하는 디폴트 위치 기억수단을 구비하고,상기 얼굴 화상 작성처리는,제 2 얼굴 화상의 입력을 수신하는 수신스텝과,입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하고, 제 2 얼굴 화상에서의 각 얼굴부품의 위치를 산출하는 위치산출스텝과,산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와, 특정의 얼굴부품의 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여, 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정스텝을 포함하는 것을 특징으로 하는 프로그램.
- 제 1 얼굴 화상 작성용의 얼굴부품을 제 2 얼굴 화상에서의 각 얼굴부품의 위치에 의거한 위치에 배치한 제 1 얼굴 화상을 작성하는 얼굴 화상 작성장치에 얼굴 화상 작성처리를 실행시키는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체로,상기 얼굴 화상 작성장치는,참조얼굴 화상에서의 각 얼굴부품의 참조위치를 기억하고 있는 참조위치 기억수단과,제 1 얼굴 화상 작성용의 각 얼굴부품과 그 제 1 얼굴 화상에서의 디폴트 위치를 기억하는 디폴트 위치 기억수단을 구비하고,상기 얼굴 화상 작성처리는,제 2 얼굴 화상의 입력을 수신하는 수신스텝과,입력된 제 2 얼굴 화상으로부터 각 얼굴부품을 추출하고, 제 2 얼굴 화상에 서의 각 얼굴부품의 위치를 산출하는 위치산출스텝과,산출된 제 2 얼굴 화상에서의 각 얼굴부품의 위치와 참조얼굴 화상에서의 각 얼굴부품의 위치의 비교결과와, 특정의 얼굴부품의 세트에 대한 디폴트 위치 사이의 거리와 참조위치 사이의 거리의 비교결과에 의거하여, 제 1 얼굴 화상 작성용의 각 얼굴부품을 배치하는 위치를 결정하는 배치결정스텝을 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2004-00120134 | 2004-04-15 | ||
| JP2004120134 | 2004-04-15 | ||
| PCT/JP2005/007301 WO2005101318A1 (ja) | 2004-04-15 | 2005-04-15 | 顔画像作成装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060132040A true KR20060132040A (ko) | 2006-12-20 |
| KR101150097B1 KR101150097B1 (ko) | 2012-06-01 |
Family
ID=35150203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020067023336A KR101150097B1 (ko) | 2004-04-15 | 2006-11-07 | 얼굴 화상 작성장치 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7653220B2 (ko) |
| EP (1) | EP1748390A4 (ko) |
| JP (1) | JP4590401B2 (ko) |
| KR (1) | KR101150097B1 (ko) |
| CN (1) | CN100565588C (ko) |
| WO (1) | WO2005101318A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220108598A (ko) * | 2021-01-27 | 2022-08-03 | 주식회사 써머캣 | 딥러닝 알고리즘을 활용하여 추출한 얼굴 특징점을 이용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템 |
| KR20220108597A (ko) * | 2021-01-27 | 2022-08-03 | 주식회사 써머캣 | 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4459788B2 (ja) * | 2004-11-16 | 2010-04-28 | パナソニック株式会社 | 顔特徴照合装置、顔特徴照合方法、及びプログラム |
| KR100678209B1 (ko) * | 2005-07-08 | 2007-02-02 | 삼성전자주식회사 | 휴대단말기의 이미지 제어방법 |
| JP4986279B2 (ja) * | 2006-09-08 | 2012-07-25 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| JP5140257B2 (ja) * | 2006-09-12 | 2013-02-06 | 株式会社ユニバーサルエンターテインメント | サンド装置、入金残高精算機、管理サーバ及び遊技システム |
| JP5140256B2 (ja) * | 2006-09-12 | 2013-02-06 | 株式会社ユニバーサルエンターテインメント | サンド装置、入金残高精算機及び遊技システム |
| US20100111375A1 (en) * | 2008-10-31 | 2010-05-06 | Michael Jeffrey Jones | Method for Determining Atributes of Faces in Images |
| US9569699B2 (en) * | 2010-09-03 | 2017-02-14 | Shenzhen Sensetime Technology Co., Ltd. | System and method for synthesizing portrait sketch from a photo |
| KR101385599B1 (ko) * | 2012-09-26 | 2014-04-16 | 한국과학기술연구원 | 몽타주 추론 방법 및 장치 |
| KR102013928B1 (ko) * | 2012-12-28 | 2019-08-23 | 삼성전자주식회사 | 영상 변형 장치 및 그 방법 |
| US9639742B2 (en) * | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
| US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
| NL2012827B1 (en) * | 2014-05-16 | 2016-03-02 | Real Smile B V | Method of providing an insert image for in-line use in a text message. |
| CN108717719A (zh) * | 2018-05-23 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 卡通人脸图像的生成方法、装置及计算机存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW359781B (en) * | 1993-05-25 | 1999-06-01 | Casio Computer Co Ltd | Animal image display controlling devices and method thereof |
| US5870138A (en) * | 1995-03-31 | 1999-02-09 | Hitachi, Ltd. | Facial image processing |
| EP0735510B1 (en) | 1995-03-31 | 2001-11-28 | Hitachi Europe Limited | Facial image processing |
| JPH08305878A (ja) | 1995-05-09 | 1996-11-22 | Casio Comput Co Ltd | 顔画像作成装置 |
| JP3800652B2 (ja) | 1995-12-01 | 2006-07-26 | カシオ計算機株式会社 | 顔画像作成装置、画像生成装置及び顔画像修正方法 |
| US6661906B1 (en) * | 1996-12-19 | 2003-12-09 | Omron Corporation | Image creating apparatus |
| JPH10240919A (ja) | 1996-12-25 | 1998-09-11 | Omron Corp | 画像作成装置、画像作成方法及び画像作成プログラム記憶媒体 |
| US5960099A (en) * | 1997-02-25 | 1999-09-28 | Hayes, Jr.; Carl Douglas | System and method for creating a digitized likeness of persons |
| CA2312315A1 (en) * | 1997-12-01 | 1999-06-10 | Arsev H. Eraslan | Three-dimensional face identification system |
| US6731302B1 (en) * | 1998-04-29 | 2004-05-04 | Iq Biometrix, Inc. | Method and apparatus for creating facial images |
| JP2003271982A (ja) | 2002-03-19 | 2003-09-26 | Victor Co Of Japan Ltd | 似顔絵生成装置 |
| GB2389289B (en) * | 2002-04-30 | 2005-09-14 | Canon Kk | Method and apparatus for generating models of individuals |
-
2005
- 2005-04-15 US US10/594,297 patent/US7653220B2/en not_active Expired - Fee Related
- 2005-04-15 EP EP05730552.6A patent/EP1748390A4/en not_active Withdrawn
- 2005-04-15 WO PCT/JP2005/007301 patent/WO2005101318A1/ja active Application Filing
- 2005-04-15 CN CNB2005800111094A patent/CN100565588C/zh not_active Expired - Fee Related
- 2005-04-15 JP JP2006512387A patent/JP4590401B2/ja not_active Expired - Fee Related
-
2006
- 2006-11-07 KR KR1020067023336A patent/KR101150097B1/ko not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220108598A (ko) * | 2021-01-27 | 2022-08-03 | 주식회사 써머캣 | 딥러닝 알고리즘을 활용하여 추출한 얼굴 특징점을 이용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템 |
| KR20220108597A (ko) * | 2021-01-27 | 2022-08-03 | 주식회사 써머캣 | 딥러닝 알고리즘을 활용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7653220B2 (en) | 2010-01-26 |
| EP1748390A4 (en) | 2014-01-01 |
| EP1748390A1 (en) | 2007-01-31 |
| JPWO2005101318A1 (ja) | 2008-03-06 |
| CN100565588C (zh) | 2009-12-02 |
| JP4590401B2 (ja) | 2010-12-01 |
| US20070223827A1 (en) | 2007-09-27 |
| KR101150097B1 (ko) | 2012-06-01 |
| WO2005101318A1 (ja) | 2005-10-27 |
| CN1942899A (zh) | 2007-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101150097B1 (ko) | 얼굴 화상 작성장치 및 방법 | |
| US11334971B2 (en) | Digital image completion by learning generation and patch matching jointly | |
| US10346951B2 (en) | Image cropping suggestion using multiple saliency maps | |
| US8150205B2 (en) | Image processing apparatus, image processing method, program, and data configuration | |
| JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| US7764828B2 (en) | Method, apparatus, and computer program for processing image | |
| JP4359784B2 (ja) | 顔画像合成方法および顔画像合成装置 | |
| JP4683200B2 (ja) | 髪領域の自動抽出方法 | |
| US20170312634A1 (en) | System and method for personalized avatar generation, especially for computer games | |
| US9454712B2 (en) | Saliency map computation | |
| US20070013718A1 (en) | Image processor, image processing method, recording medium, computer program and semiconductor device | |
| JP4682373B2 (ja) | 顔画像合成装置、顔画像合成方法および顔画像合成プログラム | |
| JP2002175538A (ja) | 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 | |
| US20090232400A1 (en) | Image evaluation apparatus, method, and program | |
| KR102325829B1 (ko) | 안면착용 제품 추천 방법 및 그 장치 | |
| JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| KR20190057516A (ko) | 증강현실을 이용한 인공지능형 토탈패션 스타일링 시스템 | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| CN111444979A (zh) | 一种整容方案推荐方法、云端设备及存储介质 | |
| JP2003030684A (ja) | 顔３次元コンピュータグラフィック生成方法及び装置及び顔３次元コンピュータグラフィック生成プログラム及び顔３次元コンピュータグラフィック生成プログラムを格納した記憶媒体 | |
| JP3023903B2 (ja) | 画像生成方法および画像生成装置 | |
| CN115393923A (zh) | 图像处理方法、训练方法、模型驱动方法及装置、介质 | |
| CN112532866A (zh) | 信息处理装置以及记录媒体 | |
| CN114792356A (zh) | 脸部图像的处理方法、装置和系统 | |
| JP2021069602A (ja) | デザイン方法、眉デザインサーバ及びデザイン支援プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150417 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160418 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180418 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |