KR101418878B1 - 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법 - Google Patents
얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR101418878B1 KR101418878B1 KR1020130044000A KR20130044000A KR101418878B1 KR 101418878 B1 KR101418878 B1 KR 101418878B1 KR 1020130044000 A KR1020130044000 A KR 1020130044000A KR 20130044000 A KR20130044000 A KR 20130044000A KR 101418878 B1 KR101418878 B1 KR 101418878B1
- Authority
- KR
- South Korea
- Prior art keywords
- montage
- face
- witness
- facial
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법에 관한 것으로서, 몽타주DB(10)에 기 저장되어 각기 속성 값을 갖는 얼굴표본 영상들을 표시하되, 목격자가 표시된 얼굴표본 영상들 중에 용의자와 유사한 얼굴표본 영상을 선택하는 얼굴형 선택부(100); 얼굴형 선택부(100)에 의해 선택된 얼굴표본 영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 1차 몽타주(F1)를 생성하는 얼굴형 합성부(200); 얼굴형 합성부(200)에 의해 생성된 1차 몽타주(F1)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB(10)로부터 색인하고, 색인된 얼굴표본 영상과 1차 몽타주(F1)를 합성하여 1차 몽타주F1과 유사한 속성 값을 갖는 다수의 주변 얼굴영상을 생성하는 얼굴형 조정부(300); 및 얼굴형 조정부(300)에 의해 생성된 주변 얼굴영상들 중, 목격자의 조작을 통해 선택된 복수개의 주변 얼굴영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 2차 몽타주(F2)를 생성하는 얼굴형 선정부(400);를 포함한다.
상기와 같은 본 발명에 따르면, 계층적 속성 통계에 따른 얼굴 특성을 이용하여 용의자의 얼굴에 대한 후보군을 제시하고, 목격자가 이를 선택하여 몽타주를 작성함으로써, 목격자의 진술이 충분하지 않거나 말로써 자신의 기억을 쉽게 표현하지 못하는 경우에도 효과적으로 몽타주를 생성하는 효과가 있다.
상기와 같은 본 발명에 따르면, 계층적 속성 통계에 따른 얼굴 특성을 이용하여 용의자의 얼굴에 대한 후보군을 제시하고, 목격자가 이를 선택하여 몽타주를 작성함으로써, 목격자의 진술이 충분하지 않거나 말로써 자신의 기억을 쉽게 표현하지 못하는 경우에도 효과적으로 몽타주를 생성하는 효과가 있다.
Description
본 발명은 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법에 관한 것으로 더욱 상세하게는, 계층적 속성 통계에 따른 얼굴 특성을 이용하여 용의자의 얼굴에 대한 후보군을 제시하고, 목격자가 이를 선택하여 몽타주를 작성하는 기술에 관한 것이다.
본 연구는 지식경제부 산업융합원천기술개발사업의 연구비 지원으로 수행되었으며, 지식경제부 및 한국산업기술평가관리원 관계자분들께 깊은 감사드립니다[과제관리번호: 10040018, 과제명: 3D 몽타주 생성 및 연령별 얼굴 변환 예측 시스템 개발].
1980년대 이후 컴퓨터를 이용한 몽타주 시스템이 소개되었다. FACE(호주), Mac-a-Mub Pro(미국), E-Fit(영국) 등 "제 2세대 합성 시스템"이라 불리는 이들 시스템은 데이터베이스와 2D 컴퓨터 그래픽스 기술을 활용한다. 얼굴의 각 부위별 속성을 데이터베이스로 구축하고, 목격자가 얼굴의 각 부위별로 목격한 얼굴과 유사한 얼굴 부위의 특징을 선택하면, 이를 미리 선택해 둔 얼굴에 합성하는 방법을 바탕으로 하고 있다.
국내에서 개발되어 현재 경찰청에서 사용 중인 몽타주 시스템 역시 이러한 방법을 적용하여 몽타주를 작성한다. 국내의 몽타주 시스템은 몽타주의 합성, 수정, 변형이 용이하며 한국인의 얼굴형을 기반으로 구축된 데이터베이스를 사용하여 보다 사실적인 몽타주를 작성할 수 있으며, 이와 관련하여 2006년도 한국정보과학회 가을 학술발표 논문집 Vol.33, No.2(B)에 게재된 논문(몽타주와 얼굴사진의 유사도 산출)에는 몽타주와 데이터베이스에 저장된 얼굴사진과의 유사도에 따라 순위를 정해 용의자를 압축하는 기술이 게시되어 있다.
이러한, 몽타주의 작성은 목격자의 기억에 의존하여 이루어지기 때문에 몽타주 작성 프로그램은 목격자의 진술을 충분히 이끌어내고 기억의 오류와 왜곡을 줄일 수 있어야 한다.
그러나, 선행문헌의 경우, 완성된 몽타주를 다수의 용의자들과 비교하여 유사도 순위에 따라 용의자 추정을 용이하게 하는데 그치고 있다.
이러한, 몽타주 작성에 있어서 가장 중요한 것은 목격자의 기억이다. 그러나 대부분의 경우 목격자가 용의자 얼굴의 세부 특징은 자세히 기억하지 못한다. 또한, 시간이 흐를수록 기억이 흐려지거나 오염되나 현재의 몽타주 시스템은 이러한 상황에 효과적으로 대처하지 못하고 있다.
먼저 목격자가 용의자와 유사한 얼굴의 각 부위를 선택하는데 많은 시간이 소요된다. 다양한 얼굴을 표현하기 위해 몽타주 시스템이 보유한 대량의 부위 이미지 전체에서 필요한 부분을 선택하여야 한다. 다음으로 얼굴 부위별 선택을 중심으로 하고 있어 목격자에게 얼굴과 얼굴 속성을 따로 떼어놓고 선택하도록 한다는 약점이 있다.
이는 전체 얼굴의 맥락 밖에서 얼굴의 속성을 인식하는 능력이 떨어지기 때문이다. 따라서, 얼굴의 부위만 별도로 보인 상태에서는 합성의 결과를 예측하기 어렵고, 여러 번의 시도가 필요하며 목격자가 의도한 합성 결과를 얻기 위한 선택과 합성에 많은 시간이 소요된다.
이러한, 현재 시스템의 단점을 극복하기 위해 최근에는 얼굴 부위만이 아닌 여러 가지 얼굴을 제시한 후 목격자의 선택에 따라 이미지를 진화시켜가며 몽타주를 작성하는 방법이 제안되었다(Charlie D. Frowd, Vicki Bruce, Alex H. McIntyre, David Ross, Stephen Fields, Yvonne Plenderleith, and Peter J.B. Hancock, "Implementing Holistic Dimensions for a Facial Composite System", JOURNAL OF MULTIMEDIA, VOL. 1, NO. 3, JUNE 2006, pp.42 ~ 51).
그러나, 전술한 선행문헌 역시, 몽타주 작성 과정에서 목격자의 진술을 상세히 반영하고 진화의 방향을 제어하는 것이 용이하지 않다는 한계가 있다.
따라서, 부정확한 목격자의 기억을 보완하고 목격자의 진술에 유연하게 대처하여 몽타주 작성에 소요되는 시간을 효과적으로 줄일 수 있는 몽타주 작성 방법이 요구된다.
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 계층적 속성 통계에 따른 얼굴 특징을 이용하여 용의자의 얼굴에 대한 후보군을 제시하고, 목격자가 이를 선택하여 몽타주를 작성함으로써, 목격자의 진술이 충분하지 않거나 말로써 자신의 기억을 쉽게 표현하지 못하는 경우에도 효과적으로 몽타주를 생성하는데 그 목적이 있다.
또한, 본 발명은 목격자가 얼굴형과 얼굴의 각 부위를 각각 별도로 선택하도록 하는 것이 아니라, 얼굴형에 어울리는 각 부위를 합성하여 제시하고, 용의자와 유사하다고 선택한 얼굴들을 이용하여 몽타주를 생성하도록 하는데 그 목적이 있다.
그리고, 본 발명은 몽타주에서 수정하고자 하는 부위의 합성 결과를 5단계로 제시하여 목격자가 선택하도록 함으로써, 수정을 위한 선택 횟수를 줄여 몽타주 작성 시간을 현저히 단축시키는데 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템은, 몽타주DB(10)에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들을 표시하되, 목격자가 표시된 얼굴표본 영상들 중에 용의자와 유사한 얼굴표본 영상을 선택하는 얼굴형 선택부(100); 얼굴형 선택부(100)에 의해 선택된 얼굴표본 영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 1차 몽타주(F1)를 생성하는 얼굴형 합성부(200); 얼굴형 합성부(200)에 의해 생성된 1차 몽타주(F1)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB(10)로부터 색인하고, 색인된 얼굴표본 영상과 1차 몽타주(F1)를 합성하여 1차 몽타주(F1)과 유사한 속성 값을 갖는 다수의 주변 얼굴영상을 생성하는 얼굴형 조정부(300); 및 얼굴형 조정부(300)에 의해 생성된 주변 얼굴영상들 중, 목격자의 조작을 통해 선택된 복수개의 주변 얼굴영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 2차 몽타주(F2)를 생성하는 얼굴형 선정부(400);를 포함한다.
그리고, 전술한 바와 같은 시스템을 기반으로 하는 얼굴특징을 이용한 몽타주 작성 방법은, 얼굴형 선택부가 몽타주DB에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들을 표시하되, 목격자의 진술과 유사하거나 확률이 높은 얼굴표본 영상들을 선택하는 (a) 단계; 얼굴형 합성부가 선택된 얼굴표본 영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 1차 몽타주(F1)를 생성하는 (b) 단계; 얼굴형 조정부가 1차 몽타주(F1)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB로부터 색인하고, 색인된 얼굴표본 영상과 1차 몽타주(F1)를 합성하여 주변 얼굴영상을 생성하는 (c) 단계; 및 얼굴형 선정부가 주변 얼굴영상들 중, 목격자의 조작을 통해 선택된 복수개의 주변 얼굴영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 2차 몽타주(F2)를 생성하는 (d) 단계;를 포함한다.
상기와 같은 본 발명에 따르면, 계층적 속성 통계에 따른 얼굴 특징을 이용하여 용의자의 얼굴에 대한 후보군을 제시하고, 목격자가 이를 선택하여 몽타주를 작성함으로써, 목격자의 진술이 충분하지 않거나 말로써 자신의 기억을 쉽게 표현하지 못하는 경우에도 효과적으로 몽타주를 생성하는 효과가 있다.
그리고, 본 발명에 따르면, 몽타주에서 수정하고자 하는 부위의 합성 결과를 5단계로 제시하여 목격자가 선택하도록 함으로써, 수정을 위한 선택 횟수를 줄여 몽타주 작성 시간을 현저히 단축시키는 효과가 있다.
도 1은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템을 도시한 구성도.
도 2는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 몽타주DB에 저장된 얼굴형 통계결과 값을 도식화한 도면.
도 3은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 세부구성을 도시한 구성도.
도 4는 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 몽타주DB에 저장된 얼굴표본 영상을 속성과 속성 값을 얼굴 공간으로 도식화한 도면.
도 5는 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자의 진술이 없는 경우, 얼굴속성 통계에 따라 목격자에게 제시되는 얼굴표본 영상을 도시한 예시도.
도 6은 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자의 진술이 있는 경우, 목격자에게 제시되는 얼굴표본 영상을 도시한 예시도.
도 7은 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자에 의해 선택된 얼굴표본 영상을 속성과 속성 값을 얼굴 공간으로 도식화한 도면.
도 8은 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자에 의해 선택된 얼굴표본 영상과, 얼굴표본 영상을 합성한 얼굴형을 중심으로 얼굴 부위 속성과 속성 값을 얼굴 공간으로 도식화한 도면.
도 9는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 몽타주 작성 대상을 가정한 예시도.
도 10은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 목격자가 선택할 얼굴표본 영상과 이들을 합성하여 생성한 1차 몽타주(F1)를 도시한 도면.
도 11은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 1차 몽타주(F1) 생성을 위한 반복수행 과정을 도시한 예시도.
도 12는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 1차 몽타주(F1)와 유사한 속성 값을 갖는 얼굴표본 영상들을 선택하여 F1과 합성한 얼굴들을 도시한 예시도.
도 13은 도 4의 전체 얼굴 공간에서 목격자가 선택할 얼굴 공간 중심으로 범위가 축소된 것을 도시한 도면.
도 14는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 2차 몽타주(F2)에 포함된 눈 부위의 크기와 길이를 수정한 것을 도시한 예시도.
도 15는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템에 의해 생성된 1차 몽타주(F1), 2차 몽타주(F2) 및 3차 몽타주(F3)를 도시한 예시도
도 16은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템에 의해 작성된 몽타주에 대한 유사도 평가 결과를 도시한 예시도.
도 17은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템에 의해 작성된 몽타주와 원본 영상을 도시한 예시도.
도 18은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 유사도 평가 결과의 분포를 도시한 도면.
도 19는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 방법을 도시한 순서도.
도 20은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 방법의 제S40단계 이후과정을 도시한 순서도.
도 2는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 몽타주DB에 저장된 얼굴형 통계결과 값을 도식화한 도면.
도 3은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 세부구성을 도시한 구성도.
도 4는 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 몽타주DB에 저장된 얼굴표본 영상을 속성과 속성 값을 얼굴 공간으로 도식화한 도면.
도 5는 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자의 진술이 없는 경우, 얼굴속성 통계에 따라 목격자에게 제시되는 얼굴표본 영상을 도시한 예시도.
도 6은 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자의 진술이 있는 경우, 목격자에게 제시되는 얼굴표본 영상을 도시한 예시도.
도 7은 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자에 의해 선택된 얼굴표본 영상을 속성과 속성 값을 얼굴 공간으로 도식화한 도면.
도 8은 본 발명의 얼굴특징을 이용한 몽타주 작성 시스템에 따라 목격자에 의해 선택된 얼굴표본 영상과, 얼굴표본 영상을 합성한 얼굴형을 중심으로 얼굴 부위 속성과 속성 값을 얼굴 공간으로 도식화한 도면.
도 9는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 몽타주 작성 대상을 가정한 예시도.
도 10은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 목격자가 선택할 얼굴표본 영상과 이들을 합성하여 생성한 1차 몽타주(F1)를 도시한 도면.
도 11은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 1차 몽타주(F1) 생성을 위한 반복수행 과정을 도시한 예시도.
도 12는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 1차 몽타주(F1)와 유사한 속성 값을 갖는 얼굴표본 영상들을 선택하여 F1과 합성한 얼굴들을 도시한 예시도.
도 13은 도 4의 전체 얼굴 공간에서 목격자가 선택할 얼굴 공간 중심으로 범위가 축소된 것을 도시한 도면.
도 14는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 2차 몽타주(F2)에 포함된 눈 부위의 크기와 길이를 수정한 것을 도시한 예시도.
도 15는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템에 의해 생성된 1차 몽타주(F1), 2차 몽타주(F2) 및 3차 몽타주(F3)를 도시한 예시도
도 16은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템에 의해 작성된 몽타주에 대한 유사도 평가 결과를 도시한 예시도.
도 17은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템에 의해 작성된 몽타주와 원본 영상을 도시한 예시도.
도 18은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템의 유사도 평가 결과의 분포를 도시한 도면.
도 19는 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 방법을 도시한 순서도.
도 20은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 방법의 제S40단계 이후과정을 도시한 순서도.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
도 1에 도시된 바와 같이 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템(S)은, 얼굴형 선택부(100), 얼굴형 합성부(200), 얼굴형 조정부(300), 얼굴형 선정부(400), 부위 선택부(500), 부위 합성부(600), 부위 조정부(700) 및 몽타주 결정부(800)를 포함하여 구성된다.
이하에서는 그 구체적인 언급을 생략하겠으나, 본 발명은 도 2에 도시된 바와 같이, 얼굴형 통계결과 값을 몽타주DB(10)가 기 저장하고 있으며, 얼굴형에 어울리는 각 부위를 얼굴 속성 통계에 의해 [표 1]에 도시된 바와 같이, 얼굴의 각 부위에 대한 특징을 속성별로 분류하고, [표 2]에 도시된 바와 같이, 1 내지 5의 속성 값을 가지도록 분류된 표본을 기반으로 한다.
[표 1]
[표 2]
이하, 도 3을 참조하여 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템(S)의 세부구성에 대해 살피면 아래와 같다.
먼저, 얼굴형 선택부(100) 는 목격자의 진술이 없는 경우, 몽타주DB(10)에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들을 표시하되, 목격자의 조작을 통해 표시된 얼굴표본 영상들 중에 용의자와 유사한 얼굴표본 영상의 선택을 입력받는다.
이때, 몽타주DB(10)에 기 저장된 얼굴표본 영상은, 얼굴 윤곽의 모양, 얼굴의 너비, 얼굴의 길이, 역삼각형인지 아닌지 및 두상의 돌출 정도 각각을 5개의 속성으로 얼굴의 모양을 분류한 영상이다.
또한, 목격자에 의해 선택된 얼굴표본 영상은 각각 5개의 속성과 5단계의 속성 값을 축으로 도식화하여 도 4에 도시된 바와 같은 얼굴 공간으로 생성되며, 얼굴 공간의 범위를 좁혀가며 용의자의 얼굴을 도출하게 된다.
한편, 도 5는 목격자의 진술이 없는 경우, 목격자에게 제시되는 얼굴표본 영상을 도시한 예시도이다.
도 5에 도시된 바와 같이, 목격자는 각 페이지당 25개(5속성*5단계)씩 제시되는 얼굴표본 영상들 중 용의자와 근접한 얼굴을 선택하게 되고, 얼굴 아래의 숫자는 각 얼굴의 속성 값을 의미한다. 이때, 도 5의 그래프는 각 속성의 속성 값 분포를 나타낸다.
예컨대, 몽타주DB(10)에 저장된 얼굴표본 영상은, 얼굴의 길이가 1단계인 얼굴 영상이 전체의 7%를 차지하며, 2단계, 3단계, 4단계, 5단계 각 12%, 30%, 34%, 18%의 분포를 보인다. 목격자에게 얼굴의 길이를 기준으로 샘플을 제시할 때 이 같은 분포를 반영하여 3단계, 4단계의 얼굴을 더 많이 보인다. 따라서, 목격자에게 가능성이 높은 얼굴표본 영상을 더 많이 제시하여 선택의 확률을 높일 수 있다.
또한, 얼굴형 선택부(100) 는 목격자의 진술이 있는 경우, 몽타주DB(10)에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들 중 목격자의 진술과 부합하는 얼굴표본 영상을 색인하여 표시하되, 목격자가 선택할 얼굴표본 영상을 분류한다.
예컨대, "둥근 얼굴", "넙적한 얼굴", "사각 얼굴" 등의 목격자 진술이 확보되는 경우, 도 6에 도시된 바와 같이 목격자 진술과 대응하는 얼굴표본 영상의 샘플을 제시하고, 목격자로부터 진술과 비슷한 얼굴을 선택하도록 한다. 이때, 목격자에게 제시되는 얼굴공간을 도식화하면 도 7과 같다.
또한, 얼굴형에 대한 진술에 더하여 얼굴 부위에 대한 진술이 더 확보된다면 얼굴 공간은 좀 더 좁혀질 것이다. 예를 들어, "둥근 얼굴, 크고 쌍꺼풀이 있는 눈"이라는 진술이 확보된다면, 도 8에 도시된 바와 같이 얼굴공간이 도식화될 수 있다.
한편, 얼굴형 합성부(200) 는 얼굴형 선택부(100)에 의해 선택된 얼굴표본 영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 1차 몽타주(F1)를 생성한다.
예컨대, 몽타주를 작성하고자 하는 대상 얼굴이 도 9와 같은 경우, 목격자가 선택한 얼굴표본 영상과 이들을 합성하여 생성된 1차 몽타주(F1)는 도 10과 같다. 이때, 도 10의 왼쪽에 도시된 표는 F1의 얼굴형 속성 값을 나타낸다.
이때, 얼굴형 선택부(100)의 얼굴표본 영상 분류와, 얼굴형 합성부(200)의 1차 몽타주 생성은, 1차 몽타주(F1)가 용의자와 가장 유사한 얼굴이 될 때까지 그 횟수에 제한됨 없이 반복 수행될 수 있으며, 이 반복 수행과정은 도 11에 도시된 바와 같다.
한편, 얼굴형 조정부(300) 는 얼굴형 합성부(200)에 의해 생성된 1차 몽타주(F1)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB(10)로부터 색인하고, 색인된 얼굴표본 영상과 1차 몽타주(F1)를 합성하여 도 12에 도시된 바와 같이 1차 몽타주(F1)와 유사한 속성 값을 갖는 다수의 주변 얼굴영상을 생성한다.
즉, 1차 몽타주(F1)와 닮은 다수의 주변 얼굴영상들을 표시하여 목격자가 재차 주변 얼굴영상을 선택하도록 구성된다. 또한, 도 13은 상기 도 4의 전체 얼굴 공간에서 목격자가 선택할 얼굴 공간 중심으로 범위가 축소된 것을 도시한 도면으로, 우측 얼굴 공간의 중심은 1차 몽타주(F1)를 의미한다.
이하에서는 그 구체적인 언급을 생략하겠으나, 유사한 속성 값을 갖는다는 것은, 기 설정된 속성 값의 범위에 따라 대상 영상의 속성 값과의 차이가 '1' 내지 '2' 이내 바람직하게는 '0.5'의 차이를 가지는 영상으로 이해될 수 있으며, 본 발명이 이에 국한되는 것은 아니다.
그리고, 얼굴형 선정부(400) 는 얼굴형 조정부(300)에 의해 생성된 주변 얼굴영상들 중, 목격자의 조작에 의해 선택된 복수개의 주변 얼굴영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 2차 몽타주(F2)를 생성한다.
또한, 부위 선택부(500) 는 얼굴형 선정부(400)에 의해 생성된 2차 몽타주(F2)에 포함된 각 부위(눈, 코, 입을 비롯한 각 부위)를 목격자의 진술에 따른 수정신호와 대응하도록 수정한다.
이때, 수정신호는, 목격자로부터 2차 몽타주(F2)와 용의자 얼굴과의 차이가 있는 부위를 수정하기 위한 신호로, 부위 선택부(500)는 입력받은 수정신호와 대응하도록 2차 몽타주(F2)에 포함된 부위를 수정한다.
예컨대, 입력받은 수정신호가 눈의 크기를 변경하는 신호인 경우, 부위 선택부(500)가 2차 몽타주(F2)에 포함된 눈 부위의 크기를 수정(확대, 축소 또는 길이조절)하며, 수정된 2차 몽타주(F2)는 도 14에 도시된 바와 같다. 즉, 도 14는 목격자가 진술하는 눈의 크기와 길이 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB(10)로부터 색인하여 2차 몽타주(F2)에 반영한 예이다.
한편, 목격자가 2차 몽타주(F2)와 용의자의 눈 부위에 대해 차이가 있다고는 하면서도 상세히 진술하지 못하는 경우, 부위 선택부(500) 가 몽타주DB(10)에 기 저장된 눈 속성 전체를 표시하고, 목격자가 선택한 부위 영상을 2차 몽타주(F2)에 반영한다. 눈 이외의 다른 부위들 역시도 눈의 예와 유사하게 반영한다.
또한, 부위 합성부(600) 는 부위 선택부(500)에 의해 수정된 2차 몽타주(F2)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 부위별 영상을 몽타주DB(10)로부터 색인하여 표시하고, 목격자의 조작에 의해 선택된 부위 영상을 3차 몽타주(F3)로 생성한다.
또한, 부위 조정부(700) 는 부위 합성부(600)에 의해 생성된 3차 몽타주(F3)가 용의자의 얼굴과 매우 유사하나 일부 다르다고 목격자가 진술하는 경우, 목격자의 조작에 의해 선택된 부위 영상을 입력받은 수정신호와 대응하도록 세밀하게 조정하여 3차 몽타주(F3)에 반영한다.
예를 들면, 눈의 크기가 조금 작거나 커 보인다고 하면 얼굴 형상 모델의 눈의 크기를 목격자의 진술에 부합하게 기하학적으로 조정한다. 비단 눈뿐만 아니라 기학적으로 조정가능한 부위들도 유사한 방법으로 조정한다.
그리고, 몽타주 결정부(800) 는 얼굴형 선택부(100), 얼굴형 합성부(200), 얼굴형 조정부(300), 얼굴형 선정부(400), 부위 선택부(500), 부위 합성부(600) 및 부위 조정부(700)의 기능을 반복 수행하여 생성한 다수의 몽타주(F1 내지 F3)들을 표시하고, 최종적으로 목격자의 조작에 의해 선택된 영상을 최종 몽타주로 선정한다.
한편, 도 15는 1차 몽타주(F1), 2차 몽타주(F2) 및 3차 몽타주(F3)를 도시한 예시도면으로, F1은 제시된 후보군 들 중 목격자가 선택한 얼굴을 평균 합성한 영상이고, F2는 F1과 닮은 얼굴이 제시된 후보군 들 중에서 목격자가 선택한 얼굴을 평균 합성한 영상이며, F3는 눈썹과 눈, 코, 입 등의 부위를 교체하여 완성된 몽타주이다.
이하, 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템(S)의 평가결과에 대해 살피면 아래와 같다.
먼저, 용의자 얼굴 사진을 보면서 몽타주를 작성하는 경우, 용의자의 인상에 접근하는 시스템의 능력을 평가하였다.
또한, 용의자 얼굴 사진을 충분히 보고나서 몽타주를 작성하는 경우, 목격자의 기억이 확실하여 충분한 진술이 확보되는 경우를 가정하여 평가하였다.
그리고, 용의자 얼굴 사진을 잠깐 보고나서 몽타주를 작성하는 경우, 목격자의 기억이 불분명하여 진술이 충분히 확보되지 못한 경우를 가정하여 평가하였다.
전술한 바와 같이 3가지 경우에 따라, 각기 작성된 몽타주에 대하여 원래의 얼굴 사진과의 유사도 평가를 통해 방법론을 검증하였고, 몽타주의 유사도는 상(매우 닮음), 중(닮음), 하(닮지 않음)로 나뉘며, 평가결과는 도 16에 도시된 바와 같다.
그리고, 도 17은 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 시스템(S)에 의해 작성된 몽타주와 원본 영상의 예를 도시한 도면이고, 도 18은 유사도 평가 결과의 분포를 도시한 도면이며, 두 개의 그룹에 대한 유사도 평가결과는 [표 3]과 같다.
[표 3]
이하, 도 19를 참조하여 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 방법에 대해 살피면 아래와 같다.
먼저, 얼굴형 선택부(100)가 몽타주DB(10)에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들을 표시하되, 목격자가 선택할 얼굴표본 영상을 분류한다(S10).
이어서, 얼굴형 합성부(200)가 분류된 얼굴표본 영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 1차 몽타주(F1)를 생성한다(S20).
뒤이어, 얼굴형 조정부(300)가 1차 몽타주(F1)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB(10)로부터 색인하고, 색인된 얼굴표본 영상과 1차 몽타주(F1)를 합성하여 주변 얼굴영상을 생성한다(S30).
그리고, 얼굴형 선정부(400)가 주변 얼굴영상들 중, 목격자의 조작에 의해 선택된 복수개의 주변 얼굴영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 2차 몽타주(F2)를 생성한다.
한편, 도 20을 참조하여 본 발명에 따른 얼굴특징을 이용한 몽타주 작성 방법의 제S40단계 이후과정을 살피면 아래와 같다.
제S40단계 이후, 부위 선택부(500)가 얼굴형 선정부(400)에 의해 생성된 2차 몽타주(F2)에서 목격자가 용의자 얼굴과 다르다고 진술한 부위를 입력받는다(S50).
이어서, 부위 합성부(600)가 2차 몽타주(F2)에 포함된 어느 하나의 부위 영상을 목격자의 조작을 통해 입력받은 수정신호와 대응하도록 수정 및 합성하여 3차 몽타주(F3)를 생성한다(S60).
그리고, 부위 조정부(700)가 3차 몽타주(F3)에서 목격자가 용의자 얼굴과 일부 상이하다고 진술한 부위를, 목격자로부터 입력받은 수정신호와 대응하도록 기하학적으로 세밀하게 조정한다(S70).
마지막으로, 몽타주 결정부(800)가 제S10 내지 제S70단계를 거쳐 생성한 다수의 몽타주(F1 내지 F3)들 중에서 목격자로부터 최종적으로 입력받은 영상을 최종 몽타주로 선정한다(S80).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S: 얼굴특징을 이용한 몽타주 작성 시스템
100: 얼굴형 선택부 200: 얼굴형 합성부
300: 얼굴형 조정부 400: 얼굴형 선정부
500: 부위 선택부 600: 부위 합성부
700: 부위 조정부 800: 몽타주 결정부
10: 몽타주DB
100: 얼굴형 선택부 200: 얼굴형 합성부
300: 얼굴형 조정부 400: 얼굴형 선정부
500: 부위 선택부 600: 부위 합성부
700: 부위 조정부 800: 몽타주 결정부
10: 몽타주DB
Claims (8)
- 얼굴특징을 이용한 몽타주 작성 시스템에 있어서,
몽타주DB(10)에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들을 표시하되, 목격자가 표시된 얼굴표본 영상들 중에 용의자와 유사한 얼굴표본 영상을 선택하는 얼굴형 선택부(100);
상기 얼굴형 선택부(100)에 의해 선택된 얼굴표본 영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 1차 몽타주(F1)를 생성하는 얼굴형 합성부(200);
상기 얼굴형 합성부(200)에 의해 생성된 1차 몽타주(F1)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB(10)로부터 색인하고, 색인된 얼굴표본 영상과 1차 몽타주(F1)를 합성하여 1차 몽타주(F1)와 유사한 속성 값을 갖는 다수의 주변 얼굴영상을 생성하는 얼굴형 조정부(300); 및
상기 얼굴형 조정부(300)에 의해 생성된 주변 얼굴영상들 중, 목격자의 조작을 통해 선택된 복수개의 주변 얼굴영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 2차 몽타주(F2)를 생성하는 얼굴형 선정부(400);를 포함하는 것을 특징으로 하는 얼굴특징을 이용한 몽타주 작성 시스템. - 제 1 항에 있어서,
상기 얼굴형 선택부(100)는,
목격자의 진술이 있는 경우, 몽타주DB(10)에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들 중 목격자의 진술과 부합하는 얼굴표본 영상을 색인하여 표시하되, 목격자가 선택할 얼굴표본 영상을 분류하는 것을 특징으로 하는 얼굴특징을 이용한 몽타주 작성 시스템. - 제 1 항에 있어서,
상기 얼굴형 선정부(400)에 의해 생성된 2차 몽타주(F2)에 포함된 각 부위(눈, 코, 입을 비롯한 각 부위)를 목격자의 진술에 따른 수정신호와 대응하도록 수정하는 부위 선택부(500);
상기 부위 선택부(500)에 의해 수정된 2차 몽타주(F2)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 부위별 영상을 몽타주DB(10)로부터 색인하여 표시하고, 목격자의 조작에 의해 선택된 부위 영상을 3차 몽타주(F3)로 생성하는 부위 합성부(600); 및
상기 부위 합성부(600)에 의해 생성된 3차 몽타주(F3)가 용의자의 얼굴과 일부 상이한 경우, 목격자의 조작에 의해 선택된 부위 영상을 입력받은 수정신호와 대응하도록 세밀하게 조정하여 3차 몽타주(F3)에 반영하는 부위 조정부(700);를 더 포함하는 것을 특징으로 하는 얼굴특징을 이용한 몽타주 작성 시스템. - 제 1 항 또는 제 3 항에 있어서,
상기 얼굴형 선택부(100), 얼굴형 합성부(200), 얼굴형 조정부(300), 얼굴형 선정부(400), 부위 선택부(500), 부위 합성부(600) 및 부위 조정부(700)의 기능을 반복 수행하여 생성한 다수의 몽타주(F1 내지 F3)들을 표시하고, 최종적으로 목격자의 조작에 의해 선택된 영상을 최종 몽타주로 선정하는 몽타주 결정부(800);를 더 포함하는 것을 특징으로 하는 얼굴특징을 이용한 몽타주 작성 시스템. - 제 3 항에 있어서,
상기 부위 선택부(500)는,
용의자의 눈 부위에 대해 차이가 있다고는 하면서도 상세히 진술하지 못하는 경우, 몽타주DB(10)에 기 저장된 눈 속성 전체를 표시하고, 목격자가 선택한 부위 영상을 2차 몽타주(F2)에 반영하여 표시하는 것을 특징으로 하는 얼굴특징을 이용한 몽타주 작성 시스템. - 얼굴특징을 이용한 몽타주 작성 방법에 있어서,
(a) 얼굴형 선택부가 몽타주DB에 기 저장되어 각기 속성 값('1' 내지 '5')을 갖는 얼굴표본 영상들을 표시하되, 목격자가 선택할 얼굴표본 영상을 분류하는 단계;
(b) 얼굴형 합성부(200)가 분류된 얼굴표본 영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 1차 몽타주(F1)를 생성하는 단계;
(c) 얼굴형 조정부가 1차 몽타주(F1)의 속성 값과 유사한 속성 값을 갖는 얼굴표본 영상을 몽타주DB로부터 색인하고, 색인된 얼굴표본 영상과 1차 몽타주(F1)를 합성하여 주변 얼굴영상을 생성하는 단계; 및
(d) 얼굴형 선정부가 주변 얼굴영상들 중, 목격자의 조작에 의해 선택된 복수개의 주변 얼굴영상들을 동일한 비율 또는 목격자의 조작을 통해 입력받은 비율로 합성하여 2차 몽타주(F2)를 생성하는 단계;를 포함하는 것을 특징으로 하는 얼굴특징을 이용한 몽타주 작성 방법. - 제 6 항에 있어서,
상기 (d) 단계 이후,
(e) 부위 선택부가 상기 2차 몽타주(F2)에서 목격자가 용의자 얼굴과 다르다고 진술한 부위를 입력받는 단계;
(f) 부위 합성부가 부위 영상 선택이 반영된 2차 몽타주(F2)에 포함된 어느 하나의 부위 영상을 목격자의 조작을 통해 입력받은 수정신호와 대응하도록 수정 및 합성하여 3차 몽타주(F3)를 생성하는 단계; 및
(g) 부위 조정부가 상기 3차 몽타주(F3)에서 목격자가 용의자 얼굴과 일부 상이하다고 진술한 부위를, 목격자로부터 입력받은 수정신호와 대응하도록 기하학적으로 세밀하게 조정하는 단계;를 포함하는 것을 특징으로 하는 얼굴특징을 이용한 몽타주 작성 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130044000A KR101418878B1 (ko) | 2013-04-22 | 2013-04-22 | 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130044000A KR101418878B1 (ko) | 2013-04-22 | 2013-04-22 | 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101418878B1 true KR101418878B1 (ko) | 2014-07-17 |
Family
ID=51742019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130044000A KR101418878B1 (ko) | 2013-04-22 | 2013-04-22 | 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101418878B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220120929A (ko) * | 2021-02-24 | 2022-08-31 | 군산대학교산학협력단 | 몽타주 생성 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020015642A (ko) * | 2000-08-22 | 2002-02-28 | 이성환 | 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법 |
| KR20140059076A (ko) * | 2012-11-07 | 2014-05-15 | 한국과학기술연구원 | 인지적 아바타 생성 장치 및 방법 |
-
2013
- 2013-04-22 KR KR1020130044000A patent/KR101418878B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020015642A (ko) * | 2000-08-22 | 2002-02-28 | 이성환 | 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법 |
| KR20140059076A (ko) * | 2012-11-07 | 2014-05-15 | 한국과학기술연구원 | 인지적 아바타 생성 장치 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220120929A (ko) * | 2021-02-24 | 2022-08-31 | 군산대학교산학협력단 | 몽타주 생성 장치 및 방법 |
| KR102481538B1 (ko) * | 2021-02-24 | 2022-12-26 | 군산대학교산학협력단 | 몽타주 생성 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | RefineDNet: A weakly supervised refinement framework for single image dehazing | |
| KR102134405B1 (ko) | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 | |
| JP7011146B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法 | |
| CN109711401B (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| CN113902921A (zh) | 图像处理方法、装置、设备及存储介质 | |
| JP7310252B2 (ja) | 動画生成装置、動画生成方法、プログラム、記憶媒体 | |
| WO2021114870A1 (zh) | 视差估计系统、方法、电子设备及计算机可读存储介质 | |
| Song et al. | Objectstitch: Generative object compositing | |
| KR102354681B1 (ko) | 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램 | |
| CN115272082A (zh) | 模型训练、视频质量提升方法、装置和计算机设备 | |
| KR101418878B1 (ko) | 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법 | |
| US20220180491A1 (en) | Image processing apparatus | |
| Naik et al. | Featurenet: Upsampling of point cloud and it’s associated features | |
| JP2019075784A (ja) | ライトフィールド表示装置及びそのライトフィールド画像の表示方法 | |
| JP7019808B2 (ja) | データ処理装置、データ処理方法、データ処理プログラム、及び非一時的記録媒体 | |
| Jiao et al. | Dynamic range reduction of SAR image via global optimum entropy maximization with reflectivity-distortion constraint | |
| JP5071900B2 (ja) | 画像生成装置およびその方法 | |
| Liu et al. | Bokeh rendering based on adaptive depth calibration network | |
| JP2021086497A (ja) | 画像変換用ネットワーク学習装置およびそのプログラム、ならびに、画像変換装置およびそのプログラム | |
| JP2006260410A (ja) | 画像処理アルゴリズムの評価装置、生成装置、評価方法、生成方法、コンピュータをその評価装置として機能させるためのプログラム、およびコンピュータをその生成装置として機能させるためのプログラム | |
| Jiang et al. | Parallel adaptive guidance network for image inpainting | |
| JP4415378B2 (ja) | 画像合成システムおよび画像合成プログラム、並びに画像合成方法 | |
| JP6918382B1 (ja) | 情報処理装置及び情報処理方法 | |
| JP7208314B1 (ja) | 学習装置、学習方法及び学習プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170706 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180710 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190709 Year of fee payment: 6 |