KR102600757B1 - 대화 기반의 몽타주 생성 방법 및 이를 이용한 장치 - Google Patents

대화 기반의 몽타주 생성 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR102600757B1
KR102600757B1 KR1020210027517A KR20210027517A KR102600757B1 KR 102600757 B1 KR102600757 B1 KR 102600757B1 KR 1020210027517 A KR1020210027517 A KR 1020210027517A KR 20210027517 A KR20210027517 A KR 20210027517A KR 102600757 B1 KR102600757 B1 KR 102600757B1
Authority
KR
South Korea
Prior art keywords
montage
conversation
feature
image
metadata
Prior art date
Application number
KR1020210027517A
Other languages
English (en)
Other versions
KR20220123942A (ko
Inventor
박원주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210027517A priority Critical patent/KR102600757B1/ko
Priority to US17/513,629 priority patent/US12079900B2/en
Publication of KR20220123942A publication Critical patent/KR20220123942A/ko
Application granted granted Critical
Publication of KR102600757B1 publication Critical patent/KR102600757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • Gasification And Melting Of Waste (AREA)

Abstract

대화 기반의 몽타주 생성 방법 및 이를 이용한 장치가 개시된다. 본 발명의 일실시예에 따른 몽타주 생성 방법은 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주(MONTAGE) 생성을 위한 피처(FEATURE)를 생성하는 단계; 상기 피처에 기반하여 몽타주 이미지를 생성하는 단계; 및 상기 몽타주 이미지에 기반하여 몽타주를 생성하는 단계를 포함한다.

Description

대화 기반의 몽타주 생성 방법 및 이를 이용한 장치 {METHOD FOR CREATING MONTAGE BASED ON DIALOG AND APPARATUS USING THE SAME}
본 발명은 대화를 기반으로 몽타주를 생성하는 기술에 관한 것으로, 특히 전문 인력을 중심으로 몽타주(montage)를 그리거나 피처(feature)를 저장해둔 데이터베이스를 탐색하여 몽타주를 합성하는 방법에서 확장하여 질의자와 응답자 간의 대화를 분석하여 몽타주를 자동으로 생성하는 기술에 관한 것이다.
현재 실종자나 범행의 피의자 등의 몽타주를 생성하기 위해서는 전문 인력이 목격자나 피해자의 진술에 따라 직접 몽타주를 그리거나, 피처 데이터베이스에 저장된 각종 특징 데이터를 탐색하여 몽타주를 합성하는 방법을 사용하고 있다.
그러나, 이 방법들은 몽타주를 생성하기 위한 초기 작업부터 매우 전문화된 인력을 필요로 하고, 몽타주 작성 프로그램을 활용하더라도 숙련된 사용자를 중심으로 개발되고 있는 실정이다. 따라서, 만약 목격자나 피해자의 심리가 불안하여 자연스러운 정보 수집이 어려워지는 경우, 몽타주를 그리기 위한 정보 수집에 큰 어려움이 발생한다.
한국 공개 특허 제10-2014-0040582호, 2014년 4월 3일 공개(명칭: 몽타주 추론 방법 및 장치)
본 발명의 목적은 몽타주를 작성하기 위한 질의자와 목격자나 피해자 등의 응답자 간의 자연스러운 대화를 분석하여 몽타주를 자동으로 생성하는 것이다.
또한, 본 발명의 목적은 몽타주 생성에 필요한 추가 질문을 질의자에게 추천함으로써 목격자나 피해자들의 기억을 쉽게 유도하여 보다 많은 정보를 수집하고, 수집된 정보를 바탕으로 원하는 몽타주를 보다 정확하게 생성하는 것이다.
또한, 본 발명의 목적은 공유 자원을 활용하여 다자간이 상호 작용할 수 있는 몽타주 생성 환경을 제공함으로써 목격자나 피해자들이 몽타주 생성에 참여할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 국제화, 사회의 다변화에 따라 지속적으로 요구되는 새로운 특징 데이터를 자동으로 추천 또는 추가할 수 있는 몽타주 생성 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 전문화된 인력을 중심으로 몽타주를 생성하는 방식보다 보편화된 방법으로 몽타주를 생성하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 대화 기반의 몽타주 생성 방법은 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주(MONTAGE) 생성을 위한 피처(FEATURE)를 생성하는 단계; 상기 피처에 기반하여 몽타주 이미지를 생성하는 단계; 및 상기 몽타주 이미지에 기반하여 몽타주를 생성하는 단계를 포함한다.
이 때, 대화에 기반하여 상기 피처가 부족한지 여부를 판단하는 단계; 및 상기 피처가 부족한 것으로 판단되는 경우 추가 피처 생성을 위한 추가질문을 생성하는 단계를 더 포함할 수 있다.
이 때, 몽타주는 복수개의 피처들을 기반으로 생성된 복수개의 몽타주 이미지들을 합성하여 생성될 수 있다.
이 때, 적어도 하나의 질의자와 상기 적어도 하나의 응답자가 공유하는 디스플레이에 상기 몽타주를 나타내는 단계를 더 포함할 수 있다.
이 때, 피처를 생성하는 단계는 상기 적어도 하나의 질의자의 질문 의도에 대응하는 상기 적어도 하나의 응답자의 답변을 분석하여 상기 피처에 상응하는 키워드를 추출하고, 상기 키워드를 메타데이터(METADATA)화할 수 있다.
이 때, 몽타주 이미지를 생성하는 단계는 몽타주 이미지 데이터베이스에서 상기 피처에 상응하는 메타데이터를 고려하여 상기 몽타주 이미지를 검색하는 단계; 및 상기 몽타주 이미지 데이터베이스에 상기 메타데이터에 상응하게 태깅된 몽타주 이미지가 존재하지 않는 경우, 상기 피처에 상응하는 신규 몽타주 이미지를 생성하는 단계를 포함할 수 있다.
이 때, 신규 몽타주 이미지를 생성하는 단계는 상기 몽타주 이미지 데이터베이스에 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN)을 적용하여 상기 신규 몽타주 이미지를 생성할 수 있다.
이 때, 신규 몽타주 이미지를 생성하는 단계는 상기 신규 몽타주 이미지에 상기 메타데이터를 태깅하여 상기 몽타주 이미지 데이터베이스에 저장할 수 있다.
이 때, 2차원 또는 3차원에 상응하는 복수개의 몽타주 이미지들 각각의 특징을 분석하여 메타데이터를 생성하는 단계; 및 상기 복수개의 몽타주 이미지들에 각각 대응하는 메타데이터를 태깅하여 상기 몽타주 이미지 데이터베이스를 구성하는 단계를 더 포함할 수 있다.
이 때, 피처는 상기 몽타주를 구성하는 얼굴 요소 별 특징 정보에 상응할 수 있다.
이 때, 몽타주를 나타내는 단계는 상기 몽타주에 대한 추천 몽타주를 함께 나타낼 수 있다.
또한, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 장치는, 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주(MONTAGE) 생성을 위한 피처(FEATURE)를 생성하고, 상기 피처에 기반하여 몽타주 이미지를 생성하고, 상기 몽타주 이미지에 기반하여 몽타주를 생성하는 프로세서; 및 상기 몽타주 이미지를 관리하는 몽타주 이미지 데이터베이스를 포함한다.
이 때, 프로세서는 상기 대화에 기반하여 상기 피처가 부족한지 여부를 판단하고, 상기 피처가 부족한 것으로 판단되는 경우 추가 피처 생성을 위한 추가질문을 생성할 수 있다.
이 때, 몽타주는 복수개의 피처들을 기반으로 생성된 복수개의 몽타주 이미지들을 합성하여 생성될 수 있다.
이 때, 프로세서는 상기 적어도 하나의 질의자와 상기 적어도 하나의 응답자가 공유하는 디스플레이에 상기 몽타주를 나타낼 수 있다.
이 때, 프로세서는 상기 적어도 하나의 질의자의 질문 의도에 대응하는 상기 적어도 하나의 응답자의 답변을 분석하여 상기 피처에 상응하는 키워드를 추출하고, 상기 키워드를 메타데이터(METADATA)화할 수 있다.
이 때, 프로세서는 상기 몽타주 이미지 데이터베이스에서 상기 피처에 상응하는 메타데이터를 고려하여 상기 몽타주 이미지를 검색하고, 상기 몽타주 이미지 데이터베이스에 상기 메타데이터에 상응하게 태깅된 몽타주 이미지가 존재하지 않는 경우에 상기 피처에 상응하는 신규 몽타주 이미지를 생성할 수 있다.
이 때, 프로세서는 상기 몽타주 이미지 데이터베이스에 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN)을 적용하여 상기 신규 몽타주 이미지를 생성할 수 있다.
이 때, 프로세서는 상기 신규 몽타주 이미지에 상기 메타데이터를 태깅하여 상기 몽타주 이미지 데이터베이스에 저장할 수 있다.
이 때, 몽타주 이미지 데이터베이스는 2차원 또는 3차원에 상응하는 복수개의 몽타주 이미지들 각각의 특징을 분석하여 생성된 메타데이터를 상기 복수개의 몽타주 이미지들에 각각 대응하게 태깅하여 구성될 수 있다.
이 때, 피처는 상기 몽타주를 구성하는 얼굴 요소 별 특징 정보에 상응할 수 있다.
이 때, 프로세서는 상기 몽타주에 대한 추천 몽타주를 함께 나타낼 수 있다.
본 발명에 따르면, 몽타주를 작성하기 위한 질의자와 목격자나 피해자 등의 응답자 간의 자연스러운 대화를 분석하여 몽타주를 자동으로 생성할 수 있다.
또한, 본 발명은 몽타주 생성에 필요한 추가 질문을 질의자에게 추천함으로써 목격자나 피해자들의 기억을 쉽게 유도하여 보다 많은 정보를 수집하고, 수집된 정보를 바탕으로 원하는 몽타주를 보다 정확하게 생성할 수 있다.
또한, 본 발명은 공유 자원을 활용하여 다자간이 상호 작용할 수 있는 몽타주 생성 환경을 제공함으로써 목격자나 피해자들이 몽타주 생성에 참여할 수 있도록 할 수 있다.
또한, 본 발명은 국제화, 사회의 다변화에 따라 지속적으로 요구되는 새로운 특징 데이터를 자동으로 추천 또는 추가할 수 있는 몽타주 생성 시스템을 제공할 수 있다.
또한, 본 발명은 전문화된 인력을 중심으로 몽타주를 생성하는 방식보다 보편화된 방법으로 몽타주를 생성할 수 있다.
도 1은 본 발명에 따른 몽타주 생성 시스템을 활용하여 몽타주를 생성하는 일 예를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 몽타주 생성 시스템을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법을 나타낸 동작흐름도이다.
도 4 내지 도 5는 본 발명에 따른 대화를 기반으로 피처를 추출하는 과정의 일 예를 나타낸 도면이다.
도 6 내지 도 7은 본 발명에 따른 디스플레이의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법을 상세하게 나타낸 동작 흐름도이다.
도 9는 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 장치를 나타낸 블록도이다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명에 따른 몽타주 생성 시스템을 활용하여 몽타주를 생성하는 일 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 몽타주 생성 장치(100)는 적어도 하나의 질의자(110)와 적어도 하나의 응답자(120)가 자유로운 대화 환경에서 몽타주 생성에 필요한 정보를 주고받을 때, 몽타주 생성에 필요한 정보를 수집하여 몽타주를 생성할 수 있다.
예를 들어, 몽타주 생성 장치(100)는 적어도 하나의 질의자(110)와 적어도 하나의 응답자(120) 사이의 대화에서 몽타주 생성에 필요할 것으로 판단되는 단어나, 문장 등을 위주로 정보를 수집하고, 몽타주와 관련된 이미지를 관리하는 몽타주 이미지 데이터베이스에서 수집된 정보에 상응하는 몽타주 이미지를 검색할 수 있다. 이 후, 검색된 몽타주 이미지들을 합성하는 방식으로 몽타주를 생성할 수 있다.
이 때, 몽타주 생성 장치(100)는 적어도 하나의 질의자(110)와 적어도 하나의 응답자(120)가 공유하는 디스플레이(101)를 통해 생성한 몽타주를 나타낼 수 있다.
이 때, 몽타주를 작성하는 입장의 질의자(110)와 몽타주 작성을 위한 정보를 제공하는 입장의 응답자(120)가 공유하는 공간인 디스플레이(101) 상에 몽타주를 표현함으로써 참여자들 간에 상호 합의된 몽타주를 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 몽타주 생성 시스템을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 몽타주 생성 시스템은 대화 처리 시스템(210), 몽타주 생성 시스템(220), 몽타주 데이터 시스템(230) 및 화이트보드 시스템(240)으로 세분화할 수 있다.
먼저, 대화 처리 시스템(210)은 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화 처리를 담당할 수 있다.
만약, 적어도 하나의 질의자와 적어도 하나의 응답자가 다자간 대화를 수행하면, 대화 처리 시스템(210)은 대화 내용 중 몽타주 생성에 필요한 정보를 수집할 수 있다.
이 때, 대화 처리 엔진부는 적어도 하나의 질의자의 질문 의도를 파악하고, 이에 대한 적어도 하나의 응답자의 답변을 인식하여 처리할 수 있다.
이 때, 질문 추천 엔진부는 몽타주 생성에 필요한 정보가 부족하다고 판단되는 경우에 부족한 정보에 상응하는 질문을 생성하여 질의자에게 제공함으로써 질문을 유도할 수 있다.
이 때, 대화기반 몽타주 피처 추출부는 대화 처리 엔진부에서 수집한 정보 중에서 몽타주 생성에 필요한 피처를 메타데이터(metadata)화하여 몽타주 생성 시스템(220)으로 전달할 수 있다.
몽타주 생성 시스템(220)은 몽타주 생성을 담당할 수 있다.
예를 들어, 대화 처리 시스템(210)으로부터 몽타주 생성에 필요한 피처가 수신되면, 몽타주 데이터 시스템(230)에서 데이터를 검색하거나 적절한 피처를 신규 생성하고, 이들을 합성하는 방식으로 몽타주를 생성할 수 있다.
이 때, 몽타주 DB 검색 모듈은 몽타주 데이터 시스템(230)에서 대화 처리 시스템(210)으로부터 전달된 피처에 상응하는 몽타주 이미지를 검색할 수 있다.
이 때, 몽타주 추천/합성 모듈은 몽타주 DB 검색 모듈을 통해 검색된 여러 피처들에 상응하는 몽타주 이미지들을 합성하여 몽타주를 생성할 수 있다.
또한, 몽타주 추천/합성 모듈은 몽타주를 합성하여 생성하는 과정에서 몽타주 이미지 데이터베이스를 바탕으로 피처를 추천할 수도 있다. 예를 들어, 이전에 몽타주를 생성한 기록을 바탕으로 대화 처리 시스템(210)으로부터 전달된 피처와 관련 있을 것으로 판단되는 피처를 추천할 수 있다.
이 때, 몽타주 피처 신규 생성 모듈은 몽타주 데이터 시스템(230)에 대화 처리 시스템(210)으로부터 전달된 피처에 적합한 몽타주 이미지가 존재하지 않는 경우에 피처에 적합한 몽타주 이미지를 신규 생성할 수 있다.
예를 들어, 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN) 기술을 몽타주 데이터 시스템(230)에 적용하여 다양한 피처들에 상응하는 몽타주 이미지를 생성할 수 있다. 이 때, 신규 생성된 몽타주 이미지는 몽타주 데이터 시스템(230)을 통해 관리될 수 있고, 메타데이터를 태깅하여 검색 가능하도록 할 수 있다.
몽타주 데이터 시스템(230)은 몽타주 이미지를 포함하는 몽타주 이미지 데이터베이스를 관리하고, 몽타주 이미지 데이터베이스에 저장되는 몽타주 이미지에 메타데이터를 태깅하는 작업을 담당할 수 있다.
예를 들어, 몽타주 데이터 시스템(230)은 몽타주 이미지 DB에 저장되어 있는 기존의 몽타주 이미지들을 분석하여 메타데이터를 생성 및 태깅하고, 추후에 몽타주 이미지가 추가될 때마다 이에 대한 메타데이터를 생성 및 태깅하는 방식으로 몽타주 이미지 DB를 업데이트할 수 있다.
이 때, 메타데이터 생성 모듈은 몽타주 이미지 DB에 저장되어 있는 2D 또는 3D 이미지들을 분석하고, 기정의된 체계를 기반으로 메타데이터를 생성할 수 있다.
이 때, 메타데이터 태깅 모듈은 대화 기반으로 피처들 각각에 대응하는 몽타주 이미지가 검색될 수 있도록 정보관리체계를 정의할 수 있고, 몽타주 이미지에 메타데이터 태깅을 수행하여 메타데이터 생성 모듈을 지원할 수 있다.
이 때, 몽타주 이미지 DB는 다양한 피처들에 상응하는 몽타주 이미지를 저장 및 관리할 수 있다.
화이트보드 시스템(240)은 적어도 하나의 질의자와 적어도 하나의 응답자가 공유할 수 있는 공간을 담당하는 것으로, 몽타주 생성에 참여한 참여자들이 상호작용할 수 있도록 지원할 수 있다.
이 때, 몽타주 표현 모듈은 몽타주 생성 시스템(220)으로부터 몽타주를 전달받아 적어도 하나의 질의자와 적어도 하나의 응답자에게 디스플레이 할 수 있다.
도 3은 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법을 나타낸 동작흐름도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법은 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주(MONTAGE) 생성을 위한 피처(FEATURE)를 생성한다(S310).
이 때, 본 발명에서 의미하는 몽타주는 목격자나 피해자의 말에 따라 범인이나 피의자의 특징들을 조합해서 가상으로 만들어진 얼굴을 의미하는 것으로, 머리스타일이나 얼굴에 작용하는 액세서리를 포함하여 얼굴을 표현하는 각각의 요소들의 특징을 합쳐서 만들어질 수 있다.
따라서, 본 발명에서 의미하는 피처는 몽타주를 구성하는 얼굴 요소 별 특징 정보에 상응할 수 있다. 예를 들어, 얼굴형, 머리 스타일, 눈, 코, 입, 귀와 같이 머리카락을 포함한 얼굴과 관련된 요소들과 함께 성별이나 연령대와 같이 얼굴을 표현하는데 영향을 줄 수 있는 요소들도 포함될 수 있다.
이 때, 적어도 하나의 질의자의 질문 의도에 대응하는 적어도 하나의 응답자의 답변을 분석하여 피처에 상응하는 키워드를 추출하고, 키워드를 메타데이터(MEATDATA)화할 수 있다.
예를 들어, 질의자가 "머리스타일이 어땠나요?"라고 질문하였다고 가정하면, 응답자의 답변을 분석하여 '머리스타일'에 관련된 키워드를 추출할 수 있다. 만약, 응답자가 "긴 생머리였어요."라고 답변하였다면, '길다', '생머리' 등의 키워드를 추출하고, 이를 메타데이터화 하여 피처를 생성할 수 있다. 즉, '머리스타일={길다, 생머리}'와 같이 메타데이터화 함으로써 '긴 생머리'에 상응하는 피처를 생성할 수 있다.
또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법은 대화에 기반하여 피처가 부족한지 여부를 판단하고, 피처가 부족한 것으로 판단되는 경우에는 추가 피처 생성을 위한 추가질문을 생성할 수 있다.
예를 들어, 대화 내용 중 '눈'에 대한 내용이 다뤄지지 않아 관련된 피처가 생성되지 않았다고 가정한다면, "눈은 어떻게 생겼나요?"와 같이 '눈'의 생김새를 물어보는 추가질문을 생성하여 질의자에게 제공함으로써 추가 피처가 생성될 수 있도록 유도할 수 있다.
이하에서는 도 4 내지 도 5를 참조하여, 피처를 생성하는 과정 및 추가질문을 이용하여 추가 피처를 생성하는 과정을 보다 상세하게 설명하도록 한다.
먼저, 도 4를 참조하면, 질의자와 응답자 사이의 대화를 확인할 수 있다.
이 때, 본 발명의 일실시예에 따른 몽타주 생성 장치는 질의자가 발화한 "본 것을 기억나는 대로 이야기해 주세요."라는 문장(411)에 대한 응답자의 답변으로 "20대 정도의 남자였고, 갈색 펌 머리였어요."라는 문장(421)을 분석할 수 있다.
이 때, 질의자가 발화한 문장(411)을 분석하면, 응답자의 답변에서 여러 종류의 피처와 관련된 키워드들이 추출될 수 있음을 판단할 수 있다. 이에 따라, 몽타주 생성 장치는 문장(421)에서 몽타주 생성과 연관이 있을 것으로 판단되는 '20대', '남자', '갈색 펌 머리' 등의 키워드(431, 432, 433)를 추출하여 메타데이터화 할 수 있다.
이렇게 생성된 메타데이터들을 이용하여 도 5에 도시된 것과 같이 피처들을 생성할 수 있다.
이 후, 몽타주 생성 장치는 몽타주 생성에 필요한 추가 피처들을 생성하기 위해서 도 4에 도시된 "얼굴형은 어땠나요?", "이목구비에 대해 기억나는 건 없으세요?" 등의 추가 질문(412, 413)을 생성하여 질의자에게 제공할 수 있다.
이와 같이 질의자가 응답자에게 추가 질문(412, 413)을 하도록 유도함으로써 응답자의 답변에서 추가 피처를 생성하기 위해 키워드(434, 435-1, 435-2)들을 추출할 수 있다.
이 때, 도 5에 도시된 추가 질문은 특정한 형식으로 한정되지 않고, 응답자로부터 부족한 피처에 대한 대화를 이끌어내기에 적합한 내용으로 다양하게 생성될 수 있다.
또한, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법은 피처에 기반하여 몽타주 이미지를 생성한다(S320).
이 때, 몽타주 이미지는 피처에 상응하는 얼굴 요소를 나타낸 것일 수 있다. 예를 들어, 피처가 '쌍꺼풀이 있는 큰 눈'이라고 가정한다면, 몽타주 이미지는 '쌍꺼풀이 있는 큰 눈'에 상응하는 이미지일 수 있다.
이 때, 몽타주 이미지 데이터베이스에서 피처에 상응하는 메타데이터를 고려하여 몽타주 이미지를 검색할 수 있다.
또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법은 2차원 또는 3차원에 상응하는 복수개의 몽타주 이미지들 각각의 특징을 분석하여 메타데이터를 생성하고, 복수개의 몽타주 이미지들에 각각 대응하는 메타데이터를 태깅하여 몽타주 이미지 데이터베이스를 구성할 수 있다.
즉, 몽타주 이미지 데이터베이스에는 각각에 대응하는 메타데이터가 태깅된 복수개의 몽타주 이미지들이 저장되어 있으므로, 피처에 상응하는 메타데이터와 태깅된 몽타주 이미지를 검색하여 사용할 수 있다.
예를 들어, 피처에 상응하는 메타데이터가 '오똑한 코'라고 가정한다면, 몽타주 이미지 데이터베이스에서 '오똑한 코'에 상응하게 태깅된 몽타주 이미지를 검색하여 사용할 수 있다.
이 때, 몽타주 이미지 데이터베이스에 메타데이터에 상응하게 태깅된 몽타주 이미지가 존재하지 않는 경우, 피처에 상응하는 신규 몽타주 이미지를 생성할 수 있다.
예를 들어, 피처에 상응하는 메타데이터가 '빨간색 곱슬 머리'인데, 몽타주 이미지 데이터베이스에는 '빨간색 곱슬 머리'에 상응하게 태깅된 몽타주 이미지가 존재하지 않을 수 있다. 이러한 경우에는 '빨간색 곱슬 머리'에 상응하는 몽타주 이미지를 신규 생성할 수 있다.
이 때, 몽타주 이미지 데이터베이스에 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN)을 적용하여 신규 몽타주 이미지를 생성할 수 있다.
이 때, 신규 몽타주 이미지에 메타데이터를 태깅하여 몽타주 이미지 데이터베이스에 저장할 수 있다.
예를 들어, 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN)으로 몽타주 이미지 데이터베이스에 저장되어 있는 복수개의 몽타주 이미지들을 입력하면, 이를 학습한 결과를 바탕으로 복수개의 몽타주 이미지들과 동일하지 않은 신규 몽타주 이미지를 생성할 수 있다. 이 후, 메타데이터 태깅을 위해 사전에 정의된 체계를 활용하여 신규 몽타주 이미지에 대한 메타데이터를 생성하고, 신규 몽타주 이미지에 메타데이터를 태깅하여 관리할 수 있다.
이와 같은 과정을 통해, 대화를 기반으로 몽타주를 생성하는데 필요한 피처들의 몽타주 이미지가 검색될 수 있도록 관리할 수 있다.
또한, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법은 몽타주 이미지에 기반하여 몽타주를 생성한다(S330).
이 때, 몽타주는 복수개의 피처들을 기반으로 생성된 복수개의 몽타주 이미지들을 합성하여 생성될 수 있다.
예를 들어, 도 5에 도시된 것처럼 피처들이 생성되었다고 가정한다면, 각각의 피처들에 상응하는 몽타주 이미지들을 합성하여 '계란형 얼굴에 갈색 펌 머리스타일을 하고, 쌍꺼풀이 있는 큰 눈을 가진 20대 남자'에 상응하게 몽타주를 생성할 수 있다.
이 때, 복수개의 몽타주 이미지들은 질의자와 응답자 사이의 대화를 기반으로 생성되는 피처 및 추가 피처에 따라 다양한 조합으로 합성될 수 있다.
예를 들어, 얼굴형, 눈, 코, 입을 나타내는 몽타주 이미지들을 합성하여 몽타주를 생성할 수도 있고, 머리스타일, 눈, 코, 입, 피부색을 나타내는 몽타주 이미지들을 합성하여 몽타주를 생성할 수도 있다.
또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법은 적어도 하나의 질의자와 적어도 하나의 응답자가 공유하는 디스플레이에 몽타주를 나타낼 수 있다.
예를 들어, 도 6에 도시된 것처럼, 질의자와 응답자가 공유할 수 있는 디스플레이(600)를 통해 생성된 몽타주를 보여줄 수 있다. 즉, 본 발명에 따르면 응답자가 실시간으로 몽타주 생성 과정에 참여할 수 있으므로 보다 정확한 몽타주를 생성할 수 있다.
이 때, 몽타주에 대한 추천 몽타주를 함께 나타낼 수 있다. 즉, 동일한 피처에 대해서도 다양한 몽타주 이미지가 검색될 수 있으므로, 이러한 경우를 커버하기 위해서 추천 몽타주를 제공할 수 있다.
예를 들어, 대화를 기반으로 생성된 피처가 '곱슬 머리'라고 가정한다면, 다양한 종류의 곱슬머리를 나타낸 몽타주 이미지가 검색될 수 있다. 즉, 도 7에 도시된 것처럼, 하나의 기본 몽타주(710)와 함께 이를 기반으로 곱슬머리의 스타일만 바꿔서 합성한 추천 몽타주(720)를 제공할 수 있다.
다른 예를 들어, '쌍꺼풀이 있는 눈'이라고 가정한다면, 쌍꺼풀은 존재하지만 생김새가 조금 다른 눈으로 합성한 추천 몽타주(730)를 제공할 수도 있다.
또 다른 예를 들어, 만약 응답자가 기억하지 못해서 생성하지 못한 피처가 존재하는 경우, 이전에 몽타주를 생성했던 데이터들을 토대로 해당 피처에 상응하는 몽타주 이미지를 추천하여 추천 몽타주를 생성할 수 있다.
이와 같은 대화 기반의 몽타주 생성 방법을 통해 몽타주를 작성하기 위한 질의자와 목격자나 피해자 등의 응답자 간의 자연스러운 대화를 분석하여 몽타주를 자동으로 생성할 수 있다.
또한, 몽타주 생성에 필요한 추가 질문을 질의자에게 추천함으로써 목격자나 피해자들의 기억을 쉽게 유도하여 보다 많은 정보를 수집하고, 수집된 정보를 바탕으로 원하는 몽타주를 보다 정확하게 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법을 상세하게 나타낸 동작 흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 방법은 먼저 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주 생성을 위한 피처를 생성할 수 있다(S810).
이 후, 대화에 기반하여 피처가 부족하지 여부를 판단하고(S815), 피처가 부족한 것으로 판단되면 추가 피처 생성을 위한 추가질문을 생성할 수 있다(S820).
이 때, 생성된 추가 질문은 적어도 하나의 질의자에게 제공함으로써 질의자가 추가 피처와 관련된 대화를 유도할 수 있도록 할 수 있다.
또한, 단계(S815)의 판단결과 피처가 부족하지 않으면, 몽타주 이미지를 생성할 수 있다(S830).
이 때, 몽타주 이미지 데이터베이스에서 피처에 상응하는 메타데이터를 고려하여 몽타주 이미지를 검색할 수 있다.
이 때, 몽타주 이미지 데이터베이스에 메타데이터에 상응하게 태깅된 몽타주 이미지가 존재하지 않는 경우, 피처에 상응하는 신규 몽타주 이미지를 생성할 수도 있다.
이 후, 복수개의 피처들을 기반으로 생성된 복수개의 몽타주 이미지들을 합성하여(S840) 몽타주를 생성하고, 생성된 몽타주를 적어도 하나의 질의자와 적어도 하나의 응답자가 공유하는 디스플레이에 나타낼 수 있다(S850).
도 9는 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 장치를 나타낸 블록도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 대화 기반의 몽타주 생성 장치는 통신부(910), 프로세서(920), 몽타주 이미지 DB(930) 및 메모리(940)를 포함한다.
통신부(910)는 네트워크와 같은 통신망을 통해 몽타주 생성을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.
예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.
또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
프로세서(920)는 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주(MONTAGE) 생성을 위한 피처(FEATURE)를 생성한다.
이 때, 적어도 하나의 질의자의 질문 의도에 대응하는 적어도 하나의 응답자의 답변을 분석하여 피처에 상응하는 키워드를 추출하고, 키워드를 메타데이터(MEATDATA)화할 수 있다.
또한, 프로세서(920)는 대화에 기반하여 피처가 부족한지 여부를 판단하고, 피처가 부족한 것으로 판단되는 경우에는 추가 피처 생성을 위한 추가질문을 생성한다.
또한, 프로세서(920)는 피처에 기반하여 몽타주 이미지를 생성한다.
이 때, 몽타주 이미지 데이터베이스(930)에서 피처에 상응하는 메타데이터를 고려하여 몽타주 이미지를 검색할 수 있다.
이 때, 몽타주 이미지 데이터베이스(930)는 2차원 또는 3차원에 상응하는 복수개의 몽타주 이미지들 각각의 특징을 분석하여 생성된 메타데이터를 복수개의 몽타주 이미지들에 각각 대응하게 태깅하여 구성될 수 있다.
이 때, 몽타주 이미지 데이터베이스(930)에 메타데이터에 상응하게 태깅된 몽타주 이미지가 존재하지 않는 경우, 피처에 상응하는 신규 몽타주 이미지를 생성할 수 있다.
이 때, 몽타주 이미지 데이터베이스(930)에 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN)을 적용하여 신규 몽타주 이미지를 생성할 수 있다.
이 때, 신규 몽타주 이미지에 메타데이터를 태깅하여 몽타주 이미지 데이터베이스(930)에 저장할 수 있다.
또한, 프로세서(920)는 몽타주 이미지에 기반하여 몽타주를 생성한다.
이 때, 몽타주는 복수개의 피처들을 기반으로 생성된 복수개의 몽타주 이미지들을 합성하여 생성될 수 있다.
또한, 프로세서(920)는 적어도 하나의 질의자와 적어도 하나의 응답자가 공유하는 디스플레이에 몽타주를 나타낸다.
이 때, 몽타주에 대한 추천 몽타주를 함께 나타낼 수 있다.
몽타주 이미지 DB(930)는 몽타주 이미지를 관리한다.
메모리(940)는 상술한 바와 같이 본 발명의 일실시예에 따른 몽타주 생성 장치에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 메모리(940)는 몽타주 생성 장치와 독립적으로 구성되어 몽타주 생성을 위한 기능을 지원할 수 있다. 이 때, 메모리(940)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.
한편, 몽타주 생성 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 대화 기반의 몽타주 생성 장치를 이용함으로써 다자간의 자연스러운 대화에서 몽타주를 생성할 수 있는 정보를 추출하여 몽타주를 추천, 합성, 생성할 수 있다.
또한, 몽타주 정보를 제공하는 목격자나 피해자가 기억을 쉽게 유도할 수 있고, 몽타주 생성에 참여할 수 있는 환경을 제공함으로써 보다 정확하게 몽타주를 생성할 수 있다.
또한, 전문화된 인력이 없이도 보편화된 방법으로 몽타주를 생성할 수 있다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 10을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 10에 도시된 바와 같이, 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 입력 장치(1040), 사용자 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 대화 기반의 몽타주 생성 방법 및 이를 이용한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 몽타주 생성 장치 110: 질의자
120: 응답자 910: 통신부
920, 1010: 프로세서 930: 몽타주 이미지 DB
940, 1030: 메모리 700: 컴퓨터 시스템
720: 버스 731: 롬
732: 램 740: 사용자 입력 장치
750: 사용자 출력 장치 760: 스토리지
770: 네트워크 인터페이스 780: 네트워크

Claims (20)

  1. 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주(MONTAGE) 생성을 위한 피처(FEATURE)를 생성하는 단계;
    상기 피처에 기반하여 몽타주 이미지를 생성하는 단계;
    상기 몽타주 이미지에 기반하여 몽타주를 생성하는 단계; 및
    상기 적어도 하나의 질의자와 상기 적어도 하나의 응답자가 공유하는 디스플레이에 상기 몽타주를 나타내는 단계
    를 포함하고,
    상기 몽타주를 나타내는 단계는
    이전에 다른 몽타주를 생성한 기록을 기반으로 상기 피처와 관련 있을 것으로 판단되는 피처를 추천하고, 추천된 피처를 기반으로 상기 몽타주에 대한 추천 몽타주를 생성하여 상기 디스플레이에 함께 나타내는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  2. 청구항 1에 있어서,
    상기 대화에 기반하여 상기 피처가 부족한지 여부를 판단하는 단계; 및
    상기 피처가 부족한 것으로 판단되는 경우 추가 피처 생성을 위한 추가질문을 생성하는 단계를 더 포함하는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  3. 청구항 2에 있어서,
    상기 몽타주는
    복수개의 피처들을 기반으로 생성된 복수개의 몽타주 이미지들을 합성하여 생성되는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 피처를 생성하는 단계는
    상기 적어도 하나의 질의자의 질문 의도에 대응하는 상기 적어도 하나의 응답자의 답변을 분석하여 상기 피처에 상응하는 키워드를 추출하고, 상기 키워드를 메타데이터(METADATA)화하는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  6. 청구항 5에 있어서,
    상기 몽타주 이미지를 생성하는 단계는
    몽타주 이미지 데이터베이스에서 상기 피처에 상응하는 메타데이터를 고려하여 상기 몽타주 이미지를 검색하는 단계; 및
    상기 몽타주 이미지 데이터베이스에 상기 메타데이터에 상응하게 태깅된 몽타주 이미지가 존재하지 않는 경우, 상기 피처에 상응하는 신규 몽타주 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  7. 청구항 6에 있어서,
    상기 신규 몽타주 이미지를 생성하는 단계는
    상기 몽타주 이미지 데이터베이스에 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN)을 적용하여 상기 신규 몽타주 이미지를 생성하는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  8. 청구항 6에 있어서,
    상기 신규 몽타주 이미지를 생성하는 단계는
    상기 신규 몽타주 이미지에 상기 메타데이터를 태깅하여 상기 몽타주 이미지 데이터베이스에 저장하는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  9. 청구항 6에 있어서,
    2차원 또는 3차원에 상응하는 복수개의 몽타주 이미지들 각각의 특징을 분석하여 메타데이터를 생성하는 단계; 및
    상기 복수개의 몽타주 이미지들에 각각 대응하는 메타데이터를 태깅하여 상기 몽타주 이미지 데이터베이스를 구성하는 단계를 더 포함하는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  10. 청구항 1에 있어서,
    상기 피처는
    상기 몽타주를 구성하는 얼굴 요소 별 특징 정보에 상응하는 것을 특징으로 하는 대화 기반의 몽타주 생성 방법.
  11. 삭제
  12. 적어도 하나의 질의자와 적어도 하나의 응답자 사이의 대화에 기반하여 몽타주(MONTAGE) 생성을 위한 피처(FEATURE)를 생성하고, 상기 피처에 기반하여 몽타주 이미지를 생성하고, 상기 몽타주 이미지에 기반하여 몽타주를 생성하고, 상기 적어도 하나의 질의자와 상기 적어도 하나의 응답자가 공유하는 디스플레이에 상기 몽타주를 나타내는 프로세서; 및
    상기 몽타주 이미지를 관리하는 몽타주 이미지 데이터베이스
    를 포함하고,
    상기 프로세서는
    이전에 다른 몽타주를 생성한 기록을 기반으로 상기 피처와 관련 있을 것으로 판단되는 피처를 추천하고, 추천된 피처를 기반으로 상기 몽타주에 대한 추천 몽타주를 생성하여 상기 디스플레이에 함께 나타내는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
  13. 청구항 12에 있어서,
    상기 프로세서는
    상기 대화에 기반하여 상기 피처가 부족한지 여부를 판단하고, 상기 피처가 부족한 것으로 판단되는 경우 추가 피처 생성을 위한 추가질문을 생성하는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
  14. 청구항 12에 있어서,
    상기 몽타주는
    복수개의 피처들을 기반으로 생성된 복수개의 몽타주 이미지들을 합성하여 생성되는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
  15. 삭제
  16. 청구항 12에 있어서,
    상기 프로세서는
    상기 적어도 하나의 질의자의 질문 의도에 대응하는 상기 적어도 하나의 응답자의 답변을 분석하여 상기 피처에 상응하는 키워드를 추출하고, 상기 키워드를 메타데이터(METADATA)화하는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
  17. 청구항 16에 있어서,
    상기 프로세서는
    상기 몽타주 이미지 데이터베이스에서 상기 피처에 상응하는 메타데이터를 고려하여 상기 몽타주 이미지를 검색하고, 상기 몽타주 이미지 데이터베이스에 상기 메타데이터에 상응하게 태깅된 몽타주 이미지가 존재하지 않는 경우에 상기 피처에 상응하는 신규 몽타주 이미지를 생성하는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
  18. 청구항 17에 있어서,
    상기 프로세서는
    상기 몽타주 이미지 데이터베이스에 적대적 생성 신경망(GENERATIVE ADVERSARIAL NETWORK, GAN)을 적용하여 상기 신규 몽타주 이미지를 생성하는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
  19. 청구항 17에 있어서,
    상기 프로세서는
    상기 신규 몽타주 이미지에 상기 메타데이터를 태깅하여 상기 몽타주 이미지 데이터베이스에 저장하는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
  20. 청구항 17에 있어서,
    상기 몽타주 이미지 데이터베이스는
    2차원 또는 3차원에 상응하는 복수개의 몽타주 이미지들 각각의 특징을 분석하여 생성된 메타데이터를 상기 복수개의 몽타주 이미지들에 각각 대응하게 태깅하여 구성되는 것을 특징으로 하는 대화 기반의 몽타주 생성 장치.
KR1020210027517A 2021-03-02 2021-03-02 대화 기반의 몽타주 생성 방법 및 이를 이용한 장치 KR102600757B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210027517A KR102600757B1 (ko) 2021-03-02 2021-03-02 대화 기반의 몽타주 생성 방법 및 이를 이용한 장치
US17/513,629 US12079900B2 (en) 2021-03-02 2021-10-28 Method for making montage based on dialogue and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210027517A KR102600757B1 (ko) 2021-03-02 2021-03-02 대화 기반의 몽타주 생성 방법 및 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20220123942A KR20220123942A (ko) 2022-09-13
KR102600757B1 true KR102600757B1 (ko) 2023-11-13

Family

ID=83116267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027517A KR102600757B1 (ko) 2021-03-02 2021-03-02 대화 기반의 몽타주 생성 방법 및 이를 이용한 장치

Country Status (2)

Country Link
US (1) US12079900B2 (ko)
KR (1) KR102600757B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016053868A (ja) * 2014-09-04 2016-04-14 日本電信電話株式会社 似顔絵画像生成装置、似顔絵画像生成方法及び似顔絵画像生成プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100639988B1 (ko) 2005-04-21 2006-10-31 한국전자통신연구원 얼굴 특징 추출 장치 및 그 방법
JP2009140047A (ja) 2007-12-04 2009-06-25 Hagiwara Sys-Com:Kk モンタージュ写真作成方法及び装置
US20120117051A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation Multi-modal approach to search query input
KR101385599B1 (ko) 2012-09-26 2014-04-16 한국과학기술연구원 몽타주 추론 방법 및 장치
KR101696007B1 (ko) 2013-01-18 2017-01-13 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
KR101418878B1 (ko) 2013-04-22 2014-07-17 명지대학교 산학협력단 얼굴특징을 이용한 몽타주 작성 시스템 및 그 방법
KR101635730B1 (ko) 2014-10-08 2016-07-20 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
WO2017137947A1 (en) * 2016-02-10 2017-08-17 Vats Nitin Producing realistic talking face with expression using images text and voice
EP3718086A1 (de) * 2018-07-04 2020-10-07 Web Assistants GmbH Avataranimation
US10949715B1 (en) * 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016053868A (ja) * 2014-09-04 2016-04-14 日本電信電話株式会社 似顔絵画像生成装置、似顔絵画像生成方法及び似顔絵画像生成プログラム

Also Published As

Publication number Publication date
US12079900B2 (en) 2024-09-03
KR20220123942A (ko) 2022-09-13
US20220284635A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
KR101992424B1 (ko) 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
EP2767907A1 (en) Knowledge information processing server system provided with image recognition system
CN107562723A (zh) 会议处理方法、介质、装置和计算设备
KR20170034409A (ko) 안면 구조에 기초한 음성 합성 방법 및 장치
CN112184497B (zh) 一种客户到访轨迹追踪及客流分析系统及方法
CN110211590B (zh) 一种会议热点的处理方法、装置、终端设备及存储介质
CN109063662A (zh) 数据处理方法、装置、设备及存储介质
KR102196199B1 (ko) 음성인식 기반의 사진 공유 방법, 장치 및 시스템
CN114401431B (zh) 一种虚拟人讲解视频生成方法及相关装置
KR20200059993A (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
CN107862071A (zh) 生成会议记录的方法和装置
KR20190058066A (ko) 상담데이터 관리 방법 및 장치
CN111599359A (zh) 人机交互方法、服务端、客户端及存储介质
CN112929253A (zh) 一种虚拟形象交互方法和装置
KR20180116103A (ko) 온톨로지 대화 관계망을 이용한 연속 대화 방법 및 시스템
CN115222857A (zh) 生成虚拟形象的方法、装置、电子设备和计算机可读介质
Nakao et al. Use of machine learning by non-expert dhh people: Technological understanding and sound perception
KR102600757B1 (ko) 대화 기반의 몽타주 생성 방법 및 이를 이용한 장치
CN116895087A (zh) 人脸五官的筛选方法、装置和人脸五官的筛选系统
CN117094690A (zh) 信息处理方法、电子设备及存储介质
KR102350359B1 (ko) 음성 인식 알고리즘을 이용한 영상 편집 방법
JPWO2018015999A1 (ja) 議論支援システム、議論支援方法、及び議論支援プログラム
CN116955601A (zh) 多模态的情感识别方法和装置
CN113900751A (zh) 一种合成虚拟形象的方法、装置、服务器和存储介质
US11474998B2 (en) Interactive medical data querying

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant