KR20180080783A - 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버 - Google Patents

가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버 Download PDF

Info

Publication number
KR20180080783A
KR20180080783A KR1020170001733A KR20170001733A KR20180080783A KR 20180080783 A KR20180080783 A KR 20180080783A KR 1020170001733 A KR1020170001733 A KR 1020170001733A KR 20170001733 A KR20170001733 A KR 20170001733A KR 20180080783 A KR20180080783 A KR 20180080783A
Authority
KR
South Korea
Prior art keywords
face
mask
image
motion
generating
Prior art date
Application number
KR1020170001733A
Other languages
English (en)
Other versions
KR101894955B1 (ko
Inventor
박홍규
김일환
Original Assignee
주식회사 미디어프론트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 미디어프론트 filed Critical 주식회사 미디어프론트
Priority to KR1020170001733A priority Critical patent/KR101894955B1/ko
Publication of KR20180080783A publication Critical patent/KR20180080783A/ko
Application granted granted Critical
Publication of KR101894955B1 publication Critical patent/KR101894955B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

가상 휴먼 인식 및 실시간 증강합성 데이터 생성 서버와 증강합성 데이터 생성 시스템을 개시한다. 증강합성 데이터 생성 서버는 스마트 단말을 포함하는 컴퓨팅 기기로부터 전달 받은 이미지에서 얼굴 및 몸체를 인식하고 검출하는 얼굴/신체 검출 모듈; 검출된 얼굴 및 몸체 정보를 기반으로, 얼굴인식인 경우, 눈, 코, 입을 감지하여 표정을 인식하고 인식된 표정을 재현하는 마스크를 생성하고, 몸체 인식인 경우, 팔, 다리, 몸통을 인식하여 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성하는 표정/모션 인식모듈; 및 생성된 마스크와 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성하는 정합모듈; 을 포함한다.

Description

가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버 {LIVE SOCIAL MEDIA SYSTEM FOR USING VIRTUAL HUMAN AWARENESS AND REAL-TIME SYNTHESIS TECHNOLOGY, SERVER FOR AUGMENTED SYNTHESIS}
소셜 미디어 시스템 및 증강 합성 서버에 관한 것으로 구체적으로, 가상 휴먼 인식 기술 및 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템과 증강합성 서버에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
증강현실(Augmented Reality) 기술이란 컴퓨터 그래픽 기술을 사용하여 현실과 유사한 또는 현실과 동떨어진 가상의 공간을 생성하는 가상 현실(Virtual Reality) 기술에서 파생된 기술 분야로써, 현실 공간(Reality)과 가상공간을 일치화시켜, 현실에 가상의 물체를 합성하여 그 합성된 가상의 물체가 원래 현실 공간에 존재하는 것처럼 보이도록 하는 기술을 말한다. 그래픽 기술의 발전으로 현실보다 더 현실 같은 가상 공간을 생성하지만, 이질감이 느껴지는 가상 현실 기술과는 달리, 증강 현실 기술은 현실 공간 위에 가상의 물체를 합성하여 중첩하여 보여주므로, 이질감이 적을 뿐 아니라, 현실 공간에서는 얻을 수 없는 부가적인 정보나 가상의 물체를 증강하여 현실 공간을 콘텐츠의 목적에 맞는 공간으로 보강할 수 있는 특징이 있다.
그래픽 기술과 함께 디스플레이 기기의 발전으로 증강현실 기술은 게임, 운전 등 일상생활에서 활용되는 범위가 확대되고 있다. 하지만, 종래 증강현실 기술은 단순히 새로운 그래픽을 생성해 이미지에 부가하는 형태가 대부분이다. 구체적으로, 이미지와 이미지에 포함된 객체의 위치 및 객체의 움직임 변화를 고려하지 않고 생성된 가상 이미지를 부가하는 형태이기 때문에, 가상 이미지와 사용자와의 상호작용이 어렵고, 원본 이미지의 변화를 고려한 가상 이미지를 생성하기 어려운 문제가 있다.
1. 한국 특허공개 제 10-2016-0091402 호(2016.08.02)
이미지에서 얼굴과 신체를 인식하고 인식된 정보를 기반으로 표정 및 모션을 파악하여 표정과 모션에 대응하는 마스크를 생성한다. 이후, 마스크와 이미지를 합성하는 소셜 미디어에 송출하는 증강합성 데이터 생성 서버 및 소셜 미디어 시스템을 제공한다.
하나의 실시예로서, 가상 휴먼 인식 및 실시간 증강 합성 데이터 생성 서버는 스마트 단말을 포함하는 컴퓨팅 기기로부터 전달 받은 이미지에서 얼굴 및 몸체를 인식하고 검출하는 얼굴/신체 검출 모듈; 검출된 얼굴 및 몸체 정보를 기반으로, 얼굴인식인 경우, 눈, 코, 입을 감지하여 표정을 인식하고 인식된 표정을 재현하는 마스크를 생성하고, 몸체 인식인 경우, 팔, 다리, 몸통을 인식하여 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성하는 표정/모션 인식모듈; 및 생성된 마스크와 상기 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성하는 정합모듈; 을 포함한다.
다른 실시예로서, 가상 휴먼 인식 및 실시간 증강 합성 데이터 생성 시스템은 카메라로 얼굴 및 신체 이미지를 획득하여 증강합성 데이터 생성 서버로 전송하는 스마트 기기; 스마트 기기로부터 전달받은 이미지에서 얼굴과 신체를 감지하고, 감지된 얼굴, 신체 정보에서 표정과 모션을 파악하여 파악된 표정과 모션에 대응하는 마스크를 생성하여 생성된 마스크와 이미지를 합성하여 스마트 기기로 전송하는 증강합성 데이터 생성 서버; 를 포함한다.
다른 실시예로서, 가상 휴먼 인식 및 실시간 증강 합성 데이터 생성 방법은 얼굴/신체 검출 모듈에서 스마트 단말을 포함하는 컴퓨팅 기기로부터 전달 받은 이미지에서 얼굴 및 몸체를 인식하고 검출하는 단계; 표정/모션 인식모듈에서 검출된 얼굴 및 몸체 정보를 기반으로, 얼굴인식인 경우, 눈, 코, 입을 감지하여 표정을 인식하고 인식된 표정을 재현하는 마스크를 생성하고, 몸체 인식인 경우, 팔, 다리, 몸통을 인식하여 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성하는 단계; 및 정합모듈에서 생성된 마스크와 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성하는 단계; 를 포함한다.
이상에서와 같은 증강합성 데이터 생성 서버 및 소셜 미디어 시스템은 서버에 입력되는 이미지에서 얼굴과 신체의 표정변화 및 움직임을 인식하고 인식 결과에 따라 마스크를 생성함으로써 이미지 변화에 대응 가능한 증강합성 데이터를 생성할 수 있다.
서버에 입력되는 이미지에 포함된 객체의 움직임(표정변화, 모션, 포즈 등)변화를 고려하여 이미지를 마스킹 함으로써 더욱 실감나는 증강현실을 제공할 수 있다.
도 1은 실시예에 따른 라이브 소셜 미디어 시스템의 시스템 구성을 나타낸 도면
도 2는 실시예에 따른 증강합성 데이터 생성 서버(100)의 대략적인 구성을 나타낸 블록도
도 3은 실시예에 따른 증강합성 데이터 생성 서버(100)의 구체적인 구성을 나타낸 블록도
도 4는 증강합성 데이터 생성 서버(100) 기술 구성요소가 수행하는 기능을 설명하기 위한 도면
도 5는 증강 합성 데이터 생성을 위한 데이터 처리 흐름을 나타낸 흐름도
도 6 내지 도 7은 실시예에 따른 증강합성 데이터 생성 시스템이 활용 예를 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 실시예에 따른 라이브 소셜 미디어 시스템의 시스템 구성을 나타낸 도면이다.
도 1을 참조하면, 소셜 미디어 시스템은 스마트 기기(200), 증강합성 데이터 생성 서버(100), 컨텐츠 라이브러리(300) 및 송출장치(400)를 포함하여 구성 될 수 있다.
스마트 기기(200)는 카메라로 얼굴 및 신체 이미지를 획득하여 증강합성 데이터 생성 서버(100)로 전송한다. 스마트 기기(200)는 카메라 및 통신 모듈을 포함하는 스마트 폰과, 웹 카메라, 마이크, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 즉, 스마트 기기(200)는 유무선 통신망을 경유하여 증강합성 데이터 생성 서버(100)에 접속하기 위한 특정 어플리케이션을 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 스마트 기기(100)는 카메라를 구비한 개인 PC인 것이 일반적이지만, 증강합성 데이터 생성 서버(100)와 서버-클라이언트 통신이 가능하다면 그 어떠한 단말기도 가능하며, 이미지나 동영상을 전송할 수 있는 노트북 컴퓨터, 이동통신 단말기, PDA 등 여하한 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다.
증강합성 데이터 생성 서버(100)는 스마트 기기(200)로부터 전달받은 이미지에서 얼굴과 신체를 감지하고, 감지된 정보로 표정과 모션을 파악하여 이미지 안 객체의 표정과 모션에 대응하는 마스크를 생성하여 생성된 마스크와 이미지를 합성하여 스마트 기기(200) 또는 송출장치(400)으로 전송한다.
컨텐츠 라이브러리(300)는 이미지에 합성되는 마스크 및 배경 그래픽을 여러 창작자로부터 수집하여 저장한다. 여러 창작자들은 자신의 스마트 단말 또는 컴퓨터를 통해 마스크 및 배경 그래픽 등 창작 컨텐츠를 컨텐츠 라이브러리(300)에 업로드 할 수 있다. 컨텐츠 라이브러리(300)는 업로드 된 창작 컨텐츠를 증강합성 데이터 생성 서버(100)로 전송하여 이미지에 마스크 합성 시 창작 컨텐츠를 이용 할 수 있도록 한다.
송출장치(400)는 증강합성 데이터 생성 서버(100)로부터 실시간으로 증강 합성 효과가 적용된 이미지 및 영상을 전달 받아, 전달받은 이미지 및 영상을 이용한 방송을 송출한다.
도 2는 실시예에 따른 증강합성 데이터 생성 서버(100)의 대략적인 구성을 나타낸 블록도이다.
도 2를 참조하면, 증강합성 데이터 생성 서버(100)는 얼굴/신체 검출 모듈(110), 표정/모션 인식 모듈(120) 및 정합모듈(130)을 포함하여 구성될 수 있다.
얼굴/신체 검출 모듈(110)은 스마트 단말을 포함하는 컴퓨팅 기기로부터 전달 받은 이미지에서 얼굴 및 몸체를 검출한다. 예컨대, 얼굴/신체 검출 모듈(110) 스마트 기기(200)로부터 전달받은 이미지의 에지 추출 등을 수행하여 이미지에 포함된 객체와 서버에 기 저장된 이미지 데이터를 비교하여 비교 결과에 따라 이미지에서 얼굴 및 몸체를 검출 할 수 있다.
표정/모션 인식 모듈(120)은 검출된 얼굴 및 몸체 정보를 기반으로, 얼굴이 인식된 경우, 눈, 코, 입을 감지하여 표정을 인식하고, 인식된 표정을 재현하는 마스크를 생성한다. 표정/모션 인식 모듈(120)에서 몸체가 인식된 경우에는 팔, 다리, 몸통 등을 포함하는 신체 기관을 인식하여 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성한다.
정합모듈(130)은 생성된 마스크와 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성한다. 실시예에 따른 증강합성 데이터는 스마트 기기에서 전송된 이미지에 이미지 안 객체에 따라 가상으로 생성된 마스크 또는 배경이 합성된 데이터 일 수 있다.
도 3은 실시예에 따른 증강합성 데이터 생성 서버(100)의 구체적인 구성을 나타낸 블록도이고, 도 4는 증강합성 데이터 생성 서버(100) 기술 구성요소가 수행하는 기능을 설명하기 위한 도면이다. 이해를 돕기 위해 도 3내지 도 4를 함께 설명한다.
도 3을 참조하면, 얼굴/신체 검출 모듈(110)은 방향 감지부(111) 및 트래킹부(113)을 포함하여 구성될 수 있고, 표정/모션 인식 모듈(120)은 랜드마크 추출부(121), 연산부(123) 및 마스크 생성부(125)를 포함하여 구성될 수 있고, 정합모듈(130)은 마스크 피팅부(131), 마스크 합성부(133) 및 랜더링부(135)를 포함하여 구성될 수 있다.
얼굴/신체 검출 모듈(110)의 방향 감지부(111)는 스마트 기기(200)로부터 전달받은 이미지에 포함된 얼굴과 신체의 회전된 정도를 감지한다. 예컨대, 방향 감지부(111)는 얼굴과 신체에 의해 형성되는 윤곽선을 추출하여 정면 기준 축을 중심으로 윤곽선에 의해 형성되는 얼굴과 신체의 회전 정도를 감지 할 수 있다.
트래킹부(113)는 감지된 얼굴과 신체의 방향 정보를 이용하여 얼굴 윤곽선 및 신체 경계선으로 얼굴과 신체의 움직임을 감지하고, 눈, 코, 입을 포함하는 이목구비 및 팔, 다리, 몸통의 움직임을 트래킹(tracking)한다. 예컨대, 도 4에 도시된 바와 같이, 트래킹부(113)는 인식된 눈, 코, 입 사이의 거리 및 얼굴 윤곽선 형태 변화를 분석하여 눈, 코, 입 및 얼굴 움직임 변화를 감지할 수 있다.
표정/모션 인식 모듈(120)의 랜드마크 추출부(121)는 얼굴/신체 검출 모듈(120)로부터, 팔, 다리, 몸통의 움직임 및 이목구비 움직임 트래킹 정보를 전달받아 눈, 코, 입의 경계선 변화, 에지 변화, 팔, 다리, 몸통의 경계선 변화, 에지 변화를 포함하는 표정 및 모션 변화를 생성하는 요소인 랜드 마크를 추출한다. 실시예에 있어서, 랜드 마크는 얼굴 윤곽선 및 눈, 코, 입의 경계선에 포함되는 적어도 하나의 포인트로서 표정 및 모션 변화를 파악할 수 있는 지점 및 표정과 모션 변화 시 포인트 위치의 변화가 가장 급격한 지점일 수 있다.
연산부(123)는 추출된 랜드 마크를 수집하여 수집된 랜드 마크의 위치와 표정 및 모션 정보 별 랜드 마크 위치를 비교 연산하여, 이미지에 포함된 얼굴 표정 및 포즈를 감지한다.
마스크 생성부(125)는 연산된 표정과 포즈의 마스크를 생성한다. 도 4에 도시된 바와 같이, 인식된 표정과 모션을 그대로 재현하여 스마트 기기(100)로부터 전달된 이미지에 병합되는 마스크를 생성한다. 마스크는 다른 사람의 얼굴, 동물, 그림, 캐릭터 등 얼굴 및 신체에 병합 될 수 있는 각종 그래픽 이미지를 포함한다. 더불어 마스크는 배경, 소품 등 이미지에 부가 될 수 있는 각종 객체의 그래픽을 포함할 수 있다.
정합모듈(130)의 마스크 피팅부(131)는 생성된 마스크의 크기를 전달받은 이미지에 포함된 얼굴과 몸체에 피팅되는 크기로 조정한다.
마스크 합성부(133)는 크기가 조정된 마스크를 스마트 단말(200)로부터 전달받은 이미지와 합성한다. 그러면 도 4에 도시된 바와 같이, 마스크와 이미지가 정합된 데이터가 생성된다. 실시예에 있어서, 정합 이후 마스크는 이미지 안의 눈, 코, 입 및 얼굴이 움직일 때마다 이에 대응하여 변화 할 수 있다.
랜더링부(135)는 마스크와 이미지가 합성된 데이터를 랜더링(landering)한다. 랜더링은 2차원의 화상에 광원, 위치, 색상 등 외부 정보를 고려하여 사실감을 불어넣어, 3차원 화상을 만드는 과정이다. 이후, 증강합성 데이터 생성 서버(100)는 마스크가 합성된 3차원 이미지를 스마트 기기 및 방송 서버로 송출한다.
이하에서는 증강 합성 데이터 생성 방법에 대해서 차례로 설명한다. 실시예에 따른 증강 합성 데이터 생성 방법의 작용(기능)은 증강합성 데이터 생성 서버 및 시스템상의 기능과 본질적으로 같은 것이므로 도 1 내지 도 4와 중복되는 설명은 생략하도록 한다.
도 5는 증강 합성 데이터 생성을 위한 데이터 처리 흐름을 나타낸 흐름도이다.
스마트 기기, 웹 카메라 등 이미지 입력 장치로부터 이미지와 동영상을 포함하는 입력 신호를 수신한다(S510). 수신 이후, 입력된 이미지에서 얼굴 및 몸체를 검출한다(S520). 예컨대 얼굴 및 몸체 검출을 위해, 기 전달받은 이미지에 포함된 얼굴과 신체의 회전된 정도를 감지하고, 감지된 얼굴과 신체의 방향 정보를 이용하여 얼굴 윤곽선 및 신체 경계선을 파악하고, 얼굴 윤곽선 및 신체 경계선 정보를 기반으로 얼굴과 신체의 움직임을 감지하고, 눈, 코, 입을 포함하는 이목구비 및 팔, 다리, 몸통의 움직임을 트래킹 하여 트래킹 결과에 따라 얼굴 및 몸체를 검출한다.
얼굴이 검출 된 경우, 눈, 코, 입을 감지하여 표정을 인식하고, 몸체가 검출된 경우 팔, 다리, 몸통을 인식하여 모션을 감지한다(S530).
이후 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성한다(S540). 구체적으로, 팔, 다리, 몸통의 움직임 및 이목구비 움직임 트래킹 정보를 전달받아 눈, 코, 입의 경계선 변화, 에지 변화, 팔, 다리, 몸통의 경계선 변화, 에지 변화를 포함하는 표정 및 모션 변화를 생성하는 요소인 랜드 마크를 추출하고, 추출된 랜드 마크를 수집하여 상기 이미지에 포함된 얼굴 표정 및 포즈를 연산하고, 연산된 표정과 포즈의 마스크를 생성할 수 있다.
마스크가 생성된 후에는 생성된 마스크와 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성한다(S550). 구체적으로 증강합성 데이터를 생성하는 과정은 생성된 마스크의 크기를 전달받은 이미지에 포함된 얼굴과 몸체에 피팅되는 크기로 조정하고, 크기가 조정된 마스크를 이미지와 합성하는 과정 및 마스크와 이미지가 합성된 데이터를 랜더링(landering)하는 과정을 포함할 수 있다.
도 6 내지 도 7은 실시예에 따른 증강합성 데이터 생성 시스템이 활용 예를 나타낸 도면이다.
도 6에 도시된 바와 같이, 증강합성 데이터 생성 서버(100)는 웹 카메라 등과 같은 컴퓨팅 기기로부터 얼굴 및 신체 이미지를 입력하면 얼굴의 특징 점(예컨대, 눈, 코, 입 경계선 및 얼굴 윤관선)을 트래킹하고, 환경 이미지를 분석하여 이미지에 합성될 마스크를 생성하고 생성된 마스크가 얼굴 및 신체에 합성된 이미지를 방송으로 송출 할 수 있다. 또한, 이미지에 마스킹 되는 그래픽 컨텐츠를 창작하는 창작자로부터 그래픽 컨텐츠를 업로드 받는 컨텐츠 라이브러리에서 이미지에 마스킹 되는 각종 그래픽 이미지(예컨대, 표정, 캐릭터, 모자, 안경, 배경, 소품 등)를 다운 받아 이미지 합성에 활용 할 수 있다. 그러면 도 7에 도시된 바와 같이, 여러 창작자에 의해 창작된 그래픽이 이미지에 마스킹 된 증강합성 데이터가 이미지 및 영상의 형태로 라이브 소셜 방송으로서 송출 될 수 있다.
이상에서와 같은 증강합성 데이터 생성 서버 및 소셜 미디어 시스템은 서버에 입력되는 이미지에서 얼굴과 신체의 표정변화 및 움직임을 인식하고 인식 결과에 따라 마스크를 생성함으로써 이미지 변화에 대응 가능한 증강합성 데이터를 생성할 수 있다.
서버에 입력되는 이미지에 포함된 객체의 움직임(표정변화, 모션, 포즈 등)변화를 고려하여 이미지를 마스킹 함으로써 더욱 실감나는 증강현실을 제공할 수 있다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
110: 얼굴/신체 검출 모듈
111: 방향 감지부 113: 트래킹부
120: 표정/모션 인식 모듈
121: 랜드마크 추출부
123: 연산부
125: 마스크 생성부
130: 정합모듈
131: 마스크 피팅부
133: 마스크 합성부
135: 랜더링부

Claims (13)

  1. 가상 휴먼 인식 및 실시간 증강 합성 데이터 생성 서버에 있어서,
    스마트 단말을 포함하는 컴퓨팅 기기로부터 전달 받은 이미지에서 얼굴 및 몸체를 인식하고 검출하는 얼굴/신체 검출 모듈;
    상기 검출된 얼굴 및 몸체 정보를 기반으로, 얼굴인식인 경우, 눈, 코, 입을 감지하여 표정을 인식하고 인식된 표정을 재현하는 마스크를 생성하고, 몸체 인식인 경우, 팔, 다리, 몸통을 인식하여 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성하는 표정/모션 인식모듈; 및
    상기 생성된 마스크와 상기 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성하는 정합모듈; 을 포함하는 증강합성 데이터 생성 서버.
  2. 제 1항에 있어서, 상기 얼굴/신체 검출 모듈은
    상기 전달받은 이미지에 포함된 얼굴과 신체의 회전된 정도를 감지하는 방향 감지부;
    감지된 얼굴과 신체의 방향 정보를 이용하여 얼굴 윤곽선 및 신체 경계선을 파악하여 얼굴과 신체의 움직임을 감지하고, 눈, 코, 입을 포함하는 이목구비 및 팔, 다리, 몸통의 움직임을 트래킹 하는 트래킹부; 를 포함하는 것을 특징으로 하는 실시간 증강 합성 데이터 생성 서버.
  3. 제 1항에 있어서, 상기 표정/모션 인식모듈; 은
    상기 얼굴/신체 검출 모듈로부터, 팔, 다리, 몸통의 움직임 및 이목구비 움직임의 트래킹 정보를 전달받아 눈, 코, 입의 경계선 변화, 에지 변화, 팔, 다리, 몸통의 경계선 변화, 에지 변화를 포함하는 표정 및 모션 변화를 감지하는 요소인 랜드 마크를 추출하는 랜드 마크 추출부;
    상기 추출된 랜드 마크를 수집하여 기 저장된 표정 및 모션의 랜드마크 와 비교하여 상기 이미지에 포함된 얼굴 표정 및 포즈를 파악하는 연산부; 및
    상기 파악된 표정과 포즈에 대응하는 마스크를 생성하는 마스크 생성부; 를 포함하는 것을 특징으로 하는 실시간 증강합성 데이터 생성 서버.
  4. 제 1항에 있어서, 상기 정합모듈은
    생성된 마스크의 크기를 상기 전달받은 이미지에 포함된 얼굴과 몸체에 피팅되는 크기로 조정하는 마스크 피팅부;
    상기 크기가 조정된 마스크를 이미지와 합성하는 마스크 합성부; 및
    마스크와 이미지가 상기 합성된 데이터를 랜더링(landering)하는 랜더링부; 를 포함하는 것을 특징으로 하는 실시간 증강 합성 데이터 생성 서버.
  5. 가상 휴먼 인식 및 실시간 증강 합성 데이터 생성 시스템에 있어서,
    카메라로 얼굴 및 신체 이미지를 획득하여 증강합성 데이터 생성 서버로 전송하는 스마트 기기;
    상기 스마트 기기로부터 전달받은 이미지에서 얼굴과 신체를 감지하고, 감지된 얼굴, 신체 정보에서 표정과 모션을 파악하여 상기 파악된 표정과 모션에 대응하는 마스크를 생성하여 상기 생성된 마스크와 이미지를 합성하여 상기 스마트 기기로 전송하는 증강합성 데이터 생성 서버; 를 포함하는 실시간 증강 합성 데이터 생성 시스템.
  6. 제 5항에 있어서, 상기 실시간 증강 합성 데이터 생성 서버는,
    스마트 단말을 포함하는 컴퓨팅 기기로부터 전달 받은 이미지에서 얼굴 및 몸체를 인식하고 검출하는 얼굴/신체 검출 모듈;
    상기 검출된 얼굴 및 몸체 정보를 기반으로, 얼굴인식인 경우, 눈, 코, 입을 감지하여 표정을 인식하고 인식된 표정을 재현하는 마스크를 생성하고, 몸체 인식인 경우, 팔, 다리, 몸통을 인식하여 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성하는 표정/모션 인식모듈;
    상기 생성된 마스크와 상기 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성하는 정합모듈; 을 포함하는 것을 특징으로 하는 실시간 증강합성 데이터 생성 시스템.
  7. 제 6항에 있어서, 상기 얼굴/신체 검출 모듈은
    상기 전달받은 이미지에 포함된 얼굴과 신체의 회전된 정도를 감지하는 방향 감지부;
    감지된 얼굴과 신체의 방향 정보 및 얼굴 윤곽선, 신체 경계선 정보를 이용하여 얼굴과 신체의 움직임을 감지하고, 눈, 코, 입을 포함하는 이목구비 및 팔, 다리, 몸통의 움직임을 트래킹 하는 트래킹부; 를 포함하는 것을 특징으로 하는 실시간 증강합성 데이터 생성 시스템.
  8. 제 6항에 있어서, 상기 표정/모션 인식모듈; 은
    상기 얼굴/신체 검출 모듈로부터, 팔, 다리, 몸통의 움직임 및 이목구비 움직임 트래킹 정보를 전달받아 눈, 코, 입의 경계선 변화, 에지 변화, 팔, 다리, 몸통의 경계선 변화, 에지 변화를 포함하는 표정 및 모션 변화를 감지하는 요소인 랜드 마크를 추출하는 랜드 마크 추출부;
    상기 추출된 랜드 마크를 수집하여 수집된 랜드 마크와 기 저장된 표정 및 모션 별 랜드마크를 비교하여 상기 이미지에 포함된 얼굴 표정 및 모션을 파악하는 연산부; 및
    상기 파악된 표정과 포즈의 마스크를 생성하는 마스크 생성부; 를 포함하는 것을 특징으로 하는 실시간 증강합성 데이터 생성 시스템.
  9. 제 6항에 있어서, 상기 정합모듈은
    생성된 마스크의 크기를 상기 전달받은 이미지에 포함된 얼굴과 몸체에 피팅되는 크기로 조정하는 마스크 피팅부;
    상기 크기가 조정된 마스크를 이미지와 합성하는 마스크 합성부; 및
    마스크와 이미지가 상기 합성된 데이터를 랜더링(landering)하는 랜더링부; 를 포함하는 것을 특징으로 하는 실시간 증강 합성 데이터 생성 시스템.
  10. 가상 휴먼 인식 및 실시간 증강 합성 데이터 생성 방법에 있어서,
    얼굴/신체 검출 모듈에서 스마트 단말을 포함하는 컴퓨팅 기기로부터 전달 받은 이미지에서 얼굴 및 몸체를 인식하고 검출하는 단계;
    표정/모션 인식모듈에서 상기 검출된 얼굴 및 몸체 정보를 기반으로, 얼굴인식인 경우, 눈, 코, 입을 감지하여 표정을 인식하고 인식된 표정을 재현하는 마스크를 생성하고, 몸체 인식인 경우, 팔, 다리, 몸통을 인식하여 인식 정보를 기반으로 휴먼모션을 재현하는 마스크를 생성하는 단계; 및
    정합모듈에서 상기 생성된 마스크와 상기 전달받은 이미지 데이터를 정합하여 증강합성 데이터를 생성하는 단계; 를 포함하는 증강합성 데이터 생성 방법.
  11. 제 10항에 있어서, 상기 얼굴 및 몸체를 검출하는 단계; 는
    상기 전달받은 이미지에 포함된 얼굴과 신체의 회전된 정도를 감지하는 단계;
    감지된 얼굴과 신체의 방향 정보와 얼굴 윤곽선 및 신체 경계선을 이용하여 얼굴과 신체의 움직임을 감지하고, 눈, 코, 입을 포함하는 이목구비 및 팔, 다리, 몸통의 움직임을 트래킹 하는 단계; 를 포함하는 것을 특징으로 하는 실시간 증강 합성 데이터 생성 방법.
  12. 제 10항에 있어서, 상기 마스크를 생성하는 단계; 는
    상기 얼굴/신체 검출 모듈로부터, 팔, 다리, 몸통의 움직임 및 이목구비 움직임 트래킹 정보를 전달받아 눈, 코, 입의 경계선 변화, 에지 변화, 팔, 다리, 몸통의 경계선 변화, 에지 변화를 포함하는 표정 및 모션 변화를 생성하는 요소인 랜드 마크를 추출하는 단계;
    상기 추출된 랜드 마크를 수집하여 상기 이미지에 포함된 얼굴 표정, 모션 및 포즈를 파악하는 단계; 및
    상기 파악된 표정, 모션 및 포즈의 마스크를 생성하는 단계; 를 포함하는 것을 특징으로 하는 실시간 증강합성 데이터 생성 방법.
  13. 제 10항에 있어서, 상기 증강합성 데이터를 생성하는 단계; 는
    생성된 마스크의 크기를 상기 전달받은 이미지에 포함된 얼굴과 몸체에 피팅되는 크기로 조정하는 단계;
    상기 크기가 조정된 마스크를 이미지와 합성하는 단계; 및
    마스크와 이미지가 상기 합성된 데이터를 랜더링(landering)하는 단계; 를 포함하는 것을 특징으로 하는 실시간 증강 합성 데이터 생성 방법.
KR1020170001733A 2017-01-05 2017-01-05 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버 KR101894955B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170001733A KR101894955B1 (ko) 2017-01-05 2017-01-05 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170001733A KR101894955B1 (ko) 2017-01-05 2017-01-05 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버

Publications (2)

Publication Number Publication Date
KR20180080783A true KR20180080783A (ko) 2018-07-13
KR101894955B1 KR101894955B1 (ko) 2018-09-05

Family

ID=62913447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170001733A KR101894955B1 (ko) 2017-01-05 2017-01-05 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버

Country Status (1)

Country Link
KR (1) KR101894955B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200132241A (ko) 2019-05-16 2020-11-25 주식회사 삼십구도씨 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN112613474A (zh) * 2020-12-30 2021-04-06 珠海大横琴科技发展有限公司 一种行人重识别的方法和装置
CN113507621A (zh) * 2021-07-07 2021-10-15 上海商汤智能科技有限公司 直播方法、装置、系统、计算机设备以及存储介质
WO2021242022A1 (ko) * 2020-05-27 2021-12-02 삼성전자 주식회사 3차원 객체에 2차원 객체를 합성하기 위한 전자 장치, 전자 장치의 동작 방법 및 비일시적 저장 매체

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102200239B1 (ko) * 2018-09-07 2021-01-08 (주)위지윅스튜디오 실시간 cg 영상 방송 서비스 시스템
CN109812941B (zh) * 2019-01-18 2020-01-03 曲阜师范大学 人脸识别式驱动机构
KR102024551B1 (ko) 2019-05-31 2019-09-25 (주)온넷시스템즈코리아 사용자의 하드웨어 사양에 상관없이 ar, vr, xr 및 mr을 포함하는 이기종 어플리케이션에 대한 실시간 스트리밍 서비스가 가능한 클라우드 플랫폼
KR102415226B1 (ko) 2021-11-15 2022-06-29 최예진 사용 편의성을 향상시킨 유아용 웨건

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009123018A (ja) * 2007-11-15 2009-06-04 Canon Inc 画像処理装置、画像処理方法
JP2012078526A (ja) * 2010-09-30 2012-04-19 Xing Inc カラオケシステム
KR20160091402A (ko) 2013-11-27 2016-08-02 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009123018A (ja) * 2007-11-15 2009-06-04 Canon Inc 画像処理装置、画像処理方法
JP2012078526A (ja) * 2010-09-30 2012-04-19 Xing Inc カラオケシステム
KR20160091402A (ko) 2013-11-27 2016-08-02 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
일본 공개특허공보 특개2009-123018호(2009.06.04.) 1부. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200132241A (ko) 2019-05-16 2020-11-25 주식회사 삼십구도씨 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2021242022A1 (ko) * 2020-05-27 2021-12-02 삼성전자 주식회사 3차원 객체에 2차원 객체를 합성하기 위한 전자 장치, 전자 장치의 동작 방법 및 비일시적 저장 매체
CN112613474A (zh) * 2020-12-30 2021-04-06 珠海大横琴科技发展有限公司 一种行人重识别的方法和装置
CN113507621A (zh) * 2021-07-07 2021-10-15 上海商汤智能科技有限公司 直播方法、装置、系统、计算机设备以及存储介质

Also Published As

Publication number Publication date
KR101894955B1 (ko) 2018-09-05

Similar Documents

Publication Publication Date Title
KR101894955B1 (ko) 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버
US11790589B1 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
US11736756B2 (en) Producing realistic body movement using body images
US11783524B2 (en) Producing realistic talking face with expression using images text and voice
JP7200439B1 (ja) アバター表示装置、アバター生成装置及びプログラム
CN106896925A (zh) 一种虚拟现实与真实场景融合的装置
WO2015116388A2 (en) Self-initiated change of appearance for subjects in video and images
CN106997618A (zh) 一种虚拟现实与真实场景融合的方法
CN114821675B (zh) 对象的处理方法、系统和处理器
KR20120120858A (ko) 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
CN111199583B (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
KR20180118669A (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN111291674A (zh) 一种虚拟人物表情动作的提取方法、系统、装置及介质
CN115049016A (zh) 基于情绪识别的模型驱动方法及设备
KR20160049191A (ko) 헤드 마운티드 디스플레이 디바이스의 제공방법
US20230386147A1 (en) Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements
KR101189043B1 (ko) 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
CN115454256A (zh) 一种数字誓词碑装置
KR101321022B1 (ko) 증강 현실 구현 방법 및 증강 현실을 구현하는 컴퓨팅 장치 및 시스템
Morimoto Interactive digital mirror
CN111368853A (zh) 一种标签的构建方法、系统、装置及存储介质
KR20200052812A (ko) 가상 환경에 활동 캐릭터를 생성하기 위한 가상환경의 활동캐릭터 생성 방법
KR20200134623A (ko) 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치
US20240020901A1 (en) Method and application for animating computer generated images
WO2023151551A1 (zh) 视频图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant