KR102148151B1 - 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 - Google Patents

Abstract

소셜 미디어 네트워크에서 사용자 프로파일과 사실적으로 상호 작용하는 방법에 있어서, 상기 소셜 미디어 네트워크는 다양한 사용자 프로파일을 갖는 네트워크를 나타내며, 상기 사용자 프로파일은 다양한 수준으로 서로 연결되어 있거나 연결되어 있지 않고, 사용자 얼굴을 갖는 이미지를 포함하며, 상기 방법은 상기 소셜 미디어 네트워크상에서 사용자 프로파일 중 하나에 관련된 사용자 요청을 수신하며, 상기 사용자 요청은 상기 사용자 프로파일을 소유하는 상기 사용자와 상호 작용하기 위한 단계, 및 상기 사용자 요청을 분석하고, 상기 사용자 요청에 기초하여 사용자 프로파일 초기 정보 또는 사용자 프로파일 활동 정보 또는 그들의 조합 중 적어도 하나로부터 디스플레이 정보를 제공하는 단계를 포함한다.

Description

디지털 통신 네트워크에서 지능형 채팅

본 발명은 소셜 네트워크 또는 채팅 애플리케이션 상에서 개인의 이미지로 채팅하는 것에 관한 것으로, 사용자가 그 개인과 채팅할 의사가 없거나 채팅할 수 없을 때 채팅하는 것에 관한 것이다.

누군가와 통신하기 위해서는 개인은 물리적으로 상대방 앞에서 통신이 설정될 수 있어야 한다. 그러나 기술이 진보되고, 전화가 발전함에 따라서, 개인이 멀리 떨어져 있을 때조차도 통신을 할 수 있다. 이러한 통신은 제한적이고, 음성-대-음성 통신이었다. 이러한 시나리오를 처리하기 위하여, 화상 통신 및 화상 채팅과 같은 시설들이 나오고 있고, 이것을 통해서 서로 얼굴을 바라보면서 상대방이 개인과 실시간으로 이야기할 수 있다. 그와 같은 면-대-면 온라인 채팅을 위해서는, 먼저 개인은 채팅할 수 있어야 만하고, 채팅 상대방을 알아야 하고, 채팅 상대방이 그와의 채팅을 허락해야 한다.

또한, 팬들을 가진 유명인사들은, 유명인사는 한 번에 한 명씩과 직접 채팅할 수 있기 때문에 팬들 모두와 이야기할 수도 없고 모두와 접속할 수도 없는 시나리오가 있다.

발명의 목적은 개인이 오프라인이 있거나, 소셜 네트워크 구조상에서 타인에게 접속되지 않거나 알려지지 않은 경우 채팅을 가능하게 하는 것이다.

발명의 목적은 소셜 미디어 네트워크상에서 사용자 프로파일과 사실적으로 상호작용하며, 상기 소셜 미디어 네트워크는 다양한 사용자 프로파일을 가진 네트워크를 나타내며, 상기 사용자 프로파일은 다양한 수준의 관계를 하며 서로 접속되거나 접속되지 않으며, 상기 사용자 프로파일은 사용자 얼굴을 갖는 이미지를 포함하는 방법에 의하여 이루어진다. 상기 방법은:

상기 소셜 미디어 네트워크상에서 사용자 프로파일 중 하나에 관련된 사용자 요청을 수신하는 단계 - 상기 사용자 요청은 상기 사용자 프로파일을 소유하는 상기 사용자와 상호 작용하기위한 것임 -; 및

사용자 요청을 분석하고, 상기 사용자 요청에 기초하여 사용자 프로파일 초기 정보 또는 사용자 프로파일 활동 정보 중 적어도 하나 또는 그들의 조합으로부터 디스플레이 정보를 제공하는 단계를 구비하며,

상기 디스플레이 정보는 사용자의 얼굴을 보여주는 비디오 또는 애니메이션이며,

상기 사용자 프로파일 초기 정보는 상기 소셜 미디어 네트워크상에 상기 사용자 프로파일을 생성하는 동안 제공되거나 상기 사용자 프로파일에서 갱신되는 정보이고,

상기 사용자 프로파일 활동 정보는 상기 소셜 미디어 네트워크상의 상기 사용자 프로파일을 통해 상기 사용자에 의해 수행되는 다양한 활동들로부터 유도된 정보이고,

상기 사용자 프로파일 활동 정보는 상기 사용자 프로파일들 간의 관계 정보, 사용자 프로파일을 이용하여 게시된 콘텐츠, 다른 사용자 프로파일을 이용하여 게시된 콘텐츠의 공유, 또는 사용자 프로파일에 의해 게시된 콘텐츠의 주석 중 적어도 하나, 또는 이들의 조합을 포함한다.

본 발명에 따르면, 개인이 오프라인이 있거나, 소셜 네트워크 구조상에서 타인에게 접속되지 않거나 알려지지 않은 경우 채팅할 수 있다.

도 1은 소셜 네트워크상의 사람 연결을 나타내는 소셜 네트워크 배열을 도시한다.
도 2는 오프라인이거나 다른 사용자에게 접속되지 않은 사용자에 의해 채워지는 양식을 도시한다.
도 3은 프로파일 소유자가 사실적인 얼굴 표정을 가지고 통신하는 소셜 네트워크 프로파일 도면이다.
도 4는 프로파일 소유자가 사실적인 얼굴 표정과 몸동작을 가지고 통신하는 소셜 네트워크 프로파일 도면이다.
도 5는 프로파일 소유자 및 타인과의 통신이 사실적인 얼굴 표현과 사실적으로 상호작용하는 그들의 신체와 함께 보여주는 소셜 네트워크 프로파일 도면을 보여준다.
도 6은 한 사람에게 채팅하는 특정 시간 프레임에서 동작하는 다수의 채팅 창을 도시한다.
도 7a 내지 7c는 두 명의 프로파일 소유자가 서로 통신하는 예 및 다른 소유자와 통신하는 예를 도시한다.
도 8은 시스템 다이어그램을 도시한다.
도 9a 및 도 9b는 얼굴 표정들을 생성하기 위한 얼굴 부분들의 얼굴 특징과 세그먼테이션을 추출하기 위하여 학습 된 모델을 이용하여 이미지를 처리하여 결정된 사용자 얼굴 상의 얼굴 특징을 보여 주는 점들을 도시하고, 도 9c 내지 도 9f는 사용자 얼굴을 처리하여 생성되는 사용자 얼굴 상에 상이한 얼굴 표정들을 도시한다.
도 10a 및 도 10b은 얼굴의 전방 및 후방 이미지의 사용자 입력을 도시하고, 도 10c는 얼굴의 전방 및 후방 이미지의 사용자 입력과 얼굴 언랩(unwrap)을 도시한다.
도 11a 및 도 11b은 사용자 얼굴의 3D 모델 생성에 의하여 상이한 각도와 방향으로 생성된 얼굴을 도시한다.

발명의 실시 예에서, 발명은 다음과 같은 플로우로 구현된다:

● 사용자는 소셜 네트워킹 사이트(social networking site)에서 프로파일을 생성한다.

● 사용자는 얼굴이 있는 이미지/비디오를 입력한다.

● 사용자는 그에 대해 상세를 입력한다. 그 상세는 사회적, 전문적, 또는 일반적인 정보일 수 있다. 사용자 데이터는 텍스트/음성의 관점에서 질문에 대한 답변을 포함하며, 사용자는 그 답변에 대한 감정과 동작 명령을 연관시켜 답변을 하면서 특정 몸동작을 제공하거나 감정을 표현할 수 있다. 사용자는 질문에 답변하면서 그의 비디오를 사용할 수 있다.

● 사용자는 관계에 따라 설정을 상이하게 하여 특정 사용자에게 그 사람이 어떻게 연관되었는지, 친구인지, 익명의 존재인지에 기초하여 제한된 정보를 허락하며, 사용자는 소셜 미디어 시스템에서 임의의 사용자를 검색하고 오프라인 채팅을 요청하여 다른 사용자에 대해서 알도록 하며, 사용자의 애니메이션 캐릭터는 얼굴 표정 그리고/몸 동작을 가지고 답변할 수 있다.

온라인 채팅/통화가 발명의 일 구현을 통해서 가능할 수 있다.

데이터베이스는 이미지 처리를 위한 데이터베이스, 소셜 미디어 환경을 위한 데이터베이스, 인체 모델 생성을 위한 데이터베이스, 지원 라이브러리를 포함한다.

이미지 처리를 위한 데이터베이스는 이미지, 사용자의 얼굴 이미지, 사용자의 사전 조작된 이미지, 사용자의 신체 모델, 사용자의 3D 모델, 비디오/애니메이션, 미리 정의된 얼굴 위치를 갖는 비디오/애니메이션, 다른 캐릭터의 애니메이션의 이미지/비디오, 메이크업, 의류 및 액세서리 관련 이미지, 사용자 이미지/신체모델과 관련된 골격 정보 (skeleton information), 환경 이미지/비디오, 다수의 얼굴/몸으로 트레이닝하여 생성되고, 얼굴 및 신체 특징을 빠르게 추출하는데 돕는 트레이닝 모델 데이터를 포함한다.

소셜 미디어 환경을 위한 데이터베이스는 프로파일 데이터베이스, 활동 모듈, 프라이버시 (privacy) 모듈 및 관계 데이터베이스를 포함한다.

프로파일 데이터베이스는 사용자 각자와 관련된 데이터를 저장하기 위해 제공된다. 이 데이터에는 표현 및 제한된 권한이 있거나 없는 텍스트 및/또는 음성 및 /또는 비디오에서의 정보를 포함한다. 상기 프로파일 데이터베이스는 사용자에 대한 AI 기반 학습에 의해 생성된 트레이닝 모델을 더 포함하며, 상기 트레이닝 모델은 사용자로부터의 활동 또는 다른 입력을 이용하여 점진적으로 업데이트된다.

활동 모듈은 뉴스, 엔터테인먼트 미디어 게시물, 친구 및 무작위 사용자의 정보에 액세스하는 것과 관련된 소셜 네트워킹 웹 사이트상에서 사용자 활동을 추적한다.

프라이버시 모듈은 관계 및 프라이버시 설정에 기초하여 사용자에 관한 제한된 정보를 다른 사용자가 보도록 허락한다,

관계 데이터베이스는 사용자와 관련 있는 어딘가에 있는 다른 프로파일의 링크를 저장한다.

인체 모델 생성을 위한 데이터베이스는 다른 인체(들)의 이미지(들), 사진(들), 의복/액세서리의 이미지(들), 배경 이미지, 및 음영 생성을 위한 이미지 및/또는 사용자 입력으로서 사용자에 의하여 제공되거나 사용자 입력을 처리함으로써 생성하는 인체 정보를 포함하는 사용자 정보를 포함하고, 다음번 로그인 확인시 사용자를 확인할 때 이용될 수 있으며, 사용자가 사용자 신체 모델 생성을 다시 요구하지 않고 사용자 신체 모델을 사용자 데이터로부터 획득할 수 있도록 하고 사용자 신체 모델에 옷을 입힐 수 있도록 하는 사용자 이미지, 및/또는 다음에 이용될 수 있는 사용자 이미지를 처리한 후 생성된 사용자 신체를 포함하는 사용자 데이터, 그리고 또는 애니메이션을 제공할 수 있는 리그(rig)를 이용하여 생성된 그래픽 형태의 사용자 신체 부를 포함하며, 사용자 얼굴을 이용한 처리 동안 옷을 입는 사용자 신체를 생성하여, 애니메이션 또는 몸동작을 보여줄 수 있는 그래픽 데이터를 포함한다. 여기에서, 인체 정보는 인체 정보는 사람의 이미지에서 사람의 얼굴의 방향, 사람의 이미지에서의 사람의 신체의 방향, 사람의 이미지에서 사람의 피부 색조, 인체 부위의 유형, 사람의 이미지에서, 하나 이상의 인체 부위의 위치 및 기하학적인 구조, 인체/인체 부위의 형태, 사람의 크기, 사람의 몸무게, 사람의 크기, 얼굴 특징 정보, 얼굴 인근의 특징부 중 적어도 하나 또는 그들의 조합을 포함한다.

얼굴 특징 정보는 적어도 얼굴, 눈, 턱, 목, 입술, 코 또는 귀, 또는 이들의 조합 의 형상 또는 위치를 포함한다.

지원 라이브러리는 다음과 같이 설명되는 하나 이상의 라이브러리를 포함한다. 얼굴 특징 추출 학습 모델, 골격 정보 추출 모델, 감정 및 동작 명령의 트리 거에 의해 얼굴/몸 부분에 애니메이션을 생성하는 도구, 이때, 감정 및 동작 명령은 클라이언트 장치, 애니메이션 생성 엔진, 골격 (skeleton) 애니메이션 생성 엔진, 얼굴 인식 엔진, 골격 정보 추출 엔진, 텍스트-대-음성 변환 엔진, 사용자의 텍스트 음성 변환을 위한 음성 샘플 세트로부터의 음성 학습 엔진, 이미지 모핑 (morphing) 엔진, 입력 음성에 기반을 둔 입술 및 표정 생성 엔진, 주어진 비디오로부터 얼굴 방향 및 표정을 발견하는 엔진, 얼굴 방향 인식 및 매칭 모델, 라이브 비디오로부터 얼굴 특징/립싱(lipsing) 추출 모델, 이미지 내의 얼굴마다 메이크업/의류 액세서리 이미지를 입히거나 또는 크기 조정하는 도구, 이미지로부터 3D 얼굴/몸체 생성 엔진, 이미지 병합/혼합을 위한 라이브러니, 사용자 얼굴의 앞면과 옆면 이미지를 사용하는 3D 모델 생성을 위한 라이브러리, 옷을 입은 채로 또는 옷을 입지 않은 채로 사용자 신체에 리깅(rigging) 생성 모델, 자연어 처리 라이브러리, 인공 지능 기반 학습 엔진에 있는 이모티콘(smiley), 텍스트, 심볼일 수 있다.

일 실시 예에서; 소셜 미디어 네트워크에서 사용자 프로파일과 사실적으로 상호 작용하는 방법에 있어서, 상기 소셜 미디어 네트워크는 다양한 사용자 프로파일을 갖는 네트워크를 나타내며, 여기에서, 상기 사용자 프로파일은 다양한 수준으로 서로 연결되어 있거나 연결되어 있지 않고, 사용자 얼굴 형상의 이미지를 포함하며, 상기 방법은:

상기 소셜 미디어 네트워크상에서 사용자 프로파일 중 하나에 관련된 사용자 요청을 수신하는 단계 - 상기 사용자 요청은 상기 사용자 프로파일을 소유하는 상기 사용자와 상호 작용하기위한 것임 -; 및

사용자 요청을 분석하고, 상기 사용자 요청에 기초하여 사용자 프로파일 초기 정보 또는 사용자 프로파일 활동 정보 중 적어도 하나 또는 그들의 조합으로부터 디스플레이 정보를 제공하는 단계를 구비하며,

상기 디스플레이 정보는 사용자의 얼굴을 보여주는 비디오 또는 애니메이션이며,

상기 사용자 프로파일 초기 정보는 상기 소셜 미디어 네트워크상에 상기 사용자 프로파일을 생성하는 동안 제공되거나 상기 사용자 프로파일에서 갱신되는 정보이고,

상기 사용자 프로파일 활동 정보는 상기 소셜 미디어 네트워크상의 상기 사용자 프로파일을 통해 상기 사용자에 의해 수행되는 다양한 활동들로부터 유도된 정보이고,

상기 사용자 프로파일 활동 정보는 상기 사용자 프로파일들 간의 관계 정보, 사용자 프로파일을 이용하여 게시된 콘텐츠, 다른 사용자 프로파일을 이용하여 게시된 콘텐츠의 공유, 또는 사용자 프로파일에 의해 게시된 콘텐츠의 주석 중 적어도 하나, 또는 이들의 조합을 포함하는 것을 특징으로 한다.

일 실시 예에서, 사용자 모델이 AI 기반이어서 사용자가 오프라인 일 때 다른 프로파일 홀더(holder)와 채팅할 수 있고, 사용자가 립싱(lipsing), 얼굴 표현 및/또는 몸 동작을 보여주는 답변을 생성 할 수있다.

또 다른 실시예에서, 온라인/오프라인에 있는 다른 사용자와 채팅하는 동안, 상기의 방법은 다음과 같다:

하나 또는 그 이상의 이미지를 이용하여 시각적 시퀀스를 제공하는 방법은:

- 적어도 하나의 얼굴을 보여주는 하나 이상의 사람 이미지를 수신하는 단계;

- 인체 정보를 이용하여 다른 신체 부위(들)의 요건을 확인하는 단계;

- 상기 확인된 요건을 따라 다른 인체 부위(들)의 적어도 하나의 이미지 또는 사진을 수신하는 단계;

- 상기 인체 정보를 이용하여 다른 인체 부위(들)과 상기 사람의 이미지를 처리하여 상기 인체 모델을 생성하며, 상기 가상의 모델은 사람의 얼굴을 포함하는 단계;

- 상기 사람에 의해 생성될 메시지를 수신하며, 상기 메시지는 적어도 텍스트 또는 감정 및 동작 명령을 포함하는 단계;

- 상기 메시지를 처리하여 상기 사람의 음성과 관련된 오디오 데이터, 및 상기 사람의 얼굴에 실어 질 표현과 관련된 얼굴 동작 데이터를 추출하고 수신하는 단계;

- 상기 신체 모델, 상기 오디오 데이터, 및 상기 얼굴 동작 데이터를 처리하는 단계; 및

- 상기 메시지를 생성하는 인체 모델의 애니메이션을 생성하는 단계를 포함하며,

감정 및 동작 명령은 얼굴 표정(들) 및/또는 신체 부위(들)의 동작을 불러일으키기 위하여 GUI 및 멀티미디어에 근거를 둔 명령어인 것을 특징으로 한다.

발명의 다른 실시 예에서, 옷을 입은 인체 모델을 생성하기 위해, 방법의 구현은 다음과 같다:

● 사람과 관련된 사용자 입력을 수신하는 단계 - 상기 사용자 입력은 적어도 하나의 상기 사람의 이미지/사진을 포함하며, 상기 사람의 적어도 하나의 이미지는 상기 사람의 얼굴을 갖는 단계;

● 다른 인체 부위의 조건을 확인하기 위해 사람의 신체 정보를 사용하는 단계;

● 확인된 요구 사항에 따라 타인의 인체 부위(들)의 적어도 하나의 이미지 또는 사진을 수신하는 단계;

● 상기 사람의 이미지를 상기 인체 정보를 이용하여 다른 인체 부위(들)와 함께 처리하여 인체 모델을 발생시키며, 여기에서, 상기 인체 모델은 그의 이미지/사진이 사용자 입력으로서 수신된 사람을 나타내며, 상기 인체 모델은 상기 사람의 얼굴을 포함하는 단계;

● 인체 모델의 모양과 크기에 따라 옷의 이미지를 수신하는 단계; 및

● 상기 옷을 입은 인간의 인체 모델을 보여주기 위해 인체 모델과 상기 옷의 이미지를 결합단계를 포함하며,

인체 정보는 사람의 이미지에서 사람의 얼굴의 방향, 사람의 이미지에서 인체의 방향, 사람의 피부 색조, 사람의 이미지에서 보이는 인체 부위(들)의 종류, 사람의 이미지에서 하나 또는 그 이상의 인체 부위의 위치 및 기하학적인 구조, 인체/인체 부위들의 모양, 사람의 크기, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 인접 부위 중 적어도 하나 또는 그들의 조합을 포함하며,

얼굴 특징 정보는 적어도 얼굴, 눈, 턱, 목, 입술, 코, 또는 귀의 모양 또는 위치 또는 그들의 조합 중 적어도 하나를 포함하는 것을 특징으로 한다.

디스플레이 시스템은 착용 식 디스플레이 또는 비 - 착용 식 디스플레이 또는 이들의 조합 일 수 있다.

비 착용 디스플레이는 LCD, LED, 플라즈마, OLED, 비디오 월, 박스형 디스플레이 또는 하나 이상의 전자식 시각 디스플레이로 만들어진 디스플레이, 프로젝터 기반 디스플레이, 또는 그들의 조합으로 이루어진 전자식 시각 디스플레이를 포함한다.

비 - 착용 식 디스플레이는 프로젝터(들) 및/또는 전자 디스플레이(들)에 의하여 예시되는 투명하고 기울어진 포일/스크린으로 구성되며, 하나 또는 그 이상을 가진 페퍼의 유령(pepper's ghost)기술에 따른 디스플레이를 포함하며, 여기에서, 프로젝터 및/또는 전자 디스플레이는 동일한 가상 물체에 대하여 서로 다른 이미지를 보여주며, 상기 다른 이미지는 상기 페퍼의 고스트 기술에 따른 디스플레이의 다른 면상에서 다른 카메라 각도로 만들어지며, 상기 페퍼의 고스트 기술에 따른 디스플레이는 한 장소에 위치된 가상 물체의 환영(illusion)을 만들어 주며, 상기 가상 물체의 여러 측면들이 페퍼의 고스트 기술에 따른 디스플레이의 서로 다른 면을 통해서 보여줄 수 있다.

착용 식 디스플레이는 헤드 마운트 디스플레이를 포함된다. 헤드 마운트 디스플레이는 헬멧, 안경 또는 바이저에 내장된 렌즈 및 반투명 거울을 가진 하나 또는 두 개의 소형 디스플레이를 포함한다. 디스플레이 장치는 소형화되었으며, CRT, LCD, LCos (Liquid Crystal on Silicon) 또는 OLED 또는 다중 마이크로 디스플레이를 포함하여 전체 해상도와 시야 (field of view) 를 향상시킬 수 있다.

헤드 마운트 디스플레이는 한쪽 또는 양쪽 눈을 위한 하나 또는 두 개의 디스플레이를 구비하며, 곡면 거울 기반 디스플레이 또는 도파관 기반 디스플레이를 더 포함하는 시스루 헤드 마운트 디스플레이 (see through head-mounted display) 또는 광학 헤드 마운트 디스플레이(optical head-mounted display)를 포함한다. 시스루 헤드 마운트 디스플레이는 투명한 디스플레이 또는 반투명 디스플레이로, 사용자들의 눈(들) 앞에서 3D 모델을 보여 주면서 사용자가 또한 주변의 환경을 볼 수 있도록 한다.

헤드 마운트 디스플레이는 2개의 약간 다른 시각을 가진 동일한 뷰를 렌더링함으로써 3D 조망을 완전히 만들기 위한 비디오 시스루 헤드 마운트 디스플레이(video see through head mount display) 또는 이머시브 헤드 마운트 디스플레이(immersive head mount display)를 포함하여 완성된 3D 조망(viewing)을 만들어 낸다. 상기 이머시브 헤드 마운트 디스플레이는 몰입 형 가상 환경의 출력물을 보여준다.

일 실시 예에서, 상기 출력물은 헤드 마운트 디스플레이 착용자에 대하여 상대운동을 한다. 이때 상대 운동은 상기 출력물의 일루젼(illusion)이 한 장소에서 온전하게 나타나는 반면 3D 모델의 다른 부분들은 상기 착용자에 의하여 보여질 수 있으며, 상기 착용자기 온전한 3D 모델 주변을 움직임으로써 상기 3D 모델의 다른 부분과 상호 작용하는 방법으로 이루어진다.

디스플레이 시스템은 3 차원 공간에서의 출력과 상호 작용을 디스플레이하고, 방출, 산란, 빔 스플리터 통해 또는 3 차원 공간에서 잘 정의된 영역에서의 조명을 통해 3 차원 이미지를 생성하는 체적형 디스플레이(volumetric display)를 포함한다. 상기 체적형 디스플레이는 육안으로 볼 수 있는 3D 이미지를 생성하기 위해 자동 입체 (auto stereoscopic) 또는 멀티스코픽(multiscopic) 특징을 가지며, 홀로그램 및 고도로 다중보기 디스플레이 (holographic and highly multiview display)를 더 포함하여 일정한 볼륨 내에 3 차원 라이트명 필드를 투영하여 3D 모델을 표시한다.

의복을 입은 사람의 인체 모델을 생성하는 일 실시예서, 발명의 방법은:

- 사람과 관련된 사용자 입력을 수신하는 단계 - 상기 사용자 입력은 상기 사람의 이미지/사진의 적어도 하나를 포함하며, 상기 사람의 적어도 하나의 이미지는 상기 사람의 얼굴을 가지는 단계;

- 인체 정보를 사용하여 다른 인체 부위의 요구 사항을 확인하는 단계;

- 확인된 요구 사항에 따라 다른 인체 부위의 이미지 또는 사진을 적어도 하나 수신하는 단계;

- 상기 사람의 이미지를 상기 인체 정보를 이용하여 다른 인체 부위(들)와 함께 처리하여 상기 사람의 인체 모델을 발생시키며, 여기에서, 상기 인체 모델은 그의 이미지/사진이 사용자 입력으로서 수신된 사람을 나타내며, 상기 인체 모델은 상기 사람의 얼굴을 포함하는 단계;

- 인체 모델의 모양과 크기에 따라 옷의 이미지를 수신하는 단계; 및

- 상기 옷을 입은 인간의 인체 모델을 보여주기 위해 사람의 인체 모델과 상기 옷의 이미지를 결합단계를 포함하며,

인체 정보는 사람의 이미지에서 사람의 얼굴의 방향, 사람의 이미지에서 인체의 방향, 사람의 피부 색조, 사람의 이미지에서 보여지는 인체 부위(들)의 종류, 사람의 이미지에서 하나 또는 그 이상의 인체 부위의 위치 및 기하학적인 구조, 인체/인체 부위들의 모양, 사람의 크기, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 인접 부위 중 적어도 하나 또는 그들의 조합을 포함하며,

얼굴 특징 정보는 적어도 얼굴, 눈, 턱, 목, 입술, 코, 또는 귀의 모양 또는 위치 중 적어도 하나 또는 그들의 조합을 포함하는 것을 특징으로 한다.

하나 또는 그 이상의 이미지를 이용하여 시각적 시퀀스를 제공하기 위한 발명의 구현 방법은:

- 적어도 하나의 얼굴을 보여주는 하나 또는 그 이상의 사람 이미지를 수신하는 단계;

- 인체 정보를 이용하여 타 인체 부위(들)의 요건을 확인하는 단계;

- 확인된 요건에 근거하여 타 인체(들)의 적어도 하나의 이미지 또는 사진을 수신하는 단계;

- 상기 인체 정보를 이용하여 다른 인체 부위(들)의 이미지와 함께 상기 사*사람의 이미지를 처리하여 상기 사람의 인체 모델을 생성하며, 상기 가상 모델은 사람의 얼굴을 포함하는 단계;

- 상기 사람에 의해 생성될 메시지를 수신하며, 상기 메시지는 적어도 텍스트 또는 감정 및 동작 명령을 포함하는 단계;

- 상기 메시지를 처리하여 상기 사람의 음성과 관련된 오디오 데이터, 및 상기 사람의 얼굴에 실어 질 얼굴 표현과 관련된 얼굴 동작 데이터를 추출하고 수신하는 단계;

- 상기 인체 모델, 상기 오디오 데이터, 및 상기 얼굴 동작 데이터를 처리하는 단계; 및

- 상기 메시지를 생성하는 상기 사람의 인체 모델의 애니메이션을 생성하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 본 발명의 양태들은 프로파일 페이지를 생성하고 데이터 양식을 채울 필요가 있는 자기 자신과 지능형 채팅 사용자를 추가하는 방법에 의하여 다음과 같은 단계로 구현된다:

단계 1: 사용자가 기입할 양식(form)을 연다.

단계 2: 상기 양식(form)에 표현된 질문 전부 또는 일부에 텍스트 및/또는 음성을 제공하고, 사용자가 채팅 중에 답변하면서 보여주기를 원하는 얼굴 표정에 대한 이모티콘(smiley) 및 몸동작을 선택하여 답변한다. 선택적으로 사용자는 통신 네트워크 상에서 그와 연결된 사람들을 위해 공용으로 또는 사적으로 유용한 답변을 표시할 수 있다.

단계 3: 사용자가 양식에 있는 질문과 관련이 없는 정보를 공유하려는 경우, 상기 양식(form)에 새로운 질문을 추가하고, 텍스트 및/또는 음성을 제공하며 사용자가 채팅 중에 답변하면서 보여주기를 원하는 얼굴 표정에 대한 이모티콘(smiley) 및 몸동작을 선택하여 상기 질문에 대해 답변을 추가한다. 선택적으로 사용자는 통신 네트워크상에서 그와 연결된 사람들에게 공용으로 또는 사적으로 유용한 답변을 표시할 수 있다.

단계 4: 사용자는 또한 임의의 적절한 질문을 추가하는 것 없이, 텍스트 및/또는 음성을 제공하며 사용자가 채팅 중에 답변하면서 보여주기를 원하는 얼굴 표정에 대한 이모티콘(smiley) 및 몸동작을 선택하여 통신 네트워크상에서 일별 갱신과 관련된 답변을 추가할 수 있다. 선택적으로 사용자는 통신 네트워크 상에서 그와 연결된 사람들 사람 또는 모든 사람에게 유용한 답변을 표시할 수 있다.

단계 5: 상기 양식을 저장한다.

일 실시 예에서, 오프라인 또는 비 접속 사용자와의 채팅을 위한 발명의 양태들은 다음의 단계들을 사용하는 방법에 의해 구현된다:

● 이미지 및 텍스트 상자와 텍스트를 쓰는 텍스트 기재 영역 및/또는 음성 입력 매체 보여주는, 프로파일 소유자의 채팅 창을 여는 단계;

● 온라인 사용자가 텍스트 쓰기 영역에 텍스트를 입력하거나 채팅 창에 음성을 입력하는 단계;

● 온라인 사용자가 입력 한 텍스트 및/또는 음성은 양식 데이터의 적합한 답변과 일치하도록 처리된다. 양식 데이터에 유사한 답변이 없으면 일반 프로파일 데이터에서 검색이 수행된다. 질문이 채팅 상대와 연결되어 있지 않은 프로필 소유자에 관한 것이라면 일반 프로필 데이터에서 답변을 검색한다. 질문이 채팅 상대와 연결된 특정 프로필 소유자와 관련된 경우, 답변은 상기 상대의 양식 데이터에서 검색될 것이다.

● 데이터베이스 및 다른 엔진을 사용하여 립싱(lipsing) 및/또는, 표정 및/또는 몸 동작으로 답변 처리하여 출력을 생성한다.

● 채팅 윈도우 상에서 질문에 대해 답변으로 상기 출력을 디스플레이한다.

여기서 사용자는 채팅 창에서 텍스트/음성을 보낼 수 있으며 프로필 소유자의 이미지는 서버에서 사전 처리되거나 서버에서 실시간으로 처리되거나 사용자 컴퓨터의 컴퓨터에서 처리될 수 있다. 위의 방법 단계를 반복적으로 사용하기 위해 인체 이미지의 인체 부위를 한 번 이동하기 위한 골격 구조 (리깅 (rigging) 및 스키닝(skinning)) 생성한다. 골격 구조가 생성되면, 나중에 사용하기 위해 저장된다.

피부 톤 기반 세그먼테이션, 특징 기반 검출, 템플릿 매칭 또는 신경망 기반 검출 중 하나를 기반으로 하는 얼굴 검출을 위한 다양한 방법이 존재한다. 예를 들어; Haar 특징에 기반한 Viola Jones의 중대한 작업은 일반적으로 빠른 얼굴 탐지를 위한 얼굴 탐지 라이브러리에서 사용된다.

Haar의 특징은 다음과 같이 정의된다.

합계 영역 테이블(summed area table)과 비슷하고 각 위치에 대한 엔트리를 포함하는 "적분 이미지 (Integral image)"라는 용어를 고려해 볼 수 있으며, (x, y) 위치에서 엔트리는 이 위치의 위와 왼쪽에서의 모든 픽셀 값의 합이다.

여기에서 ii(x,y)는 적분 이미지를 나타내며, i(x,y)는 원래 이미지이다.

적분 이미지(Integral image)는 탐지기(detector)가 사용하는 특징 (본 방법에서는, 하르-유사-특징 (Haar-like-features)가 사용됨)을 매우 빠르게 계산하도록 할 수 있다. 흰색 직사각형 내에 있는 픽셀의 합계는 회색 직사각형의 픽셀 합계에서 빼진다(substracted). 적분 이미지를 사용하면 두 개의 직사각형 특징을 계산하는데 6개의 배열 참조만 필요하고, 세 개의 직사각형 특징에 대해서는 여덟 개의 배열 참조가 있어야 특징들이 일정한 시간 (O(l))로 계산될 수 있다.

특징을 추출한 후, 학습 알고리즘은 매우 큰 잠재적 특징 집합으로부터 소수의 중요한 시각적 특징을 선택하는데 이용된다. 그런 방법은 학습 알고리즘을 사용하여 학습 결과를 얻고 분류 장치를 계단식으로 배열한 후에 큰 특징 집합에서 소수의 중요한 특징만을 이용하여 실시간 얼굴 검출 시스템을 만든다.

실제 시나리오에서는, 사용자는 다른 방향과 각도의 사진을 업로드 한다. 이러한 경우 신경망 기반의 얼굴 탐지 알고리즘을 사용하여 분류 및 특징 추출을 위한 회선 네트워크의 높은 용량을 활용하여 다중 뷰(views)와 위치로부터 얼굴을 탐지하는 단일 분류자를 학습한다. 전망 및 위치. 최종 얼굴 검출기를 얻으려면 슬라이딩 윈도우 방식이 사용된다. 이것은 슬라이딩 윈도우 방식은 복잡성이 적으며 선택 검색과 같은 추가 모듈과는 독립적이기 때문이다. 첫째, 완전히 연결된 레이어는 레이어 매개 변수를 변형하여 컨볼루션 레이어로 변환된다. 이를 통해 임의의 크기의 이미지에 대한 컨볼루션(Convolution Neural Network)를 효율적으로 실행하고 얼굴 분류기의 히트 맵 (heat-map)을 획득한다.

일단 얼굴을 감지하면, 다음으로 다른 얼굴 특징 (예 : 눈, 눈썹, 입의 모서리, 코끝 등)의 위치를 정확하게 찾는다.

예를 들어; 계산이 효율적인 방법으로 얼굴 랜드마크의 위치를 정확하게 추정하기 위해 "dlib" 라이브러리를 사용하여 얼굴 특징이나 표식 점을 추출할 수 있다.

일부 방법은 복귀자(regressor)의 캐스케이드 (cascade)를 이용하는 방법에 기반한다. 복귀자의 캐스케이드는 다음과 같이 정의 할 수 있다.

은 이미지 I에서 i번째 얼굴 랜드마크의 x, y의 좌표이다.

는 이미지 I에서 모든 p 얼굴 랜드마크의 좌표를 의미한다. 벡터 S는 모양을 나타낸다.

계단식의 각 복귀자는 상기 이미지로부터 업데이트 벡터를 예측한다. 캐스케이드의 각 복귀자를 학습할 때, 캐스케이드의 형태를 갖는 다른 레벨로 추정된 특징점은 기본 비올라 & 죤스 (Viola & Jones) 얼굴 검출기의 출력에서 중심으로 하는 평균 모양으로 초기화된다.

그 후, 추출된 특징점은 표정 분석 및 기하학에 중점을 둔 사실적 표정 합성의 생성에 이용될 수 있다.

입술을 화장하기 위하여, 얼굴로부터 입술을 확인할 필요가 있다. 이를 위해 안면 특징점을 얻은 후 입력 이미지의 거의 전체 립 영역을 캡처하는 부드러운 베지어 곡선 (smooth Bezier curve)가 얻어진다. 또한, 립 검출은 색 정보에 기초한 색 기반 세그멘테이션 방법(color based segmentation)에 의해 이루어질 수 있다. 안면 특징 검출 방법은 다른 조명, 조도, 인종 및 얼굴 자세에 관계없이 모든 경우에서 얼굴 특징점 (x, y 좌표) 몇 개를 제공한다. 이 점들은 입술 영역에 포함된다. 그러나 스마트 베 지어 곡선을 그리면 얼굴 특징점을 사용하여 입술의 전체 영역을 캡쳐할 것이다.

일반적으로 다양한 인간의 피부색은 HSB 색상 공간 (색조, 채도 및 밝기)의 특정 색조 및 채도 범위에 있다. 대부분의 시나리오에서는 밝기 부분만 색조와 채도의 범위에서 각기 다른 피부 색조에 따라 변한다. 특정 조명 조건에서 색상은 방향 불변이다. 연구 결과에 따르면, 다른 인종, 나이, 성별의 다른 피부색에도 이러한 차이는 주로 밝기에 집중되어 있으며, 밝기가 제거된 색채 공간에서 다른 사람들의 피부색은 군집 특성을 갖는다. RGB 색상 공간에도 불구하고 HSV 또는 YCbCr 색상 공간이 피부색 기반 세그멘테이션 방법(skin color based segmentation) 사용된다.

이미지 병합 (merging), 혼합 (blending) 또는 스티칭(stithcing)은 결합된 영역이나 이음새가 처리된 이미지에 나타나지 않도록 두 개 이상의 이미지를 결합하는 기술이다. 이미지 블렌딩의 가장 기본적인 기술은 두 이미지를 하나의 이미지로 결합하거나 병합하는 선형 블렌딩이다. 매개 변수 X는 두 이미지의 결합 영역 (또는 겹치는 영역)에 사용된다. 결합 영역의 출력 픽셀 값:

여기에서, 0 <X <1 인 경우, 나머지 이미지 영역은 변경되지 않은 채 남아 있다.

'포아송 이미지 편집(Poisson Image Edititing; Perez et al.)', 'Haar Wavelet 2D 통합 방법에 기반한 이미지의 매끄러운 스티치(Seamless Stitching of Images Based on a Haar Wavelent 2d Integration Method; Ioana et at.)'또는 "비 중첩 이미지의 정렬 및 모자이크 처리(Alignment and Mosaicing of Non-overlapping images; Yair et at)"이 블렌딩에 사용할 수 있다.

실물과 같은 얼굴 애니메이션을 구현하기 위해, 성능 중심 기술, 통계적 외양 모델 등을 포함하는 다양한 기술이 사용되고 있다. 성능 중심 기술을 구현하기 위해, 특징점들이 사용자가 제공 한 업로드된 이미지의 얼굴에 위치하며, 시간 경과에 따른 이러한 특징 지점의 변위는 다각형 모델의 정점 위치를 업데이트하는 데 사용되거나 잠재 근육 기초 모델(underlying-based model)에 맵핑된다.

얼굴 표정의 특징점 위치가 주어지면, 대응하는 얼굴 표정 이미지를 계산하기 위해, 물리적 시뮬레이션과 같은 메커니즘을 사용하여 얼굴의 각 점에 대한 기하학적 변형을 파악한 다음 그 결과 표면을 렌더링할 수 있다. 예제 얼굴 표정 집합이 주어지면 볼록한 조합(convex combination) 을 통해 사진처럼 사실적인 얼굴 표정을 생성 할 수 있다.

인 예시적인 얼굴 집합이 있다고 하자, G_i는 기하학을 나타내며, I_i는 텍스쳐 이미지이다. 모든 텍스쳐 이미지 I_i는 배열되어 있다고 가정하자.

는 이들 예제의 모든 가능한 볼록 조합이다.

그러면,

통계적 외형 모델은 형상 변화 모델과 텍스처 변화 모델을 결합하여 생성됩니다. 텍스처는 이미지 패치 강도 또는 색상 패턴으로 정의된다. 모델을 만들기 위하여, 각 예제에서 해당 지점을 표시한 주석이 달린 이미지의 트레이닝 세트가 필요하다. 캐릭터에 얼굴 애니메이션을 적용하는 데 사용되는 주요 기술로는 모프 타겟 애니메이션(morph targets animation), 골격 구동 애니메이션(bone driven animation), 텍스처 기반 애니메이션 (2D 또는 3D), 및 생리 모델(physiologica model)이 있다.

사용자는 특정 사용자와는 채팅할 의지가 없는 상태에서 오프라인 상태에 있는 타 사용자와 채팅할 수 있다. 청각 또는 텍스트 방법을 통해 대화를 수행하는 컴퓨터 프로그램이 있다. 이러한 프로그램은 종종 인간이 대화 상대로서 어떻게 행동하는지를 설득력있게 시뮬레이션하여 Turing 테스트를 통과하도록 설계되었다.

이 프로그램은 정교한 자연어 처리 시스템, 또는 입력 내에서 키워드를 검색하는 가장 간단한 시스템을 사용하여, 데이터베이스에서 가장 일치하는 키워드 또는 가장 유사한 단어 패턴을 사용하여 답변을 가져올 수 있다. 두 가지 주요 유형의 프로그램이 있다. 한 가지는 규칙 집합을 기반으로 기능 하고, 다른 하나는 좀 더 진보된 버전으로 인공 지능을 사용한다. 규칙을 기반으로 하는 프로그램은 기능면에서 제한적인 경향이 있으며 프로그래밍된 만큼 스마트해진다. 다른 한편으로는 인공 지능을 사용하는 프로그램은 명령뿐만 아니라 언어를 이해하며 사람들과 대화하는 과정에서 배우면서 지속적으로 더 스마트해진다. 딥 러닝 기술은 검색 기반 모델과 생성 모델 (retreival-based and generative model) 모두에 사용할 수 있지만 연구는 생성 모델 쪽으로 치우치는 것처럼 보인다. 시퀀스-투-시퀀스 (Sequence to Sequence)와 같은 딥 러닝 아키텍쳐 (deep learning architectures)는 텍스트 생성에 적합하다. 몇 가지 예로, 미리 정의된 답변을 갖는 저장 장치와 입력 및 문맥에 따라서 적절한 답변을 선택하는 일종의 경험적 (heuristic) 방법을 사용하는 검색 기반 모델이 있다. 경험적 (heuristic) 방법은 룰 기반 표현 일치(rule-based expression match) 또는 머신 러닝 분류자 (Machine Learning classifiers)의 앙상블처럼 복잡할 수 있다. 이러한 시스템은 새로운 텍스트를 생성하지 않고 고정된 세트에서 답변을 선택하는 반면 생성 모델(generative model)과 같은 다른 답변은 사전 정의된 답변에 의존하지 않는다. 생성 모델은 처음부터 새로운 답변을 생성한다. 생성 모델은 일반적으로 기계 번역 기술을 기반으로 하지만, 한 언어에서 다른 언어로 번역하는 대신 입력으로부터 출력 (답변)으로 "번역 (translate)"한다.

사용자는 이미지 또는 3D 캐릭터를 사용하여 자신을 나타낼 수 있다. 이것은 다른 얼굴 포스터, 목 동작 및 몸동작을 표현할 수 있어야 한다. 골격 애니메이션을 사용하여 인체 모멘트 (body moment)를주는 것은 언제나 쉽다.

골격 애니메이션은 캐릭터 (또는 다른 관절 객체)가 두 부분으로 표현되는 컴퓨터 애니메이션에서의 기술이다: 이 두 부분은 캐릭터를 그리는 데 사용되는 표면 표현 (피부 또는 메쉬라고 함)과 혼란에 생명을 불어넣는 상호 연결된 뼈의 계층 집합 (골격이라고도 함)으로 표현되는 컴퓨터 애니메이션 기술이다.

리깅(rigging)은 캐릭터를 움직일 수 있게 만들어 준다. 리깅 과정은 디지털 조각을 가져 와서 뼈대와 근육을 만들고 캐릭터에 피부를 붙이며, 애니메이터가 몸을 밀고 당기는 데 사용하는 애니메이션 컨트롤 세트를 만드는 과정이다. 반면, 캐릭터 애니메이션을 시작하기 전에 캐릭터가 걷고 말하도록 설정하는 과정은 마지막 단계이다. 이 단계는 '리깅과 스키닝(rigging and skinning)'이라고 불리우며 캐릭터를 움직여 캐릭터에게 생기를 불어 넣는 기본 시스템이다. 리깅은 애니메이션용 캐릭터 대하여 제어 가능한 뼈대를 설정하는 과정이다. 주제에 따라 모든 리그는 고유하며 그에 상응하는 컨트롤 세트이다.

스키닝은 리깅된 골격에 3D 모델 (스킨)을 부착하여 3D 모델을 리그의 컨트롤러 조작할 수 있도록 하는 과정이다. 2D 캐릭터는, 캐릭터 이미지가 링크된 2D 메 쉬가 생성되고 뼈들이 2D 모델에 자유도를 주는 다른 포인트들에 부착되어 캐릭터의 신체 부위(들) 이 움직이도록 한다. 컴퓨터 그래픽에서 실제 캐릭터처럼 보이는 사실적인 느낌을 얻기 위해 다양한 각도 및 방향으로 이동, 크기 조정 및 회전할 수 있도록 리깅시 미리 정의된 컨트롤러로 캐릭터에 생기를 불어 넣을 수 있다.

특징 추출 모델은 사용자 모양에서 얼굴, 어깨, 팔꿈치, 손, 허리, 무릎 및 발을 인식하고 얼굴, 양쪽 어깨, 가슴, 양쪽 팔꿈치, 양손, 허리, 양 무릎, 양 발 과 대하여 특징점을 추출한다. 따라서, 사용자 골격은 사용자 모양으로부터 추출된 특징점을 연결하여 생성될 수 있다.

일반적으로, 골격은 사용자의 다수의 부분에 부착된 많은 마커를 인식하고 인식된 마커를 특징점으로 추출함으로써 생성될 수 있다. 그러나 본 실시 예에서는 이미지 처리 방법에 의해 사용자 이미지 내의 사용자 형태를 처리하여 특징점을 추출할 수 있으므로 골격을 쉽게 생성할 수 있다. 상기 추출부(extractor)는 눈, 코, 상방 입술 중심, 하방 입술 중심, 입술의 양단부 및 상기 상하 입술 사이의 접촉부의 중심에 대한 특징점을 추출한다. 따라서, 사용자 얼굴로부터 추출된 특징점을 연결하여 사용자 얼굴 골격을 생성할 수 있다. 사용자 이미지에서 추출된 사용자 얼굴 골격이 애니메이션되면, 애니메이션된 사용자 이미지/가상 모델이 생성된다.

도 1은 소셜 네트워크상의 사람 연결을 나타내는 소셜 네트워크 배열을 도시한다. 서버에서 여러 사람이 소셜 네트워크 응용 프로그램에서 프로필을 만든다. 다양한 프로파일 간의 상호 관계가 그림에 표시된다. 그림은 프로필 "Ram"이 "Pravin"에 연결되어 있고 프로필 "Sam"이 "Pravin"에 연결되어 있지만 프로필 Ram와 Sam은 연결되어 있지 않다. "Ram"과 "Pravin", "Sam"과 "Pravin"사이의 통신은 소셜 네트워크를 통해 제공되는 온라인 채팅 응용 프로그램을 통해 가능하다. 그러나 "Ram"과 "Sam"은 소셜 네트워크에서 서로 연결되어 있지 않으므로 이러한 통신은 불가능하다. 또한 "Ram"과 "Sam"은 서로에 대해 공개 정보를 매우 제한적으로 가질 수 있다.

도 2는 오프라인이거나 다른 사용자에게 접속되지 않은 사용자에 의해 채워지는 양식(301)을 도시한다. 양식(301)은 3 개의 부분(302, 303, 304)으로 분할된다. 제 1 부분(302)은 사용자에 의해 답변된 질문 및 그 답변과 관련되고, 제 2 부분(303)은 사용자에 의해 답변되지 않은 질문에 관련되며, 제 3 부분은 사용자와 관련된 온라인 환경을 기반으로 양식(form)에 자동으로 부가 질문과 관계한다. 또한, 각 답변은 공개 또는 비공개로 분류됩니다. 공개 카테고리에 속한 답변은 모든 사람들이 사용할 수 있지만 비공개 카테고리로 분류된 답변은 선택한 소수에만 사용할 수 있습니다.

또한, 각 답변에는 오디오 및/또는 표정 및/또는 몸동작이 연관되어 있다. 오디오, 표정 및 몸동작은 사용자가 직접 기록하거나 시스템 자체에서 생성된다. 오디오의 녹음을 위해, 오디오 녹음 버튼(305)이 제공된다. 몸동작 및 표정은 비디오 리코딩 버튼(307)을 사용하여 기록된다. 사용자가 비디오 리코딩에 의해 기록된 것 이외의 다른 표정을 사용하기를 원한다면, 미리 결정된 표정을 선택할 수 있고, 얼굴 표정 버튼(306)을 사용하여 이모티콘를 선택할수 있다.

시스템에 의한 오디오의 생성을 위해, 시스템은 다른 소스로부터 얻은 이용 가능한 사용자의 사전 녹음된 임의의 다른 음성을 사용하여 사용자 자신으로부터 얻은 사실적인 음성을 제공할 수 있다. 사전 녹음된 음성을 사용할 수 없는 경우 사용자가 임의의 음성을 사용하여 오디오를 생성한다. 몸동작을 생성하기 위하여, 시스템은 특정 유형의 답변과 관련된 특정 몸동작을 사용하고 상기 특정 몸동작을 사용자의 인체에 매핑 할 수 있다.

사용자는 소셜 네트워크와 같은 시스템에 존재할 때 양식(301)을 통해 다양한 질문을 채우도록 요구받는다. 사용자에 의하여 답변된 질문은 양식의 일부(302)에 보관되며 그에 의하여 답변돼지 않은 질문은 제2 부(303)에 보관된다. 제2 부(303)의 답변 되지 않은 질문은 누구에게도 이용 가능하지 않으며 그러한 질문이 제기되면 그러한 질문은 답을 얻을 수 없다는 공통된 답변이 생긴다. 제2 부(303)에서 답변이 없는 질문은 사용자가 자신의 편리한 때에 답변을 다시 채울 수 있도록 이용 가능하다.

사용자 각자가 다른 단어를 사용하여 비슷한 답변에 대해 질문을 한다는 것은 알려진 사실이다. 시스템은 단어의 모든 배열과 특정 답변에 대한 색인을 확인하여 이러한 모든 질문에 답변하되, 동일한 답변으로 답변한다. 예를 들어, "어디서 살고 있습니까?", "어디에 자리 잡았습니까?", "위치는?", "네가 속한 지정학적 위치는?"은 비록 다른 단어가 이용되어 "살고 있는 장소"를 뜻하는 동일한 질문을 한다고 하더라고, 그 질문들은 같은 답변을 하고 있다. 결과적으로 질문에 답변이 채워지되 같은 의미를 가지는 유사한 질문들에는 동일한 답변이 색인된다.

도 3은 프로파일 소유자가 오프라인이거나 접속되지 않은 상태에서도 사실적인 얼굴 표정을 가지고 통신하는 소셜 네트워크 프로파일 도면이다. 이 통신은 프로파일 소유자에 의해 채워진 양식(301) 또는 상기 시스템에 의하여 양식(301)의 부분(304)에 첨부된 내용에 기초한다. 수신자 측의 채팅 창(401)은 두 부분(402) 및 (403) 으로 분할된다. 부분(402)에는 질문을 채우고 리스트(301)에 답변한 상기 프로파일 소유자의 이미지가 나타내는 반면 부분(403)에는 수신자에게 기입을 허락한 영역이다. 부분(403)에서, 상기 프로파일 소유자와 통신하려고 하는 다른 사람은 "어느 차를 소유하고 있습니까?"라고 쓴다. 이 질문은 프로필 소유자에게 제공된 양식(301)의 부분(302)에 있는 질문 중 하나이다. 여기에서, 상기 질문들은 상기 프로파일 소유자에 의하여 답변이 된 것이다. 부분(402)에서 프로파일 소유자의 이미지는 양식(301)에서 프로파일 소유자에 의해 이미 기록된 "자신감" 있는 사실적인 얼굴 표정과 오디오로 "BMW" 발화한다. 도 4는 프로파일 소유자가 사실적인 얼굴 표정과 몸동작을 가지고 통신하는 소셜 네트워크 프로파일 도면이다. 여기에서도, 유사한 채팅 창(501)이 도 3에서처럼 제공되며, 두 부분(502, 503)으로 분할되어 있다. 양식(301)에 제공된 질문에 대한 답변을 기재한 프로필 소유자의 전신 이미지가 부분(502)에 도시되어 있다. 부분(503)에서는, 프로파일 소유자와 대화하고자 하는 다른 사람이 "독일 여행은 어떠셨습니까?"라고 쓴다. 이것은 양식(301)의 제3부(304)에서 제기된 질문입니다. 여기에는 지난 며칠 간 프로필 소유자가 작성한 다양한 소셜 네트워킹 게시물을 고려하여 시스템 자체가 답변을 추가했다. 프로파일 소유자의 비디오는 부분(503)에서 시스템에 의해 생성된 얼굴 표정 및 오디오와 함께 몸동작을 하면서 나타난다. 비디오의 프레임 중 하나가 이 그림에서 보이는데, 여기에서 프로필 소유자의 한 손이 어깨 길이까지 올려져 있고, 엄지손가락과 인접한 손가락이 끝에서 서로 접촉하여 라운드를 만드는 모양이다. 또한 "행복하다."라는 표정과 함께 시스템에 의한 수정된 답변을 언급하는 것으로 나타난다.

도 5는 프로파일 소유자 및 다른 사람의 의사소통이 사실적인 얼굴 표현과 함께 사실적으로 상호 작용하는 그들의 신체를 가지고 보여주는 소셜 네트워크 프로파일 도면이다. 여기서도 유사한 채팅 창(601)이 도 3에서처럼 두 부분(602) 및 (603)으로 분할된다. 양식(301)에 제공된 질문에 대한 답변을 기입한 프로필 소유자의 전신 이미지가 부분(602)에 도시되어 있는데, 여기에서 프로필 소유자와 통신하는 다른 사람의 전신 이미지가 같이 보여진다. 여기서 다른 사람은, 다른 사람이 실제 프로필 소유자와 실생활에서 인사하는 것처럼, 프로필 소유자와 인사하는 가상 경험을 갖는 것으로 보여지고 있다. 이러한 시나리오는 팬이 유명인과 가상으로 대화를 나누거나 좋아하는 사람이 서로 가상으로 대화를 나눌 때 공통적이다. 이 그림에는 프로필 소유자와 다른 사용자가 인사하는 비디오 프레임이 보여진다. 프레임에서, 다른 사용자는 부분(603)에서 "안녕하세요"를 타이핑을하는 것으로 도시되어 있다, 여기서 부분(602)에서, 두 개의 완전한 몸체가 악수하는 순간에 있는데, 여기에서, 두 몸체는 악수 자세로 인도에서 서로 반대 방향으로 서있다.

도 6은 다수의 사람이 한 사람에게 채팅하는 특정 시간 프레임에서 동작하는 다수의 채팅 창을 도시한다. 캐릭터(702)를 갖는 이미지(701)는 각각이 부분(703, 704)을 갖는 채팅 창 (705a, 705b, ..., 705n)과 함께 도시되어 있다. 제 1 부분 (703)에서, 이미지(701)에 도시된 캐릭터(702)에게 질문을 타이핑한다. 제 2 부분(704)에서, 캐랙터(702)의 비디오는 사실적인 얼굴 표정과, 선택적으로, 몸동작과 함께 상기 질문에 대한 답변이 디스플레이된다. 질문에 답변하기 위해, 시스템은 양식(301) 질문 및 답변을 사용한다. 채팅 창(705a)에서, 상기 제1 부분(703)에서 "어떤 자동차를 소유하고 있습니까?"가 타이핑되고, 제2 부분(704)에서, 캐릭터 (702)의 비디오 프레임은 "긍지"라는 사실적인 얼굴 표정을 가지고 "BMW"를 말하는 것으로 도시된다. 채팅 창(705b)에서, 제1 부분(703)에서, 질문은 "독일 여행 어떠셨어요?" 제2부분 (704) 에서, 캐릭터(702)의 비디오 프레임이 도시되어 있는데, 여기에서, 캐릭터의 한 손은 어깨 길이까지 올려져 있고, 엄지손가락과 인접한 손가락이 끝에서 서로 접촉하여 라운드를 만드는 모양이다. 또한 "행복하다"는 표정과 함께 시스템에 의한 수정된 답변을 언급하는 것으로 나타난다. 채팅 창(705n)에서, 제1 부분(703)에, "안녕하세요"라는 텍스트가 타이핑쳐지고 제 2 부분(704)에서, "안녕하세요"를 타이핑한 사람을 나타내는 캐릭터와 함께, 캐릭터(702)의 비디오 프레임이 "악수"하는 자세가 보인다. 여기에서, 캐릭터(702)는 사실적인 얼굴 표정을 가지고 "안녕하세요"를 말하고 있다.

도 7a-7c는 두 명의 프로파일 소유자가 서로 통신하는 예 및 다른 소유자와 통신하는 예를 도시한다. 도 7a는 통신 네트워크의 일부를 도시하는데, PRAVIN이 RAM과 SAM에 연결되는 반면 RAM과 SAM은 서로 연결되지 않았다. 도 7b는 텍스트 입력 영역 및 SAM의 이미지를 가지며, 통신 네트워크로부터의 사용자 중 하나의 클라이언트 장치에서의 채팅 창를 도시한다. 사용자는 SAM과 통신을 시작한다. 도 7c는 사용자 및 SAM, SAM 및 SAM에 연결된 다른 사용자에 관한 다양한 통신 인스턴스를 도시한다. 사용자가 텍스트 영역에 질문을 작성할 때마다, 그는 SAM의 이미지 및 도 2에 개시된 양식(301)의 답변을 사용하는 처리된 비디오로서 답변을 수신한다. 한 예에서, 사용자는 "당신의 이름은 무엇인가?"라는 질문을 타이핑한다. 채팅 창 프레임(802)을 통해 같은 것이 표시된다. 이 질문에 대한 답변은 비디오로서 생성된다. 비디오의 프레임(803) 중 하나가 보여지며, 여기에서, SAM의 이미지(801)가 사실적인 얼굴 표정과 함께 "SAM"을 말하고 있다.

또 다른 예에서 사용자는 "당신의 배우자 이름은 무엇입니까?"라는 질문을 입력한다. 채팅 창 프레임(804)을 통해 같은 것이 표시된다. 이 질문에 대한 답변은 비디오로서 생성된다. 비디오의 프레임(805) 중 하나가 도시되며, 여기에서 SAM의 이미지(801)가 "죄송합니다. 이것은 사적인 질문입니다"라고 기력없는 사실적인 얼굴 표정으로 말한다.

다른 예에서, 사용자는 "어떤 차를 소유하고 계십니까?"라는 질문을 입력한다. 채팅 윈도우 프레임(806)을 통해 같은 것이 표시된다. 이 질문에 대한 답변은 비디오로서 생성된다. 비디오의 프레임(807) 중 하나가 도시되며, SAM의 이미지(801)는 긍지를 가진 사실적인 얼굴 표정으로 "BMW"를 말한다.

또 다른 예에서, 사용자는 "RAM은 어때"라는 질문을 타이핑한다. 채팅 윈도우 프레임(808)을 통해 같은 것이 표시된다. SAM은 통신 네트워크를 통해 RAM에 연결되지 않으므로 RAM의 양식 데이터는 SAM에 의하여 액세스 될 수 없다. 이 질문에 대한 답변은 비디오로 생성된다. 비디오의 프레임(809) 중 하나가 도시되며, 여기에서, SAM의 이미지(801)는 무기력한 사실적인 얼굴 표정으로 "나는 RAM을 모른다"라고 말한다.

또 다른 예에서 사용자는 "PRAVIN은 어때?"라는 질문을 타이핑한다. 채팅 윈도우 프레임(810)을 통해 같은 것이 도시된다. SAM은 통신 네트워크를 통해 PRAVIN에 접속하여, PRAVIN의 양식 데이터는 SAM에 액세스 가능하다. 이 질문에 대한 답변은 비디오로 생성된다. 비디오의 프레임(811) 중 하나가 도시되며, 여기에서, SAM의 이미지(801)는 무기력한 사실적인 얼굴 표정으로 현실감 있는 표현으로 "지금 독일 프랑크푸르트에 있습니다"라고 말한다.

상기 실시 예들은 온라인 채팅, 소셜 네트워킹 프로파일 등과 같이 통신하는 사람들이 면-대-면 통신을 위하여 물리적으로 위치하지 않은 시나리오에 있는 애플리케이션을 갖는다.

도 8은 예시적인 클라이언트 장치(1612)의 구성 요소 중 일부를 도시 한 간략화된 블록도이다. 클라이언트 장치는 제한되지는 않지만 예시적으로 휴대용 또는 데스크탑 컴퓨터, 스마트폰 및 전자 타블렛, 텔레비전 시스템, 게임 콘솔, 키오스크 (kiosk), 및 하나 이상의 무선 또는 유선 통신 인터페이스를 구비하는 임의의 장치이다. 참조번호 (1612)는 메모리 인터페이스, 데이터 프로세서(들), 이미지 프로세서(들), 중앙 처리 장치(들), 및 주변 장치 인터페이스를 포함할 수 있다. 메모리 인터페이스, 프로세서(들) 또는 주변 장치 인터페이스는 개별 구성 요소이거나 하나 이상의 집적 통합될 수 있다. 전술 한 다양한 구성 요소는 하나 이상의 통신 버스 또는 신호선에 의해 결합 될 수 있다.

센서, 장치 및 서브 시스템들은 주변 장치 인터페이스에 연결하여 여러 기능을 용이하게 할 수 있다. 예를 들어, 모션 센서, 광 센서, 및 근접 센서를 주변 장치 인터페이스에 연결하여 장치의 방향, 조명 및 근접 기능을 용이하게 할 수 있다.

도 8에 도시된 바와 같이, 클라이언트 장치(1612)는 통신 인터페이스 (1602), 사용자 인터페이스(1603) 및 프로세서(1604), 및 데이터 저장 장치(1605)를 포함하며, 이들 모두는 시스템 버스, 네트워크 또는 기타 연결 메커니즘에 의해 함께 통신 가능하게 연결될 수 있다.

통신 인터페이스(1602)는 클라이언트 장치(1612)가 다른 장치, 액세스 네트워크 및/또는 전송 네트워크와 통신할 수 있게 하는 기능을 한다. 따라서, 통신 인터페이스(1602)는 회로 교환 및/또는 패킷 교환 통신, 예를 들어, POTS 통신 및/또는 IP 또는 다른 패킷 화된 통신을 용이하게 할 수 있다. 예를 들어, 통신 인터페이스(1602)는 무선 액세스 네트워크 또는 액세스 포인트와의 무선 통신을 위해 배열된 칩셋 및 안테나를 포함할 수 있다. 또한, 통신 인터페이스(1602)는 이더넷, 토큰 링, 또는 USB 포트와 같은 와이어 라인 인터페이스의 형태를 취할 수 있다. 통신 인터페이스(1602)는 또한 Wifi, BLUETOOTH^®, GPS (global positioning system), 또는 광역 무선 인터페이스 (예를 들어, WiMAX 또는 LTE)와 같은 무선 인터페이스의 형태를 취할 수 있다. 그러나 다른 형태의 물리층 인터페이스 및 다른 유형의 표준 또는 독점적인 통신 프로토콜이 통신 인터페이스(1502)상에서 이용될 수 있다. 또한, 통신 인터페이스(1502)는 다수의 물리적 통신 인터페이스(예를 들어, Wifi 인터페이스, BLUETOOTH^® 인터페이스, 및 광역 무선 인터페이스)를 포함할 수 있다.

유선 통신 서브 시스템은 포트 장치 예를 들어 기타 다른 컴퓨팅 장치와 유선 접속을 설정하도록 이용될 수 있는 USB (Universal Serial Bus) 포트 또는 기타 유선 포트를 구비할 수 있으며, 여기에서, 기타 다른 컴퓨팅 장치에는 다른 통신 장치, 네트워크 액세스 장치, 사람 컴퓨터, 프린터, 디스플레이 스크린, 데이터를 수신 또는 송신할 수 있는 기타 처리 장치를 포함한다. 상기 장치는 이동 통신 (GSM) 네트워크, GPRS 네트워크, EDGE (Enhanced Data GSM Environment) 네트워크, 802.x 통신 네트워크 (예를 들어, WiFi, WiMax, 또는 3G 네트워크), 코드 분할 다중 접속 (CDMA) 네트워크 및 Bluetooth ™ 네트워크 상에서 동작하도록 설계된 무선 통신 서브 시스템을 포함할 수 있다. 통신 서브 시스템은 상기 장치가 다른 무선 장치를 위한 기지국으로 구성될 수 있도록 호스팅 프로토콜을 포함할 수 있다. 다른 예로서, 통신 서브 시스템은 상기 장치가 예를 들어 TCP/IP 프로토콜, HTTP 프로토콜, UDP 프로토콜 및 임의의 다른 공지된 프로토콜과 같은 하나 이상의 프로토콜을 사용하여 호스트 장치와 동기화하는 것을 허용 할 수 있다.

사용자 인터페이스(1603)는 사용자로부터 입력을 수신하고 사용자에게 출력을 제공하기 위하여, 클라이언트 장치(1612)가 사람 또는 사람이 아닌 사용자와 상호 작용하도록 기능 할 수 있다. 따라서, 사용자 인터페이스((1603) 은 키 패드, 키보드, 터치 감응 또는 존재 감응식 패널, 컴퓨터 마우스, 조이스틱, 마이크로폰, 정지 영상 카메라 및/또는 동영상 카메라, 제스처 센서, 및 접촉 기반 입력 장치와 같은 입력 구성요소들을 구비할 수 있다. 입력 구성요소들은 또한 마우스와 같은 포인팅 장치; 센서와 적외선 기반 센서에 의하여 캡처 되는 제스처 가이드 입력 또는 눈의 운동 또는 음성 명령; 터치 입력; 웨어러블 디스플레이 또는 모바일 장치들 또는 이동 디스플레이가 부착된 가속계의 포지셔닝/방향 및/또는 자이로스코프 및/또는 마그네토미터를 변경하여 수신되는 입력; 또는 가상 지원에 대한 명령을 구비한다.

오디오 서브 시스템은 스피커 및 하나 이상의 마이크에 연결하여 음성 인식, 음성 복제, 디지털 녹음 및 전화 기능과 같은 음성 사용 기능을 용이 하게 한다.

사용자 인터페이스(1603)는 또한 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 장치, 이어폰, 및/또는 현재 공지되거나 추후 개발될 다른 유사한 장치를 통해 가청 출력(들)을 생성하도록 구성될 수 있다. 일부 실시 예에서, 사용자 인터페이스(1603)는 외부 사용자 입력/출력 장치로 데이터를 송신하고 및/또는 외부 사용자 입력/출력 장치로부터 데이터를 수신할 수 있는 소프트웨어, 회로, 다른 형태의 로직을 포함할 수 있다. 부가적으로 또는 대안적으로, 클라이언트 장치(1612)는 통신 인터페이스(1602)를 통해 또는 다른 물리적 인터페이스를 통해 다른 장치로부터의 원격 액세스를 지원할 수 있다.

I/O 서브 시스템은 터치 컨트롤러 및/또는 기타 입력 제어 장치(들)을 포함할 수 있다. 터치 컨트롤러는 터치면에 결합 될 수 있다. 터치면 및 터치 컨트롤러는, 예를 들어, 기타 근접 센서 어레이 또는 터치 표면과의 하나 이상의 접촉점을 결정하기 위한 기타 요소뿐만 아니라, 용량 성, 저항성, 적외선 및 표면 탄성파 기술에 국한되지 않지만 이들을 포함하는 다양한 터치 감도 기술 중 하나를 사용하여 접촉 및 이동 또는 파손을 감지할 수 있다. 일 구현 예에서, 터치 표면은 사용자에 의해 입/출력 장치로서 사용될 수 있는 가상 또는 소프트 버튼 및 가상 키보드를 디스플레이 할 수 있다.

다른 입력 제어 장치(들)는 하나 이상의 버튼, 로커 (rocker) 스위치, 썸 휠 (thumb-wheel), 적외선 포트, USB 포트 및/또는 스타일러스와 같은 포인터 장치와 같은 다른 입력/제어 장치에 결합 될 수 있다. 하나 이상의 버튼들 (미도시)은 스피커 및/또는 마이크의 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며 일반적으로 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의하여 발생한다..

실시 예의 하나 이상의 특징 또는 단계는 애플리케이션 프로그래밍 인터페이스 (API)를 사용하여 구현될 수 있다. API는 전화 애플리케이션(calling application)과, 서비스를 제공하거나, 데이터를 제공하거나, 연산 또는 계산을 수행하는 다른 소프트웨어 코드 (예를 들어, 운영 시스템, 라이브러리 루틴, 함수) 사이에서 전달되는 하나 이상의 파라미터를 정의 할 수있다.

프로세서(1604)는 하나 이상의 범용 프로세서들(예: 마이크로프로세서들) 및/또는 하나 이상의 특별한 범용 프로세서(예: DSP, CPU, FPU, 네트워크 프로세서들, 또는 ASIC)를 포함할 수 있다.

데이터 저장 장치(1605)는 자기, 광학, 플래시, 또는 유기 저장 장치와 같은, 하나 이상의 휘발성 및/또는 비휘발성 저장 요소들을 구비할 수 있으며, 전체로서 또는 일부 프로세서(1604)와 일체화될 수 있다. 데이터 저장 장치(1605)는 제어식 및/또는 비제거식 구성요소들을 구비할 수 있다.

일반적으로, 프로세서(1604)는 본원에 기술된 다양한 기능들을 수행하기 위하여 데이터 저장 장치(1505)에 저장된 프로그램 명령어들(1607)(예: 컴파일된 또는 컴파일되지 않은 프로그램 로직 및/또는 기계 코드)를 실행할 수 있다. 따라서, 데이터 저장 장치(1605)는 클라이언트 장치(1612)에 의하여 실행 시에, 클라이언트 장치(1612)가 본 명세서 및/또는 첨부 도면들에 개시된 방법들, 프로세스들, 또는 기능들 중의 어떤 것을 수행하도록 하는 저장된 프로그램 명령어들을 갖는 영구적 컴퓨터 판독 매체를 구비할 수 있다. 프로세서(1604)에 의한 프로그램 명령어들(1607)의 실행은 프로세서(1604)가 데이터(1606)를 이용할 수 있게 하는 결과를 가져온다.

예로써, 프로그램 명령어들(1607)은 운영 시스템(1611)(예: 운영 시스템 커널, 장치 드라이버(들), 및/또는 다른 모듈들)과 클라이언트 장치(1612)에 설치된 하나 이상의 응용 처리(1610)을 구비할 수 있다. 유사하게, 데이터(1606)는 운영 시스템 데이터(1609)와 응용 데이터(1608)를 구비할 수 있다. 운영 시스템 데이터(1609)는 주로 운영 시스템(1611)에 액세스 가능하고, 응용 데이터(1608)는 주로 하나 이상의 응용 처리(1610)에 액세스 가능하다. 응용 데이터(1608)는 클라이언트 장치(1612)의 사용자에 보일 수 있는 또는 그 사용자로부터 숨을 수 있는 파일 시스템에 배열될 수 있다.

도 9a 및 도 9b는 얼굴 표정들을 생성하기 위한 얼굴 부분들의 얼굴 특징과 세그먼테이션을 추출하기 위하여 학습된 모델을 이용하여 이미지를 처리하여 결정된 사용자 얼굴 상의 얼굴 특징을 보여 주는 점들을 도시하고, 도 9c 내지 도 9f는 사용자 얼굴을 처리하여 생성되는 사용자 얼굴 상에 상이한 얼굴 표정들을 보여 준다.

도 10a 및 도 10b는 얼굴의 전방 및 후방 이미지의 사용자 입력을 도시하고, 도 10c는 얼굴의 전방 및 후방 이미지를 이용하여 얼굴의 3D 모델을 만드는 로직에 의하여 생성되는 얼굴 언랩(unwrap)을 보여 준다.

도 11a 및 도 11b는 사용자 얼굴의 생성된 3D 모델에 의하여 상이한 각도와 방향으로 생성된 얼굴을 도시한다. 일단 얼굴의 3D모델이 생성되면, 동일한 또는 유사한 방향 및/또는 각도로 다른 사람의 인체 부위(들) 이미지를 이용하여 어떤 각도 또는 방향으로 사용자 인체 모델을 생성하기 위하여 어떤 각도 또는 방향으로 얼굴을 생성하도록 렌더링될 수 있다.

1602 : 통신 인터페이스
1603 : 사용자 인터페이스
1604 : 프로세서
1605 : 데이터 저장 장치
1606 : 데이터
1607 : 프로그램 명령어
1608 : 응용 데이터
1609 : 운영 시스템 데이터
1610 : 응용 처리
1611 : 운영 시스템

Claims (20)

1. 서버에 의해 수행되며, 소셜 미디어 네트워크에서 사용자 프로파일에 기반하여 오프라인 상태인 사용자와 사실적으로 상호 작용하는 방법에 있어서,
   상기 소셜 미디어 네트워크는 다양한 사용자 프로파일을 갖는 네트워크를 나타내며, 상기 사용자 프로파일은 다양한 수준으로 서로 연결되어 있거나 연결되어 있지 않고, 사용자 얼굴을 갖는 이미지를 포함하며,
   상기 방법은,
   상기 소셜 미디어 네트워크 상에서 사용자 프로파일 중 하나에 관련된 사용자 요청을 수신하되, 상기 사용자 요청은 상기 사용자 프로파일을 소유하는 사용자와의 상호 작용을 위한 채팅 요청이며, 상기 서버가 오프라인 상태인 사용자에 대해 다른 사용자로부터 채팅 요청을 수신하는 단계;
   상기 사용자 요청에 따라, 상기 다른 사용자로부터 상기 오프라인 상태인 사용자에 대한 질문을 수신하는 단계; 및
   상기 오프라인 상태인 사용자의 사용자 프로파일 초기 정보 또는 사용자 프로파일 활동 정보 중 적어도 하나 또는 그들의 조합으로부터 상기 질문에 대한 답변을 획득하여 디스플레이 정보로 제공하는 단계를 포함하며,
   상기 디스플레이 정보는 상기 사용자의 얼굴을 보여주는 비디오 또는 애니메이션이며,
   상기 사용자 프로파일 초기 정보는, 상기 사용자가 온라인 상태일 때 상기 사용자의 입력에 따라, 상기 소셜 미디어 네트워크 상에 상기 사용자 프로파일을 생성하는 동안 제공되거나 상기 사용자 프로파일에서 갱신되는 정보이고,
   상기 사용자 프로파일 활동 정보는, 상기 사용자가 온라인 상태일 때 상기 소셜 미디어 네트워크 상에서 수행되는 다양한 활동들이 상기 서버에 의해 분석되어 상기 사용자 프로파일에 자동으로 갱신되는 정보이고,
   상기 사용자 프로파일 활동 정보는 상기 사용자 프로파일들 간의 관계 정보, 사용자 프로파일을 이용하여 게시된 콘텐츠, 다른 사용자 프로파일을 이용하여 게시된 콘텐츠의 공유, 또는 사용자 프로파일에 의해 게시된 콘텐츠의 주석 중 적어도 하나, 또는 그들의 조합을 포함하며,
   상기 사용자가 온라인 상태일 때 상기 초기 정보 및 활동 정보가 갱신됨에 따라, 상기 사용자가 오프라인 상태일 때 상기 다른 사용자로부터 수신된 상기 질문에 대해서, 상기 서버는 갱신된 상기 초기 정보 또는 갱신된 활동 정보를 기반으로 하여 갱신된 답변을 제공하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 사용자 프로파일 초기 정보는 여러 가지 정보를 포함하며, 적어도 하나의 정보가 오디오 형태로 상기 사용자에 의하여 제공되는 것을 특징으로 하는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 사용자 프로파일 초기 정보는 여러 가지 정보를 포함하며, 적어도 하나의 정보가 특정 얼굴 표정 또는 신체 부위의 동작과 매핑되는 것을 특징으로 하는 방법.
4. 제1항 또는 제2항에 있어서,
   상기 사용자 프로파일 초기 정보는 여러 가지 정보를 포함하며, 적어도 하나의 정보가 프라이버시 레벨(privacy level)의 세트로부터 선택된 프라이버시 레벨에 매핑되는 것을 특징으로 하는 방법.
5. 제1항 또는 제2항에 있어서,
   상기 이미지는 상기 사용자의 얼굴을 제외한 적어도 하나의 신체 부위를 포함하고,
   상기 사용자 프로파일 초기 정보는 여러 가지 정보를 포함하며, 적어도 하나의 정보가 몸 동작과 연동되며,
   상기 몸 동작은 상기 사용자의 이미지에서 제공된 바와 같이 상기 얼굴 이외의 적어도 하나의 상기 신체 부위 중 적어도 하나의 동작인 것을 특징으로 하는 방법.
6. 제1항 또는 제2항에 있어서,
   상기 방법은,
   상기 사용자 프로파일의 어느 한쪽으로부터 텍스트 또는 오디오 중 적어도 하나, 또는 그들의 조합을 포함하는 대화 입력을 수신하는 단계; 및
   상기 대화 입력과 상기 사용자 프로파일의 상기 이미지를 처리하여 음성, 립싱(lipsing), 얼굴 표정 또는 몸동작 중 적어도 하나, 또는 그들의 조합으로 사용자를 보여주는 디스플레이 출력을 제공하는 단계를 포함하는 방법.
7. 제6항에 있어서,
   상기 채팅 요청에 따른 대화시 상기 사용자 프로파일의 어느 한쪽의 이미지를 처리하며, 상기 사용자 프로파일 각각의 얼굴을 보여주는 환경 이미지를 생성하는 단계, 및
   상기 대화 입력과 상기 환경 이미지를 처리하며, 음성, 립싱, 얼굴 표정, 또는 몸동작 중 적어도 하나 또는 그들의 조합으로 대화 중인 상기 사용자를 보여주는 상기 디스플레이 출력을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
8. 제1항 또는 제2항에 있어서,
   상기 디스플레이 정보는 2 차원 또는 3 차원으로 상기 사용자를 보여주는 비디오(video) 또는 애니메이션(animation) 인 것을 특징으로하는 방법.
9. 제1항 또는 제2항에 있어서,
   상기 사용자 프로파일의 이미지로부터 얼굴 특징 및 신체 특징 중 적어도 하나를 추출하는 단계; 및
   상기 추출된 특징들을 처리하여 상기 디스플레이 정보를 형성하는 단계를 포함하는 것을 특징으로 하는 방법.
10. 제1항 또는 제2항에 있어서,
    패션 액세서리가 착용 될, 상기 사용자 프로파일의 이미지의 상기 사용자의 신체 부위와 관련된 착용 입력을 수신하는 단계;
    상기 착용 입력을 처리하고 상기 패션 액세서리가 착용 될 상기 사용자의 신체 부위를 식별하는 단계;
    상기 착용 입력에 따라 상기 패션 액세서리의 이미지 또는 비디오를 수신하는 단계; 및
    상기 사용자의 상기 식별된 신체 부위 및 상기 패션 액세서리의 상기 이미지 또는 비디오를 처리하고, 상기 패션 액세서리를 착용한 사용자를 보여주는 뷰(view)를 생성하는 단계를 포함하는 방법.
11. 제1항 또는 제2항에 있어서,
    인체 정보를 이용하여 다른 신체 부위의 요건을 확인하는 단계;
    상기 확인된 요건을 따라 다른 인체 부위의 적어도 하나의 이미지 또는 사진을 수신하는 단계; 및
    상기 인체 정보를 이용하여 다른 인체 부위의 상기 이미지 또는 상기 사진으로 사람의 이미지를 처리하여 상기 사용자의 신체 모델을 생성하며, 상기 신체 모델은 사용자 입력으로 수신되는 이미지 또는 사진 속의 사람을 나타내며, 상기 신체 모델은 상기 사람의 얼굴을 포함하는 단계를 포함하며,
    인체 정보는 상기 사용자의 상기 이미지에서 상기 사용자의 얼굴의 방향, 상기 사용자의 이미지에서 사용자의 신체의 방향, 사람의 피부 색조, 사람의 이미지에서 보여지는 신체 부위의 종류, 상기 사용자의 이미지에서 하나 또는 그 이상의 신체 부위들의 위치 및 기하학적인 구조, 신체 또는 신체 부위들의 모양, 상기 사용자의 크기, 상기 사용자의 무게, 상기 사용자의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 인접 부위 중 적어도 하나, 또는 그들의 조합을 포함하며,
    얼굴 특징 정보는 적어도 얼굴, 눈, 턱, 목, 입술, 코, 또는 귀의 모양 또는 위치 중 적어도 하나 또는 그들의 조합을 포함하는 것을 특징으로 하는 방법.
12. 제11항에 있어서,
    상기 사용자의 상기 신체 모델의 모양 및 크기에 따라 옷의 이미지를 수신하는 단계; 및
    상기 사용자의 상기 신체 모델과 상기 옷의 상기 이미지를 결합하여 상기 옷을 착용하는 상기 사용자의 상기 신체 모델을 표시하는 단계를 포함하는 방법.
13. 제1항 또는 제2항에 있어서,
    적어도 한 명의 다른 사용자와 함께 사용자에 의해 이루어진 채팅 요청을 수신하는 단계;
    상기 채팅 요청에 기초하여 상기 사용자들 사이에 채팅 환경을 설정하는 단계;
    상기 사용자들 중 적어도 하나를 대표하는 적어도 하나의 이미지를 수신하며, 상기 이미지는 적어도 하나의 얼굴을 포함하는 단계;
    상기 채팅 환경에서 상기 사용자들 중 적어도 하나로부터 메시지를 수신하며, 상기 메시지는 텍스트, 음성 및 이모티콘(smiley) 중 적어도 하나, 또는 그들의 조합을 포함하는 단계;
    상기 메시지를 처리하여 상기 사용자의 음성과 관련된 오디오 데이터, 및 상기 사용자의 얼굴에 실어질 얼굴 표정과 관련된 얼굴 움직임 데이터를 추출 또는 수신하는 단계; 및
    상기 이미지, 상기 오디오 데이터, 및 상기 얼굴 움직임 데이터를 처리하고 상기 채팅 환경에서 상기 메시지를 형성하는 상기 사용자의 애니메이션을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
14. 제13항에 있어서,
    제1 컴퓨팅 장치로부터의 상기 메시지는 제2 컴퓨팅 장치에서 수신되고,
    상기 이미지, 상기 오디오 데이터, 및 상기 얼굴 움직임 데이터를 처리하고 상기 채팅 환경에서 상기 메시지를 형성하는 상기 사용자의 애니메이션을 상기 제2 컴퓨팅 장치에 생성하는 것을 특징으로 하는 방법.
15. 제13항에 있어서,
    상기 채팅 환경에서 한 명 이상의 사용자를 대표하는 적어도 하나의 이미지를 수신하는 단계;
    상기 이미지를 처리하고, 상기 채팅 환경에서 상기 사용자들을 나타내는 장면 이미지를 생성하는 단계; 및
    상기 장면 이미지, 상기 오디오 데이터, 및 상기 얼굴 움직임 데이터를 처리하고, 상기 채팅 환경에서 상기 메시지를 형성하는 사람들의 애니메이션을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
16. 제13항에 있어서,
    패션 액세서리가 착용 되는 상기 채팅 환경에서 상기 사용자의 신체 부위와 관련된 착용 입력을 수신하는 단계;
    상기 착용 입력을 처리하고 상기 패션 액세서리가 착용 되는 상기 사용자의 신체 부위를 식별하는 단계;
    상기 착용 입력에 따라 상기 패션 액세서리의 이미지 또는 비디오를 수신하는 단계; 및
    식별된 상기 사용자의 신체 부위 및 상기 패션 액세서리의 이미지 또는 비디오를 처리하고, 상기 채팅 환경에서, 상기 패션 액세서리를 착용하고 있는 사용자를 보여주는 뷰를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
17. 제13항에 있어서,
    상기 사용자의 모양 및 크기에 따라 옷의 이미지를 수신하는 단계;
    상기 사용자의 이미지 및 상기 옷의 이미지를 처리하여 상기 채팅 환경에서 상기 옷을 착용하는 사용자를 보여주는 단계를 포함하는 방법.
18. 삭제
19. 제1항 또는 제2항에 있어서,
    소셜 미디어 네트워크의 상기 사용자들의 적어도 한 명으로부터 메시지를 수신하며, 상기 메시지는 텍스트, 음성 및 이모티콘(smiley) 중 적어도 하나 또는 그들의 조합을 포함하는 적어도 하나를 포함하는 단계;
    상기 메시지를 처리하여 상기 사용자의 음성과 관련된 오디오 데이터, 상기 사용자의 얼굴에 실릴 얼굴 표정과 관련된 얼굴 움직임 데이터를 추출 또는 수신하는 단계; 및
    상기 사용자의 이미지, 상기 오디오 데이터, 및 상기 얼굴 움직임 데이터를 처리하고 상기 메시지를 형성하는 상기 사용자의 애니메이션을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
20. 제19항에 있어서,
    각각의 사용자 프로파일은 프라이버시 설정을 통해 상기 메시지를 게시하도록 허락된 사용자의 적어도 하나의 카테고리를 포함하는 타임 라인을 가지며, 상기 방법은 상기 메시지를 게시하도록 허락된 상기 사용자의 카테고리에 의하여 게시 요청을 수신하는 단계; 및
    상기 게시 요청을 처리하고 상기 타임 라인상에서 상기 메시지를 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 방법.

Images