KR100884467B1 - 고속 커뮤니케이션 방법과 이를 위한 단말기 - Google Patents

고속 커뮤니케이션 방법과 이를 위한 단말기 Download PDF

Info

Publication number
KR100884467B1
KR100884467B1 KR20070132104A KR20070132104A KR100884467B1 KR 100884467 B1 KR100884467 B1 KR 100884467B1 KR 20070132104 A KR20070132104 A KR 20070132104A KR 20070132104 A KR20070132104 A KR 20070132104A KR 100884467 B1 KR100884467 B1 KR 100884467B1
Authority
KR
South Korea
Prior art keywords
information
parameter
facial expression
feature point
terminal
Prior art date
Application number
KR20070132104A
Other languages
English (en)
Inventor
오현준
김성우
정원석
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR20070132104A priority Critical patent/KR100884467B1/ko
Application granted granted Critical
Publication of KR100884467B1 publication Critical patent/KR100884467B1/ko

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

본 발명은 서로 다른 둘 이상의 유무선 단말기 간에 3D 아바타에 대한 정보를 실시간으로 공유할 수 있도록 하기 위한 고속 커뮤니케이션 방법과 이를 위한 단말기에 관한 것이다.
본 발명은 a) 송신측 단말기가 입력되는 동영상의 화상 데이터로부터 특징 점을 추출하는 단계; b) 송신측 단말기가 a) 단계에서 추출된 특징 점 정보를 분석하여 3D 상에서 적용 가능한 표정 파라미터 정보를 생성하는 단계; c) 송신측 단말기가 a) 단계에서 추출된 특징 점 정보를 분석하여 3D 상에서 적용 가능한 동작 파라미터 정보를 생성하는 단계; d) 송신측 단말기가 b) 단계 및 c) 단계에서 생성된 표정 파라미터 정보와 동작 파라미터 정보를 수신측 단말기로 전송하는 단계; 및 e) 수신측 단말기가 표정 파라미터와 동작 파라미터를 보간하여 각각에 해당하는 얼굴 표정과 아바타 동작에 적용하는 단계;를 포함하여, 3D 아바타를 공유하는 둘 이상의 유무선 단말기 각각이 3D 아바타의 변경된 부분에 대한 파라미터 만을 전송하기 때문에, 3D 아바타에 대한 데이터를 보다 빠르게 커뮤니케이션 할 수 있으며, 이로 인해 적은 네트워크 대역폭에서도 3D 아바타 통신이 가능하다는 장점이 있다.

Description

고속 커뮤니케이션 방법과 이를 위한 단말기{Method for High Speed Communication, and Terminal therefor}
본 발명은 고속 커뮤니케이션 방법과 이를 위한 단말기에 관한 것으로서, 보다 상세하게는 서로 다른 둘 이상의 유무선 단말기 간에 3D 아바타를 공유하는 서비스를 이용하는 경우, 각 유무선 단말기 상에서 실행되는 아바타의 변경된 사항에 대한 파라미터 만을 송수신하여 유무선 단말기 간에 아바타의 변경된 사항을 보다 빠르게 공유하고, 이를 단말기 상에서 실시간으로 반영할 수 있도록 하기 위한 고속 커뮤니케이션 방법과 이를 위한 단말기에 관한 것이다.
일반적으로, 3D 데이터의 용량이 커질수록 유무선 단말기 상에서 이를 처리하는 메모리의 용량이나 성능의 부하는 비례하기 마련이다.
더욱이, 유무선 통신망을 통해 유무선 단말기 간에 정보를 송수신하는 네트워크 커뮤니케이션의 경우, 실시간으로 대용량의 데이터를 송수신한다는 것은 실질적으로 불가능하다. 예를 들어, 10000 폴리곤의 얼굴 변형 정보를 전송하는 경우, 1vertex 당 12byte(x, y, z)를 실시간으로 프레임 당 120000 byte를 전송해야 한다.
한편, 둘 이상의 유무선 단말기 간에 동영상 형태로 실행되는 아바타를 공유하기 위해서는 통신망을 통해 아바타의 현재 상태 정보를 실시간으로 송수신하여야 하는데, 실제 아바타 통신에서는 영상 외에 음성 등 다양한 전송요소가 있고 매 프레임 마다 패킷을 전송하여 동기화 해야 하는데, 이는, 유무선 단말기 상에서의 그래픽 처리속도에 비해 네트워크 처리 속도가 느리기 때문에, 유무선 단말기 상에서 실행되는 아바타의 동작이 매끄럽게 구현되지 못하는 현상이 발생한다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 3D 아바타를 공유하는 둘 이상의 유무선 단말기 각각이 3D 아바타의 변경된 부분에 대한 파라미터 만을 전송하여 보다 빠른 속도로 실시간 커뮤니케이션을 수행할 수 있도록 하기 위한 고속 커뮤니케이션 방법과 이를 위한 단말기를 제공하는데 그 기술적 과제가 있다.
또한, 본 발명은 유무선 단말기 상에서 3D 아바타에 대한 변경된 파라미터를 보간하여 아바타의 표정 및 동작에 반영할 수 있도록 하는 데 목적이 있다.
상술한 목적을 달성하기 위한 본 발명은 고속 커뮤니케이션 방법으로서,
a) 송신측 단말기가 입력되는 동영상의 화상 데이터로부터 특징 점을 추출하는 단계; b) 송신측 단말기가 상기 a) 단계에서 추출된 특징 점 정보를 분석하여 3D 상에서 적용 가능한 표정 파라미터 정보를 생성하는 단계; c) 송신측 단말기가 상기 a) 단계에서 추출된 특징 점 정보를 분석하여 3D 상에서 적용 가능한 동작 파라미터 정보를 생성하는 단계; d) 송신측 단말기가 상기 b) 단계 및 c) 단계에서 생성된 표정 파라미터 정보와 동작 파라미터 정보를 수신측 단말기로 전송하는 단계; 및 e) 수신측 단말기가 상기 표정 파라미터와 동작 파라미터를 보간하여 각각에 해당하는 얼굴 표정과 아바타 동작에 적용하는 단계;를 포함한다.
상기 특징 점은 얼굴 표정에 대한 특징 점을 포함하고, 상기 b) 단계는, 상기 얼굴 표정에 대한 특징 점 정보를 분석하고 크기 요소, 회전 요소, 이동 요소로 변환하여 표정 파라미터 정보를 생성하는 단계;이며, 상기 표정 파라미터 정보는, 상기 특징 점 정보를 기초로 이전 표정으로부터 변경된 표정 정보 만을 추출한 정보인 것이 바람직하다.
상기 특징 점은 동작에 대한 특징 점을 포함하고, 상기 c) 단계는, 상기 동작에 대한 특징 점을 분석하고 아바타 동작에 대한 크기 요소, 회전 요소, 이동 요소로 변환하여 동작 파라미터 정보를 생성하는 단계;이며, 상기 동작 파라미터 정보는, 상기 특징 점 정보를 기초로 이전 동작으로부터 변경된 동작 정보 만을 추출한 정보인 것이 바람직하다.
다른 본 발명은 고속 커뮤니케이션 서비스를 제공하기 위한 시스템으로서,
입력되는 동영상의 화상 데이터로부터 특징 점을 추출하여, 이전 화상 데이터로부터 변경된 표정과 동작을 파악하여 표정 파라미터 및 동작 파라미터를 생성하는 송신측 단말기; 및 상기 송신측 단말기로부터 전송되는 표정 파라미터와 동작 파라미터를 보간하여 현재 실행되는 동영상 화상 데이터의 표정 및 동작에 적용하는 수신측 단말기;를 포함한다.
또 다른 본 발명의 송신측 단말기는, 수신측 단말기와 정보를 송수신하는 통신 인터페이스부; 송신측 단말기와 관련된 정보를 저장하는 메모리; 상기 통신 인터페이스부를 통해 수신한 동영상의 화상 데이터를 분석하여 얼굴 표정 또는 동작에 대한 특징 점을 실시간으로 추출하는 얼굴 파라미터 인식부; 상기 얼굴 파라미 터 인식부에 의해서 추출된 얼굴 표정에 대한 특징 점 정보를 분석하고 크기 요소, 회전 요소, 이동 요소로 변환하여 표정 파라미터 정보를 생성하는 표정 파라미터 생성부; 및 상기 얼굴 파라미터 인식부에 의해서 추출된 동작에 대한 특징 점 정보를 분석하고 크기 요소, 회전 요소, 이동 요소로 변환하여 동작 파라미터 정보를 생성하는 동작 파라미터 생성부;를 포함한다.
상기 표정 파라미터 생성부는, 상기 얼굴 파라미터 인식부로부터 수신한 얼굴 표정에 대한 특징 점을 가장 최근에 생성된 표정 파라미터 또는 운용자에 의해서 설정된 무표정 파라미터 중 어느 하나인 기 설정된 얼굴 파라미터와 비교하여 크기 여부, 회전 여부, 이동 여부를 파악하여 표정 파라미터를 생성하는 것이 바람직하다.
또 다른 본 발명은 송신측 단말기와 통신을 수행하고, 고속 커뮤니케이션 서비스를 제공하기 위한 수신측 단말기로서,
송신측 단말기와 정보를 송수신하는 통신 인터페이스부; 수신측 단말기와 관련된 정보를 저장하는 메모리; 송신측 단말기로부터 전송된 이전 표정으로부터 변경된 표정 정보 만을 추출한 정보인 표정 파라미터 정보를 보간하여 해당 동영상의 화상 데이터에 적용하는 표정 파라미터 적용부; 및 송신측 단말기로부터 전송된 이전 동작으로부터 변경된 동작 정보 만을 추출한 정보인 동작 파라미터 정보를 보간하여 해당 동영상의 화상 데이터에 적용하는 동작 파라미터 적용부;를 포함한다.
상기 표정 파라미터 적용부와 동작 파라미터 적용부에서 보간을 수행할 때,
크기 요소와 이동 요소에 대해서는 선형 보간(Linear Interpolation)을 적용 하고, 회전 요소에 대해서는 쿼터니언 보간(Quaternion Interpolation)을 적용하는 것이 바람직하다.
상술한 바와 같이 본 발명의 고속 커뮤니케이션 방법과 이를 위한 단말기는 3D 아바타를 공유하는 둘 이상의 유무선 단말기 각각이 3D 아바타의 변경된 부분에 대한 파라미터 만을 전송하기 때문에, 3D 아바타에 대한 데이터를 보다 빠르게 커뮤니케이션 할 수 있으며, 이로 인해 적은 네트워크 대역폭에서도 3D 아바타 통신이 가능하다는 장점이 있다.
또한, 본 발명은 유무선 단말기 상에서 3D 아바타에 대한 변경된 파라미터를 보간하여 아바타의 표정 및 동작에 반영할 수 있으며, 이로 인해 저용량의 패킷을 이용해서도 고품질의 아바타 표정 및 동작을 표현할 수 있다는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
먼저, 도 1은 본 발명에 의한 단말기와 통신망의 관계를 나타내는 도면이다.
3D 아바타의 고속 커뮤니케이션 서비스를 제공하기 위한 시스템은 입력되는 동영상의 화상 데이터(아바타)로부터 특징 점을 추출하여, 이전 화상 데이터로부터 변경된 표정과 동작을 파악하여 표정 파라미터 및 동작 파라미터를 생성하는 송신 측 단말기(100-a, 100-b: 이하에서는 참조번호 100이라 하기로 함)와 송신측 단말기(100)로부터 전송되는 표정 파라미터와 동작 파라미터를 보간하여 현재 실행되는 동영상 화상 데이터의 표정 및 동작에 적용하는 수신측 단말기(200-a, 200-b: 이하에서는 참조번호 200이라 하기로 함)를 포함한다.
도 2는 본 발명에 의한 송신측 단말기의 구성을 나타내는 도면으로서, 얼굴 파라미터를 인식하는 방법을 설명하기 위한 도 3과 표정 파라미터를 생성하는 방법을 설명하기 위한 도 4를 참조하여 설명하기로 한다.
도시하는 것과 같이, 송신측 단말기(100)는 통신 인터페이스부(110), 입력부(120), 메모리(130), 출력부(140), 얼굴 파라미터 인식부(150), 표정 파라미터 생성부(160) 및 동작 파라미터 생성부(170)를 포함한다.
보다 상세히 설명하면, 통신 인터페이스부(110)는 유무선 통신망을 통해 수신측 단말기(200)와 정보를 송수신한다.
입력부(120)는 송신측 단말기(100)의 입력 제어를 위한 기능을 수행한다.
메모리(130)는 송신측 단말기(100)와 관련된 정보를 저장한다.
출력부(140)는 음성 통화 서비스나 데이터 서비스와 같이 송신측 단말기(100) 상에서 실행되는 서비스와 관련된 데이터를 청각 또는 시각으로 제공한다.
얼굴 파라미터 인식부(150)는 통신 인터페이스부(110)를 통해 수신한 동영상의 화상 데이터를 분석하여 얼굴 표정 또는 동작에 대한 특징 점을 실시간으로 추출한다.
예를 들어, 도 3에서 도시하는 것과 같이, 얼굴 파라미터 인식부(150)는 화상 데이터로부터 얼굴 형상을 나타내는 각 특징 점을 추출하는 데, 이 때, 얼굴 표정이 이전과 비교하여 변경되었다면 이전에 추출한 특징 점과 현재 추출한 특징 점의 위치, 구조 등이 각각 상이할 것이다.
여기에서, 동영상은 송신측 단말기(100)에 구비되어 있는 카메라(도시하지 않음)로부터 수신하거나 또는 통신망을 통해 타 단말기/서버로부터 수신한 동영상이다.
표정 파라미터 생성부(160)는 얼굴 파라미터 인식부(150)에 의해서 추출된 얼굴 표정에 대한 특징 점 정보를 분석하고 크기(Scale) 요소, 회전(Rotate) 요소, 이동(Translation) 요소로 변환하여 표정 파라미터 정보를 생성한다.
예를 들어, 표정 파라미터 생성부(160)는 도 4에서 도시하는 것과 같이, 얼굴 파라미터 인식부(150)로부터 수신한 얼굴 표정에 대한 특징 점을 기 설정된 얼굴 파라미터와 비교하여 크기 여부, 회전 여부, 이동 여부를 파악하여 표정 파라미터를 생성한다. 상기 기 설정된 얼굴 파라미터는 화상 데이터의 변화를 파악하기 위한 기준 파라미터로, 가장 최근에 생성된 표정 파라미터이거나 또는 운용자에 의해서 설정된 무표정 파라미터일 것이다.
동작 파라미터 생성부(170)는 얼굴 파라미터 인식부(150)에 의해서 추출된 동작에 대한 특징 점 정보를 분석하고 크기 요소, 회전 요소, 이동 요소로 변환하여 동작 파라미터 정보를 생성한다.
한편, 동작 파라미터 생성부(170)도 표정 파라미터 생성부(160)와 유사한 방 법으로 기 설정된 동작 파라미터와 얼굴 파라미터 인식부(150)로부터 수신한 동작에 대한 특징 점을 비교하여 동작 파라미터를 생성한다.
도 5는 본 발명에 의한 수신측 단말기의 구성을 나타내는 도면이다.
도시하는 것과 같이, 수신측 단말기(200)는 통신 인터페이스부(210), 입력부(220), 메모리(230), 출력부(240), 표정 파라미터 적용부(250) 및 동작 파라미터 적용부(260)를 포함한다.
보다 상세히 설명하면, 통신 인터페이스부(210)는 유무선 통신망을 통해 송신측 단말기(100)와 정보를 송수신한다.
입력부(220)는 수신측 단말기(200)의 입력 제어를 위한 기능을 수행한다.
메모리(230)는 수신측 단말기(200)와 관련된 정보를 저장한다.
출력부(240)는 음성 통화 서비스나 데이터 서비스와 같이 수신측 단말기(200) 상에서 실행되는 서비스와 관련된 데이터를 청각 또는 시각으로 제공한다.
표정 파라미터 적용부(250)는 송신측 단말기(100)로부터 전송된 이전 표정으로부터 변경된 표정 정보 만을 추출한 정보인 표정 파라미터 정보를 보간하여 해당 동영상의 화상 데이터에 적용한다.
동작 파라미터 적용부(260)는 송신측 단말기(100)로부터 전송된 이전 동작으로부터 변경된 동작 정보 만을 추출한 정보인 동작 파라미터 정보를 보간하여 해당 동영상의 화상 데이터에 적용한다.
도 5에서 개시하는 표정 파라미터 적용부(250)와 동작 파라미터 적용부(260) 는 선형 보간(Linear Interpolation) 또는 쿼터니언 보간(Quaternion Interpolation)을 적용하여 표정 파라미터와 동작 파라미터를 보간 한다.
상기 선형 보간은 작은 수치의 값들이나 순차적으로 변화하는 값들에 대해 사용 되는 보간 방법으로, 표정 파라미터 적용부(250)와 동작 파라미터 적용부(260)는 3D 공간상의 크기 요소와 이동 요소에 대해서는 선형 보간을 적용한다. 그러나, 회전 요소인 경우 보간 된 값들이 직선이 아닌 곡선을 이루며 보간 되어야 하므로, 이러한 경우에는 선형 보간이 아닌 쿼터니언 보간을 적용한다.
상기 쿼터니언 보간은 스칼라와 벡터가 조합된 사원수로서 회전 요소를 쿼터니언으로 변환하고 이 쿼터니언 값들을 보간 후 다시 회전 요소로 변환하여 사용하는 방법으로, 표정 파라미터 적용부(250)와 동작 파라미터 적용부(260)는 쿼터니언의 특성을 이용하여 보간 함에 따라 보다 자연스러운 회전 값을 생성한다.
도 6은 본 발명에 의한 3D 아바타의 고속 커뮤니케이션 방법을 설명하기 위한 흐름도이다.
먼저, 송신측 단말기(100)는 입력되는 동영상의 화상 데이터로부터 특징 점을 추출한다(S101).
이어서, 송신측 단말기(100)는 단계 S101에서 추출된 특징 점 정보를 분석하여 3D 상에서 적용 가능한 표정 파라미터 정보와 동작 파라미터를 생성한다(S103).
상기 특징 점은 얼굴 표정에 대한 특징 점과 동작에 대한 특징 점을 포함하며, 단계 S103에서 송신측 단말기(100)는 얼굴 표정에 대한 특징 점 정보를 분석하 고 크기 요소, 회전 요소, 이동 요소로 변환하여 표정 파라미터 정보를 생성한다. 상기 표정 파라미터 정보는, 특징 점 정보를 기초로 이전 표정으로부터 변경된 표정 정보 만을 추출한 정보이다.
또한, 단계 S103에서 송신측 단말기(100)는 동작에 대한 특징 점을 분석하고 아바타 동작에 대한 크기 요소, 회전 요소, 이동 요소로 변환하여 동작 파라미터 정보를 생성한다. 상기 동작 파라미터 정보는, 상기 특징 점 정보를 기초로 이전 동작으로부터 변경된 동작 정보 만을 추출한 정보이다.
송신측 단말기(100)는 단계 S103에서 생성된 표정 파라미터 정보와 동작 파라미터 정보를 수신측 단말기(200)로 전송한다(S105).
수신측 단말기(200)는 표정 파라미터와 동작 파라미터를 보간하여 각각에 해당하는 얼굴 표정과 아바타 동작에 적용한다(S107, S109).
여기에서, 수신측 단말기(200)는 3D 공간상의 크기 요소와 이동 요소에 대해서는 선형 보간을 적용하고, 회전 요소에 대해서는 선형 보간이 아닌 쿼터니언 보간을 적용한다.
상기 선형 보간은 작은 수치의 값들이나 순차적으로 변화하는 값들에 대해 사용 되는 보간 방법이며, 쿼터니언 보간은 스칼라와 벡터가 조합된 사원수로서 회전 요소를 쿼터니언으로 변환하고 이 쿼터니언 값들을 보간 후 다시 회전 요소로 변환하여 사용하는 방법이다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사 상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상과 같이, 본 발명의 고속 커뮤니케이션 방법과 이를 위한 단말기는 3D 아바타를 공유하는 둘 이상의 유무선 단말기 각각이 3D 아바타의 변경된 부분에 대한 파라미터 만을 전송하기 때문에, 3D 아바타에 대한 데이터를 보다 빠르게 커뮤니케이션 할 수 있으며, 이로 인해 적은 네트워크 대역폭에서도 3D 아바타 통신이 가능할 필요성이 높은 것에 적합하다.
도 1은 본 발명에 의한 단말기와 통신망의 관계를 나타내는 도면,
도 2는 본 발명에 의한 송신측 단말기의 구성을 나타내는 도면,
도 3은 본 발명에 의한 얼굴 파라미터를 인식하는 방법을 설명하기 위한 도면,
도 4는 본 발명에 의한 표정 파라미터를 생성하는 방법을 설명하기 위한 도면,
도 5는 본 발명에 의한 수신측 단말기의 구성을 나타내는 도면,
도 6은 본 발명에 의한 3D 아바타의 고속 커뮤니케이션 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 송신측 단말기 110, 210 : 통신 인터페이스부
120, 220 : 입력부 130, 230 : 메모리
140, 240 : 출력부 150 : 얼굴 파라미터 인식부
160 : 표정 파라미터 생성부 170 : 동작 파라미터 생성부
200 : 수신측 단말기 250 : 표정 파라미터 적용부
260 : 동작 파라미터 적용부

Claims (8)

  1. 3D 아바타의 고속 커뮤니케이션 방법으로서,
    a) 송신측 단말기가 입력되는 동영상의 화상 데이터로부터 특징 점을 추출하는 단계;
    b) 송신측 단말기가 상기 a) 단계에서 추출된 특징 점 정보를 분석하여 3D 상에서 적용 가능한 표정 파라미터 정보를 생성하는 단계;
    c) 송신측 단말기가 상기 a) 단계에서 추출된 특징 점 정보를 분석하여 3D 상에서 적용 가능한 동작 파라미터 정보를 생성하는 단계;
    d) 송신측 단말기가 상기 b) 단계 및 c) 단계에서 생성된 표정 파라미터 정보와 동작 파라미터 정보를 수신측 단말기로 전송하는 단계; 및
    e) 수신측 단말기가 상기 표정 파라미터와 동작 파라미터를 보간하여 각각에 해당하는 얼굴 표정과 아바타 동작에 적용하는 단계;
    를 포함하는 것을 특징으로 하는 고속 커뮤니케이션 방법.
  2. 제1항에 있어서,
    상기 특징 점은 얼굴 표정에 대한 특징 점을 포함하고,
    상기 b) 단계는, 상기 얼굴 표정에 대한 특징 점 정보를 분석하고 크기 요소, 회전 요소, 이동 요소로 변환하여 표정 파라미터 정보를 생성하는 단계;이며,
    상기 표정 파라미터 정보는, 상기 특징 점 정보를 기초로 이전 표정으로부터 변경된 표정 정보 만을 추출한 정보인 것을 특징으로 하는 고속 커뮤니케이션 방법.
  3. 제1항에 있어서,
    상기 특징 점은 동작에 대한 특징 점을 포함하고,
    상기 c) 단계는, 상기 동작에 대한 특징 점을 분석하고 아바타 동작에 대한 크기 요소, 회전 요소, 이동 요소로 변환하여 동작 파라미터 정보를 생성하는 단계;이며,
    상기 동작 파라미터 정보는, 상기 특징 점 정보를 기초로 이전 동작으로부터 변경된 동작 정보 만을 추출한 정보인 것을 특징으로 하는 고속 커뮤니케이션 방법.
  4. 3D 아바타의 고속 커뮤니케이션 서비스를 제공하기 위한 시스템으로서,
    입력되는 동영상의 화상 데이터로부터 특징 점을 추출하여, 이전 화상 데이터로부터 변경된 표정과 동작을 파악하여 표정 파라미터 및 동작 파라미터를 생성하는 송신측 단말기; 및
    상기 송신측 단말기로부터 전송되는 표정 파라미터와 동작 파라미터를 보간하여 현재 실행되는 동영상 화상 데이터의 표정 및 동작에 적용하는 수신측 단말기;
    를 포함하는 것을 특징으로 하는 고속 커뮤니케이션 서비스를 제공하기 위한 시스템.
  5. 수신측 단말기와 정보를 송수신하는 통신 인터페이스부;
    송신측 단말기와 관련된 정보를 저장하는 메모리;
    상기 통신 인터페이스부를 통해 수신한 동영상의 화상 데이터를 분석하여 얼굴 표정 또는 동작에 대한 특징 점을 실시간으로 추출하는 얼굴 파라미터 인식부;
    상기 얼굴 파라미터 인식부에 의해서 추출된 얼굴 표정에 대한 특징 점 정보를 분석하고 크기 요소, 회전 요소, 이동 요소로 변환하여 표정 파라미터 정보를 생성하는 표정 파라미터 생성부; 및
    상기 얼굴 파라미터 인식부에 의해서 추출된 동작에 대한 특징 점 정보를 분석하고 크기 요소, 회전 요소, 이동 요소로 변환하여 동작 파라미터 정보를 생성하는 동작 파라미터 생성부;
    를 포함하는 것을 특징으로 하는 고속 커뮤니케이션 서비스를 제공하기 위한 송신측 단말기.
  6. 제5항에 있어서,
    상기 표정 파라미터 생성부는,
    상기 얼굴 파라미터 인식부로부터 수신한 얼굴 표정에 대한 특징 점을 가장 최근에 생성된 표정 파라미터 또는 운용자에 의해서 설정된 무표정 파라미터 중 어느 하나인 기 설정된 얼굴 파라미터와 비교하여 크기 여부, 회전 여부, 이동 여부 를 파악하여 표정 파라미터를 생성하는 것을 특징으로 하는 고속 커뮤니케이션 서비스를 제공하기 위한 송신측 단말기.
  7. 송신측 단말기와 통신을 수행하고, 고속 커뮤니케이션 서비스를 제공하기 위한 수신측 단말기로서,
    송신측 단말기와 정보를 송수신하는 통신 인터페이스부;
    수신측 단말기와 관련된 정보를 저장하는 메모리;
    송신측 단말기로부터 전송된 이전 표정으로부터 변경된 표정 정보 만을 추출한 정보인 표정 파라미터 정보를 보간하여 해당 동영상의 화상 데이터에 적용하는 표정 파라미터 적용부; 및
    송신측 단말기로부터 전송된 이전 동작으로부터 변경된 동작 정보 만을 추출한 정보인 동작 파라미터 정보를 보간하여 해당 동영상의 화상 데이터에 적용하는 동작 파라미터 적용부;
    를 포함하는 것을 특징으로 하는 고속 커뮤니케이션 서비스를 제공하기 위한 수신측 단말기.
  8. 제7항에 있어서,
    상기 표정 파라미터 적용부와 동작 파라미터 적용부에서 보간을 수행할 때,
    크기 요소와 이동 요소에 대해서는 선형 보간(Linear Interpolation)을 적용하고, 회전 요소에 대해서는 쿼터니언 보간(Quaternion Interpolation)을 적용하는 것을 특징으로 하는 고속 커뮤니케이션 서비스를 제공하기 위한 수신측 단말기.
KR20070132104A 2007-12-17 2007-12-17 고속 커뮤니케이션 방법과 이를 위한 단말기 KR100884467B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20070132104A KR100884467B1 (ko) 2007-12-17 2007-12-17 고속 커뮤니케이션 방법과 이를 위한 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20070132104A KR100884467B1 (ko) 2007-12-17 2007-12-17 고속 커뮤니케이션 방법과 이를 위한 단말기

Publications (1)

Publication Number Publication Date
KR100884467B1 true KR100884467B1 (ko) 2009-02-20

Family

ID=40681828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070132104A KR100884467B1 (ko) 2007-12-17 2007-12-17 고속 커뮤니케이션 방법과 이를 위한 단말기

Country Status (1)

Country Link
KR (1) KR100884467B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120049218A (ko) * 2009-07-09 2012-05-16 마이크로소프트 코포레이션 플레이어의 표현에 기반하는 비주얼 형상의 표현 방법
KR101189053B1 (ko) * 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
CN104995662A (zh) * 2013-03-20 2015-10-21 英特尔公司 基于化身的传输协议、图标生成和玩偶动画

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020043522A (ko) * 2002-05-15 2002-06-10 최중현 모바일 폰에서의 3차원 아바타 생성 및 이용 방법
KR20030070578A (ko) * 2003-08-12 2003-08-30 학교법인고려중앙학원 3차원 스캔 얼굴 데이터의 자동 애니메이션 방법
KR20040051921A (ko) * 2002-12-13 2004-06-19 삼성전자주식회사 아바타 서비스를 제공하기 위한 이동통신 시스템 및 방법
KR20070032432A (ko) * 2005-09-16 2007-03-22 주식회사 인프라밸리 대체 영상 통화 서비스 제공 방법 및 이를 위한 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020043522A (ko) * 2002-05-15 2002-06-10 최중현 모바일 폰에서의 3차원 아바타 생성 및 이용 방법
KR20040051921A (ko) * 2002-12-13 2004-06-19 삼성전자주식회사 아바타 서비스를 제공하기 위한 이동통신 시스템 및 방법
KR20030070578A (ko) * 2003-08-12 2003-08-30 학교법인고려중앙학원 3차원 스캔 얼굴 데이터의 자동 애니메이션 방법
KR20070032432A (ko) * 2005-09-16 2007-03-22 주식회사 인프라밸리 대체 영상 통화 서비스 제공 방법 및 이를 위한 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120049218A (ko) * 2009-07-09 2012-05-16 마이크로소프트 코포레이션 플레이어의 표현에 기반하는 비주얼 형상의 표현 방법
US9519989B2 (en) 2009-07-09 2016-12-13 Microsoft Technology Licensing, Llc Visual representation expression based on player expression
KR101704848B1 (ko) * 2009-07-09 2017-02-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 플레이어의 표현에 기반하는 비주얼 표현의 표현 방법
KR101189053B1 (ko) * 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
CN104995662A (zh) * 2013-03-20 2015-10-21 英特尔公司 基于化身的传输协议、图标生成和玩偶动画
EP2976749A4 (en) * 2013-03-20 2016-10-26 Intel Corp AVATAR-BASED TRANSMISSION PROTOCOLS, SYMBOL GENERATION AND PUPPET ANIMATION
US9792714B2 (en) 2013-03-20 2017-10-17 Intel Corporation Avatar-based transfer protocols, icon generation and doll animation
CN104995662B (zh) * 2013-03-20 2020-08-11 英特尔公司 用于管理化身的设备和方法以及用于动画化化身的设备

Similar Documents

Publication Publication Date Title
CN112100352B (zh) 与虚拟对象的对话方法、装置、客户端及存储介质
CN110400251A (zh) 视频处理方法、装置、终端设备及存储介质
KR20210040882A (ko) 동영상을 생성하기 위한 방법 및 장치
JP2023545050A (ja) 仮想ビデオライブ放送処理方法及び装置、電子機器
KR20060121679A (ko) 화상 합성 장치, 그리고 그 장치를 사용한 통신 단말기 및화상 커뮤니케이션 시스템, 그리고 그 시스템에 있어서의채팅 서버
WO2005093714A1 (en) Speech receiving device and viseme extraction method and apparatus
CN112634413B (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
WO2023273789A1 (zh) 游戏画面的显示方法和装置、存储介质及电子设备
EP4033769A1 (en) Video sound and picture matching method, related device and storage medium
CN113365146B (zh) 用于处理视频的方法、装置、设备、介质和产品
US20210350603A1 (en) Systems, methods, and devices for creating a spline-based video animation sequence
JP2022133409A (ja) 仮想オブジェクトリップ駆動方法、モデル訓練方法、関連装置及び電子機器
KR100884467B1 (ko) 고속 커뮤니케이션 방법과 이를 위한 단말기
KR20210116922A (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
CN109951400A (zh) 终端的指令发送方法、装置、电子设备及可读存储介质
CN104735389A (zh) 信息处理方法和信息处理设备
CN110288683B (zh) 用于生成信息的方法和装置
AU2021384132A9 (en) Providing a 3d representation of a transmitting participant in a virtual meeting
CN112541477A (zh) 表情包生成方法、装置、电子设备和存储介质
KR20090051851A (ko) 수신된 문자메시지를 아바타에 의하여 음성으로 출력하는이동통신단말기 및 그 제어방법
EP4152269A1 (en) Method and apparatus of generating 3d video, method and apparatus of training model, device, and medium
US11838488B2 (en) Method and apparatus for providing conversational services in mobile communication system
CN115641397A (zh) 虚拟形象的合成、展示方法和系统
Alriksson et al. Future network requirements for extended reality applications: Many Experts Believe that New and Emerging Extended Reality Technologies will Lead to the Next Major Paradigm Shift in Telecommunications, with Lightweight XR Glasses Ultimately Overtaking Smartphones as the Dominant Device Type in Mobile Networks. This Evolution has Major Implications on the Requirements for Future Networks
CN114187892A (zh) 一种风格迁移合成方法、装置及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170202

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee