KR101456443B1 - 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법 - Google Patents

모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법 Download PDF

Info

Publication number
KR101456443B1
KR101456443B1 KR1020130042185A KR20130042185A KR101456443B1 KR 101456443 B1 KR101456443 B1 KR 101456443B1 KR 1020130042185 A KR1020130042185 A KR 1020130042185A KR 20130042185 A KR20130042185 A KR 20130042185A KR 101456443 B1 KR101456443 B1 KR 101456443B1
Authority
KR
South Korea
Prior art keywords
animation
avatar
mobile device
input means
joint
Prior art date
Application number
KR1020130042185A
Other languages
English (en)
Other versions
KR20140124983A (ko
Inventor
채영호
남상훈
진영훈
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020130042185A priority Critical patent/KR101456443B1/ko
Publication of KR20140124983A publication Critical patent/KR20140124983A/ko
Application granted granted Critical
Publication of KR101456443B1 publication Critical patent/KR101456443B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

입력 수단을 이용하여 모바일 기기에서 아바타 애니메이션을 생성하는 장치가 개시된다. 방향 프레임 설정부는 모바일 기기 내에 장착된 소정의 제1센서와 입력 수단 내에 장착된 소정의 제2센서를 이용하여 모바일 기기와 입력 수단의 방향 프레임을 설정한다. 입력 데이터 분류부는 설정된 모바일 기기의 방향 프레임과 설정된 입력 수단의 방향 프레임의 상대적인 움직임을 분석하여 사용자에 의해 입력 수단이 움직이는 동작을 감지하여 동작을 분류한다. 관절 그룹 설정부는 아바타의 움직임에 영향을 주는 관절의 위치를 토대로 복수 개의 계층적 관절 그룹을 구분한다. 애니메이션 그룹 설정부는 관절 그룹 설정부에 의해 설정된 관절 그룹을 토대로 아바타의 움직임의 특성에 따라 복수 개의 애니메이션 그룹을 구분한다. 동작 합성부는 복수 개의 애니메이션 그룹 중 사용자에 의해 선택된 제1애니메이션 그룹에 대응하여 각각의 동작을 선택하여 복수의 동작을 관절 계층 정보를 토대로 하나의 애니메이션으로 합성한다. 본 발명에 따르면, 모바일 기기에서 아바타의 애니메이션 동작들을 혼합하여 새로운 애니메이션으로 확장함으로써 모바일 게임 및 SNS 서비스에서 다양한 표현을 할 수 있다. 또한, 모바일 기기 또는 모바일 기기와 연결된 주변 기기를 이용하여 아바타의 애니메이션을 다양하게 제어할 수 있다.

Description

모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법{Apparatus and method for generating avatar animation in mobile device}
본 발명은 아바타 애니메이션 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는, 아바타의 애니메이션 동작들을 혼합하여 새로운 애니메이션으로 확장하는 아바타 애니메이션 생성 장치 및 방법에 관한 것이다.
아바타는 사용자의 다양성을 표현하는 방법으로 사용되고 있다. 초기 모바일에서는 도 1과 같이 2D 기반으로 설계된 아바타를 사용하였다. 아바타의 2D 이미지를 이용하여 신체부위(머리, 몸, 팔, 다리)의 이미지와 색상을 조합하고, 액세서리들을 이용하여 아바타의 다양성을 확장하였다. 아바타의 애니메이션을 표현하기 위해서는 2D 이미지의 연속적인 디스플레이를 이용하였다.
최근에는 단말기와 칩의 발전에 따라 모바일 3D가 가능해짐에 따라 아바타도 3D 기반의 계층형(hierarchy) 인체 모델 데이터가 사용되었다. 인체 모델의 사용으로 인하여 실제와 같은 움직임을 가진 아바타의 움직임이 단말기에서 가능해 졌으며, 이러한 기술은 3D 게임 및 3D 아바타 분야에 적용되고 있다.
모바일 3D 아바타의 애니메이션을 제어하기 위하여 사용자가 키패드를 누르는 인터페이스로부터 시작하는 방법으로부터 스마트폰의 터치 및 자세 인터페이스가 적용되어 아바타가 반응하는 방법으로 발전하고 있다.
아바타의 애니메이션 기술은 게임에서 주로 사용되고 있으며, 아바타의 자연스러운 움직임을 위하여 모션 캡처 기술을 이용하여 기본 애니메이션을 생성한다. 모든 움직임을 모션 캡처를 이용하여 제작할 수 없기 때문에 기본 애니메이션을 이용하여 새로운 애니메이션을 재생성하는 방법이 사용되고 있다.
아바타의 애니메이션 제어 또는 저작 기술은 두 가지로 나뉜다. 첫째는 애니메이션 풀에 저장된 아바타를 순차적으로 선택하면, 선택된 애니메이션을 부드럽게 연결시킴으로써 새로운 애니메이션으로 생성하는 방법이다. 둘째는 계층 구조(hierarchy)를 가지는 아바타의 하위 계층을 서로 다른 기본 애니메이션으로 적용하여 새로운 동작을 가진 애니메이션을 생성하는 방법이다.
이와 관련된 선행기술을 구체적으로 살펴보면, 한국공개공보 제2003-0096983호(발명의 명칭 : 얼굴 이미지를 이용한 애니메이션 파일 생성 방법 및 상기 애니메이션을 이용한 유무선 통합 애니메이션 캐릭터 제공 서비스 방법)에는 컴퓨터에서 입력된 영상에서 사용자가 직접 얼굴을 추출하여 투명한 배경을 가지는 비트맵 이미지를 생성하여 DB 상에 저장된 신체 그림과 결합하여 자동으로 애니메이션을 생성하는 방법을 개시하고 있다.
또한, 한국공개공보 제2007-0106345호(발명의 명칭 : 본 제어방식의 모바일 아바타/캐릭터 애니메이션 시스템 및 그 방법)에는 캐릭터 애니메이션 기술과 아바타/캐릭터 서비스 기술과 텍스트/소리 문화 상품을 하나로 묶어 제공하는 방법을 개시하고 있다.
본 발명이 이루고자 하는 기술적 과제는, 모바일 기기에서 아바타의 애니메이션 동작들을 혼합하여 새로운 애니메이션으로 확장함으로써 모바일 게임 및 SNS 서비스에서 다양한 표현을 할 수 있는 아바타 애니메이션 생성 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 모바일 기기에서 아바타의 애니메이션 동작들을 혼합하여 새로운 애니메이션으로 확장함으로써 모바일 게임 및 SNS 서비스에서 다양한 표현을 할 수 있는 아바타 애니메이션 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 아바타 애니메이션 생성 장치는, 상기 모바일 기기 내에 장착된 소정의 제1센서와 상기 입력 수단 내에 장착된 소정의 제2센서를 이용하여 상기 모바일 기기와 상기 입력 수단의 방향 프레임을 설정하는 방향 프레임 설정부; 상기 설정된 모바일 기기의 방향 프레임과 상기 설정된 입력 수단의 방향 프레임의 상대적인 움직임을 분석하여 사용자에 의해 상기 입력 수단이 움직이는 동작을 감지하여 상기 동작을 분류하는 입력 데이터 분류부; 상기 아바타의 움직임에 영향을 주는 관절의 위치를 토대로 복수 개의 계층적 관절 그룹을 구분하는 관절 그룹 설정부; 상기 관절 그룹 설정부에 의해 설정된 관절 그룹을 토대로 상기 아바타의 움직임의 특성에 따라 복수 개의 애니메이션 그룹을 구분하는 애니메이션 그룹 설정부; 및 상기 복수 개의 애니메이션 그룹 중 상기 사용자에 의해 선택된 제1애니메이션 그룹에 대응하여 각각의 동작을 선택하여 상기 복수의 동작을 관절 계층 정보를 토대로 하나의 애니메이션으로 합성하는 동작 합성부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 아바타 애니메이션 생성 방법은, (a) 상기 모바일 기기 내에 장착된 소정의 제1센서와 상기 입력 수단 내에 장착된 소정의 제2센서를 이용하여 상기 모바일 기기와 상기 입력 수단의 방향 프레임을 설정하는 방향 프레임 설정 단계; (b) 상기 설정된 모바일 기기의 방향 프레임과 상기 설정된 입력 수단의 방향 프레임의 상대적인 움직임을 분석하여 사용자에 의해 상기 입력 수단이 움직이는 동작을 감지하여 상기 동작을 분류하는 입력 데이터 분류 단계; (c) 상기 아바타의 움직임에 영향을 주는 관절의 위치를 토대로 복수 개의 계층적 관절 그룹을 구분하는 관절 그룹 설정 단계; (d) 상기 (c) 단계에 의해 설정된 관절 그룹을 토대로 상기 아바타의 움직임의 특성에 따라 복수 개의 애니메이션 그룹을 구분하는 애니메이션 그룹 설정 단계; 및 (e) 상기 복수 개의 애니메이션 그룹 중 상기 사용자에 의해 선택된 제1애니메이션 그룹에 대응하여 각각의 동작을 선택하여 상기 복수의 동작을 관절 계층 정보를 토대로 하나의 애니메이션으로 합성하는 동작 합성 단계;를 갖는다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 아바타 애니메이션 생성 장치 및 방법에 의하면, 모바일 기기에서 아바타의 애니메이션 동작들을 혼합하여 새로운 애니메이션으로 확장함으로써 모바일 게임 및 SNS 서비스에서 다양한 표현을 할 수 있다. 모바일 기기 또는 모바일 기기와 연결된 주변 기기를 이용하여 아바타의 애니메이션을 다양하게 제어할 수 있다. 또한, SVM(Support Vector Machine)을 이용하여 사용자에게 특화된 움직임을 분류 데이터로 사용할 수 있으므로 움직임에서 발생하는 노이즈를 제거하고 사용자만의 동작 특성을 분류 데이터로 사용할 수 있다. 또한 계층적 관절구조를 가진 아바타의 데이터 구조를 이용하여 관절 그룹과 애니메이션 그룹을 설정함으로써 모바일 기기의 한정된 디스플레이와 복잡한 메뉴를 단순화할 수 있다. 즉, 단순화된 인터페이스를 통해 입력 수단의 자세 데이터만으로도 아바타의 애니메이션 저작을 모바일 기기에서 가능하도록 한다.
도 1은 모바일 기기에서 사용되는 2D 기반 아바타를 도시한 도면,
도 2는 본 발명에 따른 모바일 기기에서의 아바타 애니메이션 생성 장치의 구성을 도시한 블록도,
도 3은 모바일 기기와 입력 수단과의 관계에서 기본 방향 프레임을 설정하는 모습을 도시한 도면,
도 4는 모바일 기기의 움직임에 따른 가상의 구의 방향 프레임을 설정하는 모습을 도시한 도면,
도 5는 모바일 기기의 방향과 입력 수단의 방향에 따라 가상의 구와 만나는 위치를 도시한 도면,
도 6은 본 발명의 일실시예에 따라 관절 그룹을 정의한 모습을 도시한 도면,
도 7은 본 발명의 일실시예에 따라 애니메이션 그룹을 정의한 모습을 도시한 도면,
도 8은 모바일 기기에서 표시되는 애니메이션 그룹 설정 인터페이스를 도시한 도면,
도 9는 아바타 애니메이션 그룹을 생성하는 과정을 도시한 도면,
도 10은 뼈대 구조를 가진 아바타 동작과 이를 합성하는 모습을 도시한 도면, 그리고,
도 11은 본 발명에 따른 모바일 기기에서의 아바타 애니메이션 생성 방법을 실제 구현한 예를 도시한 도면이다.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
사용자는 모바일 기기 디스플레이의 터치 인터페이스를 이용하여 아바타 저작을 설정할 수 있으며, 모바일 기기 내의 방향 센서와, 방향 센서를 장착하고 있는 외부 입력 수단(예를 들어, 스타일러스 펜 등)을 이용하여 애니메이션 저작을 수행할 수 있다.
도 2는 본 발명에 따른 모바일 기기에서의 아바타 애니메이션 생성 장치의 구성을 도시한 블록도이다. 도 2를 참조하면, 본 발명에 따른 모바일 기기에서의 아바타 애니메이션 생성 장치(100)는 방향 프레임 설정부(200), 입력 데이터 분류부(300), 관절 그룹 설정부(400), 애니메이션 그룹 설정부(500) 및 동작 합성부(600)를 포함한다.
방향 프레임 설정부(200)는 모바일 기기 내에 장착된 소정의 제1센서와 입력 수단 내에 장착된 소정의 제2센서를 이용하여 모바일 기기와 입력 수단의 방향 프레임을 설정한다.
모바일 기기에 장착된 외부 입력 수단의 경우, 위치 데이터(position data)의 측정이 부정확하기 때문에 비교적 정확한 방향 센서의 자세 데이터를 아바타 애니메이션 저작 데이터로 사용하며, 모바일 기기와 외부 입력 수단은 블루투스와 같은 무선으로 연결되어 있어 사용자가 움직임에 제한받지 않고 작업을 수행할 수 있다.
사용자가 방향을 바꾸어가며 모바일 기기를 동작하는 경우 모바일 기기의 자세 데이터는 계속 변하게 된다. 따라서 모바일 기기의 프레임만으로는 사용자가 움직인 모바일 기기의 방향을 측정할 수 없으며, 자이로 센서가 장착된 외부 입력 수단의 자세 데이터를 동시에 이용해야만 사용자가 가리키는 방향을 정확히 측정할 수 있다.
모바일기기와 입력 수단와의 관계를 설정하기 위해 도 3에 도시된 바와 같이 두 기기의 방향 프레임을 설정한다. 모바일 기기의 방향 프레임은 디스플레이의 외부 방향을 Z 방향으로 하고, 위 방향을 Y 방향으로 하며, 사용자 위치에서 모바일 기기의 오른쪽 방향을 X 방향으로 한다. 그리고 입력 수단의 방향 프레임은 입력 수단의 위 방향을 Y 방향으로 하며, 오른쪽 방향을 X 방향으로 하며, 사용자를 바라보는 방향을 Z 방향으로 정의한다.
모바일 기기의 방향 프레임과 동기화되는 가상의 구를 입력 수단의 중심을 구의 중심으로 도 4에 도시된 바와 같이 설정할 수 있다. 가상의 구의 방향 프레임은 모바일 기기의 움직임에 따라 같이 변화한다.
도 5에 도시된 바와 같이 가상의 구의 방향 프레임의 중심을 입력 수단의 중심과 일치시키고, 입력 수단의 Y 방향의 벡터를 확장하면 가상의 구와 만나는 점을 찾을 수 있다. 입력 수단을 움직이지 않더라도 모바일 기기를 움직임에 따라 가상 구의 방향 프레임이 변하기 때문에 가상 구와 입력 수단이 가르치는 위치는 달라진다. 사용자가 움직이며 입력 수단을 사용하는 경우에도 모바일 기기와 사용자의 방향을 보정할 수 있다.
입력 데이터 분류부(300)는 설정된 모바일 기기의 방향 프레임과 설정된 입력 수단의 방향 프레임의 상대적인 움직임을 분석하여 사용자에 의해 입력 수단이 움직이는 동작을 감지하여 동작을 분류한다.
즉, 사용자가 외부 입력 수단을 움직이는 동작을 분류하여 애니메이션 저작을 위해 어떤 동작을 수행하였는지 분류해야 한다. 동작을 분류하는 방법으로는 사용자의 학습을 이용하는 분류 방법을 사용하며, 학습 단계와 분류 단계로 나누어진다.
학습 단계에서는 동일한 동작을 반복적으로 입력하여 동작 분류에 필요한 기준을 설정한다. 그리고 나서, 분류 단계에서는 사용자가 동작을 입력하면 학습 단계에서 생성한 분류 기준을 이용하여 동작을 분류하게 된다.
다양한 사용자의 움직임을 입력하여 일반적인 학습 분류 데이터를 사용할 수 있으나, 공간에서의 손 동작은 개개인마다 다른 특성을 가지고 있다. 예를 들어, 공중에 원을 그리는 방법도 원의 크기나 그리는 속도가 각각 사용자마다 다르게 나타나며, 이러한 요소들은 동작 분류의 정확도에 영향을 미치게 된다. 따라서 정확하게 동작을 분류하기 위해서는 개개인의 특성이 포함된 분류방법을 적용하는 것이 적합하다. 따라서 이 경우 상술한 학습 단계를 개개인이 다시 수행함으로써 좀 더 정확한 동작 분류가 가능하도록 한다.
사용자의 학습을 이용하는 대표적인 알고리즘에는 SVM(Support Vector Machine), 신경만, 결정트리 방법 등이 있다. 결정트리는 각 변수에 따라 수직적으로 분류 기준을 찾는 반면, 신경망은 각 변수에 가중치를 사용하여 동시에 고려하므로 유연한 분류가 가능하다. 또한, 신경망은 분류율을 최대로 하는 것을 목적으로 하지만, SVM은 분류율과 분류를 위해 구분 짓는 기준(margin)을 최대화하여 신경망보다 좋은 분류율을 갖기 때문에 외부 입력 수단의 움직임을 학습하고 분류하기 위하여 SVM 방법을 사용하는 것이 바람직하다.
Figure 112013033422260-pat00001
Figure 112013033422260-pat00002
수학식 1은 SVM의 학습 데이터로
Figure 112013033422260-pat00003
를 원소로 갖는 집합이며,
Figure 112013033422260-pat00004
는 n 차원의 실수 벡터를 나타낸다.
Figure 112013033422260-pat00005
는 학습 패턴의 원소로 MARG(Magnetic Angular Rate and Gravity) 센서로부터 입력되는 3축 회전 데이터를 사용하며,
Figure 112013033422260-pat00006
는 학습 패턴의 종류를 나타낸다.
SVM을 이용한 데이터 분류에 있어 데이터 노이즈는 인식률에 영향을 미치기 때문에 패널티를 부여하여 노이즈를 제거한다. C-SVM(파라미터 C 값을 이용하여 패널티를 부여하는 SVM)은 C 값을 이용하여 패널티를 부여하는데 C 값을 크게 잡으면 패널티를 크게 잡아 초평면(hyperparameter)을 복잡하게 나누어 노이즈를 제거하고 C 값을 작게 잡으면 초평면을 단순하게 나누어 일정 수준의 노이즈를 감안하여 예측한다. 3축 회전 데이터의 학습 데이터에 적합하게 파라미터 C=10을 사용하여 노이즈를 제거했다.
Figure 112013033422260-pat00007
Figure 112013033422260-pat00008
SVM은 선형 분류기인데 자이로 센서의 방향 데이터는 비선형 데이터이기 때문에 수학식 2와 같은 커널 함수를 이용하여 고차원 공간으로의 매핑을 통해 문제를 해결한다. 학습 데이터
Figure 112013033422260-pat00009
는 함수
Figure 112013033422260-pat00010
에 의해 고차원 공간으로 매핑되고 고차원 공간에서 최대 마진(maximal margin)을 갖는 선형 분리 초평면을 갖게 된다. 수학식 3과 같이 다양한 비선형 데이터를 위한 커널 함수 중 RBF를 사용한다.
관절 그룹 설정부(400)는 아바타의 움직임에 영향을 주는 관절의 위치를 토대로 복수 개의 계층적 관절 그룹을 구분한다.
인간의 움직임에 영향을 주는 관절은 약 150개이다. 인간 관절들의 움직임은 모션 캡처와 캐릭터 애니메이션 프로그램을 거치며 30개 내외의 계층적(hierarchy) 관절을 가진 아바타로 표현될 수 있다.
사용자가 모바일 기기에서 아바타 동작을 제어하는 경우, 하나의 동작을 위해 30 여개의 관절을 각각 설정하는 것은 적합하지 않기 때문에 도 6에 도시된 바와 같이 계층 구조를 참고하여 6개의 대표적인 관절 그룹을 구분할 수 있으나, 이에 한정되는 것은 아니다. 6개의 관절 그룹은 머리(H: Head), 오른팔(RA: Right Arm), 왼팔(LA: Left Arm), 몸통(W: Waist), 오른쪽 다리(RL: Right Leg) 및 왼쪽 다리(LL: Left Leg)로 정의한다.
아바타를 제어하는 경우 상술한 6개의 관절 그룹이 항상 다르게 움직이지는 않는다. 움직임의 특성에 따라 몇 개의 관절그룹들의 제어만으로도 아바타의 동작을 표현할 수 있다. 애니메이션 그룹 설정부(500)는 관절 그룹 설정부(400)에 의해 설정된 관절 그룹을 토대로 아바타의 움직임의 특성에 따라 복수 개의 애니메이션 그룹을 구분한다. 도 7에 도시된 바와 같이, 사람의 동작 특성에 따라 6개의 관절 그룹을 이용한 5개의 애니메이션 그룹으로 분류할 수 있으나, 이 역시 이에 한정되는 것은 아니다.
5개의 애니메이션 그룹은 도 7에 도시된 바와 같이, 첫째, 전신이 하나로 움직이는 그룹(H,W,RA,LA,LL,RL), 둘째, 상체(H,LA,W,RA)와 하체(LL,RL)가 다르게 움직이는 그룹, 셋째, 머리(H), 중간(RA,LA,W), 하체(LL,RL)가 서로 다르게 움직이는 그룹, 넷째, 오른쪽(RA,RL), 중간(H,W), 왼쪽(LA,LL)이 서로 다르게 움직이는 그룹, 그리고, 마지막으로 6개의 움직임 단위가 전부 다르게 움직이는 그룹으로 나눌 수 있다.
아바타의 애니메이션 동작을 설정하기 위해서는 도 8의 (a)에 도시된 애니메이션 그룹 중 어느 하나를 선택할 수 있다. 사용자가 선택한 애니메이션 그룹에 따라 도 8의 (b)~(e)에 도시된 바와 같이 관절 그룹을 생성하는 인터페이스가 나타난다. 도 8에 도시된 바와 같이 애니메이션 그룹 5번을 선택하게 되면 6개의 관절 그룹의 애니메이션을 설정하는 도 8의 (e)에 도시된 화면이 나타나게 되는 것이다.
구체적으로, 도 8의 (b)는 아바타의 상체와 하체가 나눠져 서로 다르게 동작하는 경우를 의미한다. 예를 들어, '걸으면서 전화하기' 동작을 생성하기 위해서는 상체는 전화하는 동작을 선택하고, 하체는 걷는 애니메이션을 선택하여 새로운 애니메이션 동작을 생성할 수 있다.
도 8의 (c)는 머리, 몸체, 하체가 나눠져 서로 다르게 동작하는 경우를 의미하며, 앞서 설명한 도 8의 (b)의 애니메이션 동작에서 '우는 얼굴' 또는 '웃는 얼굴'과 같이 아바타의 표정이 변화하는 동작을 추가하여 생성할 수 있다. 도 8의 (d)는 왼쪽과 오른쪽이 서로 다르게 움직이는 동작을 제어하는 데 사용되며, 도 8의 (e)는 6개의 관절 그룹이 모두 다르게 설정하여 애니메이션을 생성할 수 있다.
이때, 동작을 선택하는 방식은 모바일 기기의 터치 스크린을 이용하는 방식과 모바일 기기의 자이로 센서와 외부 입력 수단을 이용하는 두 가지 방식이 있을 수 있다. 수자의 경우 애니메이션 그룹과 관절 그룹을 선택하는 방법은 앞서 설명한 SVM을 이용하여 판별하는 방식을 사용하게 된다.
예를 들어, 도 8의 (a)에서 두 번째 애니메이션 그룹을 선택하면, 상체와 하게차 서로 연결되는 2개의 동작 애니메이션을 선택해야 한다. 도 9를 참조하면, 애니메이션 동작 풀(pool)에서 동작 5번과 동작 6번을 이용하는 경우 동작 5번의 상체와 동작 6번의 하체를 선택할 수 있다. 또는 반대로 동작 5번의 하체와 동작 6번의 상체를 선택할 수 있다. 즉, 애니메이션 동작 풀의 기본 동작에서 무수히 많은 동작들이 재생성될 수 있다.
동작 합성부(600)는 복수 개의 애니메이션 그룹 중 사용자에 의해 선택된 제1애니메이션 그룹에 대응하여 각각의 동작을 선택하여 복수의 동작을 관절 계층 정보를 토대로 하나의 애니메이션으로 합성한다.
계층적 관절 모델을 이용하여 동작을 혼합하는 경우, PC에서는 다수 개의 관절들을 세밀하게 저작할 수 있으나, 모바일 기기 상에서 사용하기에는 적합하지 않다. 따라서 모바일 기기 상에서 수행할 수 있는 단순한 저작 방법으로는 순차적으로 움직임 동작을 선택하여 순서에 따라 아바타가 저작되는 방법을 고려할 수 있다. 다만, 선택된 각각의 동작의 움직임이 상이한 경우 저작된 동작이 정상적이지 않는 경우도 발생할 수 있다. 이 경우, 계층적 관절 모델에 우선순위를 둠으로써 분리된 동작을 자연스럽게 혼합하여 새로운 움직임으로 생성할 수 있다.
도 10은 뼈대 모양의 아바타를 이용하여 서서 손을 내미는 아바타 동작 A와 무릎을 꿇는 동작 B를 혼합하여 새로운 아바타 동작을 생성하는 과정을 도시하고 있다. 아바타 동작 합성 C는 단순하게 2개의 동작을 합성할 때 나타나는 문제점을 보여준다. 서로 다른 아바타 동작의 상체의 힙(hip) 위치와 하체의 힙(hip) 위치가 서로 어긋나 부조화된 아바타의 동작을 보여준다. 그러나 아바타 동작 합성 D는 상체의 힙(hip) 위치가 하체의 힙(hip) 위치와 각도로 자연스럽게 연결됨을 알 수 있다.
본 발명에 따른 아바타 애니메이션 생성 방법이 실제 적용되는 경우를 구체적으로 살펴보면 다음과 같다. 도 11을 참고하면, 연인이 메신저를 통해 문자로 대화하고 있는 상황을 고려해 볼 수 있다. 남자는 여자친구에게 저녁 약속을 이야기 하며, 아바타의 애니메이션을 이용하여 무릎을 꿇으며 꽃을 선물하는 생일 축하 애니메이션을 보내려고 한다. 이때, 남자는 애니메이션 설정 단계에서 외부 입력 수단으로 도 8의 (a)에 도시된 애니메이션 그룹 중 어느 한 그룹(예를 들어, 1번 그룹 선택)을 선택한다. 애니메이션 풀에서 자신이 원하는 무릎을 꿇으며 꽃을 선물하는 애니메이션이 없음을 확인하고 새로운 애니메이션을 생성하기로 한다.
남자는 무릎을 꿇으며 꽃을 선물하는 움직임은 아바타의 상체와 하체가 서로 분리된 2번 애니메이션 그룹 설정으로 가능할 것으로 예상하고 외부 입력 수단을 통해 도 8의 (a)에 도시된 애니메이션 그룹 중 2번 그룹을 선택한다. 상체 애니메이션을 위해 애니메이션 풀에서 손을 내미는 애니메이션을 선택하고, 하체 애니메이션을 위해 무릎을 꿇는 애니메이션을 선택한다. 선택된 애니메이션은 관절 계층 정보를 이용하여 하나의 새로운 애니메이션으로 생성된다.
따라서, 도 11에 도시된 바와 같이 남자는 저작된 애니메이션을 메신저 프로그램을 통해 전송하면 여자는 자신의 모바일 기기에서 남자가 꽃을 주는 애니메이션을 확인하고, 이에 대한 답으로 여자는 웃으며 깜짝 놀라는 애니메이션을 상술한 과정을 통해 생성하여 남자에게 전송할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 아바타 애니메이션 생성 장치
200 : 방향 프레임 설정부
300 : 입력 데이터 분류부
400 : 관절 그룹 설정부
500 : 애니메이션 그룹 설정부
600 : 동작 합성부

Claims (17)

  1. 입력 수단을 이용하여 모바일 기기에서 아바타 애니메이션을 생성하는 장치에 있어서,
    상기 모바일 기기 내에 장착된 소정의 제1센서와 상기 입력 수단 내에 장착된 소정의 제2센서를 이용하여 상기 모바일 기기와 상기 입력 수단의 방향 프레임을 설정하는 방향 프레임 설정부;
    상기 설정된 모바일 기기의 방향 프레임과 상기 설정된 입력 수단의 방향 프레임의 상대적인 움직임을 분석하여 사용자에 의해 상기 입력 수단이 움직이는 동작을 감지하여 상기 동작을 분류하는 입력 데이터 분류부;
    상기 아바타의 움직임에 영향을 주는 관절의 위치를 토대로 복수 개의 계층적 관절 그룹을 구분하는 관절 그룹 설정부;
    상기 관절 그룹 설정부에 의해 설정된 관절 그룹을 토대로 상기 아바타의 움직임의 특성에 따라 복수 개의 애니메이션 그룹을 구분하는 애니메이션 그룹 설정부; 및
    상기 복수 개의 애니메이션 그룹 중 상기 사용자에 의해 선택된 제1애니메이션 그룹에 대응하여 각각의 동작을 선택하여 상기 복수의 동작을 관절 계층 정보를 토대로 하나의 애니메이션으로 합성하는 동작 합성부;를 포함하며,
    상기 제1센서 및 상기 제2센서는 자이로 센서인 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 장치.
  2. 제 1항에 있어서,
    상기 방향 프레임 설정부는 상기 모바일 기기의 방향 프레임과 동기화된 가상의 구의 중심을 상기 입력 수단의 중심과 일치시키고, 상기 입력 수단의 설정된 방향 프레임과 상기 가상의 구가 만나는 점을 파악하여 위치 데이터(position data)를 획득하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 입력 데이터 분류부는,
    상기 사용자에 의해 수행되는 동일한 제1동작을 반복적으로 입력하여 동작 분류에 필요한 분류 기준을 설정하는 학습부; 및
    상기 사용자에 의해 입력된 제2동작을 상기 학습부에서 설정된 분류 기준을 토대로 상기 제2동작을 분류하는 분류부;를 포함하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 장치.
  5. 제 4항에 있어서,
    상기 입력 데이터 분류부는 SVM(Support Vector Machine) 방법을 이용하여 상기 입력 수단의 움직임을 학습하고 분류하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 장치.
  6. 제 1항에 있어서,
    상기 관절 그룹 설정부는 머리(H: Head), 오른팔(RA: Right Arm), 왼팔(LA: Left Arm), 몸통(W: Waist), 오른쪽 다리(RL: Right Leg) 및 왼쪽 다리(LL: Left Leg)로 구성된 6개의 관절 그룹을 설정하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 장치.
  7. 제 6항에 있어서,
    상기 애니메이션 그룹 설정부는 상기 아바타의 전신이 하나로 움직이는 그룹(H,W,RA,LA,LL,RL), 상기 아바타의 상체(H,LA,W,RA)와 하체(LL,RL)가 다르게 움직이는 그룹, 상기 아바타의 머리(H), 중간(RA,LA,W), 하체(LL,RL)가 서로 다르게 움직이는 그룹, 상기 아바타의 오른쪽(RA,RL), 중간(H,W), 왼쪽(LA,LL)이 서로 다르게 움직이는 그룹, 그리고, 상기 아바타의 6개의 관절 그룹이 전부 다르게 움직이는 그룹으로 구성된 5개의 애니메이션 그룹을 설정하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 장치.
  8. 제 1항에 있어서,
    상기 동작 합성부는 상기 복수의 동작을 합성시 부자연스러운 경우 사전에 설정된 우선 순위에 따라 분리된 상기 복수의 동작을 합성하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 장치.
  9. 입력 수단을 이용하여 모바일 기기에서 아바타 애니메이션을 생성하는 장치에 의해 수행되는 아바타 애니메이션 생성 방법에 있어서,
    (a) 상기 모바일 기기 내에 장착된 소정의 제1센서와 상기 입력 수단 내에 장착된 소정의 제2센서를 이용하여 상기 모바일 기기와 상기 입력 수단의 방향 프레임을 설정하는 방향 프레임 설정 단계;
    (b) 상기 설정된 모바일 기기의 방향 프레임과 상기 설정된 입력 수단의 방향 프레임의 상대적인 움직임을 분석하여 사용자에 의해 상기 입력 수단이 움직이는 동작을 감지하여 상기 동작을 분류하는 입력 데이터 분류 단계;
    (c) 상기 아바타의 움직임에 영향을 주는 관절의 위치를 토대로 복수 개의 계층적 관절 그룹을 구분하는 관절 그룹 설정 단계;
    (d) 상기 (c) 단계에 의해 설정된 관절 그룹을 토대로 상기 아바타의 움직임의 특성에 따라 복수 개의 애니메이션 그룹을 구분하는 애니메이션 그룹 설정 단계; 및
    (e) 상기 복수 개의 애니메이션 그룹 중 상기 사용자에 의해 선택된 제1애니메이션 그룹에 대응하여 각각의 동작을 선택하여 상기 복수의 동작을 관절 계층 정보를 토대로 하나의 애니메이션으로 합성하는 동작 합성 단계;를 포함하며,
    상기 제1센서 및 상기 제2센서는 자이로 센서인 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 방법.
  10. 제 9항에 있어서,
    상기 (a) 단계는 상기 모바일 기기의 방향 프레임과 동기화된 가상의 구의 중심을 상기 입력 수단의 중심과 일치시키고, 상기 입력 수단의 설정된 방향 프레임과 상기 가상의 구가 만나는 점을 파악하여 위치 데이터(position data)를 획득하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 방법.
  11. 삭제
  12. 제 9항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 사용자에 의해 수행되는 동일한 제1동작을 반복적으로 입력하여 동작 분류에 필요한 분류 기준을 설정하는 학습 단계; 및
    (b2) 상기 사용자에 의해 입력된 제2동작을 상기 (b1) 단계에서 설정된 분류 기준을 토대로 상기 제2동작을 분류하는 분류 단계;를 포함하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 방법.
  13. 제 12항에 있어서,
    상기 (b) 단계는 SVM(Support Vector Machine) 방법을 이용하여 상기 입력 수단의 움직임을 학습하고 분류하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 방법.
  14. 제 9항에 있어서,
    상기 (c) 단계는 머리(H: Head), 오른팔(RA: Right Arm), 왼팔(LA: Left Arm), 몸통(W: Waist), 오른쪽 다리(RL: Right Leg) 및 왼쪽 다리(LL: Left Leg)로 구성된 6개의 관절 그룹을 설정하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 방법.
  15. 제 14항에 있어서,
    상기 (d) 단계는 상기 아바타의 전신이 하나로 움직이는 그룹(H,W,RA,LA,LL,RL), 상기 아바타의 상체(H,LA,W,RA)와 하체(LL,RL)가 다르게 움직이는 그룹, 상기 아바타의 머리(H), 중간(RA,LA,W), 하체(LL,RL)가 서로 다르게 움직이는 그룹, 상기 아바타의 오른쪽(RA,RL), 중간(H,W), 왼쪽(LA,LL)이 서로 다르게 움직이는 그룹, 그리고, 상기 아바타의 6개의 관절 그룹이 전부 다르게 움직이는 그룹으로 구성된 5개의 애니메이션 그룹을 설정하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 방법.
  16. 제 9항에 있어서,
    상기 (e) 단계는 상기 복수의 동작을 합성시 부자연스러운 경우 사전에 설정된 우선 순위에 따라 분리된 상기 복수의 동작을 합성하는 것을 특징으로 하는 모바일 기기에서의 아바타 애니메이션 생성 방법.
  17. 제 9항, 제 10항, 제 12항, 제 13항, 제 14항, 제 15항 및 제 16항 중 어느 한 항에 기재된 아바타 애니메이션 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130042185A 2013-04-17 2013-04-17 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법 KR101456443B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130042185A KR101456443B1 (ko) 2013-04-17 2013-04-17 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130042185A KR101456443B1 (ko) 2013-04-17 2013-04-17 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140124983A KR20140124983A (ko) 2014-10-28
KR101456443B1 true KR101456443B1 (ko) 2014-11-13

Family

ID=51994965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130042185A KR101456443B1 (ko) 2013-04-17 2013-04-17 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101456443B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102252730B1 (ko) * 2015-02-06 2021-05-18 한국전자통신연구원 애니메이션 생성 장치 및 방법
KR102251977B1 (ko) * 2019-11-18 2021-05-14 주식회사 인공지능연구원 아바타 동작 저작 장치 및 방법
KR102521514B1 (ko) * 2022-07-01 2023-04-12 김민수 터치 가능한 동적 nft 운용 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138707A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138707A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Oshita, M., "Pen-to-mime: Pen-based interactive control of a human figure," Computers and Graphics, vol.29, no.6, pp.931-945, December 2005. *
Oshita, M., "Pen-to-mime: Pen-based interactive control of a human figure," Computers and Graphics, vol.29, no.6, pp.931-945, December 2005.*
김주희, 남상하, 허세경, 김인철, "스마트폰 가속도 센서를 이용한 행위 인식 시스템의 설계", 정보처리학회지, vol.2, no.1, pp.49-54, 2013년 1월. *
김주희, 남상하, 허세경, 김인철, "스마트폰 가속도 센서를 이용한 행위 인식 시스템의 설계", 정보처리학회지, vol.2, no.1, pp.49-54, 2013년 1월.*

Also Published As

Publication number Publication date
KR20140124983A (ko) 2014-10-28

Similar Documents

Publication Publication Date Title
US20230090086A1 (en) Body pose estimation
US11461950B2 (en) Object creation using body gestures
US20210146255A1 (en) Emoji-based communications derived from facial features during game play
CN109641153A (zh) 视频流中的对象建模和替换
JP2021529380A (ja) 異種入力の補間のための方法およびシステム
US20230154042A1 (en) Skeletal tracking using previous frames
US20220148246A1 (en) Automated dance animation
KR20160010475A (ko) 증강 현실 (ar) 캡쳐 및 플레이
US11049325B2 (en) Information processing apparatus, information processing method, and program
EP4248407A1 (en) Real-time motion transfer for prosthetic limbs
US20150241984A1 (en) Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
US20230419578A1 (en) State-space system for pseudorandom animation
KR102374307B1 (ko) 애니메이팅된 캐릭터의 수정
US11983826B2 (en) 3D upper garment tracking
CN113766168A (zh) 一种互动处理方法、装置、终端及介质
KR20180118669A (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
KR101456443B1 (ko) 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법
KR101597940B1 (ko) 아바타 동작 생성 방법 및 이를 수행하기 위한 컴퓨팅 디바이스
US20230038709A1 (en) System and Method for Authoring Freehand Interactive Augmented Reality Applications
CN111143741A (zh) 模型构件移动方法及相关装置
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
US11948237B2 (en) System and method for mimicking user handwriting or other user input using an avatar
US20230368452A1 (en) Interactive virtual graphics with physical objects
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
WO2023000310A1 (en) Methods, devices, and media for customizing and expressing personality of robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 6