KR20090058760A - 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체 - Google Patents

아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체 Download PDF

Info

Publication number
KR20090058760A
KR20090058760A KR1020070125504A KR20070125504A KR20090058760A KR 20090058760 A KR20090058760 A KR 20090058760A KR 1020070125504 A KR1020070125504 A KR 1020070125504A KR 20070125504 A KR20070125504 A KR 20070125504A KR 20090058760 A KR20090058760 A KR 20090058760A
Authority
KR
South Korea
Prior art keywords
avatar
expression
change
user
space
Prior art date
Application number
KR1020070125504A
Other languages
English (en)
Other versions
KR100957858B1 (ko
Inventor
엄지훈
Original Assignee
에스케이커뮤니케이션즈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이커뮤니케이션즈 주식회사 filed Critical 에스케이커뮤니케이션즈 주식회사
Priority to KR1020070125504A priority Critical patent/KR100957858B1/ko
Publication of KR20090058760A publication Critical patent/KR20090058760A/ko
Application granted granted Critical
Publication of KR100957858B1 publication Critical patent/KR100957858B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 3차원으로 구현되는 아바타의 반응과 표정을 자연스럽고 명시적이면서도 강렬하게 표현할 수 있도록 한 아바타 표현 장치 및 방법에 관한 것으로, 아바타들 간의 상호작용을 위한 표현을 다양하게 특화시켜 간단한 조작만으로 적절하게 제공하도록 함으로써 현실감 높은 상호작용을 통해 몰입감을 높일 수 있는 효과가 있다.
Figure P1020070125504
가상 현실, 아바타, 표현, 감정, 상황, 대화, 3D

Description

아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체{AVATAR PRESENTING METHOD AND COMPUTER READABLE MEDIUM PROCESSING THE METHOD}
본 발명은 아바타 표현 방법에 관한 것으로, 특히 3차원으로 구현되는 아바타의 반응과 표정을 자연스럽고 명시적이면서도 강렬하게 표현할 수 있도록 한 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
급속한 컴퓨터 연산 기능 및 그래픽 처리 능력의 발전과 고속 인터넷 선로의 대중화에 따라 다양한 3차원 온라인 게임이 일반화되었으며, 특정한 게임의 목적을 달성해야 하는 게임과 달리 실제 생활 공간의 3차원 구현과 이를 통한 가상현실 체험을 위한 새로운 개념의 "생활형 가상 현실" 서비스도 상용화되어 점차 규모를 넓혀가고 있다.
이 중에서 가장 뚜렷한 성장을 보이는 "생활형 가상 현실"은 널리 알려진 " 세컨드 라이프"라는 온라인 서비스의 등장을 통해 그 가능성을 인정받아 그와 유사한 기능의 "생활형 가상 현실" 서비스의 대거 등장을 예고하고 있다.
이렇게 특정한 미션(mission)이나 퀘스트(quest) 없이 실제 생활과 유사한 환경을 제공하여 실제 생활을 가상 공간에서 대신할 수 있도록 하는 서비스는 실제와 유사하거나 실제에서는 찾기 어려운 3차원 입체 공간을 제공할 수 있어야 하며 다양한 사용자들의 상호 관계 설정 및 자연스러운 사용자 아바타 구현이 이루어져야 한다. 또한, 다양한 목적이 혼재된 서비스 환경이라는 특성 상 사용자들의 흥미를 유발할 수 있는 다양한 활용 어플리케이션의 제공과 실생활의 즐거움을 가상 공간에 접목할 수 있는 어플리케이션의 발굴 역시 서비스 활용에 큰 영향을 미치게 된다.
이러한 생활형 가상 현실 서비스에 대한 초기 인상이나 활용상의 만족도를 좌우하는 요소 중 하나로 아바타에 대한 사용자의 몰입성을 들 수 있다. 일반적으로 사용자는 아바타가 자신과 동일하다고 느낄 수록 해당 서비스에 대한 몰입성과 충성도가 높아지게 되며 만족도 역시 높아지게 된다. 특히 사용자의 아바타가 항상 서비스의 중심에서 표현되는 경우, 아바타의 형태, 구성의 다양성 및 액션의 자연스러움은 가상 공간 상에서 자신을 대신하는 아바타에 대한 몰입 정도를 결정하는 주요한 요인이 된다.
널리 알려진 바와 같이 아바타는 자신의 분신 또는 화신의 의미를 가지기 때문에 자신을 유사하게 표현하거나 자신이 이상적이라 생각하는 이상형을 표현하는 것이 바람직하므로 최근 아바타 구현 방식은 실물에 근접하게 아바타의 외관을 제 공하는 방식과 이상적인 외관의 기본 형태를 약간씩 변형하도록 한 외관을 제공하는 방식이 대세를 이루고 있다. 한편, 단순한 형태의 아바타를 제공하는 경우도 있으나 이는 사용자의 화신인 아바타라기보다는 다양한 서비스 사용을 위한 캐릭터라는 측면이 강하여 몰입성을 요하는 서비스에는 적합하지 않다.
아바타의 외형은 사용자의 선택에 따라 그 용모와 옷차림 등이 결정되어 사용자를 반영하게 되는데, 가상 현실 서비스에서 사용되는 방식은 크게 몰핑(morphing) 방식과 맵핑(mapping) 방식으로 나뉘어진다.
도 1은 대표적인 몰핑 방식의 아바타를 보인 것으로, 도시한 바와 같이 현실감 있는 형태를 제공하게 되며, 실제 사용자에 근접한 외관을 스스로 설정할 수 있어 일체감을 높일 수 있는 장점이 있다. 하지만, 몰핑 방식의 경우 이목구비와 얼굴형, 헤어 스타일 등과 같은 다양한 요소들을 수치 입력이나 바(bar) 조절을 통해 설정해야 하기 때문에 그 조작이 어려워 원하는 형태를 만들기 어렵고 최종적으로 얻어지는 아바타들 간의 차별성이 작은 문제점이 있다. 즉, 노력에 비해 개성이나 차별점이 미비하다. 또한, 실제 신체 치수에 근접하기 때문에 아바타의 전체 모습이 나타나는 경우 표정이나 얼굴의 변화를 쉽게 알기 어려워 아바타들 간의 대화 시 표현력이 낮아 현장감이 떨어진다.
도 2는 단순한 형태의 아바타를 구성하기 위한 맵핑 방식 아바타 생성의 예를 보인 것으로, 도시한 바와 같이 얼굴형태를 선택하기 위한 도구(10)에서 전체적인 얼굴 형태(11)를 선택한 후 해당 얼굴 형태(11)의 구체적인 예들(12)이 나타나면 이들 중에서 하나를 선택함으로써 우측의 예시된 아바타들(14, 15)과 같은 얼굴 형태 및 특징들을 결정할 수 있다. 하지만, 도시한 바와 같이 단순한 형태만을 선택할 수 있기 때문에 현실감이 낮아지며, 몰입성도 낮아진다.
도 3 역시 맵핑 방식 아바타 생성의 예를 보인 것으로, 입체적인 형태와 이목구비 특징들을 선택할 수 있으나, 기본이 되는 형태를 기준으로 약간씩의 형태 변화만이 가능해진다. 이를 통해서 전체적으로 아름다운 아바타를 쉽게 구성할 수 있으나, 이 경우 아바타들 간의 차별성이 낮아지게 된다.
도 4는 상기 도 3과 같은 아바타 생성 방식을 적용한 실제 서비스에서 얼굴 형태를 달리 선택한 4가지 예를 보인 것으로, 얼굴 형태를 달리 선택함에도 불구하고 전체적인 느낌은 거의 유사하여 차별성이 극히 낮은 것을 알 수 있다.
따라서, 아바타 생성은 서비스의 용도에 적합하면서도 사용자들 간 차별성이 드러나고 구성이 용이하도록 해야 함을 알 수 있다.
한편, 현재의 생활형 가상현실 서비스는 사용자 아바타의 생산적인 활동이나, 사용자 아바타가 참여하는 다양한 어플리케이션 이용, 아바타들 간의 거래, 아이템 생산 등의 다양한 기본 기능을 통해 실제 생활을 모방하는 것에 초점을 맞추고 있으며, 이를 특화하여 특정한 목적성을 부여함으로써 목적성이 다소 포함된 생활형 가상현실 서비스도 등장하고 있으나 이러한 서비스들은 목적을 해결하기 위한 아바타들의 활동성을 근거로 서비스되고 있어 아바타들이 제공해야 하는 기능이 다양해지므로 아바타를 원하는 대로 조작하기 어렵고 표현 방식 또한 제한이 있다.
상기와 같은 생활형 가상 현실 서비스에서 제공되는 아바타 표현의 부족함을 개선하기 위해 새롭게 제안하는 본 발명 실시예들의 목적은 아바타들 간의 상호작용을 위한 표현을 다양하게 특화시켜 간단한 조작을 통해 적절하게 제공하도록 함으로써 현실감 높은 상호작용을 제공하여 몰입감을 높이도록 한 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
본 발명 실시예들의 다른 목적은 복수의 아바타와 공간 아이템에 대한 상호작용을 근접과 물리적 변화로 간주되는 환경의 변화 등을 고려하여 자동적으로 실시하도록 구성함과 아울러 특정한 상호작용은 사용자가 지정하여 수행하도록 함으로써 자동적인 상호작용과 수동적인 상호작용을 통해 간단하면서도 복잡하고 다양한 표현이 가능하도록 한 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
본 발명 실시예들의 또 다른 목적은 아바타의 외형을 설정할 경우 특정한 표현을 위한 외형을 추가적으로 설정할 수 있도록 하여 사용자가 직접 특정한 상황에 대한 표현을 지정할 수 있도록 한 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
본 발명 실시예들의 또 다른 목적은 특정한 상호작용이나 행동, 표정 변화등을 아이템처럼 등록하여 해당 표현을 활용하도록 하여 표현력을 증진시키는 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 아바타 표현 방법은 서비스 사용자를 대신하는 디지털 컨텐츠의 표현 요소들을 사용자가 선택하여 디지털 컨텐츠를 생성하는 생성 단계와; 상기 디지털 컨텐츠를 기 설정된 공간 상에 출력하고 상기 공간 상에 배치된 다른 디지털 컨텐츠에 대한 상호작용과 상기 공간의 환경 변화 및 사용자의 지시에 따라 발생되는 이벤트 정보를 수신하는 이벤트 수신 단계와; 상기 수신된 이벤트 정보를 근거로 상기 이벤트 종류에 대응되어 기 설정된 표현 요소를 변경하여 상기 디지털 컨텐츠를 출력하여 표현하는 단계를 포함하여 이루어진다.
이때, 상기 표현하는 단계는 상기 표현 요소의 변경이 다른 디지털 컨텐츠와의 상호작용에 관련된 변경인 경우 그에 따른 이벤트 정보를 상기 다른 디지털 컨텐츠에 제공하는 단계를 더 포함할 수 있다.
상기 이벤트 수신 단계는 다른 디지털 컨텐츠의 표현 요소 변경에 따른 이벤
트 정보를 수신하는 단계를 더 포함하고, 상기 표현하는 단계는 상기 수신한 이벤트 정보의 종류가 표현 요소 변경이 기 설정되지 않은 종류의 것이라면 이벤트 정보를 근거로 변경 가능한 추천 표현 요소를 직접 선택이 가능한 상태로 제공하는 단계를 더 포함할 수 있다.
상기 생성 단계는 상기 디지털 컨텐츠로서 사용자를 표현하기 위해 사용되는 아바타의 외형에 대한 표현 요소들을 설정하여 사용자 아바타를 생성하는 단계를 포함할 수 있으며, 상기 표현 요소들은 일반, 희, 노, 애, 락, 동작 중 적어도 하나 이상의 상황에 따라 각각 다르게 설정될 수 있다.
한편, 상기 생성 단계에서 상기 표현 요소들은 상기 아바타의 신체를 구성하는 개별 구성 요소, 의상이나 장신구와 같은 탈착 요소, 지정된 상황에 대한 움직임, 지정된 상황에 대한 표정, 지정된 상황에 대해 기존 표현 요소를 대체하거나 덧붙여 제공되는 강조 표현 요소 중 적어도 하나 이상을 포함할 수 있다.
상기 이벤트 수신 단계에서 상기 기 설정된 공간은 상기 디지털 컨텐츠 사용자가 다른 디지털 컨텐츠 사용자를 초대하기 위한 공간이거나, 디지털 컨텐츠가 방문할 수 있는 공간이며, 상기 다른 디지털 컨텐츠에 대한 상호작용은 다른 디지털 컨텐츠의 행동에 대한 응답, 다른 디지털 컨텐츠와의 인접에 대한 반응, 다른 디지털 컨텐츠와의 특정한 목적에 따른 물리적 효과를 발생시키는 행동 중 적어도 하나를 포함한다.
상기 이벤트 수신 단계에서 상기 공간의 환경 변화는 상기 공간 상에서 발생될 수 있는 기상 변화, 온도 변화, 물리적 구조 변화 중 적어도 하나를 포함하여 다양한 환경/물리적 변화에 대응하여 현실감을 극대화하도록 한다.
상기 변경 출력되는 상기 기 설정된 표현 요소는 상기 디지털 컨텐츠의 일련의 동작 패턴으로서 별도의 아이템으로 관리되는 표현 요소로서, 친숙한 아이템 관리 방식을 이용할 수 있다.
그 외에, 상기 디지털 컨텐츠는 얼굴과 손발에 대응하는 영역 중 적어도 하 나를 구비한 아바타이며, 상기 표현 단계는 상기 디지털 컨텐츠의 표시 방식 변경에 따라 상기 얼굴과 손발 중 적어도 하나에 대응하는 영역이 줄어들 경우, 기 설정된 범위에서 기 설정된 비율로 상기 얼굴과 손발 중 적어도 하나를 확대 표시하여 표현 변경의 관찰 범위를 확장함으로써, 표현 변경을 활용하는 아바타들 간의 대화에 특화될 수 있다.
또한, 본 발명 실시예에 따른 아바타 표현 방법은, 서비스 사용자를 대신하는 아바타 간 상호 대화나 행동이 가능한 3차원 가상 현실 서비스에서의 아바타 표현 방법에 있어서, 아바타의 표현 요소들을 하나 이상의 상황에 대해 사용자가 선택하여 사용자 아바타를 생성하는 생성 단계와; 상기 사용자 아바타를 기 설정된 가상의 공간에 출력하고 사용자의 지시에 따라 동작시키면서, 상기 공간 및 상기 공간 내의 다른 아바타 또는 디지털 컨텐츠의 변화와 상기 사용자 아바타의 변화 중 기 설정된 수준의 변화 정보를 포함하는 이벤트 정보를 수신 및 전송하는 출력 단계와; 상기 표현 요소들 중 일부를 대체하기 위한 표현 요소들을 상황별로 설정하는 설정 단계를 포함하여 이루어질 수 있다.
상기 출력 단계에서 수신된 이벤트 정보에 포함된 변화 정보와 사용자의 지정 정보를 근거로 상기 설정 단계에서 설정된 표현 요소를 상기 사용자 아바타에 적용하는 표현 단계를 포함할 수 있다.
상기 표현 단계는 상기 이벤트 정보의 변화 정보에 대응하여 상기 설정 단계에서 기 설정된 표현 요소가 없는 경우 상기 이벤트 정보를 근거로 추천 표현요소들을 직접 선택이 가능한 상태로 제공하는 단계를 더 포함할 수 있다.
여기서, 상기 표현 단계는 아바타에 적용된 표현 요소 중 적어도 일부를 기 설정된 시간이나 노출 조건이 만족되면 제거하여 아바타의 이전 상태를 자동적으로 복원하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 기록 매체는 전술한 아바타 표현 방법을 수행하는 프로그램이 수록된다.
이러한 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD( Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명의 실시예에 따른 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체는 아바타들 간의 상호작용을 위한 표현을 다양하게 특화시켜 간단한 조작을 통해 적절하게 제공하도록 함으로써 현실감 높은 상호작용을 제공하여 몰입감을 높일 수 있는 효과가 있다.
본 발명의 실시예에 따른 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체는 복수의 아바타와 공간 아이템에 대한 상호작용을 근접과 물리적 변화로 간주되는 환경의 변화 등을 고려하여 자동적으로 실시하도록 구성함과 아울러 특정한 상호작용은 사용자가 지정하여 수행하도록 함으로써 자동적인 상호작용과 수동적인 상호작용을 통해 간단하면서도 다양한 표현이 가능하도록 하여 아바타간 의사소통의 효율을 극대화 할 수 있는 효과가 있다.
본 발명의 실시예에 따른 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체는 아바타의 외형을 설정할 경우 특정한 표현을 위한 외형을 추가적으로 설정할 수 있도록 하여 사용자가 직접 특정한 상황에 대한 표현을 지정할 수 있도록 함으로써, 상황에 따른 과장되거나 극적인 효과를 제공하여 실제와 유사하거나 더욱 효과적인 의사 전달이 가능해지는 효과가 있다.
본 발명의 실시예에 따른 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체는 특정한 상호작용이나 행동, 표정 변화등을 아이템처럼 등록할 수 있도록 하여 다양한 표현 변화들을 구매하거나 선물하는 등 표현 변화들을 체계적으로 관리하는 한편, 서비스 제공자는 상업성을 높일 수 있는 효과가 있다.
본 발명 실시예에 따른 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수 있는 기록 매체는 다양한 표현 변화를 사용자가 임의적으로 추가하거나 생성할 수 있으며, 구매나 선물, 획득 등의 방식으로 얻을 수 있어 방대한 아바타 표현을 통해 자신만의 개성을 강조할 수 있고, 이러한 아바타의 표현을 생성하여 이를 판매할 수도 있어 서비스 사용자의 참여를 유도할 수 있는 효과가 있다.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
도 5는 가상 현실 시스템에서의 아바타 표현 방식을 보인 것으로, 도시한 바와 같이 인간과 유사한 형상의 아바타(101)가 기본적으로 사용되며 경우에 따라서는 인간에 대응되는 다른 형태의 아바타가 사용될 수도 있다.
도시된 간단한 아바타(101)의 사용 방식을 보면, 사용자(User)를 나타내기 위한 태그(102)와, 상기 아바타(101)나 태그(102)를 선택할 경우 나타나는 기본 메뉴로서 개인 정보나 아바타의 외관을 편집하는 항목과 가상 현실에서 아바타를 움직이기 위한 기본적인 동작 항목들이 나타나 있다.
물론, 간단한 동작의 경우 마우스나 키보드와 같은 입력 장치를 통해 직접적으로 조정될 수 있으며, 단축키를 통해 복잡하고 다양한 세부 동작들을 제어할 수도 있다. 하지만, 이러한 활동성보다는 표현이 중요시되므로 이러한 동작들은 너무 복잡하지 않은 것이 바람직하다.
도 6은 본 발명 일 실시예에 따른 아바타들의 표현 방식의 기본 예를 보인 것으로, 도시한 바와 같이 복수의 아바타들이 참여하기 위해 기 설정된 공간이나 특정한 아바타 사용자가 생성하여 다른 아바타를 초대할 수 있는 가상의 공간에서 복수의 아바타들이 대화를 나누는 경우이다.
최근의 생활형 가상현실 서비스는 대부분 실질적인 거리나 도시에서 실제 생활하는 것처럼 이동하며 집을 짓고 일을 하는 등의 현실적인 가상 체험을 제공하는 경우가 많으나, 이러한 경우 서비스의 내용을 익혀서 재미를 추구할 정도로 숙련되 기가 어렵다. 따라서, 간단한 목적성과 단순화된 조작성을 통해 쉽고 빠르게 서비스 활용이 가능한 부분 생활형 가상현실 서비스의 필요성이 높아지고 있다.
본 실시예에서는 생활의 일부분인 상호 교류와 대화를 주된 서비스로 하며 부가적으로 다양한 위락 시설이나 공통 놀이 공간을 제공하는 서비스를 제공할 경우 가장 중요시되는 아바타들 간의 상호 교류, 상호작용, 자신에 대한 표현을 다양하면서도 간단한 방식으로 제공할 수 있는 예를 든 것이다.
도시된 경우 제 1아바타(101)의 사용자가, 다른 아바타들(111, 121)의 사용자와 대화를 한다면, 채팅 내용은 메신저와 유사하게 채팅창을 통해 상호 전달할 수 있어 기본적인 대화가 가능하다. 한편, 사용자들은 각각 자신의 아바타를 통해 단순한 문자가 아닌 몸짓이나 신체 접촉을 통해 상기 문자를 통해 전달한 내용을 보충하거나 보조하고, 문자를 통하지 않은 정보(상태, 기분, 구체적 정보)를 전달할 수 있다.
특히, 상대방이 있는 경우 실시할 수 있는 다양한 상호동작은 실제 상황일 경우 하기 어려운 상호동작도 할 수 있기 때문에 단순한 대화가 아닌 '만남'을 즐길 수 있게 된다. 도시된 경우 상호동작은 상대방이 필요하기 때문에 제 1아바타(101) 사용자가 제 3아바타(121) 사용자와 상호동작을 수행하고자 할 경우, 제 3아바타(121)를 선택하거나 해당 아바타의 태그(122)를 선택하여 메뉴(125)가 나타나도록 한 후 상호동작을 선택하여 하위 메뉴(126)가 나타나도록 하고 해당 메뉴에서 원하는 상호동작 항목을 선택하면 해당 동작이 수행되게 된다. 상기 상호동작의 하위 메뉴(126) 항목들을 보면, '악수', '인사', '포옹'...'격식 인사'와 같이 상 대방이 있어야만 하는 동작임을 알 수 있다.
한편, 이러한 동작은 단순히 지정을 통해 수행될 수도 있으나 물리적 환경에 의해 수행되지 않을 수도 있는데, 예를 들어 다른 곳을 바라보고 있거나, 배치된 공간에 장애물이 있는 경우 '인사'를 선택해도 동작이 되지 않도록 하여 보다 현실감을 높일 수 있다.
따라서, 자신의 아바타는 키보드나 마우스와 같은 입력 수단을 통해 조작하거나 자신의 태그를 선택하여 메뉴를 호출한 후 항목을 지정함(도 5)으로써 조작할 수 있고, 상호동작은 상대방 아바타를 지정한 후 특정한 동작을 선택하여 수행할 수 있다. 이 경우, 상대방이 이러한 상호동작에 대한 요청을 받아 허락한 경우에만 해당 상호동작이 이루어질 수 있도록 할 수 있다.
한편, 도시되지는 않았지만 상기 상호동작의 경우 아바타의 동작을 의미하는 것이므로 특정한 동작의 경우 이를 편집하여 상기 상호동작의 하위 항목으로 등록할 수 있으며, 이를 새로운 아이템처럼 취급할 수도 있다.
도 7은 본 발명 일 실시예에 따른 가상현실 서비스의 화면 예를 보인 것으로, 도시한 바와 같이 가상의 공간(200)에는 복수의 아바타들(101, 111)과 공간 아이템(131)이라 칭해질 수 있는 특정한 오브젝트가 배치될 수 있다. 상기 공간 아이템(131)은 해당 공간을 생성하는 사용자 혹은 서비스 제공자가 배치할 수 있으며, 상기 아바타들(101, 111)과 상호동작이 가능하다.
도시된 경우, 간단한 메뉴 상태를 보면 제 1아바타(101) 사용자는 도시한 바와 같이 자신의 아바타(101)에 대해서는 독립적 움직임 항목을 가진 사용자 인터페 이스(107)를 표시하여 이용할 수 있고, 다른 사용자의 제 2아바타(111)에 대해서는 상호동작을 포함하는 메뉴(117)와 그 하위 메뉴(118)를 통해 다양한 상호동작을 수행할 수 있다. 한편, 공간 아이템(131)에 대해서도 상호동작이 가능한 메뉴(132)를 통해 상호동작을 수행할 수 있다.
한편, 공간 상의 가상적 현실감을 높이기 위해서 이러한 공간(200)과 공간상의 아바타들(101,111) 및 공간 아이템(131)은 물리적인 환경에 영향을 받도록 구성할 수 있는데, 예를 들어 상기 제 1아바타(101) 사용자가 자신의 아바타를 상기 공간 아이템(131)에 앉도록 한 경우, 그 경로가 차단되어 있거나 공간 아이템의 위치가 앉기 어렵게(특정 물건의 상부, 뒤집어짐 등)되어 있다면 이를 수행하지 못하도록 할 수 있다. 이는 다른 아바타와의 상호동작에서도 유사하게 적용될 수 있다.
상기 제 1아바타(101) 사용자는 도시된 바와 같은 개인 정보 영역(210)을 통해 온라인/자리비움/오프라인 등의 접속 상태나 자신의 사이버 머니, 로그인 정보, 등급 등과 같은 다양한 사용자 정보를 확인할 수 있고, 채팅창(220)을 통해 다른 아바타와 문자로 정보를 주고 받을 수 있다. 그 외에 상태바(status bar)로서 네비게이션바(230)를 통해 공간 정보를 알거나 공간 이동을 지시할 수 있고, 보조 아이콘바(240)를 통해 특정한 기능이나 표현 변경 등의 작업을 쉽게 지시할 수 있다. 부가적으로 일반관리바(250)를 통해 일반적인 관리 메뉴를 호출하여 설정등을 변경하거나 사용법을 확인하는 등의 작업을 수행할 수 있다. 이러한 다양한 부가적인 구성들은 다양하게 변경될 수 있으므로 이러한 변경들로 본 발명이 제한되는 것이 아님에 주의한다.
즉, 상기 설명한 구성을 통해서 간단한 동작과 상호작용 및 대화를 실시할 수 있게 되며, 직관적인 인터페이스를 통해 간단한 마우스 조작으로 상대 아바타에 접근하고 상호작용하면서 채팅을 실시하고, 각종 상태를 관리할 수 있게 된다. 이러한 아바타를 이용한 기본적인 시스템 구성으로 동적인 대화는 가능하지만, 현실감은 상당히 낮기 때문에 아바타를 개성적으로 표현하기 위한 새로운 표현 방식을 더 제공해야할 필요가 있다.
상기 채팅창(220)과 같이 사용자가 집중하여 조작하며 실제 대화의 기본이 되는 수단은 문자를 입력하기 위한 입력창(221)과, 입력된 문자를 전송하기 위한 전송 버튼이 존재하며, 자신의 감정을 아바타가 대신 표현하도록 하는 감정표현 수단(222)이 부가될 수 있다. 상기 감정표현 수단(222)을 통해 도시한 바와 같이 부가적인 서브 메뉴창(223)이 나타나 자신이 표현하도록 하는 감정 항목을 선택하도록 할 수 있으며, 이러한 지시를 통해 상기 제 1아바타(101)는 몸짓이나 얼굴 표정등을 변화시켜 감정을 나타낸다.
이러한 감정 표현 중에서 일부는 자동적으로 수행되도록 할 수 있는데, 예를 들어 아바타들 간의 상호동작에 의해 인사를 할 경우 기쁜 감정 상태가 되도록 한다거나, 포옹이나 키스와 같은 상호동작을 할 경우 수줍거나 사랑하는 감정 상태가 되도록 한다거나, 특정한 감정을 표현하는 경우 그에 따라 대응되는 감정 상태가 되도록 하는 등 상대 아바타의 상호 동작, 독립 동작, 감정 표현 등과 같은 상황에 대한 대응이 자동적으로 이루어지도록 할 수 있다. 물론, 그 자동 응답 수준은 사 용자에 의해 설정될 수 있으며, 완전한 수동으로 이루어지도록 할 수도 있다.
한편, 본 실시예에서는 이러한 아바타의 표현 방식을 더욱 풍부하면서도 활용 및 관리가 용이하도록 하기 위해 상기 감정 표현을 포함하는 포괄적인 표현 변경 방식을 아이템 형태로 추가/변경/선택/해제/버림 등을 할 수도 있도록 구성한다.
상기 감정 표현에 따른 아바타의 표현 변화는 서비스 시스템에서 감정에 따른 표현 변화로서 제공되는 방식을 이용할 수 있으나, 이러한 경우 특정 감정 표현에 대해 모든 아바타가 동일한 대응을 하게 되므로 개성이 없어져 현실감이 낮아지게 된다. 예를 들어, 문자 채팅에서 즐겁다는 표현을 누구나 "^^"로 나타내는 경우와 흡사하게 즐거울 때는 모든 아바타가 동일한 방식으로 웃도록 표현 변경 내용이 구성(예를 들어, 눈과 입을 웃는 형태로 변경하도록 하는 구성)될 수 있어 즐거움의 정도와 개인별 개성이 무시될 수 있다.
따라서, 앞서 설명한 바와 같이 감정 표현에 대한 항목들을 사용자가 스스로 추가할 수 있도록 하여 특정한 감정의 종류를 다양화할 수 있도록 한다. 한편, 다른 방식으로도 감정 표현에 따른 아바타 표현 방식을 변경할 수 있는데, 기본적으로 제시되는 감정 표현에 따른 아바타 표현 변경 내용을 사용자가 다른 종류의 표현 방식으로 변경할 수 있도록 하여 대화에 필요한 아바타 표현 방식에 있어서의 자유도를 극대화하도록 한다. 이는 도 9를 통해 다시 설명할 것이다.
도 8은 아바타 표현 방식의 다른 예를 보인 것으로 도시한 바와 같이 아바타의 얼굴(310), 손(320), 발(330)이 신체 비율에 비해 커지도록 한 것으로, 이는 본 실시예가 대화를 주목적으로 하는 가상현실 시스템의 목적에 적합하도록 하는 표현 방식으로, 시스템상에서 자동으로 제공할 수 있다. 사용자의 설정에 따라 사용 여부가 결정되거나 수준이 결정될 수 있음은 물론이다.
이는 특정한 공간에서 다양한 아바타들이 '만남'을 목적으로 하는 가상 현실 서비스에서 감정의 표현이나 상호 소통의 수단인 표정, 손짓, 발짓이 명료하게 드러나도록 한 예를 보인 것으로, 롱테이크 화면 배치와 같은 시점의 변화를 통해 아바타의 소통 표현이 잘 보이지 않을 경우 상기와 같은 아바타 표현 변화가 나타나도록 할 수 있다. 즉, 상기 얼굴과 손발 중 적어도 하나에 대응하는 영역이 줄어들 경우, 기 설정된 범위에서 기 설정된 비율로 상기 얼굴과 손발 중 적어도 하나를 확대 표시하여 표현 변경의 관찰 범위를 확장할 수 있어 자신 및 상대방의 표현 변화를 보다 용이하게 확인할 수 있게 된다.
도 9는 아바타 표현 변화를 위한 예를 보인 것으로 앞서 설명한 기본적인 감정 표현을 사용자가 스스로 결정할 수 있도록 하여 개성을 부여하기 위한 방법으로 적용될 수 있다. 즉, 사용자가 아바타 생성이나 사용 중에 아바타의 외관을 나타내는 신체와 같은 표현 요소들을 다양한 상황에 따라 달리 설정할 수 있도록 함으로써, 기본 아바타를 설정할 경우 특정 상황에 대해서는 자동적으로 제공되는 획일적 표현 변화가 아닌 개성적인 표현 변화를 유도할 수 있게 된다.
도시된 바와 같이, 기본 아바타의 얼굴 표현(110)을 선택할 경우 각 상황별 얼굴 표현 역시 사용자가 지정할 수 있도록 할 수 있는데, 예를 들어 기쁠 때의 얼굴 표현 요소들에 대한 설정을 사용자가 임의적으로 선택할 수 있다. 물론, 아바타의 외형이 완전히 달라져 일관성을 유지할 수 없을 수도 있으므로 얼굴 형태를 유지하고 내부 이목구비나 얼굴 색상만 변경하도록 하는 등의 부분별 제한을 둘 수도 있다.
상기 각 상황별 표현요소 설정들은 기본 아바타와는 달리 사용 중에 변화 가능한 것이기 때문에 마치 의복 세트를 지정하듯이 표현 세트를 하나의 단일 아이템으로 관리할 수도 있어 필요 시 동일한 상황에 대해 상이한 표현도 아이템 선택(예를 들어, 조금 즐거움, 많이 즐거움에 따른 표현을 설정하여 아이템으로 등록한 후 현재 사용할 아이템 선택)에 의해 가능해 질 수 있다. 이는 개별 아이템 선택이나 모드 설정(즐거움, 우울함, 화남 등)에 의해 연동 되어 변경될 수 있다. 이러한 모드 설정은 사용자의 전반적인 감정 상태로 분류될 수 있으며, 이러한 모드에 따라 각 감정별 아이템 선택이 달라질 수 있다.
이를 적용하면, 즐거운 상태로 표현이 변경될 경우 시스템에서 고정적으로 제공하는 즐거움의 표현 방식을 적용하는 대신 사용자가 해당 상황에 대해 설정한 아이템으로 아바타의 표현을 변경하여 개성을 표현할 수 있고 이는 사용자의 모드(전반적 감정)에 따라 달리 표현될 수 있다. 한편, 이후 설명할 이벤트 발생에 따른 메세지 교환에 의해 상대방은 표현 변경의 종류를 확인할 수 있어 개성적 표현을 의도와 다르게 해석하는 오해의 소지를 줄일 수 있다.
도 10은 자동적인 표현 변화의 예를 보인 것으로, 이 경우는 물리 법칙에 의한 불가항력적인 변화의 예이다. 상기 아바타들의 대화를 주로 하는 서비스에서 아바타들 간의 아이템 사용이나 환경 변화에 따른 표현 변경은 아기자기한 재미를 줄 수 있는 부분이므로, 예를 들어 다른 아바타가 물을 부었다거나 공간 환경 변화로 비가 왔다거나 하는 특정한 상황변화, 즉 이벤트가 발생하게 되면 그에 따라 아바타의 표현이 해당하는 물리적 상황에 맞추어 자동적으로 변경될 수 있다. 도시된 바와 같이 좌측의 기본 아바타(420)가 비를 맞을 경우 우측과 같이 일반 헤어 스타일(421)이 비 맞은 헤어 스타일(422)로 변경되어 표현될 수 있다. 그 외에 바람이 분다거나 선풍기 아이템을 동작시킨 경우 등에서는 대응 범위에 위치한 아바타의 옷이나 머리가 날리는 등의 물리적 법칙에 의거한 변화가 자동적으로 제공될 수 있다.
도 11은 상기 설명한 아바타 표현 방식의 변화를 제공하기 위한 장치 구성을 보인 예로서, 도시한 바와 같이 개별 아바타에 대한 아바타 표현 제공 장치의 구성을 보인 것이다.
먼저, 데이터베이스(510)는 내부적으로 아바타가 구비한 아이템을 착용 정보와 함께 구비하는 개인 아이템 DB(511), 표현 변형에 관련된 정보(예를 들어 상황별로 제공되는 표현 요소 세트들, 현재 구성에 따른 물리적 변화를 위한 요소들)가 저장되는 변형정보 DB(512), 기본 및 사용자가 설정한 상호동작, 개별 동작등의 작용 동작 정보가 저장되는 작용동작 DB(513) 등이 구성된다. 그 외에 각종 개인적인 정보(사이버 머니, 로그인 정보, 등급 등)나 서비스 활용을 위한 부가적인 정보들 이 DB로 저장될 수 있다.
상기 데이터베이스(510)에 포함된 각 세부 DB들을 관리하기 위한 관리부로서, 기본적인 등록, 선택, 편집, 삭제, 설정 등을 수행하는 개인 아이템 관리부(521), 변형 및 속성 관리부(522), 작용동작 관리부(523)가 구비된다.
상기 관리부들에 대한 정보를 근거로 아바타의 표현을 변경하기 위해서, 상기 아바타에 의한 환경 변화를 파악기 위해 상기 작용동작 관리부(523)로부터 해당 정보를 획득하고, 사용자의 지시에 대한 정보를 획득하며, 공간이나 다른 아바타나 아이템들에 의한 환경 변화 정보를 획득하여 이들을 근거로 아바타의 표현 변화 유무를 판단하는 작용동작 판단부(535)와, 상기 작용동작 판단부(535)의 판단과 그 외의 관리부들에 대해 현재 아바타 상태 정보, 변형 정보, 현재 구비된 아이템 상황등을 종합적으로 고려하여 물리적으로 상충되는 조합의 경우 상기 작용동작 판단부(535)의 판단을 무시하고, 그외에 물리적으로 조정이 필요한 경우 상기 작용동작 판단부(535)의 판단을 조정하고, 별다른 문제가 없는 경우 상기 작용동작 판단부(535)의 판단에 의거하여 상기 관리부들과 데이터베이스(510)의 정보를 통해 표현 변경에 대한 정보를 제공하는 상호작용 관리부(530)가 구성된다. 상기 상호작용 관리부(530)는 사용자의 지시에 따라 상기 판단 내용을 조정할 수 있다.
상기 상호작용 관리부(530)는 표현부(540)를 통해서 실질적인 데이터베이스(510)의 정보를 실제 출력하도록 하며, 상기 아바타의 표현 변경에 따른 정보를 다른 아바타나 공간 관리 부분에 제공한다.
즉, 상기 구성에서 아바타 표현 변경을 위한 정보들은 사용자의 지시와 환경 변화이며, 이러한 환경 변화에 대한 정보는 표현 정보로서 다른 아바타를 관리하는 상호작용 판단부나 공간을 관리하는 수단에 제공되어 해당 아바타나 공간 관리 수단의 변화를 유도한다. 따라서, 이러한 표현 변화를 유도하는 각종 정보들을 이벤트 정보라 할 수 있으며, 이러한 이벤트 정보에는 변화 주체, 변화 객제, 변화 내용 및 종류와 같이 다른 아바타나 공간(공간 아이템 포함) 등과 같은 상호작용이 필요한 대상에게 필요한 정보가 포함되어 있다.
도 12는 이러한 이벤트를 가상현실의 구성요소들 간에 메세지 형식으로 교환하는 개념적 구성을 보인 것으로, 도시한 바와 같이 가상 현실의 기본 배경이 되는 공간을 관리하는 공간 관리부(610)와 해당 공간에 위치되는 각각의 아바타들의 표현을 관리하는 유저 표현부들(701~710)은 각각의 변화들 중에서 상호작용에 관련되어 기 설정되거나 소정의 수준으로 분류하여 해당 수준을 초과하는 경우 관련된 변화 정보를 메세지 형태의 이벤트 정보로 관련된 유저 표현부들 및 공간 관리부에 제공한다. 이러한 메세지 형태의 이벤트 정보 교환을 통해서 공간을 포함하는 공간상의 요소들은 상호작용에 관련된 환경 변화를 파악하게 되며 그에 따라 적절한 상호 동작 및 표현 변화를 제공할 수 있게 된다.
한편, 도시된 실시예에서 서비스의 기본은 공간이 되므로 상기 공간 관리부(610)는 해당 공간 내의 공간 아이템(610)에 대한 관리를 대행하고, 공간에 대한 환경 설정부(630)를 통해 공간 상의 환경 내용 등을 파악하고 그 변화를 아바타를 관리하는 유저 표현부들로 전달할 수 있으며, 유저 표현부들의 표현 변화에 따른 공간의 변화 여부를 상기 환경 설정부(630)의 내용을 참조하여 관리할 수 있다.
상기 언급한 메세지 교환 방식은 도시된 바와 같은 버스 방식이 될 수 있고, 공간 관리부가 해당하는 메세지를 일괄 처리하여 관련된 유저 표현부들에 제공할 수도 있으며, 별도의 메세지 처리부를 운영할 수도 있는 등 실질적인 구성은 메세지 드리븐(Message Driven) 방식, 이벤트 관리 방식의 프로그래밍 기법, 하드웨어 설계 기법 등을 활용하여 다양하게 구현할 수 있다.
상기 이벤트 발생에 따른 메세지 교환 방식을 통해서 각 아바타들은 환경 변화와 상대 아바타의 표현 변화를 감지할 수 있게 되며, 상호작용에 대한 정보를 알 수 있게 된다. 이는 본 시스템의 중요한 개념 중 하나인 실제 "만남"에 가까운 표현 변화를 "간단한 조작"으로 제공해 줄 수 있는 중요한 키가 된다.
즉, 본 실시예에서 다루고자 하는 기능은 자신의 아바타의 표현을 간단한 조작으로 변경하여 이를 상대방이 확인할 수 있도록 하여 자신의 감정이나 전달하고자 하는 의미를 명확히 하는 것뿐만 아니라, 상대방 아바타의 표현 변화를 확인하여 그에 따른 자신의 표현을 변화시키는 시간을 최대한 줄여 "실시간성"을 높일 수 있도록 하는 것도 포함하고 있으며, 이를 위해서 상기 이벤트 발생에 따라 실시간으로 제공되는 메세지를 활용할 수 있다.
예를 들어, 상호작용의 경우 명확한 동작에 의해 상대가 지정된 행위이므로 그에 따른 대응 동작은 자동화될 수 있는 여지가 높으며, 상대방에 대한 관계에 따른 대응 수위를 조절하는 것으로 자동적으로 반응할 수 있으나, 대화 도중에 상대방의 감정이 변화되어 상대 아바타의 표현 방식이 변화되는 경우 이를 자동적으로 처리하게 되면 대화의 개성이 없어지므로 수동으로 처리하게 되는데, 이러한 표현 변화를 시각적으로 확인 한 후 그에 따른 자신의 상태를 지정하여 표현을 변화시키기까지 상당한 시간이 필요하게 된다. 구체적으로, 서로 "즐거운 상태"로 대화하는 도중 상대방이 "화난 상태"로 변화될 경우 이를 확인하여 자신의 상태를 "화난 상태"나 "심각한 상태" 등으로 변경할 때까지 자신의 아바타는 계속 "즐거운 상태"를 유지하게 되어 어색한 상황이 될 수 있다.
하지만, 이와 같이 메세지를 통해 상대방의 표현 변화를 실시간으로 확인할 수 있게 되면, 해당 메세지에 포함된 상태 정보를 근거로 사용자가 선택 가능한 표현 변화들을 화면상에 직접 선택이 가능한 상태로 제공하여 사용자가 이들 중 하나를 선택하도록 함으로써, 상대방의 표현 변화에 따라 자신의 상태를 쉽고 빠르게 변경할 수 있도록 할 수 있다.
이러한 방식을 활용하면 상호작용, 물리적 환경 변화 등에 의한 표현 변화를 반자동으로 처리하여 표현 선택의 폭을 넓히거나, 자동적인 표현 변화 제공 이후의 표현을 신속하고 정확하게 선택할 수 있다. 예를 들어, 바람이 불어 옷이 날린 경우 찡그린 표현을 후속으로 쉽게 선택할 수 있고, 물에 의해 옷이 젖은 경우 젖은 상태에 대한 난감한 표현을 후속으로 선택할 수 있어 자연스러운 표현 설정이 가능해 진다.
도 13과 도 14는 본 발명 실시예의 동작 방식들 중 기본적인 일부에 대한 순차적 동작 과정을 보인 순서도로서, 전술한 복수의 아바타 표현 방식들 중 극히 일 부에 대한 기본적 동작을 예시한 것임에 주의한다.
먼저, 도 13은 서비스 가입시 아바타를 생성하거나 서비스 도중에 아바타를 변경하고자 할 경우 수행될 수 있는 기본 과정으로, 이 경우 다양한 아바타 상황별 표현 방식을 사용자가 편집할 수 있도록 하여 자동 및 기본 표현에 대해서도 사용자별 개인차를 발생시킬 수 있도록 하는 예이다
도시된 바와 같이 아바타 편집을 위한 수단을 통해 아바타의 기본 외형을 선택하면, 해당 기본 외형을 근거로 상황에 따른 아바타의 표현 요소들을 선택할 수 있게 된다. 이때, 설정에 따라 기본 외형에 대한 일관성을 유지하기 위해 선택 가능한 표현 요소들은 기본 외형을 선택하는 경우에 비해 다소 제한될 수 있고, 사용자가 상황별 설정을 하지 않을 경우 기본 표현 요소들이 사용되거나 랜덤한 표현 요소들을 사용하도록 설정될 수 있다.
사용자가 상황별 외형을 선택할 경우 상황에 대응되는 외형을 선택하게 되는데, 예를 들어 화가 나는 경우의 눈썹과 입을 선택한다거나, 눈썹을 선택하면서 화가 나는 경우와 즐거운 경우 등을 선택할 수 있다.
이러한 각 상황이나 선택 가능한 외형, 즉 표현 요소에 대한 선택을 필요한 만큼 완료하면 아바타의 편집이 완료되며, 이때 기본 아바타에 대한 표현 요소들은 기본 설정으로 관리되고 상기 특정한 상황에 따라 설정된 표현 요소들은 별도의 세트 설정으로 관리될 수 있다. 예를 들어 즐거울 경우에 대한 표현 요소 설정들을 하나의 세트로 관리하여 해당 세트에 대한 명칭을 부여하거나 저장하거나 하나의 단일 아이템처럼 관리 및 사용할 수 있다.
도 14는 공간 상에서 발생되는 아바타의 표현 변화에 관련된 동작 과정을 보인 것으로, 도시한 바와 같이 소정의 아바타가 초대나 선택 혹은 생성에 따라 소정의 가상 공간에 입장한 후 다른 아바타들이나 공간 아이템들 혹은 공간 자체의 환경에 따른 상호작용 및 지시에 근거하여 아바타의 표현을 변경하는 과정의 개략적 과정이다.
먼저, 아바타가 공간에 입장하면 해당 아바타가 입장한 공간 및 해당 공간에 위치된 모든 요소들이 표현된다.
상기 아바타의 입장에 따라 해당 아바타는 다른 아바타와 대화를 시작할 수 있는 기능을 부여받게 되며, 이러한 기능은 공간 입장에 따른 사용자 인터페이스의 변화로 구현될 수 있다.
이러한 대화를 통해 상대방을 지정하거나 혹은 전체 아바타들과 대화를 주고 받을 수 있게 되며, 아바타를 움직이고 공간 아이템과 상호 동작을 실시하며, 다른 아바타들과도 상호 동작을 수행할 수 있다. 이러한 과정에서 상기 아바타나 공간 아이템 혹은 공간의 환경 변화가 발생하거나, 사용자가 상황 선택에 따른 표현 변경을 지시할 경우 아바타의 표현 변경이 발생하게 되는데, 상기 환경 변화에 따른 이벤트 발생이나 사용자의 수동 조작에 의한 이벤트 발생이 발생하면 사용자 아바타는 해당 이벤트 발생에 대응되어 기 설정된 표현 변화가 존재하는지 검색하여 해당하는 표현 변화가 존재하는 경우 해당 표현 변화를 우선적으로 제공하고, 대응되어 설정된 표현 변화가 없는 경우 기본적인 표현 변화를 제공한다.
상기 표현 변화(기본 얼굴 형태의 변화, 옷차림이나 장신구의 변화, 동작의 변화 등)는 그 발생 중에도 다른 공간 구성원(아바타나 공간 아이템)에 대해 환경 변화를 유발할 수 있으므로 그에 따른 이벤트가 발생되어 상기 표현 변화에 따라 다른 아바타들이나 공간 아이템의 표현도 변화될 수 있다.
전술한 바와 같이 3차원 가상현실 서비스에서 실제와 같은 만남과 다소 과장된 의사교환이 필요할 경우, 예시된 다양한 아바타의 표현 변경 방식을 적용할 경우 사용자마다 개성 있는 상황별 표현이 가능해지며, 이러한 개성 있는 표현 변경의 조작도 쉬워 질뿐만 아니라 이러한 상황별 표현 내용도 용이하게 변경할 수 있도록 하여 보다 현실감 있고 다채로운 가상의 "만남"을 즐길 수 있게 된다.
이상에서는 본 발명에서 특정의 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
도 1은 대표적인 몰핑 방식의 아바타 예시도.
도 2는 단순한 형태의 아바타를 구성하기 위한 맵핑 방식 아바타 생성의 예시도.
도 3 역시 맵핑 방식 아바타 생성의 예시도.
도 4는 상기 도 3과 같은 아바타 생성 방식을 적용한 실제 서비스에서 얼굴
형태를 달리 선택한 4가지 예시도.
도 5는 가상 현실 시스템에서의 아바타 표현 방식의 예.
도 6은 본 발명 실시예에 따른 아바타들의 표현 방식의 예.
도 7은 본 발명 실시예에 따른 가상현실 서비스의 화면예.
도 8은 본 발명 실시예에 따른 아바타 표현 방식의 다른 예.
도 9는 본 발명 실시예에 따른 아바타 표현 변화를 위한 또 다른 실시예.
도 10은 본 발명 일 실시예에 따른 자동적인 아바타 표현 변화의 예.
도 11은 본 발명 일 실시예에 따른 아바타 표현 장치의 구성예.
도 12는 이러한 이벤트를 가상현실의 구성요소들 간에 메세지 형식으로 교환하는 구성예.
도 13은 아바타를 생성 또는 변경하고자 할 경우 수행될 수 있는 기본 과정의 순서도.
도 14는 공간 상에서 발생되는 아바타의 표현 변화에 관련된 동작 과정을 보인 순서도.
** 도면의 주요 부분에 대한 부호의 설명 **
101, 111, 121: 아바타 102, 112, 122: 태그
103, 107, 117, 125: 메뉴 131: 공간 아이템
210: 개인 정보 영역 220: 채팅창
222: 감정 표현 수단 510: 데이터베이스
511: 개인 아이템 DB 512: 변형정보 DB
513: 작용동작 DB 530: 상호작용 관리부
535: 상호작용 판단부 610: 공간 관리부
701~710: 유저 표현부

Claims (35)

  1. 서비스 사용자를 대신하는 디지털 컨텐츠의 표현 요소들을 사용자가 선택하여 디지털 컨텐츠를 생성하는 생성 단계와;
    상기 디지털 컨텐츠를 기 설정된 공간 상에 출력하고 상기 공간 상에 배치된 다른 디지털 컨텐츠에 대한 상호작용과 상기 공간의 환경 변화 및 사용자의 지시에 따라 발생되는 이벤트 정보를 수신하는 이벤트 수신 단계와;
    상기 수신된 이벤트 정보를 근거로 상기 이벤트 종류에 대응되어 기 설정된 표현 요소를 변경하여 상기 디지털 컨텐츠를 출력하여 표현하는 단계를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  2. 제 1항에 있어서,
    상기 표현하는 단계는 상기 표현 요소의 변경이 다른 디지털 컨텐츠와의 상호작용에 관련된 변경인 경우 그에 따른 이벤트 정보를 상기 다른 디지털 컨텐츠에 제공하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  3. 제 1항에 있어서,
    상기 이벤트 수신 단계는 다른 디지털 컨텐츠의 표현 요소 변경에 따른 이벤 트 정보를 수신하는 단계를 더 포함하고,
    상기 표현하는 단계는 상기 수신한 이벤트 정보의 종류가 표현 요소 변경이 기 설정되지 않은 종류의 것이라면 이벤트 정보를 근거로 변경 가능한 추천 표현 요소를 직접 선택이 가능한 상태로 제공하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  4. 제 1항에 있어서, 상기 생성 단계는 상기 디지털 컨텐츠로서 사용자를 표현하기 위해 사용되는 아바타의 외형에 대한 표현 요소들을 설정하여 사용자 아바타를 생성하는 단계를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  5. 제 1항에 있어서, 상기 표현 요소들은 일반, 희, 노, 애, 락, 동작 중 적어도 하나 이상의 상황에 따라 각각 다르게 설정되는 것을 특징으로 하는 아바타 표현 방법.
  6. 제 4항에 있어서, 상기 생성 단계에서 상기 표현 요소들은 상기 아바타의 신체를 구성하는 개별 구성 요소, 의상이나 장신구와 같은 탈착 요소, 지정된 상황에 대한 움직임, 지정된 상황에 대한 표정, 지정된 상황에 대해 기존 표현 요소를 대 체하거나 덧붙여 제공되는 강조 표현 요소 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 아바타 표현 방법.
  7. 제 1항에 있어서, 상기 이벤트 수신 단계에서 상기 기 설정된 공간은 상기 디지털 컨텐츠 사용자가 다른 디지털 컨텐츠 사용자를 초대하기 위한 공간이거나, 디지털 컨텐츠가 방문할 수 있는 공간인 것을 특징으로 하는 아바타 표현 방법.
  8. 제 1항에 있어서, 상기 이벤트 수신 단계에서 상기 다른 디지털 컨텐츠에 대한 상호작용은 다른 디지털 컨텐츠의 행동에 대한 응답, 다른 디지털 컨텐츠와의 인접에 대한 반응, 다른 디지털 컨텐츠와의 특정한 목적에 따른 물리적 효과를 발생시키는 행동 중 적어도 하나를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  9. 제 1항에 있어서, 상기 이벤트 수신 단계에서 상기 공간의 환경 변화는 상기 공간 상에서 발생될 수 있는 기상 변화, 온도 변화, 물리적 구조 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  10. 제 1항에 있어서, 상기 이벤트 수신 단계에서 상기 이벤트 정보는 이벤트의 종류와 상기 이벤트 발생 주체의 변화 정보를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  11. 제 10항에 있어서, 상기 표현 단계는 사용자의 상황을 결정하는 현재 모드를 선택 및 확인하는 단계를 더 포함하며, 상기 현재 모드에 따라 이벤트 종류에 대응하여 변경되도록 기 설정된 표현 요소의 세트를 다른 세트로 변경하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  12. 제 11항에 있어서, 상기 사용자의 상황을 결정하는 현재 모드는 희노애락 중 적어도 하나 이상을 포함하는 사용자의 감성 종류로 구분하는 아바타 표현 방법.
  13. 제 1항에 있어서, 상기 표현 단계는 상기 변경 출력되는 표현 요소 중 적어도 일부는 기 설정된 시간이나 노출 조건을 만족하면 자동적으로 원상 복귀되는 것을 특징으로 하는 아바타 표현 방법.
  14. 제 1항에 있어서, 상기 표현 단계에서 변경 출력되는 상기 기 설정된 표현 요소는 상기 디지털 컨텐츠에 대한 일련의 동작 패턴으로서 별도의 아이템으로 관리되는 표현 요소인 것을 특징으로 하는 아바타 표현 방법.
  15. 제 1항에 있어서, 상기 표현 단계에서 변경 출력되는 상기 기 설정된 표현 요소는 상기 공간의 환경 변화에 대응되는 물리적 법칙을 상기 디지털 컨텐츠에 적용하는 표현 요소인 것을 특징으로 하는 아바타 표현 방법.
  16. 제 1항에 있어서, 상기 표현 단계는 상기 이벤트 정보의 발생 원인과 상기 디지털 컨텐츠 사이의 물리적 배치와 상기 이벤트의 종류를 근거로 상기 표현 요소 변경이 물리적으로 불가능한 상황인 경우 해당 표현 요소 변경을 생략하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  17. 제 1항에 있어서, 상기 표현 단계는 상기 디지털 컨텐츠의 표시 크기가 기 설정된 수준보다 작아질 경우 해당 디지털 컨텐츠의 기 설정된 일부 영역에 대한 크기를 확대하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  18. 제 1항에 있어서, 상기 디지털 컨텐츠는 얼굴과 손발에 대응하는 영역 중 적어도 하나를 구비한 아바타이며, 상기 표현 단계는 상기 디지털 컨텐츠의 표시 방식 변경에 따라 상기 얼굴과 손발 중 적어도 하나에 대응하는 영역이 줄어들 경우, 기 설정된 범위에서 기 설정된 비율로 상기 얼굴과 손발 중 적어도 하나를 확대 표시하여 표현 변경의 관찰 범위를 확장하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  19. 서비스 사용자를 대신하는 아바타 간 상호 대화나 행동이 가능한 3차원 가상 현실 서비스에서의 아바타 표현 방법에 있어서,
    아바타의 표현 요소들을 하나 이상의 상황에 대해 사용자가 선택하여 사용자 아바타를 생성하는 생성 단계와;
    상기 사용자 아바타를 기 설정된 가상의 공간에 출력하고 사용자의 지시에 따라 동작시키면서, 상기 공간 및 상기 공간 내의 다른 아바타 또는 디지털 컨텐츠의 변화와 상기 사용자 아바타의 변화 중 기 설정된 수준의 변화 정보를 포함하는 이벤트 정보를 수신 및 전송하는 출력 단계와;
    상기 표현 요소들 중 일부를 대체하기 위한 표현 요소들을 상황별로 설정하는 설정 단계를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  20. 제 19항에 있어서,
    상기 출력 단계에서 수신된 이벤트 정보에 포함된 변화 정보와 사용자의 지정 정보를 근거로 상기 설정 단계에서 설정된 표현 요소를 상기 사용자 아바타에 적용하는 표현 단계를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  21. 제 19항에 있어서, 상기 생성 단계에서 상기 표현 요소들은 일반, 희, 노, 애, 락, 동작 중 적어도 하나 이상의 상황에 따라 각각 다르게 설정되는 것을 특징으로 하는 아바타 표현 방법.
  22. 제 19항에 있어서, 상기 생성 단계에서 상기 표현 요소들은 신체를 구성하는 개별 구성 요소, 의상이나 장신구와 같은 탈착 요소, 지정된 상황에 대한 움직임, 지정된 상황에 대한 표정, 지정된 상황에 대해 기존 표현 요소를 대체하거나 덧붙여 제공되는 강조 표현 요소 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 아바타 표현 방법.
  23. 제 19항에 있어서, 상기 출력 단계에서 상기 기 설정된 가상 공간은 상기 사 용자 아바타가 다른 사용자 아바타를 초대하기 위한 공간이거나, 사용자 아바타가 방문할 수 있는 공간인 것을 특징으로 하는 아바타 표현 방법.
  24. 제 19항에 있어서, 상기 출력 단계는 상기 아바타 외에 상기 공간을 꾸미기 위한 물건이나 장식, 배경, 지형을 포함하는 공간 아이템을 더 출력하며, 상기 아바타들과 상기 공간 아이템 사이의 변화 요인들 중 일부 변화 요인에 대한 정보를 이벤트 정보로 발생시켜 대응 아바타에 제공하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  25. 제 19항에 있어서, 상기 출력 단계에서 상기 다른 아바타에 대한 상호작용은 다른 아바타의 행동에 대한 응답, 다른 아바타와의 인접에 대한 반응, 다른 아바타와의 특정한 목적에 따른 물리적 효과를 발생시키는 행동 중 적어도 하나를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  26. 제 19항에 있어서, 상기 출력 단계에서 상기 공간의 변화는 상기 공간 상에서 발생될 수 있는 기상 변화, 온도 변화, 물리적 구조 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 아바타 표현 방법.
  27. 제 19항에 있어서, 상기 설정 단계는 상기 표현 요소들을 보유, 구매, 선물, 아이템 획득을 포함하는 수단을 통해 획득하여 상기 생성 단계에서 설정한 기본 표현 요소와 상기 획득된 표현 요소를 제공할 상황을 지정하여 선택적으로 등록하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  28. 제 20항에 있어서, 상기 표현 단계는 상기 이벤트 정보의 변화 정보에 대응하여 상기 설정 단계에서 기 설정된 표현 요소가 없는 경우 상기 이벤트 정보를 근거로 추천 표현요소들을 직접 선택이 가능한 상태로 제공하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  29. 제 20항에 있어서, 상기 표현 단계는 아바타에 적용된 표현 요소 중 적어도 일부를 기 설정된 시간이나 노출 조건이 만족되면 제거하여 아바타의 이전 상태를 자동적으로 복원하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  30. 제 20항에 있어서, 상기 아바타에 적용되는 표현 요소는 상기 사용자 아바타 에 대한 일련의 동작 패턴으로서 별도의 아이템으로 관리되는 것을 특징으로 하는 아바타 표현 방법.
  31. 제 20항에 있어서, 상기 아바타에 적용되는 표현 요소는 상기 공간의 환경 변화에 대응되는 물리적 법칙을 상기 사용자 아바타에 적용시키는 표현 요소인 것을 특징으로 하는 아바타 표현 방법.
  32. 제 20항에 있어서, 상기 표현 단계는 상기 이벤트 정보의 발생 원인과 상기 아바타 사이의 물리적 배치와 상기 이벤트의 종류를 근거로 상기 표현 요소 변경이 물리적으로 불가능한 상황인 경우 해당 표현 요소 변경을 생략하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  33. 제 20항에 있어서, 상기 표현 단계는 상기 디지털 컨텐츠의 표시 크기가 기 설정된 수준보다 작아질 경우 해당 디지털 컨텐츠의 기 설정된 일부 영역에 대한 크기를 확대하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  34. 제 20항에 있어서, 상기 디지털 컨텐츠는 얼굴과 손발에 대응하는 영역 중 적어도 하나를 구비한 아바타이며, 상기 표현 단계는 상기 디지털 컨텐츠의 표시 방식 변경에 따라 상기 얼굴과 손발 중 적어도 하나에 대응하는 영역이 줄어들 경우, 기 설정된 범위에서 기 설정된 비율로 상기 얼굴과 손발 중 적어도 하나를 확대 표시하여 표현 변경의 관찰 범위를 확장하는 단계를 더 포함하는 것을 특징으로 하는 아바타 표현 방법.
  35. 제 1항 내지 제 34항 중의 어느 한 항의 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020070125504A 2007-12-05 2007-12-05 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체 KR100957858B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070125504A KR100957858B1 (ko) 2007-12-05 2007-12-05 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070125504A KR100957858B1 (ko) 2007-12-05 2007-12-05 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체

Publications (2)

Publication Number Publication Date
KR20090058760A true KR20090058760A (ko) 2009-06-10
KR100957858B1 KR100957858B1 (ko) 2010-05-14

Family

ID=40989083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070125504A KR100957858B1 (ko) 2007-12-05 2007-12-05 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체

Country Status (1)

Country Link
KR (1) KR100957858B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753762A (zh) * 2013-12-31 2015-07-01 北京发现角科技有限公司 应用于即时通信的向头像图标中添加装饰物的方法和系统
KR102420379B1 (ko) * 2021-09-14 2022-07-13 주식회사 오썸피아 기상 환경 기반의 메타버스 서비스 제공 방법
KR20220159968A (ko) 2020-03-20 2022-12-05 라인플러스 주식회사 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
KR20220160558A (ko) 2020-03-20 2022-12-06 라인플러스 주식회사 가상 공간에서 사용자의 동작을 따라 하는 아바타를 표현하는 방법 및 시스템
KR102561202B1 (ko) * 2022-07-22 2023-07-31 박상규 디지털 트윈 3d 공간상의 레이어 별 아바타 시각화 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240009264A (ko) 2022-07-13 2024-01-22 인바이츠지노믹스 주식회사 메타버스 기반 개인 헬스케어 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040038739A1 (en) * 2002-08-20 2004-02-26 Peter Wanat Computer game with emotion-based character interaction
KR100830634B1 (ko) * 2005-07-12 2008-05-20 주식회사 사이넷 감성 메시지 서비스 방법
KR100869031B1 (ko) * 2006-04-11 2008-11-17 주식회사 케이티 소봇을 이용한 게임 서비스 제공 시스템 및 방법
KR20060104981A (ko) * 2006-09-26 2006-10-09 주식회사 비즈모델라인 이모티콘과 아바타 연동처리 방법 및 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753762A (zh) * 2013-12-31 2015-07-01 北京发现角科技有限公司 应用于即时通信的向头像图标中添加装饰物的方法和系统
KR20220159968A (ko) 2020-03-20 2022-12-05 라인플러스 주식회사 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
KR20220160558A (ko) 2020-03-20 2022-12-06 라인플러스 주식회사 가상 공간에서 사용자의 동작을 따라 하는 아바타를 표현하는 방법 및 시스템
KR102420379B1 (ko) * 2021-09-14 2022-07-13 주식회사 오썸피아 기상 환경 기반의 메타버스 서비스 제공 방법
KR102561202B1 (ko) * 2022-07-22 2023-07-31 박상규 디지털 트윈 3d 공간상의 레이어 별 아바타 시각화 시스템 및 방법

Also Published As

Publication number Publication date
KR100957858B1 (ko) 2010-05-14

Similar Documents

Publication Publication Date Title
Coleman Hello avatar: rise of the networked generation
CN109885367B (zh) 互动聊天实现方法、装置、终端和存储介质
KR101106002B1 (ko) 객체에서의 행동을 생성하는 장치 및 방법
CN107750005A (zh) 虚拟互动方法和终端
US20090128567A1 (en) Multi-instance, multi-user animation with coordinated chat
KR100957858B1 (ko) 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체
KR100993801B1 (ko) 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체
CN109621419A (zh) 游戏角色表情的生成装置方法及装置、存储介质
Boyns et al. Feeling through presence: Toward a theory of interaction rituals and parasociality in online social worlds
JP2022532909A (ja) アニメキャラクタの変更
CN113766168A (zh) 一种互动处理方法、装置、终端及介质
Vilhjálmsson Autonomous communicative behaviors in avatars
Lamerichs Characters of the Future. Machine Learning, Data, and Personality
KR20190071241A (ko) 가상 소개팅 서비스 제공 방법 및 시스템
CN101620741A (zh) 基于部件库的真实感虚拟化身模型的交互式生成方法
Türkoğlu et al. The Digital Cultural Identity on the Space Drawed in Virtual Games and Representatıve
KR20070025384A (ko) 춤추는 아바타를 생성하는 방법 및 서버와 춤추는 아바타를이용한 응용 서비스 제공 방법
Montemorano Body Language: Avatars, Identity Formation, and Communicative Interaction in VRChat
CN112807688A (zh) 游戏内表情设置方法、装置、处理器及电子装置
Grieve An ethnographic method for the study of religion in video game environments
KR20030088694A (ko) 동시표현이 가능한 아바타와 이것을 적용한아이템/개인가상공간 구현 방법
KR20050007747A (ko) 웹과 게임 상에서 연동되는 아바타/ 게임의 캐릭터 통합시스템 및 그 운용방법
Freund Beyond the physical self: understanding the perversion of reality and the desire for digital transcendence via digital avatars in the context of Baudrillard’s theory
JP7460922B2 (ja) 情報処理システムおよびプログラム
Kurtzberg et al. The 10-Second Commute: New Realities of Virtual Work

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130503

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150507

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180508

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee