KR101243832B1 - 감성인식 아바타 미디어 서비스 장치 및 방법 - Google Patents

감성인식 아바타 미디어 서비스 장치 및 방법 Download PDF

Info

Publication number
KR101243832B1
KR101243832B1 KR1020100117601A KR20100117601A KR101243832B1 KR 101243832 B1 KR101243832 B1 KR 101243832B1 KR 1020100117601 A KR1020100117601 A KR 1020100117601A KR 20100117601 A KR20100117601 A KR 20100117601A KR 101243832 B1 KR101243832 B1 KR 101243832B1
Authority
KR
South Korea
Prior art keywords
avatar
user
media
emotion
story
Prior art date
Application number
KR1020100117601A
Other languages
English (en)
Other versions
KR20120076455A (ko
Inventor
최현규
Original Assignee
유비벨록스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유비벨록스(주) filed Critical 유비벨록스(주)
Priority to KR1020100117601A priority Critical patent/KR101243832B1/ko
Publication of KR20120076455A publication Critical patent/KR20120076455A/ko
Application granted granted Critical
Publication of KR101243832B1 publication Critical patent/KR101243832B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Processing Or Creating Images (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 방송국으로부터 IPTV나 디지털 TV 등으로 수신되는 생방송 드라마나 영화, 오락 프로그램이나, 사용자가 저장해 놓은 동영상 등의 영상 미디어에 대해, 아바타 캐릭터가 등장하는 3차원 가상현실 세계의 아바타 미디어 스토리로 변환하고, 사용자의 선택에 따라 각각의 등장 인물에 따른 아바타를 설정한 후 아바타 미디어 스토리를 재현하는 중에 사용자로부터 기쁨이나 슬픔, 행복 등의 감성을 인식하여 그대로 아바타에 적용함으로써 사용자가 아바타를 통해 미디어 스토리에 실제로 참여하여 연기해 볼 수 있도록 된, 감성인식 아바타 미디어 서비스 장치 및 방법에 관한 것이다.
본 발명에 따른 감성인식 아바타 미디어 서비스 장치는, 통신망을 통해 수신되는 드라마 영상, 영화 영상, 오락 프로그램이나, 사용자에 의해 선택된 동영상 등의 미디어 데이터를 입력하는 미디어 입력부; 상기 입력된 미디어 데이터를 재생하여 출력하는 미디어 재생부; 상기 재생되는 미디어 데이터를 아바타가 등장하는 가상현실 세계의 아바타 미디어 스토리로 변환하는 미디어 변환부; 상기 아바타 미디어 스토리를 화면 상에 재현하는 아바타스토리 재현부; 상기 아바타 미디어 스토리에 등장하는 사용자 아바타를 사용자의 선택에 따라 설정하기 위한 아바타 설정부; 상기 아바타 미디어 스토리를 재현하는 중에 사용자의 감성을 인식하기 위한 감성 인식부; 및 상기 인식된 감성을 상기 아바타 미디어 스토리에 등장하는 상기 사용자 아바타에 적용하는 감성 적용부를 포함한다.

Description

감성인식 아바타 미디어 서비스 장치 및 방법{Avata media service method and device using a recognition of sensitivity}
본 발명은 아바타를 미디어 서비스에 적용하는 장치 및 방법에 관한 것으로서, 더욱 자세하게는 방송국으로부터 IPTV나 디지털 TV 등으로 수신되는 생방송 드라마나 영화, 오락 프로그램, 사용자가 저장해 놓은 동영상 등의 영상 미디어에 대해 아바타 캐릭터가 등장하는 아바타 미디어 스토리로 변환하고, 사용자의 선택에 따라 각각의 등장 인물에 따른 아바타를 설정한 후 아바타 미디어 스토리를 재현하는 중에 사용자로부터 기쁨이나 슬픔, 행복, 놀람, 즐거움, 화남, 스트레스 상태, 차분함 등의 감성을 인식하여 그대로 아바타에 적용함으로써 사용자가 아바타를 통해 미디어 스토리에 실제로 참여하여 연기해 볼 수 있도록 된 것이다.
인터넷을 이용하는 네티즌들은 과거에 사이버 공간의 익명성에 매료되었지만, 이제는 자신을 표현하려는 욕구를 느끼게 되었고 이를 충족시켜 주기 위하여 아바타가 생겨났다.
아바타(avata)는 분신(分身), 화신(化身)을 뜻하는 말로, 사이버 공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터를 말한다. 원래 아바타는 내려오다, 통과하다라는 의미의 산스크리트어 Ava와 아래, 땅이란 뜻인 Terr의 합성어로서, 고대 인도에선 땅으로 내려온 신의 화신을 지칭하는 말이었으나, 인터넷 시대가 열리면서 3차원이나 가상현실 게임 또는 웹에서의 채팅 등에서 자기 자신을 나타내는 그래픽 아이콘을 가리키게 되었다. 즉, 아바타는 그래픽 위주의 가상 사회에서 자신을 대표하는 가상육체로서, 현실세계와 가상공간을 이어주며, 익명과 실명의 중간 정도에 존재한다.
현재, 아바타가 이용되는 분야는, 채팅이나 온라인 게임 외에도 사이버 쇼핑몰, 가상교육, 가상 오피스 등으로 확대되고 있는 추세이다. 최근에 아바타가 가장 각광받는 분야는 온라인 채팅 서비스 분야로서, 아이콘 채팅, 3차원 그래픽 채팅 등의 아바타를 이용한 채팅서비스가 도입되어 사용되고 있다.
기존의 아바타는 2차원으로 된 그림이 대부분으로서, 머드게임이나 온라인 채팅에 등장하는 아바타는 가장 초보적인 수준이고, 이러한 2차원 아바타의 현실감이 떨어지는 문제점을 보완하여 등장한 것이 3차원 아바타로서, 3차원 아바타 캐릭터는 입체감과 현실감을 함께 지닌 것이 장점이다.
또한, 대부분의 게임이나 채팅서비스에는 주로 몇 가지의 캐릭터를 조합하거나 이미 완성되어 있는 아바타를 제공하지만, 그래픽기술이 향상되면서 서비스 제공자가 이미 만들어 놓은 기성품(Ready-made)을 이용하는 것이 아니라, 문자 ID처럼 사용자가 자신만의 개성있는 아바타를 직접 만들 수 있는 나만의 아바타도 등장하고 있다.
그러나, 이와 같이 웹브라우저 상에서 제공되는 아바타는, 웹브라우저의 태생적 한계에 부딪혀, 사용자가 아바타를 활용하는데 있어서 움직임이 없거나 움직임이 있다고 하더라도 단순한 움직임 정도 밖에는 보여주지 못함으로써 현실세계와 같은 느낌을 전혀 주지못하는 문제점 등이 있다.
한편, 최근에는 사용자가 아바타를 통해 가상 현실 세계를 체험할 수 있는 서비스가 제공되고 있지만, 이는 대부분 제작업체에서 이미 정한 스토리(Story)에 따라 전개되는 3차원 가상 현실 세계에 사용자가 아바타로서 등장하는 정도에 불과하다. 따라서, 사용자가 한 두 번 정도 이용한 이후에는 식상하게 여기게 될 우려가 있다. 이에, 사용자가 아바타를 통해 이용하는 3차원 가상 현실 세계의 소재를 매번 달라지게 하거나, 그 스토리의 내용을 다르게 함에 따라 사용자가 흥미를 느낄 수 있도록 하고 실시간으로 사용자의 감성을 인식하여 그에 대응되게 사용자가 지정한 아바타의 표정, 행동 등이 반응됨으로써 사용자의 감성과 아바타의 감성이 일치되는 기술이 요구되고 있다.
전술한 문제점을 해결하기 위한 본 발명은, 방송국으로부터 IPTV나 디지털 TV 등으로 수신되는 생방송 드라마나 영화, 오락 프로그램이나, 사용자가 저장해 놓은 동영상 등의 영상 미디어에 대해, 아바타 캐릭터가 등장하는 3차원 가상현실 세계의 아바타 미디어 스토리로 변환하고, 사용자의 선택에 따라 각각의 등장 인물에 따른 아바타를 설정한 후 아바타 미디어 스토리를 재현하는 중에 사용자로부터 기쁨이나 슬픔, 행복, 놀람, 즐거움, 화남, 스트레스상태, 차분함 등의 감성을 인식하여 그대로 아바타에 적용함으로써 사용자가 아바타를 통해 미디어 스토리에 실제로 참여하여 연기해 볼 수 있도록 된, 감성인식 아바타 미디어 서비스 장치 및 방법을 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 통신망을 통해 수신되는 드라마 영상, 영화 영상, 오락 프로그램이나, 사용자에 의해 선택된 동영상 등의 미디어 데이터를 입력하는 미디어 입력부; 상기 입력된 미디어 데이터를 재생하여 출력하는 미디어 재생부; 상기 미디어 데이터를 아바타가 등장하는 가상현실 세계의 아바타 미디어 스토리로 변환하는 미디어 변환부; 상기 아바타 미디어 스토리를 화면 상에 재현하는 아바타스토리 재현부; 상기 아바타 미디어 스토리에 등장하는 사용자 아바타를 사용자의 선택에 따라 설정하기 위한 아바타 설정부; 상기 아바타 미디어 스토리를 재현하는 중에 사용자의 감성을 인식하기 위한 감성 인식부; 및 상기 인식된 감성을 상기 아바타 미디어 스토리에 등장하는 상기 사용자 아바타에 적용하는 감성 적용부를 포함하는 감성인식 아바타 미디어 서비스 장치가 제공된다.
또한, 상기 미디어 변환부는, 상기 재생되는 미디어 데이터에 대해, 3차원 가상공간과 아바타로 이루어진 플래시 무비클립으로 변환하되, 아바타의 구성요소 중 하나인 몸의 전, 후, 좌, 우 방향의 정지모습과 움직이는 모습을 갖는 플래시 무비클립과, 아바타의 구성요소인 두상, 머리, 눈, 코, 입 등에 간단한 애니메이션을 가미한 플래시 무비클립을 포함하는 플래시 파일로 변환할 수 있다.
또한, 상기 미디어 변환부는, 3차원 그래픽툴(3DSMAX)을 통해 메쉬를 만들고 각각의 더미를 근육 흐름에 맞게 셋팅을 하고 페이셜 애니매이션(Facial Animation)을 각각 진행한 다음 스크립트 코드를 이용해서 DTS 파일과 DSQ 파일을 생성할 수 있다.
또한, 상기 아바타 설정부는, 상기 사용자를 카메라로 촬영하여 얻은 사용자 영상에, 다수의 아바타 종류를 사용자에게 제시하여 사용자에 의해 선택된 아바타를 합성하여 상기 사용자 아바타를 설정할 수 있다.
또한, 상기 감성 인식부는, 3D 입체 안경, 헤드셋, 의자, 미디어장치 등에 장착된 감성센서를 통해 사용자의 뇌파, 빛 센서에 의한 감성정보, 혈류량, 맥박, 전류, 신체의 파장 등을 인지하여 상기 사용자의 감성을 인식할 수 있다.
또한, 상기 감성 인식부는, 카메라를 통해 사용자를 촬영한 사용자 영상을 분석하여 상기 사용자의 감성을 인식할 수 있다.
그리고, 상기 감성 인식부는, 상기 사용자로부터 감성센서를 통해 상기 사용자의 안면이나 안구의 상태 변화를 인지하여 상기 사용자의 감성을 인식할 수 있다. 상기 감성인식부는, 상기 사용자로부터 감성센서를 통해 상기 사용자의 피부색깔을 인지하여 상기 사용자의 감성을 인식할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 방송국이나 미디어 장치와 통신망을 통해 통신하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법으로서, (a) 상기 방송국으로부터 통신망을 통해 수신되는 드라마 영상, 영화 영상, 오락 프로그램에 관한 미디어 데이터나, 상기 미디어 장치로부터 사용자에 의해 선택된 동영상 등의 미디어 데이터를 입력받는 단계; (b) 상기 입력된 미디어 데이터를 아바타가 등장하는 가상현실 세계의 아바타 미디어 스토리로 변환하는 단계; (c) 상기 아바타 미디어 스토리에 등장하는 사용자 아바타를 설정하는 단계; (d) 상기 사용자 아바타가 설정된 아바타 미디어 스토리를 화면 상에 재현하는 단계; (e) 상기 아바타 미디어 스토리를 재현하는 중에 사용자의 감성을 인식하는 단계; 및 (f) 상기 인식된 감성을 상기 아바타 미디어 스토리에 등장하는 사용자 아바타에 적용하여 재현하는 단계를 포함하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법이 제공된다.
또한, 상기 (b) 단계는, 상기 재생되는 미디어 데이터에 대해, 3차원 가상공간과 아바타로 이루어진 플래시 무비클립으로 변환하되, 아바타의 구성요소 중 하나인 몸의 전, 후, 좌, 우 방향의 정지모습과 움직이는 모습을 갖는 플래시 무비클립과, 아바타의 구성요소인 두상, 머리, 눈, 코, 입 등에 간단한 애니메이션을 가미한 플래시 무비클립을 포함하는 플래시 파일로 변환할 수 있다.
또한, 상기 (b) 단계는, 3차원 그래픽툴(3DSMAX)을 통해 메쉬를 만들고 각각의 더미를 근육 흐름에 맞게 셋팅을 하고 페이셜 애니매이션(Facial Animation)을 각각 진행한 다음 스크립트 코드를 이용해서 DTS 파일과 DSQ 파일을 생성할 수 있다.
또한, 상기 (b) 단계는, 상기 입력받은 미디어 데이터를 재생하여 출력하고, 상기 재생되는 미디어 데이터를 상기 아바타 미디어 스토리로 변환할 수 있다.
또한, 상기 (c) 단계는, 상기 사용자를 카메라로 촬영하여 얻은 사용자 영상에, 다수의 아바타 종류를 사용자에게 제시하여 사용자에 의해 선택된 아바타를 합성하여 상기 사용자 아바타를 설정할 수 있다.
또한, 상기 (e) 단계는, 3D 입체 안경, 헤드셋, 의자, 미디어장치 중 하나에 장착된 감성센서를 통해 사용자의 뇌파, 빛 센서에 의한 감성정보, 혈류량, 맥박, 전류, 신체의 파장 등을 인지하여 상기 사용자의 감성을 인식할 수 있다.
또한, 상기 (e) 단계는, 카메라를 통해 사용자를 촬영한 사용자 영상을 분석하여 상기 사용자의 감성을 인식할 수 있다.
그리고, 상기 (e) 단계는, 상기 사용자로부터 감성센서를 통해 상기 사용자의 안면이나 안구의 상태 변화를 인지하여 상기 사용자의 감성을 인식할 수 있다.
본 발명에 의하면, 사용자가 드라마나 영화, 오락 프로그램 등을 3차원 가상 현실 세계로 구현하여 자신이 설정한 아바타를 통해 주인공이나 조연 인물 등으로 참여할 수 있다.
또한, 사용자가 아바타를 통해 스토리에 따라 전개해 나가는 중에 자신의 기쁨이나 슬픔, 행복, 놀람, 즐거움, 화남, 스트레스상태, 차분함 등의 감성을 그대로 아바타에 적용함으로써 가상 현실 세계의 아바타를 보면서 자신의 연기력을 향상시키는 데 이용할 수 있다.
그리고, 사용자가 아바타를 통해 구현하는 3차원 가상 현실 세계에 대해 드라마나 영화, 오락 프로그램, 동영상 등을 선택하여 미디어 스토리의 소재를 매번 다르게 하거나, 그 스토리의 내용을 다르게 함에 따라 사용자가 흥미를 느낄 수 있다.
도 1은 본 발명의 실시예에 따른 감성인식 아바타 미디어 서비스 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 감성인식 아바타 미디어 서비스 장치의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명의 실시예에 따라 아바타 미디어 스토리에 등장하는 사용자 아바타를 설정하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 사용자의 감성을 3D 입체 안경을 통해 인식하는 예를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따라 사용자를 촬영한 영상을 분석하여 사용자의 감성을 인식하는 예를 나타낸 도면이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 감성인식 아바타 미디어 서비스 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 감성인식 아바타 미디어 서비스 시스템(100)은, 방송국 센터(110), 통신망(120), 감성인식 아바타 미디어 서비스 장치(130), 미디어 장치(140) 등을 포함한다.
방송국 센터(110)는 공중파 방송을 통해 또는 케이블 방송을 통해 생방송 드라마, 영화, 오락 프로그램에 관한 미디어 데이터를 송출한다.
통신망(120)은 공중파 방송을 비롯해 이동 통신망 등 무선 통신망을 포함하고, 케이블 방송, 인터넷 등 유선 통신망을 포함하며, 블루투스(Bluetooth)와 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망을 포함한다.
감성인식 아바타 미디어 서비스 장치(130)는 예를 들면, 서버 시스템 등으로 구현할 수 있으며, 방송국 센터(110)로부터 IPTV나 디지털 TV 등으로 수신되는 생방송 드라마나 영화, 오락 프로그램에 관한 미디어 데이터나, 사용자가 저장해 놓은 동영상 등의 영상 미디어에 대해, 아바타 캐릭터가 등장하는 3차원 가상현실 세계의 아바타 미디어 스토리로 변환하고, 사용자의 선택에 따라 각각의 등장 인물에 따른 사용자 아바타를 설정한 후 아바타 미디어 스토리를 재현하는 중에 사용자로부터 기쁨이나 슬픔, 행복 등의 감성을 인식하여 그대로 사용자 아바타에 적용하여 아바타 미디어 스토리를 재현하여 화면 상에 출력한다.
미디어 장치(140)는 비디오 영상이나 동영상 등 미디어 데이터를 재생할 수 있는 모든 미디어 재생 장치를 포함하는 것으로, 예를 들면, IPTV, 디지털 TV, PDP TV, LCD TV 등이 될 수 있다. 물론, IPTV에 연결된 셋탑박스(Settop Box)도 포함된다.
또한, 미디어 장치(140)는 다수의 미디어 데이터를 저장하고 있다가 사용자의 선택에 따라 재생하는 컴퓨터 장치도 포함하며, 사용자가 휴대하고 다니는 스마트 폰이나 휴대용 미디어 재생기도 포함한다.
도 2는 본 발명의 실시예에 따른 감성인식 아바타 미디어 서비스 장치의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 2를 참조하면, 본 발명에 따른 감성인식 아바타 미디어 서비스 장치(130)는, 미디어 입력부(210), 미디어 재생부(220), 미디어 변환부(230), 아바타스토리 재현부(240), 아바타 설정부(250), 감성 인식부(260) 및 감성 적용부(270) 등을 포함한다.
미디어 입력부(210)는 통신망을 통해 수신되는 드라마 영상, 영화 영상, 오락 프로그램에 관한 미디어 데이터나, 사용자에 의해 선택된 동영상 등의 미디어 데이터를 입력한다. 즉, 미디어 입력부(210)는 방송국 센터(110)로부터 IPTV를 통해 재생되는 미디어 데이터를 입력받거나, 컴퓨터 장치에서 재생되는 미디어 데이터를 입력받는다.
미디어 재생부(220)는 IPTV나 컴퓨터 장치 등 미디어 재생 장치가 연결되지 않고, 직접 방송국 센터(110)로부터 전송받은 미디어 데이터를 재생하거나, 컴퓨터 장치에 저장되어 있는 미디어 데이터를 로딩(Loading)하여 자체적으로 재생할 때 이용하는 것으로, 미디어 입력부(210)를 통해 입력된 미디어 데이터를 재생하여 출력한다. 따라서, 미디어 재생부(220)는 사용자의 선택에 따라 사용하지 않을 수 있다.
미디어 변환부(230)는 재생되는 미디어 데이터를 3차원 사용자 아바타가 등장하는 3차원 가상현실 세계의 3차원 미디어 데이터에 관한 아바타 미디어 스토리로 변환한다.
여기서, 미디어 변환부(230)는 재생되는 미디어 데이터에 대해, 3차원 가상공간과 3차원 사용자 아바타로 이루어진 플래시 무비클립으로 변환하되, 예를 들면, 아바타의 구성요소 중 하나인 몸의 전, 후, 좌, 우 방향의 정지모습과 움직이는 모습을 갖는 플래시 무비클립과, 아바타의 구성요소인 두상, 머리, 눈, 코, 입 등에 간단한 애니메이션을 가미한 플래시 무비클립을 포함하는 플래시 파일로 변환할 수 있다. 여기서, 2차원 미디어 데이터를 3차원 미디어 데이터로 변환하는 미디어 변환부(230)의 동작은 이미 공지되어 있는 기술에 해당하므로 그 상세한 동작 설명은 생략한다.
또한, 미디어 변환부(230)는, 3차원 그래픽툴(3DSMAX)을 통해 메쉬(Mesh)를 만들고 각각의 더미를 근육 흐름에 맞게 셋팅을 하고 페이셜 애니매이션(Facial Animation)을 각각 진행한 다음 스크립트 코드를 이용해서 DTS 파일과 DSQ 파일을 생성할 수 있다. 여기서, 미디어 변환부(230)가 3차원 그래픽툴과 연동하여 2차원 미디어 데이터를 3차원 미디어 데이터로 변환하는 동작은 공지 기술에 해당하므로 상세한 설명은 생략한다.
아바타스토리 재현부(240)는 아바타 미디어 스토리를 화면 상에 재현한다. 예를 들면, 아바타 미디어 스토리가 플래시 파일인 경우 플래시 재생기가 될 수 있다. 여기서, 아바타스토리 재현부(240)가 3차원 미디어 데이터의 아바타 미디어 스토리를 디스플레이 장치에 전달하여 재현하도록 하는 동작은 이미 공지되어 있는 기술에 해당하므로 그 상세한 동작 설명은 공지되어 있는 기술 중 하나를 채택하여 동작할 수 있으므로 생략한다.
아바타 설정부(250)는 아바타 미디어 스토리에 등장하는 사용자 아바타를 사용자의 선택에 따라 설정하기 위한 것으로, 예를 들면, 사용자를 카메라로 촬영하여 얻은 사용자 영상에, 다수의 아바타 종류를 사용자에게 제시하여 사용자에 의해 선택된 아바타를 합성하여 사용자 아바타를 설정할 수 있다. 또한, 아바타 설정부(250)는 아바타 미디어 스토리에 등장하는 다수의 아바타를 사용자에게 제시하여, 사용자에 의해 선택된 아바타를 사용자 아바타로 설정할 수 있다.
감성 인식부(260)는 아바타 미디어 스토리를 재현하는 중에 사용자의 감성을 인식하기 위한 것으로, 예를 들면, 3D 입체 안경, 헤드셋, 의자, 미디어장치 등에 장착된 감성센서를 통해 사용자의 뇌파, 빛 센서에 의한 감성정보, 혈류량, 맥박, 전류, 신체의 파장 등을 인지하여 사용자의 감성을 인식할 수 있다.
또한, 감성 인식부(260)는 전술한 감성 인식과, 인간의 얼굴표정과 음성에 의한 감정인식으로 구분되며, 그 외에 맥박, 체온, 심전도, 피부저항 등의 생체신호를 정량적으로 측정하여 인간의 감정상태를 결정하는 생리적 방법으로 대분될 수 있다. 이때, 감성센서의 종류로는 PPG와 RSP 신호처리방법, PPG와 ECG를 활용한 혈압측정 기술, PTT측정, TDP를 이용한 감성평가모델개발, GSR(피부전도도)센서 등을 예로 들 수 있다.
또한, 감성 인식부(260)는 카메라를 통해 사용자를 촬영한 사용자 영상을 분석하여 사용자의 감성을 인식할 수 있다.
그리고, 감성 인식부(260)는 사용자로부터 감성센서를 통해 사용자의 안면이나 안구의 상태 변화를 인지하여 사용자의 감성을 인식할 수 있다.
감성 적용부(270)는 인식된 감성을 아바타 미디어 스토리에 등장하는 사용자 아바타에 적용하여, 사용자의 감성이 그대로 사용자 아바타에 나타날 수 있도록 한다.
이 외에, 사용자로부터 데이터나 명령 등을 입력받기 위한 입력부와, 아바타 미디어 스토리가 재현되는 영상을 디스플레이하는 디스플레이부 등은 일반적인 구성에 해당하므로 생략한다.
도 3은 본 발명의 실시예에 따른 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법을 설명하기 위한 동작 흐름도이다.
도 3을 참조하면, 본 발명에 따른 감성인식 아바타 미디어 서비스 장치(130)는, 예를 들면, 방송국 센터(110)로부터 통신망(120)을 통해 수신되는 드라마 영상, 영화 영상, 오락 프로그램에 관한 미디어 데이터나, 미디어 장치(140)로부터 사용자에 의해 선택된 동영상 등의 미디어 데이터를 미디어 입력부(210)를 통해 입력받는다(S310).
이어, 감성인식 아바타 미디어 서비스 장치(130)는 미디어 데이터를 미디어 변환부(230)를 통해 사용자 아바타가 등장하는 가상현실 세계의 3차원 미디어 데이터에 관한 아바타 미디어 스토리로 변환한다(S320).
이때, 감성인식 아바타 미디어 서비스 장치(130)의 미디어 변환부(230)는 입력된 미디어 데이터에 대해, 3차원 가상공간과 사용자 아바타로 이루어진 플래시 무비클립으로 변환하되, 예를 들면, 사용자 아바타의 구성요소 중 하나인 몸의 전, 후, 좌, 우 방향의 정지모습과 움직이는 모습을 갖는 플래시 무비클립과, 사용자 아바타의 구성요소인 두상, 머리, 눈, 코, 입 등에 간단한 애니메이션을 가미한 플래시 무비클립을 포함하는 플래시 파일로 변환할 수 있다.
또한, 감성인식 아바타 미디어 서비스 장치(130)의 미디어 변환부(230)는, 3차원 그래픽툴(예, 3DSMAX)과 연동하여 2차원 미디어 데이터에 대한 3차원 메쉬를 만들고 각각의 더미를 근육 흐름에 대응되게 셋팅을 하고 페이셜 애니매이션(Facial Animation)을 각각 진행한 다음 스크립트 코드를 이용해서 DTS 파일과 DSQ 파일을 생성할 수 있다.
DTS 파일은 페이셜 애니메이션을 그래픽 유저 인터페이스에 표현하기 위해서 사용되는 파일로서 DTS 파일은 메쉬정보를 가지고 있는 파일이고 DSQ 파일은 애니메이션 데이터를 가지고 있는 파일이다. 실시간으로 구현되는 페이셜 애니메이션(얼굴표정)은 장면에서 자신이 실제와 같은 커뮤니케이션을 하는 느낌이 되도록 해주는 최신의 기술이라고 할 수 있다. 페이셜 애니메이션은 사람 얼굴(또는 짐승의 머리)에 존재하는 대부분의 근육(주로 눈과 입에 많이 걸림)에 본(bone)을 걸어서 사용자의 제스쳐나 음성의 발음에 따라 인상이나 입술 모양을 구현(일명 Lip Sync)하는 것이다. 텍스트 발음에 따른 입 모양 애니메이션(결정) 사용자가 입력하는 대화 문장을 분석하여 각각의 음절이 어떻게 발음되는지 뽑아내고, 이 음절에 해당하는 입모양을 실시간으로 연출해낸다. 자연스러운 입 모양을 연출하기 위해 각각의 음절마다 대략 10 프레임에 해당되는 애니메이션을 걸어준다. 음성을 통한 립싱크 애니메이션은 음성 시그널(Signal)을 통해 아바타의 입 모양을 연출해 낼 수 있다.
이어, 감성인식 아바타 미디어 서비스 장치(130)는 아바타 설정부(250)를 통해 아바타 미디어 스토리에 등장하는 사용자 아바타를 설정한다(S330).
이때, 감성인식 아바타 미디어 서비스 장치(130)의 아바타 설정부(250)는 도 4에 도시된 바와 같이 사용자를 카메라로 촬영하여 얻은 사용자 영상에, 다수의 아바타 종류를 사용자에게 제시하여 사용자에 의해 선택된 아바타를 합성하여 사용자 아바타를 설정할 수 있다. 도 4는 본 발명의 실시예에 따라 아바타 미디어 스토리에 등장하는 사용자 아바타를 설정하는 예를 나타낸 도면이다.
이어, 감성인식 아바타 미디어 서비스 장치(130)는, 아바타스토리 재현부(240)를 통해 3차원 미디어 데이터에 관한 아바타 미디어 스토리를 화면 상에 재현한다(S340).
이어, 감성인식 아바타 미디어 서비스 장치(130)는 아바타 미디어 스토리를 재현하는 중에 감성 인식부(260)를 통해 사용자의 감성을 인식한다(S350).
이때, 감성인식 아바타 미디어 서비스 장치(130)의 감성 인식부(260)는 사용자가 3D 입체 안경을 쓰고 IPTV의 미디어 장치(140)를 통해 3D 입체 영화를 보고 있는 중이라면, 도 5에 도시된 바와 같이 3D 입체 안경에 장착된 감성센서를 통해 사용자의 뇌파를 인지하여 사용자의 감성을 인식할 수 있다. 도 5는 본 발명의 실시예에 따라 사용자의 감성을 3D 입체 안경을 통해 인식하는 예를 나타낸 도면이다.
여기서, 사용자의 감성은 기쁨, 슬픔, 즐거움, 스트레스, 놀람, 무표정, 짜증, 행복 등을 포함한다.
또한, 감성인식 아바타 미디어 서비스 장치(130)의 감성 인식부(260)는, 3D 입체 안경, 헤드셋, 의자, 미디어장치 등에 장착된 감성센서를 통해 사용자의 뇌파, 빛 센서에 의한 감성정보, 혈류량, 맥박, 전류, 신체의 파장 등을 인지하여 사용자의 감성을 인식할 수 있다.
또한, 감성인식 아바타 미디어 서비스 장치(130)의 감성 인식부(260)는 도 6에 도시된 바와 같이 카메라를 통해 사용자를 촬영한 사용자 영상을 분석하여 사용자의 감성을 인식할 수 있다. 도 6은 본 발명의 실시예에 따라 사용자를 촬영한 영상을 분석하여 사용자의 감성을 인식하는 예를 나타낸 도면이다.
또한, 감성인식 아바타 미디어 서비스 장치(130)의 감성 인식부(260)는 사용자로부터 감성센서를 통해 사용자의 안면이나 안구의 상태 변화를 인지하여 사용자의 감성을 인식할 수 있다.
그리고, 본 발명에 따른 감성인식방법의 경우, 전술한 감성 인식과 인간의 얼굴표정과 음성에 의한 감정인식으로 구분되며, 그 외에 맥박, 체온, 심전도, 피부저항 등의 생체신호를 정량적으로 측정하여 인간의 감정상태를 결정하는 생리적 방법으로 대분될 수 있다. 이를 위한 감성센서의 종류로는 PPG와 RSP 신호처리방법, PPG와 ECG를 활용한 혈압측정 기술, PTT측정, TDP를 이용한 감성평가모델개발, GSR(피부전도도)센서 등을 예로 들 수 있다.
이어, 감성인식 아바타 미디어 서비스 장치(130)는 인식된 감성을 감성 적용부(270)를 통해 아바타 미디어 스토리에 등장하는 사용자 아바타에 적용하고 아바타스토리 재현부(240)를 통해 화면 상에 재현한다(S360).
따라서, 사용자는 아바타를 통해 3차원 가상현실 세계의 미디어 스토리에 실제로 참여하여 연기해 볼 수 있다.
전술한 바와 같이 본 발명에 의하면, 방송국으로부터 IPTV나 디지털 TV 등으로 수신되는 생방송 드라마나 영화, 오락 프로그램, 사용자가 저장해 놓은 동영상 등의 영상 미디어에 대해, 아바타 캐릭터가 등장하는 3차원 가상현실 세계의 아바타 미디어 스토리로 변환하고, 사용자의 선택에 따라 각각의 등장 인물에 따른 아바타를 설정한 후 아바타 미디어 스토리를 재현하는 중에 사용자로부터 기쁨이나 슬픔, 행복 등의 감성을 인식하여 그대로 아바타에 적용함으로써 사용자가 아바타를 통해 미디어 스토리에 실제로 참여하여 연기해 볼 수 있도록 된, 감성인식 아바타 미디어 서비스 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 아바타가 등장하는 3차원 가상현실 세계를 제공하는 서비스 및 시스템에 적용할 수 있다.
또한, 사용자가 IPTV나 디지털 TV를 통해 시청하는 생방송 드라마나 영화, 오락 프로그램을 3차원 가상세계로 구현하여 시청자를 아바타로 참여시킬 수 있도록 하는 서비스나 시스템에 적용할 수 있다.
그리고, 사용자가 선택한 아바타를 3차원 가상현실 세계에 등장시킬 때 사용자의 감성을 인식하여 사용자의 감정을 그대로 아바타를 통해 표현할 수 있는 감성 서비스나 시스템 등에 적용할 수 있다.
100 : 감성인식 아바타 미디어 서비스 시스템 110 : 방송국 센터
120 : 통신망 130 : 감성인식 아바타 미디어 서비스 장치
140 : 미디어 장치 210 : 미디어 입력부
220 : 미디어 재생부 230 : 미디어 변환부
240 : 아바타스토리 재현부 250 : 아바타 설정부
260 : 감성 인식부 270 : 감성 적용부

Claims (15)

  1. 드라마 영상, 영화 영상, 오락 프로그램, 동영상에 관한 미디어 데이터를 입력하는 미디어 입력부;
    상기 미디어 입력부를 통해 입력된 상기 미디어 데이터를 사용자 아바타가 등장하는 가상현실 세계의 3차원 미디어 데이터에 관한 아바타 미디어 스토리로 변환하는 미디어 변환부;
    상기 사용자 아바타를 사용자의 선택에 따라 설정하는 아바타 설정부;
    상기 아바타 미디어 스토리를 화면 상에 재현하는 아바타스토리 재현부;
    상기 아바타 미디어 스토리를 재현하는 중에 사용자의 감성을 인식하는 감성 인식부;
    상기 인식된 사용자의 감성을 상기 사용자 아바타에 적용하는 감성 적용부; 및
    상기 재현된 아바타 미디어 스토리를 디스플레이하는 디스플레이부;
    를 포함하는 감성인식 아바타 미디어 서비스 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 아바타 설정부는, 상기 사용자를 카메라로 촬영하여 얻은 사용자 영상에, 다수의 아바타 종류를 사용자에게 제시하여 사용자에 의해 선택된 아바타를 합성하여 상기 사용자 아바타를 설정하는 것을 특징으로 하는 감성인식 아바타 미디어 서비스 장치.
  5. 제 1 항에 있어서,
    상기 감성 인식부는, 3D 입체 안경, 헤드셋, 의자, 미디어장치 중 하나에 장착된 감성센서를 통해 사용자의 뇌파, 빛 센서에 의한 감성정보, 혈류량, 맥박, 전류, 신체의 파장 등을 인지하여 상기 사용자의 감성을 인식하는 것을 특징으로 하는 감성인식 아바타 미디어 서비스 장치.
  6. 제 1 항에 있어서,
    상기 감성 인식부는, 카메라를 통해 사용자를 촬영한 사용자 영상을 분석하여 상기 사용자의 감성을 인식하는 것을 특징으로 하는 감성인식 아바타 미디어 서비스 장치.
  7. 제 1 항에 있어서,
    상기 감성 인식부는, 상기 사용자로부터 감성센서를 통해 상기 사용자의 안면이나 안구의 상태 변화를 인지하여 상기 사용자의 감성을 인식하는 것을 특징으로 하는 감성인식 아바타 미디어 서비스 장치.
  8. 미디어 입력부와 미디어 변환부, 아바타스토리 재현부, 아바타 설정부, 감성 인식부 및 감성 적용부를 포함하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법으로서,
    (a) 상기 미디어 입력부가 드라마 영상, 영화 영상, 동영상, 오락 프로그램에 관한 미디어 데이터를 입력받는 단계;
    (b) 상기 미디어 변환부가 상기 미디어 입력부를 통해 입력된 상기 미디어 데이터를 사용자 아바타가 등장하는 가상현실 세계의 3차원 미디어 데이터에 관한 아바타 미디어 스토리로 변환하는 단계;
    (c) 상기 아바타 설정부가 상기 사용자 아바타를 설정하는 단계;
    (d) 상기 아바타스토리 재현부가 상기 사용자 아바타가 설정된 아바타 미디어 스토리를 화면 상에 재현하는 단계;
    (e) 상기 감성 인식부가 상기 아바타 미디어 스토리를 재현하는 중에 사용자의 감성을 인식하는 단계; 및
    (f) 상기 감성 적용부가 상기 인식된 사용자의 감성을 상기 사용자 아바타에 적용하는 단계;
    를 포함하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 8 항에 있어서,
    상기 (c) 단계는, 상기 아바타 설정부가 상기 사용자를 카메라로 촬영하여 얻은 사용자 영상에, 다수의 아바타 종류를 사용자에게 제시하여 사용자에 의해 선택된 아바타를 합성하여 상기 사용자 아바타를 설정하는 것을 특징으로 하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법.
  13. 제 8 항에 있어서,
    상기 (e) 단계는, 상기 감성 인식부가 3D 입체 안경, 헤드셋, 의자, 미디어장치 중 하나에 장착된 감성센서를 통해 사용자의 뇌파, 빛 센서에 의한 감성정보, 혈류량, 맥박, 전류, 신체의 파장 중 하나를 인식하여 상기 사용자의 감성을 인식하는 것을 특징으로 하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법.
  14. 제 8 항에 있어서,
    상기 (e) 단계는, 상기 감성 인식부가 카메라를 통해 사용자를 촬영한 사용자 영상을 분석하여 상기 사용자의 감성을 인식하는 것을 특징으로 하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법.
  15. 제 8 항에 있어서,
    상기 (e) 단계는, 상기 감성 인식부가 상기 사용자로부터 감성센서를 통해 상기 사용자의 안면이나 안구의 상태 변화를 인지하여 상기 사용자의 감성을 인식하는 것을 특징으로 하는 아바타 미디어 장치의 감성인식 아바타 미디어 서비스 방법.
KR1020100117601A 2010-11-24 2010-11-24 감성인식 아바타 미디어 서비스 장치 및 방법 KR101243832B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100117601A KR101243832B1 (ko) 2010-11-24 2010-11-24 감성인식 아바타 미디어 서비스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100117601A KR101243832B1 (ko) 2010-11-24 2010-11-24 감성인식 아바타 미디어 서비스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120076455A KR20120076455A (ko) 2012-07-09
KR101243832B1 true KR101243832B1 (ko) 2013-03-20

Family

ID=46710077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100117601A KR101243832B1 (ko) 2010-11-24 2010-11-24 감성인식 아바타 미디어 서비스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101243832B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060100983A (ko) * 2005-03-16 2006-09-22 주식회사 헬스피아 아바타 생성 장치 및 아바타 생성 기능을 가진 이동통신단말기
KR20080087062A (ko) * 2007-01-16 2008-09-30 에스케이씨앤씨 주식회사 아바타 영상을 제공하는 디지털 홈쇼핑 방송 시스템
KR20090017401A (ko) * 2007-08-14 2009-02-18 텔미정보통신 주식회사 아바타를 이용한 멀티미디어 통합 커뮤니케이션 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060100983A (ko) * 2005-03-16 2006-09-22 주식회사 헬스피아 아바타 생성 장치 및 아바타 생성 기능을 가진 이동통신단말기
KR20080087062A (ko) * 2007-01-16 2008-09-30 에스케이씨앤씨 주식회사 아바타 영상을 제공하는 디지털 홈쇼핑 방송 시스템
KR20090017401A (ko) * 2007-08-14 2009-02-18 텔미정보통신 주식회사 아바타를 이용한 멀티미디어 통합 커뮤니케이션 시스템

Also Published As

Publication number Publication date
KR20120076455A (ko) 2012-07-09

Similar Documents

Publication Publication Date Title
KR102503413B1 (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
US10127728B2 (en) Facial feature views of user viewing into virtual reality scenes and integration of facial features into virtual reality views into scenes
KR102581453B1 (ko) 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리
CN106648083B (zh) 增强演奏场景合成控制方法及装置
US8963926B2 (en) User customized animated video and method for making the same
US20160110922A1 (en) Method and system for enhancing communication by using augmented reality
TWI486904B (zh) 律動影像化方法、系統以及電腦可讀取記錄媒體
JP2020039029A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
KR20130080442A (ko) 표정의 실시간 애니메이션화
US20240153186A1 (en) Sentiment-based interactive avatar system for sign language
WO2023011221A1 (zh) 混合变形值的输出方法及存储介质、电子装置
KR100860547B1 (ko) 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
CN112673400A (zh) 化身动画
JP7198244B2 (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
KR20140065762A (ko) 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법
JP2008135923A (ja) リアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システム
JP5813542B2 (ja) 画像コミュニケーションシステム、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）動画生成装置及びプログラム
KR101243832B1 (ko) 감성인식 아바타 미디어 서비스 장치 및 방법
JP5894505B2 (ja) 画像コミュニケーションシステム、画像生成装置及びプログラム
KR101181862B1 (ko) 아바타 미디어 역할 경매 서비스 방법 및 장치
KR20120076456A (ko) 감성인식 아바타 미디어 제작 장치 및 방법
JP6567461B2 (ja) 認識装置、映像コンテンツ提示システム、プログラム
KR101153952B1 (ko) 애니메이션 액션 체험 컨텐츠 서비스 시스템 및 방법
JP7014913B2 (ja) メッセージ出力装置、学習装置、メッセージ出力方法、学習方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee