KR20180071833A - 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템 - Google Patents

3d 디지털 액터형 컴퓨터 인터페이스 운용시스템 Download PDF

Info

Publication number
KR20180071833A
KR20180071833A KR1020160174887A KR20160174887A KR20180071833A KR 20180071833 A KR20180071833 A KR 20180071833A KR 1020160174887 A KR1020160174887 A KR 1020160174887A KR 20160174887 A KR20160174887 A KR 20160174887A KR 20180071833 A KR20180071833 A KR 20180071833A
Authority
KR
South Korea
Prior art keywords
information
digital actor
user
digital
actor
Prior art date
Application number
KR1020160174887A
Other languages
English (en)
Inventor
박홍식
Original Assignee
박홍식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박홍식 filed Critical 박홍식
Priority to KR1020160174887A priority Critical patent/KR20180071833A/ko
Publication of KR20180071833A publication Critical patent/KR20180071833A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06F17/27—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템을 제공한다. 이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템은 텍스트 정보나 정적인 CG 이미지 정보로 구현되는 종래의 컴퓨터 운영체제나 응용프로그램과 달리, 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 컴퓨터 모니터 화면창에 디스플레이된 3D 가상공간 내에 위치하면서 영상인식와 음성인식을 기반으로 한 사용자와의 상호 대화나 사용자의 동작/표정 자동인식을 기반으로 한 능동적인 리액션/피드백 동작과 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하게 됨으로써 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 컴퓨터 작업시 사용자의 흥미유발과 몰입도를 극대화시킬 수 있고, 이와 더불어 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 됨으로써 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있는 기술적 특징을 갖는다.

Description

3D 디지털 액터형 컴퓨터 인터페이스 운용시스템{Computer interface management system by 3D digital actor}
본 발명은 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에 관한 것으로, 좀더 구체적으로는 텍스트 정보나 정적인 CG 이미지 정보로 구현되는 종래의 컴퓨터 운영체제나 응용프로그램과 달리, 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 컴퓨터 모니터 화면창에 디스플레이된 3D 가상공간 내에 위치하면서 영상인식와 음성인식을 기반으로 한 사용자와의 상호 대화나 사용자의 동작/표정 자동인식을 기반으로 한 능동적인 리액션/피드백 동작과 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하게 됨으로써 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 컴퓨터 작업시 사용자의 흥미유발과 몰입도를 극대화시킬 수 있고, 이와 더불어 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 됨으로써 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에 관한 것이다.
컴퓨터 그래픽 기술이 발전하면서 인터넷 커뮤니티 상의 아바타와 같은 캐릭터, 3차원 애니메이션, 영화의 특수효과 등의 디지털 콘텐츠 분야에서 다양한 캐릭터 애니메이션 기술이 개발되고 있다.
이러한 가상 캐릭터의 모션 생성에 관한 기술로서, 대한민국 특허출원공개 제2002-15234호(공개일 : 2002년 2월 27일)에는 "가상 캐릭터의 실시간 동작변환 방법"이 공개되어 있으며, 상기 선행 특허는 실시간으로 크기가 다른 가상 캐릭터를 제어하는 기술에 관한 것이다.
또한, 대한민국 특허출원공개 제2001-57880호(공개일 : 2001년 7월 5일)에는 "보행 동작 변형 애니메이션 방법"이 공개되어 있으며, 상기 선행 특허는 모션 캡쳐를 이용하여 생성된 보행 동작과 관련된 모션 데이터를 보행주기, 순환, 다리길이, 방향전환, 보폭 등의 인자들을 이용하여 변형하는 기술에 관한 것이다.
대한민국 특허출원공개 제2002-57447호(공개일 : 2002년 7월 11일)에는 "3D 캐릭터의 직접 조정을 이용한 3D 애니메이션 영화 제작 방법"이 공개되어 있으며, 상기 선행 특허는 동영상 제작을 위해 3차원 캐릭터를 이용하여 외곽선을 추출하고 2차원 영상에서 그 사이를 자동으로 연결하여 중간에 필요한 동작을 프레임으로 생성하는 기술에 관한 것이다.
대한민국 특허출원공개 제2001-25161호(공개일 : 2001년 4월 6일)에는 "감정 처리가 가능한 아바타 메이커 구현 방법"이 공개되어 있으며, 상기 선행 특허는 사용자가 입력한 자연어를 기반으로 가상 캐릭터의 얼굴 표정 및 입 모양을 제어하는 기술에 관한 것이다.
대한민국 특허출원공개 제2000-26404호(공개일 : 2000년 5월 15일)에는 "가상현실 캐릭터의 실시간 제어 시스템"이 공개되어 있으며, 상기 선행 특허는 고가의 모션캡쳐 시스템을 사용하지 않고 가상 캐릭터를 실시간으로 제어할 수 있도록 하기 위하여 낮은 수준에서 입력 장치와의 매핑을 통해 캐릭터의 움직임을 생성하는 기술에 관한 것이다.
대한민국 특허출원공개 제2002-22885호(공개일 : 2002년 3월 28일)에는 "가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스 방법"이 공개되어 있으며, 상기 선행 특허는 사용자의 형상 및 모션을 촬영하여 획득되는 동화상에 의해 가상 캐릭터의 형태를 재현하고, 그 가상 캐릭터가 온라인 및 오프라인의 컴퓨터 환경에서 다기능을 갖도록 하는 에이전트 프로그램을 합성하는 기술에 관한 것이다.
그러나 상기와 같은 종래기술의 경우 가상 캐릭터를 다양하게 구현하는데 한계가 있었으며, 가상 캐릭터가 애니메이션 제작이나 각종 디스플레이장치 등에서 단순하게 보조적으로 안내정보를 제공하는 것이 일반적이었다.
대한민국 특허출원공개 제2002-15234호 "가상 캐릭터의 실시간 동작변환 방법" 대한민국 특허출원공개 제2001-57880호 "보행 동작 변형 애니메이션 방법" 대한민국 특허출원공개 제2002-57447호 "3D 캐릭터의 직접 조정을 이용한 3D 애니메이션 영화 제작 방법 대한민국 특허출원공개 제2001-25161호 "감정 처리가 가능한 아바타 메이커 구현 방법" 대한민국 특허출원공개 제2000-26404호 "가상현실 캐릭터의 실시간 제어 시스템" 대한민국 특허출원공개 제2002-22885호 "가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스 방법"
따라서 본 발명은 이와 같은 종래 기술의 한계를 개선하는 동시에 텍스트 정보나 정적인 CG 이미지 정보로 구현되는 종래의 컴퓨터 운영체제나 응용프로그램의 한계도 개선하기 위한 것으로, 컴퓨터 본체에 설치되는 디지털액터 인터페이스 운용프로그램 모듈에 의해 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 컴퓨터 모니터 화면창에 디스플레이된 3D 가상공간 내에 위치하도록 하고, 음성인식 모듈에 의한 음성인식을 기반으로 3D 디지털액터가 사용자와 상호 대화하거나, 카메라모듈과 음성인식 모듈에 의한 영상인식과 음성인식을 기반으로 3D 디지털액터가 사용자의 현재 동작 또는 현재 표정을 자동인식하여 능동적으로 리액션/피드백 동작이나 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하도록 함으로써 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 컴퓨터 작업시 사용자의 흥미유발과 몰입도를 극대화시킬 수 있는 새로운 형태의 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템을 제공하는 것을 목적으로 한다.
또한 본 발명은 디지털액터 인터페이스 운용프로그램 모듈에 구비되는 프로토타입 디지털액터 설정유닛과 프로토타입 디지털액터 세분화 설정유닛에 의해 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 성격 특성, 국적 특성, 인종 특성, 연령 대, 감정상태 별로 구분되게 설정되도록 한 다음, 사용자에 의해 특정 3D 디지털액터가 선택되도록 함으로써 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 되어 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있는 새로운 형태의 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 운영체제(110)와 응용프로그램(120)이 설치되어 구동되는 컴퓨터 본체(100)와; 컴퓨터 본체(100)와 연결되어 텍스트 정보와 영상 정보를 디스플레이하는 모니터장치(200)와; 컴퓨터 본체(100)와 연결되어 사운드 정보를 출력하는 스피커(300)와; 설정지점에 배치되어 컴퓨터 본체(100)와 연결되고, 사용자에 대한 실시간 영상촬영을 수행하는 카메라모듈(400)과; 설정지점에 배치되어 컴퓨터 본체(100)와 연결되고, 사용자 음성정보를 실시간 검출하게 되는 음성인식 모듈(500)과; 컴퓨터 본체(100)에 설치되어 운영체제(110)와 응용프로그램(120)에 연동되고, 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)의 설정에 의해 구현되는 3D 디지털액터를 모니터장치(200)에 디스플레이하여 운용하게 되며, 운영체제/응용프로그램이 제공하게 되는 모니터 출력정보, 스피커 출력정보, 정보입력 안내정보에 대응하는 3D 디지털액터의 기본활동 정보가 설정되는 한편, 사용자의 정보 입력 및 운영체제/응용프로그램의 입력값 처리 프로세스에 대응하는 3D 디지털액터의 반응활동 정보가 설정되는 디지털액터 인터페이스 운용프로그램 모듈(600)을 포함하여, 디지털액터 인터페이스 운용프로그램 모듈(600)에 의해 구현되는 3D 디지털액터가 컴퓨터 인터페이스 기능을 수행하도록 하는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템을 제공한다.
이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에서 디지털액터 인터페이스 운용프로그램 모듈(600)은, 복수의 사용자 동작패턴 정보 및 각 사용자 동작패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 동작패턴 별 디지털액터 활동정보 DB(610a)와; 복수의 사용자 표정패턴 정보 및 각 사용자 표정패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 표정패턴 별 디지털액터 활동정보 DB(610b)와; 복수의 사용자 음성패턴 정보 및 각 사용자 음성패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 음성패턴 별 디지털액터 활동정보 DB(610c)와; 카메라모듈(400)의 사용자 영상정보를 전달받게 되고, 사용자 영상정보에 대한 영상 특성분석으로 사용자 동작정보패턴 정보 및 사용자 표정패턴 정보를 검출하게 되는 영상분석유닛(620a)과; 음성인식 모듈(500)의 사용자 음성정보를 전달받게 되고, 사용자 음성정보에 대한 음성 특성분석으로 사용자 음성패턴 정보를 검출하게 되는 음성분석유닛(620b)과; 영상분석유닛(620a)과 음성분석유닛(620b)으로부터 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보를 전달받게 되고, 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보를 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)를 검색하여 검출하게 되며, 검출된 3D 디지털액터의 기본활동 정보/반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되는 디지털액터 활동제어유닛(630)을 포함하는 구성으로 이루어질 수 있다.
이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에서 디지털액터 인터페이스 운용프로그램 모듈(600)은, 복수의 프로토타입 3D 디지털액터에 대한 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 설정되도록 하는 프로토타입 디지털액터 설정유닛(640)과; 각 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)를 해당 프로토타입 3D 디지털액터의 연령 대와 감정상태 별로 구분되게 설정되도록 하는 프로토타입 디지털액터 세분화 설정유닛(650)과; 복수의 프로토타입 3D 디지털액터를 모니터장치(200)에 디스플레이시키고, 사용자로부터 입력되는 프로토타입 3D 디지털액터 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터를 선정하게 되는 3D 디지털액터 선정유닛(660)과; 선정된 3D 디지털액터의 연령 선택메뉴와 감정상태 선택메뉴를 모니터장치(200)에 디스플레이시키고, 사용자로부터 입력되는 연령 선택정보와 감정상태 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터의 연령 대와 감정상태를 설정하게 되는 3D 디지털액터 연령/감정상태 설정유닛(670)을 포함하여, 3D 디지털액터가 영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대를 포함하는 연령 대 별로 구현되도록 하거나, 기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태를 포함하는 감정상태 별로 구현되도록 할 수 있다.
이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에서 프로토타입 디지털액터 설정유닛(640)은 성격 특성, 국적 특성, 인종 특성을 포함하는 디지털액터 분류 특성 별로 복수의 프로토타입 3D 디지털액터가 설정되도록 하고, 3D 디지털액터 선정유닛(660)은 디지털액터 분류 특성 별 복수의 프로토타입 3D 디지털액터를 모니터장치(200)에 디스플레이시켜 프로토타입 3D 디지털액터 선택정보를 사용자로부터 입력받게 될 수 있다.
이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에서 디지털액터 인터페이스 운용프로그램 모듈(600)의 디지털액터 활동제어유닛(630)은, 운영체제/응용프로그램의 시동, 메뉴 컨텐츠 확인 및 선택, 선택된 메뉴 컨텐츠의 활성화, 메타데이터 제공, 도움말 제공, 환경설정을 위하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 기본활동 정보로 설정하고, 설정된 기본활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)에 저장하게 되는 디지털액터 기본활동정보 설정 서브유닛(631)과; 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보 및 컴퓨터 본체(100)에 연결된 입력장치에서의 사용자 입력정보에 대응하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 반응활동 정보로 설정하게 되고, 설정된 반응활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)에 저장하게 되는 디지털액터 반응활동정보 설정 서브유닛(632)을 포함하는 구성으로 이루어지되, 입력장치에서의 사용자 입력정보는 마우스에 의한 신호입력과 키보드에 의한 신호입력을 포함하는 입력장치 조작신호일 수 있다.
이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에서 디지털액터 활동제어유닛(630)의 디지털액터 기본활동정보 설정 서브유닛(631)과 디지털액터 반응활동정보 설정 서브유닛(632)은, 3D 디지털액터가 수행할 동작이 질문 동작과 답변 동작으로 설정되도록 하는 한편, 3D 디지털액터가 수행하게 될 음성 발화가 질문 발화와 답변 발화로 설정되도록 하여, 사용자와의 상호 대화에 의해 3D 디지털액터가 컴퓨터 인터페이스 기능을 수행하도록 할 수 있다.
이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에서 디지털액터 활동제어유닛(630)의 디지털액터 반응활동정보 설정 서브유닛(632)은, 사용자 음성패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 음성패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6321)과; 사용자 음성패턴정보에 포함된 음성 크기와 음성 톤 별 부가 반응활동 정보를 설정하는 음성패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6322)과; 사용자 동작패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 동작패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6323)과; 사용자 동작패턴정보에 포함된 동작 크기와 동작 속도 별 부가 반응활동 정보를 설정하는 동작패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6324)과; 사용자 표정패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 표정패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6325)과; 사용자 표정패턴정보에 포함된 표정 변화 패턴과 표정 변화속도 별 부가 반응활동 정보를 설정하는 표정패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6326)을 포함하는 구성으로 이루어질 수 있다.
이와 같은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에서 디지털액터 인터페이스 운용프로그램 모듈(600)은, 컴퓨터그래픽에 의한 3D 가상공간(800)을 설정하여 생성시키는 3D 가상공간 설정유닛(680a)과; 컴퓨터 본체(100) 구동시 모니터장치(200)의 화면창으로 3D 가상공간(800)을 디스플레이하게 되는 3D 가상공간 출력유닛(680b)과; 모니터장치(200)의 화면창으로 출력된 3D 가상공간(800)에 3D 디지털액터를 설정 동작패턴 및 설정 이동패턴으로 구현시키는 3D 디지털액터 가상공간 구현유닛(680c)을 포함하는 구성으로 이루어질 수 있다.
본 발명에 의한 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에 의하면, 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 컴퓨터 모니터 화면창에 디스플레이된 3D 가상공간 내에 위치하면서 영상인식와 음성인식을 기반으로 한 사용자와의 상호 대화나 사용자의 동작/표정 자동인식을 기반으로 한 능동적인 리액션/피드백 동작과 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하게 되므로, 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 컴퓨터 작업시 사용자의 흥미유발과 몰입도를 극대화시킬 수 있는 효과가 있다. 이와 더불어 본 발명에 의한 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에 의하면, 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 되므로, 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있게 된다.
도 1은 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템의 기본 구성블록도;
도 2는 본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템에 의해 모니터장치에 구현되는 3D 디지털액터의 예시도;
도 3 내지 도 5는 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈의 구성 블록도;
도 6은 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈에 의해 구현되는 3D 디지털액터의 다양한 양태이미지 예시도;
도 7은 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈을 이루는 디지털액터 활동제어유닛의 구성 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 7에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 디지털액터, 3D 디지털액터, 가상 인물 생성방법, 데이터베이스, 이미지편집 프로그램, 동작편집 프로그램, 컴퓨터 본체, 모니터장치, 스피커, 카메라, 음성인식 기술, 영상분석기술, 사용자 인터페이스, 지능형 사용자 인터페이스, 운영체제, 응용프로그램 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
본 발명에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템은 도 1에서와 같이 컴퓨터 본체(100), 모니터장치(200), 스피커(300), 카메라모듈(400), 음성인식 모듈(500), 디지털액터 인터페이스 운용프로그램 모듈(600)을 포함하는 구성으로 이루어진다.
컴퓨터 본체(100)는 운영체제(110)와 응용프로그램(120)이 설치되어 구동되는 것으로, 컴퓨터 본체(100)에는 모니터장치(200), 스피커(300), 카메라모듈(400), 음성인식 모듈(500)이추가적으로 연결되는 한편, 디지털액터 인터페이스 운용프로그램 모듈(600)이 추가적으로 설치된다. 그리고 컴퓨터 본체(100)에는 일정크기 이상의 연산처리 성능을 갖는 CPU가 탑재되어 디지털액터 인터페이스 운용프로그램 모듈(600)에 의한 3D 디지털액터 운용에 요구되는 복잡한 연산과 많은 연산량이 신속하고 안정되게 처리될 수 있도록 한다.
모니터장치(200)는 컴퓨터 본체(100)와 연결되어 텍스트 정보와 영상 정보를 디스플레이하는 것으로, 본 발명의 실시예에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템은 도 2에서와 같이 모니터장치(200)에 디스플레이되는 3D 가상공간(800)에 3D 디지털액터가 위치되도록 하고, 3D 디지털액터가 디지털액터 인터페이스 운용프로그램 모듈(600)에 의해 제어되면서 컴퓨터 인터페이스 기능을 수행하도록 한다.
스피커(300)는 컴퓨터 본체(100)와 연결되어 사운드 정보를 출력하게 되는 것으로, 운영체제(110)와 응용프로그램(120) 및 디지털액터 인터페이스 운용프로그램 모듈(600)과 연동되어 해당 프로그램에서 생성되는 사운드 정보를 출력시키게 된다.
카메라모듈(400)과 음성인식 모듈(500)은 설정지점에 배치되어 컴퓨터 본체(100)와 연결되는 것으로, 카메라모듈(400)은 사용자에 대한 실시간 영상촬영을 수행하여 컴퓨터 본체(100)로 전달하게 되고, 음성인식 모듈(500)은 사용자 음성정보를 실시간 검출하여 컴퓨터 본체(100)로 전달하게 된다.
디지털액터 인터페이스 운용프로그램 모듈(600)은 컴퓨터 본체(100)에 설치되어 운영체제(110)와 응용프로그램(120)에 연동되는 것으로, 3D 디지털액터를 모니터장치(200)에 디스플레이하여 운용하게 된다. 이와 같은 디지털액터 인터페이스 운용프로그램 모듈(600)에는 운영체제(110)나 응용프로그램(120)이 제공하게 되는 모니터 출력정보(메뉴 컨텐츠/메타 데이터/도움말/환경설정 등), 스피커 출력정보(알림음/안내음성 등), 정보입력 안내정보에 대응하는 3D 디지털액터의 기본활동 정보가 설정되는 한편, 사용자의 정보 입력과 사용자 정보 입력에 따른 운영체제(110)나 응용프로그램(120)의 입력값 처리 프로세스에 대응하는 3D 디지털액터의 반응활동 정보가 설정되는데, 3D 디지털액터는 3D 디지털액터의 기본활동 정보와 3D 디지털액터의 반응활동 정보에 따라 컴퓨터 인터페이스 기능을 수행하게 된다.
이를 위한 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(600)은 도 3에서와 같이 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c), 영상분석유닛(620a), 음성분석유닛(620b), 디지털액터 활동제어유닛(630)을 포함하는 구성으로 이루어질 수 있다.
동작패턴 별 디지털액터 활동정보 DB(610a)는 복수의 사용자 동작패턴 정보 및 각 사용자 동작패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 데이터베이스이고, 표정패턴 별 디지털액터 활동정보 DB(610b)는 복수의 사용자 표정패턴 정보 및 각 사용자 표정패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 데이터베이스이며, 음성패턴 별 디지털액터 활동정보 DB(610c)는 복수의 사용자 음성패턴 정보 및 각 사용자 음성패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 데이터베이스이다. 3D 디지털액터의 기본활동 정보와 3D 디지털액터의 반응활동 정보는 사용자 동작패턴 정보. 사용자 표정패턴 정보, 사용자 음성패턴 정보 각각에 대하여 모두 설정되는 것은 아니고, 패턴 정보의 특성에 따라 3D 디지털액터의 기본활동 정보만 설정될 수도 있고, 3D 디지털액터의 반응활동 정보만 설정될 수도 있으며, 3D 디지털액터의 기본활동 정보와 반응활동 정보 모두가 설정될 수도 있다.
여기서 사용자 동작패턴 정보에는 컴퓨터 본체(100)로 다가오는 동작패턴, 컴퓨터 본체(100)로부터 멀어지는 동작패턴, 고개를 상하로 끄덕이는 동작패턴, 고개를 좌우로 흔드는 동작패턴, 손뼉을 치는 동작패턴, 머리 뒤로 손깍지를 끼는 동작패턴, 팔장을 끼는 동작패턴 등이 포함될 수 있으며, 각 동작패턴이 통상적으로 의미하는 바(신체언어)에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 것이다. 예를 들어 컴퓨터 본체(100)로 다가오는 동작패턴에 대응하여 설정되는 3D 디지털액터의 기본활동 정보는 컴퓨터 대기모드 상태에서 앉아 있던 3D 디지털액터가 일어나는 동작과, 사용자에게 인사말을 건내는 음성 발화일 수 있다. 또한 컴퓨터 본체(100)로부터 멀어지는 동작패턴에 대응하여 설정되는 3D 디지털액터의 기본활동 정보는 컴퓨터 활성화 상태에서 서있던 3D 디지털액터가 앉는 동작과, 사용자에게 "대기모드 상태로 전환하겠습니다"라는 안내공지문 형식의 음성 발화일 수 있으며, 컴퓨터 본체(100)로부터 멀어지는 동작패턴에 대응하여 설정되는 3D 디지털액터의 반응활동 정보는 사용자에게 "컴퓨터를 끌까요, 아니면 대기모드 상태로 전환할까요"라는 질문 형식의 음성 발화일 수 있다.
그리고 사용자 표정패턴 정보에는 다양한 감정을 표현하는 표정(화난 표정, 기쁜 표정, 슬픈 표정, 괴로운 표정, 당황한 표정 등)이 포함될 수 있으며, 각 표정패턴이 통상적으로 의미하는 바(신체언어)에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 것이다. 예를 들어 당황한 표정에 대응하여 설정되는 3D 디지털액터의 반응활동 정보는 모니터장치(200)에 디스플레이되어 있는 3D 가상공간(800) 상에서 사용자 방향으로 3D 디지털액터가 다가오는 동작과, 사용자에게 "혹시 문제가 있으신가요"라는 질문 형식의 음성 발화일 수 있다.
또한 사용자 음성패턴 정보에는 다양한 언어표현이 포함될 수 있으며, 각 언어표현에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 것이다.
영상분석유닛(620a)은 카메라모듈(400)의 사용자 영상정보를 전달받게 되는 것으로, 사용자 영상정보에 대한 영상 특성분석으로 사용자 동작정보패턴 정보 및 사용자 표정패턴 정보를 검출하게 된다. 이를 위하여 영상분석유닛(620a)에는 영상 패턴인식 기반 동작패턴 검출알고리즘, 영상 패턴인식 기반 표정패턴 검출알고리즘이 구비될 수 있다.
음성분석유닛(620b)은 음성인식 모듈(500)의 사용자 음성정보를 전달받게 되는 것으로, 사용자 음성정보에 대한 음성 특성분석으로 사용자 음성패턴 정보를 검출하게 된다. 여기서 사용자 음성패턴 정보에는 사용자 음성정보의 의미 내용, 음성 크기, 음성 톤이 포함되는데, 이를 위하여 음성분석유닛(620b)은 자연어 음성인식 알고리즘을 구비하여 사용자 음성정보의 의미 내용이 검출되도록 하는 한편, 음성 물성치 검출 알고리즘을 구비하여 음성 크기와 음성 톤이 검출되도록 한다.
디지털액터 활동제어유닛(630)은 영상분석유닛(620a)과 음성분석유닛(620b)으로부터 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보를 전달받는 한편, 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보를 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)를 검색하여 검출하는 것으로, 검출된 3D 디지털액터의 기본활동 정보/반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 된다.
한편 3D 디지털액터는 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)의 설정에 의해 구현되는데, 이를 위하여 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(600)은 도 4에서와 같이 프로토타입 디지털액터 설정유닛(640), 프로토타입 디지털액터 세분화 설정유닛(650), 3D 디지털액터 선정유닛(660), 3D 디지털액터 연령/감정상태 설정유닛(670)을 구비하게 된다.
프로토타입 디지털액터 설정유닛(640)은 복수의 프로토타입 3D 디지털액터에 대한 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 설정되도록 하는 유닛이다. 프로토타입 디지털액터는 현재까지 개발된 컴퓨터그래픽 기술, 특히 게임 캐릭터 모델링기술을 기반으로 순수 컴퓨터그래픽 기법만으로 현실의 인간과 구분되지 않을 정도의 사실감을 가지도록 구현된다. 한편 도 6에는 프로토타입 3D 디지털액터가 가질 수 있는 양태이미지가 예시되어 있다. 특히 본 발명의 실시예에 따른 프로토타입 디지털액터 설정유닛(640)은 성격 특성, 국적 특성, 인종 특성을 포함하는 디지털액터 분류 특성 별로 복수의 프로토타입 3D 디지털액터가 각각 설정되도록 한다. 여기서 성격 특성에는 무뚝뚝한 성격, 수줍음이 많은 성격,애교가 많은 성격 등이 포함될 수 있으며, 국적 특성에는 한국, 일본, 중국, 러시아, 미국, 영국, 프랑스, 이집트, 이란 등이 포함될 수 있고, 인종 특성에는 황인종, 흑인종, 백인종 등이 포함될 수 있다.
프로토타입 디지털액터 세분화 설정유닛(650)은 각 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)를 해당 프로토타입 3D 디지털액터의 연령 대와 감정상태 별로 구분되게 설정되도록 하는 유닛이다. 여기서 연령 대에는 영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대가 포함될 수 있으며, 감정상태에는 기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태 등이 포함될 수 있다.
3D 디지털액터 선정유닛(660)은 복수의 프로토타입 3D 디지털액터를 모니터장치(200)에 디스플레이시키고, 사용자로부터 입력되는 프로토타입 3D 디지털액터 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터를 선정하게 되는 유닛이다. 여기서 본 발명의 실시예에 따른 3D 디지털액터 선정유닛(660)은 디지털액터 분류 특성 별 복수의 프로토타입 3D 디지털액터를 모니터장치(200)에 디스플레이시켜 프로토타입 3D 디지털액터 선택정보를 사용자로부터 입력받게 된다.
3D 디지털액터 연령/감정상태 설정유닛(670)은 선정된 3D 디지털액터의 연령 선택메뉴(영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대 등의 연령 선택)와 감정상태 선택메뉴(기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태 등의 감정상태 선택)를 모니터장치(200)에 디스플레이시키고, 사용자로부터 입력되는 연령 선택정보와 감정상태 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터의 연령 대와 감정상태를 설정하게 되는 유닛이다.
이를 통해 디지털액터 인터페이스 운용프로그램 모듈(600)은 3D 디지털액터가 영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대를 포함하는 연령 대 별로 구현되도록 하거나, 기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태를 포함하는 감정상태 별로 구현되도록 한다.
상기와 같은 3D 디지털액터 구현 기술구성에는 본 발명자에 의해 출원된 특허출원번호 제10-2015-0059715호 "영상컨텐츠 적용 디지털액터의 운용방법"에 기재되어 있는 3D 디지털액터 관련구성이 적용될 수 있다.
여기서 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(600)은 도 5에서와 같이 3D 가상공간 설정유닛(680a), 3D 가상공간 출력유닛(680b), 3D 디지털액터 가상공간 구현유닛(680c)을 구비하여 모니터장치(200)에 디스플레이되는 3D 가상공간(800)에서 3D 디지털액터가 다양한 동작을 구사하도록 한다.
3D 가상공간 설정유닛(680a)은 컴퓨터그래픽에 의한 3D 가상공간(800)을 설정하여 생성시키는 유닛으로, 3D 가상공간(800)도 3D 디지털액터와 마찬가지로 현재까지 개발된 컴퓨터그래픽 기술을 기반으로 현실 공간과 구분되지 않을 정도의 사실감을 가지도록 구현될 수 있으며, 이와 달리 순수 가상공간으로 구현될 수도 있다.
3D 가상공간 출력유닛(680b)은 컴퓨터 본체(100) 구동시 모니터장치(200)의 화면창으로 3D 가상공간(800)을 디스플레이하게 되는 유닛이며, 3D 디지털액터 가상공간 구현유닛(680c)은 모니터장치(200)의 화면창으로 출력된 3D 가상공간(800)에 3D 디지털액터를 설정 동작패턴 및 설정 이동패턴으로 구현시키는 유닛이다.
한편 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(600)의 디지털액터 활동제어유닛(630)은 도 7에서와 같이 디지털액터 기본활동정보 설정 서브유닛(631)과 디지털액터 반응활동정보 설정 서브유닛(632)을 포함하는 구성으로 이루어질 수 있다.
디지털액터 기본활동정보 설정 서브유닛(631)은 운영체제/응용프로그램의 시동, 메뉴 컨텐츠 확인 및 선택, 선택된 메뉴 컨텐츠의 활성화, 메타데이터 제공, 도움말 제공, 환경설정을 위하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 기본활동 정보로 설정하고, 설정된 기본활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)에 저장하게 되는 것이다.
디지털액터 반응활동정보 설정 서브유닛(632)은 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보 및 컴퓨터 본체(100)에 연결된 입력장치에서의 사용자 입력정보에 대응하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 반응활동 정보로 설정하게 되고, 설정된 반응활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)에 저장하게 되는 것이다. 여기서 입력장치에서의 사용자 입력정보는 마우스에 의한 신호입력과 키보드에 의한 신호입력을 포함하는 입력장치 조작신호로 이루어진다.
한편 디지털액터 반응활동정보 설정 서브유닛(632)은 사용자 음성패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 음성패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6321), 사용자 음성패턴정보에 포함된 음성 크기와 음성 톤 별 부가 반응활동 정보를 설정하는 음성패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6322), 사용자 동작패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 동작패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6323), 사용자 동작패턴정보에 포함된 동작 크기와 동작 속도 별 부가 반응활동 정보를 설정하는 동작패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6324), 사용자 표정패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 표정패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6325), 사용자 표정패턴정보에 포함된 표정 변화 패턴과 표정 변화속도 별 부가 반응활동 정보를 설정하는 표정패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6326)을 포함하는 구성으로 이루어지게 된다.
이와 같은 디지털액터 활동제어유닛(630)의 디지털액터 기본활동정보 설정 서브유닛(631)과 디지털액터 반응활동정보 설정 서브유닛(632)은 3D 디지털액터가 수행할 동작이 질문 동작과 답변 동작으로 설정되도록 하는 한편, 3D 디지털액터가 수행하게 될 음성 발화가 질문 발화와 답변 발화로 설정되도록 함으로써 사용자와의 상호 대화에 의해 3D 디지털액터가 컴퓨터 인터페이스 기능을 수행하도록 할 수 있다. 물론 3D 디지털액터가 수행할 동작에는 질문 동작과 답변 동작 이외의 동작이 포함될 수 있으며, 3D 디지털액터가 수행하게 될 음성 발화에도 질문 발화와 답변 발화 이외의 발화가 포함될 수 있다.
한편 상기와 같은 3D 디지털액터 운용 기술구성에는 본 발명자에 의해 출원된 특허출원번호 제10-2016-0116385호 "3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법"에 기재되어 있는 3D 디지털액터 관련구성이 적용될 수 있다.
상기와 같이 구성된 본 발명의 실시예에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템은 컴퓨터 본체(100)에 설치되는 디지털액터 인터페이스 운용프로그램 모듈(600)에 의해 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 모니터장치(200)의 화면창에 디스플레이된 3D 가상공간(800) 내에 위치하도록 하고, 음성인식 모듈(500)에 의한 음성인식을 기반으로 3D 디지털액터가 사용자와 상호 대화하거나, 카메라모듈(400)과 음성인식 모듈(500)에 의한 영상인식과 음성인식을 기반으로 3D 디지털액터가 사용자의 현재 동작 또는 현재 표정을 자동인식하여 능동적으로 리액션/피드백 동작이나 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하도록 하므로, 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 컴퓨터 작업시 사용자의 흥미유발과 몰입도를 극대화시킬 수 있게 된다. 또한 본 발명의 실시예에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템은 디지털액터 인터페이스 운용프로그램 모듈(600)에 구비되는 프로토타입 디지털액터 설정유닛(640)과 프로토타입 디지털액터 세분화 설정유닛(650)에 의해 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 성격 특성, 국적 특성, 인종 특성, 연령 대, 감정상태 별로 구분되게 설정되도록 한 다음, 사용자에 의해 특정 3D 디지털액터가 선택되도록 하므로, 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 되어 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있게 된다.
상술한 바와 같은, 본 발명의 실시예에 따른 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
100 : 컴퓨터 본체
110 : 운영체제
120 : 응용프로그램
200 : 모니터장치
300 : 스피커
400 : 카메라모듈
500 : 음성인식 모듈
600 : 디지털액터 인터페이스 운용프로그램 모듈
610a : 동작패턴 별 디지털액터 활동정보 DB
610b : 표정패턴 별 디지털액터 활동정보 DB
610c : 음성패턴 별 디지털액터 활동정보 DB
620a : 영상분석유닛
620b : 음성분석유닛
630 : 디지털액터 활동제어유닛
631 : 디지털액터 기본활동정보 설정 서브유닛
632 : 디지털액터 반응활동정보 설정 서브유닛
6321 : 음성패턴정보 대응 기본 반응활동 정보 설정 서브유닛
6322 : 음성패턴정보 대응 부가 반응활동 정보 설정 서브유닛
6323 : 동작패턴정보 대응 기본 반응활동 정보 설정 서브유닛
6324 : 동작패턴정보 대응 부가 반응활동 정보 설정 서브유닛
6325 : 표정패턴정보 대응 기본 반응활동 정보 설정 서브유닛
6326 : 표정패턴정보 대응 부가 반응활동 정보 설정 서브유닛
640 : 프로토타입 디지털액터 설정유닛
650 : 프로토타입 디지털액터 세분화 설정유닛
660 : 3D 디지털액터 선정유닛
670 : 3D 디지털액터 연령/감정상태 설정유닛
680a : 3D 가상공간 설정유닛
680b : 3D 가상공간 출력유닛
680c : 3D 디지털액터 가상공간 구현유닛
800 : 3D 가상공간

Claims (8)

  1. 운영체제(110)와 응용프로그램(120)이 설치되어 구동되는 컴퓨터 본체(100)와;
    컴퓨터 본체(100)와 연결되어 텍스트 정보와 영상 정보를 디스플레이하는 모니터장치(200)와;
    컴퓨터 본체(100)와 연결되어 사운드 정보를 출력하는 스피커(300)와;
    설정지점에 배치되어 컴퓨터 본체(100)와 연결되고, 사용자에 대한 실시간 영상촬영을 수행하는 카메라모듈(400)과;
    설정지점에 배치되어 컴퓨터 본체(100)와 연결되고, 사용자 음성정보를 실시간 검출하게 되는 음성인식 모듈(500)과;
    컴퓨터 본체(100)에 설치되어 운영체제(110)와 응용프로그램(120)에 연동되고, 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)의 설정에 의해 구현되는 3D 디지털액터를 모니터장치(200)에 디스플레이하여 운용하게 되며, 운영체제/응용프로그램이 제공하게 되는 모니터 출력정보, 스피커 출력정보, 정보입력 안내정보에 대응하는 3D 디지털액터의 기본활동 정보가 설정되는 한편, 사용자의 정보 입력 및 운영체제/응용프로그램의 입력값 처리 프로세스에 대응하는 3D 디지털액터의 반응활동 정보가 설정되는 디지털액터 인터페이스 운용프로그램 모듈(600)을 포함하여,
    디지털액터 인터페이스 운용프로그램 모듈(600)에 의해 구현되는 3D 디지털액터가 컴퓨터 인터페이스 기능을 수행하도록 하는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
  2. 제 1항에 있어서,
    디지털액터 인터페이스 운용프로그램 모듈(600)은,
    복수의 사용자 동작패턴 정보 및 각 사용자 동작패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 동작패턴 별 디지털액터 활동정보 DB(610a)와;
    복수의 사용자 표정패턴 정보 및 각 사용자 표정패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 표정패턴 별 디지털액터 활동정보 DB(610b)와;
    복수의 사용자 음성패턴 정보 및 각 사용자 음성패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 음성패턴 별 디지털액터 활동정보 DB(610c)와;
    카메라모듈(400)의 사용자 영상정보를 전달받게 되고, 사용자 영상정보에 대한 영상 특성분석으로 사용자 동작정보패턴 정보 및 사용자 표정패턴 정보를 검출하게 되는 영상분석유닛(620a)과;
    음성인식 모듈(500)의 사용자 음성정보를 전달받게 되고, 사용자 음성정보에 대한 음성 특성분석으로 사용자 음성패턴 정보를 검출하게 되는 음성분석유닛(620b)과;
    영상분석유닛(620a)과 음성분석유닛(620b)으로부터 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보를 전달받게 되고, 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보를 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)를 검색하여 검출하게 되며, 검출된 3D 디지털액터의 기본활동 정보/반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되는 디지털액터 활동제어유닛(630)을 포함하는 구성으로 이루어지는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
  3. 제 1항에 있어서,
    디지털액터 인터페이스 운용프로그램 모듈(600)은,
    복수의 프로토타입 3D 디지털액터에 대한 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 설정되도록 하는 프로토타입 디지털액터 설정유닛(640)과;
    각 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)를 해당 프로토타입 3D 디지털액터의 연령 대와 감정상태 별로 구분되게 설정되도록 하는 프로토타입 디지털액터 세분화 설정유닛(650)과;
    복수의 프로토타입 3D 디지털액터를 모니터장치(200)에 디스플레이시키고, 사용자로부터 입력되는 프로토타입 3D 디지털액터 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터를 선정하게 되는 3D 디지털액터 선정유닛(660)과;
    선정된 3D 디지털액터의 연령 선택메뉴와 감정상태 선택메뉴를 모니터장치(200)에 디스플레이시키고, 사용자로부터 입력되는 연령 선택정보와 감정상태 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터의 연령 대와 감정상태를 설정하게 되는 3D 디지털액터 연령/감정상태 설정유닛(670)을 포함하여,
    3D 디지털액터가 영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대를 포함하는 연령 대 별로 구현되도록 하거나, 기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태를 포함하는 감정상태 별로 구현되도록 하는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
  4. 제 3항에 있어서,
    프로토타입 디지털액터 설정유닛(640)은 성격 특성, 국적 특성, 인종 특성을 포함하는 디지털액터 분류 특성 별로 복수의 프로토타입 3D 디지털액터가 설정되도록 하고,
    3D 디지털액터 선정유닛(660)은 디지털액터 분류 특성 별 복수의 프로토타입 3D 디지털액터를 모니터장치(200)에 디스플레이시켜 프로토타입 3D 디지털액터 선택정보를 사용자로부터 입력받게 되는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
  5. 제 2항에 있어서,
    디지털액터 인터페이스 운용프로그램 모듈(600)의 디지털액터 활동제어유닛(630)은,
    운영체제/응용프로그램의 시동, 메뉴 컨텐츠 확인 및 선택, 선택된 메뉴 컨텐츠의 활성화, 메타데이터 제공, 도움말 제공, 환경설정을 위하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 기본활동 정보로 설정하고, 설정된 기본활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)에 저장하게 되는 디지털액터 기본활동정보 설정 서브유닛(631)과;
    사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보 및 컴퓨터 본체(100)에 연결된 입력장치에서의 사용자 입력정보에 대응하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 반응활동 정보로 설정하게 되고, 설정된 반응활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(610a), 표정패턴 별 디지털액터 활동정보 DB(610b), 음성패턴 별 디지털액터 활동정보 DB(610c)에 저장하게 되는 디지털액터 반응활동정보 설정 서브유닛(632)을 포함하는 구성으로 이루어지되,
    입력장치에서의 사용자 입력정보는 마우스에 의한 신호입력과 키보드에 의한 신호입력을 포함하는 입력장치 조작신호인 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
  6. 제 5항에 있어서,
    디지털액터 활동제어유닛(630)의 디지털액터 기본활동정보 설정 서브유닛(631)과 디지털액터 반응활동정보 설정 서브유닛(632)은,
    3D 디지털액터가 수행할 동작이 질문 동작과 답변 동작으로 설정되도록 하는 한편, 3D 디지털액터가 수행하게 될 음성 발화가 질문 발화와 답변 발화로 설정되도록 하여,
    사용자와의 상호 대화에 의해 3D 디지털액터가 컴퓨터 인터페이스 기능을 수행하도록 하는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
  7. 제 1항에 있어서,
    디지털액터 활동제어유닛(630)의 디지털액터 반응활동정보 설정 서브유닛(632)은,
    사용자 음성패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 음성패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6321)과;
    사용자 음성패턴정보에 포함된 음성 크기와 음성 톤 별 부가 반응활동 정보를 설정하는 음성패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6322)과;
    사용자 동작패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 동작패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6323)과;
    사용자 동작패턴정보에 포함된 동작 크기와 동작 속도 별 부가 반응활동 정보를 설정하는 동작패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6324)과;
    사용자 표정패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 표정패턴정보 대응 기본 반응활동 정보 설정 서브유닛(6325)과;
    사용자 표정패턴정보에 포함된 표정 변화 패턴과 표정 변화속도 별 부가 반응활동 정보를 설정하는 표정패턴정보 대응 부가 반응활동 정보 설정 서브유닛(6326)을 포함하는 구성으로 이루어지는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
  8. 제 1항에 있어서,
    디지털액터 인터페이스 운용프로그램 모듈(600)은,
    컴퓨터그래픽에 의한 3D 가상공간(800)을 설정하여 생성시키는 3D 가상공간 설정유닛(680a)과;
    컴퓨터 본체(100) 구동시 모니터장치(200)의 화면창으로 3D 가상공간(800)을 디스플레이하게 되는 3D 가상공간 출력유닛(680b)과;
    모니터장치(200)의 화면창으로 출력된 3D 가상공간(800)에 3D 디지털액터를 설정 동작패턴 및 설정 이동패턴으로 구현시키는 3D 디지털액터 가상공간 구현유닛(680c)을 포함하는 것을 특징으로 하는 3D 디지털 액터형 컴퓨터 인터페이스 운용시스템.
KR1020160174887A 2016-12-20 2016-12-20 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템 KR20180071833A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160174887A KR20180071833A (ko) 2016-12-20 2016-12-20 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160174887A KR20180071833A (ko) 2016-12-20 2016-12-20 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템

Publications (1)

Publication Number Publication Date
KR20180071833A true KR20180071833A (ko) 2018-06-28

Family

ID=62780377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160174887A KR20180071833A (ko) 2016-12-20 2016-12-20 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템

Country Status (1)

Country Link
KR (1) KR20180071833A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220022630A (ko) 2020-08-19 2022-02-28 동서대학교 산학협력단 실세계/가상세계 객체 대체-연동형 디지털액터 운용시스템
KR20220022631A (ko) 2020-08-19 2022-02-28 동서대학교 산학협력단 Vr-ar-mr 기반 디지털액터 운용시스템
KR20220085947A (ko) 2020-12-16 2022-06-23 동서대학교 산학협력단 응용 소프트웨어 조작 디지털액터 운용시스템
KR20220085946A (ko) 2020-12-16 2022-06-23 동서대학교 산학협력단 여행가이드 디지털액터 운용시스템
KR20220085945A (ko) 2020-12-16 2022-06-23 동서대학교 산학협력단 오프라인 광고-홍보 디지털액터 운용시스템
KR20230070833A (ko) 2021-11-15 2023-05-23 동서대학교 산학협력단 운동트레이너 디지털액터 운용시스템
KR20230070850A (ko) 2021-11-15 2023-05-23 동서대학교 산학협력단 이메일소프트웨어구동 디지털액터 운용시스템
KR20230070858A (ko) 2021-11-15 2023-05-23 동서대학교 산학협력단 홈 오토메이션 구현 디지털액터 운용시스템
KR20230125932A (ko) 2022-02-22 2023-08-29 동서대학교 산학협력단 애플리케이션 기반 개인맞춤 디지털액터 에이전시 시스템
KR20230125925A (ko) 2022-02-22 2023-08-29 동서대학교 산학협력단 온라인 플랫폼형 디지털액터 에이전시 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000026404A (ko) 1998-10-20 2000-05-15 신동윤 가상현실 캐릭터의 실시간 제어시스템
KR20010025161A (ko) 2000-06-02 2001-04-06 조양일 감정 처리가 가능한 아바타 메이커 구현 방법
KR20010057880A (ko) 1999-12-23 2001-07-05 오길록 보행 동작 변형 애니메이션 방법
KR20020015234A (ko) 2000-08-21 2002-02-27 윤덕용 가상 캐릭터의 실시간 동작변환방법
KR20020022885A (ko) 2000-09-21 2002-03-28 이성웅 가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스방법
KR20020057447A (ko) 2001-01-04 2002-07-11 심한억 3d 캐릭터의 직접 조정을 이용한 3d 애니메이션 영화 제작방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000026404A (ko) 1998-10-20 2000-05-15 신동윤 가상현실 캐릭터의 실시간 제어시스템
KR20010057880A (ko) 1999-12-23 2001-07-05 오길록 보행 동작 변형 애니메이션 방법
KR20010025161A (ko) 2000-06-02 2001-04-06 조양일 감정 처리가 가능한 아바타 메이커 구현 방법
KR20020015234A (ko) 2000-08-21 2002-02-27 윤덕용 가상 캐릭터의 실시간 동작변환방법
KR20020022885A (ko) 2000-09-21 2002-03-28 이성웅 가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스방법
KR20020057447A (ko) 2001-01-04 2002-07-11 심한억 3d 캐릭터의 직접 조정을 이용한 3d 애니메이션 영화 제작방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220022630A (ko) 2020-08-19 2022-02-28 동서대학교 산학협력단 실세계/가상세계 객체 대체-연동형 디지털액터 운용시스템
KR20220022631A (ko) 2020-08-19 2022-02-28 동서대학교 산학협력단 Vr-ar-mr 기반 디지털액터 운용시스템
KR20220085947A (ko) 2020-12-16 2022-06-23 동서대학교 산학협력단 응용 소프트웨어 조작 디지털액터 운용시스템
KR20220085946A (ko) 2020-12-16 2022-06-23 동서대학교 산학협력단 여행가이드 디지털액터 운용시스템
KR20220085945A (ko) 2020-12-16 2022-06-23 동서대학교 산학협력단 오프라인 광고-홍보 디지털액터 운용시스템
KR20230070833A (ko) 2021-11-15 2023-05-23 동서대학교 산학협력단 운동트레이너 디지털액터 운용시스템
KR20230070850A (ko) 2021-11-15 2023-05-23 동서대학교 산학협력단 이메일소프트웨어구동 디지털액터 운용시스템
KR20230070858A (ko) 2021-11-15 2023-05-23 동서대학교 산학협력단 홈 오토메이션 구현 디지털액터 운용시스템
KR20230125932A (ko) 2022-02-22 2023-08-29 동서대학교 산학협력단 애플리케이션 기반 개인맞춤 디지털액터 에이전시 시스템
KR20230125925A (ko) 2022-02-22 2023-08-29 동서대학교 산학협력단 온라인 플랫폼형 디지털액터 에이전시 시스템

Similar Documents

Publication Publication Date Title
KR20180071833A (ko) 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템
KR101894573B1 (ko) 3d 디지털 액터형 스마트폰 인터페이스 운용시스템
CN110688911B (zh) 视频处理方法、装置、系统、终端设备及存储介质
WO2022048403A1 (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
Zhao et al. Metaverse: Perspectives from graphics, interactions and visualization
KR101851356B1 (ko) 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법
KR101306221B1 (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
CN110390704B (zh) 图像处理方法、装置、终端设备及存储介质
KR102503413B1 (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
JP2019145108A (ja) 顔に対応する３次元アバターを用いて顔の動きが反映された３ｄアバターを含むイメージを生成する電子装置
JP7504968B2 (ja) アバター表示装置、アバター生成装置及びプログラム
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
CN112396679B (zh) 虚拟对象显示方法及装置、电子设备、介质
KR20130080442A (ko) 표정의 실시간 애니메이션화
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN109086860B (zh) 一种基于虚拟人的交互方法及系统
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
WO2018139203A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113766168A (zh) 一种互动处理方法、装置、终端及介质
JP7278307B2 (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
CN112673400A (zh) 化身动画
CN117789306A (zh) 图像处理方法、装置及存储介质
Allbeck et al. Avatars a/spl grave/la Snow Crash
CN109087644B (zh) 电子设备及其语音助手的交互方法、具有存储功能的装置
KR20210024174A (ko) 머신 인터랙션

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101003585; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180827

Effective date: 20190930