KR101894573B1 - Smart phone interface management system by 3D digital actor - Google Patents

Smart phone interface management system by 3D digital actor Download PDF

Info

Publication number
KR101894573B1
KR101894573B1 KR1020170032013A KR20170032013A KR101894573B1 KR 101894573 B1 KR101894573 B1 KR 101894573B1 KR 1020170032013 A KR1020170032013 A KR 1020170032013A KR 20170032013 A KR20170032013 A KR 20170032013A KR 101894573 B1 KR101894573 B1 KR 101894573B1
Authority
KR
South Korea
Prior art keywords
information
smartphone
user
digital actor
pattern
Prior art date
Application number
KR1020170032013A
Other languages
Korean (ko)
Inventor
박홍식
Original Assignee
박홍식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박홍식 filed Critical 박홍식
Priority to KR1020170032013A priority Critical patent/KR101894573B1/en
Application granted granted Critical
Publication of KR101894573B1 publication Critical patent/KR101894573B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

The present invention provides a three-dimensional digital actor-type smartphone interface management system. According to the present invention, the three-dimensional digital actor-type smartphone interface management system positions a three-dimensional digital actor realistically realized to a degree that cannot be distinguished from a human in reality in a three-dimensional virtual space displayed on a screen window of a smartphone, and performs a user interface function by a process of virtually performing a mutual conversation with a user based on image recognition/voice recognition/smartphone movement recognition or an active reaction/feedback operation and voice speaking based on automatic recognition of a motion/expression of a user unlike a conventional smartphone operating system or applications realized in text information or static CG image information to humanize artificialness of a digital environment and maximize interest induction and joy of a user when using a smartphone. Moreover, three-dimensional digital actors having various properties based on age, emotional state, personality, nationality, and race in accordance with a preference of a user are generated in a user-customized manner to effectively accommodate needs of different users and various needs for each individual.

Description

3D 디지털 액터형 스마트폰 인터페이스 운용시스템{Smart phone interface management system by 3D digital actor}[0002] 3D digital actor type smart phone interface management system [0003]

본 발명은 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에 관한 것으로, 좀더 구체적으로는 텍스트 정보나 정적인 CG 이미지 정보로 구현되는 종래의 스마트 폰 운영체제나 애플리케이션과 달리, 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 스마트 폰 화면창에 디스플레이된 3D 가상공간 내에 위치하면서 영상인식/음성인식/스마트폰 움직임인식을 기반으로 한 사용자와의 상호 대화나 사용자의 동작/표정 자동인식 및 스마트 폰 움직임을 기반으로 한 능동적인 리액션/피드백 동작과 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하게 됨으로써 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 스마트 폰 이용시 사용자의 흥미유발과 즐거움을 극대화시킬 수 있고, 이와 더불어 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 됨으로써 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있는 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a 3D digital actor-type smartphone interface operating system, and more particularly, to a 3D digital actor-type smartphone interface operating system, which unlike a conventional smartphone operating system or application that is implemented with text information or static CG image information, 3D digital actors realized by realism are located in the 3D virtual space displayed on the screen of the smartphone, so that they can interact with users based on image recognition / voice recognition / smartphone motion recognition, By performing a user interface function through a process of virtually performing an active reaction / feedback operation based on the phone movement and a voice utterance, it is possible to humanize the artificiality of the digital environment, and at the same time, Of interest and pleasure, and In addition, a 3D digital actor having various characteristics based on age, emotion state, personality, nationality, and race is customized according to a user's taste, so that different users' needs and individual diverse needs can be effectively accommodated And a 3D digital actor type smartphone interface operating system.

컴퓨터 그래픽 기술이 발전하면서 인터넷 커뮤니티 상의 아바타와 같은 캐릭터, 3차원 애니메이션, 영화의 특수효과 등의 디지털 콘텐츠 분야에서 다양한 캐릭터 애니메이션 기술이 개발되고 있다.As computer graphics technology has developed, various character animation techniques have been developed in digital contents fields such as avatars such as avatars on the Internet community, 3D animations, and special effects of movies.

이러한 가상 캐릭터의 모션 생성에 관한 기술로서, 대한민국 특허출원공개 제2002-15234호(공개일 : 2002년 2월 27일)에는 "가상 캐릭터의 실시간 동작변환 방법"이 공개되어 있으며, 상기 선행 특허는 실시간으로 크기가 다른 가상 캐릭터를 제어하는 기술에 관한 것이다.As a technique related to the motion generation of such a virtual character, Korean Patent Application Publication No. 2002-15234 (published on Feb. 27, 2002) discloses "a method for converting a virtual character's real-time motion" The present invention relates to a technique for controlling a virtual character having a different size in real time.

또한, 대한민국 특허출원공개 제2001-57880호(공개일 : 2001년 7월 5일)에는 "보행 동작 변형 애니메이션 방법"이 공개되어 있으며, 상기 선행 특허는 모션 캡쳐를 이용하여 생성된 보행 동작과 관련된 모션 데이터를 보행주기, 순환, 다리길이, 방향전환, 보폭 등의 인자들을 이용하여 변형하는 기술에 관한 것이다.Korean Patent Application Laid-Open Publication No. 2001-57880 (published on July 5, 2001) discloses a " method for animating a walking motion variation ", which is related to a walking motion generated using motion capturing The present invention relates to a technique of transforming motion data by using factors such as a walking cycle, a circulation, a leg length, a direction change, and a stride.

대한민국 특허출원공개 제2002-57447호(공개일 : 2002년 7월 11일)에는 "3D 캐릭터의 직접 조정을 이용한 3D 애니메이션 영화 제작 방법"이 공개되어 있으며, 상기 선행 특허는 동영상 제작을 위해 3차원 캐릭터를 이용하여 외곽선을 추출하고 2차원 영상에서 그 사이를 자동으로 연결하여 중간에 필요한 동작을 프레임으로 생성하는 기술에 관한 것이다.Korean Patent Application Publication No. 2002-57447 (published on July 11, 2002) discloses a "3D animation film production method using direct adjustment of a 3D character ", and the above- The present invention relates to a technique of extracting an outline by using a character and automatically connecting the two-dimensional image with each other to generate an operation required in the middle as a frame.

대한민국 특허출원공개 제2001-25161호(공개일 : 2001년 4월 6일)에는 "감정 처리가 가능한 아바타 메이커 구현 방법"이 공개되어 있으며, 상기 선행 특허는 사용자가 입력한 자연어를 기반으로 가상 캐릭터의 얼굴 표정 및 입 모양을 제어하는 기술에 관한 것이다.Korean Patent Application Laid-Open Publication No. 2001-25161 (published on April 6, 2001) discloses "a method for implementing an avatar maker capable of emotional processing ", and the prior patent discloses a virtual character The present invention relates to a technique for controlling facial expressions and mouth shapes.

대한민국 특허출원공개 제2000-26404호(공개일 : 2000년 5월 15일)에는 "가상현실 캐릭터의 실시간 제어 시스템"이 공개되어 있으며, 상기 선행 특허는 고가의 모션캡쳐 시스템을 사용하지 않고 가상 캐릭터를 실시간으로 제어할 수 있도록 하기 위하여 낮은 수준에서 입력 장치와의 매핑을 통해 캐릭터의 움직임을 생성하는 기술에 관한 것이다.Korean Patent Application Publication No. 2000-26404 (published on May 15, 2000) discloses a "real-time control system of a virtual reality character ", and the prior patent discloses a virtual character recognition system that does not use an expensive motion capture system, The present invention relates to a technique of generating a motion of a character through mapping with an input device at a low level so as to control the motion of the character in real time.

대한민국 특허출원공개 제2002-22885호(공개일 : 2002년 3월 28일)에는 "가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스 방법"이 공개되어 있으며, 상기 선행 특허는 사용자의 형상 및 모션을 촬영하여 획득되는 동화상에 의해 가상 캐릭터의 형태를 재현하고, 그 가상 캐릭터가 온라인 및 오프라인의 컴퓨터 환경에서 다기능을 갖도록 하는 에이전트 프로그램을 합성하는 기술에 관한 것이다.Korean Patent Application Publication No. 2002-22885 (published on March 28, 2002) discloses a system and method for creating a virtual character and a virtual character service method. The present invention relates to a technique of reproducing an aspect of a virtual character by a moving image acquired by a moving image obtained by a moving image, and synthesizing an agent program that makes the virtual character have a multifunctionality in on-line and off-line computer environments.

그러나 상기와 같은 종래기술의 경우 가상 캐릭터를 다양하게 구현하는데 한계가 있었으며, 가상 캐릭터가 애니메이션 제작이나 각종 디스플레이장치 등에서 단순하게 보조적으로 안내정보를 제공하는 것이 일반적이었다.However, in the conventional art as described above, there are limitations to various implementations of virtual characters, and it has been common that virtual characters simply provide supplementary guidance information in animation production and various display devices.

대한민국 특허출원공개 제2002-15234호 "가상 캐릭터의 실시간 동작변환 방법"Korean Patent Application Publication No. 2002-15234 "Method for converting real-time motion of virtual character" 대한민국 특허출원공개 제2001-57880호 "보행 동작 변형 애니메이션 방법"Korean Patent Application Laid-open No. 2001-57880 entitled " 대한민국 특허출원공개 제2002-57447호 "3D 캐릭터의 직접 조정을 이용한 3D 애니메이션 영화 제작 방법Korean Patent Application Publication No. 2002-57447 "A method of producing a 3D animation film using direct adjustment of a 3D character 대한민국 특허출원공개 제2001-25161호 "감정 처리가 가능한 아바타 메이커 구현 방법"Korean Patent Application Laid-Open No. 2001-25161 entitled " Method for Implementing an Avatar-Maker capable of Emotion Processing " 대한민국 특허출원공개 제2000-26404호 "가상현실 캐릭터의 실시간 제어 시스템"Korean Patent Application Publication No. 2000-26404 entitled "Real-Time Control System of Virtual Reality Character" 대한민국 특허출원공개 제2002-22885호 "가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스 방법"Korean Patent Application Publication No. 2002-22885 "Virtual Character Creation System and Method and Virtual Character Service Method"

따라서 본 발명은 이와 같은 종래 기술의 한계를 개선하는 동시에 텍스트 정보나 정적인 CG 이미지 정보로 구현되는 종래의 스마트 폰 운영체제나 애플리케이션의 한계도 개선하기 위한 것으로, 스마트폰 본체에 설치되는 디지털액터 인터페이스 운용프로그램 모듈에 의해 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 스마트 폰 화면창에 디스플레이된 3D 가상공간 내에 위치하도록 하고, 음성인식 모듈에 의한 음성인식을 기반으로 3D 디지털액터가 사용자와 상호 대화하거나, 카메라모듈과 음성인식 모듈 및 스마트폰 움직임정보 검출모듈에 의한 영상인식과 음성인식 및 스마트폰 움직임인식을 기반으로 3D 디지털액터가 사용자의 현재 동작이나 현재 표정 또는 사용자 조작에 의한 스마트폰 움직임을 자동인식하여 능동적으로 리액션/피드백 동작이나 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하도록 함으로써 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 스마트 폰 이용시 사용자의 흥미유발과 즐거움을 극대화시킬 수 있는 새로운 형태의 3D 디지털 액터형 스마트폰 인터페이스 운용시스템을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to improve the limitations of conventional smartphone operating systems or applications implemented with text information or static CG image information, The program module allows a 3D digital actor to be realistically realized to be indistinguishable from a human being in a 3D virtual space displayed on the screen of a smartphone, and a 3D digital actor based on speech recognition by a voice recognition module Based on the image recognition, the voice recognition, and the smartphone motion recognition by the camera module, the voice recognition module, and the smartphone motion information detection module, the 3D digital actor can be operated by the user's current operation, Automatically recognizes smart phone movements A user interface function is performed through virtually performing a reaction / feedback operation and voice utterance, thereby humanizing the artificiality of the digital environment and maximizing user's interest and pleasure when using the smartphone And to provide a new type of 3D digital actor-type smartphone interface operating system capable of providing a new type of smartphone.

또한 본 발명은 디지털액터 인터페이스 운용프로그램 모듈에 구비되는 프로토타입 디지털액터 설정유닛과 프로토타입 디지털액터 세분화 설정유닛에 의해 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 성격 특성, 국적 특성, 인종 특성, 연령 대, 감정상태 별로 구분되게 설정되도록 한 다음, 사용자에 의해 특정 3D 디지털액터가 선택되도록 함으로써 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 되어 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있는 새로운 형태의 3D 디지털 액터형 스마트폰 인터페이스 운용시스템을 제공하는 것을 목적으로 한다.In addition, the present invention is characterized in that the prototype digital actor setting unit and the prototype digital actor segmentation setting unit provided in the digital actor interface operating program module are used to set basic shape information / mode image information / motion image information and actor characteristic information (Including behavior characteristic information / language characteristic information / reaction characteristic information) is set to be separately classified by personality characteristic, nationality characteristic, race characteristic, age characteristic, and emotion characteristic, and then a specific 3D digital actor is selected by the user, 3D digital actors with various characteristics based on age, emotion state, personality, nationality, race, etc. are customized according to their preferences, so that a new type of actors 3D digital actor type smart phone interface operating system The purpose is to serve.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 운영체제(110)와 애플리케이션(120)이 설치되어 구동되는 스마트폰 본체(100)와; 스마트폰 본체(100)와 연결되어 텍스트 정보와 영상 정보를 디스플레이하는 터치패널(200)과; 스마트폰 본체(100)에 연결되어 사운드 정보를 출력하는 음성출력모듈(300)과; 스마트폰 본체(100)에 설치되어 사용자 영상정보를 실시간 검출하게 되는 카메라모듈(400)과; 스마트폰 본체(100)에 설치되어 사용자 음성정보를 실시간 검출하게 되는 음성인식 모듈(500)과; 스마트폰 본체(100)에 설치되고, 사용자에 의한 스마트폰 움직임 정보를 실시간 검출하게 되는 스마트폰 움직임정보 검출모듈(600)과; 스마트폰 본체(100)에 설치되어 운영체제(110)와 애플리케이션(120)에 연동되고, 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)의 설정에 의해 구현되는 3D 디지털액터를 터치패널(200)에 디스플레이하여 운용하게 되되, 운영체제/애플리케이션이 제공하게 되는 모니터 출력정보, 음성출력모듈 출력정보, 정보입력 안내정보에 대응하는 3D 디지털액터의 기본활동 정보가 설정되며, 사용자의 정보 입력 및 운영체제/애플리케이션의 입력값 처리 프로세스에 대응하는 3D 디지털액터의 반응활동 정보가 설정되며, 활성화 대기모드, 활성화 모드, 애플리케이션 실행모드, 스마트폰 종료모드로 구분되어 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되어 운용되는 디지털액터 인터페이스 운용프로그램 모듈(700)을 포함하여, 디지털액터 인터페이스 운용프로그램 모듈(700)에 의해 구현되는 3D 디지털액터가 스마트폰 인터페이스 기능을 수행하도록 하는 것을 특징으로 하는 3D 디지털 액터형 스마트폰 인터페이스 운용시스템을 제공한다.According to an aspect of the present invention, there is provided a smartphone including: a smartphone body 100 in which an operating system 110 and an application 120 are installed and operated; A touch panel 200 connected to the smartphone body 100 to display text information and image information; An audio output module 300 connected to the smartphone body 100 to output sound information; A camera module 400 installed in the smartphone body 100 to detect user image information in real time; A voice recognition module 500 installed in the smartphone body 100 for detecting user voice information in real time; A smartphone motion information detection module 600 installed in the smartphone main body 100 and configured to detect smartphone motion information by a user in real time; And is connected to the operating system 110 and the application 120 installed in the smartphone main body 100 and includes basic shape information / mode image information / motion picture information and actor characteristic information (behavior characteristic information / language characteristic information / reaction characteristic information The 3D digital actors corresponding to the monitor output information, the audio output module output information, and the information input guide information to be provided by the operating system / application are displayed on the touch panel 200, And the reaction activity information of the 3D digital actor corresponding to the process of inputting the information of the user and the input value processing process of the operating system / application is set, and the reaction activity information of the 3D digital actor is set in the activation standby mode, the activation mode, And the digital actor interface in which the basic activity information and reaction activity information of the 3D digital actors are set and operated Characterized in that the 3D digital actor implemented by the digital actor interface operating program module (700), including the snapshot program module (700), performs a smartphone interface function. to provide.

이와 같은 본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에서 디지털액터 인터페이스 운용프로그램 모듈(700)은, 비활성화 상태의 스마트폰을 활성화시키기 위한 활성화 대기모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 활성화 대기모드 운용 서브모듈(700a)과; 스마트폰이 활성화되어 애플리케이션(120)의 운용이 가능하게 되는 활성화 모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 활성화 모드 운용 서브모듈(700b)과; 사용자의 선택으로 실행된 애플리케이션(120)을 운용하기 위한 애플리케이션 실행모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 애플리케이션 실행모드 운용 서브모듈(700c) 및; 스마트폰을 비활성화시키기 위한 스마트폰 종료모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 스마트폰 종료모드 운용 서브모듈(700d)을 포함하는 구성으로 이루어지되,In the 3D digital ACTOR type smartphone interface operating system according to the present invention, the digital actor interface operating program module 700 may be configured to receive the basic activity information of the 3D digital actor in the active standby mode for activating the inactive smart phone, An active standby mode operating sub-module 700a in which activity information is set and operated; An activation mode operating sub-module 700b in which basic activity information and reaction activity information of a 3D digital actor in an active mode in which a smart phone is activated and an application 120 is enabled is set and operated; An application execution mode operating sub-module 700c in which basic activity information and reaction activity information of the 3D digital actors in the application execution mode for operating the application 120 executed at the user's selection are set and operated; And a smartphone termination mode operating sub-module 700d in which basic activity information and reaction activity information of the 3D digital actors in the smartphone termination mode for deactivating the smart phone are set and operated,

활성화 대기모드 운용 서브모듈(700a), 활성화 모드 운용 서브모듈(700b), 애플리케이션 실행모드 운용 서브모듈(700c), 스마트폰 종료모드 운용 서브모듈(700d) 각각은, 복수의 사용자 동작패턴 정보 및 각 사용자 동작패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 동작패턴 별 디지털액터 활동정보 DB(710a)와; 복수의 사용자 표정패턴 정보 및 각 사용자 표정패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 표정패턴 별 디지털액터 활동정보 DB(710b)와; 복수의 사용자 음성패턴 정보 및 각 사용자 음성패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 음성패턴 별 디지털액터 활동정보 DB(710c)와; 복수의 스마트폰 움직임패턴 정보 및 각 스마트폰 움직임패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)와; 카메라모듈(400)의 사용자 영상정보를 전달받게 되고, 사용자 영상정보에 대한 영상 특성분석으로 사용자 동작정보패턴 정보 및 사용자 표정패턴 정보를 검출하게 되는 영상분석유닛(720a)과; 음성인식 모듈(500)의 사용자 음성정보를 전달받게 되고, 사용자 음성정보에 대한 음성 특성분석으로 사용자 음성패턴 정보를 검출하게 되는 음성분석유닛(720b)과; 스마트폰 움직임정보 검출모듈(600)의 스마트폰 움직임정보를 전달받게 되고, 스마트폰 움직임정보에 대한 움직임 특성분석으로 스마트폰 움직임패턴 정보를 검출하게 되는 움직임분석유닛(720c)과; 영상분석유닛(720a)과 음성분석유닛(720b) 및 움직임분석유닛(720c)으로부터 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 전달받게 되고, 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보를 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)를 검색하여 검출하게 되며, 검출된 3D 디지털액터의 기본활동 정보/반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되는 디지털액터 활동제어유닛(730)을 제어하면서 활성화 대기모드, 활성화 모드, 애플리케이션 실행모드, 스마트폰 종료모드를 운용하게 될 수 있다.Each of the activation standby mode operating sub-module 700a, the activation mode operating sub-module 700b, the application execution mode operating sub-module 700c and the smartphone shutdown mode operating sub-module 700d includes a plurality of user operation pattern information, A digital actor activity information DB 710a for each action pattern in which basic activity information / reaction activity information of the 3D digital actors is set according to user action pattern information; A digital actor activity information DB 710b for each facial expression pattern in which basic activity information / reaction activity information of the 3D digital actors is set according to a plurality of user facial expression pattern information and each user facial expression pattern information; A digital actor activity information DB 710c for each voice pattern in which a plurality of user voice pattern information and basic activity information / reaction activity information of a 3D digital actor for each user voice pattern information is set; A digital actor activity information DB 710d for each smartphone movement pattern in which a plurality of smartphone movement pattern information and basic activity information / reaction activity information of the 3D digital actors according to each smartphone movement pattern information are set; An image analysis unit 720a that receives user image information of the camera module 400 and detects user operation information pattern information and user facial expression pattern information by analyzing image characteristics of the user image information; A voice analysis unit 720b that receives the user voice information of the voice recognition module 500 and detects the user voice pattern information by analyzing voice characteristics of the user voice information; A motion analyzing unit 720c receiving the smartphone motion information of the smartphone motion information detecting module 600 and detecting the smartphone motion pattern information by analyzing motion characteristics of the smartphone motion information; User facial pattern information, user voice pattern information, and smartphone movement pattern information from the image analysis unit 720a, the voice analysis unit 720b and the motion analysis unit 720c, Information on the basic activity information / reaction activity information of the 3D digital actor corresponding to the pattern information, the user's facial expression pattern information, the user's voice pattern information, and the smartphone movement pattern information is stored in the digital actor activity information DB 710a, The digital activity information DB 710b for each voice pattern, the digital actor activity information DB 710c for each voice pattern, and the digital actor activity information DB 710d for each smartphone movement pattern are detected and detected, An activation mode, an activation mode, and an activation mode are controlled while controlling the digital actor activity control unit 730 that controls the basic activity / reaction activity of the 3D digital actors according to the activity information, Application execution mode, and smartphone shutdown mode.

이와 같은 본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에서 활성화 대기모드 운용 서브모듈(700a)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는, 사용자의 스마트폰 활성화 의도로 추정되는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,In the 3D digital actor type smartphone interface operating system according to the present invention, the digital actor activity information DB 710a, the digital actor activity information DB 710b, The digital actor activity information DB 710c for each voice pattern and the digital actor activity information DB 710d for each smartphone movement pattern are used to generate user action information pattern information that is estimated by the user's intention to activate the smartphone, Information, smartphone movement pattern information,

활성화 대기모드 운용 서브모듈(700a)의 디지털액터 활동제어유닛(730)은, 사용자의 스마트폰 활성화 의도로 추정되는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 로그인 운용제어유닛(730a)을 통해 활성화 대기모드용 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,The digital actor activity control unit 730 of the active standby mode operating sub-module 700a determines whether or not the digital actor activity control unit 730 of the active standby mode operating sub-module 700a receives the user action information pattern information, the user's facial expression pattern information, Through the login operation control unit 730a when input from the camera module 400, the voice recognition module 500, and the smartphone motion information detection module 600, the basic activity information of the 3D digital actor for activation standby mode and the reaction activity According to the information, the basic activity / reaction activity of the 3D digital actor is controlled,

디지털액터 활동제어유닛(730)의 로그인 운용제어유닛(730a)은, 생체인식형 로그인 프로세스, 터치동작 패턴입력형 로그인 프로세스, 비밀번호 입력형 로그인 프로세스 군 중에서 선택된 어느 하나의 로그인 프로세스의 선택을 3D 디지털액터가 유도하도록 하고, 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 로그인 프로세스를 운용하도록 할 수 있다.The login operation control unit 730a of the digital actor activity control unit 730 selects one of the login processes selected from the biometric type login process, the touch operation pattern input type login process, and the password input type login process group, Actor to guide the 3D digital actor to operate the login process by interactive interaction / user action information pattern information / user facial pattern information / active recognition / feedback operation by automatic recognition of smartphone movement pattern information .

이와 같은 본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에서 활성화 모드 운용 서브모듈(700b)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는, 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,In the 3D digital actor type smartphone interface operating system according to the present invention, the digital actor activity information DB 710a, the digital actor activity information DB 710b, The digital actor activity information DB 710c for each pattern and the digital actor activity information DB 710d for each smartphone movement pattern include user action information pattern information corresponding to the application search mode, application select mode, smartphone setting mode, User voice pattern information, and smartphone movement pattern information,

활성화 모드 운용 서브모듈(700b)의 디지털액터 활동제어유닛(730)은, 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 활성화 스마트폰 운용제어유닛(730b)을 통해 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,The digital actor activity control unit 730 of the activation mode operation submodule 700b is configured to determine the user action information pattern information based on the user action information pattern information corresponding to the application search mode, the application selection mode, the smartphone setting mode, When the smartphone movement pattern information is input from the camera module 400, the voice recognition module 500 and the smartphone motion information detection module 600, the application search mode, the application selection mode , The basic activity / reaction activity of the 3D digital actor is controlled according to the basic activity information and the reaction activity information of the 3D digital actor set according to the smartphone setting mode,

디지털액터 활동제어유닛(730)의 활성화 스마트폰 운용제어유닛(730b)은, 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드를 운용하도록 할 수 있다.The activation smartphone operation control unit 730b of the digital actor activity control unit 730 is configured to enable the 3D digital actor to perform the interactive operation with the user and the automatic recognition of the user operation information pattern information / user facial expression pattern information / smartphone movement pattern information An application selection mode, and a smartphone setting mode can be operated by an active reaction / feedback operation by the user.

이와 같은 본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에서 애플리케이션 실행모드 운용 서브모듈(700c)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는, 실행된 애플리케이션의 사용을 위한 애플리케이션 조작 모드와 정보입력 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,In the 3D digital actor type smartphone interface operating system according to the present invention, the digital actor activity information DB 710a, the digital actor activity information DB 710b according to the action pattern, The digital actor activity information DB 710c for each voice pattern and the digital actor activity information DB 710d for each smartphone movement pattern include user operation information pattern information corresponding to the application operation mode and the information input mode for use of the executed application, User facial expression pattern information, user voice pattern information, and smartphone movement pattern information,

애플리케이션 실행모드 운용 서브모듈(700c)의 디지털액터 활동제어유닛(730)은, 애플리케이션 조작 모드와 정보입력 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 실행 애플리케이션 운용제어유닛(730c)을 통해 애플리케이션 조작 모드와 정보입력 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,The digital actor activity control unit 730 of the application execution mode operating submodule 700c includes user action information pattern information corresponding to the application operation mode and the information input mode, user facial pattern information, user voice pattern information, Information is input from the camera module 400, the voice recognition module 500, and the smartphone motion information detection module 600 through the execution application operation control unit 730c, The basic activity / reaction activity of the 3D digital actor is controlled according to the basic activity information and the reaction activity information of the actor,

디지털액터 활동제어유닛(730)의 실행 애플리케이션 운용제어유닛(730c)은, 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 애플리케이션 조작 모드와 정보입력 모드 및 애플리케이션 정보출력 모드를 운용하도록 할 수 있다.The execution application operation control unit 730c of the digital actor activity control unit 730 is configured to control the operation of the 3D digital actor by interacting with the user and automatically recognizing the user operation information pattern information / user facial expression pattern information / smartphone movement pattern information The application operation mode, the information input mode, and the application information output mode can be operated by the active reaction / feedback operation.

이와 같은 본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에서 스마트폰 종료모드 운용 서브모듈(700d)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는, 스마트폰 종료 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,In the 3D digital actor type smartphone interface operating system according to the present invention, the digital actor activity information DB 710a, the digital actor activity information DB 710b for each facial pattern, The digital actor activity information DB 710c for each voice pattern, and the digital actor activity information DB 710d for each smartphone movement pattern are associated with the user action information pattern information, the user facial pattern information, the user voice pattern information , The smartphone movement pattern information is set,

스마트폰 종료모드 운용 서브모듈(700d)의 디지털액터 활동제어유닛(730)은, 스마트폰 종료 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 스마트폰 종료제어유닛(730d)을 통해 스마트폰 종료 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,The digital actor activity control unit 730 of the smartphone shutdown mode operating sub module 700d determines whether or not the user action information pattern information, the user face pattern information, the user voice pattern information, and the smartphone movement pattern information corresponding to the smartphone shutdown mode The basic activity information of the 3D digital actor set in accordance with the smartphone end mode through the smartphone end control unit 730d when input from the camera module 400, the voice recognition module 500, and the smartphone motion information detection module 600, And the basic activity / reaction activity of the 3D digital actor is controlled according to the reaction activity information,

디지털액터 활동제어유닛(730)의 스마트폰 종료제어유닛(730d)은, 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 스마트폰 종료 모드를 운용하도록 할 수 있다.The smartphone end control unit 730d of the digital actor activity control unit 730 determines whether or not the 3D digital actor is in a state in which the 3D digital actor is in a state in which the 3D digital actor is capable of interacting with the user and automatically recognizing user action information pattern information / The smartphone shutdown mode can be operated by an active reaction / feedback operation.

본 발명에 의한 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에 의하면, 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 스마트 폰 화면창에 디스플레이된 3D 가상공간 내에 위치하면서 영상인식와 음성인식 및 스마트폰 움직임인식을 기반으로 한 사용자와의 상호 대화나 사용자의 동작/표정 자동인식 또는 사용자 조작에 의한 스마트폰 움직임 인식을 기반으로 한 능동적인 리액션/피드백 동작과 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하게 되므로, 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 스마트 폰 이용시 사용자의 흥미유발과 몰입도를 극대화시킬 수 있는 효과가 있다. 이와 더불어 본 발명에 의한 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에 의하면, 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 되므로, 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있게 된다.According to the 3D digital actor-type smartphone interface operating system of the present invention, a 3D digital actor realized with realism that is indistinguishable from a human being is located in a 3D virtual space displayed on a smartphone screen window, And a process of virtually performing an interactive reaction / feedback operation and voice utterance based on mutual conversation with the user based on the smartphone motion recognition, automatic recognition of the user's motion / facial expression, or smartphone motion recognition based on the user's manipulation It is possible to humanize the artificiality of the digital environment and maximize the user's interest and immersion in using the smart phone. In addition, according to the 3D digital actor-type smartphone interface operating system of the present invention, a 3D digital actor having various characteristics based on age group, emotion state, personality, nationality, race, etc. is customized So that the demands of different users and the diverse needs of the individual users can be effectively accommodated.

도 1은 본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템의 기본 구성블록도;
도 2는 본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템에 의해 스마트 폰의 터치패널에 구현되는 3D 디지털액터의 예시도;
도 3은 본 발명에 따른 스마트폰 움직임정보 검출모듈의 구성 블록도;
도 4와 도 5는 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈의 기본 구성 블록도;
도 6은 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈을 이루는 디지털액터 활동제어유닛의 기본 구성 블록도;
도 7은 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈의 부가 구성 블록도;
도 8은 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈에 의해 구현되는 3D 디지털액터의 다양한 양태이미지 예시도;
도 9는 가상공간 구현을 위한 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈의 부가 구성 블록도;
도 10은 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈을 이루는 디지털액터 활동제어유닛의 세부 구성 블록도이다.1 is a basic block diagram of a 3D digital actor-type smartphone interface operating system according to the present invention;
2 is an illustration of a 3D digital actor implemented in a touch panel of a smartphone by a 3D digital actor-type smartphone interface operating system according to the present invention;
3 is a block diagram of a smartphone motion information detection module according to the present invention;
FIG. 4 and FIG. 5 are basic block diagrams of a digital actor interface operating program module according to an embodiment of the present invention; FIG.
6 is a basic block diagram of a digital actor activity control unit constituting a digital actor interface operating program module according to an embodiment of the present invention;
7 is an additional configuration block diagram of a digital actor interface operating program module according to an embodiment of the present invention;
8 is an exemplary view of various aspects of a 3D digital actor implemented by a digital actor interface operating program module according to an embodiment of the present invention;
FIG. 9 is an additional configuration block diagram of a digital actor interface operating program module according to an embodiment of the present invention for virtual space implementation; FIG.
10 is a detailed block diagram of a digital actor activity control unit constituting a digital actor interface operating program module according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 10에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 디지털액터, 3D 디지털액터, 가상 인물 생성방법, 데이터베이스, 이미지편집 프로그램, 동작편집 프로그램, 스마트 폰, 터치패널, 음성출력모듈, 카메라, 음성인식 기술, 영상분석기술, 움직임인식 기술, 움직임분석 기술, 사용자 인터페이스, 지능형 사용자 인터페이스, 운영체제, 애플리케이션 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings 1 to 10. In the drawings and detailed description, typical digital actors, 3D digital actors, virtual person generation methods, databases, image editing programs, motion editing programs, smart phones, touch panels, voice output modules, cameras, The description and illustration of configurations and operations that can be readily understood by those skilled in the art from motion recognition technology, motion analysis techniques, user interfaces, intelligent user interfaces, operating systems, applications, and the like, are brief or omitted. In the drawings and specification, there are shown in the drawings and will not be described in detail, and only the technical features related to the present invention are shown or described only briefly. Respectively.

본 발명에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템은 도 1에서와 같이 스마트폰 본체(100), 터치패널(200), 음성출력모듈(300), 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600), 디지털액터 인터페이스 운용프로그램 모듈(700)을 포함하는 구성으로 이루어진다.1, the 3D digital actor type smartphone interface operating system according to the present invention includes a smartphone body 100, a touch panel 200, a voice output module 300, a camera module 400, a voice recognition module 500 A smartphone motion information detection module 600, and a digital actor interface operation program module 700. [

스마트폰 본체(100)는 운영체제(110)와 애플리케이션(120)이 설치되어 구동되는 것으로, 스마트폰 본체(100)에 터치패널(200)과 음성출력모듈(300)이 연결되는 한편, 카메라모듈(400)과 음성인식 모듈(500) 및 스마트폰 움직임정보 검출모듈(600)이 설치된다. 또한, 스마트폰 본체(100)에는 디지털액터 인터페이스 운용프로그램 모듈(700)이 추가적으로 설치된다. 그리고 스마트폰 본체(100)에는 일정크기 이상의 연산처리 성능을 갖는 CPU가 탑재되어 디지털액터 인터페이스 운용프로그램 모듈(700)에 의한 3D 디지털액터 운용에 요구되는 복잡한 연산과 많은 연산량이 신속하고 안정되게 처리될 수 있도록 한다.The touch panel 200 and the voice output module 300 are connected to the smartphone body 100 and the camera module 100 is connected to the smartphone body 100. [ 400, a voice recognition module 500, and a smartphone motion information detection module 600 are installed. In addition, a digital actor interface operating program module 700 is additionally installed in the smartphone main body 100. The smartphone main body 100 is provided with a CPU having a computing capacity equal to or greater than a predetermined size, so that complicated calculations required for 3D digital actor operation by the digital actor interface operating program module 700 and a large amount of computation are processed quickly and stably .

터치패널(200)는 스마트폰 본체(100)와 연결되어 텍스트 정보와 영상 정보를 디스플레이하는 것으로, 본 발명의 실시예에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템은 도 2에서와 같이 터치패널(200)에 디스플레이되는 3D 가상공간(800)에 3D 디지털액터가 위치되도록 하고, 3D 디지털액터가 디지털액터 인터페이스 운용프로그램 모듈(700)에 의해 제어되면서 컴퓨터 인터페이스 기능을 수행하도록 한다.The touch panel 200 is connected to the smartphone body 100 to display text information and image information. The 3D digital actor-type smartphone interface operating system according to the embodiment of the present invention includes a touch panel 200, and the 3D digital actors are controlled by the digital actor interface operating program module 700 to perform a computer interface function.

음성출력모듈(300)는 스마트폰 본체(100)와 연결되어 사운드 정보를 출력하게 되는 것으로, 운영체제(110)와 애플리케이션(120) 및 디지털액터 인터페이스 운용프로그램 모듈(700)과 연동되어 해당 프로그램에서 생성되는 사운드 정보를 출력시키게 된다. 음성출력모듈(300)로는 스마트폰 본체(100)에 설치되는 내장스피커, 스마트폰 본체(100)에 연결되는 유선 이어폰, 스마트폰 본체(100)와 무선통신하는 무선 이어폰/블루투스 스피커 등이 사용될 수 있다.The voice output module 300 is connected to the smartphone main body 100 and outputs sound information and operates in conjunction with the operating system 110, the application 120, and the digital actor interface operating program module 700, And outputs the sound information. The voice output module 300 may include an internal speaker installed in the smartphone body 100, a wired earphone connected to the smartphone body 100, a wireless earphone / Bluetooth speaker for wireless communication with the smartphone body 100, have.

카메라모듈(400)과 음성인식 모듈(500)은 스마트폰 본체(100)에 설치되는 것으로, 카메라모듈(400)은 사용자에 대한 실시간 영상촬영을 수행하여 사용자 영상정보를 실시간 검출하게 되고, 음성인식 모듈(500)은 사용자 음성정보를 실시간 검출하게 된다.The camera module 400 and the voice recognition module 500 are installed in the smartphone body 100. The camera module 400 performs real-time image capturing for the user to detect user image information in real time, The module 500 detects the user voice information in real time.

스마트폰 움직임정보 검출모듈(600)은 스마트폰 본체(100)에 설치되는 것으로, 사용자에 의한 스마트폰 움직임 정보를 실시간 검출하게 된다. 이를 위하여 스마트폰 움직임정보 검출모듈(600)은 도 3에서와 같이 가속도 센서(610), 자이로 센서(620), 지자계 센서(630) 등을 포함하는 구성으로 이루어질 수 있다.The smartphone motion information detection module 600 is installed in the smartphone body 100, and detects smartphone motion information by a user in real time. 3, the smartphone motion information detection module 600 may include an acceleration sensor 610, a gyro sensor 620, a geomagnetic sensor 630, and the like.

디지털액터 인터페이스 운용프로그램 모듈(700)은 스마트폰 본체(100)에 설치되어 운영체제(110)와 애플리케이션(120)에 연동되는 것으로, 3D 디지털액터를 터치패널(200)에 디스플레이하여 운용하게 된다. 이와 같은 디지털액터 인터페이스 운용프로그램 모듈(700)에는 운영체제(110)나 애플리케이션(120)이 제공하게 되는 화면 출력정보(메뉴 컨텐츠/메타 데이터/도움말/환경설정 등), 음성출력모듈 출력정보(알림음/안내음성 등), 정보입력 안내정보에 대응하는 3D 디지털액터의 기본활동 정보가 설정되는 한편, 사용자의 정보 입력과 사용자 정보 입력에 따른 운영체제(110)나 애플리케이션(120)의 입력값 처리 프로세스에 대응하는 3D 디지털액터의 반응활동 정보가 설정되는데, 3D 디지털액터는 3D 디지털액터의 기본활동 정보와 3D 디지털액터의 반응활동 정보에 따라 컴퓨터 인터페이스 기능을 수행하게 된다.The digital actor interface operating program module 700 is installed in the smartphone body 100 and is interlocked with the operating system 110 and the application 120 to display and operate the 3D digital actor on the touch panel 200. The digital actor interface operating program module 700 includes screen output information (such as menu contents / metadata / help / environment settings) to be provided by the operating system 110 or the application 120, audio output module output information The basic activity information of the 3D digital actor corresponding to the information input guide information is set and the basic activity information of the 3D digital actor corresponding to the input information processing process of the operating system 110 or the application 120 The reaction activity information of the corresponding 3D digital actor is set. The 3D digital actor performs the computer interface function according to the basic activity information of the 3D digital actor and the reaction activity information of the 3D digital actor.

여기서 스마트 폰의 특성상 디지털액터 인터페이스 운용프로그램 모듈(700)은 도 4에서와 같이 3D 디지털액터의 기본활동 정보와 반응활동 정보가 활성화 대기모드, 활성화 모드, 애플리케이션 실행모드, 스마트폰 종료모드 별로 구분되어 설정되어 운용되도록 한다. 이를 위하여 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(700)은 도 5에서와 같이 활성화 대기모드 운용 서브모듈(700a), 활성화 모드 운용 서브모듈(700b), 애플리케이션 실행모드 운용 서브모듈(700c), 스마트폰 종료모드 운용 서브모듈(700d)을 구비하게 된다.4, the basic activity information and the reaction activity information of the 3D digital actors are classified into the active standby mode, the active mode, the application execution mode, and the smartphone end mode, as shown in FIG. Set to operate. To this end, the digital actor interface operating program module 700 according to the embodiment of the present invention includes an activation standby mode operating sub-module 700a, an active mode operating sub-module 700b, an application execution mode operating sub- 700c, and a smartphone shutdown mode operating sub-module 700d.

활성화 대기모드 운용 서브모듈(700a)은 비활성화 상태의 스마트폰을 활성화시키기 위한 활성화 대기모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 서브모듈이고, 활성화 모드 운용 서브모듈(700b)은 스마트폰이 활성화되어 애플리케이션(120)의 운용이 가능하게 되는 활성화 모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 서브모듈이다. The activation standby mode operating sub-module 700a is a sub-module in which the basic activity information and reaction activity information of the 3D digital actor in the activation standby mode for activating the smartphone in the inactive state are set and operated. 700b are submodules in which the basic activity information and the reaction activity information of the 3D digital actors in the active mode in which the smartphone is activated and the application 120 can be operated are set and operated.

애플리케이션 실행모드 운용 서브모듈(700c)은 사용자의 선택으로 실행된 애플리케이션(120)을 운용하기 위한 애플리케이션 실행모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 서브모듈이고, 스마트폰 종료모드 운용 서브모듈(700d)은 스마트폰을 비활성화시키기 위한 스마트폰 종료모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 서브모듈이다. The application execution mode operating sub-module 700c is a sub-module in which the basic activity information and reaction activity information of the 3D digital actor in the application execution mode for operating the application 120 executed at the user's choice is set and operated, The phone termination mode operating sub-module 700d is a sub-module in which basic activity information and reaction activity information of the 3D digital actors in the smartphone termination mode for deactivating the smart phone are set and operated.

이와 같은 디지털액터 인터페이스 운용프로그램 모듈(700)의 활성화 대기모드 운용 서브모듈(700a), 활성화 모드 운용 서브모듈(700b), 애플리케이션 실행모드 운용 서브모듈(700c), 스마트폰 종료모드 운용 서브모듈(700d) 각각은 도 5에서와 같이 디지털액터 인터페이스 운용프로그램 모듈(700)에 구비되는 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d), 영상분석유닛(720a), 음성분석유닛(720b), 움직임분석유닛(720c), 디지털액터 활동제어유닛(730)를 제어하면서 활성화 대기모드, 활성화 모드, 애플리케이션 실행모드, 스마트폰 종료모드를 운용하게 된다.The activation standby mode operation sub-module 700a, the activation mode operation sub-module 700b, the application execution mode operation sub-module 700c, and the smartphone shutdown mode operation sub-module 700d of the digital actor interface operating program module 700, 5, the digital actor activity information DB 710a for each action pattern, the digital actor activity information DB 710b for each expression pattern, and the digital actor activity information 710b for each voice pattern provided in the digital actor interface operating program module 700, Information analysis unit 720b, a motion analysis unit 720c, and a digital actor activity control unit 730. The digital actor activity information DB 710c, the digital actor activity information DB 710d, the voice analysis unit 720b, Activation standby mode, activation mode, application execution mode, and smartphone termination mode.

동작패턴 별 디지털액터 활동정보 DB(710a)는 복수의 사용자 동작패턴 정보 및 각 사용자 동작패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 데이터베이스이고, 표정패턴 별 디지털액터 활동정보 DB(710b)는 복수의 사용자 표정패턴 정보 및 각 사용자 표정패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 데이터베이스이며, 음성패턴 별 디지털액터 활동정보 DB(710c)는 복수의 사용자 음성패턴 정보 및 각 사용자 음성패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 데이터베이스이고, 복수의 스마트폰 움직임패턴 정보 및 각 스마트폰 움직임패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 데이터베이스이다.The digital actor activity information DB 710a for each action pattern is a database for setting a plurality of user action pattern information and basic activity information / reaction activity information of the 3D digital actors according to each user action pattern information, (710b) is a database in which a plurality of user facial expression pattern information and basic activity information / reaction activity information of the 3D digital actors are set according to each user's facial expression pattern information, and the digital actor activity information DB 710c for each voice pattern includes a plurality of user's voice Pattern information, and basic user information / reaction activity information of the 3D digital actors according to each user voice pattern information, and is a database for a plurality of smartphone movement pattern information and basic activity information / response It is a database in which activity information is set.

여기서 활성화 대기모드 운용 서브모듈(700a)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는 사용자의 스마트폰 활성화 의도로 추정되는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고, 활성화 모드 운용 서브모듈(700b)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 된다.Here, the digital actor activity information DB 710a, the digital actor activity information DB 710b, and the digital actor activity information DB 710c, The pattern-specific digital actor activity information DB 710d sets user operation information pattern information, user facial expression pattern information, user voice pattern information, and smartphone movement pattern information estimated by the user's intention to activate the smartphone, The digital actor activity information DB 710a for each action pattern of the module 700b, the digital actor activity information DB 710b for each expression pattern, the digital actor activity information DB 710c for each voice pattern, The DB 710d includes user operation information pattern information corresponding to an application search mode, an application selection mode, a smartphone setting mode, user facial expression pattern information, Sex pattern information, and smartphone movement pattern information.

그리고 애플리케이션 실행모드 운용 서브모듈(700c)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는 실행된 애플리케이션의 사용을 위한 애플리케이션 조작 모드와 정보입력 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고, 스마트폰 종료모드 운용 서브모듈(700d)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는 스마트폰 종료 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 된다.A digital actor activity information DB 710a for each action pattern of the application execution mode operating sub-module 700c, a digital actor activity information DB 710b for each expression pattern, a digital actor activity information DB 710c for each voice pattern, The pattern-by-pattern digital actor activity information DB 710d includes user operation information pattern information, user facial pattern information, user voice pattern information, and smartphone movement pattern information corresponding to the application operation mode and the information input mode for use of the executed application The digital actor activity information DB 710a, the digital actor activity information DB 710b, and the digital actor activity information DB 710c according to the action pattern of the smartphone shutdown mode operating sub-module 700d, , The digital actor activity information DB 710d for each smartphone movement pattern includes user action information pattern information corresponding to the smartphone end mode, The user is to set the sound pattern information, a smart phone movement pattern information.

3D 디지털액터의 기본활동 정보와 3D 디지털액터의 반응활동 정보는 사용자 동작패턴 정보. 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보 각각에 대하여 모두 설정되는 것은 아니고, 패턴 정보의 특성에 따라 3D 디지털액터의 기본활동 정보만 설정될 수도 있고, 3D 디지털액터의 반응활동 정보만 설정될 수도 있으며, 3D 디지털액터의 기본활동 정보와 반응활동 정보 모두가 설정될 수도 있다.The basic activity information of the 3D digital actor and the reaction activity information of the 3D digital actor are the user movement pattern information. Not all of the user's facial expression pattern information, the user's voice pattern information, and the smartphone movement pattern information may be set, but only the basic activity information of the 3D digital actors may be set according to the characteristics of the pattern information, Or both the basic activity information and the reaction activity information of the 3D digital actor may be set.

여기서 사용자 동작패턴 정보에는 스마트폰 본체(100) 방향으로 손을 내밀거나 스마트폰 본체(100) 방향으로 고개를 돌리거나 스마트폰 본체(100) 방향으로 시선을 던지는 동작패턴, 스마트폰 본체(100)로부터 손을 거두거나 스마트폰 본체(100)로부터 고개를 돌리거나 스마트폰 본체(100)에서 시선을 돌리는 동작패턴, 고개를 상하로 끄덕이는 동작패턴, 고개를 좌우로 흔드는 동작패턴, 손뼉을 치는 동작패턴, 머리 뒤로 손깍지를 끼는 동작패턴, 팔장을 끼는 동작패턴 등이 포함될 수 있으며, 각 동작패턴이 통상적으로 의미하는 바(신체언어)에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 것이다. 예를 들어 스마트폰 본체(100) 방향으로 손을 내밀거나 스마트폰 본체(100) 방향으로 고개를 돌리거나 스마트폰 본체(100) 방향으로 시선을 던지는 동작패턴에 대응하여 설정되는 3D 디지털액터의 기본활동 정보는 활성화 대기모드 상태에서 앉아 있던 3D 디지털액터가 일어나는 동작과, 사용자에게 인사말을 건내는 음성 발화일 수 있다. 또한 스마트폰 본체(100)로부터 손을 거두거나 스마트폰 본체(100)로부터 고개를 돌리거나 스마트폰 본체(100)에서 시선을 돌리는 동작패턴에 대응하여 설정되는 3D 디지털액터의 기본활동 정보는 활성화 모드 상태에서 서있던 3D 디지털액터가 앉는 동작과, 사용자에게 "활성화 대기모드 상태로 전환하겠습니다"라는 안내공지문 형식의 음성 발화일 수 있으며, 스마트폰 본체(100)로부터 손을 거두거나 스마트폰 본체(100)로부터 고개를 돌리거나 스마트폰 본체(100)에서 시선을 돌리는 동작패턴에 대응하여 설정되는 3D 디지털액터의 반응활동 정보는 사용자에게 "스마트 폰을 끌까요, 아니면 대기모드 상태로 전환할까요"라는 질문 형식의 음성 발화일 수 있다. The user operation pattern information includes an operation pattern for extending a hand toward the smartphone body 100 or for turning the head toward the smartphone body 100 or throwing a line of sight toward the smartphone body 100, An operation pattern for turning the head from the smartphone body 100 or turning the eyes from the smartphone body 100, a motion pattern for nodding the head up and down, a motion pattern for shaking the head from side to side, An operation pattern for inserting a hand pod behind the head, an operation pattern for inserting an ankle, and the like. The basic activity information / reaction activity information of the 3D digital actor corresponding to a bar (body language) Is set. For example, the basic structure of a 3D digital actor, which is set corresponding to an operation pattern of extending a hand toward the smartphone body 100 or turning the head toward the smartphone body 100 or throwing a line of sight toward the smartphone body 100, The activity information may be an action in which the 3D digital actor sitting in the active standby mode occurs and a voice utterance that greets the user. Also, the basic activity information of the 3D digital actor, which is set in correspondence with an operation pattern of picking up hands from the smartphone body 100 or turning the head from the smartphone body 100 or turning the eyes of the smartphone body 100, The 3D digital actor standing in the state of the smartphone body 100 may be seated and the user may be informed of a voice announcement form of " The response activity information of the 3D digital actor that is set in response to an operation pattern for turning the head from the smart phone body 100 or turning the head from the smartphone body 100 may be displayed in a question format of "Do you want to turn off the smartphone or switch to the standby mode? Lt; / RTI >

그리고 사용자 표정패턴 정보에는 다양한 감정을 표현하는 표정(화난 표정, 기쁜 표정, 슬픈 표정, 괴로운 표정, 당황한 표정 등)이 포함될 수 있으며, 각 표정패턴이 통상적으로 의미하는 바(신체언어)에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 것이다. 예를 들어 당황한 표정에 대응하여 설정되는 3D 디지털액터의 반응활동 정보는 터치패널(200)에 디스플레이되어 있는 3D 가상공간(800) 상에서 사용자 방향으로 3D 디지털액터가 다가오는 동작과, 사용자에게 "혹시 문제가 있으신가요"라는 질문 형식의 음성 발화일 수 있다.The user's facial expression pattern information may include facial expressions (an angry facial expression, a happy facial expression, a sad facial expression, a bad facial expression, a frustrated facial expression, and the like) expressing various emotions and may correspond to a body language The basic activity information / reaction activity information of the 3D digital actor is set. For example, the reaction activity information of the 3D digital actor set corresponding to the embarrassed expression may be an action of the 3D digital actor approaching the user in the 3D virtual space 800 displayed on the touch panel 200, Is there a voice in the form of a question?

또한 사용자 음성패턴 정보에는 다양한 언어표현이 포함될 수 있으며, 각 언어표현에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 것이다.Also, the user voice pattern information may include various language expressions, and the basic activity information / reaction activity information of the 3D digital actors corresponding to each language expression is set.

영상분석유닛(720a)은 카메라모듈(400)의 사용자 영상정보를 전달받게 되는 것으로, 사용자 영상정보에 대한 영상 특성분석으로 사용자 동작정보패턴 정보 및 사용자 표정패턴 정보를 검출하게 된다. 이를 위하여 영상분석유닛(720a)에는 영상 패턴인식 기반 동작패턴 검출알고리즘, 영상 패턴인식 기반 표정패턴 검출알고리즘이 구비될 수 있다.The image analysis unit 720a receives user image information of the camera module 400 and detects user operation information pattern information and user facial expression pattern information by analyzing image characteristics of the user image information. For this, the image analysis unit 720a may be equipped with an image pattern recognition based motion pattern detection algorithm and an image pattern recognition based face pattern detection algorithm.

음성분석유닛(720b)은 음성인식 모듈(500)의 사용자 음성정보를 전달받게 되는 것으로, 사용자 음성정보에 대한 음성 특성분석으로 사용자 음성패턴 정보를 검출하게 된다. 여기서 사용자 음성패턴 정보에는 사용자 음성정보의 의미 내용, 음성 크기, 음성 톤이 포함되는데, 이를 위하여 음성분석유닛(720b)은 자연어 음성인식 알고리즘을 구비하여 사용자 음성정보의 의미 내용이 검출되도록 하는 한편, 음성 물성치 검출 알고리즘을 구비하여 음성 크기와 음성 톤이 검출되도록 한다.The voice analysis unit 720b receives the user voice information of the voice recognition module 500 and detects the user voice pattern information by analyzing the voice characteristics of the user voice information. In this case, the user voice pattern information includes meaning contents, voice size, and voice tone of the user voice information. For this purpose, the voice analysis unit 720b includes a natural voice recognition algorithm to detect the meaning content of the user voice information, And a voice property detection algorithm is provided so that voice size and voice tone are detected.

움직임분석유닛(720c)은 스마트폰 움직임정보 검출모듈(600)의 스마트폰 움직임정보를 전달받게 되고, 스마트폰 움직임정보에 대한 움직임 특성분석으로 스마트폰 움직임패턴 정보를 검출하게 된다. 여기서 스마트폰 움직임패턴 정보에는 스마트폰을 손으로 잡는 상황에 대응하는 움직임패턴 정보, 스마트폰이 특정 지점에 놓여지는 상황에 대응하는 움직임패턴 정보, 스마트폰을 흔드는 행위에 대응하는 움직임패턴 정보, 스마트폰을 특정방향으로 이동시키는 행위에 대응하는 움직임패턴 정보 등이 포함될 수 있다.The motion analysis unit 720c receives the smartphone motion information of the smartphone motion information detection module 600 and detects the smartphone movement pattern information by analyzing the motion characteristics of the smartphone motion information. Herein, the smartphone movement pattern information includes movement pattern information corresponding to a situation where a smartphone is held by hand, movement pattern information corresponding to a situation where the smartphone is placed at a specific point, movement pattern information corresponding to an action shaking the smartphone, Movement pattern information corresponding to an action of moving the phone in a specific direction, and the like.

디지털액터 활동제어유닛(730)은 영상분석유닛(720a)과 음성분석유닛(720b) 및 움직임분석유닛(720c)으로부터 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 전달받는 한편, 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보를 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)를 검색하여 검출하는 것으로, 검출된 3D 디지털액터의 기본활동 정보/반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 된다.The digital actor activity control unit 730 receives user operation information pattern information, user appearance pattern information, user voice pattern information, smartphone movement pattern 720b, and user authentication information from the image analysis unit 720a, the voice analysis unit 720b and the motion analysis unit 720c, Information on the basic activity information / reaction activity information of the 3D digital actor corresponding to the user operation information pattern information, the user facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information is stored in the digital actor activity information DB The digital actor activity information DB 710a for each voice pattern, the digital actor activity information DB 710b for each expression pattern, the digital actor activity information DB 710c for each voice pattern, and the digital actor activity information DB 710d for each smartphone movement pattern, The basic activity / reaction activity of the 3D digital actor is controlled according to the basic activity information / reaction activity information of the 3D digital actor.

한편 본 발명의 실시예에 따른 디지털액터 활동제어유닛(730)은 도 6에서와 같이 로그인 운용제어유닛(730a), 활성화 스마트폰 운용제어유닛(730b), 실행 애플리케이션 운용제어유닛(730c), 스마트폰 종료제어유닛(730d)을 구비하여 활성화 대기모드, 활성화 모드, 애플리케이션 실행모드, 스마트폰 종료모드를 제어하게 된다.6, the digital actor activity control unit 730 according to the embodiment of the present invention includes a login operation control unit 730a, an activated smartphone operation control unit 730b, an execution application operation control unit 730c, And a phone termination control unit 730d to control the activation standby mode, the activation mode, the application execution mode, and the smartphone termination mode.

즉 활성화 대기모드 운용 서브모듈(700a)의 디지털액터 활동제어유닛(730)은 사용자의 스마트폰 활성화 의도로 추정되는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 로그인 운용제어유닛(730a)을 통해 활성화 대기모드용 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 된다. 여기서 로그인 운용제어유닛(730a)은 생체인식형 로그인 프로세스, 터치동작 패턴입력형 로그인 프로세스, 비밀번호 입력형 로그인 프로세스 군 중에서 선택된 어느 하나의 로그인 프로세스의 선택을 3D 디지털액터가 유도하도록 하고, 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 로그인 프로세스를 운용하게 된다.That is, the digital actor activity control unit 730 of the active standby mode operating sub-module 700a determines whether or not the user's operation information pattern information, the user's facial expression pattern information, the user voice pattern information, Through the login operation control unit 730a when input from the camera module 400, the voice recognition module 500, and the smartphone motion information detection module 600, the basic activity information of the 3D digital actor for activation standby mode and the reaction activity It controls the basic activity / reaction activity of 3D digital actors according to the information. Here, the login operation control unit 730a allows the 3D digital actor to select one of the login processes selected from the biometric type login process, the touch operation pattern input type login process, and the password input type login process group, The login process is operated by an interactive reaction / feedback operation by mutual conversation with the user and automatic recognition of user operation information pattern information / user facial expression pattern information / smartphone movement pattern information.

그리고 활성화 모드 운용 서브모듈(700b)의 디지털액터 활동제어유닛(730)은 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 활성화 스마트폰 운용제어유닛(730b)을 통해 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 된다. 여기서 활성화 스마트폰 운용제어유닛(730b)은 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드를 운용하게 된다.The digital actor activity control unit 730 of the active mode operating submodule 700b may further include user action information pattern information corresponding to the application search mode, application selection mode, smartphone setting mode, user facial pattern information, user voice pattern information, When the smartphone movement pattern information is input from the camera module 400, the voice recognition module 500 and the smartphone motion information detection module 600, the application search mode, the application selection mode , The basic activity / reaction activity of the 3D digital actor is controlled according to the basic activity information and the reaction activity information of the 3D digital actor set according to the smartphone setting mode. Here, the activated smartphone operation control unit 730b may be configured to allow the 3D digital actor to perform an application / interaction operation by interactively interacting with a user and by an active reaction / feedback operation by automatic recognition of user operation information pattern information / user facial pattern information / Search mode, application selection mode, and smartphone setting mode.

또한 애플리케이션 실행모드 운용 서브모듈(700c)의 디지털액터 활동제어유닛(730)은 애플리케이션 조작 모드와 정보입력 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 실행 애플리케이션 운용제어유닛(730c)을 통해 애플리케이션 조작 모드와 정보입력 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 된다. 여기서 실행 애플리케이션 운용제어유닛(730c)은 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 애플리케이션 조작 모드와 정보입력 모드 및 애플리케이션 정보출력 모드를 운용하게 된다.In addition, the digital actor activity control unit 730 of the application execution mode operating sub-module 700c includes user action information pattern information corresponding to the application operation mode and the information input mode, user facial pattern information, user voice pattern information, Information is input from the camera module 400, the voice recognition module 500, and the smartphone motion information detection module 600 through the execution application operation control unit 730c, The basic activity / reaction activity of the 3D digital actor is controlled according to the basic activity information and the reaction activity information of the actor. Here, the execution application operation control unit 730c performs the application operation control by the 3D digital actor by interactively interacting with the user and by an active reaction / feedback operation by the automatic recognition of user operation information pattern information / user facial expression pattern information / smartphone movement pattern information Mode, an information input mode, and an application information output mode.

스마트폰 종료모드 운용 서브모듈(700d)의 디지털액터 활동제어유닛(730)은 스마트폰 종료 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 스마트폰 종료제어유닛(730d)을 통해 스마트폰 종료 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 된다. 여기서 스마트폰 종료제어유닛(730d)은 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 스마트폰 종료 모드를 운용하게 된다.The digital actor activity control unit 730 of the smartphone termination mode operating sub-module 700d receives the user operation information pattern information, the user's facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information corresponding to the smartphone end mode, The basic activity information of the 3D digital actor set in accordance with the smartphone shutdown mode through the smartphone end control unit 730d upon input from the module 400, the voice recognition module 500 and the smartphone motion information detection module 600, Based on the reaction activity information, the basic activity / reaction activity of the 3D digital actor is controlled. Here, the smartphone end control unit 730d determines whether or not the 3D digital actor is a smart phone by the interactive reaction / feedback operation by the interaction with the user and automatic recognition of the user operation information pattern information / user facial expression pattern information / End mode.

한편 3D 디지털액터는 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)의 설정에 의해 구현되는데, 이를 위하여 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(700)은 도 7에서와 같이 프로토타입 디지털액터 설정유닛(740), 프로토타입 디지털액터 세분화 설정유닛(750), 3D 디지털액터 선정유닛(760), 3D 디지털액터 연령/감정상태 설정유닛(770)을 구비하게 된다.Meanwhile, the 3D digital actor is implemented by setting basic shape information / mode image information / motion picture information and actor characteristic information (including behavior characteristic information / language characteristic information / reaction characteristic information). For this purpose, The digital actor interface operating program module 700 includes a prototype digital actor setting unit 740, a prototype digital actor segmentation setting unit 750, a 3D digital actor selecting unit 760, a 3D digital actor age / The emotion state setting unit 770 is provided.

프로토타입 디지털액터 설정유닛(740)은 복수의 프로토타입 3D 디지털액터에 대한 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 설정되도록 하는 유닛이다. 프로토타입 디지털액터는 현재까지 개발된 컴퓨터그래픽 기술, 특히 게임 캐릭터 모델링기술을 기반으로 순수 컴퓨터그래픽 기법만으로 현실의 인간과 구분되지 않을 정도의 사실감을 가지도록 구현된다. 한편 도 8에는 프로토타입 3D 디지털액터가 가질 수 있는 양태이미지가 예시되어 있다. 특히 본 발명의 실시예에 따른 프로토타입 디지털액터 설정유닛(740)은 성격 특성, 국적 특성, 인종 특성을 포함하는 디지털액터 분류 특성 별로 복수의 프로토타입 3D 디지털액터가 각각 설정되도록 한다. 여기서 성격 특성에는 무뚝뚝한 성격, 수줍음이 많은 성격,애교가 많은 성격 등이 포함될 수 있으며, 국적 특성에는 한국, 일본, 중국, 러시아, 미국, 영국, 프랑스, 이집트, 이란 등이 포함될 수 있고, 인종 특성에는 황인종, 흑인종, 백인종 등이 포함될 수 있다.The prototype digital actor setting unit 740 sets basic shape information / mode image information / motion picture information and actor characteristic information (including behavior characteristic information / language characteristic information / reaction characteristic information) for a plurality of prototype 3D digital actors . The prototype digital actor is realized with pure computer graphics technique based on the computer graphic technology developed until now, especially the game character modeling technology, so as to have realism that is indistinguishable from the real human being. On the other hand, FIG. 8 illustrates an aspect image that a prototype 3D digital actor may have. In particular, the prototype digital actor setting unit 740 according to the embodiment of the present invention allows a plurality of prototype 3D digital actors to be set for each of the digital actor classification characteristics including personality characteristics, nationality characteristics, and race characteristics. Here, personality characteristics can include blunt personality, shy personality, charming personality, and national characteristics can include Korea, Japan, China, Russia, USA, UK, France, Egypt, Iran, May include yellow, black, and white people.

프로토타입 디지털액터 세분화 설정유닛(750)은 각 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)를 해당 프로토타입 3D 디지털액터의 연령 대와 감정상태 별로 구분되게 설정되도록 하는 유닛이다. 여기서 연령 대에는 영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대가 포함될 수 있으며, 감정상태에는 기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태 등이 포함될 수 있다.The prototype digital actor segmentation setting unit 750 sets basic prototype 3D digital actor basic shape information / mode image information / motion picture information and actor characteristic information (including behavior characteristic information / language characteristic information / reaction characteristic information) Type 3D digital actors by the age group and the emotion state. Here, the age group may include infants, children, teenagers, 20s, 30s, 40s, 50s, 60s, 70s. The emotional state may include a happy emotional state, an angry emotional state, a sad emotional state, , A boring emotional state, a painful emotional state, and the like.

3D 디지털액터 선정유닛(760)은 복수의 프로토타입 3D 디지털액터를 터치패널(200)에 디스플레이시키고, 사용자로부터 입력되는 프로토타입 3D 디지털액터 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터를 선정하게 되는 유닛이다. 여기서 본 발명의 실시예에 따른 3D 디지털액터 선정유닛(760)은 디지털액터 분류 특성 별 복수의 프로토타입 3D 디지털액터를 터치패널(200)에 디스플레이시켜 프로토타입 3D 디지털액터 선택정보를 사용자로부터 입력받게 된다.The 3D digital actor selecting unit 760 displays a plurality of prototype 3D digital actors on the touch panel 200 and selects a 3D digital actor to perform the computer interface function according to the prototype 3D digital actor selection information input from the user . The 3D digital actor selection unit 760 according to the embodiment of the present invention displays a plurality of prototype 3D digital actors according to the digital actor classification characteristics on the touch panel 200 to receive prototype 3D digital actor selection information from the user do.

3D 디지털액터 연령/감정상태 설정유닛(770)은 선정된 3D 디지털액터의 연령 선택메뉴(영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대 등의 연령 선택)와 감정상태 선택메뉴(기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태 등의 감정상태 선택)를 터치패널(200)에 디스플레이시키고, 사용자로부터 입력되는 연령 선택정보와 감정상태 선택정보에 따라 컴퓨터 인터페이스 기능을 수행할 3D 디지털액터의 연령 대와 감정상태를 설정하게 되는 유닛이다.The 3D digital actor age / emotion state setting unit 770 sets the age / emotion state of the selected 3D digital actor based on the age selection menu (infant, child, teen, 20s, 30s, 40s, 50s, 60s, Selection of an emotion state selection menu (selection of emotion states such as a happy emotion state, an anger feeling state, a sad emotion state, a pleasant emotion state, a boring emotion state, and a painful emotion state) on the touch panel 200, And sets the age and emotion state of the 3D digital actor to perform the computer interface function according to the input age selection information and the emotion state selection information.

이를 통해 디지털액터 인터페이스 운용프로그램 모듈(700)은 3D 디지털액터가 영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대를 포함하는 연령 대 별로 구현되도록 하거나, 기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태를 포함하는 감정상태 별로 구현되도록 한다.Accordingly, the digital actor interface operating program module 700 enables the 3D digital actors to be implemented for each age group including infants, children, teenagers, 20s, 30s, 40s, 50s, 60s, and 70s, An emotional state including a happy emotional state, an angered emotional state, a sad emotional state, a pleasant emotional state, a boring emotional state, and a painful emotional state.

상기와 같은 3D 디지털액터 구현 기술구성에는 본 발명자에 의해 출원된 특허출원번호 제10-2015-0059715호 "영상컨텐츠 적용 디지털액터의 운용방법"에 기재되어 있는 3D 디지털액터 관련구성이 적용될 수 있다.The 3D digital actor-related configuration described above can be applied to the 3D digital actor-related configuration described in Patent Application No. 10-2015-0059715 "Method of Operating Digital Content Actors Applicable to Image Content" filed by the present inventor.

여기서 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(700)은 도 9에서와 같이 3D 가상공간 설정유닛(780a), 3D 가상공간 출력유닛(780b), 3D 디지털액터 가상공간 구현유닛(780c)을 구비하여 터치패널(200)에 디스플레이되는 3D 가상공간(800)에서 3D 디지털액터가 다양한 동작을 구사하도록 한다.9, the digital actor interface operating program module 700 according to the embodiment of the present invention includes a 3D virtual space setting unit 780a, a 3D virtual space output unit 780b, a 3D digital actor virtual space implementing unit 780c So that the 3D digital actor can perform various operations in the 3D virtual space 800 displayed on the touch panel 200. [

3D 가상공간 설정유닛(780a)은 컴퓨터그래픽에 의한 3D 가상공간(800)을 설정하여 생성시키는 유닛으로, 3D 가상공간(800)도 3D 디지털액터와 마찬가지로 현재까지 개발된 컴퓨터그래픽 기술을 기반으로 현실 공간과 구분되지 않을 정도의 사실감을 가지도록 구현될 수 있으며, 이와 달리 순수 가상공간으로 구현될 수도 있다.The 3D virtual space setting unit 780a is a unit for setting and generating a 3D virtual space 800 by computer graphics. The 3D virtual space 800 is also a unit for generating a 3D virtual space 800 based on computer graphics technology It can be realized to have a realism that is indistinguishable from the space, or alternatively it can be realized as a pure virtual space.

3D 가상공간 출력유닛(780b)은 스마트폰 본체(100) 구동시 터치패널(200)의 화면창으로 3D 가상공간(800)을 디스플레이하게 되는 유닛이며, 3D 디지털액터 가상공간 구현유닛(780c)은 터치패널(200)의 화면창으로 출력된 3D 가상공간(800)에 3D 디지털액터를 설정 동작패턴 및 설정 이동패턴으로 구현시키는 유닛이다.The 3D virtual space output unit 780b is a unit for displaying the 3D virtual space 800 on the screen window of the touch panel 200 when the smartphone body 100 is driven, A unit for implementing a 3D digital actor in a 3D virtual space 800 output to a screen window of the touch panel 200 in a setting operation pattern and a setting movement pattern.

한편 본 발명의 실시예에 따른 디지털액터 인터페이스 운용프로그램 모듈(700)의 디지털액터 활동제어유닛(730)은 도 10에서와 같이 디지털액터 기본활동정보 설정 서브유닛(731)과 디지털액터 반응활동정보 설정 서브유닛(732)을 포함하는 구성으로 이루어질 수 있다.10, the digital actor activity control unit 730 of the digital actor interface operation program module 700 according to the embodiment of the present invention includes the digital actor basic activity information setting sub-unit 731 and the digital actor reaction activity information setting And a sub-unit 732 as shown in FIG.

디지털액터 기본활동정보 설정 서브유닛(731)은 운영체제/애플리케이션의 시동, 메뉴 컨텐츠 확인 및 선택, 선택된 메뉴 컨텐츠의 활성화, 메타데이터 제공, 도움말 제공, 환경설정을 위하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 기본활동 정보로 설정하고, 설정된 기본활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c)에 저장하게 되는 것이다.The digital actor basic activity information setting subunit 731 is a unit for setting an action to be performed by the 3D digital actor for starting an operating system / application, checking and selecting menu contents, activating selected menu contents, providing metadata, A voice actuation information DB 710a for each action pattern, a digital per-action pattern information 710a, The actor activity information DB 710b, and the digital actor activity information DB 710c for each voice pattern.

디지털액터 반응활동정보 설정 서브유닛(732)은 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보 및 스마트폰 본체(100)에 연결된 입력장치에서의 사용자 입력정보에 대응하여 3D 디지털액터가 수행하게 될 동작과 음성 발화를 반응활동 정보로 설정하게 되고, 설정된 반응활동 정보를 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보에 각각 연동시켜 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c)에 저장하게 되는 것이다. 여기서 입력장치에서의 사용자 입력정보는 마우스에 의한 신호입력과 키보드에 의한 신호입력을 포함하는 입력장치 조작신호로 이루어진다.The digital actor reaction activity information setting subunit 732 is a unit for setting the reaction state of the 3D digital actor to correspond to the user operation information pattern information, the user facial expression pattern information, the user voice pattern information, and the user input information in the input device connected to the smartphone body 100 And sets the action activity information to be performed as the reaction activity information. The set reaction activity information is linked to the user action information pattern information, the user face pattern information, and the user voice pattern information to generate a digital actor activity information DB 710a ), The digital actor activity information DB 710b for each facial pattern, and the digital actor activity information DB 710c for each voice pattern. Here, the user input information in the input device is composed of an input device operation signal including a signal input by a mouse and a signal input by a keyboard.

한편 디지털액터 반응활동정보 설정 서브유닛(732)은 사용자 음성패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 음성패턴정보 대응 기본 반응활동 정보 설정 서브유닛(7321), 사용자 음성패턴정보에 포함된 음성 크기와 음성 톤 별 부가 반응활동 정보를 설정하는 음성패턴정보 대응 부가 반응활동 정보 설정 서브유닛(7322), 사용자 동작패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 동작패턴정보 대응 기본 반응활동 정보 설정 서브유닛(7323), 사용자 동작패턴정보에 포함된 동작 크기와 동작 속도 별 부가 반응활동 정보를 설정하는 동작패턴정보 대응 부가 반응활동 정보 설정 서브유닛(7324), 사용자 표정패턴정보에 포함된 메시지 내용 별 기본 반응활동 정보를 설정하는 표정패턴정보 대응 기본 반응활동 정보 설정 서브유닛(7325), 사용자 표정패턴정보에 포함된 표정 변화 패턴과 표정 변화속도 별 부가 반응활동 정보를 설정하는 표정패턴정보 대응 부가 반응활동 정보 설정 서브유닛(7326), 스마트폰 움직임 패턴정보 별 기본 반응활동 정보를 설정하는 움직임패턴정보 대응 기본 반응활동 정보 설정 서브유닛(7327), 스마트폰 움직임 패턴정보 별 부가 반응활동 정보를 설정하는 움직임패턴정보 대응 부가 반응활동 정보 설정 서브유닛(7328)을 포함하는 구성으로 이루어지게 된다.On the other hand, the digital actor reaction activity information setting sub-unit 732 includes a voice pattern information corresponding basic reaction activity information setting sub-unit 7321 for setting basic reaction activity information for each message content included in the user voice pattern information, A voice pattern information counterpart reaction action information setting subunit 7322 for setting the voice activity information for each voice tone and the voice activity information for each voice tone included in the user action pattern information, A reaction action information setting subunit 7324, an action pattern information counterpart unit 7324, an action pattern information corresponding subunit 7324, Basic response to each message contained in information Information to set activity information Facial pattern information Corresponding basic reaction activity information A correcting sub-unit 7325, a reaction-pattern-information-corresponding reaction-action-information-setting subunit 7326 for setting a facial expression change pattern included in the user facial expression pattern information and additional reaction activity information for each facial expression change rate, A movement pattern information corresponding basic reaction activity information setting subunit 7327 for setting basic reaction activity information, a movement pattern information corresponding reaction activity information correspondence setting reaction activity information setting subunit 7328 for setting additional reaction activity information for each smartphone movement pattern information As shown in FIG.

이와 같은 디지털액터 활동제어유닛(730)의 디지털액터 기본활동정보 설정 서브유닛(731)과 디지털액터 반응활동정보 설정 서브유닛(732)은 3D 디지털액터가 수행할 동작이 질문 동작과 답변 동작으로 설정되도록 하는 한편, 3D 디지털액터가 수행하게 될 음성 발화가 질문 발화와 답변 발화로 설정되도록 함으로써 사용자와의 상호 대화에 의해 3D 디지털액터가 컴퓨터 인터페이스 기능을 수행하도록 할 수 있다. 물론 3D 디지털액터가 수행할 동작에는 질문 동작과 답변 동작 이외의 동작이 포함될 수 있으며, 3D 디지털액터가 수행하게 될 음성 발화에도 질문 발화와 답변 발화 이외의 발화가 포함될 수 있다.The digital actor basic activity information setting subunit 731 and the digital actor reaction activity information setting subunit 732 of the digital actor activity control unit 730 are configured such that the action to be performed by the 3D digital actor is set as a question action and a response action While voice utterances to be performed by the 3D digital actors are set to a question utterance and an answer utterance so that a 3D digital actor can perform a computer interface function by interacting with a user. Of course, the operations to be performed by the 3D digital actors may include operations other than the question operation and the response operation. Speech utterance to be performed by the 3D digital actor may include utterances other than the question utterance and the answer utterance.

한편 상기와 같은 3D 디지털액터 운용 기술구성에는 본 발명자에 의해 출원된 특허출원번호 제10-2016-0116385호 "3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법"에 기재되어 있는 3D 디지털액터 관련구성이 적용될 수 있다.On the other hand, the 3D digital actor related technology configuration described in the patent application No. 10-2016-0116385 entitled " Method of Providing Intelligent User Interface by 3D Digital Actor "filed by the present inventor is applied .

상기와 같이 구성된 본 발명의 실시예에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템은 스마트폰 본체(100)에 설치되는 디지털액터 인터페이스 운용프로그램 모듈(700)에 의해 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 터치패널(200)의 화면창에 디스플레이된 3D 가상공간(800) 내에 위치하도록 하고, 음성인식 모듈(500)에 의한 음성인식을 기반으로 3D 디지털액터가 사용자와 상호 대화하거나, 카메라모듈(400)과 음성인식 모듈(500) 및 스마트폰 움직임정보 검출모듈(600)에 의한 영상인식과 음성인식 및 스마트폰 움직임인식을 기반으로 3D 디지털액터가 사용자의 현재 동작이나 현재 표정 또는 사용자 조작에 의한 스마트폰 움직임을 자동인식하여 능동적으로 리액션/피드백 동작이나 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하도록 하므로, 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 컴퓨터 작업시 사용자의 흥미유발과 몰입도를 극대화시킬 수 있게 된다. 또한 본 발명의 실시예에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템은 디지털액터 인터페이스 운용프로그램 모듈(700)에 구비되는 프로토타입 디지털액터 설정유닛(740)과 프로토타입 디지털액터 세분화 설정유닛(750)에 의해 프로토타입 3D 디지털액터의 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)가 성격 특성, 국적 특성, 인종 특성, 연령 대, 감정상태 별로 구분되게 설정되도록 한 다음, 사용자에 의해 특정 3D 디지털액터가 선택되도록 하므로, 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 되어 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있게 된다.The 3D digital actor-type smartphone interface operating system according to the embodiment of the present invention configured as described above is constructed by the digital actor interface operating program module 700 installed in the smartphone main body 100, The 3D digital actor implemented as a real feeling is positioned in the 3D virtual space 800 displayed on the screen window of the touch panel 200 and the 3D digital actor is placed in the 3D virtual space 800 displayed on the touch panel 200 based on the voice recognition by the voice recognition module 500 Or a 3D digital actor based on the image recognition, the voice recognition, and the smartphone motion recognition by the camera module 400, the voice recognition module 500 and the smartphone motion information detection module 600, By automatically recognizing smartphone movements by facial expression or user manipulation, we actively perform reaction / feedback operation or voice utterance virtually Because through the process to perform a user interface (user interface) functionality, the artificiality of the digital environment, it is possible to humanize, it is also possible to maximize the cause of the computer users working interest and commitment. The 3D digital actor type smartphone interface operating system according to an embodiment of the present invention includes a prototype digital actor setting unit 740 and a prototype digital actor detail setting unit 750 included in the digital actor interface operating program module 700, (Including behavioral information, language characteristic information, and reaction characteristic information) of the prototype 3D digital actor are classified into three categories: personality characteristic, nationality characteristic, race characteristic, age group, A 3D digital actor having various characteristics based on age, emotion state, personality, nationality, race, and the like according to a user's preference, User-customized, so that the demands of different users and the various diverse needs of the users are effectively accepted It is possible.

상술한 바와 같은, 본 발명의 실시예에 따른 3D 디지털 액터형 스마트폰 인터페이스 운용시스템을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.Although the 3D digital actor-type smartphone interface operating system according to the embodiment of the present invention has been described above with reference to the above description and drawings, it should be understood that the present invention is not limited to the above- It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention.

100 : 스마트폰 본체
110 : 운영체제
120 : 애플리케이션
200 : 터치패널
300 : 음성출력모듈
400 : 카메라모듈
500 : 음성인식 모듈
600 : 스마트폰 움직임정보 검출모듈
610 : 가속도 센서
620 : 자이로 센서
630 : 지자계 센서
700 : 디지털액터 인터페이스 운용프로그램 모듈
700a : 활성화 대기모드 운용 서브모듈
700b : 활성화 모드 운용 서브모듈
700c : 애플리케이션 실행모드 운용 서브모듈
700d : 스마트폰 종료모드 운용 서브모듈
710a : 동작패턴 별 디지털액터 활동정보 DB
710b : 표정패턴 별 디지털액터 활동정보 DB
710c : 음성패턴 별 디지털액터 활동정보 DB
710d : 스마트폰 움직임패턴별 디지털액터 활동정보 DB
720a : 영상분석유닛
720b : 음성분석유닛
720c : 움직임분석유닛
730 : 디지털액터 활동제어유닛
730a : 로그인 운용제어유닛
730b : 활성화 스마트폰 운용제어유닛
730c : 실행 애플리케이션 운용제어유닛
730d : 스마트폰 종료제어유닛
731 : 디지털액터 기본활동정보 설정 서브유닛
732 : 디지털액터 반응활동정보 설정 서브유닛
7321 : 음성패턴정보 대응 기본 반응활동 정보 설정 서브유닛
7322 : 음성패턴정보 대응 부가 반응활동 정보 설정 서브유닛
7323 : 동작패턴정보 대응 기본 반응활동 정보 설정 서브유닛
7324 : 동작패턴정보 대응 부가 반응활동 정보 설정 서브유닛
7325 : 표정패턴정보 대응 기본 반응활동 정보 설정 서브유닛
7326 : 표정패턴정보 대응 부가 반응활동 정보 설정 서브유닛
7327 : 움직임패턴정보대응 기본 반응활동정보 설정 서브유닛
7328 : 움직임패턴정보대응 부가 반응활동정보 설정 서브유닛
740 : 프로토타입 디지털액터 설정유닛
750 : 프로토타입 디지털액터 세분화 설정유닛
760 : 3D 디지털액터 선정유닛
770 : 3D 디지털액터 연령/감정상태 설정유닛
780a : 3D 가상공간 설정유닛
780b : 3D 가상공간 출력유닛
780c : 3D 디지털액터 가상공간 구현유닛
800 : 3D 가상공간100: Smartphone body
110: Operating system
120: Application
200: touch panel
300: Audio output module
400: camera module
500: Speech recognition module
600: Smartphone motion information detection module
610: Accelerometer
620: Gyro sensor
630: Earth magnetic sensor
700: Digital Actor Interface Operation Program Module
700a: Activation standby mode operation submodule
700b: Activation mode operating sub-module
700c: application execution mode operating submodule
700d: Smartphone shutdown mode operating submodule
710a: Digital Actor activity information DB by motion pattern
710b: Digital Actor Activity Information DB by Expression Pattern
710c: Digital Actor activity information DB by voice pattern
710d: Digital Actor activity information DB by smartphone movement pattern
720a: Image analysis unit
720b: voice analysis unit
720c: motion analysis unit
730: Digital Actor Activity Control Unit
730a: Login operation control unit
730b: Activation Smartphone Operation Control Unit
730c: Execution application operation control unit
730d: Smartphone termination control unit
731: Digital Actor basic activity information setting sub-unit
732: Digital Actor reaction activity information setting subunit
7321: Basic reaction activity information corresponding to voice pattern information setting sub-unit
7322: Response pattern information corresponding to the voice pattern information setting sub-unit
7323: Operation pattern information correspondence basic reaction activity information setting sub-unit
7324: Operation pattern information counterpart reaction activity information setting subunit
7325: Facial pattern information correspondence basic reaction activity information setting subunit
7326: Facial expression pattern information corresponding reaction action information setting subunit
7327: Base reaction activity information corresponding to movement pattern information setting sub-unit
7328: Response pattern information corresponding to the movement pattern information setting sub-unit
740: Prototype Digital Actor Setup Unit
750: Prototype digital actor segmentation setup unit
760: 3D Digital Actor Selection Unit
770: 3D digital actor age / emotion state setting unit
780a: 3D virtual space setting unit
780b: 3D virtual space output unit
780c: 3D Digital Actor Virtual Space Implementation Unit
800: 3D virtual space

Claims (6)

삭제delete 운영체제(110)와 애플리케이션(120)이 설치되어 구동되는 스마트폰 본체(100)와; 스마트폰 본체(100)와 연결되어 텍스트 정보와 영상 정보를 디스플레이하는 터치패널(200)과; 스마트폰 본체(100)에 연결되어 사운드 정보를 출력하는 음성출력모듈(300)과; 스마트폰 본체(100)에 설치되어 사용자 영상정보를 실시간 검출하게 되는 카메라모듈(400)과; 스마트폰 본체(100)에 설치되어 사용자 음성정보를 실시간 검출하게 되는 음성인식 모듈(500) 및; 스마트폰 본체(100)에 설치되고, 사용자에 의한 스마트폰 움직임 정보를 실시간 검출하게 되는 스마트폰 움직임정보 검출모듈(600);을 포함하되,
스마트폰 본체(100)에 설치되어 운영체제(110)와 애플리케이션(120)에 연동되고, 기초 형상정보/양태이미지 정보/동작 영상정보 및 액터 특성정보(행동특성 정보/언어특성 정보/반응특성 정보 포함)의 설정에 의해 구현되는 3D 디지털액터를 터치패널(200)에 디스플레이하여 운용하게 되되, 운영체제/애플리케이션이 제공하게 되는 모니터 출력정보, 음성출력모듈 출력정보, 정보입력 안내정보에 대응하는 3D 디지털액터의 기본활동 정보가 설정되며, 사용자의 정보 입력 및 운영체제/애플리케이션의 입력값 처리 프로세스에 대응하는 3D 디지털액터의 반응활동 정보가 설정되며, 활성화 대기모드, 활성화 모드, 애플리케이션 실행모드, 스마트폰 종료모드로 구분되어 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되어 운용되는 디지털액터 인터페이스 운용프로그램 모듈(700)을 포함하여,
디지털액터 인터페이스 운용프로그램 모듈(700)에 의해 구현되는 3D 디지털액터가 스마트폰 인터페이스 기능을 수행하도록 하고,
디지털액터 인터페이스 운용프로그램 모듈(700)은,
비활성화 상태의 스마트폰을 활성화시키기 위한 활성화 대기모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 활성화 대기모드 운용 서브모듈(700a)과; 스마트폰이 활성화되어 애플리케이션(120)의 운용이 가능하게 되는 활성화 모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 활성화 모드 운용 서브모듈(700b)과; 사용자의 선택으로 실행된 애플리케이션(120)을 운용하기 위한 애플리케이션 실행모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 애플리케이션 실행모드 운용 서브모듈(700c) 및; 스마트폰을 비활성화시키기 위한 스마트폰 종료모드에서의 3D 디지털액터의 기본활동 정보와 반응활동 정보가 설정되고 운용되는 스마트폰 종료모드 운용 서브모듈(700d)을 포함하는 구성으로 이루어지되,
활성화 대기모드 운용 서브모듈(700a), 활성화 모드 운용 서브모듈(700b), 애플리케이션 실행모드 운용 서브모듈(700c), 스마트폰 종료모드 운용 서브모듈(700d) 각각은,
복수의 사용자 동작패턴 정보 및 각 사용자 동작패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 동작패턴 별 디지털액터 활동정보 DB(710a)와; 복수의 사용자 표정패턴 정보 및 각 사용자 표정패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 표정패턴 별 디지털액터 활동정보 DB(710b)와; 복수의 사용자 음성패턴 정보 및 각 사용자 음성패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 음성패턴 별 디지털액터 활동정보 DB(710c)와; 복수의 스마트폰 움직임패턴 정보 및 각 스마트폰 움직임패턴 정보 별 3D 디지털액터의 기본활동 정보/반응활동 정보가 설정되는 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)와; 카메라모듈(400)의 사용자 영상정보를 전달받게 되고, 사용자 영상정보에 대한 영상 특성분석으로 사용자 동작정보패턴 정보 및 사용자 표정패턴 정보를 검출하게 되는 영상분석유닛(720a)과; 음성인식 모듈(500)의 사용자 음성정보를 전달받게 되고, 사용자 음성정보에 대한 음성 특성분석으로 사용자 음성패턴 정보를 검출하게 되는 음성분석유닛(720b)과; 스마트폰 움직임정보 검출모듈(600)의 스마트폰 움직임정보를 전달받게 되고, 스마트폰 움직임정보에 대한 움직임 특성분석으로 스마트폰 움직임패턴 정보를 검출하게 되는 움직임분석유닛(720c)과; 영상분석유닛(720a)과 음성분석유닛(720b) 및 움직임분석유닛(720c)으로부터 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 전달받게 되고, 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보에 대응하는 3D 디지털액터의 기본활동 정보/반응활동 정보를 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)를 검색하여 검출하게 되며, 검출된 3D 디지털액터의 기본활동 정보/반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되는 디지털액터 활동제어유닛(730)을 제어하면서 활성화 대기모드, 활성화 모드, 애플리케이션 실행모드, 스마트폰 종료모드를 운용하게 되는 것을 특징으로 하는 3D 디지털 액터형 스마트폰 인터페이스 운용시스템.A smartphone main body 100 in which an operating system 110 and an application 120 are installed and operated; A touch panel 200 connected to the smartphone body 100 to display text information and image information; An audio output module 300 connected to the smartphone body 100 to output sound information; A camera module 400 installed in the smartphone body 100 to detect user image information in real time; A voice recognition module 500 installed in the smartphone body 100 for detecting user voice information in real time; And a smartphone motion information detection module (600) installed in the smartphone body (100) for detecting smart phone motion information by a user in real time,
And is connected to the operating system 110 and the application 120 installed in the smartphone main body 100 and includes basic shape information / mode image information / motion picture information and actor characteristic information (behavior characteristic information / language characteristic information / reaction characteristic information The 3D digital actors corresponding to the monitor output information, the audio output module output information, and the information input guide information to be provided by the operating system / application are displayed on the touch panel 200, And the reaction activity information of the 3D digital actor corresponding to the process of inputting the information of the user and the input value processing process of the operating system / application is set, and the reaction activity information of the 3D digital actor is set in the activation standby mode, the activation mode, And the digital actor interface in which the basic activity information and reaction activity information of the 3D digital actors are set and operated Including the snapshot program module 700,
Allowing a 3D digital actor implemented by the digital actor interface operating program module 700 to perform a smartphone interface function,
The digital actor interface operating program module 700,
An active standby mode operation sub-module 700a in which basic activity information and reaction activity information of the 3D digital actors in the active standby mode for activating the inactive smart phone are set and operated; An activation mode operating sub-module 700b in which basic activity information and reaction activity information of a 3D digital actor in an active mode in which a smart phone is activated and an application 120 is enabled is set and operated; An application execution mode operating sub-module 700c in which basic activity information and reaction activity information of the 3D digital actors in the application execution mode for operating the application 120 executed at the user's selection are set and operated; And a smartphone termination mode operating sub-module 700d in which basic activity information and reaction activity information of the 3D digital actors in the smartphone termination mode for deactivating the smart phone are set and operated,
The activation standby mode operating sub-module 700a, the activation mode operating sub-module 700b, the application execution mode operating sub-module 700c, and the smartphone shutdown mode operating sub-
A digital actor activity information DB 710a for each action pattern in which basic activity information / reaction activity information of a 3D digital actor is set according to a plurality of user action pattern information and each user action pattern information; A digital actor activity information DB 710b for each facial expression pattern in which basic activity information / reaction activity information of the 3D digital actors is set according to a plurality of user facial expression pattern information and each user facial expression pattern information; A digital actor activity information DB 710c for each voice pattern in which a plurality of user voice pattern information and basic activity information / reaction activity information of a 3D digital actor for each user voice pattern information is set; A digital actor activity information DB 710d for each smartphone movement pattern in which a plurality of smartphone movement pattern information and basic activity information / reaction activity information of the 3D digital actors according to each smartphone movement pattern information are set; An image analysis unit 720a that receives user image information of the camera module 400 and detects user operation information pattern information and user facial expression pattern information by analyzing image characteristics of the user image information; A voice analysis unit 720b that receives the user voice information of the voice recognition module 500 and detects the user voice pattern information by analyzing voice characteristics of the user voice information; A motion analyzing unit 720c receiving the smartphone motion information of the smartphone motion information detecting module 600 and detecting the smartphone motion pattern information by analyzing motion characteristics of the smartphone motion information; User facial pattern information, user voice pattern information, and smartphone movement pattern information from the image analysis unit 720a, the voice analysis unit 720b and the motion analysis unit 720c, Information on the basic activity information / reaction activity information of the 3D digital actor corresponding to the pattern information, the user's facial expression pattern information, the user's voice pattern information, and the smartphone movement pattern information is stored in the digital actor activity information DB 710a, The digital activity information DB 710b for each voice pattern, the digital actor activity information DB 710c for each voice pattern, and the digital actor activity information DB 710d for each smartphone movement pattern are detected and detected, An activation mode, an activation mode, and an activation mode are controlled while controlling the digital actor activity control unit 730 that controls the basic activity / reaction activity of the 3D digital actors according to the activity information, An application execution mode, and a smartphone termination mode. 제 2항에 있어서,
활성화 대기모드 운용 서브모듈(700a)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는,
사용자의 스마트폰 활성화 의도로 추정되는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,
활성화 대기모드 운용 서브모듈(700a)의 디지털액터 활동제어유닛(730)은,
사용자의 스마트폰 활성화 의도로 추정되는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 로그인 운용제어유닛(730a)을 통해 활성화 대기모드용 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,
디지털액터 활동제어유닛(730)의 로그인 운용제어유닛(730a)은,
생체인식형 로그인 프로세스, 터치동작 패턴입력형 로그인 프로세스, 비밀번호 입력형 로그인 프로세스 군 중에서 선택된 어느 하나의 로그인 프로세스의 선택을 3D 디지털액터가 유도하도록 하고, 3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 로그인 프로세스를 운용하도록 하는 것임을 특징으로 하는 3D 디지털 액터형 스마트폰 인터페이스 운용시스템.3. The method of claim 2,
A digital actor activity information DB 710a for each action pattern of the activation standby mode operating submodule 700a, a digital actor activity information DB 710b for each expression pattern, a digital actor activity information DB 710c for each voice pattern, The individual digital actor activity information DB 710d,
The user operation pattern information, the user facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information, which are estimated by the user's intention to activate the smartphone,
The digital actor activity control unit 730 of the active standby mode operating submodule 700a,
The user operation information pattern information, the user facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information estimated by the user's intention to activate the smartphone are transmitted to the camera module 400, the voice recognition module 500, The basic activity / reaction activity of the 3D digital actor is controlled according to the basic activity information and the reaction activity information of the 3D digital actor for activation standby mode through the login operation control unit 730a,
The login operation control unit 730a of the digital actor activity control unit 730,
The 3D digital actor is allowed to select one of the login processes selected from the biometric type login process, the touch operation pattern input type login process, and the password input type login process, and the 3D digital actor performs the interaction with the user and the user action Wherein the login process is operated by an active reaction / feedback operation based on information pattern information / user facial expression pattern information / automatic recognition of smartphone movement pattern information. 제 2항에 있어서,
활성화 모드 운용 서브모듈(700b)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는,
애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,
활성화 모드 운용 서브모듈(700b)의 디지털액터 활동제어유닛(730)은,
애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 활성화 스마트폰 운용제어유닛(730b)을 통해 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,
디지털액터 활동제어유닛(730)의 활성화 스마트폰 운용제어유닛(730b)은,
3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 애플리케이션 찾기 모드, 애플리케이션 선택 모드, 스마트폰 설정 모드를 운용하도록 하는 것임을 특징으로 하는 3D 디지털 액터형 스마트폰 인터페이스 운용시스템.3. The method of claim 2,
The digital actor activity information DB 710a, the digital actor activity information DB 710b for each facial pattern, the digital actor activity information DB 710c for each voice pattern, The digital actor activity information DB 710d,
User operation pattern information, user facial expression pattern information, user voice pattern information, and smartphone movement pattern information corresponding to the application search mode, the application selection mode, and the smartphone setting mode,
The digital actor activity control unit 730 of the active mode operating sub-module 700b,
The user operation information pattern information, the user facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information corresponding to the application search mode, the application selection mode, and the smartphone setting mode are stored in the camera module 400, the voice recognition module 500, The basic activity information and reaction activity information of the 3D digital actor set in accordance with the application search mode, the application selection mode, and the smartphone setting mode through the activated smartphone operation control unit 730b, which is input from the smartphone motion information detection module 600, To control the basic activity / reaction activity of the 3D digital actor,
The activation smartphone operation control unit 730b of the digital actor activity control unit 730,
Application mode, application selection mode, smartphone setting mode by active interaction / feedback action by 3D digital actor interaction with user and user operation information pattern information / user facial pattern information / automatic recognition of smartphone movement pattern information And to operate the 3D digital actor-type smartphone interface operating system. 제 2항에 있어서,
애플리케이션 실행모드 운용 서브모듈(700c)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는,
실행된 애플리케이션의 사용을 위한 애플리케이션 조작 모드와 정보입력 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,
애플리케이션 실행모드 운용 서브모듈(700c)의 디지털액터 활동제어유닛(730)은,
애플리케이션 조작 모드와 정보입력 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 실행 애플리케이션 운용제어유닛(730c)을 통해 애플리케이션 조작 모드와 정보입력 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,
디지털액터 활동제어유닛(730)의 실행 애플리케이션 운용제어유닛(730c)은,
3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 애플리케이션 조작 모드와 정보입력 모드 및 애플리케이션 정보출력 모드를 운용하도록 하는 것임을 특징으로 하는 3D 디지털 액터형 스마트폰 인터페이스 운용시스템.3. The method of claim 2,
A digital actor activity information DB 710a for each action pattern of the application execution mode operating sub-module 700c, a digital actor activity information DB 710b for each face pattern, a digital actor activity information DB 710c for each voice pattern, The individual digital actor activity information DB 710d,
User operation pattern information, user facial expression pattern information, user voice pattern information, and smartphone movement pattern information corresponding to the application operation mode and the information input mode for use of the executed application are set,
The digital actor activity control unit 730 of the application execution mode operating sub-module 700c,
The user operation information pattern information, the user facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information corresponding to the application operation mode and the information input mode are stored in the camera module 400, the voice recognition module 500, Based on the basic activity information and the reaction activity information of the 3D digital actor set in accordance with the application operation mode and the information input mode through the execution application operation control unit 730c when inputting from the module 600, Respectively,
The execution application operation control unit 730c of the digital actor activity control unit 730,
The 3D digital actor is capable of interacting with the user and applying the application operation mode, the information input mode and the application information output mode by the active reaction / feedback operation by the user operation information pattern information / user facial pattern information / automatic recognition of the smartphone movement pattern information And to operate the 3D digital actor-type smartphone interface operating system. 제 2항에 있어서,
스마트폰 종료모드 운용 서브모듈(700d)의 동작패턴 별 디지털액터 활동정보 DB(710a), 표정패턴 별 디지털액터 활동정보 DB(710b), 음성패턴 별 디지털액터 활동정보 DB(710c), 스마트폰 움직임패턴별 디지털액터 활동정보 DB(710d)는,
스마트폰 종료 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보를 설정하게 되고,
스마트폰 종료모드 운용 서브모듈(700d)의 디지털액터 활동제어유닛(730)은,
스마트폰 종료 모드에 대응하는 사용자 동작정보패턴 정보, 사용자 표정패턴 정보, 사용자 음성패턴 정보, 스마트폰 움직임패턴 정보가 카메라모듈(400), 음성인식 모듈(500), 스마트폰 움직임정보 검출모듈(600)로부터 입력될 시 스마트폰 종료제어유닛(730d)을 통해 스마트폰 종료 모드에 맞추어 설정된 3D 디지털액터의 기본활동 정보와 반응활동 정보에 따라 3D 디지털액터의 기본활동/반응활동을 제어하게 되되,
디지털액터 활동제어유닛(730)의 스마트폰 종료제어유닛(730d)은,
3D 디지털액터가 사용자와의 상호 대화와 사용자 동작정보패턴 정보/사용자 표정패턴 정보/스마트폰 움직임패턴 정보의 자동인식에 의한 능동적 리액션/피드백 동작에 의해 스마트폰 종료 모드를 운용하도록 하는 것임을 특징으로 하는 3D 디지털 액터형 스마트폰 인터페이스 운용시스템.3. The method of claim 2,
The digital actor activity information DB 710a for each action pattern of the smartphone end mode operation sub-module 700d, the digital actor activity information DB 710b for each expression pattern, the digital actor activity information DB 710c for each voice pattern, The pattern-specific digital actor activity information DB 710d,
The user operation pattern information, the user facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information corresponding to the smartphone end mode are set,
The digital actor activity control unit 730 of the smartphone shutdown mode operating sub-module 700d,
The user operation information pattern information, the user facial expression pattern information, the user voice pattern information, and the smartphone movement pattern information corresponding to the smartphone end mode are transmitted to the camera module 400, the voice recognition module 500, the smartphone motion information detection module 600 The basic activity / reaction activity of the 3D digital actor is controlled according to the basic activity information and the reaction activity information of the 3D digital actor set in accordance with the smartphone end mode through the smartphone end control unit 730d when inputting from the smartphone end control unit 730d,
The smartphone termination control unit 730d of the digital actor activity control unit 730,
The 3D digital actor is configured to operate the smartphone termination mode by an interactive reaction / feedback operation based on mutual conversation with the user, user operation information pattern information / user facial pattern information / automatic recognition of smartphone movement pattern information 3D digital actor type smart phone interface operating system.
KR1020170032013A 2017-03-14 2017-03-14 Smart phone interface management system by 3D digital actor KR101894573B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170032013A KR101894573B1 (en) 2017-03-14 2017-03-14 Smart phone interface management system by 3D digital actor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170032013A KR101894573B1 (en) 2017-03-14 2017-03-14 Smart phone interface management system by 3D digital actor

Publications (1)

Publication Number Publication Date
KR101894573B1 true KR101894573B1 (en) 2018-09-04

Family

ID=63598189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170032013A KR101894573B1 (en) 2017-03-14 2017-03-14 Smart phone interface management system by 3D digital actor

Country Status (1)

Country Link
KR (1) KR101894573B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020118273A3 (en) * 2018-12-07 2020-07-16 Warner Bros. Entertainment Inc. Trip-configurable content
KR20220022631A (en) 2020-08-19 2022-02-28 동서대학교 산학협력단 Digital actor management system by replacement or linkage of real-world object based on VR-AR-MR
KR20220022630A (en) 2020-08-19 2022-02-28 동서대학교 산학협력단 Digital actor management system by replacement or linkage of real-world object
KR20220085945A (en) 2020-12-16 2022-06-23 동서대학교 산학협력단 Digital actor management system for offline advertizing and promotion
KR20220085947A (en) 2020-12-16 2022-06-23 동서대학교 산학협력단 Digital actor management system for application software
KR20220085946A (en) 2020-12-16 2022-06-23 동서대학교 산학협력단 Digital actor management system for tour guide
KR20230070850A (en) 2021-11-15 2023-05-23 동서대학교 산학협력단 Digital actor management system for EMAIL software
KR20230070858A (en) 2021-11-15 2023-05-23 동서대학교 산학협력단 Digital actor management system for Home automation
KR20230070833A (en) 2021-11-15 2023-05-23 동서대학교 산학협력단 Digital actor management system for exercise trainer
KR20230125925A (en) 2022-02-22 2023-08-29 동서대학교 산학협력단 Digital actor agency online platform system
KR20230125932A (en) 2022-02-22 2023-08-29 동서대학교 산학협력단 Personalized digital actor agency system based on application

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0125161Y1 (en) 1992-11-05 1998-09-15 전성원 Variable elasticity stabilizer bar
KR200157880Y1 (en) 1997-07-31 1999-10-01 오상수 Heat exchanger
KR200215234Y1 (en) 2000-09-21 2001-03-02 강정우 a car luminous door guard
KR200222885Y1 (en) 1998-09-09 2001-05-15 이상국 Cheering rod balloon
KR200257447Y1 (en) 2001-09-13 2001-12-24 김용백 Flower tower combined an advertisement which be able to automatic supplying water and gyration
KR20020022885A (en) * 2000-09-21 2002-03-28 이성웅 System and method for producing virtual character of mascot and method for computer service using virtual character
KR20160134883A (en) * 2015-04-28 2016-11-24 동서대학교산학협력단 Digital actor managing method for image contents

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0125161Y1 (en) 1992-11-05 1998-09-15 전성원 Variable elasticity stabilizer bar
KR200157880Y1 (en) 1997-07-31 1999-10-01 오상수 Heat exchanger
KR200222885Y1 (en) 1998-09-09 2001-05-15 이상국 Cheering rod balloon
KR200215234Y1 (en) 2000-09-21 2001-03-02 강정우 a car luminous door guard
KR20020022885A (en) * 2000-09-21 2002-03-28 이성웅 System and method for producing virtual character of mascot and method for computer service using virtual character
KR200257447Y1 (en) 2001-09-13 2001-12-24 김용백 Flower tower combined an advertisement which be able to automatic supplying water and gyration
KR20160134883A (en) * 2015-04-28 2016-11-24 동서대학교산학협력단 Digital actor managing method for image contents

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020118273A3 (en) * 2018-12-07 2020-07-16 Warner Bros. Entertainment Inc. Trip-configurable content
KR20220022631A (en) 2020-08-19 2022-02-28 동서대학교 산학협력단 Digital actor management system by replacement or linkage of real-world object based on VR-AR-MR
KR20220022630A (en) 2020-08-19 2022-02-28 동서대학교 산학협력단 Digital actor management system by replacement or linkage of real-world object
KR20220085945A (en) 2020-12-16 2022-06-23 동서대학교 산학협력단 Digital actor management system for offline advertizing and promotion
KR20220085947A (en) 2020-12-16 2022-06-23 동서대학교 산학협력단 Digital actor management system for application software
KR20220085946A (en) 2020-12-16 2022-06-23 동서대학교 산학협력단 Digital actor management system for tour guide
KR20230070850A (en) 2021-11-15 2023-05-23 동서대학교 산학협력단 Digital actor management system for EMAIL software
KR20230070858A (en) 2021-11-15 2023-05-23 동서대학교 산학협력단 Digital actor management system for Home automation
KR20230070833A (en) 2021-11-15 2023-05-23 동서대학교 산학협력단 Digital actor management system for exercise trainer
KR20230125925A (en) 2022-02-22 2023-08-29 동서대학교 산학협력단 Digital actor agency online platform system
KR20230125932A (en) 2022-02-22 2023-08-29 동서대학교 산학협력단 Personalized digital actor agency system based on application

Similar Documents

Publication Publication Date Title
KR101894573B1 (en) Smart phone interface management system by 3D digital actor
WO2022048403A1 (en) Virtual role-based multimodal interaction method, apparatus and system, storage medium, and terminal
JP6902683B2 (en) Virtual robot interaction methods, devices, storage media and electronic devices
US11747618B2 (en) Systems and methods for sign language recognition
CN112379812B (en) Simulation 3D digital human interaction method and device, electronic equipment and storage medium
KR101306221B1 (en) Method and apparatus for providing moving picture using 3d user avatar
US11736756B2 (en) Producing realistic body movement using body images
KR20180071833A (en) Computer interface management system by 3D digital actor
JP2019145108A (en) Electronic device for generating image including 3d avatar with facial movements reflected thereon, using 3d avatar for face
WO2015188614A1 (en) Method and device for operating computer and mobile phone in virtual world, and glasses using same
KR101851356B1 (en) Method for providing intelligent user interface by 3D digital actor
CN111726536A (en) Video generation method and device, storage medium and computer equipment
US20080165195A1 (en) Method, apparatus, and software for animated self-portraits
US20140068526A1 (en) Method and apparatus for user interaction
KR102148151B1 (en) Intelligent chat based on digital communication network
CN110555507B (en) Interaction method and device for virtual robot, electronic equipment and storage medium
CN113508369A (en) Communication support system, communication support method, communication support program, and image control program
US20230315382A1 (en) Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program
JP7278307B2 (en) Computer program, server device, terminal device and display method
WO2012119371A1 (en) User interaction system and method
CN113766168A (en) Interactive processing method, device, terminal and medium
CN112673400A (en) Avatar animation
CN110794964A (en) Interaction method and device for virtual robot, electronic equipment and storage medium
CN111538456A (en) Human-computer interaction method, device, terminal and storage medium based on virtual image
US20220262080A1 (en) Interfaces for presenting avatars in three-dimensional environments

Legal Events

Date Code Title Description
GRNT Written decision to grant