KR101757219B1 - System and method for two-way sharing of digital book - Google Patents
System and method for two-way sharing of digital book Download PDFInfo
- Publication number
- KR101757219B1 KR101757219B1 KR1020160053877A KR20160053877A KR101757219B1 KR 101757219 B1 KR101757219 B1 KR 101757219B1 KR 1020160053877 A KR1020160053877 A KR 1020160053877A KR 20160053877 A KR20160053877 A KR 20160053877A KR 101757219 B1 KR101757219 B1 KR 101757219B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- unit
- image
- electronic
- animation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004891 communication Methods 0.000 claims abstract description 33
- 230000008921 facial expression Effects 0.000 claims abstract description 18
- 230000004060 metabolic process Effects 0.000 claims description 23
- 230000002996 emotional effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 abstract description 27
- 230000014509 gene expression Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000010195 expression analysis Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001962 electrophoresis Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H04M1/7253—
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H04M1/72544—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/36—Memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/38—Displays
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 양방향 전자동화 공유 시스템 및 방법에 관한 것으로서, 보다 상세하게는 네트워크 및 휴대 단말기를 이용하여 원거리 사용자들 간 전자동화를 공유하고 역할극 놀이를 수행하여 원거리 소통이 가능한 양방향 전자동화 공유 시스템 및 방법에 관한 것이다.
본 발명에 따른 원거리 사용자들 간 전자동화를 공유하여 역할극 놀이를 수행하기 위한 양방향 전자동화 공유 시스템은 서버를 통해 디지털북 형태의 전자동화를 다운받는 다운로딩부; 사용자를 영상 촬영하는 촬영부; 상기 촬영부에서 촬영하는 영상으로 원거리 사용자 단말기와 영상통화를 수행하는 통신부; 상기 통신부에서 수행되는 영상통화의 음성을 출력하는 출력부; 상기 다운로딩부에서 다운로드된 전자동화를 표시하고 상기 통신부에서 수행되는 영상통화의 영상을 상기 전자동화에 오버랩하여 표시하는 표시부; 및 상기 표시부에 오버랩되어 표시되는 영상통화 영상 또는 상기 출력부에서 출력되는 음성에서, 상기 전자동화에 따라 역할극을 수행하는 상기 사용자 및 원거리 사용자의 표정 또는 음성을 분석하여, 역할극 수행능력을 판단하는 제어부; 를 포함한다.The present invention relates to a bidirectional electronic sharing system and method, and more particularly, to a bidirectional electronic sharing system and method capable of long distance communication by sharing electronic animation between remote users using a network and a portable terminal, .
A bidirectional electronic sharing system for performing role play by sharing an electronic animation between remote users according to the present invention includes a downloading unit for downloading a digital book-shaped electronic animation through a server; A photographing unit for photographing a user; A communication unit for performing a video communication with a remote user terminal using an image captured by the photographing unit; An output unit for outputting a voice of a video call performed by the communication unit; A display unit for displaying an electronic animation downloaded from the downloading unit and overlapping an image of a video call performed in the communication unit with the electronic animation; And a controller for analyzing facial expressions or voices of the user and the ranged user performing a role play according to the electronic animation from a video call image displayed overlapping with the display unit or an audio output from the output unit, ; .
Description
본 발명은 양방향 전자동화 공유 시스템 및 방법에 관한 것으로서, 보다 상세하게는 네트워크 및 휴대 단말기를 이용하여 원거리 사용자들 간 전자동화를 공유하고 역할극 놀이를 수행하여 원거리 소통이 가능한 양방향 전자동화 공유 시스템 및 방법에 관한 것이다.The present invention relates to a bidirectional electronic sharing system and method, and more particularly, to a bidirectional electronic sharing system and method capable of long distance communication by sharing electronic animation between remote users using a network and a portable terminal, .
현대 아동의 가장 큰 사회문제 중 하나는 인터넷과 게임 등을 통해 폭역에 노출되는 연령대가 어려지고, 사회 전반적인 폭력성에 쉽게 영향을 받는 것이다.One of the biggest social problems of modern children is the difficulty of being exposed to violence through the Internet and games, and it is easily affected by social violence.
이는 맞벌이 부부의 증가로 영유아기 때부터 아이들이 혼자서 학습이나 놀이를 할 수 밖에 없는 현대 사회의 구조적 문제에 그 원인을 찾을 수 있으나 개선을 위한 현실적 대안이 부족한 현실이다.This is due to the increase in the number of working couples, which is the reason for the structural problems of modern society that children have to learn and play alone from infancy to childhood.
아이들은 바쁜 부모들 사이에서 혼자 있는 시간이 늘어나서 소통이 줄고 그로 인해 불안정감을 불러 일으키며, 많은 시간 혼자 있는 아이는 부모 이외의 것들에 집착하게 되며 이는 아이들에게 심리적, 대인 관계적으로 문제를 야기시킬 수 있다.Children are increasingly alone among busy parents, reducing communication and causing instability, and children who are alone for many hours become obsessed with things other than their parents, which can cause psychological and interpersonal problems for their children. have.
부모들은 단지 10분의 시간이 없어서 아이들과 소통을 못하거나 동화책을 읽어줄 수 없는 것이 아니라 물리적 위치가 멀기 때문에 제한되는 경우가 대부분이다. Parents are often limited in their physical location, not just because they do not have 10 minutes to communicate with their children or read books.
이렇게 아이와의 소통에서 멀어져 버린 사회의 모습에서 함께 있지 않거나 시간적 여유가 부족한 현대 부모들에게 새로운 소통 그리고 물리적 거리에 제한이 있을 때에도 함께할 수 있는 콘텐츠의 필요성이 중요하게 대두된다.In this way, the need for content that can be shared with modern parents who are not together or lacking in time is important.
이에 본 발명은 원거리에 위치한 사용자들이 네트워크 및 휴대 단말기를 이용하여 함께 전자 동화책을 공유하여 읽을 수 있도록 하고 더 나아가 동화 내부에 각각의 역할을 할당하여 해당 캐릭터의 역할극 놀이를 수행하여 상황 인지 능력과, 공감능력, 창의성을 향상케 하며 부모와의 부족한 소통으로 겪는 아이들과 부모의 고충 감소를 해결할 수 있도록 하는 양방향 전자동화 공유 시스템 및 방법을 제공하는 데 그 목적이 있다.Accordingly, it is an object of the present invention to enable users located at a remote location to share and read electronic storybooks together using a network and a portable terminal, and further allocate roles to the inside of a storybook to perform role- The present invention aims to provide a bi-directional electronic sharing system and method for improving empathy, creativity, and solving the grievance of children and parents suffering from lack of communication with parents.
본 발명에 따른 원거리 사용자들 간 전자동화를 공유하여 역할극 놀이를 수행하기 위한 양방향 전자동화 공유 시스템은 서버를 통해 디지털북 형태의 전자동화를 다운받는 다운로딩부; 사용자를 영상 촬영하는 촬영부; 상기 촬영부에서 촬영하는 영상으로 원거리 사용자 단말기와 영상통화를 수행하는 통신부; 상기 통신부에서 수행되는 영상통화의 음성을 출력하는 출력부; 상기 다운로딩부에서 다운로드된 전자동화를 표시하고 상기 통신부에서 수행되는 영상통화의 영상을 상기 전자동화에 오버랩하여 표시하는 표시부; 상기 표시부에 오버랩되어 표시되는 영상통화 영상 또는 상기 출력부에서 출력되는 음성에서, 상기 전자동화에 따라 역할극을 수행하는 상기 사용자 및 원거리 사용자의 표정 또는 음성을 분석하여, 역할극 수행능력을 판단하는 제어부; 및 상기 표시부에 표시된 전자동화 및 상기 전자동화에 따른 역할극 영상을 저장하는 저장부; 를 포함하고, 상기 촬영부는 상기 전자동화의 제1캐릭터에 따른 역할극을 수행하는 제1사용자의 영상을 촬영하면 상기 표시부는 상기 제1사용자의 영상을 상기 전자동화에 오버랩하여 표시하고, 상기 저장부가 상기 전자동화 및 상기 제1사용자의 영상을 저장하고, 상기 표시부는 상기 저장된 제1사용자의 영상을 표시하고 상기 촬영부가 상기 전자동화의 제2캐릭터에 따른 역할극을 수행하는 제2사용자의 영상을 촬영하면 상기 표시부는 상기 제2사용자의 영상을 상기 제1사용자의 영상에 오버랩하여 표시하는 것을 특징으로 한다.A bidirectional electronic sharing system for performing role play by sharing an electronic animation between remote users according to the present invention includes a downloading unit for downloading a digital book-shaped electronic animation through a server; A photographing unit for photographing a user; A communication unit for performing a video communication with a remote user terminal using an image captured by the photographing unit; An output unit for outputting a voice of a video call performed by the communication unit; A display unit for displaying an electronic animation downloaded from the downloading unit and overlapping an image of a video call performed in the communication unit with the electronic animation; A controller for analyzing facial expressions or voices of a user and a remote user performing a role playing according to the electronic animation in a video call image overlapped and displayed on the display unit or a voice output from the output unit to determine a role playing ability; And a storage unit for storing the electromorphism displayed on the display unit and the roleplay image according to the electromagnetism; Wherein the photographing unit photographs an image of a first user performing a role playing according to the first character of the electronic animation, the display unit overlaps and displays the image of the first user on the electronic animation, Wherein the display unit displays an image of the first user stored and the image capturing unit captures an image of a second user performing a role play according to the second character of the electronic animation, The display unit overlays the image of the second user with the image of the first user.
본 발명의 양방향 전자동화 공유 시스템에서 상기 제어부는 상기 영상통화 영상에서 상기 사용자 및 원거리 사용자의 얼굴 특징점을 추출하고 표정을 분석하여 상기 전자동화의 내용에 따른 감정 표현능력을 판단하는 것을 특징으로 한다.In the bi-directional electronic sharing system of the present invention, the controller extracts facial feature points of the user and the remote user from the video call image and analyzes facial expressions to determine emotional expressive ability according to the content of the electronic animated image.
본 발명의 양방향 전자동화 공유 시스템에서 상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음 및 억양을 분석하여 상기 전자동화의 내용에 따른 대사 표현능력을 판단하는 것을 특징으로 한다.In the bidirectional electronic sharing system of the present invention, the controller analyzes the pronunciation and intonation of the user and the remote user in the video call voice to determine the ability of expressing the expression according to the contents of the electronic animation.
본 발명의 양방향 전자동화 공유 시스템에서 상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음을 분석하여 상기 전자동화의 대사와 일치 여부를 판단하여 상기 표시부에 불일치 대사를 표시하고 재수행하도록 하는 것을 특징으로 한다.In the bidirectional electronic sharing system of the present invention, the controller analyzes the pronunciation of the user and the remote user in the video call voice to determine whether or not the user agrees with the metabolism of the electronic animation, and displays the inconsistent metabolism on the display unit and re- .
삭제delete
본 발명의 양방향 전자동화 공유 시스템은 상기 출력부에서 출력되는 음성을 변조시키는 변조부; 를 더 포함한다.The bidirectional electronic sharing system of the present invention includes: a modulator for modulating a voice output from the output unit; .
본 발명의 양방향 전자동화 공유 시스템은 상기 전자동화의 삽화, 대사를 편집할 수 있도록 입력을 받는 입력부; 를 더 포함한다.The bidirectional electronic sharing system of the present invention includes: an input unit for receiving an input for editing an illustration and a metabolism of the electronic animation; .
본 발명의 양방향 전자동화 공유 시스템에서 상기 입력부는 상기 표시부에 표시되는 상기 전자동화의 삽화를 기저장된 캐릭터, 배경, 소품 중에서 선택하여 직접 제작할 수 있는 것을 특징으로 한다.In the bi-directional electronic motion image sharing system of the present invention, the input unit can directly produce an illustration of the electronic motion image displayed on the display unit, from among pre-stored characters, background, and props.
본 발명의 양방향 전자동화 공유 시스템은 상기 표시부에 표시되는 전자동화의 각 캐릭터의 얼굴에 상기 촬영부에서 촬영되는 사용자의 얼굴이 오버랩되어 표시되는 것을 특징으로 한다.The bi-directional electronic motion sharing system of the present invention is characterized in that the face of each character of the electrophoresis displayed on the display unit is overlapped with the face of the user photographed by the photographing unit.
본 발명의 양방향 전자동화 공유 시스템에서 상기 전자동화는 다국어를 지원하는 것을 특징으로 한다.In the bidirectional electronic sharing system of the present invention, the electronicization supports multiple languages.
본 발명에 따른 원거리 사용자들 간 전자동화를 공유하여 역할극 놀이를 수행하기 위한 양방향 전자동화 공유 방법은 다운로딩부가 서버를 통해 디지털북 형태의 전자동화를 다운받는 단계; 상기 전자동화를 표시부에 표시하는 단계; 촬영부가 사용자의 영상을 촬영하여 통신부가 원거리 사용자 단말기와 영상통화를 수행하는 단계; 출력부가 상기 영상통화의 음성을 출력하고, 표시부가 상기 다운로딩부에서 다운로드된 전자동화를 표시하고 상기 영상통화의 영상을 상기 전자동화에 오버랩하여 표시하는 단계; 상기 전자동화의 삽화 및 대사에 따라 상기 영상통화를 수행하는 사용자와 원거리 사용자가 역할극을 수행하는 단계; 제어부가 상기 역할극을 수행하는 사용자와 원거리 사용자의 영상 및 음성을 분석하여 역할극 수행능력을 판단하는 단계; 상기 촬영부가 상기 전자동화의 제1캐릭터에 따른 역할극을 수행하는 제1사용자의 영상을 촬영하면 상기 표시부가 상기 제1사용자의 영상을 상기 전자동화에 오버랩하여 표시하는 단계; 저장부가 상기 표시부에 표시된 전자동화 및 역할극 영상을 저장하는 단계; 및 상기 표시부가 상기 저장된 제1사용자의 영상을 표시하고, 상기 촬영부가 상기 전자동화의 제2캐릭터에 따른 역할극을 수행하는 제2사용자의 영상을 촬영하면, 상기 표시부가 상기 제2사용자의 영상을 상기 제1사용자의 영상에 오버랩하여 표시하는 단계; 를 포함한다.A method of sharing interactive animation between remote users according to the present invention, the method comprising: downloading a digital book-type electronic animation through a downloading server; Displaying the electronic animation on a display unit; The photographing unit photographs the user's image and the communication unit performs a video call with the remote user terminal; The output unit outputting the voice of the video call, the display unit displaying the downloaded animation in the downloading unit, overlapping the video of the video call with the electronic animation, and displaying the overlapped video; Performing a role-play by a user who performs the video call and a remote user according to the illustration and the metabolism of the electronic animation; Analyzing video and audio of a user performing a role playing and a remote playing user to determine a role playing ability; When the image capturing unit captures an image of a first user performing a role play according to the first character of the electronic animation, the display unit overlaps and displays the image of the first user on the electronic animation; Storing the electrification and roleplay images displayed on the display unit; And the display unit displays an image of the stored first user, and when the photographing unit captures an image of a second user performing a role playing according to the second character of the electronic animation, the display unit displays the image of the second user Overlapping an image of the first user with the image of the first user; .
본 발명에 따른 양방향 전자동화 공유 방법에서 상기 제어부는 상기 영상통화 영상에서 상기 사용자 및 원거리 사용자의 얼굴 특징점을 추출하고 표정을 분석하여 상기 전자동화의 내용에 따른 감정 표현능력을 판단하는 것을 특징으로 한다.In the bidirectional electronic sharing method according to the present invention, the controller extracts facial feature points of the user and the remote user from the video call image and analyzes facial expressions to determine emotional expressiveness according to the content of the electronic animated image .
본 발명에 따른 양방향 전자동화 공유 방법에서 상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음 및 억양을 분석하여 상기 전자동화의 내용에 따른 대사 표현능력을 판단하는 것을 특징으로 한다.In the bidirectional automatic sharing method according to the present invention, the controller analyzes the pronunciation and intonation of the user and the remote user in the video call voice to determine the ability of expressing the expression according to the contents of the automatic moving picture.
본 발명에 따른 양방향 전자동화 공유 방법에서 상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음 및 억양을 분석하여 상기 전자동화의 내용에 따른 대사 표현능력을 판단하는 것을 특징으로 한다.In the bidirectional automatic sharing method according to the present invention, the controller analyzes the pronunciation and intonation of the user and the remote user in the video call voice to determine the ability of expressing the expression according to the contents of the automatic moving picture.
본 발명에 따른 양방향 전자동화 공유 방법에서 상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음을 분석하여 상기 전자동화의 대사와 일치 여부를 판단하여 상기 표시부에 불일치 대사를 표시하고 재수행하도록 하는 것을 특징으로 한다.In the bidirectional automatic sharing method according to the present invention, the controller analyzes the pronunciation of the user and the remote user in the video call voice to determine whether or not it matches with the metabolism of the electronic animation, and displays the unmatched metabolism on the display unit and re- .
삭제delete
본 발명에 따른 양방향 전자동화 공유 방법은 상기 역할극을 수행하는 단계에서 상기 영상통화 사용자 또는 원거리 사용자의 음성을 변조부를 통해 변조하여 역할극을 수행하는 것을 특징으로 한다.In the bidirectional electronic sharing method according to the present invention, the voice of the video call user or the remote user is modulated through the modulator in the step of performing the role playing to perform role playing.
본 발명에 따른 양방향 전자동화 공유 방법은 입력부를 통해 상기 전자동화의 삽화, 대사를 편집하는 단계; 를 더 포함한다.A method for sharing bi-directional electronic animation according to the present invention includes the steps of: editing an illustration and a metabolism of the electronic animation through an input unit; .
본 발명에 따른 양방향 전자동화 공유 방법에서 상기 입력부는 상기 표시부에 표시되는 상기 전자동화의 삽화를 기저장된 캐릭터, 배경, 소품 중에서 선택하여 직접 제작할 수 있는 것을 특징으로 한다.In the bidirectional electronic sharing method according to the present invention, the input unit can directly create an illustration of the electronic animation displayed on the display unit from among pre-stored characters, backgrounds, and props.
본 발명에 따른 양방향 전자동화 공유 방법은 상기 표시부에 표시되는 전자동화의 각 캐릭터의 얼굴에 상기 촬영부에서 촬영되는 사용자의 얼굴이 오버랩되어 표시되는 것을 특징으로 한다.The bi-directional electronic sharing method according to the present invention is characterized in that the face of each character of the electrophoresis displayed on the display unit is overlapped with the face of the user photographed by the photographing unit.
본 발명에 따르면 네트워크를 통해 물리적 거리에 제한되지 않고 아이와 동화를 함께 읽을 수 있으며, 같은 콘텐츠를 공유하고, 대화하고, 공감할 수 있어 아이에게 정서적 안정감을 제공할 수 있다.According to the present invention, children and children can be read together without being restricted by physical distance through a network, and the same contents can be shared, communicated, and empathized, thereby providing the child with emotional stability.
또한 본 발명에 따르면 동화를 공유함에 있어 각각의 역할에 따른 역할극 놀이를 수행하여 빠른 언어 소통 능력을 습득할 수 있으며 상황 인식에 따른 연기를 통해 다양한 창의적인 해석이 가능하여 교육적인 측면에서 높은 효과를 줄 수 있다.According to the present invention, in sharing a fairy tale, it is possible to acquire the ability of rapid language communication by performing a role play according to each role, and it is possible to perform various creative interpretations through acting according to the situation recognition, .
또한 본 발명에 따르면 역할극 놀이의 저장 및 공유가 가능하여 추억을 여러사람과 함께 오래 공유할 수 있도록 한다.In addition, according to the present invention, it is possible to store and share the role play, so that memories can be shared with many people for a long time.
도 1은 본 발명의 실시 예에 따른 양방향 전자동화 공유 시스템 개념도이다.
도 2는 본 발명의 실시 예에 따른 양방향 전자동화 공유 시스템의 구성도이다.
도 3은 본 발명의 실시 예에 따른 양방향 전자동화 공유 시스템의 화면 예시를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 제어부의 특징점 추출을 통한 표정 분석을 나타낸 도이다.
도 5는 본 발명의 일 실시예에 따른 양방향 전자동화 공유 시스템의 전자동화 편집 예시 화면이다.
도 6은 본 발명의 일 실시예에 따른 양방향 전자동화 공유 방법의 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 양방향 전자동화 공유 방법의 흐름도이다.1 is a conceptual diagram of a bidirectional electronic sharing system according to an embodiment of the present invention.
2 is a configuration diagram of a bidirectional electronic sharing system according to an embodiment of the present invention.
3 is a diagram illustrating an example of a screen of a bi-directional electronic animation sharing system according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a facial expression analysis by extracting minutiae points of a control unit according to an embodiment of the present invention.
FIG. 5 is an exemplary screen for editing an electronic animation of the bi-directional electronic animation sharing system according to the embodiment of the present invention.
6 is a flowchart of a bi-directional electronic animation sharing method according to an embodiment of the present invention.
7 is a flowchart of a bi-directional electronic animation sharing method according to another embodiment of the present invention.
이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명할 것이다. 또한 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1은 본 발명의 실시 예에 따른 양방향 전자동화 공유 시스템 개념도이다.1 is a conceptual diagram of a bidirectional electronic sharing system according to an embodiment of the present invention.
도 1을 참조하면 원거리 사용자들 간 전자동화를 공유하여 역할극 놀이를 수행하기 위한 양방향 전자동화 공유 시스템(100)은 태블릿 PC 또는 스마트폰을 이용하여 무선통신망으로 연결하여 전자동화를 공유한다.Referring to FIG. 1, a bidirectional
도 1에는 보호자와 자녀1, 자녀2가 전자동화를 공유하는 것이 예시로 도시되어 있지만 이는 본 발명에 한정되는 것은 아니며 2인 이상 공유가 가능한 상황이면 모두 가능하다.Although FIG. 1 illustrates an example in which a parent, a
이러한 큰 구성을 기본으로 하여 각 사용자들은 태블릿 PC와 스마트폰에서 전자동화를 공유하고 역할극 놀이를 수행하는데 이를 위한 상세한 구성을 도 2에 나타내었다.Based on this large configuration, each user shares the electronic animation on the tablet PC and the smartphone and performs the role play.
도 2는 본 발명의 실시 예에 따른 양방향 전자동화 공유 시스템의 구성도이다.2 is a configuration diagram of a bidirectional electronic sharing system according to an embodiment of the present invention.
도 2을 참조하면 양방향 전자동화 공유 시스템(100)은 서버를 통해 디지털북 형태의 전자동화를 다운받는 다운로딩부(110), 사용자를 영상 촬영하는 촬영부(120), 상기 촬영부(120)에서 촬영하는 영상으로 원거리 사용자 단말기와 영상통화를 수행하는 통신부(130), 상기 통신부(130)에서 수행되는 영상통화의 음성을 출력하는 출력부(140), 상기 다운로딩부(110)에서 다운로드된 전자동화를 표시하고 상기 통신부(130)에서 수행되는 영상통화의 영상을 상기 전자동화에 오버랩하여 표시하는 표시부(150), 상기 표시부(150)에 오버랩되어 표시되는 영상통화 영상 또는 상기 출력부(140)에서 출력되는 음성에서, 상기 전자동화에 따라 역할극을 수행하는 상기 사용자 및 원거리 사용자의 표정 또는 음성을 분석하여, 역할극 수행능력을 판단하는 제어부(160)를 포함한다.2, the bidirectional
상기 전자동화는 형태로 삽화와 대사가 포함된 디지털북의 상기 다운로딩부(110)를 통해 상기 양방향 전자동화 공유 시스템(100)에 다운로딩 되는데 이때 전자동화에 따라 소정의 금액을 지불하고 다운받을 수 있도록 할 수도 있다.The electronic animation is downloaded to the bidirectional electronic
상기 촬영부(120)는 동영상을 촬영할 수 있는 장치로 예컨대 태블릿 PC나 스마트폰의 전면 카메라가 될 수 있으며 동영상 촬영시 음성과 함께 촬영하기 위한 음성 녹음 장치를 포함할 수 있다.The photographing
상기 통신부(130)는 영상통화를 수행하기 위한 구성으로써, 예컨대 태블릿 PC나 스마트폰의 영상통화 기능을 수행할 수 있도록 하는 통신소자가 될 수 있다.The
상기 영상통화는 통신부(130)를 통해 수행되지만 영상통화를 수행하면서 동영상을 찍기 위한 상기 촬영부(120)가 반드시 포함되어야 가능하다.The video call is performed through the
상기 표시부(150)는 상기 다운로딩된 전자동화를 표시하고 상기 촬영부(120)를 통해 촬영된 동영상을 표시하는 구성으로써, 예컨대 태블릿 PC 나 스마트폰의 디스플레이 화면이 적용될 수 있다.The
상기 출력부(140)는 상기 영상통화의 음성을 출력할 수도 있지만 상기 전자동화에 포함된 음향 효과 등도 출력할 수 있는 장치로써 예컨대 태블릿 PC 나 스마트폰의 스피커가 될 수 있다. The
상기 출력부(140)에서 출력되는 음성은 역할극을 위해 변조할 수 있는데 상기 양방향 전자동화 공유 시스템(100)은 이러한 음성 변조를 위한 변조부를 따로 적용할 수 있다. 예를 들어 상기 변조부는 역할극을 수행하는 사용자 중 한명이 할머니 캐릭터를 연기하기 위해 할머니 목소리 변조를 선택하면 상기 사용자의 입력되는 목소리를 할머니 목소리로 변조하여 상기 출력부(140)를 통해 출력할 수 있도록 한다.The audio output from the
상기 전자동화가 상기 표시부(150)에 표시되고 상기 통신부(130)를 통해 영상통화가 수행되면 상기 영상통화를 통해 역할극이 수행되는데 이러한 역할극을 수행하도록 하는 양방향 전자동화 공유 화면을 도 3에 자세하게 표시하였다.When the electronic animation is displayed on the
도 3은 본 발명의 실시 예에 따른 양방향 전자동화 공유 시스템의 화면 예시를 나타낸 도이다.3 is a diagram illustrating an example of a screen of a bi-directional electronic animation sharing system according to an embodiment of the present invention.
도 3을 참조하면 화면에 동화 빨간 모자의 삽화가 표시되어 있고 우측 하단에 대사가 기재되어 있다.Referring to FIG. 3, an illustration of a fairy tale red hat is displayed on the screen, and a metabolism is described in the lower right.
화상통화를 통해 상기 전자동화의 역할극에 참여하는 참가자는 좌측 상단에 표시된 것처럼 3명이며 각 참가자의 이름 위에 각각 역할극에 할당된 캐릭터의 이름이 함께 기재되어 있다.Participants participating in the role play of the electronic animation through the video call are three persons as shown in the upper left corner, and the names of the characters allocated to the role play are listed on the name of each participant.
각 참가자의 이름 옆에는 각 참가자들의 화상통화 영상이 표시되고 있으며 이러한 화상통화 영상은 대사창의 상단에도 함께 표시되어 있다.Next to each participant's name is a video call video of each participant, and these video call images are also displayed at the top of the dialogue window.
좌측 하단에는 다른 전자동화 라이브러리가 표시되어 있으며 우측 하단 대사창의 아래에는 일시정지, 페이지 넘기기, 중지, 설정 등의 메뉴가 표시되어 있다.Other electronic libraries are displayed in the lower left corner, and menus such as pause, page turn, stop, and setting are displayed at the bottom of the right lower dialogue window.
상기 역할극 참가자는 각자 역할극을 진행할 캐릭터를 선택하여 해당 캐릭터의 대사에 따라 전자동화의 삽화에 맞도록 역할극을 수행한다.The role playing participant selects a character to play a role play and performs a role play according to an illustration of the electronic play according to the metabolism of the character.
이 때 상기 제어부(160)는 이러한 역할극 수행 시 상기 참가자의 역할극 수행능력을 평가하는데 상기 각 참가자의 화상통화 영상을 분석하여 전자동화의 내용에 적절한 역할극을 수행하는지 판단하여 평가한다.At this time, the
이러한 역할극 수행능력 평가는 상기 역할극을 수행하는 참가자에게 역할극 수행에 대한 동기를 부여하고 역할극을 통한 학습 효과를 높일 수 있게 해준다.The evaluation of the performance of the role play enables the participant performing the role play to motivate the role play and increase the learning effect through the role play.
상기 역할극 수행평가를 위해 상기 제어부(160)는 상기 영상통화 영상에서 상기 참가자의 얼굴 특징점을 추출하고 표정을 분석하여 상기 전자동화의 내용에 따른 감정 표현능력을 판단한다.In order to evaluate the role play performance, the
도 4는 본 발명의 실시 예에 따른 제어부의 특징점 추출을 통한 표정 분석을 나타낸 도이다.FIG. 4 is a diagram illustrating a facial expression analysis by extracting minutiae points of a control unit according to an embodiment of the present invention.
도 4를 참조하면 (a)에 무표정에 대한 특징점 추출이 나타나 있다. 표정을 분석하기 위해 사용자의 얼굴에서 눈과 입에 대한 특징점을 추출하는데 무표정이 먼저 기준이 된 후 이러한 무표정에서 특징점의 눈꼬리와 입꼬리의 올라간 정도를 분석하여 웃는 표정, 우는 표정, 화난 표정등을 분석할 수 있다.Referring to FIG. 4 (a), feature point extraction for expressionless faces is shown. In order to analyze the facial expressions, the feature points of the eyes and mouth were extracted from the face of the user, and then the expressions were analyzed first and then the degree of the eye tails and mouth tails of the feature points were analyzed. can do.
도 4의 (b)에는 웃는 표정에 대한 특징점 추출이 나타나 있는데 (a)와 마찬가지로 눈과 입의 형태에 따라 특징점을 추출하였으며 (a)에 비교하여 눈꼬리와 입꼬리의 올라간 정도를 판단하여 웃는 표정을 판단할 수 있다.Fig. 4 (b) shows the extraction of feature points for smiley facial expressions. Similar to (a), feature points are extracted according to the shape of eyes and mouth. It can be judged.
도 4에 나타난 특징점 추출에 의한 표정 분석은 일 실시예이며 다른 예에서 다른 방법에 의한 표정분석법이 적용될 수 있다.The facial expression analysis by feature point extraction shown in FIG. 4 is one embodiment, and the facial expression analysis by another method can be applied to another example.
이러한 표정 분석에 의해 웃는 얼굴, 우는 얼굴, 화난 얼굴 등 표정을 판단하여 상기 전자동화의 삽화 또는 대사의 상황에 맞는 표정을 표현한 경우 점수를 높에 평가하여 상기 역할극의 표현능력을 평가할 수 있다.When facial expressions such as a smiling face, a crying face, and an angry face are judged by such facial expression analysis and a facial expression corresponding to the state of illustration or metabolism of the electronic expression is expressed, the expression ability of the role play can be evaluated by evaluating the score high.
예를 들어 도 3에 도시된 동화 빨간모자의 삽화와 대사를 보면 숲 넘어 할머니 댁에 가는 상황으로 즐거운 표정을 표현하는 것이 좋은데 이때 빨간모자 역을 수행하는 참가자가 상기 화상통화 영상에서 웃는 얼굴로 역할극을 수행하는 경우 수행 능력 점수를 높게 평가하고 찡그린 얼굴로 역할극을 수행하는 경우 수행 능력 점수를 상대적으로 낮게 평가하도록 할 수 있다.For example, in the case of the illustration and the ambassador of the fairy red hat shown in FIG. 3, it is preferable to express pleasant expression to the situation going to the grandmother's house beyond the forest. In this case, The performance ability score can be evaluated relatively high when the performance ability score is high and the role play is performed with the frown face.
또한 상기 제어부(160)는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음 및 억양을 분석하여 상기 전자동화의 내용에 따른 대사 표현능력을 판단할 수 있다.In addition, the
상기 역할극 수행자의 대사 전달력을 평가하기 위해 상기 제어부(160)는 상기 영상통화 음성에서 발음을 분석하여 상기 전자동화의 대사가 정확히 표현되는지 확인하고 억양 및 음의 고저 등을 분석하여 감정없이 대사만 읽는것과 감정을 넣어 억양을 살리는 것을 구분하여 대사 표현 능력을 판단하고 평가한다.In order to evaluate the metabolic calendar of the role-playing performer, the
예를 들어 도 3에 도시된 동화 빨간모자의 상황에서 즐거운 목소리로 대사를 읽는 것이 좋은데 이때 빨간모자 역을 수행하는 참가자가 상기 화상통화 음성에서 음이 높은 목소리로 역할극을 수행하는 경우 이를 분석하여 대사 표현 능력을 높게 평가할 수 있다.For example, it is preferable to read the ambassador with a pleasant voice in the situation of the fairy red hat shown in FIG. 3. At this time, when a participant performing a red cap performs role playing with a voice with a high voice in the video call voice, Expression ability can be highly evaluated.
또한 상기 제어부(160)는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음을 분석하여 상기 전자동화의 대사와 일치 여부를 판단하여 상기 표시부(150)에 불일치 대사를 표시하고 재수행하도록 할 수 있다.Also, the
이는 상기 역할극 수행자가 어린 아동인 경우 대사를 정확하게 인지하여 제대로 발음하는지를 확인하고 이를 통해 언어 학습효과를 높일 수 있도록 한 것으로써, 상기 전자동화의 대사가 영어 등 외국어로 표현되는 경우 외국어 학습 기능까지 부여할 수 있는 효과를 준다.This allows the role performer to accurately recognize the pronunciations and correctly pronounce the pronunciations in the case of a young child, thereby enhancing the language learning effect. Thus, when the metabolism of the electronic fairy tale is expressed in a foreign language such as English, It gives effect that can do.
상기 전자동화는 서버를 통해 다운로딩 받을 수 있지만 사용자의 편의에 따라 편집될 수 있다. The electronic animation can be downloaded through a server, but can be edited according to the convenience of the user.
사용자가 교육의 목적이나 재미를 위해 스토리를 부가하거나 수정하기 위해 삽화를 추가하거나 편집하고 대사를 수정할 수 있는데 이러한 편집을 위해 상기 양방향 전자동화 공유 시스템(100)은 입력부를 포함할 수 있으며 이러한 입력부는 터치 패널이나 자판 등으로 구현될 수 있다.The user may add or edit illustrations and modify the dialogue to add or modify stories for educational purposes or for fun. For such editing, the interactive interactive shake-sharing
도 5는 본 발명의 일 실시예에 따른 양방향 전자동화 공유 시스템의 전자동화 편집 예시 화면이다.FIG. 5 is an exemplary screen for editing an electronic animation of the bi-directional electronic animation sharing system according to the embodiment of the present invention.
도 5를 참조하면 편집 화면에서 입력부를 조작하여 빨간모자 캐릭터에 커서를 가져가면 빨간모자의 위치를 이동시킬 수 있으며 빨간모자의 대사창에 대사를 수정하고 추가 할 수 있다. 대사에 어려운 단어를 쉽게 수정하면 아이의 학습 수준에 맞는 역할극이 가능하며 최근 아이가 학습했던 단어를 위주로 수정을 하여 단어가 쓰이는 상황을 재현하여 자연스럽게 단어의 의미에 대한 학습 효과를 높일 수 있게 된다. 입력부는 도 5의 태블릿 PC의 경우와 같이 터치 패널로 구현될 수도 있지만 키보드 또는 마우스로 구현될 수도 있다.Referring to FIG. 5, when the cursor is moved to the red hat character by manipulating the input unit in the edit screen, the position of the red hat can be moved and the metabolism can be corrected and added to the red hat cap. If you can easily correct difficult words in the dialogue, you can play a role role that matches the learning level of your child. By modifying the words that your child has learned recently, you can reproduce the situation in which the words are used and naturally enhance the learning effect on the meaning of words. The input unit may be implemented by a touch panel as in the case of the tablet PC of FIG. 5, but may also be implemented by a keyboard or a mouse.
또한 상기 입력부는 상기 표시부(150)에 표시되는 상기 전자동화의 삽화를 기저장된 캐릭터, 배경, 소품 중에서 선택하여 직접 제작할 수 있다.Also, the input unit can directly create an illustration of the electronic animation displayed on the
빈 화면을 불러온 다음 기저장된 배경 중에서 하나를 선택하고 기저장된 캐릭터 중에서 선택하여 캐릭터에 대사를 입력하여 직접 전자 동화를 제작할 수 있어 자유 자재로 스토리와 삽화를 만들어 낼 수 있는 기능을 부여하여 아이의 스토리 파악 능력에 맞는 전자동화를 직접 제작하여 역할극을 수행하도록 할 수 있다.It is possible to create an electronic animation by directly inputting a blank screen and then selecting one of the pre-stored backgrounds and selecting a previously stored character and inputting a character to the character, thereby giving a function capable of freely creating a story and an illustration, It is possible to produce an electronic animation corresponding to the ability to grasp a story and perform a role play.
또한 상기 전자동화의 각 캐릭터는 참여자의 영상을 오버랩하여 표시할 수도 있다. 상기 전자동화의 각 캐릭터 역할을 맞게된 참여자의 영상통화 영상을 각 캐릭터의 얼굴에 오버랩시켜 본인이 직접 캐릭터가 되어 역할극을 수행하게 하여 몰입도를 높일 수 있다.In addition, each of the characters of the electronic animation may overlap and display the images of the participants. The video call image of the participant who matches the role of each character of the electrification overlaps the face of each character so that the person can directly play the role role and increase the immersion degree.
한편 상기 전자동화 공유 시스템은 상기 표시부(150)에 표시된 전자동화 및 상기 전자동화에 따른 역할극 영상을 저장하는 저장부를 더 포함할 수 있다. Meanwhile, the electronic sharing system may further include a storage unit for storing the electro-motion images displayed on the
이렇게 저장된 역할극 영상을 다른 장치에 전송하거나 다운로드 받아 이동하여 재생할 수 있으며, SNS를 통해 다른 사람들과 함께 공유할 수도 있다.The stored role-playing video can be transferred to another device, downloaded, moved and played back, and shared with other people via the SNS.
또한 이러한 저장부를 통해 상기 전자동화에 따른 역할극은 무선통신망으로 연결되어 있지 않은 상황이나 영상통화가 불가능한 상태에서도 가능하도록 미리 부모가 역할극 영상을 저장하여 자녀가 이를 불러와서 수행할 수 있도록 할 수도 있다.In addition, through the storage unit, the role playing according to the electrification may be stored in the role play image by the parent in advance so that the role playing can be performed even when the mobile communication network is not connected or the video communication is not possible.
먼저 제1사용자가 상기 촬영부(120)로 본인의 영상을 촬영하면서 상기 전자동화의 제1캐릭터에 따른 역할극을 수행하고 이러한 역할극 영상을 저장한다.First, a first user performs a role play according to the first character of the automatic playing while capturing his / her own image with the
그러면 제2사용자가 상기 저장된 제1사용자의 역할극 영상을 불러와서 제1캐릭터를 제외한 다른 캐릭터 중 제2캐릭터에 따른 역할극을 수행하면 상기 제1사용자와 제2사용자가 동시에 무선통신망을 통해 연결되지 못하는 상황에서도 역할극을 수행할 수 있게 된다.If the second user invokes the role-play image of the stored first user and performs a role-play according to the second character among the other characters except for the first character, the first user and the second user can not be connected through the wireless communication network at the same time It is also possible to perform role plays in situations.
부모가 여러종류의 전자동화에 대해 일부 캐릭터에 대한 역할극을 수행하여 저장하면 자녀가 저장된 역할극 영상을 선택하여 불러와서 다른 캐릭터를 바꿔가며 역할극을 수행할 수 있어 부모가 영상통화를 위해 별도로 시간을 낼 수 없는 경우에도 상기 양방향 전자동화 공유 시스템(100)을 통해 역할극을 수행하며 놀이처럼 즐길 수 있도록 할 수가 있다.When a parent carries out a role play for some characters in various kinds of electronic animation, the child can select a roleplay image stored in the folder and perform a role play by changing another character, so that the parent can spend time separately for the video call It is possible to perform a role play through the interactive interactive motion
도 6은 본 발명의 일 실시예에 따른 양방향 전자동화 공유 방법의 흐름도이다.6 is a flowchart of a bi-directional electronic animation sharing method according to an embodiment of the present invention.
원거리 사용자들 간 전자동화를 공유하여 역할극 놀이를 수행하기 위한 양방향 전자동화 공유 방법은 먼저 다운로딩부(110)가 서버를 통해 디지털북 형태의 전자동화를 다운받는 단계(S101)를 진행한다.In the bidirectional electronic sharing method for sharing the electronic animation between the remote users and performing the role play, the downloading
다음으로 상기 전자동화를 표시부(150)에 표시하고 (S103) 통신부(130)를 통해 원거리 사용자와 영상통화를 수행한다(S105).Next, the electronic animation is displayed on the display unit 150 (S103), and a video call with a remote user is performed through the communication unit 130 (S105).
상기 영상통화를 수행중인 사용자와 원거리 사용자의 영상을 상기 표시부(150)에 표시된 전자동화에 오버랩하여 표시하고(S107), 상기 사용자와 원거리 사용자가 상기 전자동화에 따른 역할극을 수행하면(S109) 상기 제어부(160)가 상기 사용자와 원거리 사용자의 영상 및 음성을 분석하여 역할극을 제대로 수행하고 있는지 판단하는 단계(S111)를 진행한다.The user performing the video call and the image of the remote user are overlapped with the election displayed on the display unit 150 (S107). When the user and the remote user perform the role playing according to the election (S109) The
마지막으로 상기 역할극 영상을 저장하거나 SNS에 공유하는 단계(S113)를 수행한다.Finally, a step S113 of storing the role-playing video or sharing the video with the SNS is performed.
이러한 과정을 통해 원거리에 있는 사용자 간 전자동화를 공유하고 영상통화와 동시에 역할극을 수행하여 거리에 상관없이 놀이처럼 역할극을 수행할 수 있도록 한다. Through this process, it is possible to share the electronic animation between the users at a distance and perform a role play simultaneously with the video call so that the role play can be performed like a play regardless of the distance.
도 7은 본 발명의 다른 실시예에 따른 양방향 전자동화 공유 방법의 흐름도이다.7 is a flowchart of a bi-directional electronic animation sharing method according to another embodiment of the present invention.
먼저 표시부(150)에 제1사용자의 영상을 촬영하여 전자동화에 오버랩하여 표시하면(201), 상기 제1사용자가 전자동화의 제1캐릭터에 따른 역할극을 수행하고(S203), 상기 제1사용자의 역할극 영상을 저장한다(S205).First, when a first user's image is captured on the
다음으로 상기 제1사용자와 원거리에 있는 제2사용자가 상기 제1사용자의 역할극 영상을 상기 전자동화와 함께 표시부(150)에 표시하면(S207), 상기 제2사용자가 본인의 영상을 촬영하여 상기 전자동화 및 제1사용자의 역할극 영상에 오버랩하여 표시하고(S209), 상기 제1사용자가 수행했던 역할극의 제2캐릭터에 따라 역할극을 수행한다(S211). 역할극이 종료되면 상기 제2사용자의 역할극 영상을 저장한다(S213). 이러한 과정을 통해 원거리에 있는 제1사용자와 제2사용자가 동시에 영상통화를 수행하지 않아도 미리 일부 캐릭터만 역할극이 수행된 영상을 저장하고 이를 불러와서 상대방이 같이 역할극을 수행하는 것과 같은 효과를 낼 수 있다.Next, when the first user and the second user at a remote location display the role-playing image of the first user on the
이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 이에, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments. Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope of the appended claims, The genius will be so self-evident. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 양방향 전자동화 공유 시스템
110 : 다운로딩부 120 : 촬영부
130 : 통신부 140 : 출력부
150 : 표시부 160 : 제어부100: interactive electronic sharing system
110: downloading unit 120: photographing unit
130: communication unit 140: output unit
150: Display unit 160:
Claims (19)
서버를 통해 디지털북 형태의 전자동화를 다운받는 다운로딩부;
사용자를 영상 촬영하는 촬영부;
상기 촬영부에서 촬영하는 영상으로 원거리 사용자 단말기와 영상통화를 수행하는 통신부;
상기 통신부에서 수행되는 영상통화의 음성을 출력하는 출력부;
상기 다운로딩부에서 다운로드된 전자동화를 표시하고 상기 통신부에서 수행되는 영상통화의 영상을 상기 전자동화에 오버랩하여 표시하는 표시부;
상기 표시부에 오버랩되어 표시되는 영상통화 영상 또는 상기 출력부에서 출력되는 음성에서, 상기 전자동화에 따라 역할극을 수행하는 상기 사용자 및 원거리 사용자의 표정 또는 음성을 분석하여, 역할극 수행능력을 판단하는 제어부; 및
상기 표시부에 표시된 전자동화 및 상기 전자동화에 따른 역할극 영상을 저장하는 저장부; 를 포함하고,
상기 촬영부는 상기 전자동화의 제1캐릭터에 따른 역할극을 수행하는 제1사용자의 영상을 촬영하면 상기 표시부는 상기 제1사용자의 영상을 상기 전자동화에 오버랩하여 표시하고,
상기 저장부가 상기 전자동화 및 상기 제1사용자의 영상을 저장하고,
상기 표시부는 상기 저장된 제1사용자의 영상을 표시하고 상기 촬영부가 상기 전자동화의 제2캐릭터에 따른 역할극을 수행하는 제2사용자의 영상을 촬영하면 상기 표시부는 상기 제2사용자의 영상을 상기 제1사용자의 영상에 오버랩하여 표시하는 것을 특징으로 하는 양방향 전자동화 공유 시스템.1. A bi-directional electronic sharing system for sharing role-play between ranged users,
A downloading unit for downloading a digital book-type electronic animation through a server;
A photographing unit for photographing a user;
A communication unit for performing a video communication with a remote user terminal using an image captured by the photographing unit;
An output unit for outputting a voice of a video call performed by the communication unit;
A display unit for displaying an electronic animation downloaded from the downloading unit and overlapping an image of a video call performed in the communication unit with the electronic animation;
A controller for analyzing facial expressions or voices of a user and a remote user performing a role playing according to the electronic animation in a video call image overlapped and displayed on the display unit or a voice output from the output unit to determine a role playing ability; And
A storage unit for storing the electromagnetism displayed on the display unit and the roleplay image corresponding to the electromagnetism; Lt; / RTI >
Wherein the photographing unit photographs an image of a first user performing a role playing according to the first character of the electronic animation, the display unit displays an image of the first user in an overlapping manner with the electronic animation,
Wherein the storage unit stores the electronic animation and the image of the first user,
Wherein the display unit displays an image of the stored first user and when the photographing unit captures an image of a second user performing a role playing according to a second character of the electronic animation, the display unit displays the image of the second user in the first And displays the user's image in an overlapping manner.
상기 제어부는 상기 영상통화 영상에서 상기 사용자 및 원거리 사용자의 얼굴 특징점을 추출하고 표정을 분석하여 상기 전자동화의 내용에 따른 감정 표현능력을 판단하는 것을 특징으로 하는 양방향 전자동화 공유 시스템.The method according to claim 1,
Wherein the control unit extracts facial feature points of the user and the remote user from the video call image and analyzes facial expressions to determine emotional expressive ability according to the content of the electronic animated image.
상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음 및 억양을 분석하여 상기 전자동화의 내용에 따른 대사 표현능력을 판단하는 것을 특징으로 하는 양방향 전자동화 공유 시스템.The method according to claim 1,
Wherein the control unit analyzes the pronunciation and intonation of the user and the remote user in the video call voice to determine the ability to express a metaphor according to the content of the automatic moving picture.
상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음을 분석하여 상기 전자동화의 대사와 일치 여부를 판단하여 상기 표시부에 불일치 대사를 표시하고 재수행하도록 하는 것을 특징으로 하는 양방향 전자동화 공유 시스템.The method according to claim 1,
Wherein the control unit analyzes the pronunciation of the user and the remote user in the video call audio to determine whether or not the user agrees with the metabolism of the electronic animation and displays the inconsistent metabolism on the display unit and re- .
상기 출력부에서 출력되는 음성을 변조시키는 변조부; 를 더 포함하는 양방향 전자동화 공유 시스템.The method according to claim 1,
A modulator for modulating the voice output from the output unit; Further comprising the steps of:
상기 전자동화의 삽화, 대사를 편집할 수 있도록 입력을 받는 입력부; 를 더 포함하는 양방향 전자동화 공유 시스템.The method according to claim 1,
An input unit for receiving an input for editing an illustration and a metabolism of the electronic animation; Further comprising the steps of:
상기 입력부는 상기 표시부에 표시되는 상기 전자동화의 삽화를 기저장된 캐릭터, 배경, 소품 중에서 선택하여 직접 제작할 수 있는 것을 특징으로 하는 양방향 전자동화 공유 시스템.8. The method of claim 7,
Wherein the input unit can directly produce an illustration of the electronic animation displayed on the display unit, from among pre-stored characters, backgrounds, and accessories.
상기 표시부에 표시되는 전자동화의 각 캐릭터의 얼굴에 상기 촬영부에서 촬영되는 사용자의 얼굴이 오버랩되어 표시되는 것을 특징으로 하는 양방향 전자동화 공유 시스템.The method according to claim 1,
Wherein the face of each character of the electromagnetism displayed on the display unit is overlapped and displayed on the face of the user photographed by the photographing unit.
상기 전자동화는 다국어를 지원하는 것을 특징으로 하는 양방향 전자동화 공유 시스템.The method according to claim 1,
Wherein the electronic animation supports multiple languages.
다운로딩부가 서버를 통해 디지털북 형태의 전자동화를 다운받는 단계;
상기 전자동화를 표시부에 표시하는 단계;
촬영부가 사용자의 영상을 촬영하여 통신부가 원거리 사용자 단말기와 영상통화를 수행하는 단계;
출력부가 상기 영상통화의 음성을 출력하고, 표시부가 상기 다운로딩부에서 다운로드된 전자동화를 표시하고 상기 영상통화의 영상을 상기 전자동화에 오버랩하여 표시하는 단계;
상기 전자동화의 삽화 및 대사에 따라 상기 영상통화를 수행하는 사용자와 원거리 사용자가 역할극을 수행하는 단계;
제어부가 상기 역할극을 수행하는 사용자와 원거리 사용자의 영상 및 음성을 분석하여 역할극 수행능력을 판단하는 단계;
상기 촬영부가 상기 전자동화의 제1캐릭터에 따른 역할극을 수행하는 제1사용자의 영상을 촬영하면 상기 표시부가 상기 제1사용자의 영상을 상기 전자동화에 오버랩하여 표시하는 단계;
저장부가 상기 표시부에 표시된 전자동화 및 역할극 영상을 저장하는 단계; 및
상기 표시부가 상기 저장된 제1사용자의 영상을 표시하고, 상기 촬영부가 상기 전자동화의 제2캐릭터에 따른 역할극을 수행하는 제2사용자의 영상을 촬영하면, 상기 표시부가 상기 제2사용자의 영상을 상기 제1사용자의 영상에 오버랩하여 표시하는 단계; 를 포함하는 양방향 전자동화 공유 방법.A bi-directional electronic animation sharing method for performing role play by sharing electronic animation between remote users,
Downloading a digital book-type electronic animation through a downloading unit server;
Displaying the electronic animation on a display unit;
The photographing unit photographs the user's image and the communication unit performs a video call with the remote user terminal;
The output unit outputting the voice of the video call, the display unit displaying the downloaded animation in the downloading unit, overlapping the video of the video call with the electronic animation, and displaying the overlapped video;
Performing a role-play by a user who performs the video call and a remote user according to the illustration and the metabolism of the electronic animation;
Analyzing video and audio of a user performing a role playing and a remote playing user to determine a role playing ability;
When the image capturing unit captures an image of a first user performing a role play according to the first character of the electronic animation, the display unit overlaps and displays the image of the first user on the electronic animation;
Storing the electrification and roleplay images displayed on the display unit; And
Wherein the display unit displays the image of the first user stored and when the photographing unit photographs the image of the second user performing the role playing according to the second character of the electronic animation, Overlapping an image of the first user with the image of the first user; Lt; / RTI >
상기 제어부는 상기 영상통화 영상에서 상기 사용자 및 원거리 사용자의 얼굴 특징점을 추출하고 표정을 분석하여 상기 전자동화의 내용에 따른 감정 표현능력을 판단하는 것을 특징으로 하는 양방향 전자동화 공유 방법.12. The method of claim 11,
Wherein the controller extracts facial feature points of the user and a remote user from the video call image and analyzes facial expressions to determine emotional expressive ability according to the content of the electronic animated image.
상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음 및 억양을 분석하여 상기 전자동화의 내용에 따른 대사 표현능력을 판단하는 것을 특징으로 하는 양방향 전자동화 공유 방법.12. The method of claim 11,
Wherein the controller analyzes the pronunciation and intonation of the user and the remote user in the video call voice to determine the ability to express the voice in accordance with the contents of the voice call.
상기 제어부는 상기 영상통화 음성에서 상기 사용자 및 원거리 사용자의 발음을 분석하여 상기 전자동화의 대사와 일치 여부를 판단하여 상기 표시부에 불일치 대사를 표시하고 재수행하도록 하는 것을 특징으로 하는 양방향 전자동화 공유 방법.12. The method of claim 11,
Wherein the control unit analyzes the pronunciation of the user and the remote user in the video call audio to determine whether or not the user agrees with the metabolism of the electronic animation and display the inconsistent metabolism in the display unit and re- .
상기 역할극을 수행하는 단계에서 상기 영상통화 사용자 또는 원거리 사용자의 음성을 변조부를 통해 변조하여 역할극을 수행하는 것을 특징으로 하는 양방향 전자동화 공유 방법.12. The method of claim 11,
Wherein the role playing is performed by modulating the voice of the video call user or the ranged user through the modulator in the step of performing the role playing.
입력부를 통해 상기 전자동화의 삽화, 대사를 편집하는 단계; 를 더 포함하는 양방향 전자동화 공유 방법.12. The method of claim 11,
Editing an illustration and a metabolism of the electronic animation through an input unit; Further comprising the steps < RTI ID = 0.0 > of: < / RTI >
상기 입력부는 상기 표시부에 표시되는 상기 전자동화의 삽화를 기저장된 캐릭터, 배경, 소품 중에서 선택하여 직접 제작할 수 있는 것을 특징으로 하는 양방향 전자동화 공유 방법.18. The method of claim 17,
Wherein the input unit is capable of directly creating an illustration of the electronic animation displayed on the display unit from a pre-stored character, background, and props.
상기 표시부에 표시되는 전자동화의 각 캐릭터의 얼굴에 상기 촬영부에서 촬영되는 사용자의 얼굴이 오버랩되어 표시되는 것을 특징으로 하는 양방향 전자동화 공유 방법.12. The method of claim 11,
Wherein the face of each character of the electromagnetism displayed on the display unit is overlapped and displayed on the face of the user photographed by the photographing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160053877A KR101757219B1 (en) | 2016-05-02 | 2016-05-02 | System and method for two-way sharing of digital book |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160053877A KR101757219B1 (en) | 2016-05-02 | 2016-05-02 | System and method for two-way sharing of digital book |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101757219B1 true KR101757219B1 (en) | 2017-07-12 |
Family
ID=59352979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160053877A KR101757219B1 (en) | 2016-05-02 | 2016-05-02 | System and method for two-way sharing of digital book |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101757219B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007004396A (en) * | 2005-06-22 | 2007-01-11 | Sony Corp | Performance evaluation device and method |
| WO2008047350A2 (en) * | 2006-10-16 | 2008-04-24 | Dror Oberman | System for providing reading-together at two remote locations of a children literature item |
| KR101124798B1 (en) * | 2011-01-27 | 2012-03-23 | 박은경 | Apparatus and method for editing electronic picture book |
-
2016
- 2016-05-02 KR KR1020160053877A patent/KR101757219B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007004396A (en) * | 2005-06-22 | 2007-01-11 | Sony Corp | Performance evaluation device and method |
| WO2008047350A2 (en) * | 2006-10-16 | 2008-04-24 | Dror Oberman | System for providing reading-together at two remote locations of a children literature item |
| KR101124798B1 (en) * | 2011-01-27 | 2012-03-23 | 박은경 | Apparatus and method for editing electronic picture book |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220148271A1 (en) | Immersive story creation | |
| Denzin | Performance texts | |
| JP4395687B2 (en) | Information processing device | |
| Campbell | The theatre of the oppressed in practice today: An introduction to the work and principles of Augusto Boal | |
| Lancaster | Basic cinematography: a creative guide to visual storytelling | |
| CN115016648A (en) | Holographic interaction device and processing method thereof | |
| Bulut | Digital performance: The use of new media technologies in the performing arts | |
| Keller | Barbara Hammer: Pushing out of the frame | |
| CN113420131A (en) | Reading guide method and device for children picture book and storage medium | |
| Cheng | See what I mean: how to use comics to communicate ideas | |
| Burnett | Hidden hands at work: authorship, the intentional flux, and the dynamics of collaboration | |
| KR101757219B1 (en) | System and method for two-way sharing of digital book | |
| Brown et al. | Designers' Shakespeare | |
| Berry | Jia Zhangke on Jia Zhangke | |
| Sonstegard | Performing Remediation: The Minstrel, The Camera, and" The Octoroon" | |
| Borovoy | Genuine object oriented programming | |
| JP7496128B2 (en) | Virtual person dialogue system, image generation method, and image generation program | |
| Nikitas | The Young People’s Stage of the National Theatre of Greece: Cultural Politics and Pedagogical Paradigms | |
| Luck | Interdisciplinary Practice as a Foundation for Experimental Music Theatre | |
| Martinez | Digital Performance Labs in Theatre | |
| O'Malley | Art on Her Mind: The Making of Kathleen Collins's Cinema of Interiority | |
| Grinberg | Keep in Touch-A Performance Research Exploration on the Relation Between the Body, the Screen and Touch | |
| Sawtell | One in a Million Girl: a fictocritical screenplay for a feminist musical | |
| Çelen | Artistic practice in the aftermath of postmodernism: A case study | |
| Megranahan | Creative Arts in Recovery-Personal reflections and artwork |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |