KR102203573B1 - System and program for providing drawing service using speech recognition - Google Patents

System and program for providing drawing service using speech recognition Download PDF

Info

Publication number
KR102203573B1
KR102203573B1 KR1020190028735A KR20190028735A KR102203573B1 KR 102203573 B1 KR102203573 B1 KR 102203573B1 KR 1020190028735 A KR1020190028735 A KR 1020190028735A KR 20190028735 A KR20190028735 A KR 20190028735A KR 102203573 B1 KR102203573 B1 KR 102203573B1
Authority
KR
South Korea
Prior art keywords
voice
unit
basic data
user
picture
Prior art date
Application number
KR1020190028735A
Other languages
Korean (ko)
Other versions
KR20200109548A (en
Inventor
손예심
Original Assignee
(주)피플인사이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)피플인사이드 filed Critical (주)피플인사이드
Priority to KR1020190028735A priority Critical patent/KR102203573B1/en
Publication of KR20200109548A publication Critical patent/KR20200109548A/en
Application granted granted Critical
Publication of KR102203573B1 publication Critical patent/KR102203573B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 드로잉 서비스 제공 시스템과 프로그램에 관한 것으로, 본 발명에 따르면 사용자가 펜을 이용하지 않더라도 그리고자 하는 바를 말로 설명하면, 전용 프로그램이 음성 인식을 통해 그림을 그려줄 수 있고, 완성된 작품은 캐릭터나, 이모티콘 등으로 즉시 적용될 수 있다.The present invention relates to a system and a program for providing a drawing service. According to the present invention, even if a user does not use a pen, explaining what he wants to draw in words, a dedicated program can draw a picture through voice recognition, and the completed work is It can be applied immediately as a character or emoticon.

Description

음성 인식 기능을 이용한 드로잉 서비스 제공 시스템 및 그 드로잉 서비스를 제공하기 위한 프로그램{System and program for providing drawing service using speech recognition}Drawing service providing system using speech recognition function and program for providing drawing service thereof {System and program for providing drawing service using speech recognition}

본 발명은 드로잉 서비스 제공 시스템 및 그 드로잉 서비스를 제공하기 위한 프로그램에 관한 것으로, 더욱 구체적으로는 사용자가 음성으로 그림을 그릴 수 있도록 하는 기술에 대한 것이다.The present invention relates to a drawing service providing system and a program for providing the drawing service, and more specifically, to a technology that enables a user to draw a picture with a voice.

근자에 회자되는 제4차 산업혁명은 인공지능과 융합이 핵심 동력이 되어 IoT, 클라우드 컴퓨팅, 빅데이터, 모바일을 활용하면서 산업과 기술의 비약적 발전을 가져왔다. 이에 따라 사람들은 산업현장과 일상생활에서 전에 없던 편리함을 누리고 있다.The 4th Industrial Revolution, which is talked about in recent years, has led to a leap in industry and technology by utilizing IoT, cloud computing, big data, and mobile as artificial intelligence and convergence become key drivers. Accordingly, people are enjoying unprecedented convenience in the industrial field and in everyday life.

하지만 아무리 기술이 발전한다 하더라도, 예술 작품의 창작은 인간의 고유 영역으로 남아 있기 마련이다. 물론 첨단 기술을 예술 작품의 창작에 접목시키려는 시도는 있었다.However, no matter how advanced technology is, the creation of works of art will remain in the human domain. Of course, there have been attempts to incorporate advanced technology into the creation of works of art.

대한민국공개특허 제10-2017-0121915호(2017.11.03. '스마트 펜을 이용한 그림 그리기 방법 및 시스템')에서는 스마트 펜을 이용하여 터치 화면 상에 그림을 그릴 수 있도록 하는 기술이 다루어지고 있다. 즉 스마트펜과 스마트기기를 이용하여 다양한 선과 색상을 구현하고 편리하게 저장한 후 추후 로딩하여 감상할 수 있도록 한 것이다.Republic of Korea Patent Laid-Open Patent No. 10-2017-0121915 (2017.11.03.'A method and system for drawing a picture using a smart pen') deals with a technology that enables a picture to be drawn on a touch screen using a smart pen. In other words, a variety of lines and colors are implemented using a smart pen and a smart device, stored conveniently, and then loaded and viewed.

하지만 스마트펜을 이용한 그림 그리기 역시, 붓을 펜으로 대체한 것일 뿐 사람이 손을 이용하여 직접 그림을 그려야 한다는 점에서는 본래의 그림 그리기 방식에서 크게 벗어나지 않는다.However, drawing a picture using a smart pen is also a replacement of a brush with a pen, and does not deviate from the original drawing method in that a person has to draw a picture by hand.

따라서 사람이 창작하고자 하는 바는 있으나, 손으로 직접 그림을 그리는 것이 서투르다면 원하는 작품이 나오는 것은 불가능하다.Therefore, although people want to create, it is impossible to produce the desired work if they are not good at drawing pictures by hand.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 음성 인식 기능을 이용하여 드로잉, 즉 그림 그리기가 가능토록 하는 기술을 제공하는 데 그 목적이 있다.The present invention was conceived to solve the problems of the prior art as described above, and an object thereof is to provide a technique that enables drawing, that is, drawing, using a speech recognition function.

상기 목적을 달성하기 위한 본 발명에 따른 드로잉 서비스 제공 시스템은, 드로잉을 위한 기본데이터들이 저장되어 있는 저장부; 사용자의 음성을 인식하는 음성인식부; 상기 음성인식부에서 인식된 음성을 분석하는 음성분석부; 드로잉 화면을 출력하는 화면출력부; 및 상기 저장부에 저장된 기본데이터 중 상기 음성분석부의 분석 결과에 대응하는 기본데이터를 추출하여 상기 화면출력부 상에 드로잉 되도록 처리하는 서비스제어부;를 포함한다.A drawing service providing system according to the present invention for achieving the above object comprises: a storage unit storing basic data for drawing; A voice recognition unit for recognizing a user's voice; A speech analysis unit that analyzes the speech recognized by the speech recognition unit; A screen output unit that outputs a drawing screen; And a service control unit that extracts basic data corresponding to the analysis result of the voice analysis unit from among the basic data stored in the storage unit and processes it to be drawn on the screen output unit.

여기서, 상기 서비스제어부는 상기 음성분석부의 분석 결과에 포함된 위치 지정 정보에 대응하여 상기 추출된 기본데이터가 상기 화면출력부 상에서 특정 위치에 드로잉 되도록 처리할 수 있다.Here, the service control unit may process the extracted basic data to be drawn at a specific location on the screen output unit in response to location designation information included in the analysis result of the voice analysis unit.

또한, 상기 저장부에 저장된 기본데이터는 드로잉 위치에 대한 위치특성정보를 포함하고 있으며, 상기 서비스제어부는 상기 기본데이터를 상기 화면출력부 상에 드로잉 할 시 상기 위치특성정보에 대응하는 위치에 드로잉 할 수 있다.In addition, the basic data stored in the storage unit includes positional characteristic information on a drawing position, and the service control unit draws the basic data to a position corresponding to the positional characteristic information when drawing on the screen output unit. I can.

또, 상기 서비스제어부는 사용자명령에 따라 복수의 기본데이터의 조합으로 상기 화면출력부 상에 드로잉 된 작품을 상기 저장부에 추가데이터로 저장하되, 사용자가 지정한 추가특성정보를 매칭하여 저장하며, 상기 음성분석부에서 상기 추가특성정보에 대응하는 음성이 분석되면, 상기 저장부에서 상기 추가데이터를 추출하여 상기 화면출력부 상에 드로잉 되도록 처리할 수 있다.In addition, the service control unit stores the work drawn on the screen output unit as additional data in the storage unit as a combination of a plurality of basic data according to a user command, and matches and stores additional characteristic information designated by the user, and the When the voice analysis unit analyzes the voice corresponding to the additional characteristic information, the additional data may be extracted from the storage unit and processed to be drawn on the screen output unit.

한편, 상기 목적을 달성하기 위한 프로그램은, 사용자단말에 설치되는 프로그램이며, 사용자의 음성을 인식한 후 분석하는 (a)단계; 및 드로잉을 위한 기본데이터들이 저장되어 있는 저장부에서 상기 음성 분석 결과에 대응하는 기본데이터를 추출하여 화면출력부 상에 드로잉 되도록 처리하는 (b)단계;를 수행할 수 있다.On the other hand, a program for achieving the above object is a program installed in a user terminal, the step (a) of recognizing and analyzing the user's voice; And (b) of extracting basic data corresponding to the voice analysis result from a storage unit in which basic data for drawing are stored and processing to be drawn on a screen output unit.

본 발명에 따른 드로잉 서비스 제공 시스템과 프로그램에 의하면, 그림을 그리기 위해 붓이나 펜을 사용하지 않고, 그리고자 하는 바를 말로 설명하기만 하면 전용 프로그램이 사용자의 음성을 인식한 후 그림을 그려낼 수가 있다. 따라서 펜을 사용하여 그림을 그리는 데에 미숙한 사용자도 말하기를 통해 본인이 원하는 창작물을 손쉽게 그려낼 수 있다.According to the system and program for providing a drawing service according to the present invention, a dedicated program can draw a picture after recognizing the user's voice without using a brush or pen to draw a picture, and simply explaining what to draw in words. . Therefore, even users who are inexperienced in drawing with a pen can easily draw the creation they want by speaking.

또한 사용자가 독특하게 그려낸 그림은 소셜 미디어 계정에서 본인을 대체하는 캐릭터나 아바타로 활용할 수도 있고, 메신저와 같은 채팅 기능에서 창작 이모티콘으로 활용할 수도 있으며, 스마트기기 등의 아이콘으로 활용할 수도 있다. 즉 IT 세계에서 활용 되는 이미지들(캐릭터, 아바타, 이모티콘, 아이콘 등)을 기존에 정해진 것만 사용하는 것이 아니라, 사용자가 말하기로 그린 그림을 통해 새롭게 창작하여 사용할 수 있어서 흥미를 느끼게 해줄 수 있고, 그 응용 범위는 무궁 무진하다.In addition, the pictures uniquely drawn by the user can be used as characters or avatars that replace themselves in social media accounts, as creative emoticons in chat functions such as messengers, or as icons for smart devices. In other words, images used in the IT world (characters, avatars, emoticons, icons, etc.) can be created and used not only by using previously set images, but through pictures drawn by the user, which can make you feel interesting. The application range is endless.

또한, 사용자가 완성한 그림, 즉 작품에 내레이션이나 효과음 등을 직접 입력하여 나만의 스토리텔링이 있는 그림동화를 구현한 후 추후 재생시킬 수도 있고, 자신의 작품을 SNS에 올려 다른이에게 자랑하거나, 다른이가 기본데이터로 활용토록 할 수도 있다.In addition, a user-completed picture, i.e., a narration or sound effect, etc., can be directly entered into the work to implement a picture fairy tale with their own storytelling, and then played back later. This can be used as basic data.

즉, 본 발명에 따른 드로잉 서비스는 기본데이터가 충분할수록 표현할 수 있는 그림이 많아지게 되는데, 사용자들이 완성한 작품이 서로 공유되도록 한다면, 서비스 제공자가 기본으로 제공하는 데이터와 시너지를 일으켜 매우 다양한 형태의 그림을 완성시킬 수 있다.That is, in the drawing service according to the present invention, the more basic data is sufficient, the more pictures that can be expressed. If the finished works by users are shared with each other, a synergy with the data provided by the service provider is generated, resulting in a wide variety of pictures Can be completed.

도1은 본 발명의 실시예에 따른 드로잉 서비스 제공 시스템을 설명하기 위한 블록도.
도2는 도1에 도시된 드로잉 서비스 제공 시스템에서 기본데이터의 저장 구조를 설명하기 위한 개념도.
도3 및 도4는 도1에 도시된 드로잉 서비스 제공 시스템을 이용하여 완성한 작품의 예시를 설명하기 위한 도면.
1 is a block diagram illustrating a system for providing a drawing service according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a storage structure of basic data in the drawing service providing system shown in FIG. 1;
3 and 4 are diagrams for explaining examples of works completed using the drawing service providing system shown in FIG. 1;

이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, some configurations irrelevant to the gist of the invention will be omitted or compressed, but the omitted configuration is not necessarily a configuration unnecessary in the present invention, and will be combined and used by a person having ordinary knowledge in the technical field to which the present invention belongs. I can.

더불어 이하에서 설명하게 되는 각 구성부와 서버 및 시스템은 반드시 각각의 기능을 수행하는 독립적인 구성부나 서버로 이루어져야 하는 것은 아니며, 하나 이상의 프로그램 또는 하나 이상의 서버 또는 하나 이상의 시스템의 집합으로 구현되거나 일부가 공유될 수도 있음을 밝히는 바이다.In addition, each component, server, and system to be described below does not necessarily have to consist of an independent component or server that performs each function, and is implemented as a set of one or more programs, one or more servers, or one or more systems, or partially It is clear that it may be shared.

도1은 본 발명의 실시예에 따른 드로잉 서비스 제공 시스템을 설명하기 위한 도면이다. 도1에 도시된 바와 같이 본 발명의 실시예에 따른 드로잉 서비스 제공 시스템은 운용서버(10) 및 사용자단말(20)을 포함한다.1 is a diagram illustrating a system for providing a drawing service according to an embodiment of the present invention. As shown in Fig. 1, the drawing service providing system according to the embodiment of the present invention includes an operation server 10 and a user terminal 20.

운용서버(10)는 사용자단말(20) 측으로 드로잉 서비스 이용을 위한 프로그램이나 기본데이터 등을 제공하기 위해 마련된다. 즉 본 발명에 따른 드로잉 서비스는 사용자단말(20)에 설치되는 전용 프로그램의 구동을 통해 이루어지게 되는데, 운용서버(10)는 서비스 이용을 위해 최초 접속한 사용자단말(20) 측으로 전용 프로그램을 제공하거나, 드로잉에 필요한 기본데이터를 수시로 제공하거나, 사용자단말(20)에서 저장한 작품을 수신하여 소셜 미디어 플랫폼에 업로드하거나, 또는 저장된 작품을 타 사용자단말(20)로 제공하여 기본데이터로 활용될 수 있도록 처리할 수 있다.The operation server 10 is provided to provide a program or basic data for using a drawing service to the user terminal 20 side. That is, the drawing service according to the present invention is performed by driving a dedicated program installed in the user terminal 20, and the operation server 10 provides a dedicated program to the user terminal 20 first accessed for service use or , Basic data necessary for drawing can be provided from time to time, or the work saved in the user terminal 20 is received and uploaded to a social media platform, or the saved work is provided to another user terminal 20 so that it can be used as basic data. You can handle it.

한편, 본 발명의 실시예에 따른 드로잉 서비스 제공을 위한 프로그램이 사용자단말(20)에 설치되는 방식은 매우 다양할 수 있다. 우선 사용자단말(20)이 스마트폰, 태블릿PC 등의 스마트기기라면 최초 사용자단말(20)이 출시될 시 운영체제와 함께 기본 애플리케이션으로 설치된 상태일 수도 있다. 또는 사용자단말(20)에서 해당 운영체제에서 사용 가능한 애플리케이션을 검색하고 다운로드 받아 설치할 수 있는 앱스토어나 플레이스토어 등에 접속하여 본 발명의 실시예에 따른 드로잉 서비스 제공을 위한 프로그램(애플리케이션)을 다운로드 받아 설치할 수도 있다. 또는 사용자단말(20)이 데스크톱 컴퓨터나, 노트북 컴퓨터일 경우 윈도우 등의 운영체제와 함께 기본 프로그램으로 설치된 상태이거나, 별도 공급되는 DVD, CD, USB 등의 기록매체를 통해 드로잉 서비스 제공 프로그램을 설치하거나, 인터넷에 접속하여 특정 홈페이지에서 프로그램을 제공 받아 설치할 수 있다.Meanwhile, the manner in which a program for providing a drawing service according to an embodiment of the present invention is installed in the user terminal 20 may be very diverse. First, if the user terminal 20 is a smart device such as a smartphone or a tablet PC, it may be installed as a basic application together with an operating system when the first user terminal 20 is released. Alternatively, a program (application) for providing a drawing service according to an embodiment of the present invention may be downloaded and installed by accessing an app store or play store that can search for, download and install applications available in the operating system from the user terminal 20. have. Alternatively, if the user terminal 20 is a desktop computer or a notebook computer, it is installed as a basic program along with an operating system such as Windows, or a drawing service providing program is installed through a recording medium such as a separately supplied DVD, CD, or USB, or You can connect to the Internet and install a program provided by a specific homepage.

사용자단말(20)은 사용자에게 직접적으로 드로잉 서비스를 제공하는 단말이다. 즉 사용자의 명령에 따라 드로잉 화면을 출력하고 특수 효과를 부여하고 저장하는 단말이다. 사용자단말(20)은 스마트폰, 태블릿PC 등의 스마트기기일 수도 있지만, 음성인식을 위한 마이크 등의 주변기기가 연결된 데스크톱 컴퓨터나 노트북 컴퓨터일 수도 있다.The user terminal 20 is a terminal that directly provides a drawing service to a user. In other words, it is a terminal that outputs a drawing screen, gives special effects, and stores according to the user's command. The user terminal 20 may be a smart device such as a smartphone or a tablet PC, but may be a desktop computer or a notebook computer to which peripheral devices such as a microphone for voice recognition are connected.

이러한 사용자단말(20)은 음성인식부(21), 음성분석부(22), 서비스제어부(23), 저장부(24), 음성출력부(25), 화면출력부(26) 및 키입력부(27)를 포함한다.The user terminal 20 includes a voice recognition unit 21, a voice analysis unit 22, a service control unit 23, a storage unit 24, a voice output unit 25, a screen output unit 26, and a key input unit ( 27).

음성인식부(21)는 사용자의 음성을 인식하기 위해 마련된다. 예컨대 음성인식부(21)는 사용자단말(20)에 내장되어 있거나 별도의 케이블로 연결된 마이크일 수 있다.The voice recognition unit 21 is provided to recognize a user's voice. For example, the voice recognition unit 21 may be a microphone embedded in the user terminal 20 or connected by a separate cable.

음성분석부(22)는 음성인식부(21)에서 인식된 사용자의 음성을 분석하여 사용자 명령을 추출하기 위해 마련된다. 음성분석부(22)의 음성 분석 기능은 미리 설치되는 프로그램(전용 애플리케이션)에 의해 이루어진다.The voice analysis unit 22 is provided to analyze a user's voice recognized by the voice recognition unit 21 to extract a user command. The speech analysis function of the speech analysis unit 22 is performed by a program (dedicated application) installed in advance.

서비스제어부(23)는 드로잉 서비스를 위한 전반적인 기능 제어를 수행한다. 예컨대 서비스제어부(23)는 화면출력부(26)를 통해 드로잉 과정에 따른 사용자인터페이스가 출력되도록 하거나, 음성출력부(25)를 통해 안내 음성이 출력되도록 하거나, 키입력부(27)를 통해 입력되는 사용자명령에 따라 드로잉 동작이 수행되도록 할 수 있다. 또한 서비스제어부(23)는 음성분석부(22)의 분석 결과에 따라 저장부(24)에 저장된 기본데이터를 추출하여 화면출력부(26)의 적절한 위치에 드로잉 되도록 처리할 수 있다.The service control unit 23 performs overall function control for a drawing service. For example, the service control unit 23 allows a user interface according to the drawing process to be output through the screen output unit 26, a guide voice is output through the audio output unit 25, or input through the key input unit 27. The drawing operation can be performed according to a user command. In addition, the service control unit 23 may extract basic data stored in the storage unit 24 according to the analysis result of the voice analysis unit 22 and process to be drawn at an appropriate position on the screen output unit 26.

저장부(24)는 드로잉 서비스 제공을 위해 필요한 일련의 데이터들을 저장하기 위해 마련된다. 예컨대 저장부(24)에는 드로잉의 재료가 되는 기본데이터들이 저장되어 있다. 이러한 기본데이터는 사용자단말(20)에 최초 전용 프로그램이 설치될 시 저장되거나, 운용서버(10)로부터 수시로 다운로드 받아 저장될 수 있다. 또한 저장부(24)는 사용자가 작품을 완성하면 완성된 작품을 저장할 수도 있다. 또한 사용자가 그림을 그려 완성된 작품이 저장부(24)에 저장되면, 저장된 작품을 기본데이터와 유사한 용도로 활용할 수도 있는데 이에 대해서는 추후 다시 설명토록 한다.The storage unit 24 is provided to store a series of data necessary for providing a drawing service. For example, the storage unit 24 stores basic data that are materials for drawing. Such basic data may be stored when the first dedicated program is installed in the user terminal 20 or may be downloaded from the operation server 10 from time to time and stored. In addition, the storage unit 24 may store the completed work when the user completes the work. In addition, when a user draws a picture and saves the finished work in the storage unit 24, the saved work may be used for a similar purpose to the basic data, which will be described later.

음성출력부(25)는 드로잉 서비스 과정에서 필요한 안내 정보나 효과음 등의 음성 정보를 출력하기 위해 마련된다. 이러한 음성출력부(25)는 사용자단말(20)에 내장되어 있거나 별도로 연결된 스피커일 수 있다.The voice output unit 25 is provided to output voice information such as guide information or sound effect required in the drawing service process. The audio output unit 25 may be a speaker built into the user terminal 20 or separately connected.

화면출력부(26)는 드로잉 화면을 출력하기 위한 디스플레이이며, 키입력부(27)는 사용자가 명령을 입력할 수 있는 입력수단이다. 여기서 키입력부(27)는 별도의 버튼 형태로 마련될 수도 있으나 화면출력부(26)와 일체로 제작되는 터치스크린일 수도 있다.The screen output unit 26 is a display for outputting a drawing screen, and the key input unit 27 is an input means through which a user can input a command. Here, the key input unit 27 may be provided in the form of a separate button, but may be a touch screen integrally manufactured with the screen output unit 26.

앞서 설명한 바 있지만, 본 발명에 따른 드로잉 서비스를 이용하기 위해서는 사용자단말(20)에 전용 프로그램이 설치되어야 하며, 전용 프로그램의 구동에 따라 드로잉 과정이 이루어진다. 따라서 도1에서 사용자단말(20)의 구성으로 도시된 음성분석부(22)나 서비스제어부(23)는 전용 프로그램의 설치에 따라 드로잉 서비스를 처리하는 구성들을 시각화하여 도시한 것이고, 실질적으로는 컴퓨터 프로그램에 의해 구현된다.Although described above, in order to use the drawing service according to the present invention, a dedicated program must be installed in the user terminal 20, and a drawing process is performed according to the driving of the dedicated program. Therefore, the voice analysis unit 22 or the service control unit 23 shown as the configuration of the user terminal 20 in FIG. 1 visualizes and shows the configurations for processing the drawing service according to the installation of a dedicated program. Implemented by the program.

이하에서는 도2 내지 도4를 통해 도1에 도시된 드로잉 서비스 제공 시스템을 이용하여 사용자가 음성으로 그림을 그리는 과정을 설명토록 한다. 설명에 앞서 사용자단말(20)에는 운용서버(10) 또는 별도의 앱스토어 등에 접속하여 서비스 이용을 위한 전용 프로그램을 미리 다운로드 받아 설치해 놓은 상태라고 가정한다.Hereinafter, a process of a user drawing a picture with voice using the drawing service providing system shown in FIG. 1 will be described through FIGS. 2 to 4. Prior to the description, it is assumed that the user terminal 20 is in a state in which a dedicated program for service use is downloaded and installed in advance by accessing the operation server 10 or a separate app store.

전용 프로그램의 설치에 따라 사용자단말(20)의 저장부(24)에는 드로잉에 필요한 재료 정보인 기본데이터가 저장된다. 도2는 사용자단말(20)의 저장부(24)에 저장된 기본데이터의 저장 구조 예시를 설명하기 위한 것이다.In accordance with the installation of the dedicated program, basic data, which is material information necessary for drawing, is stored in the storage unit 24 of the user terminal 20. 2 is for explaining an example of a storage structure of basic data stored in the storage unit 24 of the user terminal 20.

기본데이터는 사용자가 그리고자 하는 그림의 재료들을 말한다. 예컨대 사람의 얼굴을 그리고자 한다면 얼굴 윤곽, 눈, 코, 입, 머리모양 등의 그림들이 기본데이터가 될 수 있고, 풍경화를 그리고자 한다면 들판, 나무, 동물, 별, 달 등의 그림들이 기본데이터가 될 수 있다. 즉 기본데이터는 사용자가 그리고자 하는 작품에 포함되는 부분적인 그림을 말하며, 저장부(24)에 저장되는 기본데이터의 양이 많을수록 표현할 수 있는 작품도 많아지게 된다.Basic data refers to the materials of the picture the user wants to draw. For example, if you want to draw a person's face, pictures such as face outline, eyes, nose, mouth, and head can be basic data. If you want to draw a landscape, pictures such as fields, trees, animals, stars, and the moon are basic data. Can be. That is, the basic data refers to a partial picture included in the work to be drawn by the user, and the larger the amount of basic data stored in the storage unit 24, the more works that can be expressed.

이러한 기본데이터는 사용자의 음성 명령에 따라 적절하게 로딩될 수 있도록 출력되는 그림파일과 특성정보들이 매칭되어 저장된다. 특성정보란 그림의 종류를 나타내는 종류특성정보, 그림의 성격을 나타내는 성격특성정보, 그리고 그림이 그려져야 하는 위치에 대한 위치특성정보를 말한다. 이 중 위치특성정보의 경우 기본데이터에 별도로 매칭 저장되지 않을 수도 있는데, 이 경우 그림이 어느 위치에 그려져야 하는지에 대해서는 이후 다시 설명토록 한다.This basic data is saved by matching the output picture file and characteristic information so that it can be properly loaded according to the user's voice command. The characteristic information refers to the kind characteristic information indicating the type of the picture, the personality characteristic information indicating the character of the picture, and the location characteristic information about the location where the picture should be drawn. Among them, the location characteristic information may not be separately matched and stored in the basic data. In this case, the location where the picture should be drawn will be described again later.

종류특성정보는 그림의 종류를 나타내는 것으로, 도2를 참조하면 '눈'이라는 종류특성정보를 갖는 기본데이터들을 확인할 수 있다. 즉 '눈'이라는 종류특성을 가지는 기본데이터는 사람의 '눈' 형태의 그림들이다. 마찬가지로 머리 모양, 얼굴 형태, 코, 입, 귀 등의 그림 종류들도 각각 해당 종류특성정보를 가지고 복수개의 그림이 매칭 저장되어 있다.The type characteristic information indicates the type of a picture, and referring to FIG. 2, basic data having type characteristic information called'eye' can be identified. In other words, the basic data having the kind characteristic of'eye' are pictures in the form of human'eyes'. Similarly, picture types such as head shape, face shape, nose, mouth, ears, etc. have corresponding type characteristic information, and a plurality of pictures are matched and stored.

성격특성정보는 그림의 성격을 나타내는 정보이다. 예컨대 '눈'이라는 종류특성정보를 갖는 그림 파일들은 각각 '화난', '웃는', '슬픈', '찡그린' 등의 성격특성정보를 가질 수 있는데, 해당 성격에 맞도록 화난 눈, 웃는 눈, 슬픈 눈, 찡그린 눈의 형태를 갖는다. 성격특성정보와 종류특성정보는 음성 파일 형태로 기본데이터에 매칭 저장되어 있을 수도 있고, 텍스트 형태의 파일명일 수도 있다.Personality characteristic information is information representing the personality of a picture. For example, picture files with type characteristic information of'eyes' can have personality characteristic information such as'angry','laughing','sad', and'grimacing', respectively. Angry eyes, smiling eyes, and It has the form of sad and frowned eyes. Personality characteristic information and type characteristic information may be matched and stored in basic data in the form of an audio file, or may be a file name in a text form.

위치특성정보는 해당 그림이 그려져야 하는 위치에 대한 정보이다. 예컨대 '눈'의 경우 얼굴의 중상단에 그려져야 하는데, '얼굴'이라는 종류특성을 갖는 기본데이터는 위치특성으로 얼굴 윤곽의 중상단에는 '눈'이라는 기본데이터가 위치되도록 하는 위치특성을 가지고 있고, 중간에는 '코', 중하단에는 '입'이라는 기본데이터가 위치되도록 하는 위치특성을 가지고 있다. 또한 '눈'이라는 종류특성을 갖는 기본데이터는 '얼굴'의 중상단에 위치하여야 하는 위치특성을 가지고 있다. 따라서 '얼굴'을 먼저 그린 후 '눈'을 그릴 경우 '얼굴'과 '눈'에 각각 매칭 저장된 위치특성정보에 따라 '눈' 그림은 '얼굴'의 중상단에 자동 삽입되는 형태로 그림이 그려지게 된다.Location characteristic information is information on the location where the picture should be drawn. For example, in the case of'eyes', it should be drawn on the upper middle of the face, but the basic data with the kind characteristic of'face' is a positional characteristic, and the basic data of'eye' is located at the middle and upper part of the outline of the face. , It has a location characteristic that allows basic data such as'nose' in the middle and'mouth' in the middle and lower ends. In addition, the basic data having the type characteristic of'eye' has a positional characteristic that should be located in the upper middle of the'face'. Therefore, when drawing'face' first and then'eye', the'eye' picture is automatically inserted in the middle and upper part of the'face' according to the stored location characteristic information matching each of the'face' and'eye'. You lose.

한편 별도의 위치특성정보가 저장되어 있지 않은 경우 그림이 그려지는 위치에 대해서는 이하에서 다시 다루도록 한다.On the other hand, if separate location characteristic information is not stored, the location where the picture is drawn will be dealt with again later.

애니메이션정보는 그림에 부여되는 애니메이션 효과에 대한 정보이다. 예컨대 '눈'의 경우 깜빡임, 윙크 등의 동작이 애니메이션정보로 매칭 저장될 수 있다.Animation information is information on animation effects applied to a picture. For example, in the case of'eye', actions such as blinking and winking may be matched and stored as animation information.

효과음정보는 각 기본데이터가 그려졌을 시, 또는 그려진 후 음성 출력되는 효과음에 대한 정보이다. 예컨대 '눈'의 경우 깜빡이는 소리, '코'의 경우 킁킁 거리는 소리나 코웃음 치는 소리, '입'의 경우 웃는 소리나 쩝쩝거리는 소리 등 해당 기본데이터의 성격특성에 맞는 효과음이 매칭 저장될 수 있다.The sound effect information is information on sound effect sound that is voiced when each basic data is drawn or after it is drawn. For example, sound effects that match the personality characteristics of the basic data, such as a blinking sound for'eyes', a sniffing or sniffing sound for a'nose', and a laughing or humming sound for a'mouth' may be matched and stored. .

이렇게 저장부(24)에 기본데이터들이 각각 종류특성정보, 성격특성정보, 위치특성정보, 애니메이션정보, 효과음정보를 포함하는 형태로 저장되어 있을 경우 사용자는 음성으로 그림을 그리는 것이 가능하다.In this way, when the basic data are stored in the storage unit 24 in a form including type characteristic information, personality characteristic information, location characteristic information, animation information, and sound effect information, respectively, the user can draw a picture with voice.

먼저 사용자가 사용자단말(20)에서 전용 프로그램을 구동하면 서비스제어부(23)는 화면출력부(26)를 통해 빈 도화지 형태의 배경과 사용자인터페이스가 출력되도록 제어한다. 사용자인터페이스는 드로잉 서비스를 위한 각종 부가 기능을 입력할 수 있는 버튼 형태로 제공될 수 있다. 예컨대 새그림 그리기, 불러오기, 저장, 지우기, 색연필 고르기, SNS에 올리기, 상점 들어가기 등의 버튼이 그림 형태로 또는 그림과 버튼이름이 조합된 형태로 제공될 수 있다.First, when a user drives a dedicated program in the user terminal 20, the service control unit 23 controls the screen output unit 26 to output a blank drawing paper-shaped background and a user interface. The user interface may be provided in the form of a button through which various additional functions for a drawing service can be input. For example, buttons such as drawing a new picture, loading, saving, erasing, selecting colored pencils, posting on social media, and entering a store may be provided in the form of a picture or a combination of a picture and a button name.

만약 사용자가 화면출력부(26)에 출력된 사용자인터페이스를 통해 새그림 그리기를 터치하면, 서비스제어부(23)는 음성출력부(25)를 통해 '원하는 그림을 말로 설명해 보세요'라는 안내 음성이 출력되도록 할 수 있다.If the user touches the drawing of a new picture through the user interface output on the screen output unit 26, the service control unit 23 outputs a guide voice through the voice output unit 25, saying'Please explain the desired picture in words. You can do it.

이후 사용자가 '동그란 얼굴을 그려줘' 또는 '동그란 얼굴'이라고 말을 하면, 음성인식부(21)에서 사용자의 음성을 인식하게 되고, 음성분석부(22)는 음성인식부(21)에서 인식된 음성을 분석하여 의미 있는 명령들을 추출하게 된다. 예컨대 음성분석부(22)는 사용자의 음성을 분석하여 '동그란'이라는 음성명령과 '얼굴'이라는 음성명령을 추출할 수 있다.Thereafter, when the user says'draw a round face' or'a round face', the voice recognition unit 21 recognizes the user's voice, and the voice analysis unit 22 recognizes the user's voice by the voice recognition unit 21 By analyzing the voiced voice, meaningful commands are extracted. For example, the voice analysis unit 22 may analyze the user's voice and extract a voice command “round” and a voice command “face”.

이후 서비스제어부(23)는 음성분석부(22)의 분석 결과에 따라 이에 대응하는 드로잉 작업을 처리한다. 즉 음성분석부(22)에서 유의미한 음성 명령인 '동그란'과 '얼굴'에 대응하여 '동그란'은 성격특성을 의미하고 '얼굴'은 종류특성을 의미하는 것이라 판단한 후, 저장부(24)를 검색하여 '얼굴'이라는 종류특성을 갖는 기본데이터 중 '동그란'이라는 성격특성을 갖는 기본데이터를 추출하여 화면출력부(26)를 통해 출력되도록 처리한다.Thereafter, the service control unit 23 processes a drawing operation corresponding thereto according to the analysis result of the voice analysis unit 22. That is, in response to the meaningful voice commands'round' and'face', the voice analysis unit 22 determines that'round' means personality characteristics and'face' means kind characteristics, and then stores the storage unit 24. Among the basic data having a type characteristic of'face' by searching, basic data having a personality characteristic of'round' is extracted and processed to be output through the screen output unit 26.

이때 해당 기본데이터에 위치특성정보가 매칭 저장되어 있다면, 위치특성정보에 맞추어 화면 출력되겠지만, 별도의 위치특성정보가 없을 경우 화면 중앙에 얼굴 그림이 그려지도록 처리할 수 있다.At this time, if the location characteristic information is matched and stored in the corresponding basic data, the screen will be displayed according to the location characteristic information, but if there is no additional location characteristic information, a face picture can be drawn in the center of the screen.

여기서 서비스제어부(23)가 음성분석부(22)에서 추출한 의미별 음성 명령에 따라 저장부(24)에서 특정 기본데이터를 추출하는 방법은 다양한데, 먼저 음성 자체를 비교하는 방식이 있을 수 있다. 즉 기본데이터에 매칭 저장된 종류특성, 성격특성, 위치특성 등의 정보가 음성파일 형태로 저장되어 있다면, 서비스제어부(23)는 음성분석부(22)에서 분석한 '동그란'이란 음성정보와 매칭되는 음성 파일 형태의 성격특성을 검색하는 것이다.Here, there are various methods of extracting specific basic data from the storage unit 24 according to the voice command for each meaning extracted from the voice analysis unit 22 by the service control unit 23, but there may be a method of comparing the voice itself. That is, if information such as type characteristics, personality characteristics, and location characteristics matched and stored in the basic data is stored in the form of a voice file, the service control unit 23 matches the voice information of'round' analyzed by the voice analysis unit 22. It is to search for personality characteristics in the form of voice files.

다른 방식으로는 음성 명령을 텍스트 형태로 변환한 후 비교하는 방식이 있을 수 있다. 즉 기본데이터에 매칭 저장된 종류특성, 성격특성, 위치특성 등의 정보가 텍스트 형태(파일명일 수도 있음)라면, 서비스제어부(23)는 음성분석부(22)에서 분석된 유의미한 음성 명령인 '동그란'과 '얼굴'을 텍스트 형태로 변환(STT 알고리즘 적용)하고, 변환된 텍스트 명령에 대응하는 종류특성과 성격특성을 갖는 기본데이터를 추출할 수 있다.As another method, there may be a method of converting the voice command into text form and then comparing it. That is, if information such as type characteristics, personality characteristics, location characteristics, etc., matched and stored in the basic data, is in a text form (may be a file name), the service control unit 23 is And'face' can be converted into text form (STT algorithm is applied), and basic data having type characteristics and personality characteristics corresponding to the converted text command can be extracted.

한편 사용자는 그림을 그리고자 할 때, 그림이 그려져야 하는 위치를 지정할 수도 있다. 예컨대 '화면 좌측에 동그란 얼굴을 그려줘'라고 말할 수 있는 것이다. 이 경우 음성분석부(22)는 동그란 얼굴 외에 '화면 좌측'이라는 유의미한 명령을 분석해 낼 수 있고, 서비스제어부(23)는 음성분석부(22)에서 분석한 '화면 좌측'이라는 음성 명령 자체를 분석하여, 또는 텍스트 변환을 한 후 '좌측'이라는 표현을 통해 '화면 좌측'이라는 명령을 위치 지정 정보라 판단한 후, '동그란 얼굴'이라는 기본데이터를 저장부(24)에서 추출하여 화면출력부(26)에 드로잉할 시, 화면의 좌측에 치우친 위치에 '동그란 얼굴'이 그려지도록 할 수 있다.On the other hand, when the user wants to draw a picture, the user can designate the location where the picture should be drawn. For example, you can say'draw a round face on the left side of the screen'. In this case, the voice analysis unit 22 can analyze the meaningful command'left side of the screen' in addition to the round face, and the service control unit 23 analyzes the voice command itself'left side of the screen' analyzed by the voice analysis unit 22. Alternatively, or after text conversion, the command'left of the screen' is determined as location designation information through the expression'left', and the basic data of'round face' is extracted from the storage unit 24 and the screen output unit 26 ), you can draw a'round face' on the left side of the screen.

물론 사용자는 그림이 그려진 이후에도 수시로 음성 명령을 입력하여 그림의 위치를 옮길 수도 있다. 즉 서비스제어부(23)가 화면출력부(26)를 통해 동그란 얼굴을 그려넣은 후 사용자가 '얼굴을 더 좌측으로 옮겨줘'라고 말한다면, 음성인식부(21)에서 해당 음성 명령을 인식하고 음성분석부(22)의 분석 결과에 따라 서비스제어부(23)는 '더 좌측'이라는 음성 명령을 통해 얼굴 그림을 좌측으로 옮기라는 위치 조정 명령임을 판단한 후 얼굴 그림을 미리 지정된 만큼 좌측으로 옮겨지도록 처리할 수 있다.Of course, even after the picture is drawn, the user can also move the picture position by entering a voice command from time to time. That is, if the service control unit 23 draws a round face through the screen output unit 26 and then the user says'Move the face to the left more', the voice recognition unit 21 recognizes the corresponding voice command and According to the analysis result of the analysis unit 22, the service control unit 23 determines that it is a position adjustment command to move the face picture to the left through a voice command'more left', and then processes the face picture to be moved to the left by a predetermined amount. I can.

같은 방식으로 사용자는 '웃는 눈을 그려줘'라고 말할 수 있으며, 음성분석부(22)에서 '웃는'이라는 성격특성과 '눈'이라는 종류특성을 분석해 내면, 서비스제어부(23)가 저장부(24)에 저장된 기본데이터 중 웃는 눈을 추출하여 화면출력부(26)를 통해 드로잉하게 된다. 이때 '눈'의 경우 얼굴의 중상단에 그려지도록 하는 위치특성을 가지고 있고, 얼굴에서도 중상단에는 '눈'이 그려져야 한다는 위치특성을 가지고 있으므로, 사용자가 별도의 위치 지정을 하지 않았다면 추출된 웃는 눈은 기존에 그려졌던 동그란 얼굴의 중상단에 자동 삽입되도록 드로잉 처리할 수 있다. 물론 사용자가 '웃는 눈을 얼굴 중간에 그려줘'라고 말한다면 서비스제어부(23)는 '얼굴 중간에'라는 위치 지정 정보에 따라 기존에 그려졌던 동그란 얼굴에서 중간 위치에 웃는 눈이 그려지도록 처리할 수 있다.In the same way, the user can say'draw a smiling eye', and when the voice analysis unit 22 analyzes the personality trait of'laughing' and the kind trait of'eyes', the service control unit 23 returns the storage unit ( The smiling eyes are extracted from the basic data stored in 24) and are drawn through the screen output unit 26. At this time, the'eye' has a positional feature that allows it to be drawn on the upper middle of the face, and the face also has a positional feature that'eyes' should be drawn at the upper middle of the face. Eyes can be drawn so that they are automatically inserted in the middle and upper part of the previously drawn round face. Of course, if the user says'draw the smiling eyes in the middle of the face', the service control unit 23 will process the smiling eyes to be drawn in the middle position from the previously drawn round face according to the location designation information'in the middle of the face'. I can.

한편 이상에서는 각 기본데이터에 위치특성정보가 매칭 저장되어 있거나, 사용자가 위치 지정 정보를 음성으로 입력하였을 시 그림이 그려지는 위치가 어떻게 결정되는지 설명하였는데, 실시하기에 따라 사용자가 그림의 위치를 화면상에서 손가락으로 지정하여 그릴 수도 있다. 예컨대 사용자가 '웃는 눈'이라고 말한다면, 음성분석부(22)의 분석 결과에 따라 서비스제어부(23)가 저장부(24)에서 '웃는 눈'이라는 기본데이터를 추출하되, 특정 위치에 고정 시키는 것이 아니라, 화면출력부(26) 상에 표출만 시키고, 이후 사용자가 손가락으로 화면출력부(26)에 표시된 '웃는 눈' 그림을 드래그하여 특정 위치로 이동시킨 후 손가락을 떼어냄으로써, '웃는 눈'이 특정 위치에 그려지도록 하는 것이다.On the other hand, in the above, it has been explained how the location of the picture is determined when the location characteristic information is matched and stored in each basic data or when the user inputs the location designation information by voice. You can also draw with your finger on the top. For example, if the user says'smiley eyes', the service control unit 23 extracts basic data called'smiley eyes' from the storage unit 24 according to the analysis result of the voice analysis unit 22, but fixes it at a specific location. Rather, it is displayed only on the screen output unit 26, and then the user drags the'smiley eye' picture displayed on the screen output unit 26 with a finger, moves it to a specific position, and then removes the finger. 'This is to be drawn in a specific position.

또한 사용자가 성격특성을 지정하지 않고 종류특성만 말한다거나, 사용자가 말한 성격특성과 동일한 성격을 갖는 기본데이터가 존재하지 않는 경우도 있을 수 있다. 예컨대 '성난 눈'이라는 음성 명령을 입력하였을 경우 서비스제어부(23)는 저장부(24)에서 '성난'이라는 성격특성과 동일한 성격을 갖는 기본데이터를 찾을 수 없게 되는 것이다. 이 경우 서비스제어부(23)는 저장부(24)에서 '눈'이라는 종류특성을 갖는 모든 종류의 기본데이터들을 추출하여 화면출력부(26) 상에 출력되도록 처리할 수 있고, 사용자는 출력된 모든 종류의 눈 그림 중에서 본인이 원하는 그림과 가장 유사한 형태의 눈 그림을 직접 고른 후 드래그 앤 드랍 방식으로 얼굴 위에 그려지도록 할 수 있다.In addition, there may be cases in which a user does not designate a personality trait and only refers to a kind trait, or there may not be a basic data having the same personality as the personality trait that the user said. For example, when a voice command of'Angry Eyes' is input, the service control unit 23 cannot find basic data having the same personality as'Angry' in the storage unit 24. In this case, the service control unit 23 may extract all types of basic data having a type characteristic of'eye' from the storage unit 24 and process it to be output on the screen output unit 26, and the user Among the types of eye drawings, you can select the eye drawing that is the most similar to the one you want, and then draw it on the face by dragging and dropping.

한편 서비스제어부(23)는 기본데이터들을 추출하여 화면출력부(26)에 드로잉할 시, 해당 기본데이터에 매칭 저장된 애니메이션이나 효과음이 있다면, 기본데이터를 출력하여 화면출력부(26)에 드로잉할 시 애니메이션 효과를 즉시 적용하고, 효과음이 음성출력부(25)를 통해 출력되도록 할 수 있다.On the other hand, the service control unit 23 extracts basic data and draws it to the screen output unit 26, if there is an animation or sound effect matched to the corresponding basic data, and outputs the basic data and draws it to the screen output unit 26. The animation effect can be applied immediately, and the sound effect can be output through the audio output unit 25.

또한 사용자는 음성 명령을 통해 그림에 색상을 입히거나 변경시킬 수도 있다. 즉 사용자가 '동그란 얼굴을 까맣게 그려줘'라고 한다면, 서비스제어부(23)는 음성분석부(22)에서 분석한 '까맣게'라는 색상 지정 정보를 통해 동그란 얼굴이라는 기본데이터를 화면 출력할 시 까만색 피부색상을 적용하여 드로잉 할 수 있다.Users can also color or change pictures through voice commands. That is, if the user says'draw a round face black', the service control unit 23 uses the color designation information of'black' analyzed by the voice analysis unit 22 to display the basic data of a round face on the screen. You can draw by applying color.

또는 사용자가 사용자인터페이스를 통해 색연필 버튼을 터치하면, 다양한 색상을 선택할 수 있고, 이 중 까만색을 선택하면 까만색 색연필이 포인터로 등장하게 되고, 색연필 포인터를 드래그하면서 동그란 얼굴에 색상을 입혀줄 수 있다.Alternatively, when the user touches the colored pencil button through the user interface, various colors can be selected, and when black is selected among them, a black colored pencil appears as a pointer, and a color can be applied to a round face while dragging the colored pencil pointer.

이렇게 사용자가 얼굴, 눈, 머리모양, 코, 입, 귀 등의 기본데이터 들을 음성 명령으로 추출하여 작품을 완성한 예시가 도3에 도시되어 있다. 물론 사용자가 음성 명령을 통해 '산과 들판을 그려줘', '별과 달을 그려줘', '기린을 그려줘' 등의 음성 명령을 입력한다면 도4에 도시된 바와 같은 풍경화가 그려질 수도 있다.In this way, an example in which a user completes a work by extracting basic data such as face, eyes, head shape, nose, mouth, and ears with voice commands is shown in FIG. 3. Of course, if the user inputs voice commands such as'draw mountains and fields','draw stars and moons', and'draw giraffes' through voice commands, a landscape painting as shown in FIG. 4 may be drawn. .

또한 사용자는 음성으로 기본데이터들을 하나씩 출력하여 작품을 완성하고 나면, 저장 명령을 음성으로 입력하거나, 사용자인터페이스를 통해 저장하기를 터치함으로써 완성된 작품을 저장부(24)에 추가데이터로써 저장할 수 있다. 이렇게 저장된 추가데이터는 종류특성과 성격특성이 매칭 저장될 수 있으며, 이에 따라 추가데이터는 추후 기본데이터와 같은 밑그림 재료로 활용될 수 있다.In addition, after completing the work by outputting the basic data one by one by voice, the user can save the finished work as additional data in the storage unit 24 by inputting a save command by voice or by touching Save through the user interface. . The additional data stored in this way can be matched and stored with type characteristics and personality characteristics, and accordingly, the additional data can be used as a draft material such as basic data later.

예컨대 도4와 같은 풍경화를 작품으로 완성하였다면, 저장 과정에서 '한밤 중의 평화로운 들판 그림'이라는 추가특성정보를 매칭 저장할 수 있다. 만약 음성으로 추가특성정보를 입력하였다면 음성분석부(22)는 '한밤 중', '평화로운', '들판 그림' 등의 정보들을 분류해 낼 수 있고, 서비스제어부(23)는 해당 작품 그림을 저장할 시 성격특성정보로써 '한밤 중', '평화로운'을 매칭 저장하고, 종류특성정보로써 '들판 그림'을 매칭 저장할 수 있다. 이후 사용자가 새로운 그림을 그릴 시 '한밤 중 들판 그림'을 입력한다거나, '평화로운 들판'을 입력할 경우 서비스제어부(23)는 기 저장된 추가데이터의 추가특성정보를 확인하여 사용자가 완성한 작품을 추출하여 화면출력되도록 처리할 수 있다.For example, if the landscape painting as shown in FIG. 4 is completed as a work, additional characteristic information such as'a peaceful field picture in the middle of the night' can be matched and stored in the storage process. If additional characteristic information is input by voice, the voice analysis unit 22 can classify information such as'midnight','peaceful', and'field picture', and the service control unit 23 can When saving,'midnight' and'peaceful' as personality characteristic information can be matched and saved, and'field picture' can be matched and stored as type characteristic information. After that, when the user draws a new picture, when the user inputs'midnight field picture' or'peaceful field', the service control unit 23 checks the additional characteristic information of the previously stored additional data and extracts the work completed by the user. It can be processed to display the screen.

또한 사용자는 여러장의 작품을 완성한 후 그림동화를 연출할 수도 있다. 즉 도3 및 도4와 같은 얼굴 그림을 완성한 후 사용자인터페이스를 통해 내레이션(narration)을 선택하고, 각각의 그림마다 내레이션이나 효과음 등을 입력(녹음)하면, 작품들이 추가데이터로 저장될 시 내레이션 정보가 함께 매칭 저장될 수 있다. 또한 복수 작품들을 묶어서 하나의 동화 데이터로 저장할 수도 있는데, 이 경우 추후 동화 데이터를 불러오기 하면, 서비스제어부(23)는 저장된 순서에 맞게 그림 작품을 화면출력부(26)를 통해 출력되도록 한 후, 내레이션이나 효과음이 음성출력부(25)를 통해 출력되도록 함으로써 그림 동화를 재생시킬 수 있다.In addition, users can create a picture fairy tale after completing several works. That is, after completing the face drawings as shown in Figs. 3 and 4, if you select narration through the user interface and input (record) narration or sound effects for each picture, narration information when the works are stored as additional data Can be stored matching together. In addition, multiple works may be grouped and stored as one moving picture data. In this case, when the moving picture data is called later, the service control unit 23 outputs the picture works through the screen output unit 26 according to the stored order, By allowing narration or sound effect to be output through the audio output unit 25, it is possible to reproduce a picture or video clip.

또한 저장된 작품을 SNS에 올리도록 터치 또는 음성으로 명령을 입력하면, 서비스제어부(23)는 운용서버(10) 측으로 작품을 전송하게 되고, 운용서버(10)는 미리 설정된 계정 정보를 이용하여 특정 SNS 상에 사용자의 작품이 게시되도록 처리할 수 있다.In addition, when a command is input by touch or voice to upload the stored work to SNS, the service control unit 23 transmits the work to the operation server 10, and the operation server 10 uses preset account information to You can process the user's work to be posted on the screen.

또한 운용서버(10)로 전송된 작품은 사용자의 동의를 거쳐 타인의 사용자단말(20)로 전송된 후, 타인의 사용자단말(20)에서 기본데이터로 활용되도록 할 수도 있다. 즉 본 발명에 따른 드로잉 서비스를 효과적으로 활용하기 위해서는 기본데이터가 풍부할수록 유리한데, 서비스 제공자가 기본데이터를 충분하게 제공하는 것에 더불어, 사용자가 직접 그린 작품들도 기본데이터로 활용될 수 있도록 한다면, 사용자들이 많아질수록, 그리고 시간이 지나면서 작품이 누적될수록 사용할 수 있는 기본데이터가 많아져서 표현할 수 있는 작품도 더욱 다양해질 수 있는 것이다. 특히 미술학원 등에서 본 서비스를 이용하고 학생들이 완성한 작품을 서로 공유하여 기본데이터로 활용 가능하도록 한다면 효과는 배가될 것이다.In addition, after the work transmitted to the operation server 10 is transmitted to the user terminal 20 of another person with the consent of the user, it may be used as basic data in the user terminal 20 of the other person. In other words, in order to effectively utilize the drawing service according to the present invention, it is advantageous if the basic data is richer. If the service provider provides sufficient basic data and allows the works drawn by the user to be used as basic data, the user As the number of works increases, and the more works accumulate over time, the more basic data that can be used, the more diverse works that can be expressed. In particular, the effect will be doubled if the service is used at art academies, etc., and students can share their finished work and use it as basic data.

또한 이상의 설명에서는 사용자단말(20)의 저장부(24)에 저장된 기본데이터들만을 추출할 수 있도록 설명하였지만, 실시하기에 따라 서비스제어부(23)는 음성분석부(22)의 분석 결과에 대응하는 기본데이터가 운용서버(10)에 존재하는지 요청한 후 실시간으로 수신하여 화면 출력되도록 처리할 수도 있다.In addition, in the above description, it has been described so that only basic data stored in the storage unit 24 of the user terminal 20 can be extracted, but according to implementation, the service control unit 23 corresponds to the analysis result of the voice analysis unit 22. After requesting whether the basic data exists in the operation server 10, it may be received in real time and processed to be displayed on the screen.

또한 사용자가 완성한 작품들을 이용하여 스마트폰이나 컴퓨터 상의 아이콘으로 즉시 적용시키거나, 소셜 미디어 상에서 본인을 대체하는 캐릭터나 아바타로 적용시키거나, 메신저 서비스에서 이모티콘으로 활용되도록 전용 프로그램이 서비스를 제공할 수도 있다.In addition, a dedicated program may provide a service so that the work completed by the user is immediately applied as an icon on a smartphone or computer, applied as a character or avatar that replaces the person on social media, or used as an emoticon in a messenger service. have.

이상에서 상세히 설명한 바와 같이, 본 발명에 따른 드로잉 서비스 제공 시스템과 프로그램에 의하면, 그림을 그리기 위해 붓이나 펜을 사용하지 않고, 그리고자 하는 바를 말로 설명하기만 하면 전용 프로그램이 사용자의 음성을 인식한 후 그림을 그려낼 수가 있다. 따라서 펜을 사용하여 그림을 그리는 데에 미숙한 사용자도 말하기를 통해 본인이 원하는 창작물을 손쉽게 그려낼 수 있다.As described in detail above, according to the system and program for providing a drawing service according to the present invention, a dedicated program recognizes the user's voice without using a brush or pen to draw a picture, and simply describing what to draw in words. You can draw a picture later. Therefore, even users who are inexperienced in drawing with a pen can easily draw the creation they want by speaking.

또한 사용자가 독특하게 그려낸 그림은 소셜 미디어 계정에서 본인을 대체하는 캐릭터나 아바타로 활용할 수도 있고, 메신저와 같은 채팅 기능에서 창작 이모티콘으로 활용할 수도 있으며, 스마트기기 등의 아이콘으로 활용할 수도 있다. 즉 IT 세계에서 활용 되는 이미지들(캐릭터, 아바타, 이모티콘, 아이콘 등)을 기존에 정해진 것만 사용하는 것이 아니라, 사용자가 말하기로 그린 그림을 통해 새롭게 창작하여 사용할 수 있어서 흥미를 느끼게 해줄 수 있고, 그 응용 범위는 무궁 무진하다.In addition, the pictures uniquely drawn by the user can be used as characters or avatars that replace themselves in social media accounts, as creative emoticons in chat functions such as messengers, or as icons for smart devices. In other words, images used in the IT world (characters, avatars, emoticons, icons, etc.) can be created and used not only by using previously set images, but through pictures drawn by the user, which can make you feel interesting. The application range is endless.

또한, 사용자가 완성한 그림, 즉 작품에 내레이션이나 효과음 등을 직접 입력하여 나만의 스토리텔링이 있는 그림동화를 구현한 후 추후 재생시킬 수도 있고, 자신의 작품을 SNS에 올려 다른이에게 자랑하거나, 다른이가 기본데이터로 활용토록 할 수도 있다.In addition, a user-completed picture, i.e., a narration or sound effect, etc., can be directly entered into the work to implement a picture fairy tale with their own storytelling, and then played back later, or upload their work on SNS to show off to others This can be used as basic data.

즉, 본 발명에 따른 드로잉 서비스는 기본데이터가 충분할수록 표현할 수 있는 그림이 많아지게 되는데, 사용자들이 완성한 작품이 서로 공유되도록 한다면, 서비스 제공자가 기본으로 제공하는 데이터와 시너지를 일으켜 매우 다양한 형태의 그림을 완성시킬 수 있다.That is, in the drawing service according to the present invention, the more basic data is sufficient, the more pictures that can be expressed. If the finished works by users are shared with each other, a synergy with the data provided by the service provider is generated, resulting in a wide variety of pictures Can be completed.

한편, 이상의 설명에서 기본데이터에 대하여 자세히 설명한 바 있지만, 이에 대하여 부연 설명을 하면 다음과 같다.On the other hand, although the basic data has been described in detail in the above description, a further explanation will be given below.

기본데이터는 그림을 그리고자 하는 재료들을 말한다. 예컨대 사람의 얼굴을 그릴 때 필요한 얼굴 윤곽, 눈, 코, 입, 머리모양의 그림 데이터이거나, 풍경화를 그릴 때 필요한 들판, 나무, 동물, 별, 달 등의 그림 데이터들이 기본데이터가 될 수 있고, 각각의 그림 데이터들은 종류특성, 성격특성, 위치특성, 애니메이션, 효과음정보 등이 매칭되어 있어서 음성 분석 결과에 따라 특정 기본데이터가 추출되어 그려질 수 있다. 또한 기본데이터에서 효과음이나 애니메이션은 그림데이터에 매칭되어 있어서 그림데이터가 추출될 때 매칭된 효과음이나 애니메이션이 함께 추출되는 것으로 설명하였지만, 실시하기에 따라 그림데이터와 별개로 효과음 자체 또는 애니메이션 자체가 독립적인 기본데이터로 추출될 수도 있다.Basic data refers to the materials to be drawn. For example, the outline of the face, eyes, nose, mouth, and head shape required when drawing a human face, or drawing data such as fields, trees, animals, stars, and the moon required when drawing landscapes can be basic data. Each picture data is matched with type characteristics, personality characteristics, location characteristics, animation, sound effect information, etc., so specific basic data can be extracted and drawn according to the result of speech analysis. In addition, in the basic data, the sound effect or animation is matched with the picture data, so when the picture data is extracted, the matched sound effect or animation is also extracted. It can also be extracted as basic data.

예를 들어 사용자가 기본데이터로 고양이를 로딩하여 그린 후, 효과음으로는 '호랑이 울음소리'을 부여토록 하는 것이다. 효과음은 실제음이 녹음된 것을 운용서버(10)에서 사용자단말(20)로 제공하여 저장부(24)에 저장하였다가 불러올 수도 있고, 사용자가 음성인식부(21)를 통해 '호랑이 울음소리'를 흉내(의성어) 내어 직접 녹음시킨 후 기본데이터처럼(실질적으로는 추가데이터이다) 활용할 수도 있다.For example, after the user loads and draws a cat as basic data, the effect sound is to give a'tiger cry'. The sound effect can be stored in the storage unit 24 by providing the recording of the actual sound to the user terminal 20 from the operation server 10, and then recalling it, or the user can use the voice recognition unit 21 to provide a'tiger cry' It can be used as basic data (actually additional data) after recording directly by imitating (onomatopoeia).

또한 기본데이터(그림데이터, 효과음, 애니메이션 등)는 저장부(24)에 많이 저장되어 있을수록 다양한 결과물이 나올 수 있는데, 이러한 기본데이터는 최초 프로그램이 설치될 시 저장부(24)에 저장된 이후, 운용서버(10)로부터 지속적으로 업데이트 받을 수도 있고, 실시하기에 따라 사용자단말(20)에서 음성으로 그림을 그릴 때마다, 필요한 기본데이터를 운용서버(10)에 요청하여 실시간으로 전송받은 후 사용할 수도 있다. 또한 사용자가 직접 그린 그림이나, 녹음시킨 효과음 등(추가데이터)을 기본데이터로 활용할 수 있도록 한다면, 음성으로 그림을 그리는 작업을 하면할수록 기본데이터(추가데이터 포함)의 양이 늘어나서 다양한 작품 그리기가 가능하다.In addition, the more basic data (picture data, sound effects, animations, etc.) are stored in the storage unit 24, the more various results can be produced. These basic data are stored in the storage unit 24 when the first program is installed, It may be continuously updated from the operation server 10, or whenever a user terminal 20 draws a picture by voice according to implementation, the necessary basic data may be requested to the operation server 10 and transmitted in real time before use. have. In addition, if users can use their own drawings or recorded sound effects (additional data) as basic data, the more they draw a picture with voice, the more the amount of basic data (including additional data) increases, making it possible to draw various works. Do.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.Preferred embodiments of the present invention described above are disclosed for the purpose of illustration, and those skilled in the art with ordinary knowledge of the present invention will be able to make various modifications, changes and additions within the spirit and scope of the present invention. And additions will be seen as falling within the scope of the claims of the present invention.

10 : 운용서버
20 : 사용자단말
21 : 음성인식부
22 : 음성분석부
23 : 서비스제어부
24 : 저장부
25 : 음성출력부
26 : 화면출력부
27 : 키입력부
10: Operation server
20: User terminal
21: voice recognition unit
22: speech analysis unit
23: service control unit
24: storage
25: audio output unit
26: screen output unit
27: key input unit

Claims (5)

드로잉을 위한 기본데이터들이 저장되어 있는 저장부;
사용자의 음성을 인식하는 음성인식부;
상기 음성인식부에서 인식된 음성을 분석하는 음성분석부;
드로잉 화면을 출력하는 화면출력부; 및
상기 저장부에 저장된 기본데이터 중 상기 음성분석부의 분석 결과에 대응하는 기본데이터를 추출하여 상기 화면출력부 상에 드로잉 되도록 처리하는 서비스제어부;를 포함하되,
상기 저장부에 저장된 기본데이터는 그림파일과, 그림의 종류를 나타내는 종류특성정보와, 그림의 성격을 나타내는 성격특성정보와, 그림이 그려져야 하는 위치에 대한 위치특성정보가 매칭되어 저장된 상태이고,
상기 음성인식부에서 사용자의 음성을 인식하면, 상기 음성분석부에서 음성을 분석하여 유의미한 음성 명령들을 추출하고, 상기 서비스제어부는 상기 음성분석부에서 분석한 유의미한 음성 명령에 대응하는 종류특성정보 및 성격특성정보를 갖는 기본데이터를 추출하여 상기 화면출력부 상에 드로잉 되도록 처리하되,
상기 서비스제어부는 상기 음성분석부의 분석 결과에 포함된 유의미한 음성 명령 중 위치 지정 정보에 대응하여 상기 추출된 기본데이터가 상기 화면출력부 상에서 특정 위치에 드로잉 되도록 처리하거나, 또는 상기 기본데이터를 상기 화면출력부 상에 드로잉할 시 상기 위치특성정보에 대응하는 위치에 드로잉 하는 것을 특징으로 하는 드로잉 서비스 제공 시스템.
A storage unit storing basic data for drawing;
A voice recognition unit for recognizing a user's voice;
A speech analysis unit that analyzes the speech recognized by the speech recognition unit;
A screen output unit that outputs a drawing screen; And
A service control unit for extracting basic data corresponding to the analysis result of the voice analysis unit from among the basic data stored in the storage unit and processing it to be drawn on the screen output unit
The basic data stored in the storage unit is a state in which a picture file, type characteristic information indicating the type of the picture, personality characteristic information indicating the character of the picture, and location characteristic information about the location where the picture should be drawn are matched and stored,
When the voice recognition unit recognizes the user's voice, the voice analysis unit analyzes the voice to extract meaningful voice commands, and the service control unit extracts type characteristic information and personality corresponding to the meaningful voice command analyzed by the voice analysis unit. Extract basic data with characteristic information and process it to be drawn on the screen output unit,
The service control unit processes the extracted basic data to be drawn at a specific location on the screen output unit in response to position designation information among meaningful voice commands included in the analysis result of the speech analysis unit, or outputs the basic data to the screen. A drawing service providing system, characterized in that when drawing on a float, drawing is performed at a location corresponding to the location characteristic information.
삭제delete 삭제delete 제1항에 있어서,
상기 서비스제어부는 사용자명령에 따라 복수의 기본데이터의 조합으로 상기 화면출력부 상에 드로잉 된 작품을 상기 저장부에 추가데이터로 저장하되, 사용자가 지정한 추가특성정보를 매칭하여 저장하며, 상기 음성분석부에서 상기 추가특성정보에 대응하는 음성이 분석되면, 상기 저장부에서 상기 추가데이터를 추출하여 상기 화면출력부 상에 드로잉 되도록 처리하는 것을 특징으로 하는 드로잉 서비스 제공 시스템.
The method of claim 1,
The service control unit stores the work drawn on the screen output unit as additional data in the storage unit as additional data as a combination of a plurality of basic data according to a user command, matches and stores additional characteristic information designated by the user, and stores the voice analysis When the voice corresponding to the additional characteristic information is analyzed by the unit, the additional data is extracted from the storage unit and processed to be drawn on the screen output unit.
삭제delete
KR1020190028735A 2019-03-13 2019-03-13 System and program for providing drawing service using speech recognition KR102203573B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190028735A KR102203573B1 (en) 2019-03-13 2019-03-13 System and program for providing drawing service using speech recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190028735A KR102203573B1 (en) 2019-03-13 2019-03-13 System and program for providing drawing service using speech recognition

Publications (2)

Publication Number Publication Date
KR20200109548A KR20200109548A (en) 2020-09-23
KR102203573B1 true KR102203573B1 (en) 2021-01-15

Family

ID=72708932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190028735A KR102203573B1 (en) 2019-03-13 2019-03-13 System and program for providing drawing service using speech recognition

Country Status (1)

Country Link
KR (1) KR102203573B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220129337A (en) 2021-03-16 2022-09-23 주식회사 심률 Apparatus for I-Draw Service and Driving Method Thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102448806B1 (en) 2021-04-13 2022-09-29 주식회사 씨제이이엔엠 Method for providing broadcasting service user participatory argumented reality drawing and service server thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157192A (en) * 2009-01-05 2010-07-15 Nintendo Co Ltd Drawing processing program and information processor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH087121A (en) * 1994-06-22 1996-01-12 Hitachi Ltd Information processor and attribute changing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157192A (en) * 2009-01-05 2010-07-15 Nintendo Co Ltd Drawing processing program and information processor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220129337A (en) 2021-03-16 2022-09-23 주식회사 심률 Apparatus for I-Draw Service and Driving Method Thereof

Also Published As

Publication number Publication date
KR20200109548A (en) 2020-09-23

Similar Documents

Publication Publication Date Title
Noble Programming interactivity
US11756280B2 (en) Flippable and multi-faced VR information boards
US10223636B2 (en) Artificial intelligence script tool
US10635746B2 (en) Web-based embeddable collaborative workspace
US20180130496A1 (en) Method and system for auto-generation of sketch notes-based visual summary of multimedia content
US20150095882A1 (en) Method for the utilization of environment media in a computing system
US20190079922A1 (en) Method and system for imposing a dynamic sentiment vector to an electronic message
KR100856786B1 (en) System for multimedia naration using 3D virtual agent and method thereof
Scolastici et al. Mobile game design essentials
US10739988B2 (en) Personalized persistent collection of customized inking tools
KR102203573B1 (en) System and program for providing drawing service using speech recognition
US11430186B2 (en) Visually representing relationships in an extended reality environment
CN109074218B (en) Document content playback
CN114219892A (en) Intelligent driving method of three-dimensional model
KR102312996B1 (en) Method for studying
Welinske Developing user assistance for mobile apps
Miller The practitioner's guide to user experience design
CN111443794A (en) Reading interaction method, device, equipment, server and storage medium
Huang et al. Research on the Communication Mode of Mobile Applications Under the Human-Computer Interaction Mode
Bähr et al. State of Prototyping Mobile Application User-Interfaces
Leishman The Flash Community: Implications for Post-Conceptualism
Chown et al. Software and Metaphors
KR20230070850A (en) Digital actor management system for EMAIL software
CN116847168A (en) Video editor, video editing method and related device
Alvina Increasing the expressive power of gesture-based interaction on mobile devices

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant