KR102664695B1 - A Voice recognition and touch mixed input device for infants physical computing education - Google Patents

A Voice recognition and touch mixed input device for infants physical computing education Download PDF

Info

Publication number
KR102664695B1
KR102664695B1 KR1020210183497A KR20210183497A KR102664695B1 KR 102664695 B1 KR102664695 B1 KR 102664695B1 KR 1020210183497 A KR1020210183497 A KR 1020210183497A KR 20210183497 A KR20210183497 A KR 20210183497A KR 102664695 B1 KR102664695 B1 KR 102664695B1
Authority
KR
South Korea
Prior art keywords
touch
voice
control
coding
module
Prior art date
Application number
KR1020210183497A
Other languages
Korean (ko)
Other versions
KR20230094370A (en
Inventor
이석
조강현
Original Assignee
주식회사크리모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사크리모 filed Critical 주식회사크리모
Priority to KR1020210183497A priority Critical patent/KR102664695B1/en
Publication of KR20230094370A publication Critical patent/KR20230094370A/en
Application granted granted Critical
Publication of KR102664695B1 publication Critical patent/KR102664695B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/37—Compiler construction; Parser generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0053—Computers, e.g. programming
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/06—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics
    • G09B23/18—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for electricity or magnetism
    • G09B23/183—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for electricity or magnetism for circuits
    • G09B23/186—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for electricity or magnetism for circuits for digital electronics; for computers, e.g. microprocessors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것으로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있고 또한, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있는 기능을 갖춘 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것이다. The present invention relates to a voice recognition and touch mixed input device for physical computing education for infants and toddlers. It allows input of commands or text into smart blocks and applications through various voice commands or simple touches without a keyboard or mouse, and also allows accurate input through voice recognition. It is a voice recognition and touch mixed input device for physical computing education for infants and toddlers that has the function of allowing coding to be done and the results of coding to be immediately checked through play blocks (smart blocks), providing intuitive and interesting coding education for children. It's about.

Description

영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치{A Voice recognition and touch mixed input device for infants physical computing education}{A Voice recognition and touch mixed input device for infants physical computing education}

본 발명은 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것으로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있고 또한, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있는 기능을 갖춘 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치에 관한 것이다. The present invention relates to a voice recognition and touch mixed input device for physical computing education for infants and toddlers. It allows input of commands or text into smart blocks and applications through various voice commands or simple touches without a keyboard or mouse, and also allows accurate input through voice recognition. It is a voice recognition and touch mixed input device for physical computing education for infants and toddlers that has the function of allowing coding to be done and the results of coding to be immediately checked through play blocks (smart blocks), providing intuitive and interesting coding education for children. It's about.

기존에 널리 활용되고 있는 입력장치로는 키보드나 마우스가 있으며, 키보드나 마우스 없이 간단하게 사용할 수 있는 입력장치로 잘 알려진 것은 Sony사의 DualShock나 Microsoft사의 Xbox one과 같은 컨트롤러가 있습니다. 이러한 콘솔 컨트롤러 경우, 키보드와 마우스 없이 각 회사의 제품이나, PC에서 입력장치로 사용이 되고 있으며, 이러한 입력장치들은 게임을 하기에 최적화되어 있는 입력장치들입니다. Existing widely used input devices include keyboards and mice, and well-known input devices that can be simply used without a keyboard or mouse include controllers such as Sony's DualShock and Microsoft's Xbox One. These console controllers are used as input devices in each company's products or PCs without a keyboard or mouse, and these input devices are optimized for playing games.

하지만, 조이스틱과 방향키를 이용하는 입력장치의 한계 때문에, 텍스트를 입력하여야 하는 경우에는 자판을 화면에 띄우고 포인터를 움직여서 글자를 선택하고, 다시 포인터를 움직여서 입력 버튼을 누르거나 특정 버튼을 눌러서 텍스트를 입력하게 됩니다. 이 경우 양손을 모두 사용해서 입력을 하여야 하고, 커서를 한 칸 한 칸 움직여야 하기 때문에 답답함마저 느끼게 됩니다. However, due to the limitations of input devices using joysticks and arrow keys, when you need to input text, display the keyboard on the screen, move the pointer to select a letter, then move the pointer again to press the input button or press a specific button to enter text. It's possible. In this case, you have to use both hands to input and move the cursor one space at a time, which can be frustrating.

키보드와 마우스 같은 기존에 널리 사용되는 HCI UI 입력장치나 컨트롤러와 같은 경우는, 널리 사용되는 만큼 많은 장점이 있습니다만, 거의 대부분의 제품들이 주로 사용하는 청소년과 청년, 중년층에 맞춰져 있기 때문에, 아이들이나 노인, 장애인 같은 디지털 취약 계층의 경우에는 익히고 사용하는 것에 어려움이 있습니다. Existing widely used HCI UI input devices and controllers, such as keyboards and mice, have many advantages as they are widely used, but since most products are geared toward teenagers, young adults, and the middle-aged, they are not suitable for children or children. Digitally vulnerable groups such as the elderly and the disabled have difficulty learning and using it.

<특허문헌> <Patent Document>

한국공개특허 제10-2016-0059640호 (2016.05.27.공개) "다중 음성인식모듈을 적용한 음성 인식 방법 및 이를 위한 음성인식장치"Korean Patent Publication No. 10-2016-0059640 (published May 27, 2016) “Voice recognition method using multiple voice recognition modules and voice recognition device for the same”

상기 선행 특허문헌에 개시된 선행특허 역시 다양한 음성인식 서비를 위한 음성인식 속도와 성능 개선에 중점을 두고 있는 음성인식장치일 뿐, 특정 대상층 즉, 영유아들을 대상으로 한 쉬운 사용을 위한 입력장치 개발과는 무관한 선행기술일 뿐입니다. The prior patent disclosed in the above prior patent document is also a voice recognition device that focuses on improving voice recognition speed and performance for various voice recognition services, and is not related to the development of an input device for easy use for a specific target group, that is, infants and toddlers. It is just irrelevant prior art.

본 발명은 이와 같은 기존의 널리 활용되는 입력장치의 문제점에 기반하여, 특히 영유아들의 피지컬 컴퓨팅 교육에 특화된 새로운 형태의 입력장치를 제공하고자 개발되었다. The present invention was developed based on the problems of existing widely used input devices to provide a new type of input device specifically specialized for physical computing education in infants and young children.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, The present invention was devised to solve the above problems,

본 발명의 목적은, 영유아용 피지컬 컴퓨팅 교육에 사용되는 입력장치로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 제공하는 것이다. The purpose of the present invention is to provide an input device used in physical computing education for infants and toddlers, which includes a voice recognition device for physical computing education for infants and toddlers that can input commands or text into smart blocks and applications through various voice commands or simple touches without a keyboard or mouse. It provides a touch mixed input device.

본 발명의 다른 목적은, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있도록 하는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 제공하는 것이다. Another purpose of the present invention is to provide physical coding for infants and toddlers that enables accurate coding through voice recognition and enables intuitive and interesting coding education for children by immediately checking the results of coding through play blocks (smart blocks). It provides a combined voice recognition and touch input device for computing education.

본 발명은 앞서 본 목적을 달성하기 위해서 다음과 같은 구성을 가진 실시예에 의해서 구현된다.In order to achieve the above-described object, the present invention is implemented by an embodiment having the following configuration.

본 발명의 일 실시예에 따르면, 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치는, 음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 음성인식제어부; 및 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 터치인식제어부;를 포함하는 것을 특징으로 한다. According to one embodiment of the present invention, a voice recognition and touch combined input device for physical computing education for infants and toddlers according to the present invention includes a voice recognition control unit that recognizes a voice and transmits a control command according to the voice to a target device; And a touch recognition control unit that recognizes the touch and transmits a control command according to the touch to the target device.

본 발명의 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 음성인식제어부는, 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB를 포함하는 데이터베이스부;와, 상기 데이터베이스부에 저장된 주요 음성데이터를 포함하는 다양한 형태의 단위 문장 음성데이터를 수집 및 학습하는 음성학습부;와, 상기 음성학습부에서 학습된 데이터를 기반으로 인식된 음성에 따른 제어명령을 생성하는 음성제어명령실행부;를 포함하는 것을 특징으로 한다. According to another embodiment of the present invention, in the input device according to the present invention, the voice recognition control unit corresponds to an educational voice DB containing educational voice data such as logic, language, and mathematics, and a hot key or touch event in a GUI environment. A database unit including a voice command DB containing voice commands; And, a voice learning unit that collects and learns various types of unit sentence voice data including main voice data stored in the database unit; And, The voice learning unit It is characterized by including a voice control command execution unit that generates a control command according to the recognized voice based on data learned from.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 터치인식제어부는, 음성으로는 처리하기 어려운 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 터치표면부;와, 상기 터치표면부에 인식된 터치에 따른 제어명령을 생성하는 터치제어명령실행부;를 포함하는 것을 특징으로 한다. According to another embodiment of the present invention, in the input device according to the present invention, the touch recognition control unit includes a plurality of touchable sections so that special input values that are difficult to process through voice can be input through the user's touch. It is characterized in that it includes a touch surface unit; and a touch control command execution unit that generates a control command according to a touch recognized on the touch surface unit.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치는 주사위 또는 블록과 같은 다면체 형태로 형성되며, 상기 터치표면부는, 상기 다면체 형태의 입력장치의 일 면에 형성되며, 상기 터치표면부 면은 1~5의 숫자가 입력되는 5구획 또는 0~5의 숫자와 특수키가 입력되는 9구획으로 분할되는 것을 특징으로 한다. According to another embodiment of the present invention, the input device according to the present invention is formed in the shape of a polyhedron such as a dice or block, and the touch surface portion is formed on one surface of the input device in the polyhedron shape, and the touch surface portion The face is characterized by being divided into 5 compartments where numbers 1 to 5 are input, or 9 compartments where numbers 0 to 5 and special keys are input.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 터치제어명령실행부는, 상기 터치표면부에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 복합터치제어명령실행모듈을 포함하는 것을 특징으로 한다. According to another embodiment of the present invention, in the input device according to the present invention, the touch control command execution unit generates a complex touch command for the case where a plurality of sections on the touch surface unit are touched at the same time. It is characterized by including an execution module.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치는 놀이용 블록에 대한 제어명령을 실행하는데 활용되며, 상기 음성인식제어부는 음성을 인식하여 코딩에 적용하는 음성코딩명령실행부를 추가로 포함하며, 상기 음성코딩명령실행부는, 수신된 음성에 따라 코딩에 적용될 메뉴를 선택하는 실행메뉴검색모듈과, 검색된 메뉴에 대한 확인신호를 출력하는 적용확인모듈과, 메뉴에 대한 확인이 이루어지는 경우 음성에 따른 제어명령을 수신하는 제어명령수신모듈과, 수신된 제어명령을 코딩에 적용하는 제어적용모듈을 포함하는 것을 특징으로 한다. According to another embodiment of the present invention, the input device according to the present invention is used to execute control commands for play blocks, and the voice recognition control unit additionally includes a voice coding command execution unit that recognizes voice and applies it to coding. It includes an execution menu search module that selects a menu to be applied to coding according to the received voice, an application confirmation module that outputs a confirmation signal for the searched menu, and a voice coding command execution unit that selects a menu to be applied to coding according to the received voice. It is characterized by comprising a control command reception module that receives a control command according to and a control application module that applies the received control command to coding.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서 상기 음성인식제어부는, 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 인터페이스부와, 상기 인터페이스부의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 코딩처리부;를 추가로 포함하며, 상기 인터페이스부는 상기 작업화면에 선택 가능한 복수의 명령어 엔트리를 표시하는 제1영역과, 상기 제1영역에서 선택된 엔트리가 드래그앤드롭(drag & drop)되는 제2영역을 포함하고, 상기 코딩처리부는 상기 제2영역에 배치된 복수의 엔트리의 배열 순서에 따라 엔트리를 컴파일하는 컴파일처리모듈과, 상기 컴파일처리모듈에 의해 컴파일된 제어코드를 스마트 블록로 전송하는 제어코드전송모듈을 포함하며, 상기 제어명령수신모듈은 음성에 의한 명령에 따라 제1영역의 엔트리를 제2영역으로 드래그앤드롭(drag & drop) 시키도록 하는 것을 특징으로 한다. According to another embodiment of the present invention, in the input device according to the present invention, the voice recognition control unit includes an interface unit providing a work screen for coding control commands for play blocks, and coding on the work screen of the interface unit. It further includes a coding processing unit that compiles the contents and transmits the compiled control code to a specific play block to enable operation according to the control code, wherein the interface unit displays a plurality of selectable command entries on the work screen. It includes a first area to display and a second area to which entries selected in the first area are dragged and dropped, and the coding processing unit follows the arrangement order of the plurality of entries arranged in the second area. It includes a compilation processing module that compiles an entry, and a control code transmission module that transmits the control code compiled by the compilation processing module to a smart block, and the control command reception module is configured to generate an entry in the first area according to a voice command. It is characterized by dragging and dropping to the second area.

본 발명의 또 다른 실시예에 따르면, 본 발명에 따른 입력장치에 있어서, 상기 코딩처리부는 상기 컴파일처리모듈에 의해 컴파일된 제어 코드의 흠결을 분석하는 흠결분석모듈과, 상기 흠결분석모듈에 의한 분석결과 흠결이 존재하면 상기 작업화면에 흠결을 표시하는 흠결표시모듈을 포함하고, 상기 제어코드전송모듈은 상기 흠결분석모듈에 의해 흠결이 미존재하는 경우 컴파일된 제어코드를 놀이용 블록에 전송하도록 하는 것을 특징으로 한다. According to another embodiment of the present invention, in the input device according to the present invention, the coding processing unit includes a defect analysis module for analyzing defects in the control code compiled by the compilation processing module, and analysis by the defect analysis module. The result includes a defect display module that displays the defect on the work screen if a defect exists, and the control code transmission module transmits the compiled control code to the play block when the defect is not present by the defect analysis module. It is characterized by

본 발명은 앞서 본 실시예와 하기에 설명할 구성과 결합, 사용관계에 의해 다음과 같은 효과를 얻을 수 있다.The present invention can achieve the following effects by combining the above-mentioned embodiment with the configuration, combination, and use relationship described below.

본 발명은, 영유아용 피지컬 컴퓨팅 교육에 사용되는 입력장치로, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션에 명령어나 텍스트를 입력할 수 있는 효과를 갖는다. The present invention is an input device used in physical computing education for infants and toddlers, and has the effect of allowing commands or text to be input into smart blocks and applications through various voice commands or simple touches without a keyboard or mouse.

본 발명은, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있도록 하는 효과를 갖는다. The present invention has the effect of enabling accurate coding through voice recognition and immediately checking the results of coding through play blocks (smart blocks), thereby providing intuitive and interesting coding education for children.

도 1은 본 발명에 따른 입력장치의 일 실시예를 도시한 참고도
도 2는 본 발명 입력장치의 음성인식제어부 세부 구성을 도시한 블럭도
도 3은 본 발명 입력장치의 터치인식제어부 세부 구성을 도시한 블럭도
도 4는 터치표면부의 실시예를 도시한 참고도
도 5는 본 발명 입력장치로 놀이용 블록에 대한 제어명령을 실행하는데 활용되는 예를 도시한 참고도
도 6은 인터페이스부에 의해 디스플레이에 표시되는 작업화면을 나타내는 참고도1 is a reference diagram showing an embodiment of an input device according to the present invention.
Figure 2 is a block diagram showing the detailed configuration of the voice recognition control unit of the input device of the present invention.
Figure 3 is a block diagram showing the detailed configuration of the touch recognition control unit of the input device of the present invention.
Figure 4 is a reference diagram showing an embodiment of the touch surface portion.
Figure 5 is a reference diagram showing an example used to execute a control command for a play block with the input device of the present invention.
Figure 6 is a reference diagram showing the work screen displayed on the display by the interface unit.

이하에서는 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치의 바람직한 실시예들을 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 특별한 정의가 없는 한 본 명세서의 모든 용어는 본 발명이 속하는 기술분야의 통상의 지식을 가진 기술자가 이해하는 당해 용어의 일반적 의미와 동일하고 만약 본 명세서에 사용된 용어의 의미와 충돌하는 경우에는 본 명세서에 사용된 정의에 따른다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하고, 또한 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Hereinafter, preferred embodiments of a combined voice recognition and touch input device for physical computing education for infants and toddlers according to the present invention will be described in detail with reference to the attached drawings. It should be noted that like elements in the drawings are represented by like symbols wherever possible. Unless otherwise specified, all terms in this specification have the same general meaning as understood by a person skilled in the art to which the present invention pertains, and if there is a conflict with the meaning of the terms used in this specification, this specification Follow the definitions used in the specification. Throughout the specification, when a part "includes" a certain component, this means that it does not exclude other components but may further include other components unless specifically stated to the contrary, and also means that other components may be included as described in the specification. Terms such as "...unit" and "...module" refer to a unit that processes at least one function or operation, which may be implemented as hardware, software, or a combination of hardware and software.

도 1 등을 참조하면, 본 발명의 일 실시예에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치는, 음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 음성인식제어부(10); 및 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 터치인식제어부(30);를 포함할 수 있다. 앞서 종래기술의 문제점으로 언급한 바와 같이, 키보드와 마우스 같은 기존에 널리 사용되는 HCI UI 입력장치나 컨트롤러와 같은 경우는, 주로 사용하는 청소년과 청년, 중년층에 맞춰져 있기 때문에, 아이들이나 노인, 장애인 같은 디지털 취약 계층 특히, 영유아를 대상으로 하는 피지컬 컴퓨팅 교육에 사용하기 어려웠던바, 이에 맞춰 (키보드나 마우스 없이도)다양한 음성명령이나 간단한 터치를 통해 교육용 스마트 블록이나 어플리케이션 등에 명령어나 텍스트를 입력할 수 있는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 제공하고자 본 발명이 개발되었다. Referring to FIG. 1 and the like, the voice recognition and touch combined input device for physical computing education for infants and toddlers according to an embodiment of the present invention includes a voice recognition control unit 10 that recognizes voice and transmits a control command according to the voice to the target device. ; and a touch recognition control unit 30 that recognizes the touch and transmits a control command according to the touch to the target device. As previously mentioned as a problem with the prior art, widely used HCI UI input devices and controllers, such as keyboards and mice, are mainly geared towards adolescents, young adults, and the middle-aged, and are therefore designed for use by children, the elderly, and the disabled. It has been difficult to use physical computing education for digitally vulnerable groups, especially infants and toddlers, so infants and toddlers can enter commands or text into educational smart blocks or applications through various voice commands or simple touches (even without a keyboard or mouse). The present invention was developed to provide a combined voice recognition and touch input device for physical computing education.

상기 음성인식제어부(10)는 음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 구성으로, 도 1을 참조하면, 본 발명의 입력장치 일측을 통해 음성을 인식하고 인식된 음성에 따른 제어명령을 생성하여 전송하는 기능을 수행하며, 이를 위해 기본적으로 음성인식 구성, 제어명령을 생성하기 위한 연산 구성 및 이를 전송하기 위한 통신 구성을 포함하게 되며, 보다 구체적으로 상기 음성인식제어부(10)는, 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB(111)와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB(112)를 포함하는 데이터베이스부(110);와, 상기 데이터베이스부(110)에 저장된 주요 음성데이터를 포함하는 다양한 형태의 단위 문장 음성데이터를 수집 및 학습하는 음성학습부(120);와, 상기 음성학습부(120)에서 학습된 데이터를 기반으로 인식된 음성에 따른 제어명령을 생성하는 음성제어명령실행부(130);를 포함할 수 있다. The voice recognition control unit 10 is configured to recognize a voice and transmit a control command according to the voice to the target device. Referring to FIG. 1, the voice recognition control unit 10 recognizes the voice through one side of the input device of the present invention and transmits a control command according to the voice to the target device. It performs the function of generating and transmitting control commands, and for this purpose, it basically includes a voice recognition configuration, an operation configuration for generating control commands, and a communication configuration for transmitting them. More specifically, the voice recognition control unit 10 A database unit ( 110); Wow, a voice learning unit 120 that collects and learns various types of unit sentence voice data including main voice data stored in the database unit 110; Wow, the voice learning unit 120 learned It may include a voice control command execution unit 130 that generates a control command according to the recognized voice based on the data.

상기 데이터베이스부(110)는 상기 음성학습부(120)를 통해 학습하게 될 다양한 교육용 음성데이터 및 음성지시문 등을 저장,제공하는 구성으로, 구체적으로 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB(111)와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB(112)를 포함할 수 있다. 상기 데이터베이스부(110)에 저장,관리되는 데이터들은 지속적으로 업데이트됨은 물론, 정밀도를 향상시키기 위해 수정이 필요한 사항들에 대한 피드백을 통해 정확도 높은 DB를 구축하게 된다. The database unit 110 is configured to store and provide various educational voice data and voice instructions to be learned through the voice learning unit 120, and specifically includes educational voice data such as logic, language, and mathematics. It may include a voice DB 111 and a voice command DB 112 containing voice commands corresponding to hot keys or touch events in the GUI environment. The data stored and managed in the database unit 110 is continuously updated, and a highly accurate DB is built through feedback on matters that require modification to improve precision.

상기 음성학습부(120)는 상기 데이터베이스부(110)에 저장된 주요 음성데이터를 포함하는 다양한 형태의 단위 문장 음성데이터를 수집 및 학습하는 구성으로, 특히 상기 음성학습부(120)는 인공지능(AI)을 이용한 신경망 학습(Neural Network)을 기반으로 다양한 음성데이터를 학습하며, 현재 BERT모델 구조를 기반으로 한 영유야 음성인식 AI API를 적용하게 됩니다. 상기 음성학습부(120)는 상기 데이터베이스부(110)의 논리, 언어, 수학과 같은 교육용 음성데이터를 포함하는 교육용음성DB(111)와, GUI 환경에서의 핫키 내지 터치 이벤트에 대응하는 음성지시문을 포함하는 음성지시문DB(112)를 데이터셋에 포함하여, 다양한 학습환경 등에서의 주요 상황에서의 주요단어를 포함하는 다양한 형태의 단위 문장 음성데이터를 학습하게 됩니다. 특히, 유아와 어린이의 음성에 최적화 된 Speech To Text(STT) 엔진과 같은 특정 연령의 특성이 고려된 맞춤형 엔진을 통해, 어린이와 유아의 특성에 맞는 Natural Language Processing(NLP) 기반의 대화 관리 및 언어인식 알고리즘 적용으로 인식률 개선을 통해 사용자의 만족도를 향상시키게 됩니다. The voice learning unit 120 is configured to collect and learn various types of unit sentence voice data including main voice data stored in the database unit 110. In particular, the voice learning unit 120 is an artificial intelligence (AI) unit. ) is used to learn various voice data based on neural network learning, and infant/toddler voice recognition AI API based on the current BERT model structure is applied. The voice learning unit 120 includes an educational voice DB 111 containing educational voice data such as logic, language, and mathematics of the database unit 110, and voice instructions corresponding to hot keys or touch events in the GUI environment. By including the voice instruction DB (112) in the dataset, various types of unit sentence voice data containing key words in key situations in various learning environments are learned. In particular, through a customized engine that takes into account the characteristics of specific ages, such as the Speech To Text (STT) engine optimized for the voices of infants and children, conversation management and language based on Natural Language Processing (NLP) tailored to the characteristics of children and infants By applying a recognition algorithm, user satisfaction is improved by improving the recognition rate.

상기 음성제어명령실행부(130)는 상기 음성학습부(120)에서 학습된 데이터를 기반으로 인식된 음성에 따른 제어명령을 생성하는 구성으로, 본 발명의 입력장치가 적용되는 다양한 학습용 교구나 어플리케이션 등에 대한 제어명령어를 인식된 음성 및 학습된 데이터를 기반으로 생성하여 전송하게 된다. The voice control command execution unit 130 is configured to generate control commands according to the recognized voice based on data learned from the voice learning unit 120, and is used in various learning tools or applications to which the input device of the present invention is applied. Control commands for the following are generated and transmitted based on the recognized voice and learned data.

상기 터치인식제어부(30)는 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 구성으로, 앞서 상기 음성인식제어부(10)를 통해 사용자의 음성을 인식하여 제어명령을 실행하는 것만으로는 복잡하고 정밀한 명령어 실행이 어려울 수 있는 특수키(일 예로, 키보드의 스페이스키나 엔터키 등) 등과 같은 특별한 기능적 명령어 인식은 상기 터치인식제어부(30)를 통해 보다 간편하게 입력 및 그에 따른 제어명령 생성이 용이해지게 된다. 이를 위해 구체적으로 상기 터치인식제어부(30)는, 음성으로는 처리하기 어려운 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 터치표면부(310);와, 상기 터치표면부(310)에 인식된 터치에 따른 제어명령을 생성하는 터치제어명령실행부(320); 및 이를 전송하기 위한 통신 구성을 포함할 수 있다. The touch recognition control unit 30 is configured to recognize a touch and transmit a control command according to the touch to the target device. Simply recognize the user's voice through the voice recognition control unit 10 and execute the control command. Recognition of special functional commands such as special keys (for example, the space key or enter key on the keyboard, etc.), which may be difficult to execute complex and precise commands, can be input more easily through the touch recognition control unit 30 and generate control commands accordingly. It becomes easier. For this purpose, specifically, the touch recognition control unit 30 includes a touch surface unit 310 including a plurality of touchable sections so that special input values that are difficult to process by voice can be input through the user's touch; a touch control command execution unit 320 that generates a control command according to the touch recognized on the touch surface unit 310; and a communication configuration for transmitting it.

상기 터치표면부(310)는 음성으로는 처리하기 어려운 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 구성으로, 일 실시예로, 본 발명의 입력장치가 도 1에 도시된 바와 같이, 주사위 또는 블록과 같은 다면체 형태로 형성되는 예를 들어 설명하면, 상기 터치표면부(310)는, 상기 다면체 형태의 입력장치의 일 면에 형성되며, 상기 터치표면부(310) 면은, 도 4에 도시된 바와 같이, 1~5의 숫자가 입력되는 5구획 또는 0~5의 숫자와 특수키가 입력되는 9구획과 같은 복수의 구획으로 분할되어 각각의 구획마다 특정 입력값이 부여된 형태로 형성될 수 있다. 즉, 1~5의 숫자가 입력되는 5구획으로 구성된 예에서는, 각각의 구획에 대한 터치를 통해 1~5의 숫자를 간단하게 입력하는 명령어 실행이 가능케 되고, 0~5의 숫자와 특수키가 입력되는 9구획으로 구성된 예에서는, 각각의 구획에 대한 터치를 통해 0~5의 숫자 및 각 특수키에 해당하는 명령어 실행이 가능케 된다. The touch surface unit 310 is configured to include a plurality of touchable sections so that special input values that are difficult to process through voice can be input through the user's touch. In one embodiment, the input device of the present invention As shown in FIG. 1, taking an example in which the touch surface portion 310 is formed in a polyhedral shape such as a dice or block, the touch surface portion 310 is formed on one side of the input device in the polyhedron shape, and the touch surface portion As shown in Figure 4, the (310) surface is divided into a plurality of compartments, such as 5 compartments where numbers 1 to 5 are input, or 9 compartments where numbers 0 to 5 and special keys are input, and each compartment It can be formed in a form where a specific input value is given. That is, in an example consisting of 5 compartments where numbers 1 to 5 are input, it is possible to execute a command to simply input numbers 1 to 5 by touching each compartment, and numbers 0 to 5 and special keys are used. In the example consisting of 9 input compartments, it is possible to execute commands corresponding to the numbers 0 to 5 and each special key by touching each compartment.

상기 터치제어명령실행부(320)는 상기 터치표면부(310)에 인식된 터치에 따른 제어명령을 생성하는 구성으로, 본 발명의 입력장치가 적용되는 다양한 학습용 교구나 어플리케이션 등에 대한 제어명령어를 터치된 입력값을 인식하고 이를 기반으로 생성하여 전송하게 된다. 이때 특히 상기 터치제어명령실행부(320)는, 상기 터치표면부(310)에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 복합터치제어명령실행모듈(321)을 포함할 수 있다. The touch control command execution unit 320 is configured to generate control commands according to the touch recognized by the touch surface unit 310, and touches control commands for various learning materials or applications to which the input device of the present invention is applied. The input value is recognized, generated based on it, and transmitted. At this time, in particular, the touch control command execution unit 320 may include a complex touch control command execution module 321 that generates a complex touch command for the case where a plurality of sections on the touch surface unit 310 are touched at the same time. there is.

상기 복합터치제어명령실행모듈(321)은 터치표면부(310)에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 구성으로, 앞서 설명한 바와 같이 상기 터치표면부(310)가 5구획 또는 9구획 등의 복수의 구획으로 설정된 경우, 각각의 구획에 대한 단일 터치만으로 입력이 끝나는 것이 아니라, 복수의 구획을 동시에 터치하는 동작으로도 원하는 명령어 입력이 가능하도록 하기 위함이다. 일 예로, 1~5의 숫자가 입력되는 5구획으로 구성된 경우, 5버튼과 옆의 1부터 4까지의 버튼을 함께 눌러서 6부터 9까지의 값을 입력 할 수 있거나 또는 1과 2를 함께 입력하면 0, 1과 3은 Enter, 2와 4는 space, 3과 4는 back space의 명령어 입력과 같이 복수의 구획을 동시에 터치하여 다양한 특수키에 해당하는 명령어 입력 및 실행이 가능케 하게 된다. The complex touch control command execution module 321 is a component that generates a complex touch command when a plurality of sections on the touch surface unit 310 are touched at the same time. As described above, the touch surface unit 310 has 5 When set to multiple compartments, such as a compartment or 9 compartments, input is not completed with a single touch to each compartment, but the desired command can be input by touching multiple compartments simultaneously. For example, if it consists of 5 compartments where numbers 1 to 5 are input, you can input values from 6 to 9 by pressing the 5 button and the buttons 1 to 4 next to it, or by entering 1 and 2 together. It is possible to input and execute commands corresponding to various special keys by touching multiple sections at the same time, such as entering the commands 0, 1, and 3 for Enter, 2 and 4 for space, and 3 and 4 for back space.

이와 같은 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 통해, 키보드나 마우스 없이도 다양한 음성명령이나 간단한 터치를 통해 스마트 블록과 어플리케이션 등과 같은 영유아 교육용 교구 등에 대한 명령어나 텍스트를 입력할 수 있게 된다. Through this combined voice recognition and touch input device for physical computing education for infants and toddlers according to the present invention, commands or texts for infant and toddler educational materials such as smart blocks and applications can be entered through various voice commands or simple touches without a keyboard or mouse. There will be.

한편, 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치는 특히, 영유아들의 놀이용 블록(보다 정확하게는 스마트 블록으로, 기존 레고 블록과 호환이 가능한 형태일 수 있으며, 입력블록(특정 시작 신호 내지 정지 신호를 발생시키는 스위치블록이나 특정 세기에 대한 조절 신호를 발생시키는 다이얼블록 등이 있을 수 있고, 그 외에도 온/습도블록, 조도블록, 카메라블록 등이 포함된다), 출력블록(다양한 출력신호를 발생시키는 것으로 대표적으로, 특정 소리 신호를 발생시키는 스피커블록, 특정 글자나 숫자 등을 표시할 수 있는 LED블록 등이 있을 수 있고, 그 외에도 모터블록 등이 포함된다), 논리블록(다양한 논리적 연산(알고리즘 구현 내지 코딩 구현을 위한 연산 등을 포함)에 필요한 제어신호 등을 발생시켜 전송하는 블록으로, 대표적인 예로, 수학연산에 필요한 +,-,×,÷,= 등의 연산기호 신호를 구현할 수 있는 연산기호블록, 만약(if), 참/거짓인 경우 등의 신호를 구현할 수 있는 케이스(case)블록 등이 포함될 수 있다) 등을 포함할 수 있다)에 대한 제어명령을 실행하는데 대표적으로 활용될 수 있는데(도 5 참조), 이 경우 특히, 영유아를 위한 코딩교육을 위한 입력장치로 본 발명의 입력장치가 유용하게 활용될 수 있다. Meanwhile, the voice recognition and touch mixed input device for physical computing education for infants and toddlers according to the present invention is particularly a play block (more accurately, a smart block) for infants and toddlers, which may be compatible with existing Lego blocks, and can be used as an input block (with a specific start). There may be a switch block that generates a signal or a stop signal, a dial block that generates a control signal for a specific intensity, and others include temperature/humidity blocks, illuminance blocks, camera blocks, etc.), output blocks (various outputs) Typical examples of signals that generate signals include speaker blocks that generate specific sound signals, LED blocks that display specific letters or numbers, and motor blocks, etc.), logic blocks (various logical blocks, etc.) It is a block that generates and transmits control signals necessary for calculations (including calculations for algorithm implementation or coding implementation). As a representative example, it can implement operation symbol signals such as +, -, ×, ÷, = required for mathematical calculations. (may include operation symbol blocks that can implement signals such as if, true/false, etc.), etc.) are typically used to execute control commands. It can be used (see Figure 5), and in this case, the input device of the present invention can be particularly useful as an input device for coding education for infants and toddlers.

이를 위해, 본 발명의 입력장치에서, 상기 음성인식제어부(10)는, 음성을 인식하여 코딩에 적용하는 음성코딩명령실행부(140)와, 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 인터페이스부(150)와, 상기 인터페이스부(150)의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 코딩처리부(160)를 추가로 포함할 수 있다. To this end, in the input device of the present invention, the voice recognition control unit 10 includes a voice coding command execution unit 140 that recognizes voices and applies them to coding, and a work screen that codes control commands for play blocks. An interface unit 150 provided, and a coding processing unit that compiles the coded content on the work screen of the interface unit 150 and transmits the compiled control code to a specific play block to enable operation according to the control code ( 160) may be additionally included.

먼저, 상기 인터페이스부(150)는 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 구성으로, 도 6에 도시된 바와 같이, 작업화면에 선택 가능한 복수의 명령어 엔트리를 표시하는 제1영역과, 상기 제1영역에서 선택된 엔트리가 드래그앤드롭(drag & drop)되는 제2영역을 포함할 수 있다. First, the interface unit 150 is configured to provide a work screen for coding control commands for play blocks. As shown in FIG. 6, the first area displays a plurality of selectable command entries on the work screen. And, it may include a second area where the entry selected in the first area is dragged and dropped.

상기 인터페이스부(150)는 기 저장된 메뉴 정보, 작업화면의 프레임 정보를 추출해서 디스플레이에 표시할 수 있으며, 도 6에 도시된 바와 같이 디스플레이에 표시되는 작업화면의 제1영역 a에 선택 가능한 복수의 명령어 엔트리 e를 표시할 수 있다. 명령어 엔트리 e는 사용자 친화적으로 형성될 수 있다. The interface unit 150 is capable of extracting pre-stored menu information and frame information of the work screen and displaying them on the display. As shown in FIG. 6, a plurality of selectable elements are displayed in the first area a of the work screen displayed on the display. Command entry e can be displayed. The command entry e can be formed to be user-friendly.

상기 엔트리(entry)는 프로그램 중의 하나의 문장(기술항)을 나타낼 수 있으며, 프로그램의 문장은 원칙적으로 해당 프로그래밍 언어에서 규정한 각종 문법, 문구 등을 이용해서 작성되어야 한다. 하지만, 프로그래밍 언어를 전문적을 배우지The entry may represent one sentence (technical term) in a program, and in principle, the sentence of the program should be written using various grammars, phrases, etc. specified in the relevant programming language. However, I did not learn a programming language professionally.

않은 일반 사용자, 특히 저연령층의 경우에는 프로그래밍 언어에서만 사용하는 문법, 문구를 익히는 것이 쉽지 않다. 본 명세서에 등장하는 명령어 엔트리 e는 프로그래밍 언어에서 규정한 문법이나 문구를 그대로 포함할 수 있다. 또는, 사용자의 편의를 위해 본 명세서에 등장하는 명령어 엔트리 e는 복잡한 문법이나 규정을 일상 생활의 용어 등으로 변환해 놓을 것일 수 있다.For general users, especially younger people, it is not easy to learn the grammar and phrases used only in programming languages. The command entry e appearing in this specification may include the grammar or phrases specified in the programming language. Alternatively, for the user's convenience, the command entry e appearing in this specification may convert complex grammar or regulations into terms of everyday life.

상기 인터페이스부(150)는 사용자가 자신이 원하는 엔트리 e를 쉽게 찾을 수 있도록 화면의 제1영역 a에 엔트리 e를 표시할 수 있다. 도면에서 작업화면의 가운데에 그어진 세로 점선의 좌측 영역이 제1영역 a에 해당될 수 있다. 상기 인터페이스부(150)는 제1영역 a에서 선택된 엔트리 e가 드래그앤드롭(drag & drop)되는 제2영역 b를 작업화면에 설정할 수 있다. 도면에서 작업화면의 가운데 세로 점선의 우측 영역이 제2영역 b에 해당될 수 있다. 이때, 제2영역 b에 대한 엔트리 e의 드래그앤드롭(drag & drop)은 음성 인식을 통해서도 이루어질 수 있다. The interface unit 150 may display entry e in the first area a of the screen so that the user can easily find the entry e he wants. In the drawing, the area to the left of the vertical dotted line drawn in the center of the work screen may correspond to the first area a. The interface unit 150 may set a second area b on the work screen where the entry e selected in the first area a is dragged and dropped. In the drawing, the area to the right of the vertical dotted line in the center of the work screen may correspond to the second area b. At this time, dragging and dropping the entry e to the second area b can also be done through voice recognition.

상기 코딩처리부(160)는 상기 인터페이스부(150)의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 구성으로, 스마트 블록이 인식할 수 있는 제어 코드로 변환하여 스마트 블록에 전송하도록 함으로써, 코딩에 따른 스마트 블록의 작동이 이루어지도록 한다. 상기 코딩처리부(160)는 제2영역 b에 배치된 복수의 엔트리 e의 배열 순서에 따라, 제2영역 b에 배치된 복수의 엔트리 e를 컴파일할 수 있으며, 엔트리 e가 프로그래밍 언어와 다른 일반 언어로 표시된 경우, 해당 일반 언어를 프로그래밍 언어로 변환하는 과정을 선행할 수 있다. 또한, 상기 코딩처리부(160)는 엔트리 e가 컴파일된 제어 코드의 흠결을 분석할 수 있으며, 흠결이 존재하는 경우 이를 표시하여 코딩의 오류를 즉각적으로 파악하도록 할 수 있다. 그리고 상기 코딩처리부(160)는 흠결이 존재하지 않는 경우에만 제어코드를 특정된 스마트 블록로 전송하여 제어코드에 따른 스마트 블록의 작동이 이루어질 수 있도록 한다. 또한, 상기 코딩처리부(160)는 컴파일된 제어 코드의 제어 대상을 특정할 수 있으며, 스마트 블록로부터 전송되는 식별정보를 작업화면에 표시하고, 식별정보의 선택에 따라 제어할 대상, 즉 스마트 블록을 특정하여 특정된 스마트 블록에 대한 코딩이 이루어질 수 있도록 한다.The coding processing unit 160 compiles the content coded on the work screen of the interface unit 150 and transmits the compiled control code to a specific play block to enable operation according to the control code. Smart block By converting this into a recognizable control code and transmitting it to the smart block, the smart block operates according to the coding. The coding processing unit 160 may compile a plurality of entries e arranged in the second area b according to the arrangement order of the plurality of entries e arranged in the second area b, and the entry e is a general language different from the programming language. If indicated, the process of converting the general language into a programming language can be preceded. In addition, the coding processing unit 160 can analyze defects in the control code with which entry e was compiled, and if a defect exists, it can be displayed to immediately identify coding errors. And the coding processing unit 160 transmits the control code to the specified smart block only when there is no defect, so that the smart block can be operated according to the control code. In addition, the coding processing unit 160 can specify the control object of the compiled control code, displays the identification information transmitted from the smart block on the work screen, and selects the object to be controlled, that is, the smart block, according to the selection of the identification information. It allows coding to be done for a specific smart block.

이를 위해, 상기 코딩처리부(160)는 상기 제2영역에 배치된 복수의 엔트리의 배열 순서에 따라 엔트리를 컴파일하는 컴파일처리모듈(161)과, 상기 컴파일처리모듈(161)에 의해 컴파일된 제어코드를 대상 스마트 블록으로 전송하는 제어코드전송모듈(162)과, 상기 컴파일처리모듈(161)에 의해 컴파일된 제어 코드의 흠결을 분석하는 흠결분석모듈(163)과, 상기 흠결분석모듈(163)에 의한 분석결과 흠결이 존재하면 상기 작업화면에 흠결을 표시하는 흠결표시모듈(164)을 포함할 수 있다. To this end, the coding processing unit 160 includes a compilation processing module 161 that compiles entries according to the arrangement order of the plurality of entries arranged in the second area, and a control code compiled by the compilation processing module 161. A control code transmission module 162 that transmits to the target smart block, a defect analysis module 163 that analyzes defects in the control code compiled by the compilation processing module 161, and the defect analysis module 163 If a defect exists as a result of the analysis, it may include a defect display module 164 that displays the defect on the work screen.

상기 컴파일처리모듈(161)은 엔트리 e를 컴파일하여 제어 코드를 생성하는 구성으로, 상기 제2영역 b에 배치된 복수의 엔트리 e의 배열 순서에 따라 컴파일이 이루어지도록 한다. 예를 들어, 엔트리 e는 대분류와 소분류를 포함할 수 있으며, 대분류는 실행 조건, 실행 내용 등을 포함할 수 있다. 실행 조건에는 '~버튼을 누르면', '~버튼을 세번 누르면'과 같은 소분류가 트리 형식 등으로 부가될 수 있고, 실행 내용에는 '~모터를 10바퀴 돌려라', '~모터를 30도만큼 돌려라'와 같은 소분류가 부가될 수 있다. 따라서, 상기 컴파일처리모듈(161)은 이러한 엔트리 e들을 컴파일하여 제어코드를 생성하고, 생성된 제어코드가 각 스마트 블록로 전송되도록 하여 엔트리 e에 따른 동작이 스마트 블록에서 실행될 수 있도록 한다. The compilation processing module 161 compiles the entry e to generate a control code, and ensures that compilation is performed according to the arrangement order of the plurality of entries e arranged in the second area b. For example, entry e may include a major category and a minor category, and the major category may include execution conditions, execution contents, etc. Execution conditions include subcategories such as 'press the ~ button' and 'press the ~ button three times' in a tree format, and execution contents include '~ turn the motor 10 times' and '~ turn the motor 30 degrees.' Subcategories such as 'can be added. Accordingly, the compilation processing module 161 compiles these entries e to generate control codes, and transmits the generated control codes to each smart block so that the operation according to entry e can be executed in the smart block.

상기 흠결분석모듈(163)은 상기 컴파일처리모듈(161)을 통해 컴파일된 제어코드의 흠결을 분석하는 구성으로, 실행할 수 없는 제어코드를 표시하여 코딩의 오류를 알릴 수 있도록 한다. The defect analysis module 163 is a component that analyzes defects in the control code compiled through the compilation processing module 161, and displays unexecutable control codes to notify coding errors.

상기 흠결표시모듈(164)은 흠결분석모듈(163)에 의해 제어코드의 흠결이 있는 것으로 분석되는 경우 이를 작업화면 상에 표시하는 구성으로, 도 6에 도시된 바와 같이 'ERROR'의 형태로 흠결 i를 표시할 수 있다. The defect display module 164 is configured to display the defect on the work screen when the control code is analyzed as having a defect by the defect analysis module 163. As shown in FIG. 6, the defect is displayed in the form of 'ERROR'. i can be displayed.

상기 제어코드전송모듈(162)은 컴파일된 제어코드를 대상 스마트 블록으로 전송하는 구성으로, 전송된 제어코드에 따라 스마트 블록의 작동이 이루어지도록 한다. 특히, 상기 제어코드전송모듈(162)은 상기 흠결분석모듈(163)에 의해 흠결이 부존재하는 경우에만 제어코드를 전송하여 스마트 블록의 원활한 작동이 이루어지도록 할 수 있으며, 상기 코딩대상특정모듈()에 의해 특정된 스마트 블록에 대해 제어코드를 전송하여 복수의 스마트 블록에 대해서도 정확한 코딩 및 작동이 이루어지도록 할 수 있다. The control code transmission module 162 is a component that transmits the compiled control code to the target smart block, and allows the smart block to operate according to the transmitted control code. In particular, the control code transmission module 162 can ensure smooth operation of the smart block by transmitting a control code only when there is no defect by the defect analysis module 163, and the coding target specific module () By transmitting a control code to a smart block specified by , accurate coding and operation can be achieved for multiple smart blocks.

상기 음성코딩명령실행부(140)는 음성을 인식하여 코딩에 적용하는 구성으로, 이를 위해 구체적으로, 수신된 음성에 따라 코딩에 적용될 메뉴를 선택하는 실행메뉴검색모듈(141)과, 검색된 메뉴에 대한 확인신호를 출력하는 적용확인모듈(142)과, 메뉴에 대한 확인이 이루어지는 경우 음성에 따른 제어명령을 수신하는 제어명령수신모듈(143)과, 수신된 제어명령을 코딩에 적용하는 제어적용모듈(144)을 포함할 수 있다. The voice coding command execution unit 140 is configured to recognize voice and apply it to coding. Specifically, for this purpose, it includes an execution menu search module 141 that selects a menu to be applied to coding according to the received voice, and a searched menu. an application confirmation module 142 that outputs a confirmation signal, a control command reception module 143 that receives a control command according to voice when the menu is confirmed, and a control application module that applies the received control command to coding. It may include (144).

상기 실행메뉴검색모듈(141)은 수신되는 음성에 따라 적용할 수 있는 메뉴를 검색하는 구성으로, 음성이 적용될 수 있는 코딩 메뉴를 미리 저장하도록 하며, 수신된 음성과 일치하는 메뉴가 존재하는지 여부를 검색하도록 한다. 일 예로, 상기 실행메뉴검색모듈(141)은 엔트리 e의 이동, 객체 항목의 선택 등을 메뉴로 설정하도록 할 수 있으며, 사용자에 의해 '엔트리 이동', '객체 항목 선택'의 단어가 포함된 음성이 수신되는 경우 각각에 대한 작동이 이루어지도록 할 수 있다. The execution menu search module 141 is configured to search for a menu that can be applied according to the received voice, stores in advance a coding menu to which the voice can be applied, and checks whether a menu matching the received voice exists. Please search. As an example, the execution menu search module 141 can set the movement of entry e, selection of object items, etc. as a menu, and a voice containing the words 'movement of entry' and 'selection of object item' can be performed by the user. When this is received, an operation can be performed for each.

상기 적용확인모듈(142)은 상기 실행메뉴검색모듈(141)에 의해 검색된 메뉴를 사용자에게 확인하는 구성으로, 검색된 메뉴가 맞는지 여부를 확인하는 정보를 작업화면상에 표시하도록 한다. 따라서, 상기 적용확인모듈(142)은 '엔트리 이동이 맞습니까?' 또는 '객체 항목 선택이 맞습니까?' 등의 메시지를 작업화면 상에 표시하도록 할 수 있으며, 사용자가 이에 대한 예, 아니오의 응답을 음성을 통해 입력하도록 할 수 있다. The application confirmation module 142 is configured to check the menu searched by the execution menu search module 141 to the user, and displays information confirming whether the searched menu is correct on the work screen. Therefore, the application confirmation module 142 asks, 'Is the entry movement correct?' or 'Is the object item selection correct?' Messages such as these can be displayed on the work screen, and the user can input a yes or no response through voice.

상기 제어명령수신모듈(143)은 검색된 메뉴가 맞는 것으로 확인되는 경우, 각 메뉴에 따른 제어명령의 음성을 수신하는 구성으로, 수신된 음성에 따라 작업화면을 통한 코딩 작업이 이루어질 수 있도록 한다. 일 예로, 상기 제어명령수신모듈(143)은 '엔트리 이동' 메뉴가 선택된 경우, 제1영역 a에 표시된 엔트리 e 중 하나에 대한 음성정보를 확인하여 제2영역 b의 특정 위치로 이동이 이루어지도록 할 수 있으며, 이때 상기 제어명령수신모듈(143)은 특정 엔트리 e에 대한 음성을 수신하고 제2영역 b의 특정 식별정보에 대한 몇 번째 엔트리 e, 또는 특정 엔트리 e의 위 또는 아래의 위치로 이동시키라는 음성을 수신하여 엔트리 e의 이동이 이동이 이루어지도록 할 수 있다. 또한, 상기 제어명령수신모듈(143)은 객체 항목에 대한 식별정보의 선택에 대해서도 특정 식별정보를 선택해라는 음성을 수신하여 식별정보의 선택이 이루어지도록 할 수 있다. 따라서, 상기 제어명령수신모듈(143)은 작업화면 상의 엔트리 e 또는 식별정보를 선택하고 드래그앤드롭(drag & drop) 하는 작업을 음성 입력을 통해 수행하도록 할 수 있다. The control command receiving module 143 is configured to receive the voice of the control command according to each menu when it is confirmed that the searched menu is correct, and allows coding work through the work screen to be performed according to the received voice. For example, when the 'Move Entry' menu is selected, the control command receiving module 143 checks voice information for one of the entries e displayed in the first area a and moves it to a specific location in the second area b. In this case, the control command receiving module 143 receives a voice for a specific entry e and moves to the number of entries e for the specific identification information in the second area b, or to a position above or below the specific entry e. By receiving a voice command to do so, entry e can be moved. In addition, the control command receiving module 143 can receive a voice telling the user to select specific identification information when selecting identification information for an object item, thereby allowing the selection of identification information. Therefore, the control command receiving module 143 can select entry e or identification information on the work screen and perform a drag and drop operation through voice input.

상기 제어적용모듈(144)은 상기 제어명령수신모듈(143)에 의해 수신되는 음성에 따른 제어 명령을 코딩에 적용하는 구성으로, 앞서 살펴본 바와 같이 엔트리 e 또는 식별정보의 선택 및 이동이 이루어지도록 할 수 있다. The control application module 144 is a component that applies a control command according to the voice received by the control command reception module 143 to coding, and as described above, allows selection and movement of entry e or identification information. You can.

이와 같은 본 발명에 따른 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치를 통해, 음성 인식을 통해서도 정확한 코딩이 이루어질 수 있도록 하고 코딩의 결과를 놀이용 블록(스마트 블록)을 통해 바로 확인할 수 있어 아이들에 대한 직관적이고 흥미로운 코딩 교육이 이루어질 수 있도록 하는 데에도 활용할 수 있게 된다. Through this combined voice recognition and touch input device for physical computing education for infants and toddlers according to the present invention, accurate coding can be achieved through voice recognition, and the results of coding can be immediately checked through play blocks (smart blocks), making it easy for children to use. It can also be used to provide intuitive and interesting coding education.

이상에서, 출원인은 본 발명의 다양한 실시예들을 설명하였지만, 이와 같은 실시예들은 본 발명의 기술적 사상을 구현하는 일 실시예일 뿐이며, 본 발명의 기술적 사상을 구현하는 한 어떠한 변경예 또는 수정예도 본 발명의 범위에 속하는 것으로 해석되어야 한다.In the above, the applicant has described various embodiments of the present invention, but such embodiments are only embodiments that embody the technical idea of the present invention, and any changes or modifications are not permitted in the present invention as long as they embody the technical idea of the present invention. It should be interpreted as falling within the scope of.

10: 음성인식제어부 110: 데이터베이스부
111: 교육용음성DB 112: 음성지시문DB
120: 음성학습부 130: 음성제어명령실행부
140: 음성코딩명령실행부 141: 실행메뉴검색모듈
142: 적용확인모듈 143: 제어명령수신모듈
144: 제어적용모듈 150: 인터페이스부
a: 제1영역 b: 제2영역
160: 코딩처리부 161: 컴파일처리모듈
162: 제어코드전송모듈 163: 흠결분석모듈
164: 흠결표시모듈
30: 터치인식제어부 310: 터치표면부
320: 터치제어명령실행부 321: 복합터치제어명령실행모듈10: Voice recognition control unit 110: Database unit
111: Educational voice DB 112: Voice instruction DB
120: Voice learning unit 130: Voice control command execution unit
140: Voice coding command execution unit 141: Execution menu search module
142: Application confirmation module 143: Control command reception module
144: Control application module 150: Interface unit
a: first area b: second area
160: Coding processing unit 161: Compilation processing module
162: Control code transmission module 163: Defect analysis module
164: Flaw display module
30: Touch recognition control unit 310: Touch surface unit
320: Touch control command execution unit 321: Complex touch control command execution module

Claims (8)

영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치로서,
음성을 인식하여, 음성에 따른 제어명령을 대상 장치에 전송하는 음성인식제어부; 및 터치를 인식하여, 터치에 따른 제어명령을 대상 장치에 전송하는 터치인식제어부;를 포함하며,
상기 터치인식제어부는, 특수 입력값을 사용자의 터치를 통해 입력할 수 있도록 터치가 가능한 복수의 구획을 포함하는 터치표면부;와, 상기 터치표면부에 인식된 터치에 따른 제어명령을 생성하는 터치제어명령실행부;를 포함하고,
상기 터치표면부는, 주사위 또는 블록과 같은 다면체 형태의 상기 입력장치의 일 면에 형성되며, 상기 터치표면부가 형성된 일 면은 1~5의 숫자가 입력되는 5구획 또는 0~5의 숫자와 특수키가 입력되는 9구획으로 분할되고,
상기 터치제어명령실행부는, 상기 터치표면부에서 복수의 구획이 동시에 터치되는 경우에 대한 복합터치명령을 생성하는 복합터치제어명령실행모듈을 포함하고,
상기 입력장치는, 놀이용 블록에 대한 제어명령을 실행하기 위한 코딩교육용 입력장치로 활용되며,
상기 음성인식제어부는, 음성을 인식하여 코딩에 적용하는 음성코딩명령실행부와, 놀이용 블록에 대한 제어명령을 코딩하는 작업화면을 제공하는 인터페이스부와, 상기 인터페이스부의 작업화면에 코딩된 내용을 컴파일하고, 컴파일된 제어 코드를 특정 놀이용 블록에 전송하여 제어코드에 따른 작동이 이루어지도록 하는 코딩처리부를 포함하고,
상기 음성코딩명령실행부는, 수신된 음성에 따라 코딩에 적용될 메뉴를 선택하는 실행메뉴검색모듈과, 검색된 메뉴에 대한 확인신호를 출력하는 적용확인모듈과, 메뉴에 대한 확인이 이루어지는 경우 음성에 따른 제어명령을 수신하는 제어명령수신모듈과, 수신된 제어명령을 코딩에 적용하는 제어적용모듈을 포함하고,
상기 인터페이스부는, 상기 작업화면에 선택 가능한 복수의 명령어 엔트리를 표시하는 제1영역과, 상기 제1영역에서 선택된 엔트리가 드래그앤드롭(drag & drop)되는 제2영역을 포함하고,
상기 코딩처리부는, 상기 제2영역에 배치된 복수의 엔트리의 배열 순서에 따라 엔트리를 컴파일하는 컴파일처리모듈과, 상기 컴파일처리모듈에 의해 컴파일된 제어코드를 스마트 블록로 전송하는 제어코드전송모듈과, 상기 컴파일처리모듈에 의해 컴파일된 제어 코드의 흠결을 분석하는 흠결분석모듈과, 상기 흠결분석모듈에 의한 분석결과 흠결이 존재하면 상기 작업화면에 흠결을 표시하는 흠결표시모듈과, 컴파일된 제어코드의 제어 대상인 놀이용 블록을 특정하기 위해 놀이용 블록으로부터 전송되는 식별정보를 작업화면에 표시하고 식별정보의 선택에 따라 놀이용 블록을 특정하는 코딩대상특정모듈을 포함하고,
상기 제어코드전송모듈은 상기 흠결분석모듈에 의해 흠결이 미존재하는 경우 컴파일된 제어코드를 상기 코딩대상특정모듈에 의해 특정된 놀이용 블록에 전송하도록 하는 것을 특징으로 하는 영유아 피지컬 컴퓨팅 교육용 음성인식과 터치 혼합 입력장치. It is a voice recognition and touch combined input device for physical computing education for infants and toddlers.
A voice recognition control unit that recognizes the voice and transmits a control command according to the voice to the target device; And a touch recognition control unit that recognizes the touch and transmits a control command according to the touch to the target device.
The touch recognition control unit includes a touch surface unit that includes a plurality of sections that can be touched so that special input values can be input through the user's touch; and a touch unit that generates a control command according to the touch recognized on the touch surface unit. Includes a control command execution unit;
The touch surface portion is formed on one side of the input device in the form of a polyhedron such as a dice or block, and one side on which the touch surface portion is formed is divided into 5 sections where numbers 1 to 5 are input, or numbers 0 to 5 and a special key. is divided into 9 compartments where is input,
The touch control command execution unit includes a complex touch control command execution module that generates a complex touch command when a plurality of sections on the touch surface unit are touched at the same time,
The input device is used as an input device for coding education to execute control commands for play blocks,
The voice recognition control unit includes a voice coding command execution unit that recognizes voices and applies them to coding, an interface unit that provides a work screen for coding control commands for play blocks, and content coded on the work screen of the interface unit. It includes a coding processing unit that compiles and transmits the compiled control code to a specific play block to enable operation according to the control code,
The voice coding command execution unit includes an execution menu search module that selects a menu to be applied to coding according to the received voice, an application confirmation module that outputs a confirmation signal for the searched menu, and control according to the voice when the menu is confirmed. It includes a control command reception module that receives a command, and a control application module that applies the received control command to coding,
The interface unit includes a first area that displays a plurality of command entries that can be selected on the work screen, and a second area in which entries selected in the first area are dragged and dropped,
The coding processing unit includes a compilation processing module that compiles entries according to the arrangement order of the plurality of entries arranged in the second area, and a control code transmission module that transmits the control code compiled by the compilation processing module to the smart block. , a defect analysis module that analyzes defects in the control code compiled by the compilation processing module, a defect display module that displays defects on the work screen if defects exist as a result of the analysis by the defect analysis module, and the compiled control code. In order to specify the play block that is the control target, the identification information transmitted from the play block is displayed on the work screen and includes a coding target specific module that specifies the play block according to the selection of the identification information,
The control code transmission module transmits the compiled control code to the play block specified by the coding target specific module when a defect is not present by the defect analysis module. Voice recognition for physical computing education for infants and toddlers, characterized in that Touch mixed input device. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020210183497A 2021-12-21 2021-12-21 A Voice recognition and touch mixed input device for infants physical computing education KR102664695B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183497A KR102664695B1 (en) 2021-12-21 2021-12-21 A Voice recognition and touch mixed input device for infants physical computing education

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183497A KR102664695B1 (en) 2021-12-21 2021-12-21 A Voice recognition and touch mixed input device for infants physical computing education

Publications (2)

Publication Number Publication Date
KR20230094370A KR20230094370A (en) 2023-06-28
KR102664695B1 true KR102664695B1 (en) 2024-05-09

Family

ID=86994557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183497A KR102664695B1 (en) 2021-12-21 2021-12-21 A Voice recognition and touch mixed input device for infants physical computing education

Country Status (1)

Country Link
KR (1) KR102664695B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225852A1 (en) 2008-04-11 2014-08-14 T-Mobile Usa, Inc. Digital display devices having communication capabilities
US20170031460A1 (en) * 2015-07-27 2017-02-02 Chien-Wen Li Magic cube input system
US20180189014A1 (en) * 2017-01-05 2018-07-05 Honeywell International Inc. Adaptive polyhedral display device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957277B1 (en) * 2017-02-14 2019-03-12 윤종식 System and method for coding with voice recognition
KR20180130934A (en) * 2017-05-30 2018-12-10 (주) 나인원 A smart coding block sets of wireless communication-based capable of software coding education
KR102133466B1 (en) * 2018-05-31 2020-07-13 네이버 주식회사 Method for generating programming code, terminal device and server using the same
KR102127093B1 (en) * 2018-06-12 2020-06-25 주식회사 인터포름 Smart block play learning device based on IoT modular complex education play furniture service
KR102211422B1 (en) * 2019-01-10 2021-02-03 주식회사 럭스로보 A Programable Module Assembly And Executable Code Producing System Therefore
KR102296385B1 (en) * 2019-06-25 2021-09-01 김종태 Smart Coding Block for setting up operating reference and output information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225852A1 (en) 2008-04-11 2014-08-14 T-Mobile Usa, Inc. Digital display devices having communication capabilities
US20170031460A1 (en) * 2015-07-27 2017-02-02 Chien-Wen Li Magic cube input system
US20180189014A1 (en) * 2017-01-05 2018-07-05 Honeywell International Inc. Adaptive polyhedral display device

Also Published As

Publication number Publication date
KR20230094370A (en) 2023-06-28

Similar Documents

Publication Publication Date Title
Foley et al. The art of natural man-machine conversation
US8125440B2 (en) Method and device for controlling and inputting data
CN102378950B (en) A virtual keypad generator with learning capabilities
US9176668B2 (en) User interface for text input and virtual keyboard manipulation
JP4695055B2 (en) Reduced keyboard disambiguation system
US20110209087A1 (en) Method and device for controlling an inputting data
Mankoff et al. OOPS: a toolkit supporting mediation techniques for resolving ambiguity in recognition-based interfaces
JP2007128525A5 (en)
Kim et al. Vocal shortcuts for creative experts
JPH0580009B2 (en)
WO2011008629A1 (en) Method and apparatus for multitouch text input
Lamberti et al. Using semantics to automatically generate speech interfaces for wearable virtual and augmented reality applications
Mountapmbeme et al. Addressing accessibility barriers in programming for people with visual impairments: A literature review
JP2006502484A (en) Rapid input device
KR102664695B1 (en) A Voice recognition and touch mixed input device for infants physical computing education
Szabó Interaction in an immersive virtual reality application
Wang et al. A gesture-based method for natural interaction in smart spaces
Di Fuccio et al. TriPOD: A prototypal system for the recognition of capacitive widget on touchscreen addressed for montessori-like educational applications
Hare et al. The effect of physicality on low fidelity interactive prototyping for design practice
US20160092095A1 (en) User interface for controlling software applications
Liang Typeblocking: keyboard integration with block programming in StarLogo Nova
Udapola et al. Braille messenger: Adaptive learning based non-visual touch screen text input for the blind community using braille
Kulyukin et al. Efficiency or quality of experience: a laboratory study of three eyes-free touchscreen menu browsing user interfaces for mobile phones
Costagliola et al. The design and evaluation of a gestural keyboard for entering programming code on mobile devices
US20040133874A1 (en) Computer and control method therefor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right