KR20200126149A - Apparatus for Providing User Interface for Information Input - Google Patents

Apparatus for Providing User Interface for Information Input Download PDF

Info

Publication number
KR20200126149A
KR20200126149A KR1020190049753A KR20190049753A KR20200126149A KR 20200126149 A KR20200126149 A KR 20200126149A KR 1020190049753 A KR1020190049753 A KR 1020190049753A KR 20190049753 A KR20190049753 A KR 20190049753A KR 20200126149 A KR20200126149 A KR 20200126149A
Authority
KR
South Korea
Prior art keywords
mode
voice
input
information
screen
Prior art date
Application number
KR1020190049753A
Other languages
Korean (ko)
Inventor
김다혜
Original Assignee
주식회사 올리브스톤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 올리브스톤 filed Critical 주식회사 올리브스톤
Priority to KR1020190049753A priority Critical patent/KR20200126149A/en
Publication of KR20200126149A publication Critical patent/KR20200126149A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

According to an embodiment of the present invention, a user interface providing device for inputting information comprises: a display part that displays a screen divided into a plurality of areas and recognizes a touch; a voice input part that acquires a voice from a speaker; an artificial intelligence voice recognition module that calculates a voice recognition result value corresponding to the acquired voice by data-processing the voice acquired by the voice input part; and a control part that displays information corresponding to the voice recognition result value on the screen or changes a mode or screen according to the voice recognition result value. The screen can include an input mode conversion area including a voice mode button for changing an input mode to a voice mode, a keypad mode button for changing the input mode to a keypad mode, and a touch pen mode button for changing the input mode to a touch pen mode. According to an embodiment of the present invention, a convenient user experience for touch input and voice input can be provided to a user by allowing the user to intuitively select the touch mode and the voice mode and input information.

Description

정보 입력을 위한 유저 인터페이스 제공 장치{Apparatus for Providing User Interface for Information Input}Device for providing user interface for information input {Apparatus for Providing User Interface for Information Input}

본 발명은 유저 인터페이스 제공 장치에 관한 것으로, 더욱 상세하게는 전자 문서에 정보를 입력하기 위해 입력 모드를 선택할 수 있고, 선택된 입력 모드에 따라 화면 배열이 달라질 수 있는 유저 인터페이스 제공 장치에 관한 것이다. The present invention relates to an apparatus for providing a user interface, and more particularly, to an apparatus for providing a user interface in which an input mode can be selected to input information in an electronic document and a screen arrangement can be changed according to the selected input mode.

최근, 반도체, 하드웨어 및 소프트웨어 관련 기술의 눈부신 발전에 따라, 노트북, 휴대전화, 터치패드 등의 각종 전자기기의 유저인터페이스(User interface, UI)가 발전하고 있으며, 구체적으로는 점차 사용하기 편리하고 디자인적 측면에서 보다 사용자 친화적인 인터페이스를 선호하는 경향이 강해졌다. 이러한 사용자 친화적인 인터페이스의 하나로서 터치를 기반으로 한 사용자 인터페이스가 널리 보급되고 있으며, 통상 상기 사용자 인터페이스는 디스플레이 장치에 사용자가 접촉을 하면, 그 접촉을 감지하여 이에 대응하는 기능을 수행하도록 구성된다. In recent years, with the remarkable development of semiconductor, hardware, and software-related technologies, user interfaces (UIs) of various electronic devices such as notebook computers, mobile phones, and touch pads have been developed. Specifically, it is more convenient to use and design. In terms of the enemy, the tendency to prefer a more user-friendly interface has grown. As one of such user-friendly interfaces, a user interface based on a touch is widely spread. In general, the user interface is configured to sense the contact and perform a function corresponding thereto when a user contacts a display device.

그러나 종래 기술로는 단순히 터치에만 의존하는 입력 방식에 더하여 최근 발달하고 있는 음성인식 기술까지도 자유자재로 선택하여 사용자의 입력 편의를 극대화 하는 것에 한계가 존재하였다. However, in the prior art, there is a limit to maximizing the user's input convenience by freely selecting the recently developed voice recognition technology in addition to the input method that relies only on touch.

본 발명의 목적은 사용자에게 모드 전환의 용이성을 제공하는 터치 및 음성 인식 기반의 유저 인터페이스를 제공함에 있다. An object of the present invention is to provide a user interface based on touch and voice recognition that provides the user with ease of mode switching.

상기 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 정보 입력을 위한 유저 인터페이스 제공 장치는 복수의 영역으로 구분되는 화면이 표시되고 터치를 인식하는 표시부, 화자로부터 음성을 획득하는 음성 입력부, 상기 음성 입력부에서 획득한 음성을 데이터 처리하여 상기 획득한 음성에 대응하는 음성인식 결과값을 산출하는 인공지능 음성인식 모듈, 및 상기 음성인식 결과값에 대응하는 정보를 상기 화면에 표시하거나 상기 음성인식 결과값에 따라 모드 또는 화면을 변경하는 제어부를 포함할 수 있다. In order to achieve the above object, the apparatus for providing a user interface for inputting information according to an embodiment of the present invention includes a display unit that displays a screen divided into a plurality of areas and recognizes a touch, a voice input unit that obtains a voice from a speaker, and An artificial intelligence voice recognition module that processes the voice acquired by the voice input unit to calculate a voice recognition result value corresponding to the acquired voice, and displays information corresponding to the voice recognition result value on the screen or the voice recognition result It may include a controller that changes a mode or a screen according to a value.

상기 화면은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼, 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼, 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼을 포함하는 입력 모드 전환 영역을 포함할 수 있다. The screen includes an input mode switching area including a voice mode button for changing an input mode to a voice mode, a keypad mode button for changing the input mode to a keypad mode, and a touch pen mode button for changing the input mode to a touch pen mode. can do.

본 발명의 일 실시예에 따른 정보 입력을 위한 유저 인터페이스 제공 장치는 상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역은 텍스트 표시, 상기 텍스트 표시에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼, 및 화자에게 음성 모드임을 표시하는 마이크 표시를 포함할 수 있다. In the apparatus for providing a user interface for information input according to an embodiment of the present invention, when the input mode is a voice mode, the input mode switching area is a text display, and a TTS button for selecting whether to guide the text displayed on the text display by voice. , And a microphone display indicating that the speaker is in a voice mode.

상기 TTS는 문자와 음성 간 자동변환 기술을 의미하고, 상기 TTS 버튼은 표시된 상기 텍스트를 음성으로 듣기 원하는 경우에 활성화하고, 상기 텍스트를 음성으로 듣기 원하지 않는 경우에 비활성화할 수 있다. The TTS refers to an automatic conversion technology between text and voice, and the TTS button may be activated when the displayed text is to be listened to by voice and deactivated when the displayed text is not to be heard by voice.

본 발명의 일 실시예에 따르면, 상기 화면은 타이틀 영역 및 정보 입력 영역을 더 포함하고, 상기 정보 입력 영역은 사전 결정된 양식을 표시하고, 상기 사전 결정된 양식에는 상기 입력 모드 전환 영역에서 선택된 모드에 따라 음성, 키패드 및 터치펜 중 어느 하나에 의해 정보가 입력될 수 있다. According to an embodiment of the present invention, the screen further includes a title area and an information input area, the information input area displays a predetermined form, and the predetermined form includes a mode selected from the input mode switching area. Information may be input by any one of voice, keypad, and touch pen.

바람직하게는, 본 발명의 일 실시예에 따르면, 상기 정보 입력 영역은 표시되거나 사라질 수 있도록 구성되는 작성 항목 리스트 영역 및 상기 작성 항목 리스트 영역의 표시 여부를 선택하는 표시/숨김 버튼을 포함할 수 있다. Preferably, according to an embodiment of the present invention, the information input area may include a creation item list area configured to be displayed or disappear and a display/hide button for selecting whether to display the creation item list area. .

바람직하게는, 본 발명의 일 실시예에 따르면, 상기 작성 항목 리스트 영역에 표시된 작성 항목들 중 상기 정보 입력 영역에서 작성이 진행되고 있는 작성 항목에는 식별 표시가 나타나도록 구성될 수 있다. Preferably, according to an embodiment of the present invention, an identification mark may be displayed on a creation item that is being created in the information input area among the creation items displayed in the creation item list area.

본 발명의 일 실시예에 따르면, 터치 모드와 음성 모드를 직관적으로 선택하고 정보를 입력할 수 있어 사용자에게 터치 입력과 음성 입력에 대한 편리한 사용자 경험을 제공할 수 있다. According to an embodiment of the present invention, since it is possible to intuitively select a touch mode and a voice mode and input information, it is possible to provide a user with a convenient user experience for touch input and voice input.

도 1은 본 발명의 일 실시예에 따른 유저 인터페이스 제공 장치의 작동 흐름을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 키패드 모드를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 터치펜 모드를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 활성화된 작성 항목 리스트 영역을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 작성 항목 리스트의 활성화 상태와 비활성화 상태를 나타낸 도면이다. 1 is a block diagram illustrating an operation flow of an apparatus for providing a user interface according to an embodiment of the present invention.
2 is a diagram showing a voice mode according to an embodiment of the present invention.
3 is a diagram showing a keypad mode according to an embodiment of the present invention.
4 is a diagram showing a touch pen mode according to an embodiment of the present invention.
5 is a diagram showing a voice mode according to an embodiment of the present invention.
6 is a diagram illustrating an activated creation item list area according to an embodiment of the present invention.
7 is a diagram illustrating an activation state and an inactivation state of a creation item list according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all modifications included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various elements, but the elements are not limited by the terms. These terms are used only for the purpose of distinguishing one component from another component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprises" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

본 명세서에서 설명되는 유저 인터페이스 제공 장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등의 이동 단말기가 포함될 수 있다.The user interface providing apparatus described in this specification includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistants (PDA), a portable multimedia player (PMP), a navigation system, and a tablet PC. PC), an ultrabook, a wearable device, for example, a mobile terminal such as a watch-type terminal (smartwatch), a glass-type terminal (smart glass), and a head mounted display (HMD)).

그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be readily apparent to those skilled in the art that the configuration according to the embodiment described in the present specification may also be applied to fixed terminals such as digital TVs, desktop computers, and digital signage, except when applicable only to mobile terminals. will be.

도 1은 본 발명의 일 실시예에 따른 유저 인터페이스 제공 장치의 작동 흐름을 설명하기 위한 블록도이다. 1 is a block diagram illustrating an operation flow of an apparatus for providing a user interface according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, 장치의 사용자가 화면(101)이 나타나는 표시부(100)에 접촉하면 터치 인식 모듈(300)이 접촉 정보를 인지하여 상기 접촉 정보를 제어부(500)로 전송하고, 상기 제어부(500)는 상기 접촉 정보에 대응하는 명령을 상기 표시부(100)로 전송하여 화면(101)을 변화시킬 수 있다. According to an embodiment of the present invention, when a user of the device contacts the display unit 100 on which the screen 101 is displayed, the touch recognition module 300 recognizes the contact information and transmits the contact information to the control unit 500, The controller 500 may change the screen 101 by transmitting a command corresponding to the contact information to the display unit 100.

본 발명의 일 실시예에 따르면, 장치의 사용자가 말을 하거나 소리를 내면 음성 입력부(200)에서 사용자 소리를 수신하고, 사전에 음성 입력과 표시부(100)를 통한 출력에 대해 인공지능 학습을 수행한 인공지능 음성 인식 모듈(400)이 상기 사용자 소리를 사용자 음성 명령으로서 인식하고 학습된 알고리즘을 통해 알맞는 출력 정보를 산출한다. 상기 인공지능 음성 인식 모듈(400)은 상기 출력 정보를 제어부(500)로 전송하고, 상기 제어부(500)는 상기 출력 정보에 대응하는 명령을 상기 표시부(100)로 전송하여 화면(101)을 변화시킬 수 있다. According to an embodiment of the present invention, when the user of the device speaks or makes a sound, the voice input unit 200 receives the user's sound, and artificial intelligence learning is performed on the voice input and output through the display unit 100 in advance. An artificial intelligence speech recognition module 400 recognizes the user sound as a user voice command and calculates appropriate output information through the learned algorithm. The artificial intelligence speech recognition module 400 transmits the output information to the control unit 500, and the control unit 500 transmits a command corresponding to the output information to the display unit 100 to change the screen 101 I can make it.

도 2는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다. 2 is a diagram showing a voice mode according to an embodiment of the present invention.

본 실시예에서 화면(101)은 크게 세가지 영역으로 나뉠 수 있다. 상기 화면(101)은 타이틀 영역(110), 정보 입력 영역(120) 및 입력 모드 전환 영역(130)을 포함한다. 상기 타이틀 영역(110)은 주로 현재 화면(101)에 보이는 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타낼 수 있고, 더 보기 버튼이 있어 상기 더 보기 버튼을 누르면 추가 메뉴를 전개시킬 수 있다. In this embodiment, the screen 101 can be divided into three areas. The screen 101 includes a title area 110, an information input area 120, and an input mode conversion area 130. The title area 110 may mainly indicate the type of document displayed on the current screen 101, the document creation mode, whether or not the creation is completed, and there is a view more button so that an additional menu can be opened by pressing the view more button. .

상기 타이틀 영역(110)은 평상 시에는 상기 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타내지만, 특별한 경우에는 다른 정보를 보여줄 수도 있다. 예를 들면, 터치펜 모드에서는 필기나 채색을 위한 파렛트 또는 글씨체 선택창을 보여줄 수 있다. The title area 110 indicates the type of the document, the document creation mode, whether the creation is completed, etc. in normal times, but other information may be displayed in special cases. For example, in the touch pen mode, a pallet for writing or coloring or a font selection window may be displayed.

상기 정보 입력 영역(120)에는 예컨대 정보를 입력하기 위한 대상이 문서인 경우 작성할 문서의 양식이 보여질 수 있다. 문서의 양식 중 사용자가 작성해야할 부분들은 사용자의 선택, 예를 들면 접촉 명령 및 음성 명령에 의해 또는 자동으로 입력창(121)이 위치할 수 있다. In the information input area 120, for example, when the object for inputting information is a document, a form of a document to be created may be displayed. The input window 121 may be positioned automatically or by a user's selection, for example, a contact command and a voice command, among the form of the document.

예를 들면 텍스트 표시(134)에 "성명 또는 업체 명에 입력하실 내용을 말씀해주세요"라는 안내가 보이면 사용자는 성명란에 자신의 이름 "홍길동(예시)"을 소리내어 말함으로써 상기 입력창(121)이 위치된 성명란에 "홍길동"을 입력할 수 있다. For example, if a guide is shown on the text display 134, "Please tell me what you want to enter in your name or company name", the user speaks out her name "Kil-dong Hong (example)" in the name field, and the input window 121 You can enter "Hong Gil-dong" in this location name box.

사용자는 성명 외의 다른 정보, 예를 들어 생년월일을 입력하기 위해 "다음"과 같은 사전결정된 명령어를 말함으로써 상기 입력창(121)을 생년월일란으로 이동시킬 수 있다. 또한, 생년월일란에도 성명과 같은 방식으로 음성으로 정보를 입력할 수 있고, "이전" 또는 "다음"을 말함으로써 상기 입력창(121)을 이전의 성명란으로 다시 이동시키거나 다음 정보를 입력하기 위한 필드키로 이동시킬 수 있다. The user may move the input window 121 to the date of birth column by saying a predetermined command such as "next" to input information other than the name, for example, the date of birth. In addition, information can be entered by voice in the same way as the name in the date of birth field, and a field for moving the input window 121 back to the previous name field or inputting the next information by saying "previous" or "next" You can move it with the key.

상기 입력 모드 전환 영역(130)은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼(131), 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼(132), 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼(133)을 포함할 수 있다. The input mode switching area 130 includes a voice mode button 131 for changing an input mode to a voice mode, a keypad mode button 132 for changing the input mode to a keypad mode, and a touch for changing the input mode to a touch pen mode. A pen mode button 133 may be included.

상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역(130)은 텍스트 표시(134), 상기 텍스트 표시(134)에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼(135), 및 화자에게 음성 모드임을 표시하는 마이크 표시(136)를 포함할 수 있다. When the input mode is a voice mode, the input mode switching area 130 includes a text display 134, a TTS button 135 for selecting whether to guide the text displayed on the text display 134 by voice, and a voice to the speaker. It may include a microphone indicator 136 indicating that the mode is in the mode.

상기 마이크 표시(136)는 음성 제어 상황을 보여줄 수 있다. 음성 모드가 꺼진 상태인 경우 색깔이 옅어진 상태로 표시되고, 음성 모드가 켜진 상태인 경우 색깔이 뚜렷한 상태로 표시되며, 음성을 인식하거나 장치가 사용자에게 직접 음성으로 안내를 제공하는 경우에는 상기 마이크 표시(136)가 움직이게 하거나 상기 마이크 표시(136) 주변에 움직이는 그래픽을 추가하는 방식으로 상기 마이크 표시(136)를 보여줄 수 있다. 이러한 방식으로 사용자는 음성 명령형 유저 인터페이스를 매우 직관적으로 사용할 수 있다. The microphone display 136 may show a voice control situation. When the voice mode is turned off, the color is displayed in a pale state, and when the voice mode is turned on, the color is displayed in a clear state. If the voice is recognized or the device directly provides guidance to the user, the microphone The microphone mark 136 can be shown by making the mark 136 move or adding a moving graphic around the microphone mark 136. In this way, the user can use the voice command type user interface very intuitively.

도 2에서 사용자가 상기 정보 입력 영역(120)의 우측 상단에 배치된 "작성 완료" 버튼을 터치하거나 "작성 완료"라고 말을 하면 문서 작성을 완료하고 다음 단계로 화면을 전환시킬 수 있다. In FIG. 2, when the user touches the “write complete” button disposed at the upper right of the information input area 120 or says “write complete”, the document preparation is completed and the screen can be switched to the next step.

상기 텍스트 표시(134)에 나타나는 안내 문구가 길어서 한번에 표시되기 어려운 경우에는, 예를 들어 사전 결정된 글자 크기로 한 줄에 표시되기 어려운 경우에는 한 줄씩 나눠서 순서대로 표시될 수 있다. In the case where the guide phrases appearing on the text display 134 are long and difficult to be displayed at one time, for example, when it is difficult to display on one line with a predetermined font size, the text may be divided and displayed in order.

도 3은 본 발명의 일 실시예에 따른 키패드 모드를 나타낸 도면이다. 3 is a diagram showing a keypad mode according to an embodiment of the present invention.

도 2에서 사용자가 키패드 모드 버튼(132)을 누르면 화면은 도 3의 좌측과 같이 변할 수 있다. 즉, 키패드 모드 버튼(132)을 누르면 상기 입력 모드 전환 영역(130)에 키보드 화면이 나타나 사용자가 상기 키보드를 이용해 입력창(121)에 정보를 입력할 수 있다. When the user presses the keypad mode button 132 in FIG. 2, the screen may change as shown on the left side of FIG. 3. That is, when the keypad mode button 132 is pressed, a keyboard screen is displayed in the input mode switching area 130 so that the user can input information into the input window 121 using the keyboard.

이 경우에도 상기 입력 모드 전환 영역(130)의 키보드에는 음성 모드 버튼(131) 및 터치펜 모드 버튼(133)이 존재할 수 있고, 사용자가 상기 키보드가 없는 문서 화면만 보고 싶으면 도 3의 우측 화면과 같이 "확인" 버튼을 터치하여 상기 키보드를 사라지게 할 수 있다. Even in this case, a voice mode button 131 and a touch pen mode button 133 may be present on the keyboard of the input mode switching area 130, and if the user wants to see only the document screen without the keyboard, the right screen of FIG. Likewise, the keyboard may disappear by touching the "OK" button.

도 4는 본 발명의 일 실시예에 따른 터치펜 모드를 나타낸 도면이다. 4 is a diagram illustrating a touch pen mode according to an embodiment of the present invention.

상기 터치펜 모드에서는 터치펜 옵션 바가 나타날 수 있다. 상기 터치펜 옵션 바는 상기 타이틀 영역(110)에 일시적으로 나타날 수 있다. 사용자는 상기 터치펜 옵션 바에서 선택 가능한 펜의 종류, 펜의 두께, 색깔 등을 선택하여 상기 정보 입력 영역(120)에 자유롭게 필기하거나 그림을 그릴 수 있다. In the touch pen mode, a touch pen option bar may appear. The touch pen option bar may temporarily appear in the title area 110. The user may freely write or draw on the information input area 120 by selecting a type of pen, a thickness of a pen, and a color that can be selected from the touch pen option bar.

이 경우에도 상기 터치펜 옵션 바에는 음성 모드 버튼(131) 및 키패드 모드 버튼(132)이 존재할 수 있고, 사용자가 입력 모드를 음성 모드나 키패드 모드로 변경하고 싶으면 상기 음성 모드 버튼(131)이나 키패드 모드 버튼(132)을 눌러 입력 모드를 변경할 수 있다. 또는 사용자는 상기 터치펜 옵션 바의 "X" 버튼을 터치하여 입력 모드를 이전 모드로 변경할 수 있다. 즉, 사용자는 상기 터치펜 옵션 바의 "X" 버튼을 터치하여 터치펜 모드 이전에 음성 모드를 사용하였으면 음성 모드로, 키패드 모드를 사용하였으면 키패드 모드로 입력 모드를 변경할 수 있다. Even in this case, the voice mode button 131 and the keypad mode button 132 may be present in the touch pen option bar. If the user wants to change the input mode to the voice mode or keypad mode, the voice mode button 131 or the keypad The input mode can be changed by pressing the mode button 132. Alternatively, the user may change the input mode to the previous mode by touching the "X" button of the touch pen option bar. That is, the user can change the input mode to the voice mode if the voice mode is used before the touch pen mode by touching the "X" button of the touch pen option bar, and to the keypad mode if the keypad mode is used.

도 5는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다. 5 is a diagram showing a voice mode according to an embodiment of the present invention.

도 2에서와 마찬가지로, 본 실시예에서 화면(101)은 크게 세가지 영역으로 나뉠 수 있다. 상기 화면(101)은 타이틀 영역(110), 정보 입력 영역(120) 및 입력 모드 전환 영역(130)을 포함한다. 상기 타이틀 영역(110)은 주로 현재 화면(101)에 보이는 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타낼 수 있고, 더 보기 버튼이 있어 상기 더 보기 버튼을 누르면 추가 메뉴를 전개시킬 수 있다. As in FIG. 2, in this embodiment, the screen 101 can be divided into three areas. The screen 101 includes a title area 110, an information input area 120, and an input mode conversion area 130. The title area 110 may mainly indicate the type of document displayed on the current screen 101, the document creation mode, whether or not the creation is completed, and there is a view more button so that an additional menu can be opened by pressing the view more button. .

상기 타이틀 영역(110)은 평상 시에는 상기 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타내지만, 특별한 경우에는 다른 정보를 보여줄 수도 있다. 예를 들면, 터치펜 모드에서는 필기나 채색을 위한 파렛트 또는 글씨체 선택창을 보여줄 수 있다. The title area 110 indicates the type of the document, the document creation mode, whether the creation is completed, etc. in normal times, but other information may be displayed in special cases. For example, in the touch pen mode, a pallet for writing or coloring or a font selection window may be displayed.

본 실시예와 같은 간편 모드에서는 상기 정보 입력 영역(120)에 정보를 입력하기 위한 대상 문서 양식 중 작성을 하고자 하는 필드키만을 확대하여 보여주고, 상기 작성을 하고자 하는 필드키에 입력창(121)이 활성화될 수 있다. 예를 들면 입력창(121)이 활성화된 성명란에 접촉 명령 및 음성 명령에 의해 정보를 입력할 수 있다. In the simple mode as in the present embodiment, only the field key to be filled out of the target document form for inputting information to the information input area 120 is enlarged and displayed, and an input window 121 is applied to the field key to be created. Can be activated. For example, information may be entered in the name field in which the input window 121 is activated by a contact command and a voice command.

예를 들면 텍스트 표시(134)에 "성명 또는 업체 명에 입력하실 내용을 말씀해주세요"라는 안내가 보이면 사용자는 성명란에 자신의 이름 "홍길동(예시)"을 소리내어 말함으로써 상기 입력창(121)이 위치된 성명란에 "홍길동"을 입력할 수 있다. For example, if a guide is shown on the text display 134, "Please tell me what you want to enter in your name or company name", the user speaks out her name "Kil-dong Hong (example)" in the name field, and the input window 121 You can enter "Hong Gil-dong" in this location name box.

사용자는 성명 외의 다른 정보, 예를 들어 생년월일을 입력하기 위해 "다음"과 같은 사전결정된 명령어를 말함으로써 상기 정보 입력 영역(120)에 생년월일란이 크게 확대되어 나타나고 입력창(121)이 상기 생년월일란에 활성화되도록 할 수 있다. 또한, 생년월일란에도 성명과 같은 방식으로 음성으로 정보를 입력할 수 있고, "이전" 또는 "다음"을 말함으로써 상기 정보 입력 영역(120)에 이전의 성명란이 표시되게 하거나 다음에 입력할 필드키가 표시되게 할 수 있다. The user speaks a predetermined command such as "next" to input other information other than the name, for example, the date of birth. You can do it. In addition, information can be entered by voice in the same way as the name in the date of birth field, and by saying "previous" or "next", the previous name field is displayed in the information input area 120, or the field key to be input next is Can be displayed.

상기 입력 모드 전환 영역(130)은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼(131), 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼(132), 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼(133)을 포함할 수 있다. The input mode switching area 130 includes a voice mode button 131 for changing an input mode to a voice mode, a keypad mode button 132 for changing the input mode to a keypad mode, and a touch for changing the input mode to a touch pen mode. A pen mode button 133 may be included.

상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역(130)은 텍스트 표시(134), 상기 텍스트 표시(134)에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼(135), 및 화자에게 음성 모드임을 표시하는 마이크 표시(136)를 포함할 수 있다. When the input mode is a voice mode, the input mode switching area 130 includes a text display 134, a TTS button 135 for selecting whether to guide the text displayed on the text display 134 by voice, and a voice to the speaker. It may include a microphone indicator 136 indicating that the mode is in the mode.

상기 마이크 표시(136)는 음성 제어 상황을 보여줄 수 있다. 음성 모드가 꺼진 상태인 경우 색깔이 옅어진 상태로 표시되고, 음성 모드가 켜진 상태인 경우 색깔이 뚜렷한 상태로 표시되며, 음성을 인식하거나 장치가 사용자에게 직접 음성으로 안내를 제공하는 경우에는 상기 마이크 표시(136)가 움직이게 하거나 상기 마이크 표시(136) 주변에 움직이는 그래픽을 추가하는 방식으로 상기 마이크 표시(136)를 보여줄 수 있다. 이러한 방식으로 사용자는 음성 명령형 유저 인터페이스를 매우 직관적으로 사용할 수 있다. The microphone display 136 may show a voice control situation. When the voice mode is turned off, the color is displayed in a pale state, and when the voice mode is turned on, the color is displayed in a clear state. If the voice is recognized or the device directly provides guidance to the user, the microphone The microphone mark 136 can be shown by making the mark 136 move or adding a moving graphic around the microphone mark 136. In this way, the user can use the voice command type user interface very intuitively.

도 6은 본 발명의 일 실시예에 따른 활성화된 작성 항목 리스트 영역을 나타낸 도면이다. 6 is a diagram illustrating an activated creation item list area according to an embodiment of the present invention.

도 5의 내비게이션 버튼(122)을 터치하면 도 6의 작성 항목 리스트 영역이 나타나도록 구성할 수 있다. 이 때 상기 내비게이션 버튼(122)의 모양은 화살표로 변경될 수 있다. When the navigation button 122 of FIG. 5 is touched, the creation item list area of FIG. 6 may be displayed. At this time, the shape of the navigation button 122 may be changed to an arrow.

작성 항목(123)의 개별 항목은 리스트로 나타나고, 이들 개별 항목들이 입력이 되었는지 여부가 "입력 여부" 란에 표시될 수 있고, 현재 활성화되어 작성 중인 필드키와 대응하는 항목 앞에 식별 표시(124)가 나타나게 할 수 있다. Individual items of the creation item 123 are displayed as a list, and whether or not these individual items have been entered can be displayed in the "Input or not" field, and an identification mark in front of the item corresponding to the field key currently active and being created (124) Can appear.

사용자는 이 화면에서 다른 항목을 입력하고 싶은 경우에 음성 명령을 사용할 수 있다. 예를 들어 성명(업체명) 란이 활성화되어 작성 중인데 서명을 입력하고 싶은 경우에 사용자는 "서명으로 이동"이라고 말함으로써 서명 란이 활성화되어 입력창(121)이 서명 란에 위치되도록 할 수 있다. Users can use voice commands when they want to enter other items on this screen. For example, when the name (company name) field is activated and the user wants to input a signature, the user can activate the signature field and place the input window 121 in the signature field by saying "move to the signature".

도 7은 본 발명의 일 실시예에 따른 작성 항목 리스트의 활성화 상태와 비활성화 상태를 나타낸 도면이다. 7 is a diagram illustrating an activation state and an inactivation state of a creation item list according to an embodiment of the present invention.

스마트 기기와 같은 유저 인터페이스 제공 장치는 세로 모드 외에도 가로 모드 화면을 제공할 수 있다. 화면 모드에 따라 화면의 가로, 세로 비율이 달라지기 때문에 사용자는 가로 모드의 경우 정보 입력 영역(120)을 가로로 더 넓게 사용할 수 있다. A user interface providing device such as a smart device may provide a landscape mode screen in addition to a portrait mode. Since the aspect ratio of the screen varies according to the screen mode, the user can use the information input area 120 horizontally and wider in the horizontal mode.

예를 들어 본 실시예에 따른 유저 인터페이스 제공 장치는 작성 항목(123)과 작성 중인 필드키의 확대된 화면을 동시에 표시하거나 어느 하나만을 표시할 수 있고, 사용자는 편의에 따라 이러한 화면 구성을 선택할 수 있다. For example, the apparatus for providing a user interface according to the present embodiment may simultaneously display the enlarged screen of the created item 123 and the field key being created, or only one of them, and the user may select such a screen configuration according to convenience. have.

100: 표시부
101: 화면
110: 타이틀 영역
120: 정보 입력 영역
121: 입력창
122: 내비게이션 버튼
123: 작성 항목
124: 식별 표시
130: 입력 모드 전환 영역
131: 음성 모드 버튼
132: 키패드 모드 버튼
133: 터치펜 모드 버튼
134: 텍스트 표시
135: TTS 버튼
136: 마이크 표시
200: 음성 입력부
300: 터치 인식 모듈
400: 인공지능 음성인식 모듈
500: 제어부100: display
101: screen
110: Title area
120: information input area
121: input window
122: navigation button
123: Create item
124: identification mark
130: input mode switching area
131: voice mode button
132: keypad mode button
133: touch pen mode button
134: text display
135: TTS button
136: microphone display
200: voice input unit
300: touch recognition module
400: artificial intelligence voice recognition module
500: control unit

Claims (5)

복수의 영역으로 구분되는 화면이 표시되고 터치를 인식하는 표시부;
화자로부터 음성을 획득하는 음성 입력부;
상기 음성 입력부에서 획득한 음성을 데이터 처리하여 상기 획득한 음성에 대응하는 음성인식 결과값을 산출하는 인공지능 음성인식 모듈; 및
상기 음성 및 터치 인식 결과값에 대응하는 정보를 상기 화면에 표시하거나 상기 음성 및 터치 인식 결과값에 따라 모드 또는 화면을 변경하는 제어부를 포함하고,
상기 화면은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼, 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼, 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼을 포함하는 입력 모드 전환 영역을 포함하는,
정보 입력을 위한 유저 인터페이스 제공 장치.
A display unit that displays a screen divided into a plurality of areas and recognizes a touch;
A voice input unit for obtaining voice from a speaker;
An artificial intelligence speech recognition module that processes the voice acquired by the voice input unit and calculates a voice recognition result value corresponding to the acquired voice; And
And a controller configured to display information corresponding to the voice and touch recognition result values on the screen or change a mode or screen according to the voice and touch recognition result values,
The screen includes an input mode switching area including a voice mode button for changing an input mode to a voice mode, a keypad mode button for changing the input mode to a keypad mode, and a touch pen mode button for changing the input mode to a touch pen mode. doing,
A device for providing a user interface for inputting information.
 제1항에 있어서,
상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역은 텍스트 표시, 상기 텍스트 표시에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼, 및 화자에게 음성 모드임을 표시하는 마이크 표시를 포함하는,
정보 입력을 위한 유저 인터페이스 제공 장치.
The method of claim 1,
When the input mode is a voice mode, the input mode switching area includes a text display, a TTS button for selecting whether to guide the text displayed on the text display by voice, and a microphone display indicating that the speaker is in a voice mode,
A device for providing a user interface for inputting information.
 제1항에 있어서,
상기 화면은 타이틀 영역 및 정보 입력 영역을 더 포함하고,
상기 정보 입력 영역은 사전 결정된 양식을 표시하고, 상기 사전 결정된 양식에는 상기 입력 모드 전환 영역에서 선택된 모드에 따라 음성, 키패드 및 터치펜 중 어느 하나에 의해 정보가 입력되는,
정보 입력을 위한 유저 인터페이스 제공 장치.
The method of claim 1,
The screen further includes a title area and an information input area,
The information input area displays a predetermined form, and information is input to the predetermined form by any one of a voice, a keypad, and a touch pen according to a mode selected in the input mode switching area.
A device for providing a user interface for inputting information.
 제3항에 있어서,
상기 정보 입력 영역은 표시되거나 사라질 수 있도록 구성되는 작성 항목 리스트 영역 및 상기 작성 항목 리스트 영역의 표시 여부를 선택하는 내비게이션 버튼을 포함하는,
정보 입력을 위한 유저 인터페이스 제공 장치.
The method of claim 3,
The information input area includes a creation item list area configured to be displayed or disappear and a navigation button for selecting whether to display the creation item list area,
A device for providing a user interface for inputting information.
 제4항에 있어서,
상기 작성 항목 리스트 영역에 표시된 작성 항목들 중 상기 정보 입력 영역에서 작성이 진행되고 있는 작성 항목에는 식별 표시가 나타나도록 구성되는,
정보 입력을 위한 유저 인터페이스 제공 장치. The method of claim 4,
An identification mark is configured to appear on a creation item that is being created in the information input area among the creation items displayed in the creation item list area,
A device for providing a user interface for inputting information.
KR1020190049753A 2019-04-29 2019-04-29 Apparatus for Providing User Interface for Information Input KR20200126149A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190049753A KR20200126149A (en) 2019-04-29 2019-04-29 Apparatus for Providing User Interface for Information Input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190049753A KR20200126149A (en) 2019-04-29 2019-04-29 Apparatus for Providing User Interface for Information Input

Publications (1)

Publication Number Publication Date
KR20200126149A true KR20200126149A (en) 2020-11-06

Family

ID=73572110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190049753A KR20200126149A (en) 2019-04-29 2019-04-29 Apparatus for Providing User Interface for Information Input

Country Status (1)

Country Link
KR (1) KR20200126149A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625441B1 (en) * 2023-09-04 2024-01-16 주식회사 에이디자인그룹 Method and system for experiencing the transcription of digital scriptures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625441B1 (en) * 2023-09-04 2024-01-16 주식회사 에이디자인그룹 Method and system for experiencing the transcription of digital scriptures

Similar Documents

Publication Publication Date Title
US11989410B2 (en) Devices, methods, and graphical user interfaces for keyboard interface functionalities
US10466890B2 (en) Quick gesture input
US9035883B2 (en) Systems and methods for modifying virtual keyboards on a user interface
US8751971B2 (en) Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface
JP2019220237A (en) Method and apparatus for providing character input interface
EP3120344B1 (en) Visual indication of a recognized voice-initiated action
US8214768B2 (en) Method, system, and graphical user interface for viewing multiple application windows
KR102084041B1 (en) Operation Method And System for function of Stylus pen
US8707195B2 (en) Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface
US10359924B2 (en) Control of an electronic device including display and keyboard moveable relative to the display
US20110298723A1 (en) Devices, Methods, and Graphical User Interfaces for Accessibility via a Touch-Sensitive Surface
KR101718026B1 (en) Method for providing user interface and mobile terminal using this method
KR20130052151A (en) Data input method and device in portable terminal having touchscreen
Zhang et al. Interactiles: 3D printed tactile interfaces to enhance mobile touchscreen accessibility
KR20140073245A (en) Method for inputting back surface and an electronic device thereof
KR20140106801A (en) Apparatus and method for supporting voice service in terminal for visually disabled peoples
US9965454B2 (en) Assisted punctuation of character strings
Alajarmeh Non-visual access to mobile devices: A survey of touchscreen accessibility for users who are visually impaired
KR20100015165A (en) A user interface system using a touch screen pad
CN108509138B (en) Taskbar button display method and terminal thereof
KR20200126149A (en) Apparatus for Providing User Interface for Information Input
US20140129933A1 (en) User interface for input functions
US20160086508A1 (en) System and method for facilitating the learning of language
KR101944632B1 (en) Braille generating system and control method for the system
KR102258313B1 (en) Mobile terminal and method for controlling the same