KR20200126149A - Apparatus for Providing User Interface for Information Input - Google Patents
Apparatus for Providing User Interface for Information Input Download PDFInfo
- Publication number
- KR20200126149A KR20200126149A KR1020190049753A KR20190049753A KR20200126149A KR 20200126149 A KR20200126149 A KR 20200126149A KR 1020190049753 A KR1020190049753 A KR 1020190049753A KR 20190049753 A KR20190049753 A KR 20190049753A KR 20200126149 A KR20200126149 A KR 20200126149A
- Authority
- KR
- South Korea
- Prior art keywords
- mode
- voice
- input
- information
- screen
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/221—Announcement of recognition results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 유저 인터페이스 제공 장치에 관한 것으로, 더욱 상세하게는 전자 문서에 정보를 입력하기 위해 입력 모드를 선택할 수 있고, 선택된 입력 모드에 따라 화면 배열이 달라질 수 있는 유저 인터페이스 제공 장치에 관한 것이다. The present invention relates to an apparatus for providing a user interface, and more particularly, to an apparatus for providing a user interface in which an input mode can be selected to input information in an electronic document and a screen arrangement can be changed according to the selected input mode.
최근, 반도체, 하드웨어 및 소프트웨어 관련 기술의 눈부신 발전에 따라, 노트북, 휴대전화, 터치패드 등의 각종 전자기기의 유저인터페이스(User interface, UI)가 발전하고 있으며, 구체적으로는 점차 사용하기 편리하고 디자인적 측면에서 보다 사용자 친화적인 인터페이스를 선호하는 경향이 강해졌다. 이러한 사용자 친화적인 인터페이스의 하나로서 터치를 기반으로 한 사용자 인터페이스가 널리 보급되고 있으며, 통상 상기 사용자 인터페이스는 디스플레이 장치에 사용자가 접촉을 하면, 그 접촉을 감지하여 이에 대응하는 기능을 수행하도록 구성된다. In recent years, with the remarkable development of semiconductor, hardware, and software-related technologies, user interfaces (UIs) of various electronic devices such as notebook computers, mobile phones, and touch pads have been developed. Specifically, it is more convenient to use and design. In terms of the enemy, the tendency to prefer a more user-friendly interface has grown. As one of such user-friendly interfaces, a user interface based on a touch is widely spread. In general, the user interface is configured to sense the contact and perform a function corresponding thereto when a user contacts a display device.
그러나 종래 기술로는 단순히 터치에만 의존하는 입력 방식에 더하여 최근 발달하고 있는 음성인식 기술까지도 자유자재로 선택하여 사용자의 입력 편의를 극대화 하는 것에 한계가 존재하였다. However, in the prior art, there is a limit to maximizing the user's input convenience by freely selecting the recently developed voice recognition technology in addition to the input method that relies only on touch.
본 발명의 목적은 사용자에게 모드 전환의 용이성을 제공하는 터치 및 음성 인식 기반의 유저 인터페이스를 제공함에 있다. An object of the present invention is to provide a user interface based on touch and voice recognition that provides the user with ease of mode switching.
상기 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 정보 입력을 위한 유저 인터페이스 제공 장치는 복수의 영역으로 구분되는 화면이 표시되고 터치를 인식하는 표시부, 화자로부터 음성을 획득하는 음성 입력부, 상기 음성 입력부에서 획득한 음성을 데이터 처리하여 상기 획득한 음성에 대응하는 음성인식 결과값을 산출하는 인공지능 음성인식 모듈, 및 상기 음성인식 결과값에 대응하는 정보를 상기 화면에 표시하거나 상기 음성인식 결과값에 따라 모드 또는 화면을 변경하는 제어부를 포함할 수 있다. In order to achieve the above object, the apparatus for providing a user interface for inputting information according to an embodiment of the present invention includes a display unit that displays a screen divided into a plurality of areas and recognizes a touch, a voice input unit that obtains a voice from a speaker, and An artificial intelligence voice recognition module that processes the voice acquired by the voice input unit to calculate a voice recognition result value corresponding to the acquired voice, and displays information corresponding to the voice recognition result value on the screen or the voice recognition result It may include a controller that changes a mode or a screen according to a value.
상기 화면은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼, 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼, 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼을 포함하는 입력 모드 전환 영역을 포함할 수 있다. The screen includes an input mode switching area including a voice mode button for changing an input mode to a voice mode, a keypad mode button for changing the input mode to a keypad mode, and a touch pen mode button for changing the input mode to a touch pen mode. can do.
본 발명의 일 실시예에 따른 정보 입력을 위한 유저 인터페이스 제공 장치는 상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역은 텍스트 표시, 상기 텍스트 표시에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼, 및 화자에게 음성 모드임을 표시하는 마이크 표시를 포함할 수 있다. In the apparatus for providing a user interface for information input according to an embodiment of the present invention, when the input mode is a voice mode, the input mode switching area is a text display, and a TTS button for selecting whether to guide the text displayed on the text display by voice. , And a microphone display indicating that the speaker is in a voice mode.
상기 TTS는 문자와 음성 간 자동변환 기술을 의미하고, 상기 TTS 버튼은 표시된 상기 텍스트를 음성으로 듣기 원하는 경우에 활성화하고, 상기 텍스트를 음성으로 듣기 원하지 않는 경우에 비활성화할 수 있다. The TTS refers to an automatic conversion technology between text and voice, and the TTS button may be activated when the displayed text is to be listened to by voice and deactivated when the displayed text is not to be heard by voice.
본 발명의 일 실시예에 따르면, 상기 화면은 타이틀 영역 및 정보 입력 영역을 더 포함하고, 상기 정보 입력 영역은 사전 결정된 양식을 표시하고, 상기 사전 결정된 양식에는 상기 입력 모드 전환 영역에서 선택된 모드에 따라 음성, 키패드 및 터치펜 중 어느 하나에 의해 정보가 입력될 수 있다. According to an embodiment of the present invention, the screen further includes a title area and an information input area, the information input area displays a predetermined form, and the predetermined form includes a mode selected from the input mode switching area. Information may be input by any one of voice, keypad, and touch pen.
바람직하게는, 본 발명의 일 실시예에 따르면, 상기 정보 입력 영역은 표시되거나 사라질 수 있도록 구성되는 작성 항목 리스트 영역 및 상기 작성 항목 리스트 영역의 표시 여부를 선택하는 표시/숨김 버튼을 포함할 수 있다. Preferably, according to an embodiment of the present invention, the information input area may include a creation item list area configured to be displayed or disappear and a display/hide button for selecting whether to display the creation item list area. .
바람직하게는, 본 발명의 일 실시예에 따르면, 상기 작성 항목 리스트 영역에 표시된 작성 항목들 중 상기 정보 입력 영역에서 작성이 진행되고 있는 작성 항목에는 식별 표시가 나타나도록 구성될 수 있다. Preferably, according to an embodiment of the present invention, an identification mark may be displayed on a creation item that is being created in the information input area among the creation items displayed in the creation item list area.
본 발명의 일 실시예에 따르면, 터치 모드와 음성 모드를 직관적으로 선택하고 정보를 입력할 수 있어 사용자에게 터치 입력과 음성 입력에 대한 편리한 사용자 경험을 제공할 수 있다. According to an embodiment of the present invention, since it is possible to intuitively select a touch mode and a voice mode and input information, it is possible to provide a user with a convenient user experience for touch input and voice input.
도 1은 본 발명의 일 실시예에 따른 유저 인터페이스 제공 장치의 작동 흐름을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 키패드 모드를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 터치펜 모드를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 활성화된 작성 항목 리스트 영역을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 작성 항목 리스트의 활성화 상태와 비활성화 상태를 나타낸 도면이다. 1 is a block diagram illustrating an operation flow of an apparatus for providing a user interface according to an embodiment of the present invention.
2 is a diagram showing a voice mode according to an embodiment of the present invention.
3 is a diagram showing a keypad mode according to an embodiment of the present invention.
4 is a diagram showing a touch pen mode according to an embodiment of the present invention.
5 is a diagram showing a voice mode according to an embodiment of the present invention.
6 is a diagram illustrating an activated creation item list area according to an embodiment of the present invention.
7 is a diagram illustrating an activation state and an inactivation state of a creation item list according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all modifications included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various elements, but the elements are not limited by the terms. These terms are used only for the purpose of distinguishing one component from another component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprises" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
본 명세서에서 설명되는 유저 인터페이스 제공 장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등의 이동 단말기가 포함될 수 있다.The user interface providing apparatus described in this specification includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistants (PDA), a portable multimedia player (PMP), a navigation system, and a tablet PC. PC), an ultrabook, a wearable device, for example, a mobile terminal such as a watch-type terminal (smartwatch), a glass-type terminal (smart glass), and a head mounted display (HMD)).
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be readily apparent to those skilled in the art that the configuration according to the embodiment described in the present specification may also be applied to fixed terminals such as digital TVs, desktop computers, and digital signage, except when applicable only to mobile terminals. will be.
도 1은 본 발명의 일 실시예에 따른 유저 인터페이스 제공 장치의 작동 흐름을 설명하기 위한 블록도이다. 1 is a block diagram illustrating an operation flow of an apparatus for providing a user interface according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 장치의 사용자가 화면(101)이 나타나는 표시부(100)에 접촉하면 터치 인식 모듈(300)이 접촉 정보를 인지하여 상기 접촉 정보를 제어부(500)로 전송하고, 상기 제어부(500)는 상기 접촉 정보에 대응하는 명령을 상기 표시부(100)로 전송하여 화면(101)을 변화시킬 수 있다. According to an embodiment of the present invention, when a user of the device contacts the
본 발명의 일 실시예에 따르면, 장치의 사용자가 말을 하거나 소리를 내면 음성 입력부(200)에서 사용자 소리를 수신하고, 사전에 음성 입력과 표시부(100)를 통한 출력에 대해 인공지능 학습을 수행한 인공지능 음성 인식 모듈(400)이 상기 사용자 소리를 사용자 음성 명령으로서 인식하고 학습된 알고리즘을 통해 알맞는 출력 정보를 산출한다. 상기 인공지능 음성 인식 모듈(400)은 상기 출력 정보를 제어부(500)로 전송하고, 상기 제어부(500)는 상기 출력 정보에 대응하는 명령을 상기 표시부(100)로 전송하여 화면(101)을 변화시킬 수 있다. According to an embodiment of the present invention, when the user of the device speaks or makes a sound, the
도 2는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다. 2 is a diagram showing a voice mode according to an embodiment of the present invention.
본 실시예에서 화면(101)은 크게 세가지 영역으로 나뉠 수 있다. 상기 화면(101)은 타이틀 영역(110), 정보 입력 영역(120) 및 입력 모드 전환 영역(130)을 포함한다. 상기 타이틀 영역(110)은 주로 현재 화면(101)에 보이는 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타낼 수 있고, 더 보기 버튼이 있어 상기 더 보기 버튼을 누르면 추가 메뉴를 전개시킬 수 있다. In this embodiment, the
상기 타이틀 영역(110)은 평상 시에는 상기 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타내지만, 특별한 경우에는 다른 정보를 보여줄 수도 있다. 예를 들면, 터치펜 모드에서는 필기나 채색을 위한 파렛트 또는 글씨체 선택창을 보여줄 수 있다. The
상기 정보 입력 영역(120)에는 예컨대 정보를 입력하기 위한 대상이 문서인 경우 작성할 문서의 양식이 보여질 수 있다. 문서의 양식 중 사용자가 작성해야할 부분들은 사용자의 선택, 예를 들면 접촉 명령 및 음성 명령에 의해 또는 자동으로 입력창(121)이 위치할 수 있다. In the
예를 들면 텍스트 표시(134)에 "성명 또는 업체 명에 입력하실 내용을 말씀해주세요"라는 안내가 보이면 사용자는 성명란에 자신의 이름 "홍길동(예시)"을 소리내어 말함으로써 상기 입력창(121)이 위치된 성명란에 "홍길동"을 입력할 수 있다. For example, if a guide is shown on the
사용자는 성명 외의 다른 정보, 예를 들어 생년월일을 입력하기 위해 "다음"과 같은 사전결정된 명령어를 말함으로써 상기 입력창(121)을 생년월일란으로 이동시킬 수 있다. 또한, 생년월일란에도 성명과 같은 방식으로 음성으로 정보를 입력할 수 있고, "이전" 또는 "다음"을 말함으로써 상기 입력창(121)을 이전의 성명란으로 다시 이동시키거나 다음 정보를 입력하기 위한 필드키로 이동시킬 수 있다. The user may move the
상기 입력 모드 전환 영역(130)은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼(131), 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼(132), 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼(133)을 포함할 수 있다. The input
상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역(130)은 텍스트 표시(134), 상기 텍스트 표시(134)에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼(135), 및 화자에게 음성 모드임을 표시하는 마이크 표시(136)를 포함할 수 있다. When the input mode is a voice mode, the input
상기 마이크 표시(136)는 음성 제어 상황을 보여줄 수 있다. 음성 모드가 꺼진 상태인 경우 색깔이 옅어진 상태로 표시되고, 음성 모드가 켜진 상태인 경우 색깔이 뚜렷한 상태로 표시되며, 음성을 인식하거나 장치가 사용자에게 직접 음성으로 안내를 제공하는 경우에는 상기 마이크 표시(136)가 움직이게 하거나 상기 마이크 표시(136) 주변에 움직이는 그래픽을 추가하는 방식으로 상기 마이크 표시(136)를 보여줄 수 있다. 이러한 방식으로 사용자는 음성 명령형 유저 인터페이스를 매우 직관적으로 사용할 수 있다. The
도 2에서 사용자가 상기 정보 입력 영역(120)의 우측 상단에 배치된 "작성 완료" 버튼을 터치하거나 "작성 완료"라고 말을 하면 문서 작성을 완료하고 다음 단계로 화면을 전환시킬 수 있다. In FIG. 2, when the user touches the “write complete” button disposed at the upper right of the
상기 텍스트 표시(134)에 나타나는 안내 문구가 길어서 한번에 표시되기 어려운 경우에는, 예를 들어 사전 결정된 글자 크기로 한 줄에 표시되기 어려운 경우에는 한 줄씩 나눠서 순서대로 표시될 수 있다. In the case where the guide phrases appearing on the
도 3은 본 발명의 일 실시예에 따른 키패드 모드를 나타낸 도면이다. 3 is a diagram showing a keypad mode according to an embodiment of the present invention.
도 2에서 사용자가 키패드 모드 버튼(132)을 누르면 화면은 도 3의 좌측과 같이 변할 수 있다. 즉, 키패드 모드 버튼(132)을 누르면 상기 입력 모드 전환 영역(130)에 키보드 화면이 나타나 사용자가 상기 키보드를 이용해 입력창(121)에 정보를 입력할 수 있다. When the user presses the
이 경우에도 상기 입력 모드 전환 영역(130)의 키보드에는 음성 모드 버튼(131) 및 터치펜 모드 버튼(133)이 존재할 수 있고, 사용자가 상기 키보드가 없는 문서 화면만 보고 싶으면 도 3의 우측 화면과 같이 "확인" 버튼을 터치하여 상기 키보드를 사라지게 할 수 있다. Even in this case, a
도 4는 본 발명의 일 실시예에 따른 터치펜 모드를 나타낸 도면이다. 4 is a diagram illustrating a touch pen mode according to an embodiment of the present invention.
상기 터치펜 모드에서는 터치펜 옵션 바가 나타날 수 있다. 상기 터치펜 옵션 바는 상기 타이틀 영역(110)에 일시적으로 나타날 수 있다. 사용자는 상기 터치펜 옵션 바에서 선택 가능한 펜의 종류, 펜의 두께, 색깔 등을 선택하여 상기 정보 입력 영역(120)에 자유롭게 필기하거나 그림을 그릴 수 있다. In the touch pen mode, a touch pen option bar may appear. The touch pen option bar may temporarily appear in the
이 경우에도 상기 터치펜 옵션 바에는 음성 모드 버튼(131) 및 키패드 모드 버튼(132)이 존재할 수 있고, 사용자가 입력 모드를 음성 모드나 키패드 모드로 변경하고 싶으면 상기 음성 모드 버튼(131)이나 키패드 모드 버튼(132)을 눌러 입력 모드를 변경할 수 있다. 또는 사용자는 상기 터치펜 옵션 바의 "X" 버튼을 터치하여 입력 모드를 이전 모드로 변경할 수 있다. 즉, 사용자는 상기 터치펜 옵션 바의 "X" 버튼을 터치하여 터치펜 모드 이전에 음성 모드를 사용하였으면 음성 모드로, 키패드 모드를 사용하였으면 키패드 모드로 입력 모드를 변경할 수 있다. Even in this case, the
도 5는 본 발명의 일 실시예에 따른 음성 모드를 나타낸 도면이다. 5 is a diagram showing a voice mode according to an embodiment of the present invention.
도 2에서와 마찬가지로, 본 실시예에서 화면(101)은 크게 세가지 영역으로 나뉠 수 있다. 상기 화면(101)은 타이틀 영역(110), 정보 입력 영역(120) 및 입력 모드 전환 영역(130)을 포함한다. 상기 타이틀 영역(110)은 주로 현재 화면(101)에 보이는 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타낼 수 있고, 더 보기 버튼이 있어 상기 더 보기 버튼을 누르면 추가 메뉴를 전개시킬 수 있다. As in FIG. 2, in this embodiment, the
상기 타이틀 영역(110)은 평상 시에는 상기 문서의 종류, 문서 작성 모드, 작성 완료 여부 등을 나타내지만, 특별한 경우에는 다른 정보를 보여줄 수도 있다. 예를 들면, 터치펜 모드에서는 필기나 채색을 위한 파렛트 또는 글씨체 선택창을 보여줄 수 있다. The
본 실시예와 같은 간편 모드에서는 상기 정보 입력 영역(120)에 정보를 입력하기 위한 대상 문서 양식 중 작성을 하고자 하는 필드키만을 확대하여 보여주고, 상기 작성을 하고자 하는 필드키에 입력창(121)이 활성화될 수 있다. 예를 들면 입력창(121)이 활성화된 성명란에 접촉 명령 및 음성 명령에 의해 정보를 입력할 수 있다. In the simple mode as in the present embodiment, only the field key to be filled out of the target document form for inputting information to the
예를 들면 텍스트 표시(134)에 "성명 또는 업체 명에 입력하실 내용을 말씀해주세요"라는 안내가 보이면 사용자는 성명란에 자신의 이름 "홍길동(예시)"을 소리내어 말함으로써 상기 입력창(121)이 위치된 성명란에 "홍길동"을 입력할 수 있다. For example, if a guide is shown on the
사용자는 성명 외의 다른 정보, 예를 들어 생년월일을 입력하기 위해 "다음"과 같은 사전결정된 명령어를 말함으로써 상기 정보 입력 영역(120)에 생년월일란이 크게 확대되어 나타나고 입력창(121)이 상기 생년월일란에 활성화되도록 할 수 있다. 또한, 생년월일란에도 성명과 같은 방식으로 음성으로 정보를 입력할 수 있고, "이전" 또는 "다음"을 말함으로써 상기 정보 입력 영역(120)에 이전의 성명란이 표시되게 하거나 다음에 입력할 필드키가 표시되게 할 수 있다. The user speaks a predetermined command such as "next" to input other information other than the name, for example, the date of birth. You can do it. In addition, information can be entered by voice in the same way as the name in the date of birth field, and by saying "previous" or "next", the previous name field is displayed in the
상기 입력 모드 전환 영역(130)은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼(131), 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼(132), 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼(133)을 포함할 수 있다. The input
상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역(130)은 텍스트 표시(134), 상기 텍스트 표시(134)에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼(135), 및 화자에게 음성 모드임을 표시하는 마이크 표시(136)를 포함할 수 있다. When the input mode is a voice mode, the input
상기 마이크 표시(136)는 음성 제어 상황을 보여줄 수 있다. 음성 모드가 꺼진 상태인 경우 색깔이 옅어진 상태로 표시되고, 음성 모드가 켜진 상태인 경우 색깔이 뚜렷한 상태로 표시되며, 음성을 인식하거나 장치가 사용자에게 직접 음성으로 안내를 제공하는 경우에는 상기 마이크 표시(136)가 움직이게 하거나 상기 마이크 표시(136) 주변에 움직이는 그래픽을 추가하는 방식으로 상기 마이크 표시(136)를 보여줄 수 있다. 이러한 방식으로 사용자는 음성 명령형 유저 인터페이스를 매우 직관적으로 사용할 수 있다. The
도 6은 본 발명의 일 실시예에 따른 활성화된 작성 항목 리스트 영역을 나타낸 도면이다. 6 is a diagram illustrating an activated creation item list area according to an embodiment of the present invention.
도 5의 내비게이션 버튼(122)을 터치하면 도 6의 작성 항목 리스트 영역이 나타나도록 구성할 수 있다. 이 때 상기 내비게이션 버튼(122)의 모양은 화살표로 변경될 수 있다. When the
작성 항목(123)의 개별 항목은 리스트로 나타나고, 이들 개별 항목들이 입력이 되었는지 여부가 "입력 여부" 란에 표시될 수 있고, 현재 활성화되어 작성 중인 필드키와 대응하는 항목 앞에 식별 표시(124)가 나타나게 할 수 있다. Individual items of the
사용자는 이 화면에서 다른 항목을 입력하고 싶은 경우에 음성 명령을 사용할 수 있다. 예를 들어 성명(업체명) 란이 활성화되어 작성 중인데 서명을 입력하고 싶은 경우에 사용자는 "서명으로 이동"이라고 말함으로써 서명 란이 활성화되어 입력창(121)이 서명 란에 위치되도록 할 수 있다. Users can use voice commands when they want to enter other items on this screen. For example, when the name (company name) field is activated and the user wants to input a signature, the user can activate the signature field and place the
도 7은 본 발명의 일 실시예에 따른 작성 항목 리스트의 활성화 상태와 비활성화 상태를 나타낸 도면이다. 7 is a diagram illustrating an activation state and an inactivation state of a creation item list according to an embodiment of the present invention.
스마트 기기와 같은 유저 인터페이스 제공 장치는 세로 모드 외에도 가로 모드 화면을 제공할 수 있다. 화면 모드에 따라 화면의 가로, 세로 비율이 달라지기 때문에 사용자는 가로 모드의 경우 정보 입력 영역(120)을 가로로 더 넓게 사용할 수 있다. A user interface providing device such as a smart device may provide a landscape mode screen in addition to a portrait mode. Since the aspect ratio of the screen varies according to the screen mode, the user can use the
예를 들어 본 실시예에 따른 유저 인터페이스 제공 장치는 작성 항목(123)과 작성 중인 필드키의 확대된 화면을 동시에 표시하거나 어느 하나만을 표시할 수 있고, 사용자는 편의에 따라 이러한 화면 구성을 선택할 수 있다. For example, the apparatus for providing a user interface according to the present embodiment may simultaneously display the enlarged screen of the created
100: 표시부
101: 화면
110: 타이틀 영역
120: 정보 입력 영역
121: 입력창
122: 내비게이션 버튼
123: 작성 항목
124: 식별 표시
130: 입력 모드 전환 영역
131: 음성 모드 버튼
132: 키패드 모드 버튼
133: 터치펜 모드 버튼
134: 텍스트 표시
135: TTS 버튼
136: 마이크 표시
200: 음성 입력부
300: 터치 인식 모듈
400: 인공지능 음성인식 모듈
500: 제어부100: display
101: screen
110: Title area
120: information input area
121: input window
122: navigation button
123: Create item
124: identification mark
130: input mode switching area
131: voice mode button
132: keypad mode button
133: touch pen mode button
134: text display
135: TTS button
136: microphone display
200: voice input unit
300: touch recognition module
400: artificial intelligence voice recognition module
500: control unit
Claims (5)
화자로부터 음성을 획득하는 음성 입력부;
상기 음성 입력부에서 획득한 음성을 데이터 처리하여 상기 획득한 음성에 대응하는 음성인식 결과값을 산출하는 인공지능 음성인식 모듈; 및
상기 음성 및 터치 인식 결과값에 대응하는 정보를 상기 화면에 표시하거나 상기 음성 및 터치 인식 결과값에 따라 모드 또는 화면을 변경하는 제어부를 포함하고,
상기 화면은 입력 모드를 음성 모드로 변경하는 음성 모드 버튼, 입력 모드를 키패드 모드로 변경하는 키패드 모드 버튼, 및 입력 모드를 터치펜 모드로 변경하는 터치펜 모드 버튼을 포함하는 입력 모드 전환 영역을 포함하는,
정보 입력을 위한 유저 인터페이스 제공 장치.
A display unit that displays a screen divided into a plurality of areas and recognizes a touch;
A voice input unit for obtaining voice from a speaker;
An artificial intelligence speech recognition module that processes the voice acquired by the voice input unit and calculates a voice recognition result value corresponding to the acquired voice; And
And a controller configured to display information corresponding to the voice and touch recognition result values on the screen or change a mode or screen according to the voice and touch recognition result values,
The screen includes an input mode switching area including a voice mode button for changing an input mode to a voice mode, a keypad mode button for changing the input mode to a keypad mode, and a touch pen mode button for changing the input mode to a touch pen mode. doing,
A device for providing a user interface for inputting information.
상기 입력 모드가 음성 모드일 때, 상기 입력 모드 전환 영역은 텍스트 표시, 상기 텍스트 표시에 나타난 텍스트를 음성으로 안내할지 선택하는 TTS 버튼, 및 화자에게 음성 모드임을 표시하는 마이크 표시를 포함하는,
정보 입력을 위한 유저 인터페이스 제공 장치.
The method of claim 1,
When the input mode is a voice mode, the input mode switching area includes a text display, a TTS button for selecting whether to guide the text displayed on the text display by voice, and a microphone display indicating that the speaker is in a voice mode,
A device for providing a user interface for inputting information.
상기 화면은 타이틀 영역 및 정보 입력 영역을 더 포함하고,
상기 정보 입력 영역은 사전 결정된 양식을 표시하고, 상기 사전 결정된 양식에는 상기 입력 모드 전환 영역에서 선택된 모드에 따라 음성, 키패드 및 터치펜 중 어느 하나에 의해 정보가 입력되는,
정보 입력을 위한 유저 인터페이스 제공 장치.
The method of claim 1,
The screen further includes a title area and an information input area,
The information input area displays a predetermined form, and information is input to the predetermined form by any one of a voice, a keypad, and a touch pen according to a mode selected in the input mode switching area.
A device for providing a user interface for inputting information.
상기 정보 입력 영역은 표시되거나 사라질 수 있도록 구성되는 작성 항목 리스트 영역 및 상기 작성 항목 리스트 영역의 표시 여부를 선택하는 내비게이션 버튼을 포함하는,
정보 입력을 위한 유저 인터페이스 제공 장치.
The method of claim 3,
The information input area includes a creation item list area configured to be displayed or disappear and a navigation button for selecting whether to display the creation item list area,
A device for providing a user interface for inputting information.
상기 작성 항목 리스트 영역에 표시된 작성 항목들 중 상기 정보 입력 영역에서 작성이 진행되고 있는 작성 항목에는 식별 표시가 나타나도록 구성되는,
정보 입력을 위한 유저 인터페이스 제공 장치. The method of claim 4,
An identification mark is configured to appear on a creation item that is being created in the information input area among the creation items displayed in the creation item list area,
A device for providing a user interface for inputting information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190049753A KR20200126149A (en) | 2019-04-29 | 2019-04-29 | Apparatus for Providing User Interface for Information Input |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190049753A KR20200126149A (en) | 2019-04-29 | 2019-04-29 | Apparatus for Providing User Interface for Information Input |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200126149A true KR20200126149A (en) | 2020-11-06 |
Family
ID=73572110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190049753A KR20200126149A (en) | 2019-04-29 | 2019-04-29 | Apparatus for Providing User Interface for Information Input |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200126149A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102625441B1 (en) * | 2023-09-04 | 2024-01-16 | 주식회사 에이디자인그룹 | Method and system for experiencing the transcription of digital scriptures |
-
2019
- 2019-04-29 KR KR1020190049753A patent/KR20200126149A/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102625441B1 (en) * | 2023-09-04 | 2024-01-16 | 주식회사 에이디자인그룹 | Method and system for experiencing the transcription of digital scriptures |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11989410B2 (en) | Devices, methods, and graphical user interfaces for keyboard interface functionalities | |
US10466890B2 (en) | Quick gesture input | |
US9035883B2 (en) | Systems and methods for modifying virtual keyboards on a user interface | |
US8751971B2 (en) | Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface | |
JP2019220237A (en) | Method and apparatus for providing character input interface | |
EP3120344B1 (en) | Visual indication of a recognized voice-initiated action | |
US8214768B2 (en) | Method, system, and graphical user interface for viewing multiple application windows | |
KR102084041B1 (en) | Operation Method And System for function of Stylus pen | |
US8707195B2 (en) | Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface | |
US10359924B2 (en) | Control of an electronic device including display and keyboard moveable relative to the display | |
US20110298723A1 (en) | Devices, Methods, and Graphical User Interfaces for Accessibility via a Touch-Sensitive Surface | |
KR101718026B1 (en) | Method for providing user interface and mobile terminal using this method | |
KR20130052151A (en) | Data input method and device in portable terminal having touchscreen | |
Zhang et al. | Interactiles: 3D printed tactile interfaces to enhance mobile touchscreen accessibility | |
KR20140073245A (en) | Method for inputting back surface and an electronic device thereof | |
KR20140106801A (en) | Apparatus and method for supporting voice service in terminal for visually disabled peoples | |
US9965454B2 (en) | Assisted punctuation of character strings | |
Alajarmeh | Non-visual access to mobile devices: A survey of touchscreen accessibility for users who are visually impaired | |
KR20100015165A (en) | A user interface system using a touch screen pad | |
CN108509138B (en) | Taskbar button display method and terminal thereof | |
KR20200126149A (en) | Apparatus for Providing User Interface for Information Input | |
US20140129933A1 (en) | User interface for input functions | |
US20160086508A1 (en) | System and method for facilitating the learning of language | |
KR101944632B1 (en) | Braille generating system and control method for the system | |
KR102258313B1 (en) | Mobile terminal and method for controlling the same |