KR20020058155A - Control method of computer program used voice recognition technology - Google Patents
Control method of computer program used voice recognition technology Download PDFInfo
- Publication number
- KR20020058155A KR20020058155A KR1020000085700A KR20000085700A KR20020058155A KR 20020058155 A KR20020058155 A KR 20020058155A KR 1020000085700 A KR1020000085700 A KR 1020000085700A KR 20000085700 A KR20000085700 A KR 20000085700A KR 20020058155 A KR20020058155 A KR 20020058155A
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- reading
- input
- checking
- command
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004590 computer program Methods 0.000 title description 2
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 29
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 29
- 238000012790 confirmation Methods 0.000 claims description 28
- 238000012795 verification Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000001771 impaired effect Effects 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법에 관한 것으로, 더욱 상세하게는 컴퓨터 화면상에 디스플레이되는 화면정보를 음성으로 낭독하는 동시에 컴퓨터의 운영체제 및 프로그램을 음성만으로 제어함으로써 정상인은 물론 시각 및 각종장애인 들도 컴퓨터를 매우 용이하게 사용할 수 있는 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법에 관한 것이다.The present invention relates to a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and voice recognition, and more particularly, to read the screen information displayed on a computer screen with a voice and The present invention relates to a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and voice recognition, in which not only a normal person but also a visually impaired person can use a computer very easily by controlling only a voice.
일반적으로, 컴퓨터는 정보화사회를 살아가는데 있어서 없어서는 안될 최고의 기기이며, 이러한 컴퓨터를 얼마나 능숙하고 효과적으로 사용하느냐 하는 것이 정보화사회를 살아가는 현대 사회인의 능력으로 평가받고 있는 실정이다.In general, computers are indispensable in living an information society, and how proficient and effective use of such computers is regarded as the ability of modern society to live in an information society.
따라서, 최근에는 컴퓨터를 배우기 위한 교육열이 매우 높을 뿐만 아니라 컴퓨터와 사용자를 연결시켜주는 OS(operation system) 프로그램의 발전으로 컴퓨터를 보다 배우기 쉽고 매우 간편한 사용할 수 있도록 하는 윈도우 등과 같은 OS 프로그램의 개발로 인하여 컴퓨터 사용인구가 기하급수적으로 증가하고 있다Therefore, in recent years, due to the development of OS programs such as Windows, which is not only highly trained to learn a computer, but also the development of an OS (operation system) program that connects a computer and a user, the computer is easier to learn and very simple to use. Computer population is growing exponentially
그러나, 상기와 같은 컴퓨터 및 OS 프로그램의 급속한 발전에도 불구하고, 시각장애인들은 물론 손을 사용하지 못하거나 앉아서 생활할 수 있는 각종 장애인들은 사실상 컴퓨터를 사용하지 못하거나 사용하더라도 길고 어려운 수련과정을 거침에도 불구하고 컴퓨터를 매우 한정된 범위내에서 사용하게 되기 때문에 정상인과의 능력격차가 보다 크게 벌어지게 되어 사회로부터 급속히 도태될 수밖에 없다는 문제점이 있었으며, 이러한 문제점을 극복하기 위하여 여러 가지 많은 노력을 하였으며, 그 결과로써 본 출원인은 윈도우 등과 같은 OS 프로그램에 의해 작동되는 컴퓨터의 다양한 화면정보들을 사용자의 설정에 따라 여러 가지 방식의 음성으로 출력함으로써 시각장애인들도 간편하고 손쉽게 컴퓨터를 사용할 수 있도록 하는 방법을 "시각장애인용 컴퓨터화면낭독방법"이라는 명칭으로 2000년 6월 28일자에 대한민국특허청에 특허출원하여 특허출원 제 2000-35966 호(제 1이하, "선출원"이라 칭함)의 출원번호를 부여받았으며, "음성인식을 이용한 컴퓨터 프로그램의 제어방법"이라는 명칭으로 2000년 10월 16일자에 대한민국특허청에 특허출원하여 특허출원 제 2000-60732 호(이하, "제 2선출원"이라 칭함)의 출원번호를 습니다.However, despite the rapid development of the above computer and OS programs, the visually impaired as well as the various handicapped people who are unable to use their hands or sit on their desks, despite the fact that they are not able to use or use computers, Nevertheless, the use of computers within a very limited range has led to a wider gap in ability with normal people, which forced them to be rapidly removed from society. Many efforts have been made to overcome these problems. As a result of the present application, a method for enabling a visually impaired person to use a computer simply and easily by outputting various screen information of a computer operated by an OS program such as Windows according to a user's setting is "a visually impaired person. for It was filed with the Korean Patent Office on June 28, 2000 under the name of "Computer Screen Reading Method" and was granted the application number of Patent Application No. 2000-35966 (hereinafter referred to as "first application"). The patent application was filed with the Korean Intellectual Property Office on October 16, 2000 under the name of "Control method of computer program used" and the application number of patent application No. 2000-60732 (hereinafter referred to as "second application").
상기 제 1선출원은 모니터의 화면을 볼 수 없는 시각장애인등에게 화면상의 객체정보를 음성으로 출력시킴으로써 시스템 정보 및 각종 프로그램상의 정보를 간편하게 알 수 있게 한 것이며, 제 2선출원은 마우스 및 키보드와 같은 손을 사용하는 입력수단 없이 음성명령으로 컴퓨터의 운영체제 및 각종 프로그램을 제어할 수 있게 한 것이다.The first application is to visually display the object information on the screen to a visually impaired person who cannot see the screen of the monitor so that the system information and various program information can be easily known. The second application is a hand such as a mouse and a keyboard. It is possible to control the operating system and various programs of the computer by voice commands without using the input means.
그러나, 상기와 같은 선출원들은 정상인은 물론 장애인들에게 컴퓨터를 매우 간편하게 사용할 수 있도록 할 수 있으나 2개의 프로그램을 각기 실행하여야 하기 때문에 상호 보완성이 없어 장애인들이 컴퓨터를 자유롭게 사용하는데 불편하다는 문제점이 있었다.However, the above-described applicants can make it possible to use the computer very easily for the disabled as well as the normal person, but since the two programs must be executed separately, there is a problem in that the disabled person is uncomfortable using the computer freely.
본 발명은 상기와 같은 선출원의 문제점을 고려하여 안출한 것으로써, 그 목적은 컴퓨터 화면상에 디스플레이되는 화면정보를 음성으로 낭독하는 동시에 컴퓨터의 운영체제 및 프로그램을 음성만으로 제어함으로써 정상인은 물론 시각 및 각종장애인 들도 컴퓨터를 매우 용이하게 사용할 수 있는 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법을 제공하는 것이다.The present invention has been made in view of the problems of the above-described application, the purpose of which is to read the screen information displayed on the computer screen by voice and at the same time by controlling the operating system and programs of the computer by voice only, as well as the time and various It is to provide a method of voice reading of computer screen information and voice control of a program using voice synthesis and voice recognition, which enables the disabled to use a computer very easily.
상기 본 발명의 목적은 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법에 있어서, 상기 방법은 컴퓨터를 부팅하는 단계와; OS프로그램을 시작하는 단계와; 메시지 훅을 설정하는 단계와; 메시지 훅킹을 시작하는 단계와; 음성입력이 있는지를 확인하는 단계와; 상기 확인단계에서 음성입력이 없는 것이 확인되었을 때에 화면상에 디스플레이되는 화면정보를 음성을 낭독하는 컴퓨터화면낭독단계와; 상기 확인단계에서 음성입력이 있는 것이 확인되었을 때 음성으로 프로그램을 제어하는 음성제어단계와; 음성입력이 있는지를 확인하고, 만약 음성입력이 있을 때 상기 음성제어단계로 리턴되고, 만약 음성입력이 없을 때 상기 컴퓨터화면낭독단계로 리턴되는 음성입력재확인단계로 구성되는 것을 특징으로 하는 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법에 의해 달성될 수 있는 것이다.An object of the present invention is to read a computer screen information using speech synthesis and speech recognition and a voice control method of a program, the method comprising the steps of booting a computer; Starting an OS program; Establishing a message hook; Initiating message hooking; Checking whether there is a voice input; A computer screen reading step of reading the voice out screen information displayed on the screen when it is confirmed that there is no voice input in the checking step; A voice control step of controlling a program by voice when it is confirmed that there is a voice input in the checking step; And confirming whether there is a voice input, and if there is a voice input, returning to the voice control step, and if there is no voice input, the voice input reconfirming step of returning to the computer screen reading step. It can be achieved by the voice reading of the computer screen information using the voice recognition and the voice control method of the program.
도 1은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법을 예시한 흐름도.1 is a flowchart illustrating a method of reading a voice of computer screen information and controlling a voice of a program using voice synthesis and voice recognition according to the present invention.
도 2는 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면낭독단계를 예시한 흐름도.2 is a flowchart illustrating a computer screen reading step of a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and speech recognition according to the present invention.
도 3은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면낭독단계의 다른 실시예를 예시한 흐름도.Figure 3 is a flow chart illustrating another embodiment of the computer screen reading step of the voice reading method of the computer screen information and the program using the speech synthesis and speech recognition in accordance with the present invention.
도 4는 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면단계의 메뉴내용음성출력단계를 예시한 흐름도.4 is a flowchart illustrating a menu content voice output step of a computer screen step of a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and voice recognition according to the present invention.
도 5는 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면낭독단게의 텍스트내용낭독단계를 예시한 흐름도.5 is a flowchart illustrating a text content reading step of a computer screen reading step of a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and speech recognition according to the present invention.
도 6은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법의 음성제어단계를 예시한 흐름도.6 is a flowchart illustrating a voice control step of a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and voice recognition according to the present invention.
도 7은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 음성제어단계의 텍스트음성입력단계를 예시한 흐름도.7 is a flowchart illustrating a text voice input step of the voice control step of the voice reading method of the computer screen information and the voice control method of the program using voice synthesis and voice recognition according to the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법에 대하여 설명하기로 한다.Hereinafter, a voice reading method of computer screen information and a voice control method of a program using voice synthesis and voice recognition according to a preferred embodiment of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법을 예시한 흐름도이고, 도 2는 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면낭독단계를 예시한 흐름도이고, 도 3은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면낭독단계의 다른 실시예를 예시한 흐름도이고, 도 4는 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면단계의 메뉴내용음성출력단계를 예시한 흐름도이고, 도 5는 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 컴퓨터화면낭독단게의 텍스트내용낭독단계를 예시한 흐름도이고, 도 6은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법의 음성제어단계를 예시한 흐름도이며, 도 7은 본 발명에 따른 음성합성 및 음성인식을 이용한 컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법중 음성제어단계의 텍스트음성입력단계를 예시한 흐름도이다.1 is a flowchart illustrating a method of reading a computer screen information using voice synthesis and voice recognition and a voice control method of a program according to the present invention, and FIG. 2 is a view illustrating the computer screen information using voice synthesis and voice recognition according to the present invention. 3 is a flowchart illustrating a computer screen reading step of a voice reading method and a voice control method of a program, and FIG. 3 is a computer screen reading step of a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and voice recognition according to the present invention. Figure 4 is a flow chart illustrating another embodiment of Figure 4 is a flow chart illustrating the menu content voice output step of the computer screen step of the voice reading method of the computer screen information and the voice control method of the program using the speech synthesis and speech recognition in accordance with the present invention 5 is a speech reading of computer screen information and speech of a program using speech synthesis and speech recognition according to the present invention. FIG. 6 is a flowchart illustrating a text content reading step of a computer screen reading step of the method, and FIG. 6 illustrates a voice control step of a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and voice recognition according to the present invention. 7 is a flowchart illustrating a text speech input step of a voice control step of a voice reading method of a computer screen information and a voice control method of a program using voice synthesis and voice recognition according to the present invention.
도 1 내지 도 7을 참조하면, 본 발명에 따른 음성합성 및 음성인식을 이용한컴퓨터화면정보의 음성낭독 및 프로그램의 음성제어방법은1 to 7, the voice reading method of the computer screen information and the voice control method of the program using the speech synthesis and speech recognition according to the present invention
컴퓨터부팅단계(S100)와, OS프로그램시작단계(S110)와, 메시지훅설정단계 (S120)와, 메시지훅킹단계(S130)와, 음성입력확인단계(S140)와, 컴퓨터화면낭독단계(S200)와, 음성제어단계(S300)와, 음성입력재확인단계(S150)로 구성된다.Computer booting step (S100), OS program start step (S110), message hook setting step (S120), message hooking step (S130), voice input confirmation step (S140), computer screen reading step (S200) And a voice control step (S300) and a voice input re-check step (S150).
상기 컴퓨텁팅단계(S100)는 컴퓨터의 전원을 ON시킴으로써 컴퓨터 시스템을 사용가능한 상태로 유지시키고, 상기 OS프로그램시작단계(S110)는 사용자가 컴퓨터를 용이하게 제어할 수 있도록 하기 위한 OS프로그램, 즉 운영프로그램을 실행시킨다.The computing step (S100) maintains the computer system in a usable state by turning on the power of the computer, and the OS program starting step (S110) is an OS program, that is, an operation for allowing a user to easily control the computer. Run the program.
상기 메시지훅서정단계(S120)는 프로그램을 실행시켜 메시지훅을 설정하고, 상기 메시지훅킹단계(S130)는 상기 메시지훅설정단계(S110)가 완료되면, 메시지 훅킹을 시작한다.The message hook setting step (S120) executes a program to set a message hook, and the message hooking step (S130) starts the message hooking when the message hook setting step (S110) is completed.
상기 음성입력확인단계(S140)는 음성명령이 입력되었는지를 확인하고, 만약 음성명령이 입력되지 않았다면 상기 컴퓨터화면낭독단계(S200)를 실시하고, 만약 음성명령이 입력되었다면 상기 음성제어단계(S300)를 실시한다.The voice input confirmation step (S140) checks whether a voice command is input, and if the voice command is not input, performs the computer screen reading step (S200), and if the voice command is input, the voice control step (S300). Is carried out.
상기 컴퓨터화면낭독단계(S200)는 객체정보판독단계(S210)와, 객체정보저장단계(S220)와, 객체정보전송단계(S230)와, 음성출력단계(S240)로 구성된다.The computer screen reading step (S200) includes an object information reading step (S210), an object information storing step (S220), an object information transmitting step (S230), and an audio output step (S240).
상기 객체정보판독단계(S210)는 화면상의 객체정보를 판독하고, 상기 객체정보저장단계(S220)는 상기 객체정보판독단계(S210)에서 판독된 객체정보를 버퍼에 저장한다.The object information reading step S210 reads the object information on the screen, and the object information storing step S220 stores the object information read in the object information reading step S210 in a buffer.
상기 객체정보전송단계(S230)는 저장된 객체정보를 음성엔진으로 전송한다.The object information transmission step (S230) transmits the stored object information to the voice engine.
상기 음성출력단계(S240)는 음성엔진으로 전송된 객체정보를 출력수단을 통하여 음성으로 출력한다.The voice output step (S240) outputs the object information transmitted to the voice engine as voice through the output means.
상기 컴퓨터화면낭독단계(S200)는 이벤트발생확인단계(S250)와, 커서좌표정보판독단계(S260)와, 객체확인단계(S270)를 포함한다.The computer screen reading step S200 includes an event occurrence checking step S250, a cursor coordinate information reading step S260, and an object checking step S270.
상기 이벤트발생확인단계(S250)는 마우스 또는 키보드 등과 같은 입력수단에 의해 화면상에 커서 또는 마우스 포인터가 이동되는 이벤트가 발생되었는지를 확인하고, 만약 이벤트가 발생되지 않았다면 바로 상기 객체정보판독단계(S210)가 실시되어 화면의 전체적인 객체정보를 판독한다.The event occurrence checking step (S250) checks whether an event in which the cursor or the mouse pointer moves on the screen is generated by an input means such as a mouse or a keyboard, and if the event is not generated, immediately reading the object information (S210). ) To read the entire object information on the screen.
상기 커서좌표정보판독단계(S260)는 상기 확인단계(S250)에서 이벤트가 발생되었을 때 커서가 위치된 좌표값을 판독한다. 상기와 같이 커서의 좌표정보가 판독되면, 상기 객체확인단계(S270)에서는 판독된 커서좌표상에 객체가 존재하는 지를 확인하고, 만약 객체가 존재하지 않았을 때 상기 이벤트발생확인단계로 리턴되는데 만약 상기 객체확인단계(S270)에서 커서좌표상에 객체가 존재하면 커서좌표상에 위치된 객체의 정보를 상기 객체정보판독단계(S210)에서 판독한다.The cursor coordinate information reading step (S260) reads the coordinate value where the cursor is located when an event occurs in the checking step (S250). When the coordinate information of the cursor is read as described above, the object checking step (S270) checks whether an object exists on the read cursor coordinate, and if the object does not exist, returns to the event occurrence checking step. If an object exists on the cursor coordinate in the object checking step (S270), information on the object located on the cursor coordinate is read in the object information reading step (S210).
또한, 상기 컴퓨터화면낭독단계(S200)는 OS프로그램 또는 각종 프로그램의 메뉴항목중 서브메뉴가 있는 메뉴항목과 서브메뉴가 없는 메뉴항목을 구별하여 음성출력할 수 있는 메뉴내용음성출력단계(S400)를 포함한다.In addition, the computer screen reading step (S200) is a menu content audio output step (S400) that can output a voice by distinguishing a menu item having a submenu and a menu item without a submenu among menu items of an OS program or various programs. Include.
상기 메뉴내용음성출력단계(S400)는 남성음성설정확인단계(S410)와, 여성음성설정확인단계(S420)와, 이벤트발생단계(S430)와, 서브메뉴확인단계(S440)와, 기본음성출력단계(S450)와, 서브음성출력단계(S460)로 구성된다.The menu contents voice output step S400 includes a male voice setting check step S410, a female voice set check step S420, an event generation step S430, a submenu check step S440, and a basic voice output step. Step S450 and sub-audio output step S460.
상기 남성음성설정확인단계(S410)는 기본음성 즉, 서브메뉴가 없는 항목의 내용을 음성출력할 때의 음성을 남성음으로 설정할 것인지를 확인하는데 만약 사용자가 ON를 선택하였다면 상기 여성음성설정확인단계(S420)로 이동된다. 만약 사용자가 기본음성을 남성음으로 설정하였다면 서브음성 즉, 서브메뉴가 있는 메뉴내용을 음성출력할 때에는 여성음성으로 출력된다.The male voice setting confirmation step (S410) is to determine whether to set the default voice, that is, the voice when outputting the contents of the item without the sub-menu to the male voice, if the user selects the female voice setting confirmation step It is moved to S420. If the user sets the basic voice to the male voice, when the user outputs the sub voice, that is, the menu contents with the sub menu, the voice is output as the female voice.
상기 여성음성설정확인단계(S410)는 기본음성 즉, 서브메뉴가 없는 항목의 내용을 음성출력할 때의 음성을 여성음으로 설정할 것인지를 확인하는데 만약 사용자가 ON를 선택하였다면 상기 남성음성설정확인단계(S410)로 이동된다. 만약 사용자가 기본음성을 남성음으로 설정하였다면 서브음성 즉, 서브메뉴가 있는 메뉴내용을 음성출력할 때에는 남성음성으로 출력된다.The female voice setting confirmation step (S410) is to determine whether to set the default voice, that is, the voice when the output of the contents of the item without the sub-menu to the female voice, if the user selects the male voice setting confirmation step It is moved to S410. If the user sets the basic voice to the male voice, the voice is output as the sub voice, that is, when the menu contents with the sub menu are voice output.
상기 이벤트발생단계(S430)는 상기 확인단계(S410)(S420)중 어느 하나에서 YES를 선택하여 기본음성이 설정되었을 때 사용자가 키보드 또는 마우스와 같은 입력장치를 사용하여 읽기커서를 이동시켜 내용읽기이벤트를 발생한다. 커서 또는 마우스포이터를 이동시켜 어느 메뉴항목상에 위치시킨다.The event generating step (S430) is to read the contents by moving the reading cursor using an input device such as a keyboard or mouse when the default voice is set by selecting YES in any one of the checking step (S410) (S420) Raises an event. Move the cursor or mouse pointer to position on any menu item.
상기 서브메뉴확인단계(S440)는 상기와 같이 이벤트발생단계(S430)가 실행되면 지정한 메뉴항목에 서브메뉴가 있는지를 확인하고, 만약 서브메뉴가 없는 메뉴항목일 때에는 상기 기본음성출력단계(S450)를 실시하고, 만약 서브메뉴가 있는 메뉴항목일 때에는 상기 서브음성출력단계(S460)를 실시한다.The sub-menu confirmation step (S440) checks whether there is a submenu in the designated menu item when the event generation step (S430) is executed as described above, and if the menu item has no submenu, the basic voice output step (S450). If the sub menu has a menu item, the sub voice output step (S460) is performed.
상기 기본음성출력단계(S450)는 상기 서브메뉴확인단계(S440)에서 서브메뉴가 없을 때 상기 음성설정확인단계(S410)(S420)에서 기본음성으로 설정된 음성으로해당되는 메뉴항목의 내용을 음성으로 출력한다. 즉, 기본음성을 남성음으로 설정하였을 때에는 메뉴내용을 남성음으로 음성출력하고, 기본음성을 여성음으로 설정하였을 때에는 메뉴내용을 여성음으로 음성출력한다.In the basic voice output step (S450), when there is no submenu in the submenu checking step (S440), the contents of the menu item corresponding to the voice set as the basic voice in the voice setting checking step (S410) (S420) are spoken. Output That is, when the basic voice is set to male voice, the menu contents are output as male voice, and when the basic voice is set to female voice, the menu contents are output as female voice.
상기 서브음성출력단계(S460)는 상기 서브메뉴확인단계(S440)에서 서브메뉴가 있을 때 상기 음성설정확인단계(S410)(S420)에서 기본음성으로 설정되지 않은 서브음성으로 메뉴항목의 내용을 음성출력한다. 즉, 기본음을 남성음으로 설정하였을 때에는 여성음으로 메뉴항목의 내용을 음성출력하고, 기본음성을 여성음으로 설정하였을 때에는 남성음으로 메뉴항목의 내용을 음성출력한다.The sub-audio output step (S460) is a voice of the contents of the menu item as a sub-voice not set as the basic voice in the voice setting confirmation step (S410) (S420) when there is a sub-menu in the sub-menu confirmation step (S440). Output In other words, when the basic sound is set to male voice, the contents of the menu item are output as voice by female voice. When the basic voice is set as female voice, the contents of menu item is output by voice.
또한, 사익 컴퓨터화면낭독단계(S200)는 텍스트내용을 음성출력할 수 있도록 텍스트내용낭독단계(S500)는 포함한다.In addition, the read computer screen reading step (S200) includes a text content reading step (S500) so that the text content can be output voice.
상기 텍스트내용낭독단계(S500)는 읽기단위설정단계(S510)와, 이벤트발생단계(S520)와, 내용판독단계(S530)와, 판독내용저장단계(S540)와, 내용전송단계 (S550)와, 음성출력단계(S560)로 구성된다.The text content reading step (S500) includes a reading unit setting step (S510), an event generating step (S520), a content reading step (S530), a reading content storing step (S540), a content transmitting step (S550), , Audio output step (S560).
상기 읽단위설정단계(S510)는 텍스트내용의 읽기단위를 사용자가 설정한다. 즉, 한 음, 한 글자, 한 단어, 한 음절, 한 줄, 한 구문 등과 같이 사용자가 텍스트를 음성출력하는 단위를 설정한다.In the reading unit setting step (S510), the user sets the reading unit of the text content. That is, the unit sets the unit in which the user outputs the text such as one note, one letter, one word, one syllable, one line, and one phrase.
상기 이벤트발생단계(S520)는 텍스트의 내용읽기이벤트를 발생하는 것으로, 커서를 이동시켜 읽고자하는 위치로 커서를 이동시킨다.The event generation step (S520) generates a text read event, and moves the cursor to a position to be read by moving the cursor.
상기 내용판독단계(S530)는 텍스트내용을 음성으로 출력하기 위하여 텍스트내용을 판독한다.The content reading step S530 reads the text content in order to output the text content by voice.
상기 판독내용저장단계(S540)는 상기 내용판독단계(S530)에서 판독된 내용을 버퍼에 저장한다.The reading contents storing step S540 stores the contents read in the contents reading step S530 in a buffer.
상기 내용전송단계(S550)는 저장된 내용을 음성엔진으로 전송하며, 상기 음성출력단계(S560)는 음성엔진으로 전송된 내용을 출력수단을 통하여 음성으로 출력한다.The content transmission step (S550) transmits the stored content to the voice engine, and the voice output step (S560) outputs the content transmitted to the voice engine through voice output means.
상기 음성제어단계(S300)는 상기 확인단계(S140)에서 음성입력이 있는 것이 확인되었을 때 음성으로 프로그램을 제어하기 위한 것으로써,The voice control step (S300) is to control a program by voice when it is confirmed that there is a voice input in the checking step (S140),
음성명령인식확인단계(S310)와, 재입력메시지출력단계(S320)와, 음성명령비교단계(S330)와, 음성명령등록여부확인단계(S340)와, 해당명령어실행단계(S350)로 구성된다.Voice command recognition confirmation step (S310), re-input message output step (S320), voice command comparison step (S330), voice command registration confirmation step (S340), and the command execution step (S350). .
상기 음성명령인식확인단계(S310)는 상기 음성입력확인다계(S140)에서 음성입력이 확인되었을 때 입력된 음성명령이 정확히 인식되었는지를 확인하며, 만약 음성명령이 인식되지 않았을 때에는 상기 재입력메시지출력단계(S320)가 실시된다.The voice command recognition confirmation step (S310) checks whether the voice command input correctly when the voice input is confirmed in the voice input confirmation multiplication system (S140), and outputs the re-input message when the voice command is not recognized. Step S320 is performed.
상기 재입력메시지출력단계(S320)는 상기 확인단계(S310)에서 음성명령이 인식되지 않았을 때 음성명령을 다시 입력해줄 것을 사용자에게 요구하는 메시지를 출력하고, 상기 음성입력확인단계(S140)로 리턴한다.The re-input message output step (S320) outputs a message requesting the user to input the voice command again when the voice command is not recognized in the checking step (S310), and returns to the voice input checking step (S140). do.
상기 음성명령비교단계(S330)는 상기 확인단계(S310)에서 입력된 음성명령이 인식되었을 때 음성명령을 이미 데이터부에 등록되어 있는 음성명령과 동일한 것이 있는 지를 비교한다.The voice command comparing step S330 compares whether or not the voice command is identical to the voice command already registered in the data unit when the voice command input in the checking step S310 is recognized.
상기 음성명령등록여부확인단계(S340)는 상기 음성명령비교단계(S330)에서등록된 음성명령중 입력된 음성명령과 동일한 것이 있는지를 확인하고, 만약 동일한 것이 없을 때 상기 재입력메시지출력단계(S320)로 리턴되고, 동일한 음성명령이 있을 때에는 상기 해당명령어실행단계(S350)를 실행시켜 등록된 음성명령에 해당되는 명령어를 실행시킨다.The voice command registration check step (S340) checks whether the voice command registered in the voice command comparison step (S330) is the same as the input voice command, and if there is no identical input message output step (S320). If the same voice command is returned, the corresponding command execution step (S350) is executed to execute a command corresponding to the registered voice command.
또한, 상기 음성제어단계(S300)는 텍스트창 또는 텍스트프로그램의 문서작성필드상에 키보드를 사용하지 않고 음성으로 텍스트를 입력시킬 수 있도록 하기 위한 텍스트음성입력단계(S600)를 포함한다.In addition, the voice control step S300 includes a text voice input step S600 for allowing text to be input by voice without using a keyboard on a text window or a document preparation field of a text program.
상기 텍스트음성입력단계(S600)는 음성입력단계(S610)와, 음성명령인식확인단계(S620)와, 음성재입력요구단계(S630)와, 음성명령비교단계(S640)와, 음성명령등록확인단계(S650)와, 텍스트프로그램실행확인단계(S660)와, 프로그램실행요구단계(S670)와, 커서위치체킹단계(S680)와, 문법검증단계(S690)와, 텍스트조합단계 (S690a)와, 텍스트출력단계(S690b)로 구성된다.The text voice input step (S600) is a voice input step (S610), voice command recognition confirmation step (S620), voice re-input request step (S630), voice command comparison step (S640), voice command registration confirmation A step S650, a text program execution checking step S660, a program execution request step S670, a cursor position checking step S680, a grammar verification step S690, a text combination step S690a, It consists of a text output step (S690b).
상기 음성입력단계(S610)는 텍스트창이나 텍스트프로그램상에 텍스트를 음성으로 입력하기 위하여 키보드제어명령을 음성입력한다.The voice input step (S610) voice inputs a keyboard control command in order to voice input text into a text window or a text program.
상기 음성명령인식확인단계(S620)는 입력된 음성명령이 정확히 인식되었는지를 확인하고, 만약 인식되지 않았을 때 상기 음성재입력요구단계(S630)가 실행된다.The voice command recognition check step S620 confirms whether the input voice command is correctly recognized, and if it is not recognized, the voice re-input request step S630 is executed.
상기 음성재입력요구단계(S630)는 상기 확인단계(S620)에서 입력된 음성명령이 인식되지 않았을 때 재입력메시지를 출력하고 상기 음성입력단계(S610)로 리턴한다.The voice re-input request step (S630) outputs a re-input message when the voice command input in the check step (S620) is not recognized and returns to the voice input step (S610).
상기 음성명령비교단계(S640)는 상기 확인단계(S620)에서 입력된 음성명령이 인식되었을 때 음성데이터부에 등록된 음성명령을 입력된 음성명령과 비교한다.The voice command comparing step S640 compares the voice command registered in the voice data unit with the input voice command when the voice command input in the checking step S620 is recognized.
상기 음성명령등록확인단계(S650)는 상기 비교단계(S640)에서 음성데이터부에 입력된 음성명령어가 등록되어 있는 지를 확인하고, 만약 등록되어 있지 않을 때 등록되어 있지 않은 명령임을 알리는 메시지를 출력하고, 상기 음성재입력요구단계(S640)로 리턴한다.The voice command registration confirmation step (S650) checks whether the voice command word inputted to the voice data unit in the comparison step (S640) is registered, and if not registered, outputs a message indicating that the command is not registered. Return to the voice re-input request step (S640).
상기 텍스트프로그램실행확인단계(S660)는 상기 확인단계(S650)에서 음성명령의 등록이 확인되었을 때 텍스트프로그램이 실행되고 있는지를 확인한다.The text program execution confirmation step (S660) confirms whether the text program is being executed when the registration of the voice command is confirmed in the confirmation step (S650).
상기 프로그램실행요구단계(S670)는 상기 확인단계(S660)에서 프로그램이 실행되고 있지 않을 때 프로그램이 실행되고 있지 않음을 알리는 메시지를 출력하고, 상기 음성입력단계(S610)로 리턴한다.The program execution request step S670 outputs a message indicating that the program is not being executed when the program is not being executed in the confirmation step S660, and returns to the voice input step S610.
상기 커서체킹단계(S680)는 상기 확인단계(S660)에서 프로그램이 실행되고 있을 때 화면상의 커서위치를 체크한다.The cursor checking step (S680) checks the cursor position on the screen when the program is running in the checking step (S660).
상기 문법검증단계(S690)는 입력된 음성명령을 문법사전에 의해 검증한다.The grammar verification step S690 verifies the input voice command by grammar dictionary.
상기 텍스트조합단계(S690a)는 상기 문법검증단계(S690)의 결과에 따라 음성명령에 해당되는 텍스트를 조합한다.The text combining step S690a combines the text corresponding to the voice command according to the result of the grammar verification step S690.
상기 텍스트출력단계(S690b)는 상기 텍스트조합단계(S690a)에서 조합이 완료된 텍스트를 텍스트란 또는 텍스트작성성필드상에 출력한다.The text output step S690b outputs the text in which the combination is completed in the text combining step S690a on a text field or a text composability field.
상기 음성입력재확인단계(S150)는 상기 컴퓨터화면낭독단계(S200)의 실행중 또는 종료시에 음성명령이 입력되었는지를 확인하고, 만약 음성명령이 입력되지 않았을 때 상기 컴퓨터화면낭독단계(S200)를 계속실행하고, 만약 음성명령의 입력이 있을 때에는 컴퓨터화면낭독단계(S200)를 중단하고, 바로 상기 음성제어단계(S300)를 실시한다.The voice input re-check step (S150) checks whether a voice command is input during the execution or the end of the computer screen reading step (S200), and if the voice command is not input, continues the computer screen reading step (S200). If the voice command is input, the computer screen reading step S200 is stopped, and the voice control step S300 is immediately performed.
또한, 상기 음성제어단계(S300)에서 음성명령에 의해 운영체계 또는 프로그램이 제어되거나 텍스트가 입력되거나 텍스트문서가 작성되었을 때 모든 객체정보 또는 텍스트내용은 상기 컴퓨터화면낭독단계(S200)가 실행되어 음성으로 출력될 수 있는 것이다.In addition, when the operating system or a program is controlled by a voice command or a text is input or a text document is created in the voice control step (S300), all object information or text content is executed by the computer screen reading step (S200). Can be output as
이상으로 설명한 본 발명에 의하면, 컴퓨터 화면상에 디스플레이되는 화면정보를 음성으로 낭독하는 동시에 컴퓨터의 운영체제 및 프로그램을 음성만으로 제어함으로써 정상인은 물론 시각 및 각종장애인 들도 컴퓨터를 매우 용이하게 사용할 수 있는 효과를 갖는다.According to the present invention described above, by reading the screen information displayed on the computer screen with a voice, and controlling the operating system and programs of the computer by voice only, it is possible to use the computer very easily even for the normal and visually impaired. Has
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000085700A KR20020058155A (en) | 2000-12-29 | 2000-12-29 | Control method of computer program used voice recognition technology |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000085700A KR20020058155A (en) | 2000-12-29 | 2000-12-29 | Control method of computer program used voice recognition technology |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20020058155A true KR20020058155A (en) | 2002-07-12 |
Family
ID=27688860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020000085700A KR20020058155A (en) | 2000-12-29 | 2000-12-29 | Control method of computer program used voice recognition technology |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20020058155A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102111720B1 (en) * | 2019-12-04 | 2020-05-15 | 주식회사 그로비스인포텍 | Method for design recommending using cloud literary work analysis |
-
2000
- 2000-12-29 KR KR1020000085700A patent/KR20020058155A/en not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102111720B1 (en) * | 2019-12-04 | 2020-05-15 | 주식회사 그로비스인포텍 | Method for design recommending using cloud literary work analysis |
WO2021112465A1 (en) * | 2019-12-04 | 2021-06-10 | 주식회사 큐리어드 | Design recommendation method through analysis of cloud works |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102476621B1 (en) | Multimodal interaction between users, automated assistants, and computing services | |
KR101066741B1 (en) | Semantic object synchronous understanding for highly interactive interface | |
KR101042119B1 (en) | Semantic object synchronous understanding implemented with speech application language tags | |
US11347801B2 (en) | Multi-modal interaction between users, automated assistants, and other computing services | |
CN112262430A (en) | Automatically determining language for speech recognition of a spoken utterance received via an automated assistant interface | |
US11200893B2 (en) | Multi-modal interaction between users, automated assistants, and other computing services | |
Ballati et al. | “Hey Siri, do you understand me?”: Virtual Assistants and Dysarthria | |
CN110050303B (en) | Voice-to-text conversion based on third party proxy content | |
KR20230023832A (en) | Dynamic and/or context-specific hot words to invoke automated assistant | |
US20080109227A1 (en) | Voice Control System and Method for Controlling Computers | |
KR20020058155A (en) | Control method of computer program used voice recognition technology | |
WO2003079188A1 (en) | Method for operating software object using natural language and program for the same | |
Ward et al. | Hands-free documentation | |
JP3345070B2 (en) | Sign language interpreting apparatus and method | |
KR100373829B1 (en) | A computer screen reading method for the blind | |
JP3314928B2 (en) | Workstation for computer system and computer system | |
JP7462995B1 (en) | Information processing system, information processing method, and program | |
US20230343336A1 (en) | Multi-modal interaction between users, automated assistants, and other computing services | |
US11756548B1 (en) | Ambiguity resolution for application integration | |
JP3099753B2 (en) | User interface device | |
KR20020040300A (en) | voice recognition system and control methode for computer | |
WO2023034497A2 (en) | Gaze based dictation | |
Tsourakis et al. | Design Issues for a Bidirectional Mobile Medical Speech Translator | |
Söderberg | Engaging Speech UI's-How to address a speech recognition interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |