KR20140045181A - 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치 - Google Patents

음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치 Download PDF

Info

Publication number
KR20140045181A
KR20140045181A KR1020120111402A KR20120111402A KR20140045181A KR 20140045181 A KR20140045181 A KR 20140045181A KR 1020120111402 A KR1020120111402 A KR 1020120111402A KR 20120111402 A KR20120111402 A KR 20120111402A KR 20140045181 A KR20140045181 A KR 20140045181A
Authority
KR
South Korea
Prior art keywords
text
voice
input
preset
preset operation
Prior art date
Application number
KR1020120111402A
Other languages
English (en)
Other versions
KR102009423B1 (ko
Inventor
원성준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120111402A priority Critical patent/KR102009423B1/ko
Priority to US13/954,432 priority patent/US20140100850A1/en
Priority to AU2013237690A priority patent/AU2013237690B2/en
Priority to RU2013144921/08A priority patent/RU2013144921A/ru
Priority to BR102013025963-2A priority patent/BR102013025963A2/pt
Priority to EP13187798.7A priority patent/EP2717259B1/en
Priority to CN201310463866.1A priority patent/CN103716454A/zh
Priority to JP2013210818A priority patent/JP6347587B2/ja
Publication of KR20140045181A publication Critical patent/KR20140045181A/ko
Priority to US16/247,987 priority patent/US10825456B2/en
Application granted granted Critical
Publication of KR102009423B1 publication Critical patent/KR102009423B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법에 있어서, 미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 상기 동작 모드의 미리 설정된 동작을 수행하는 절차와; 상기 동작 모드의 상기 동작 수행 중 입력된 음성을 인식하여, 상기 인식한 음성에 따라 상기 동작 수행을 어시스트하는 절차를 포함한다.

Description

음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치{METHOD AND APPARATUS FOR ACTION OF PRESET PERFORMANCE MODE USING VOICE RECOGNITION}
본 발명은 단말기에 사용되는 음성 인식에 관한 기술로서, 입력된 음성 명령을 인식하여 단말기의 미리 설정된 동작 모드를 수행하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치에 관한 것이다.
최근 단말기는 기능이 다양화되면서 예를 들어 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송 수신, 애플리케이션 실행 등의 복합적인 기능을 갖춘 멀티미디어 기기 형태로 구현되고 있다. 또한 스마트폰 및 태블릿 PC와 같은 단말기는 터치스크린을 구비하여 사용자로부터의 터치 입력을 통해 텍스트의 입력과 스크롤 및 드래그 등으로 단말기의 다양한 기능들을 실행시킬 수 있다.
단말기의 다양한 기능들의 실행에 있어서, 사용자들은 간편한 조작을 선호하며, 사용자들의 선호도를 고려하여, 단말기의 구현에 있어서 최근에는 하드웨어 또는 소프트웨어의 면에서 다양한 시도들이 이루어지고 있다.
다양한 시도들 중 하나가 단말기에 음성 인식 기술을 적용하여 단말기의 기능의 실행을 어시스트하는 것으로, 음성 인식을 적용하는 기술들의 연구 및 개발이 활발하게 이루어지고 있다.
음성 인식 기술을 적용한 종래 기술로는 국내 특허 공개번호 제 2009-0020265호(명칭; "휴대 단말기 및 그 메시지 작성 방법“, 발명자; 한미경, 박재완, 한상민, 출원인; 삼성전자, 공개일; 2009년 02월 26일)와 국내 특허 공개번호 제 2010-0064875호(명칭;”단말기 및 그 제어 방법”, 발명자;양승진, 출원인; 엘지전자, 공개일; 2010년 06월 15일)가 있다.
국내 특허 공개번호 제 2009-0020265호는 음성 인식을 통한 메시지 입력 및 이동, 삭제, 수정 및 검색 등과 같은 음성 신호를 적용한 메시지 수정 기능을 개시하였다. 또한 국내 특허 공개번호 제 2010-0064875호는 음성 인식을 통해 사용자의 음성을 텍스트로 변환하여 디스플레이 하는 것과, 사용자의 수정할 부분의 터치를 통해 디스플레이된 명령 리스트들 중 하나를 사용자의 음성, 터치 또는 키 입력의 선택을 통해 텍스트 수정 동작을 실행하는 것을 개시하였다.
종래 기술은 메인 동작이 음성 인식으로서, 메인 동작인 음성 인식을 통해 동작을 수행하는 것을 전제로 하는 기술이다. 음성 인식 기술의 경우, 꾸준한 연구 개발을 통해 발전되어 적용되고 있긴 하지만, 아직까지는 명확하게 음성을 인식할 수 있는 완벽한 음성 인식 기술은 개발되지 않았다. 이에 따라, 음성 인식을 적용하여 미리 설정된 메인 동작의 실행 시, 때때로 잘못 인식된 음성으로 동작이 실행되지 않거나 오동작의 발생과 같은 오류로 사용자에게 불편함을 가져다 준다. 즉, 메인 동작인 음성 인식에서 오류가 발생하였을 경우, 추가적인 조작의 필요로 더 많은 조작을 수행해야 할 수 있으며, 때에 따라서는 많은 시간이 소요되는 등의 불편함이 발생할 수 있다. 이에 따라, 음성 인식을 적용한 메인 동작의 실행 시에, 편리하고 광범위하게 음성 인식을 적용하기에는 다소 무리가 있을 수 있다.
따라서, 본 발명의 목적은 음성 인식을 적용한 메인 동작의 실행 시, 발생할 수 있는 음성 인식 오류로 인한 불편함을 감소시키기 위한 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치를 제공함에 있다.
상기한 목적을 달성하기 위하여 본 발명의 일 견지에 따르면, 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법에 있어서, 미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 상기 동작 모드의 미리 설정된 동작을 수행하는 절차와; 상기 동작 모드의 상기 동작 수행 중 입력된 음성을 인식하여, 상기 인식한 음성에 따라 상기 동작 수행을 어시스트하는 절차를 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치에 있어서, 사용자의 조작을 입력 받는 버튼 및 물리적 또는 가상의 키패드와 사용자로부터 음성을 입력 받는 마이크를 포함하는 입/출력 모듈과; 사용자의 조작을 입력 받으며, 응용 프로그램의 실행 영상과 동작 상태 및 메뉴 상태를 디스플레이 하는 터치스크린과; 상기 기능부들을 총괄적으로 제어하며, 상기 입/출력 모듈로부터 입력된 음성을 인식하는 음성 인식 모듈을 구비하며, 상기 입/출력 모듈 또는 상기 터치스크린으로부터의 키 입력 또는 터치 입력에 따라 미리 설정된 동작을 수행하며, 상기 음성 인식 모듈로부터 상기 사용자의 음성을 입력 받아 인식한 음성을 적용하여 상기 미리 설정된 동작 수행을 어시스트 하는 제어부를 포함함을 특징으로 한다.
상기한 바와 같이, 본 발명에 따른 음성 인식을 이용한 동작 수행 어시스트 방법 및 장치를 사용함으로써, 메인 동작의 실행 중 음성을 입력하여 입력된 음성이 메인 동작의 실행을 어시스트하는 역할을 한다. 이에 따라 사용자의 조작 입력을 줄일 수 있으며, 메인 동작을 좀 더 간편하게 수행 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 모바일 장치의 블록 구성도
도 2는 본 발명의 특징에 따른 음성 인식을 이용한 미리 설정된 동작 모드의 수행을 적용하는 과정의 흐름도
도 3은 본 발명의 제 1 실시예에 따른 음성 인식을 이용한 텍스트 수정 및 미리 설정된 동작을 어시스트하는 흐름도
도 4는 본 발명의 제 1 실시예에 따른 음성 인식을 이용한 텍스트 수정을 어시스트하는 예시도
도 5는 본 발명의 제 2 실시예에 따른 음성 인식을 이용한 미리 설정된 동작을 어시스트하는 예시도
도 6은 본 발명의 제 3 실시예에 따른 음성 인식을 이용한 미리 설정된 동작을 어시스트하는 예시도
도 7은 본 발명의 제 2 실시예에 따른 음성 인식을 이용한 미리 설정된 동작 및 텍스트 수정을 어시스트하는 흐름도
도 8은 본 발명의 제 3 실시예에 따른 음성 인식을 이용한 텍스트 수정을 어시스트하는 흐름도
도 9는 본 발명의 제 4 실시예에 따른 음성 인식을 이용한 리스트 메뉴에서의 입력된 동작을 어시스트하는 흐름도
도 10은 본 발명의 제 4 실시예 따른 음성 인식을 이용한 리스트 메뉴에서의 입력된 동작을 어시스트하는 예시도
도 11은 본 발명의 제 5 실시예에 따른 음성 인식을 이용한 리스트 메뉴에서의 입력된 동작을 어시스트하는 예시도
도 12는 본 발명의 제 6 실시예에 따른 음성 인식을 이용한 리스트 메뉴에서의 입력된 동작을 어시스트하는 예시도
도 13은 본 발명의 제 5 실시예에 따른 음성 인식을 이용한 홈 화면 편집을 어시스트하는 흐름도
도 14는 본 발명의 제 7 실시예에 따른 음성 인식을 이용한 홈 화면 편집을 어시스트하는 예시도
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자, 명칭 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명의 실시예에 따른 모바일 장치의 블록 구성도이다.
도 1을 참조하면, 장치(100)는 표시부(190) 및 디스플레이 컨트롤러(195)를 포함한다. 또한, 장치(100)는 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리 통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제 1 카메라(151) 및 제 2 카메라(152) 중 적어도 하나를 포함한다. 이하에서는 상기 표시부(190) 및 디스플레이 컨트롤러(195)가 각각 터치스크린 및 터치스크린 컨트롤러인 경우를 예로 들어 설명한다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190), 및 터치스크린 컨트롤러(195)를 제어할 수 있다. 또한 제어부(110)은 입/출력 모듈(160)의 마이크(162)로부터 입력된 음성을 인식하는 음성 인식 모듈(111)을 구비할 수 있다. 또한 제어부(110)는 입/출력 모듈(160) 또는 터치스크린(190)으로부터 사용자의 조작을 입력받아 미리 설정된 동작을 수행하며, 음성 인식 모듈(111)로부터 사용자의 음성을 입력받아 인식한 음성을 적용하여 미리 설정된 동작 수행을 어시스트 할 수 있다.
이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 이용하여 이동 통신 장치(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(1200은 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태플릿 PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, Access Point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131) 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 장치(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다.
장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(110)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 장치(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166) 및 이어폰 연결잭(167) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(163)는 장치(100)가 수행하는 기능에 대응되는 사운드를 출력할 수 있다. 스피커(163)는 장치(100)의 하우징의 적절한 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(180) 상을 터치 입력하는 사용자의 터치 동작 및 터치스크린(190) 상에서 터치 입력의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 장치(100)와 외부 장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 장치(100)는 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다. 또한 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)로부터 전원을 입력 받거나, 전원소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신한다. 키패드(166)는 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 장치(100)에 형성되는 물리적인 키패드는 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 장치(100)에 연결될 수 있다.
센서 모듈(170)은 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함하며, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
“저장부”라는 용어는 저장부(175), 롬(ROM), 램(RAM) 또는 장치(100)에 장착되는 메모리 카드(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원공급부(180)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다. 또한 전원공급부(180)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 장치(100)로 공급할 수도 있다.
터치스크린(190)은 사용자의 조작을 입력 받으며, 응용 프로그램의 실행 영상과 동작 상태 및 메뉴 상태 등을 디스플레이 한다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진 촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한 터치스크린(190)은 적어도 하나의 터치 입력 중에서, 하나의 터치 입력의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다.
터치스크린은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
한편, 터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y 좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린을 제어할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
또한, 터치스크린(190)은 사용자의 신체 및 터치 가능한 입력 수단에 의한 입력을 동시에 입력 받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 수단의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력 값을 터치스크린 컨트롤러(195)에 제공하고, 터치스크린 컨트롤러(195)는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치스크린으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 수단에 의한 입력인지를 구분할 수 있다.
본 발명의 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법은 후술하는 바와 같이 두 절차로 구분할 수 있다. 첫 번째는 메인 동작을 수행하는 절차로서, 미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 동작 모드의 미리 설정된 동작을 수행하는 절차이다. 두 번째는 메인 동작을 어시스트하는 절차로서, 첫 번째 절차의 동작 모드의 미리 설정된 동작 수행 중 입력된 음성을 인식하여, 인식한 음성에 따라 첫 번째 절차의 동작 수행을 어시스트하는 절차이다.
도 2는 본 발명의 특징에 따른 음성 인식을 이용한 미리 설정된 동작 모드의 수행을 적용하는 과정의 흐름도이다.
도 2를 참조하면, 먼저 200 과정에서는 입/출력 모듈(160)의 버튼(161) 또는 키패드(166), 마이크(162) 또는 터치스크린(190) 등으로부터의 사용자의 조작을 통해 장치(100)의 미리 설정된 여러 동작 모드들 중 본 발명의 음성 인식을 이용한 미리 설정된 동작 모드의 수행을 실행할 동작 모드를 선택하여 실행한다. 장치(100)의 미리 설정된 동작 모드의 실행 이후, 202 과정에서는 동작 모드의 동작을 실행하기 위한 사용자 키 입력 또는 터치 입력의 과정을 수행한다. 204 과정에서는 202 과정의 터치 입력에 따른 메인 동작을 수행한다.
206 과정에서는 메인 동작의 키 입력 또는 터치 입력에 따라 동작 모드의 미리 설정된 동작의 수행 중에 마이크(162)를 이용하여 사용자로부터 음성을 입력 받는다. 이후 208 과정에서는 음성 인식 모듈(111)의 음성 인식을 적용하여 입력 받은 음성을 인식하여, 인식한 음성을 적용하여 메인 동작의 수행을 어시스트 하는 동작을 수행한다.
이때, 동작 모드는 텍스트 작성 모드, 리스트 메뉴의 실행 모드, 홈 화면의 실행 모드 등과 같이 사용자 조작으로 실행될 수 있는 다양한 동작 모드들이 포함될 수 있다. 또한 메인 동작은 텍스트 입력과, 터치 입력과, 터치 입력을 적용한 스크롤 및 드래그 등이 포함될 수 있다.
이때의 터치는 터치스크린(190)이 구비된 단말기에서 사용자가 터치스크린의 특정 영역을 사용자의 신체나 터치 가능한 입력 수단으로 접촉한 후, 특정 영역으로부터 접촉되었던 사용자의 신체나 터치 가능한 입력 수단을 떨어뜨리는 동작과, 또한 사용자가 터치스크린의 특정 영역을 사용자의 신체나 터치 가능한 입력 수단으로 접촉하고, 접촉된 특정 영역으로부터 사용자의 신체나 터치 가능한 입력 수단을 이동 방향을 가지면서 떨어뜨리는 플릭(flick) 동작을 포함함을 의미한다.
본 발명의 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법을 실시예들을 이용하여 아래에 보다 상세히 설명하겠다.
첫 번째 실시예는 동작 모드 중 하나인 텍스트 작성 모드에서의 본 발명의 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법이다.
도 3은 본 발명의 제 1 실시예에 따른 음성 인식을 이용한 텍스트 수정 및 미리 설정된 동작을 어시스트하는 흐름도로서, 텍스트 작성 모드에서 텍스트의 입력과 동시에 음성을 입력하며, 입력된 음성을 이용하여 입력된 텍스트의 수정을 어시스트하는 동작과, 입력된 음성을 이용하여 미리 설정된 동작의 수행을 설명한 것이다.
도 3을 참조하면, 300에서 306 단계까지는 도 2의 첫 번째 절차의 미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 동작 모드의 미리 설정된 동작을 수행하는 절차로서, 텍스트 작성 모드를 실행하여 입력된 텍스트를 미리 설정된 텍스트 표시창에 디스플레이하는 메인 동작을 설명한 것이다.
먼저, 300 단계에서는 사용자의 조작을 통해 텍스트 작성 모드를 실행하며, 302 단계는 음성 인식 모듈(111)의 음성 인식 기능을 활성화 한다. 이때, 텍스트 작성 모드의 실행과 동시에 음성 인식 모듈(111)의 음성 인식 기능이 자동으로 활성화 될 수 있으며, 또한 사용자의 선택에 의해 음성 인식 기능이 활성화 되도록 설정될 수 있다. 이후, 304 단계에서는 키 입력 또는 터치 입력에 따라 물리적 또는 가상의 키패드(166)를 통해 텍스트가 입력되었는지를 판단하여, 텍스트가 입력되었을 경우, 306 단계에서 미리 설정된 텍스트 표시창(i)에 입력된 텍스트를 디스플레이 한다.
이후 나머지 단계들은 도 2의 두 번째 절차의 첫 번째 절차의 동작 모드의 미리 설정된 동작 수행 중 입력된 음성을 인식하여, 인식한 음성에 따라 첫 번째 절차의 동작 수행을 어시스트하는 절차로서, 텍스트의 수정을 어시스트하는 동작과 미리 설정된 동작 명령을 수행하는 동작을 설명한 것이다.
308 단계에서는 마이크(162)로부터 음성이 입력되었는지를 판단한다. 이때의 음성의 입력은 텍스트 작성 모드에서 텍스트가 입력되지 않을 때나, 텍스트가 입력되는 중일 때나, 텍스트가 입력되어 디스플레이 되는 중일 때 모두 가능하다. 이하에서는 텍스트 작성 모드에서 텍스트가 입력되지 않을 때나, 텍스트가 입력되는 중일 때나, 텍스트가 입력되어 디스플레이 되는 중일 때 모두를 텍스트의 입력 중으로 기재하여 설명한다. 텍스트 작성 모드에서 텍스트의 입력 중, 사용자로부터 음성이 입력되었을 경우, 310 단계에서는 활성화된 음성 인식 모듈(111)이 입력된 음성을 인식한다.
311 단계에서 318 단계까지는 텍스트 수정을 어시스트하는 동작을 설명한 것이다. 즉, 디스플레이한 텍스트와 인식한 음성을 비교하여, 디스플레이한 텍스트와 인식한 음성이 동일하지 않을 경우 디스플레이한 텍스트가 오류가 있는 것으로 판단하여, 디스플레이한 텍스트가 오류가 있으면 인식한 음성을 텍스트로 변환하여 디스플레이한 텍스트의 수정을 어시스트한다.
311 단계는 디스플레이한 텍스트와 인식한 음성을 비교하여, 입력된 텍스트의 오류 가능성을 분석하며, 312 단계에서는 입력된 텍스트에 오류가 있는지를 판단한다. 즉, 디스플레이한 텍스트와 인식한 음성을 비교하여 디스플레이한 텍스트와 인식한 음성이 동일하지 않을 경우 디스플레이한 텍스트에 오류가 있는 것으로 판단하고, 디스플레이한 텍스트와 인식한 음성이 동일할 경우 디스플레이한 텍스트에 오류가 없는 것으로 판단한다.
312 단계에서의 입력된 텍스트의 오류 유무 판단의 결과, 디스플레이한 텍스트에 오류가 있으면, 314 단계에서는 인식한 음성을 텍스트로 변환하며, 315 단계에서는 미리 설정된 보이스 어시스트 창(j)에 음성 변환한 텍스트를 디스플레이 한다. 이때, 보이스 어시스트 창(j)은 텍스트 표시창(i)과는 구분될 수 있도록 설정 된 것으로, 텍스트 표시창(i)의 상, 하, 좌, 우로 주변에 위치되어 디스플레이 될 수 있다.
이후, 317 단계에서는 사용자가 텍스트 표시창(i)의 내용과 보이스 어시스트 창(j)의 내용을 확인하여, 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경할지를 판단한다. 사용자가 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하기를 원할 경우, 318 단계에서는 사용자 조작을 통해 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하도록 미리 설정된 기능을 적용하여 텍스트 표시창(i)의 디스플레이한 텍스트를 보이스 어시스트 창(j)의 디스플레이한 음성 변환한 텍스트로 변경한다. 이때, 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하는 미리 설정된 기능은 텍스트 작성 모드에서 아이템으로 설정될 수 있으며, 팝업창으로 터치스크린(190)에 팝업되어 설정 될 수 있으며, 미리 설정된 음성 명령의 입력으로 설정될 수 있다.
319 단계에서는 텍스트 작성 모드의 종료 유무를 선택하며, 사용자가 텍스트 작성 모드의 종료를 원하지 않을 경우에는 텍스트 작성 모드를 종료하지 않고 상술한 304 단계에서부터의 동작을 다시 수행할 수 있으며, 사용자가 텍스트 작성 모드의 종료를 선택하면, 텍스트 작성 모드를 종료한다.
320 단계에서 324 단계까지는 미리 설정된 동작 명령의 수행을 설명한 것이다. 즉, 312 단계에서의 입력된 텍스트의 오류 유무 판단 결과, 디스플레이한 텍스트에 오류가 없을 때, 320 단계에서 324 단계까지는 인식한 음성이 미리 설정된 동작 명령일 경우 인식한 음성을 적용하여 미리 설정된 동작 명령을 수행하는 것을 설명한 것이다.
320 단계의 수행 이전에 311 단계는 디스플레이한 텍스트와 인식한 음성을 비교하여, 입력된 텍스트의 오류 가능성을 분석하며, 312 단계에서는 입력된 텍스트에 오류가 있는지를 판단하며, 디스플레이한 텍스트에 오류가 없을 경우, 인식한 음성을 적용하여 미리 설정된 동작을 수행한다.
디스플레이한 텍스트에 오류가 없으면, 320 단계에서는 인식한 음성이 미리 설정된 동작 명령인지를 판단한다. 인식한 음성이 미리 설정된 동작 명령일 경우, 322 단계에서는 인식한 음성을 적용하여 미리 설정된 동작 명령을 수행하며, 미리 설정된 동작 명령의 수행이 완료되면 324 단계에서는 동작 수행의 결과를 출력한다. 이때, 동작 명령의 수행이 텍스트 입력 및 입력된 텍스트의 디스플레이를 방해하지 않도록 한다. 즉, 텍스트를 입력하면서 동시에 음성 입력 및 입력된 음성을 인식하는 동작을 수행할 수 있으며, 입력되어 인식된 음성의 미리 설정된 동작 명령이 수행되는 동안에도 텍스트가 입력되면 디스플레이 될 수 있다. 또한 음성 인식의 적용에 있어서 인식한 음성 중 디스플레이되는 텍스트와 미리 설정된 동작 명령과 유사성이 전혀 없는 의미 없는 음성은 적용하지 않는다.
324 단계 이후, 319 단계에서는 텍스트 작성 모드의 종료 유무를 선택하며, 사용자가 텍스트 작성 모드의 종료를 원하지 않을 경우에는 텍스트 작성 모드를 종료하지 않고 상술한 304 단계에서부터의 동작을 다시 수행할 수 있으며, 사용자가 텍스트 작성 모드의 종료를 선택하면, 텍스트 작성 모드를 종료한다.
도 4는 본 발명의 제 1 실시예에 따른 음성 인식을 이용한 텍스트 수정을 어시스트하는 예시도이며, 도 4을 참조하여 음성 인식을 이용한 텍스트 수정을 어시스트하는 동작을 후술하는 바와 같이 상세히 설명하겠다.
사용자가 “Damian's got a new pair of Nike's"라는 텍스트를 입력하기를 원한다는 가정하에서, 먼저 사용자의 조작으로 텍스트 작성 모드를 실행한다. 도 4의 (a)는 텍스트 표시창(i)과 보이스 어시스트 창(j)을 포함하는 단말기의 이미지이다. 이때, 텍스트 표시창(i)은 입력되는 텍스트를 디스플레이할 수 있으며, 동작 수행의 결과를 디스플레이 할 수 있다. 또한 보이스 어시스트 창(j)은 입력된 음성을 텍스트로 변환하여 디스플레이 할 수 있으며, 동작 수행의 상태를 디스플레이 할 수 있다.
텍스트 작성 모드의 실행 이후, 단말기에 물리적 또는 가상의 키패드(166)를 통해 텍스트를 입력한다. 이와 동시에 또는 텍스트 입력 이후에, 마이크(162)를 통해 텍스트 입력과 동일한 내용의 음성을 입력한다. 도 4의 (b)는 입력된 텍스트를 텍스트 표시창(i)에 디스플레이한 것이며, 음성 인식을 적용하여 입력된 음성을 인식하여 텍스트로 변환한 후에 텍스트를 보이스 어시스트 창(j)에 디스플레이 한 이미지이다. 사용자로부터 음성이 입력되는 동안 입력되는 텍스트가 하이라이트 되도록 미리 설정될 수 있으며, 또한 사용자의 음성과는 다르게 입력된 텍스트 부분을 밑줄 또는 하이라이트를 통해 구분 되도록 미리 설정될 수 있다.
이후, 사용자가 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하기를 원할 경우, 사용자의 선택으로 미리 설정된 기능을 적용하여, 텍스트 표시창(i)의 디스플레이한 텍스트를 보이스 어시스트 창(j)의 디스플레이한 음성 변환한 텍스트로 변경할 수 있다. 이때의 미리 설정된 기능은 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경 적용하도록 선택할 수 있는 미리 설정된 아이템일 수 있으며, 팝업창으로 터치스크린(190)에 팝업되어 표시되도록 설정 된 것일 수 있으며, 또한 미리 설정된 음성 명령일 수 있다. 도 4의 (c)는 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경한 결과 이미지이다.
도 5는 본 발명의 제 2 실시예에 따른 음성 인식을 이용한 미리 설정된 동작을 어시스트하는 예시도이며, 도 5를 참조하여 음성 인식을 이용한 텍스트 입력 중 미리 설정된 동작 수행을 어시스트하는 동작을 후술하는 바와 같이 상세히 설명하겠다.
사용자가 텍스트 입력을 하면서, 현재 자신의 위치를 확인하기를 원한다는 가정 하에서, 먼저 사용자 조작으로 텍스트 작성 모드를 선택하여 실행한다. 도 5의 (a)는 텍스트 표시창(i)과 보이스 어시스트 창(j)을 포함하는 단말기의 이미지이다.
텍스트 작성 모드 실행 이후, 단말기에 물리적 또는 가상의 키패드(166)를 통해 텍스트를 입력한다. 이와 동시에 마이크(162)를 통해 미리 설정된 동작 명령인 “Attach my current location" 이라는 음성을 입력한다. 도 5의 (b)는 입력된 “Damian's got a new pair of Nike's"라는 텍스트를 텍스트 표시창(i)에 디스플레이한 것이며, 입력된 음성을 음성 인식을 적용하여 인식하여 동작 명령을 수행할 때의 동작 수행 상태를 텍스트로 표시한“Attaching your current location."을 보이스 어시스트 창(j)에 디스플레이 한 이미지이다.
이때, 사용자는 계속 텍스트 입력을 할 수 있으며, 음성 입력을 통한 미리 설정된 동작 명령의 실행 준비가 완료 되었을 때, 시스템의 동작의 결과인 사용자의 위치를 나타내는 단말기에 저장된 위치 관련 애플리케이션, 내비게이션 등의 실행으로 사용자의 위치를 출력한다. 도 5의 (c)는 텍스트 표시창(i)의 입력된 디스플레이된 텍스트와 미리 설정된 동작 명령의 실행이 완료되어 출력된 결과인 사용자의 위치를 나타낸 지도를 실행하여 디스플레이한 결과 이미지이다.
도 6은 본 발명의 제 3 실시예에 따른 음성 인식을 이용한 미리 설정된 동작을 어시스트하는 예시도이며, 도 6을 참조하여 음성 인식을 이용한 텍스트 입력 중 미리 설정된 동작 수행을 어시스트하는 동작을 후술하는 바와 같이 상세히 설명하겠다.
도 6의 (a)는 단말기가 도 5의 과정을 이미 수행했다는 가정하에서, 도 5의 (c)의 텍스트 표시창(i)의 입력되어 디스플레이된 텍스트와 미리 설정된 동작 명령의 실행이 완료되어 출력된 사용자의 위치를 나타낸 지도를 실행하여 디스플레이한 결과의 이미지이다. 먼저 도 6의 (a)상태에서 미리 설정된 동작 명령인 “커서 store 뒤로 이동”이라는 음성을 입력한다.
이후, 음성 인식을 이용하여 입력된 음성을 인식하며, "커서 store 뒤로 이동”이라는 음성 인식된 음성에 따라 동작 명령을 수행한다. 도 6의 (b)는 “커서 store 뒤로 이동”이라는 음성 인식된 동작 명령에 따라 커서의 위치를 이동한 이미지이다.
이후, 미리 설정된 동작 명령인 “right now 입력”이라는 음성을 입력하며, 음성 인식을 이용하여 입력된 음성을 인식하며, 인식된 음성에 따라 동작 명령을 수행한다. 도 6의 (c)는 커서가 위치한 부분에 “right now 입력”이라는 인식된 동작 명령에 따라 텍스트가 입력된 결과의 이미지이다.
이 밖에도, 텍스트 작성 모드에서의 미리 설정된 동작 명령은 음악 또는 동영상의 재생, 인터넷 검색, 특정 애플리케이션 실행 등과 같이, 단말기에 미리 설정된 기능들이 입력된 음성에 의해 동작될 수 있도록 설정될 수 있다. 또한 동작의 수행 결과는 텍스트 창에 바로 표시 될 수 있으며, 또는 팝업 창으로 팝업되도록 설정될 수 있다.
도 7은 본 발명의 제 2 실시예에 따른 음성 인식을 이용한 미리 설정된 동작 및 텍스트 수정을 어시스트하는 흐름도로서, 텍스트 작성 모드에서 텍스트의 입력과 동시에 음성을 입력하며, 입력된 음성을 이용하여 미리 설정된 동작을 수행하는 것과, 입력된 음성을 이용하여 입력된 텍스트의 수정을 어시스트하는 동작을 설명한 것이다.
도 7를 참조하면, 400 단계에서 406 단계까지는 도 2의 첫 번째 절차의 미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 동작 모드의 미리 설정된 동작을 수행하는 절차로서, 텍스트 작성 모드를 실행하여 입력된 텍스트를 미리 설정된 텍스트 표시창에 디스플레이하는 동작을 설명한 것이다.
먼저, 400 단계에서는 사용자 조작 입력을 통해 텍스트 작성 모드를 실행하며, 402 단계는 음성 인식 모듈(111)의 음성 인식 기능을 활성화 한다. 이때, 텍스트 작성 모드의 실행과 동시에 음성 인식 모듈(111)의 음성 인식 기능이 자동으로 활성화 될 수 있으며, 또한 사용자의 선택에 의해 음성 인식 기능이 활성화 되도록 설정될 수 있다. 이후, 404 단계에서는 키 입력 또는 터치 입력에 따라 물리적 또는 가상의 키패드(166)를 통해 텍스트가 입력되었는지를 판단하여, 텍스트가 입력되었을 경우, 306 단계에서 미리 설정된 텍스트 표시창(i)에 입력된 텍스트를 디스플레이 한다.
이후 나머지 단계들은 도 2의 두 번째 절차의 첫 번째 절차의 동작 모드의 미리 설정된 동작 수행 중 입력된 음성을 인식하여, 인식한 음성에 따라 첫 번째 절차의 동작 수행을 어시스트하는 절차로서, 미리 설정된 동작 명령을 수행하는 것과 텍스트의 수정을 어시스트하는 동작을 설명한 것이다.
408 단계에서는 마이크(162)로부터 음성이 입력되었는지를 판단한다. 이때의 음성의 입력은 텍스트 작성 모드에서 텍스트가 입력되지 않을 때나, 텍스트가 입력되는 중일 때나, 텍스트가 입력되어 디스플레이 되는 중일 때 모두 가능하다. 이하에서는 텍스트 작성 모드에서 텍스트가 입력되지 않을 때나, 텍스트가 입력되는 중일 때나, 텍스트가 입력되어 디스플레이 되는 중일 때 모드를 텍스트의 입력 중으로 기재하여 설명한다. 텍스트 작성 모드에서 텍스트의 입력 중, 사용자로부터 음성이 입력되었을 경우, 410 단계에서는 활성화된 음성 인식 모듈(111)이 입력된 음성을 인식한다.
412 단계에서 416 단계까지는 미리 설정된 동작 명령의 수행을 설명한 것으로서, 인식한 음성이 미리 설정된 동작 명령일 경우 인식한 음성을 적용하여 미리 설정된 동작 명령을 수행하는 것을 설명한 것이다.
412 단계에서는 인식한 음성이 미리 설정된 동작 명령인지를 판단한다. 인식한 음성이 미리 설정된 동작 명령일 경우, 414 단계에서는 인식한 음성을 적용하여 미리 설정된 동작 명령을 수행하며, 미리 설정된 동작 명령의 수행이 완료되면 416 단계에서는 동작 수행의 결과를 출력한다. 이때, 동작 명령의 수행이 텍스트 입력 및 입력된 텍스트의 디스플레이를 방해하지 않도록 한다. 즉, 텍스트를 입력하면서 동시에 음성 입력 및 입력된 음성을 인식하는 동작을 수행할 수 있으며, 입력되어 인식된 음성의 미리 설정된 동작 명령이 수행되는 동안에도 텍스트가 입력되면 디스플레이 될 수 있다.
418 단계에서는 텍스트 작성 모드의 종료 유무를 선택하며, 사용자가 텍스트 작성 모드의 종료를 원하지 않을 경우에는 텍스트 작성 모드를 종료하지 않고 상술한 404 단계에서부터의 동작을 다시 수행할 수 있으며, 사용자가 텍스트 작성 모드의 종료를 선택하면, 텍스트 작성 모드를 종료한다.
420 단계에서 429 단계까지는 텍스트 수정을 어시스트하는 동작을 설명한 것이다. 즉, 412 단계에서의 인식한 음성이 미리 설정된 동작 명령인지를 판단하여, 인식한 음성이 미리 설정된 동작 명령이 아닐 경우, 디스플레이한 텍스트와 인식한 음성을 비교하여, 디스플레이한 텍스트와 인식한 음성이 동일하지 않을 경우 디스플레이한 텍스트가 오류가 있는 것으로 판단하여, 인식한 음성을 텍스트로 변환하여 디스플레이한 텍스트의 수정을 어시스트한다.
420 단계의 수행 이전에 412 단계에서 인식한 음성이 미리 설정된 동작 명령인지 판단하여, 인식한 음성이 미리 설정된 동작 명령이 아닐 경우, 420 단계에서는 디스플레이한 텍스트와 인식한 음성을 비교하여, 입력된 텍스트의 오류 가능성을 분석한다.
이후, 422 단계에서는 입력된 텍스트에 오류가 있는지를 판단한다. 즉, 디스플레이한 텍스트와 인식한 음성을 비교하여 디스플레이한 텍스트와 인식한 음성이 동일하지 않을 경우 디스플레이한 텍스트가 오류가 있는 것으로 판단한다. 디스플레이한 텍스트가 오류가 있으면, 424 단계에서는 인식한 음성을 텍스트로 변환하며, 426 단계에서는 미리 설정된 보이스 어시스트 창(j)에 음성 변환한 텍스트를 디스플레이 한다. 이때, 보이스 어시스트 창(j)은 텍스트 표시창(i)과는 구분될 수 있도록 설정 된 것으로, 텍스트 표시창(i)의 상, 하, 좌, 우로 주변에 위치되어 디스플레이 될 수 있다. 이후, 428 단계에서는 사용자가 텍스트 표시창(i)의 내용과 보이스 어시스트 창(j)의 내용을 확인하여, 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경할지를 판단한다. 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하기를 원할 경우, 429 단계에서는 사용자 조작을 통해 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하는 미리 설정된 기능을 적용하여 텍스트 표시창(i)의 디스플레이한 텍스트를 보이스 어시스트 창(j)의 디스플레이한 음성 변환한 텍스트로 변경한다. 이때, 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하는 미리 설정된 기능은 텍스트 작성 모드에서 아이템으로 설정될 수 있으며, 팝업창으로 터치스크린(190)에 팝업되어 설정 될 수 있으며, 미리 설정된 음성 명령의 입력으로 설정될 수 있다. 또한 음성 인식의 적용에 있어서 인식한 음성 중 미리 설정된 동작 명령과 디스플레이되는 텍스트와 유사성이 전혀 없는 의미 없는 음성은 적용하지 않는다.
429 단계 이후, 418 단계에서는 텍스트 작성 모드의 종료 유무를 선택하며, 사용자가 텍스트 작성 모드의 종료를 원하지 않을 경우에는 상술한 404 단계에서부터의 동작을 다시 수행하며, 텍스트 작성 모드의 종료 선택 시, 텍스트 작성 모드를 종료한다.
도 8은 본 발명의 제 3 실시예에 따른 음성 인식을 이용한 텍스트 수정을 어시스트하는 흐름도로서, 텍스트 작성 모드에서 텍스트의 입력과 동시에 음성을 입력하며, 입력된 음성을 이용하여 입력된 텍스트의 오류 수정을 어시스트하는 동작을 수행하는 것을 설명한 것이다.
도 8은 도 3에서의 텍스트 작성 모드에서 입력된 음성을 이용하여 입력된 텍스트의 수정을 어시스트하는 동작과 동일하다. 이에 따라 음성 인식을 이용한 텍스트 수정을 어시스트하는 동작의 설명은 간략히 한다.
먼저, 500 단계에서는 사용자 조작 입력을 통해 텍스트 작성 모드를 실행하며, 502 단계는 음성 인식 모듈(111)의 음성 인식 기능을 활성화 한다. 이후, 504 단계에서는 키 입력 또는 터치 입력에 따라 물리적 또는 가상의 키패드(166)를 통해 텍스트가 입력되었는지를 판단하여, 텍스트가 입력되었을 경우, 506 단계에서 미리 설정된 텍스트 표시창(i)에 입력된 텍스트를 디스플레이 한다.
이후 508 단계에서는 마이크(162)로부터 음성이 입력되었는지를 판단한다. 텍스트 작성 모드에서 텍스트의 입력 중, 음성이 입력되었을 경우, 510 단계에서는 활성화된 음성 인식 모듈(111)이 입력된 음성을 인식한다.
이후 511 단계는 디스플레이한 텍스트와 인식한 음성을 비교하여, 입력된 텍스트의 오류 가능성을 분석하며, 512 단계에서는 입력된 텍스트에 오류가 있는지를 판단한다. 즉, 디스플레이한 텍스트와 인식한 음성을 비교하여 디스플레이한 텍스트와 인식한 음성이 동일하지 않을 경우 디스플레이한 텍스트에 오류가 있는 것으로 판단하고, 디스플레이한 텍스트와 인식한 음성이 동일할 경우 디스플레이한 텍스트에 오류가 없는 것으로 판단한다.
512 단계에서의 입력된 텍스트의 오류 유뮤 판단 결과, 디스플레이한 텍스트에 오류가 있으면, 514 단계에서는 인식한 음성을 텍스트로 변환하며, 515 단계에서는 미리 설정된 보이스 어시스트 창(j)에 음성 변환한 텍스트를 디스플레이 한다. 517 단계에서는 사용자가 텍스트 표시창(i)의 내용과 보이스 어시스트 창(j)의 내용을 확인하여, 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경할지를 판단한다. 사용자가 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하기를 원할 경우, 519 단계에서는 사용자 조작을 통해 텍스트 표시창(i)의 내용을 보이스 어시스트 창(j)의 내용으로 변경하는 미리 설정된 기능을 적용하여 텍스트 표시창(i)의 디스플레이한 텍스트를 보이스 어시스트 창(j)의 디스플레이한 음성 변환한 텍스트로 변경한다.
이후 520 단계에서는 텍스트 작성 모드의 종료 유무를 선택하며, 사용자가 텍스트 작성 모드의 종료를 원하지 않을 경우에는 텍스트 작성 모드를 종료하지 않고 상술한 504 단계에서부터의 동작을 다시 수행할 수 있으며, 사용자가 텍스트 작성 모드의 종료를 선택하면, 텍스트 작성 모드를 종료한다.
두 번째 실시예는 사용자 동작 모드 중 다른 하나인 리스트 메뉴의 실행에서의 본 발명의 음성 인식을 이용한 동작 수행 어시스트 방법이다.
도 9는 본 발명의 제 4 실시예에 따른 음성 인식을 이용한 리스트 메뉴에서의 입력된 동작을 어시스트하는 흐름도로서, 리스트를 디스플레이한 화면에서 미리 설정된 동작 명령과 동시에 음성을 입력하며, 입력된 음성을 이용하여 미리 설정된 동작 명령의 실행을 어시스트하는 것을 설명한 것이다.
도 9를 참조하면, 600에서 603 단계까지는 도 2의 첫 번째 절차의 미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 동작 모드의 미리 설정된 동작을 수행하는 절차로서, 리스트 메뉴를 실행하여 입력된 터치의 미리 설정된 동작의 수행을 설명한 것이다.
먼저, 600 단계는 사용자 조작 입력을 통해 리스트 메뉴를 실행하며, 601 단계는 실행된 리스트 메뉴의 리스트를 디스플레이 한다. 이때, 음성 인식 모듈(111)의 음성 인식 기능은 자동으로 활성화 될 수 있으며, 또한 사용자의 선택에 의해 음성 인식 기능이 활성화 되도록 설정될 수 있다. 이후, 602 단계에서는 터치스크린(190) 상에 터치 입력이 있는지를 판단한다. 터치스크린(190)상에 터치 입력이 있을 경우, 603 단계에서는 터치 입력된 동작을 실행한다. 이때의 터치 입력은 스크롤하는 터치 입력으로서, 사용자가 디스플레이된 리스트의 특정 영역을 사용자의 신체 또는 터치 가능한 입력 수단으로 접촉하고, 접촉된 특정 영역으로부터 사용자의 신체나 터치 가능한 입력 수단을 이동 방향을 가지면서 떨어뜨리는 플릭(flick) 동작의 입력이다. 이때, 디스플레이된 리스트는 스크롤 하는 방향에 따라 상, 하, 좌, 우 등으로 스크롤 될 수 있다.
이후 나머지 단계들은 도 2의 두 번째 절차의 첫 번째 절차의 동작 모드의 미리 설정된 동작 수행 중 입력된 음성을 인식하여, 인식한 음성에 따라 첫 번째 절차의 동작 수행을 어시스트하는 절차로서, 리스트 메뉴에서 입력된 터치 동작을 어시스트하는 것을 설명한 것이다.
604 단계에서는 마이크(162)로부터 음성이 입력되었는지를 판단한다. 이때의 음성 입력은 리스트 메뉴의 리스트가 디스플레이 된 상태에서 터치 입력이 되지 않을 때나, 터치 입력 중일 때나, 터치 입력 중 미리 설정된 동작 명령이 동작 중일 때 모두 가능하다. 이하에서는 리스트 메뉴의 리스트가 디스플레이 된 상태에서 터치 입력이 되지 않을 때나, 터치 입력 중일 때나, 터치 입력 중 미리 설정된 동작 명령이 동작 중일 때 모두를 터치 동작의 수행 중으로 기재하여 설명하였다. 리스트가 디스플레이 된 상태에서 터치 동작의 스크롤 동작 수행 중, 사용자로부터 음성이 입력되는 경우, 605 단계에서는 활성화된 음성 인식 모듈(111)이 입력된 음성을 인식한다.
606 단계에서는 인식한 음성이 미리 설정된 동작 명령인지를 판단한다. 이때, 인식한 음성 중 미리 설정된 동작 명령과 유사성이 전혀 없는 의미 없는 음성은 적용하지 않는다. 인식한 음성이 미리 설정된 동작 명령일 경우, 607 단계에서는 터치 동작의 수행 중에 상기 인식한 음성의 미리 설정된 동작 명령을 수행하며, 608 단계에서는 동작 명령의 실행 결과를 출력한다. 이때의 미리 설정된 동작 명령은, 디스플레이한 리스트에서 미리 설정된 상, 하, 좌, 우로 원하는 위치까지 자동적으로 스크롤 하도록 설정하는 명령일 수 있다. 또한 리스트에서 원하는 위치까지 자동적으로 스크롤 하도록 설정하는 명령은 하나 이상의 단어와 문자열 및 구절의 위치와, 전체 리스트에서의 어느 부분의 위치, 및 나라별 언어의 위치까지 자동적으로 스크롤하도록 설정된 명령을 포함하여 설정된 것일 수 있다.
이후 609 단계에서는 사용자의 선택에 의해 리스트 메뉴의 종료 유무가 결정되며, 사용자가 계속해서 상술한 것과 같은 동작이 수행되기를 원할 경우 리스트 메뉴를 종료하지 않고, 602 단계에서부터의 동작을 다시 수행할 수 있으며, 사용자의 선택으로 리스트 메뉴가 종료될 경우, 디스플레이한 리스트 메뉴의 디스플레이된 화면을 종료한다.
도 10 내지 도 12는 각각 본 발명의 제 4, 제 5, 제 6 실시예에 따른 음성 인식을 이용한 리스트 메뉴에서의 입력된 동작을 어시스트하는 예시도이며, 도 10 내지 도 12를 참조하여 음성 인식을 이용한 리스트 메뉴에서 입력된 동작의 수행을 후술하는 바와 같이 상세히 설명하겠다.
먼저, 사용자의 선택으로 리스트 메뉴를 실행하며, 실행된 리스트 메뉴의 리스트를 디스플레이 한다. 도 10 내지 도 12의 (a)는 리스트 메뉴가 실행되어 리스트가 디스플레이 된 화면의 이미지이다.
리스트가 디스플레이 되면, 사용자의 플릭 입력을 통해 도 10 내지 도 12의 (a)의 이미지의 화살표 방향으로 스크롤 한다. 도 10 내지 도 12의 (b)는 디스플레이된 리스트가 스크롤 될 때의 어떤 특정 이미지를 표시한 화면의 이미지이다.
스크롤 동작 상태에서 미리 설정된 명령의 음성을 입력하여 입력된 미리 설정된 명령을 수행한다. 도 10의 (c)는 "Until J"라는 미리 설정된 명령의 음성이 입력되었을 때, 리스트에서 J가 시작되는 부분까지를 스크롤 한 이미지를 표시한 화면의 이미지이다. 또한 도 11의 (c)는 “Until half the list"라는 미리 설정된 명령의 음성이 입력되었을 때, 전체 리스트의 중간이 시작되는 부분까지를 스크롤 한 이미지를 표시한 화면의 이미지이다. 또한 도 12의 (c)는 ” Until Korean starts"라는 미리 설정된 명령의 음성이 입력되었을 때, 전체 리스트에서 한국어가 시작되는 부분까지를 스크롤 한 이미지를 표시한 화면의 이미지이다.
세 번째 실시예는 사용자 동작 모드 중 또다른 하나인 홈 화면의 편집에서의 본 발명의 음성 인식을 이용한 동작 수행 어시스트 방법이다.
도 13은 본 발명의 제 5 실시예에 따른 음성 인식을 이용한 홈 화면 편집을 어시스트하는 흐름도로서, 실행한 홈 화면에서 미리 설정된 동작 명령과 동시에 음성을 입력하며, 입력된 음성을 이용하여 미리 설정된 동작 명령의 실행을 어시스트하는 동작을 설명한 것이다.
도 13를 참조하면, 700에서 703 단계까지는 도 2의 첫 번째 절차의 미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 동작 모드의 미리 설정된 동작을 수행하는 절차로서, 리스트 메뉴를 실행하여 입력된 터치의 미리 설정된 동작의 수행을 설명한 것이다.
먼저 700 단계에서는 사용자 조작 입력을 통해 홈 화면을 실행하며, 701 단계는 실행된 홈 화면 페이지를 디스플레이 한다. 이때, 홈 화면은 미리 설정된 아이템들을 포함하는 미리 설정된 홈 화면의 페이지들로 미리 설정되어 있는 것으로서, 적어도 하나 또는 그 이상의 홈 화면의 페이지가 미리 설정되어 있을 수 있다. 또한 이때, 음성 인식 모듈(111)의 음성 인식 기능은 자동으로 활성화 될 수 있으며, 사용자의 선택에 의해 음성 인식 기능이 활성화 되도록 설정될 수 있다. 이후, 702 단계에서는 터치스크린(190) 상에 터치 입력이 있는지를 판단한다. 터치스크린(190)상에 터치 입력이 있을 경우, 703 단계에서는 터치 입력된 동작을 수행한다.
이때의 터치 입력은 드래그하는 터치 입력으로서, 사용자가 디스플레이된 홈 화면의 페이지에서 하나 또는 하나 이상의 특정 아이템들을 사용자의 신체 또는 터치 가능한 입력 수단으로 접촉하고, 접촉된 특정 아이템으로부터 사용자의 신체나 터치 가능한 입력 수단을 이동 방향을 가지면서 떨어뜨리는 플릭(flick) 동작의 입력이다. 이때, 아이템을 드래그 하는 방향에 따라 상, 하, 좌, 우 등으로 드래그되어 하나의 홈 화면의 페이지에서 다른 하나의 홈 화면의 페이지로 드래그 되어 이동될 수 있다.
이후 나머지 단계들은 도 2의 두 번째 절차의 첫 번째 절차의 동작 모드의 미리 설정된 동작 수행 중 입력된 음성을 인식하여, 인식한 음성에 따라 첫 번째 절차의 동작 수행을 어시스트하는 절차로서, 디스플레이된 홈 화면의 페이지에서 입력된 터치 동작을 어시스트하는 것을 설명한 것이다.
704 단계에서는 마이크(162)를 통해 음성이 입력되었는지를 판단한다. 이때의 마이크(162)를 통한 음성의 입력은 홈 화면이 디스플레이 된 상태에서 터치 입력이 되지 않을 때나, 터치가 입력 중일 때나, 터치 입력 중 미리 설정된 동작 명령이 동작 중일 때 모두 가능하다. 이하에서는 홈 화면이 디스플레이 된 상태에서 터치 입력이 되지 않을 때나, 터치가 입력 중일 때나, 터치 입력 중 미리 설정된 동작 명령이 동작 중일 때 모두를 터치 동작의 수행 중으로 기재하여 설명하였다. 홈 화면이 디스플레이 된 상태에서 터치 동작의 수행 중, 사용자로부터 음성이 입력되는 경우, 705 단계에서 활성화된 음성 인식 모듈(111)이 입력된 음성을 인식한다.
이후, 706 단계에서는 인식한 음성이 미리 설정된 동작 명령인지를 판단한다. 이때, 인식한 음성 중 미리 설정된 동작 명령과 유사성이 전혀 없는 의미 없는 음성은 적용하지 않는다. 706 단계인 인식한 음성이 미리 설정된 동작 명령인지를 판단하는 것을 상세히 설명하면, 먼저 홈 화면의 미리 설정된 아이템에 터치를 적용하여 미리 설정된 다른 홈 화면의 페이지까지 드래그 할 때, 아이템을 드래그한 홈 화면의 페이지가 드래그한 아이템이 위치할 수 있는 공간이 있는지 판단한다. 이때, 아이템을 드래그하는 것은 터치 입력을 통해 아이템을 이동시켜 터치가 종료될 때의 위치에 아이템이 위치할 공간이 있을 경우 아이템을 위치시키는 것을 의미하며, 아이템이 위치할 공간이 없는 경우 아이템을 원래의 자리로 되돌려 놓는 것을 의미한다. 홈 화면의 페이지에 드래그한 아이템이 위치할 수 있는 공간이 없는 경우, 아이템에 터치를 적용하여 드래그한 상태에서의 인식한 음성이 미리 설정된 동작 명령 인지를 판단하다. 인식한 음성이 미리 설정된 동작 명령일 경우, 707 단계에서는 터치 동작의 수행 중에 인식한 음성의 미리 설정된 동작 명령을 수행하며, 708 단계에서는 동작 명령의 실행 결과를 출력한다. 이때, 미리 설정된 동작 명령은 미리 설정된 홈 화면 페이지의 미리 설정된 아이템을 다른 페이지로 이동하도록 미리 설정된 동작 명령일 수 있다. 또한 미리 설정된 동작 명령은 홈 화면의 새로운 페이지를 생성하도록 설정된 명령일 수 있다. 인식한 음성의 미리 설정된 동작 명령의 수행 결과에 따라, 아이템이 위치할 수 있는 공간이 있는 경우, 사용자의 신체나 터치 가능한 입력 수단으로 접촉되었던 아이템으로부터 접촉되었던 사용자의 신체나 터치 가능한 입력 수단을 떨어뜨리는 동작을 통해 적용한 터치를 종료하여, 아이템이 터치를 종료한 홈 화면의 페이지에 위치할 수 있도록 한다.
이후, 709 단계에서는 사용자의 터치 입력을 유무에 따라, 사용자가 계속해서 상술한 것과 같은 동작이 수행되기를 원할 경우 702 단계에서부터의 동작을 다시 수행할 수 있으며, 사용자가 터치 입력을 하지 않을 경우, 상기와 같은 홈 화면의 편집을 종료한다.
도 14는 본 발명의 제 7 실시예에 따른 음성 인식을 이용한 홈 화면 편집을 어시스트하는 예시도이며, 도 14를 참조하여 음성 인식을 이용한 홈 화면의 편집 동작을 어시스트하는 동작을 후술하는 바와 같이 상세히 설명하겠다.
먼저, 사용자의 조작으로 홈 화면이 실행되면, 실행된 홈 화면이 디스플레이 된다. 도 14의 (a)는 홈 화면이 실행되어 디스플레이 된 화면의 이미지이며, 도 14의 (b)는 디스플레이 된 홈 화면에 터치가 입력되어 터치 상태가 유지 될 때, 홈 화면의 편집 모드 화면의 이미지이다. 이때, 도 14의 (a)와 도 14의 (b)의 홈 화면을 페이지 1이라고 가정한다.
홈 화면이 디스플레이 되면, 사용자의 터치 입력을 통해 홈 화면상의 아이템을 다른 홈 화면의 페이지로 드래그 한다. 도 14의 (c)는 사용자의 터치 입력을 통해 홈 화면상의 아이템을 다른 홈 화면의 페이지로 드래그한 상태의 이미지이다. 이때, 도 14의 (c)의 홈 화면을 페이지 3이라고 가정하며, 페이지 3의 화면은 더 이상 새로운 아이템이 위치할 공간이 없다고 가정한다. 도 14의 (c)와 같이 아이템을 드래그 한 홈 화면의 페이지에 새로운 아이템이 위치할 공간이 없으면 공간이 없다는 메시지를 화면상에 표시하거나 음성을 통해 알려줌으로써 사용자가 확인할 수 있도록 미리 설정될 수 있다. 이때, 드래그 동작 상태에서 사용자는 미리 설정된 동작 명령을 음성을 통해 입력하며, 단말기는 입력된 음성을 인식하여 미리 설정된 동작 명령을 수행할 수 있다. 예를 들어 “ Move all other items to the next page"라는 동작 명령을 통해, 페이지 3의 모든 아이템들을 홈 화면의 다른 페이지로 이동 시킬 수 있다. 도 14의 (d)는 미리 설정된 동작 명령이 수행되어 페이지 3의 모든 아이템들이 홈 화면의 다른 페이지로 이동하고 터치하여 드래그하고 있는 상태의 아이템만이 남아 있는 상태의 이미지이다. 도 14의 (e)는 터치하여 드래그하고 있는 상태에서 터치를 종료하여 터치를 종료한 지점에 아이콘이 위치되며, 홈 화면의 편집 모드가 종료된 상태의 이미지이다.
이 밖에도, 홈 화면에서의 미리 설정된 동작 명령은 아이템의 삭제 및 복사와 같은 기능들이 수행되도록 설정될 수 있으며, 또한 아이템의 이동시 사용자에 의해 선택되는 몇 개의 아이템만을 이동하도록 설정될 수 있다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 휴대 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
상기와 같이 본 발명의 일 실시예에 따른 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (18)

  1. 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법에 있어서,
    미리 설정된 동작 모드에서 키 입력 또는 터치 입력에 따라 상기 동작 모드의 미리 설정된 동작을 수행하는 절차와;
    상기 동작 모드의 상기 동작 수행 중 입력된 음성을 인식하여, 상기 인식한 음성에 따라 상기 동작 수행을 어시스트하는 절차를 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  2. 제 1항에 있어서, 상기 동작 모드는,
    텍스트 작성 모드이며,
    상기 미리 설정된 동작을 수행하는 절차는,
    상기 텍스트 작성 모드에서 상기 키 입력 또는 터치 입력에 따라 입력된 텍스트를 미리 설정된 텍스트 표시창에 디스플레이 하는 과정을 포함하며,
    상기 동작 수행을 어시스트하는 절차는,
    상기 키 입력 또는 터치 입력에 따라 입력된 텍스트를 미리 설정된 텍스트 표시창에 디스플레이하는 과정에서 상기 입력된 음성을 인식하는 과정과,
    상기 디스플레이한 텍스트와 상기 인식한 음성을 비교하여 상기 디스플레이한 텍스트와 상기 인식한 음성이 동일하지 않을 경우 상기 디스플레이한 텍스트에 오류가 있는 것으로 판단하고, 상기 디스플레이한 텍스트와 상기 인식한 음성이 동일 할 경우 상기 디스플레이한 텍스트에 오류가 없는 것으로 판단하는 과정과,
    상기 디스플레이한 텍스트에 오류가 있는 것으로 판단하였을 경우, 상기 인식한 음성을 텍스트로 변환하여 상기 디스플레이한 텍스트의 수정을 어시스트하는 과정을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  3. 제 2항에 있어서, 상기 디스플레이한 텍스트에 오류가 없는 것으로 판단하였을 경우,
    상기 인식한 음성이 미리 설정된 동작 명령인지를 판단하는 과정과,
    상기 인식한 음성이 상기 미리 설정된 동작 명령일 경우, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 명령을 수행하는 과정을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  4. 제 1항에 있어서, 상기 동작 모드는,
    텍스트 작성 모드이며,
    상기 미리 설정된 동작을 수행하는 절차는,
    상기 텍스트 작성 모드에서 상기 키 입력 또는 터치 입력에 따라 입력된 텍스트를 미리 설정된 텍스트 표시창에 디스플레이 하는 과정을 포함하며,
    상기 동작 수행을 어시스트하는 절차는,
    상기 키 입력 또는 터치 입력에 따라 입력된 텍스트를 미리 설정된 텍스트 표시창에 디스플레이하는 과정에서 상기 입력된 음성을 인식하는 과정과,
    상기 인식한 음성이 미리 설정된 동작 명령인지를 판단하는 과정과,
    상기 인식한 음성이 상기 미리 설정된 동작 명령일 경우, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 명령을 수행하는 과정과,
    상기 인식한 음성이 상기 미리 설정된 동작 명령이 아닐 경우, 상기 디스플레이한 텍스트와 상기 인식한 음성을 비교하여, 상기 디스플레이한 텍스트와 상기 인식한 음성이 동일하지 않을 경우 상기 디스플레이한 텍스트에 오류가 있는 것으로 판단하고, 상기 디스플레이한 텍스트와 상기 인식한 음성이 동일 할 경우 상기 디스플레이한 텍스트에 오류가 없는 것으로 판단하는 과정과,
    상기 디스플레이한 텍스트에 오류가 있는 것으로 판단하였을 경우, 상기 인식한 음성을 텍스트로 변환하여 상기 디스플레이한 텍스트의 수정을 어시스트하는 과정을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  5. 제 2항 또는 제 4항에 있어서, 상기 디스플레이한 텍스트의 수정을 어시스트하는 과정은,
    상기 인식한 음성을 텍스트로 변환하여 상기 음성 변환한 텍스트를 미리 설정된 보이스 어시스트 창에 디스플레이 하는 단계와,
    상기 텍스트 표시창의 내용을 상기 보이스 어시스트 창의 내용으로 변경하도록 미리 설정된 기능이 적용될 경우, 상기 텍스트 표시창의 상기 디스플레이한 텍스트를 상기 디스플레이한 음성 변환한 텍스트로 변경하는 것을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  6. 제 3항 또는 제 4항에 있어서, 상기 미리 설정된 동작 명령을 수행하는 과정은,
    상기 인식한 음성이 상기 미리 설정된 동작 명령일 경우 상기 미리 설정된 동작 명령을 수행하는 단계와,
    상기 미리 설정된 동작 명령의 수행이 완료되면 상기 수행 결과를 출력하는 단계를 포함하며,
    상기 미리 설정된 동작 명령을 수행하는 과정은 상기 키 입력 또는 터치 입력에 따라 입력된 텍스트를 미리 설정된 텍스트 표시창에 디스플레이 하는 과정을 방해하지 않는 것을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  7. 제 1항에 있어서, 상기 동작 모드는,
    미리 설정된 리스트 메뉴의 리스트가 디스플레이된 상태이며,
    상기 미리 설정된 동작을 수행하는 절차는,
    상기 디스플레이된 리스트에서 상기 터치 입력에 따라 상기 디스플레이된 리스트의 스크롤 동작을 수행하는 과정을 포함하며,
    상기 동작 수행을 어시스트하는 절차는,
    상기 디스플레이된 리스트의 스크롤 동작을 수행하는 과정에서 상기 입력된 음성을 인식하는 과정과,
    상기 인식한 음성이 미리 설정된 동작 명령일 경우, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 명령을 수행하는 과정을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  8. 제 7항에 있어서, 상기 터치 입력은,
    스크롤하는 터치 입력이며,
    상기 미리 설정된 동작 명령은,
    상기 디스플레이된 리스트에서 원하는 위치까지 자동적으로 스크롤 하도록 설정된 명령이며,
    상기 디스플레이된 리스트에서 원하는 위치까지 자동적으로 스크롤 하도록 설정된 명령은 하나 이상의 단어와 문자열 및 구절의 위치와, 전체 리스트에서의 어느 부분의 위치, 및 나라별 언어의 위치까지 자동적으로 스크롤 하도록 설정된 명령을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  9. 제 1항에 있어서, 상기 동작 모드는,
    미리 설정된 아이템들을 포함하는 미리 설정된 홈 화면의 페이지들 중 어느 하나의 홈 화면 페이지가 디스플레이된 상태이며,
    상기 미리 설정된 동작을 수행하는 절차는,
    상기 어느 하나의 홈 화면 페이지가 디스플레이된 상태에서 상기 터치 입력에 따라 상기 어느 하나의 홈 화면 페이지의 상기 하나 이상의 상기 아이템들을 선택한 후 상기 선택한 아이템들을 상기 다른 홈 화면의 페이지로 이동시키는 동작을 수행하는 과정을 포함하며,
    상기 동작 수행을 어시스트하는 절차는,
    상기 선택한 아이템들을 상기 다른 홈 화면의 페이지로 이동시키는 동작을 수행하는 과정에서 상기 입력된 음성을 인식하는 과정과,
    상기 인식한 음성이 미리 설정된 동작 명령일 경우, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 명령을 수행하는 과정을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  10. 제 9항에 있어서, 상기 터치 입력은
    드래그하는 터치 입력이며,
    상기 드래그는, 상기 터치가 종료될 때의 위치에 상기 이동시킨 아이템들이 위치할 공간이 있으면 상기 아이템들을 위치시키고, 그렇지 않으면 상기 아이템들을 원래의 위치에 되돌려 놓는 동작을 포함하며,
    상기 미리 설정된 동작 명령은,
    상기 미리 설정된 홈 화면 페이지의 하나 이상의 상기 미리 설정된 아이템들을 상기 다른 홈 화면의 페이지로 자동적으로 이동하도록 설정된 명령을 포함하며,
    상기 인식한 음성이 미리 설정된 동작 명령인지를 판단하는 과정은,
    상기 홈 화면 페이지의 상기 하나 이상의 상기 아이템들에 상기 터치를 적용하여 상기 다른 홈 화면의 페이지까지 드래그 할 때, 상기 다른 홈 화면의 페이지에 상기 드래그한 아이템들이 위치할 수 있는 공간이 있는지 판단하는 단계와,
    상기 드래그한 상기 아이템들이 위치할 수 있는 공간이 없는 경우, 상기 드래그한 상기 아이템들에 터치를 적용하여 드래그한 상태에서 상기 인식한 음성이 미리 설정된 동작 명령인지를 판단하는 단계를 포함하며,
    상기 인식한 음성의 상기 미리 설정된 동작 명령을 수행하는 과정은,
    상기 인식한 음성이 상기 미리 설정된 동작 명령일 경우, 상기 인식한 음성의 상기 미리 설정된 동작 명령을 수행하는 단계와,
    상기 드래그한 상기 아이템들이 위치할 수 있는 공간이 있는 경우, 상기 드래그한 상기 아이템들에 적용한 상기 터치를 종료하여 상기 드래그한 상기 아이템들이 상기 터치를 종료한 홈 화면의 페이지에 위치하는 단계를 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  11. 제 10항에 있어서, 상기 미리 설정된 동작 명령은,
    상기 홈 화면의 새로운 페이지를 생성하도록 설정된 명령을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법.
  12. 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치에 있어서,
    사용자의 조작을 입력받는 버튼 및 물리적 또는 가상의 키패드와 사용자로부터 음성을 입력받는 마이크를 포함하는 입/출력 모듈과;
    사용자의 조작을 입력 받으며, 응용 프로그램의 실행 영상과 동작 상태 및 메뉴 상태를 디스플레이 하는 터치스크린과;
    상기 기능부들을 총괄적으로 제어하며, 상기 입/출력 모듈로부터 입력된 음성을 인식하는 음성 인식 모듈을 구비하며, 상기 입/출력 모듈 또는 상기 터치스크린으로부터의 키 입력 또는 터치 입력에 따라 미리 설정된 동작을 수행하며, 상기 음성 인식 모듈로부터 상기 사용자의 음성을 입력 받아 인식한 음성을 적용하여 상기 미리 설정된 동작 수행을 어시스트 하는 제어부를 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치.
  13. 제 12항에 있어서, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 수행을 어시스트 하는 것은,
    상기 입/출력 모듈로부터 입력받은 텍스트를 상기 터치스크린에 디스플레이하며, 상기 입/출력 모듈로부터 입력받은 음성을 상기 음성 인식모듈을 적용하여 인식하여, 상기 디스플레이한 텍스트와 상기 인식한 음성을 비교하며, 상기 디스플레이한 텍스트와 상기 인식한 음성이 동일하지 않을 경우 상기 디스플레이한 텍스트가 오류가 있는 것으로 판단하며, 상기 디스플레이한 텍스트가 오류가 있으면, 상기 인식한 음성을 텍스트로 변환하여 상기 디스플레이한 텍스트의 오류의 수정을 어시스트하는 것을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치.
  14. 제 12항에 있어서, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 수행을 어시스트 하는 것은,
    상기 입/출력 모듈로부터 입력받은 텍스트를 상기 터치스크린에 디스플레이하며, 상기 입/출력 모듈로부터 입력받은 음성을 상기 음성 인식 모듈을 적용하여 인식하여, 상기 인식한 음성이 미리 설정된 동작 명령인지 판단하며, 상기 인식한 음성이 상기 미리 설정된 동작 명령일 경우 상기 미리 설정된 동작 명령을 수행하며, 상기 인식한 음성이 상기 미리 설정된 동작 명령이 아닐 경우 상기 디스플레이한 텍스트와 상기 인식한 음성을 비교하며, 상기 디스플레이한 텍스트와 상기 인식한 음성이 동일하지 않을 경우 상기 디스플레이한 텍스트가 오류가 있는 것으로 판단하며, 상기 디스플레이한 텍스트가 오류가 있으면, 상기 인식한 음성을 텍스트로 변환하여 상기 디스플레이한 텍스트의 오류의 수정을 어시스트하는 것을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치.
  15. 제 13항 또는 제 14항에 있어서, 상기 텍스트의 오류를 수정하는 것은,
    상기 인식한 음성을 텍스트로 변환하여 상기 음성 변환한 텍스트를 상기 터치스크린의 미리 설정된 보이스 어시스트 창에 디스플레이하여, 상기 텍스트 표시창의 내용을 상기 보이스 어시스트 창의 내용으로 변경할 수 있도록 선택하는 기능을 포함하며,
    사용자에 의해 상기 텍스트 표시창의 내용을 상기 보이스 어시스트 창의 내용으로 변경하도록 선택될 경우, 상기 텍스트 표시창의 상기 디스플레이한 텍스트를 상기 디스플레이한 음성 변환한 텍스트로 변경하는 것을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치.
  16. 제 13항에 있어서, 상기 디스플레이한 텍스트와 상기 인식한 음성을 비교하여, 상기 디스플레이한 텍스트와 상기 인식한 음성이 동일할 경우, 상기 디스플레이한 텍스트가 오류가 없는 것으로 판단하며, 상기 디스플레이한 텍스트가 오류가 없으면, 상기 인식한 음성을 적용하여 미리 설정된 동작 명령을 수행하는 것을 추가적으로 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치.
  17. 제 12항에 있어서, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 수행을 어시스트 하는 것은,
    미리 설정된 리스트 화면에서, 상기 터치스크린으로부터의 스크롤하는 터치 입력에 따라 상기 스크롤 동작의 실행 중에 음성이 입력 될 경우, 상기 음성 인식 모듈을 적용하여 음성을 인식하며, 상기 인식한 음성이 미리 설정된 동작 명령일 경우, 상기 스크롤 동작의 실행 중에 상기 인식한 음성의 상기 미리 설정된 동작 명령을 수행하는 것을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치.
  18. 제 12항에 있어서, 상기 인식한 음성을 적용하여 상기 미리 설정된 동작 수행을 어시스트 하는 것은,
    미리 설정된 홈 화면의 페이지들 중 어느 하나의 홈 화면 페이지에서, 상기 터치스크린으로부터의 상기 어느 하나의 홈 화면 페이지의 미리 설정된 하나 이상의 아이템들에 터치가 적용되어 미리 설정된 다른 홈 화면의 페이지까지 드래그하면, 상기 아이템들을 드래그한 상기 홈 화면의 페이지에 상기 아이템들이 위치할 수 있는 공간이 있는지 판단하여, 상기 아이템이 위치할 수 있는 공간이 없는 경우, 상기 아이템들에 터치를 적용하여 드래그한 상태에서 상기 입력된 음성을 상기 음성 인식 모듈을 적용하여 음성을 인식하며, 상기 인식한 음성이 미리 설정된 동작 명령일 경우, 상기 인식한 음성의 상기 미리 설정된 동작 명령을 수행하며, 상기 아이템이 위치할 수 있는 공간이 있는 경우, 상기 아이템에 적용한 상기 터치가 종료될 때 상기 아이템이 상기 터치를 종료한 홈 화면의 페이지에 위치시키는 동작을 수행하며, 상기 아이템이 위치할 수 있는 공간이 없는 경우, 상기 아이템에 적용한 상기 터치가 종료될 때 상기 아이템이 원래의 위치에 되돌아가서 위치하는 동작을 포함함을 특징으로 하는 음성 인식을 이용한 미리 설정된 동작 모드의 수행 장치.
KR1020120111402A 2012-10-08 2012-10-08 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치 KR102009423B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020120111402A KR102009423B1 (ko) 2012-10-08 2012-10-08 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치
US13/954,432 US20140100850A1 (en) 2012-10-08 2013-07-30 Method and apparatus for performing preset operation mode using voice recognition
AU2013237690A AU2013237690B2 (en) 2012-10-08 2013-10-03 Method and apparatus for performing preset operation mode using voice recognition
RU2013144921/08A RU2013144921A (ru) 2012-10-08 2013-10-07 Способ и устройство для выполнения режима предварительно установленной операции с использованием распознования речи
BR102013025963-2A BR102013025963A2 (pt) 2012-10-08 2013-10-08 Método e aparelho para a execução de um modo de operação de pré-regulagem usando reconhecimento de voz
EP13187798.7A EP2717259B1 (en) 2012-10-08 2013-10-08 Method and apparatus for performing preset operation mode using voice recognition
CN201310463866.1A CN103716454A (zh) 2012-10-08 2013-10-08 利用语音识别执行预设操作模式的方法和设备
JP2013210818A JP6347587B2 (ja) 2012-10-08 2013-10-08 音声認識を用いて予め設定された動作モードを遂行する方法及びその装置
US16/247,987 US10825456B2 (en) 2012-10-08 2019-01-15 Method and apparatus for performing preset operation mode using voice recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120111402A KR102009423B1 (ko) 2012-10-08 2012-10-08 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140045181A true KR20140045181A (ko) 2014-04-16
KR102009423B1 KR102009423B1 (ko) 2019-08-09

Family

ID=49303887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120111402A KR102009423B1 (ko) 2012-10-08 2012-10-08 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치

Country Status (8)

Country Link
US (2) US20140100850A1 (ko)
EP (1) EP2717259B1 (ko)
JP (1) JP6347587B2 (ko)
KR (1) KR102009423B1 (ko)
CN (1) CN103716454A (ko)
AU (1) AU2013237690B2 (ko)
BR (1) BR102013025963A2 (ko)
RU (1) RU2013144921A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101632534B1 (ko) * 2015-04-06 2016-06-21 주식회사 카카오 오타 처리 방법 및 그 방법을 수행하는 사용자 단말
WO2020022571A1 (ko) * 2018-07-27 2020-01-30 (주)휴맥스 스마트 디바이스 및 그 제어 방법
US10572104B2 (en) 2014-11-24 2020-02-25 Samsung Electronics Co., Ltd Electronic device for executing a plurality of applications and method for controlling the electronic device

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN103198831A (zh) * 2013-04-10 2013-07-10 威盛电子股份有限公司 语音操控方法与移动终端装置
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
CN104252285B (zh) * 2014-06-03 2018-04-27 联想(北京)有限公司 一种信息处理方法及电子设备
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN105573534A (zh) * 2014-10-09 2016-05-11 中兴通讯股份有限公司 操作对象的处理方法及装置
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10146355B2 (en) * 2015-03-26 2018-12-04 Lenovo (Singapore) Pte. Ltd. Human interface device input fusion
US10726197B2 (en) * 2015-03-26 2020-07-28 Lenovo (Singapore) Pte. Ltd. Text correction using a second input
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3281122A4 (en) * 2015-07-24 2018-04-25 Samsung Electronics Co., Ltd. Method for automatically generating dynamic index for content displayed on electronic device
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
WO2018101459A1 (ja) 2016-12-02 2018-06-07 ヤマハ株式会社 コンテンツ再生機器、収音機器、及びコンテンツ再生システム
CN106940595B (zh) * 2017-03-16 2019-10-11 北京云知声信息技术有限公司 一种信息编辑方法及装置
JP6862952B2 (ja) * 2017-03-16 2021-04-21 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN108509175B (zh) * 2018-03-30 2021-10-22 联想(北京)有限公司 一种语音交互方法及电子设备
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
JP7047592B2 (ja) * 2018-05-22 2022-04-05 コニカミノルタ株式会社 操作画面の表示装置、画像処理装置及びプログラム
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
CN109361814A (zh) * 2018-09-25 2019-02-19 联想(北京)有限公司 一种控制方法及电子设备
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
KR20200099380A (ko) * 2019-02-14 2020-08-24 삼성전자주식회사 음성 인식 서비스를 제공하는 방법 및 그 전자 장치
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11838459B2 (en) 2019-06-07 2023-12-05 Canon Kabushiki Kaisha Information processing system, information processing apparatus, and information processing method
US20210090558A1 (en) * 2019-09-24 2021-03-25 Audio Analytic Ltd Controlling a user interface
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2003195939A (ja) * 2001-12-26 2003-07-11 Toshiba Corp プラント監視制御システム
KR20040063170A (ko) * 2001-12-13 2004-07-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽 지원 음성 제어 시스템을 구비한 사용자 인터페이스
KR20060037228A (ko) * 2002-09-06 2006-05-03 보이스 시그널 테크놀로지스, 인코포레이티드. 음성인식을 위한 방법, 시스템 및 프로그램
KR20080063471A (ko) * 2005-10-28 2008-07-04 마이크로소프트 코포레이션 이동 장치에 대한 조합된 음성 및 교체 입력 양식을 위한정보 입력 방법, 이동 장치 및 사용자 인터페이스
US20090214117A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Handwriting symbol recognition accuracy using speech input
KR20100006089A (ko) * 2008-07-08 2010-01-18 엘지전자 주식회사 이동 단말기 및 그 텍스트 입력 방법
KR20120026395A (ko) * 2010-09-09 2012-03-19 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1867068A (zh) * 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
DE60020504T2 (de) * 1999-07-08 2006-05-04 Koninklijke Philips Electronics N.V. Anpassung eines spracherkenners an korrigierte texte
US7467089B2 (en) * 2001-09-05 2008-12-16 Roth Daniel L Combined speech and handwriting recognition
US20030061053A1 (en) 2001-09-27 2003-03-27 Payne Michael J. Method and apparatus for processing inputs into a computing device
US6895257B2 (en) * 2002-02-18 2005-05-17 Matsushita Electric Industrial Co., Ltd. Personalized agent for portable devices and cellular phone
US7380203B2 (en) * 2002-05-14 2008-05-27 Microsoft Corporation Natural input recognition tool
GB2433002A (en) * 2003-09-25 2007-06-06 Canon Europa Nv Processing of Text Data involving an Ambiguous Keyboard and Method thereof.
US7574356B2 (en) * 2004-07-19 2009-08-11 At&T Intellectual Property Ii, L.P. System and method for spelling recognition using speech and non-speech input
US8942985B2 (en) * 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
WO2007114833A1 (en) * 2005-06-16 2007-10-11 Firooz Ghassabian Data entry system
WO2008064137A2 (en) * 2006-11-17 2008-05-29 Rao Ashwin P Predictive speech-to-text input
US8219406B2 (en) * 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
KR20090020265A (ko) 2007-08-23 2009-02-26 삼성전자주식회사 휴대 단말기 및 그 메시지 작성 방법
US7877700B2 (en) 2007-11-20 2011-01-25 International Business Machines Corporation Adding accessibility to drag-and-drop web content
US8958848B2 (en) * 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US20090326938A1 (en) * 2008-05-28 2009-12-31 Nokia Corporation Multiword text correction
KR100988397B1 (ko) 2008-06-09 2010-10-19 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
WO2010006087A1 (en) * 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
KR101513635B1 (ko) 2008-12-05 2015-04-22 엘지전자 주식회사 단말기 및 그 제어 방법
KR101613838B1 (ko) * 2009-05-19 2016-05-02 삼성전자주식회사 휴대 단말기의 홈 스크린 지원 방법 및 이를 지원하는 휴대 단말기
US8661369B2 (en) * 2010-06-17 2014-02-25 Lg Electronics Inc. Mobile terminal and method of controlling the same
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US8836638B2 (en) * 2010-09-25 2014-09-16 Hewlett-Packard Development Company, L.P. Silent speech based command to a computing device
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP6024675B2 (ja) * 2014-01-17 2016-11-16 株式会社デンソー 音声認識端末装置、音声認識システム、音声認識方法
US9606716B2 (en) 2014-10-24 2017-03-28 Google Inc. Drag-and-drop on a mobile device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
KR20040063170A (ko) * 2001-12-13 2004-07-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽 지원 음성 제어 시스템을 구비한 사용자 인터페이스
JP2003195939A (ja) * 2001-12-26 2003-07-11 Toshiba Corp プラント監視制御システム
KR20060037228A (ko) * 2002-09-06 2006-05-03 보이스 시그널 테크놀로지스, 인코포레이티드. 음성인식을 위한 방법, 시스템 및 프로그램
KR20080063471A (ko) * 2005-10-28 2008-07-04 마이크로소프트 코포레이션 이동 장치에 대한 조합된 음성 및 교체 입력 양식을 위한정보 입력 방법, 이동 장치 및 사용자 인터페이스
US20090214117A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Handwriting symbol recognition accuracy using speech input
KR20100006089A (ko) * 2008-07-08 2010-01-18 엘지전자 주식회사 이동 단말기 및 그 텍스트 입력 방법
KR20120026395A (ko) * 2010-09-09 2012-03-19 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572104B2 (en) 2014-11-24 2020-02-25 Samsung Electronics Co., Ltd Electronic device for executing a plurality of applications and method for controlling the electronic device
KR101632534B1 (ko) * 2015-04-06 2016-06-21 주식회사 카카오 오타 처리 방법 및 그 방법을 수행하는 사용자 단말
WO2020022571A1 (ko) * 2018-07-27 2020-01-30 (주)휴맥스 스마트 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
AU2013237690B2 (en) 2018-07-05
US20140100850A1 (en) 2014-04-10
EP2717259A2 (en) 2014-04-09
KR102009423B1 (ko) 2019-08-09
EP2717259A3 (en) 2014-04-30
EP2717259B1 (en) 2016-09-14
RU2013144921A (ru) 2015-04-20
BR102013025963A2 (pt) 2018-06-26
US20190147879A1 (en) 2019-05-16
JP6347587B2 (ja) 2018-06-27
CN103716454A (zh) 2014-04-09
US10825456B2 (en) 2020-11-03
AU2013237690A1 (en) 2014-04-24
JP2014078007A (ja) 2014-05-01

Similar Documents

Publication Publication Date Title
KR102009423B1 (ko) 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치
US11669240B2 (en) Mobile apparatus displaying end effect and control method thereof
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
KR102016975B1 (ko) 디스플레이 장치 및 그 제어 방법
KR102141155B1 (ko) 모바일 장치의 상태에 대응하는 변경된 숏컷 아이콘을 제공하는 모바일 장치 및 그 제어 방법
KR101990567B1 (ko) 외부 입력 장치와 결합된 모바일 장치 및 그 제어 방법
US20140365950A1 (en) Portable terminal and user interface method in portable terminal
KR20140143555A (ko) 휴대 장치의 잠금 화면 상에서 빠른 어플리케이션 실행 방법 및 이를 위한 휴대 장치
KR20140090330A (ko) 이미지 인식을 이용한 이미지 레이아웃 방법 및 장치
US20140281962A1 (en) Mobile device of executing action in display unchecking mode and method of controlling the same
KR20140119546A (ko) 사용자 인터페이스 표시 방법 및 장치
KR102186815B1 (ko) 컨텐츠 스크랩 방법, 장치 및 기록매체
KR20140027838A (ko) 멀티 터치를 이용한 핸드 라이팅 기능을 가지는 모바일 장치 및 제어 방법
KR102283360B1 (ko) 텍스트 편집 위치를 가이드 하는 방법, 장치 및 기록매체
KR20140131051A (ko) 압력 센서를 포함하는 전자 장치 및 그 제어 방법
KR20150026110A (ko) 아이콘들을 관리하는 방법 및 이를 위한 모바일 단말기
KR102231888B1 (ko) 컨텐츠의 스크롤 시 대표 정보를 표시하는 전자 장치 및 그 제어 방법
KR102186819B1 (ko) 노트 기능을 지원하는 모바일 단말기 및 그의 제어 방법
KR102278676B1 (ko) 사용자 인터페이스 표시 방법 및 장치
KR102187856B1 (ko) 사용자 인터페이스 표시 방법 및 장치
KR102239019B1 (ko) 사용자 인터페이스 표시 방법 및 장치
KR102184797B1 (ko) 리스트 스크롤 바 제어 방법 및 모바일 장치
KR20150026646A (ko) 사용자로부터 입력되는 텍스트를 수정하는 방법 및 이를 위한 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant