KR20140105340A

KR20140105340A - 휴대 단말기의 멀티 태스킹 운용 방법 및 장치

Info

Publication number: KR20140105340A
Application number: KR1020130019499A
Authority: KR
Inventors: 김희운; 김소라; 안유미; 안지현; 전하영
Original assignee: 삼성전자주식회사
Priority date: 2013-02-22
Filing date: 2013-02-22
Publication date: 2014-09-01

Abstract

본 발명에 따른 휴대 단말기의 멀티 태스킹 운용 방법은, 표시부 화면에 적어도 하나의 제1 앱 실행 정보를 표시하는 단계 상기 제1 앱 이외에 다른 제2 앱의 기능 실행을 요청하는 음성 신호를 인식하여 사용자의 음성 입력을 검출하는 단계 상기 음성 입력에 대응하여 제2 앱을 활성화하는 단계
상기 제2 앱과 제1 앱 간의 표시 우선 순위를 판단하는 단계 및
상기 판단된 우선순위 결과에 따라 제1 앱과 제2 앱을 미리 정의된 규칙 형태를 기반으로 제1 앱 실행 정보 및 제2 앱 실행 정보 중 적어도 하나를 표시하는 단계
를 포함한다.

Description

휴대 단말기의 멀티 태스킹 운용 방법 및 장치{Method and Apparatus for operating multi tasking in a terminal}

본 발명은 휴대 단말기의 멀티 태스크 운용 방법 및 장치에 관한 것으로, 특히, 음성 인식 서비스를 기반으로 한 멀티 태스크 운용 방법 및 이를 위한 사용자 인터페이스를 제공하는 휴대 단말기의 멀티 태스크 운용 방법 및 장치에 관한 것이다.

최근 통신 기술의 발달로, 휴대 단말기 예컨대, 스마트폰, 태블릿 PC 등이 널리 보급되고 있다. 휴대 단말기는 이용의 편의성과 휴대의 용이성으로 인해 매우 폭넓은 분야에서 이용되고 있다. 특히, 터치스크린을 구비하는 휴대 단말기는 지속적으로 개발되고 있다. 휴대 단말기에서 제공되는 기능들이 다양해짐에 따라, 휴대 단말기는 터치 조작에 대한 사용자 인터렉션(interaction)도 복잡해지는 추세이다.

휴대 단말기는 통신 서비스 이외에 다양한 기능 예컨대, 촬영, 사진 편집, 문서 작성 등의 다양하고 새로운 기능들을 제공하고 있다. 이러한 종래 휴대 단말기는 다양한 기능을 동시에 수행할 수 있도록 지원하는 멀티태스킹 기능을 지원한다. 그러나 휴대 단말기는 기본적으로 휴대의 용이성을 위하여 표시부의 크기가 제한적이기 때문에 동시에 여러 개의 기능이 수행되고 있다 하더라도 실질적으로 표시부는 특정 기능 하나에 해당하는 화면만을 출력하게 된다. 즉, 멀티태스킹 방식의 경우, 포그라운드 어플리케이션(foreground application)만이 화면을 차지하여 백그라운드(background)의 어플리케이션에 대한 실행화면을 전혀 나타낼 수 없는 화면 구성을 가지고 있어, 사용자는 화면 사용의 제약을 가지게 된다.

이에 따라 사용자는 현재 실행되고 있지만 표시부의 최상단에 표시되지 않는 다른 기능 화면을 확인하기 위해서는 다른 기능을 선택하기 위한 입력 신호를 생성하기 위한 동작을 수행해야 한다. 단말기에서 복 수 개의 기능이 실행된 경우, 사용자는 반복적인 동작을 수행하여 사용자가 원하는 기능으로 전환해야 하는 불편함이 존재한다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로, 멀티태스킹 운용을 보다 직관적이며 용이하게 운용할 수 있도록 지원하는 멀티태스킹 운용 방법 및 이를 지원하는 단말기를 제공함에 있다.

또한, 본 발명은 다 수개의 기능들을 연동하여 하나의 어플리케이션을 통해 다수 개의 기능들을 제어하는 사용자 인터렉션 및 사용자 인터페이스를 제공하는 멀티태스킹 운용 방법 및 이를 지원하는 단말기를 제공함에 있다.

본 발명에 따른 휴대 단말기의 멀티 태스킹 운용 방법은, 표시부 화면에 적어도 하나의 제1 앱 실행 정보를 표시하는 단계 상기 제1 앱 이외에 다른 제2 앱의 기능 실행을 요청하는 음성 신호를 인식하여 사용자의 음성 입력을 검출하는 단계 상기 음성 입력에 대응하여 제2 앱을 활성화하는 단계

상기 제2 앱과 제1 앱 간의 표시 우선 순위를 판단하는 단계 및

상기 판단된 우선순위 결과에 따라 제1 앱과 제2 앱을 미리 정의된 규칙 형태를 기반으로 제1 앱 실행 정보 및 제2 앱 실행 정보 중 적어도 하나를 표시하는 단계를 포함한다.

본 발명에 따른 휴대 단말기는, 복수 개의 앱 실행 화면 중 앱의 표시 우선 순위에 따라 앱 실행 정보를 화면에 표시하는 표시부 상기 앱의 기능 실행을 위한 음성 입력을 수신하고, 기능 실행에 응답하여 음성 정보를 출력하는 오디오 처리부상기 표시부 화면에 적어도 하나의 제1 앱 실행 정보를 표시하고, 상기 오디오 처리부를 통해 수신된 음성을 인식하여 사용자의 음성 입력을 검출하고, 상기 사용자의 음성 입력이 상기 제1 앱 이외의 다른 제2 앱의 기능 실행을 요청하는 경우, 상기 제2 앱을 활성화하고, 상기 제2 앱 실행 정보와 제1 실행 정보와 표시 우선 순위를 판단하고, 상기 판단된 우선순위 결과에 따라 제1 앱과 제2 앱을 미리 정의된 규칙 형태를 기반으로 제1 앱 실행 정보 및 제2 앱 실행 정보 중 적어도 하나를 표시하도록 제어하는 제어부포함한다.

이상에서 살펴본 바와 같이 본 발명의 멀티태스킹 운용 방법 및 이를 지원하는 단말기에 따르면, 본 발명은 멀티태스킹 운용을 수행하는 과정에서 음성 입력을 통해 보다 직관적인 기능 전환이나 기능들을 실행할 수 있다. 또한, 본 발명은 멀티 태스킹 운용에 있어서 사용자의 기능 실행 요청에 따른 앱 실행 정보를 앱의 특성에 따라 최적화된 화면 구성을 제공하여 기능의 전환 또는 기능 실행을 보다 손쉽고 빠르게 수행할 수 있다.

도 1은 본 발명의 실시예에 따른 휴대 단말기를 설명하기 위해 나타내 보인 블록도이다.
도 2는 본 발명의 실시예에 따른 휴대 단말기의 멀티 태스크 처리 방법을 설명하기 위해 나타내 보인 흐름도이다.
도 3은 본 발명의 제1 실시예에 따른 휴대 단말기의 음성 서비스를 기반으로 한 멀티 태스킹 운용 방법을 설명하기 위해 나타내 보인 화면 예시도이다.
도 4는 본 발명의 제2 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.
도 5는 본 발명의 제3 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.
도 6는 본 발명의 제4 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.
도 7 본 발명의 제5 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 메시지 관리 방법 및 장치에 대해서 상세하게 설명한다. 본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서와 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에 있어서 일부 구성요소는과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

본 발명에 따른 휴대 단말기의 태스크 처리 방법 및 장치는 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 휴대폰, 스마트폰, 태블릿 PC, 핸드헬드(hand-held) PC, PMP(Portable Multimedia Player), PDA(Personal Digital Assistant) 등이 될 수 있음은 자명하다. 이하 설명에서는 본 발명에 따른 휴대 단말기의 메뉴 운용 방법 및 장치가 휴대 단말기에 적용되는 것으로 가정하여 설명한다.

도 1은 본 발명의 실시예에 따른 휴대 단말기를 설명하기 위해 나타내 보인 블록도이다.

도 1을 참조하면, 본 발명에 따른 단말기(100)는 표시부(110), 입력부(120), 무선 통신부(130), 오디오 처리부(140), 저장부(150) 및 제어부(160)를 포함하여 이루어질 수 있다.

이러한 구성의 단말기(100)는 음성 인식 기능을 기반으로 멀티 태스킹 운용을 위한 사용자 인터페이스(GUI;Graphic User Interface)를 제공하며, 음성으로 실행 중인 기능들 간의 전환을 보다 편리하고 직관적으로 구현할 수 있도록 지원한다. 또한, 단말기(100)는 마이크를 통해 입력된 사람의 음성을 분석하여 특징을 추출하여 미리 입력된 단어 또는 문장과 비교하여 근접한 결과를 출력하는 음성 인식 기능을 지원한다.

표시부(110)는 단말기(100) 운용 과정에 필요한 다양한 기능 화면을 표시한다. 표시부(110)는 제어부(160)의 제어 하에, 제어부(160)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 즉, 표시부(110)는 휴대 단말기의 이용에 따른 다양한 화면 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(이하, '앱'(APP)이라 한다) 실행 화면, 메뉴 화면, 키패드 화면, 메시지 작성 화면, 인터넷 화면 등을 제공할 수 있다. 표시부(110)는 액정 표시 장치(Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 등의 평판 표시부의 형태로 형성될 수 있다.

본 발명의 표시부(110)는 사용자 요청에 따라 실행된 기능 또는 앱에 해당되는 화면들을 앱들의 표시 우선 순위에 따라 앱 실행 정보를 변경하여 표시한다. 또한 표시부(110)는 단말기(100) 운용 중 실행 중인 표시 정보를 기반으로 화면 구성을 변경하여 표시할 수 있다. 표시부(110)는 앱의 특성, 종류 또는 기능에 따라 앱의 표시 정보가 변경되면, 그에 대응하여 앱 화면의 표시 형태를 가변적으로 변경하여 표시할 수 있다.

표시부(110)는 단말기(100) 운용에 따라 다양한 화면을 제공하는 표시 패널과 표시 패널의 전면 또는 후면에 배치되어 터치 이벤트 생성을 지원하는 터치 패널을 포함할 수 있다. 터치 패널은 표시부에 안착(place on)된다. 구체적으로, 터치 패널은 표시부(110) 전면에 위치하는 애드 온 타입(add-on type)이나 표시부(110) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다. 터치 패널은 저항막 방식(resistive type), 정전용량 방식(capacitive type) 및 전자유도 방식(electromagnetic induction type) 등이 적용될 수 있다. 표시부(110)는휴대 단말기(110)의 회전 방향(또는 놓인 방향)에 따른 앱 실행 정보, 가로 모드와 세로 모드 간의 변화에 따른 적응적 화면 전환 표시를 지원할 수 있다.

입력부(120)는 단말기 운용에 필요한 다양한 입력 신호를 생성한다. 입력부(120)는숫자 또는 문자 정보를 입력받고, 각종 기능들을 설정하기 위한 다수의 입력 키 및 기능키들 예컨대, 사이드 키, 단축키, 홈 키 등을 포함할 수 있다. 또한, 입력부(120)는 사용자 설정 및 휴대 단말기의 기능 제어와 관련된 키 신호를 생성하여 제어부(160)로 전달한다. 제어부(160)는 이러한 키 신호에 응답하여 해당 입력 신호에 따른 기능들을 제어한다. 입력부(120)는 단말기(100)의 터치 패널이 풀 터치스크린형태로 지원된 경우, 가상 터치 패드로 제공될 수 있다. 이와 같이, 표시부(110)가 입력 기능을 지원하는 경우, 표시부(110)는 입력부(120)로서 동작할 수 있다. 이 경우, 단말기 운용을 위한 입력 신호는 터치 기능의 표시부(110)를 통해 생성될 수 있다. 본 발명에서 입력부(120)는 단말기 운용 시 음성 인식에 의한 음성 입력 기능을 지원하는 경우, 오디오 처리부(140)의 마이크도 입력부로서 동작할 수 있다.

무선 통신부(130)는 휴대 단말기(100)의 통신을 수행한다. 무선 통신부(130)는 지원 가능한 이동 통신 네트워크와 통신 채널을 형성하여 음성 통신, 화상 통신 및 데이터 통신 등과 같은 통신을 수행한다. 무선통신부(130)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한, 무선 통신부(130)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5 세대(3.5-Generation) 이동통신모듈 또는 4세대(4-Generation) 이동통신모듈 등), 및 디지털 방송 모듈(예컨대, DMB 모듈)을 포함할 수 있다.

오디오 처리부(140)는 단말기(100)에서 생성된 또는 복호된 오디오 신호 출력을 지원하는 스피커(SPK)와 음성 통화나 영상 통화, 녹음 기능 등을 지원하기 위해 오디오 신호를 수집하는 마이크(MIC)를 포함할 수 있다. 오디오 처리부(140)는 제어부(160)로부터 입력받은 음성 등의 오디오 데이터를 DA(Digital to Analog) 변환하여 스피커(SPK)로 전송하고, 마이크(MIC)로부터 입력받은 음성 등의 오디오 데이터를 AD(Analog to Digital) 변환하여 제어부(160)로 전달한다. 오디오 처리부(150)는 코덱(codec; coder/decoder)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 오디오 처리부(140)는수신되는 디지털 오디오신호를 오디오 코덱을 통해 아날로그 신호로 변환하여 스피커를 통해 재생한다. 오디오 처리부(150)는 마이크로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오신호로 변환하여 제어부(170)로 전달한다.

본 발명에서 오디오 처리부(140)는 음성 인식 기능이 활성화되어 오디오 신호 수집 기능을 요구하는 경우, 마이크를 활성화하여 사용자의 음성 신호 수집 및 처리할 수 있다. 또한 오디오 처리부(140)는 특정 기능 실행에 따라 사용자의 음성에 응답하는 정보를 스피커를 통해 출력 할 수 있다. 오디오 처리부(140)는 통화 모드 또는 녹음 모드, 음성 인식 모드 등에서 마이크에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 오디오 처리부(140)는는 음성을 입력받는 과정에서 발생한 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 구현할 수 있다.

저장부(150)는 휴대 단말기(100)의 운영체제(OS;Operating System) 및 다양한 어플리케이션(이하, 앱)을 비롯하여, 휴대 단말에서 생성되는 다양한 데이터 등을 저장한다. 데이터는 휴대 단말기의 어플리케이션 (이하, 앱) 실행에 발생하는 데이터 및 휴대단말을 이용하여 생성하거나 외부(예컨대, 외부 서버, 다른 휴대 단말, 개인용 컴퓨터)로부터 수신하여 저장 가능한 모든 형태의 데이터들을 포함할 수 있다. 특히, 저장부(150)는 휴대 단말기에서 제공되는 사용자 인터페이스 및 휴대 단말기 기능 처리에 대한 다양한 설정 정보를 저장할 수 있다. 또한, 저장부(150) 음성 인식 기능을 기반으로 한 멀티 태스킹 운용을 지원하기 위해 단말기(100)에서 제공하는 기능 또는 앱들의 실행 정보를 저장할 수 있다. 저장부(150)는 음성 인식 기능을 처리하기 위해 기 정의된 규칙, 단말기에서 제공하는 앱들에 대해 화면 표시우선순위가 정의된 데이터를 저장할 수 있다.

제어부(160)는 단말기(100)의 전반적인 동작 및 단말기(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(160)는 배터리에서 내부 구성들로의 전원 공급을 제어한다. 제어부(160)는 전원이 공급되면, 휴대 단말기의 부팅 과정을 제어하고, 사용자의 설정에 따라 단말기의 기능 실행을 위해 프로그램 영역에 저장된 각종 응용 프로그램을 실행한다.

본 발명에서 제어부(160)는 입력부 및 입력 기능의 표시부, 오디오 처리부로부터 단말기 기능 또는 앱의 실행을 요청하는 사용자의 입력을 검출하도록 지원한다. 제어부(160)는 음성 인식 기능이 활성화된 경우, 사용자의 음성을 인식하여 사용자의 음성 입력에 따른 기능을 실행하고, 기능 실행 화면 또는 앱 실행 화면을 표시부(110) 최상단에 출력하도록 지원한다. 제어부(160)는 사용자의 음성 입력에 따라 실행되는 기능들을 표시 우선순위를 비교하고, 비교 결과에 따라 출력되는 기능 또는 앱 실행 정보를 변경하여 출력하도록 지원한다. 제어부(160)는 복수 개의 앱 실행 정보를 표시 우선 순위에 따라 표시부(110) 화면을 분할하여 출력할 수 있다. 이 경우, 앱 실행 정보를 출력은 영역은 앱의 표시 우선순위에 따라 형태 예를 들어, 폭이 다르게 구현될 수 있다. 제어부(160)는 사용자의 음성 입력에 응답하여 복 수개의 앱들의 기능 전환을 수행하거나, 앱의 기능을 실행하도록지원한다.

또한, 제어부(160)는 표시부(110) 최상단에 표시된 앱의 기능 이외의 사용자의 음성 입력에 응답하여 다른 기능을 제공하는 앱을 실행할 수 있도록 지원한다. 제어부(160)는 사용자의 음성 입력에 따라 표시부(110) 최상단에 표시된 앱의 기능을 실행하거나, 표시부(110) 최상단에 표시된 앱의 이외의 다른 기능을 제공하는 앱을 활성화하여 활성화된 앱의 기능을 실행할 수 있다. 제어부(160)는 실행된 앱들의 표시우선 순위를 비교하여, 비교 결과, 표시 우선순위가 높은 앱 실행 정보를 표시부 최상단에 전체 화면으로 표시하거나, 실행된 앱들의 실행 정보를 함께 표시할 수 있다.

제어부(160)는 마이크를 통해 입력된 사용자의 음성을 인식하는 음성 인식 모듈(Automatic Speed Regonition Module;161)을 포함할 수 있다. 음성 인식 모듈(161)은 마이크를 통하여 입력받은 음성을 처리할 수 있다. 구체적으로, 음성 인식 모듈(161)은 입력받은 음성의 특징을 추출하여 음성 모델 데이터와 비교 분석할 수 있다. 음성 인식 모듈(161)은 고속 푸리에 변환(Fast Fourier Transform; FFT)에 의하여 음성 주파수의 특징을 분석하여 음성 데이터를 형성하거나, 음성 파형의 특징을 분석하여 음성 데이터를 형성할 수 있다. 음성 인식 모듈(161)은 음성 데이터를 패턴 매칭(Pattern matching)된 하나 이상의 숫자 또는 글자로 변환하여 문자를 형성할 수 있다. 또한, 음성 인식 모듈(161)은 음성 인식하여 실행되는 기능에 응답하여 기능 실행에 따른 실행 정보를 기 정의된 규칙에 따라 스피커를 통해 음성으로 출력할 수 있다.

음성 인식 모듈(161)은 단말기(100)의 내부에 구현되는 대신, 통신 모듈 등에 의하여 데이터 통신 연결이 수립된 외부의 서버로 구현될 수도 있다.

디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 본 발명에 따른 휴대 단말기(100)는 휴대 단말기의 위치 변화와 관련된 정보를 감지하기 위한 센서 모듈과, 휴대 단말기(100)의 위치를 측정하기 위한 GPS 모듈과, 카메라 모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 또한 본 발명의 휴대 단말기(100)는그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다.

도 2는 본 발명의 실시예에 따른 휴대 단말기의 멀티 태스크 처리 방법을 설명하기 위해 나타내 보인 흐름도이다.

도 2를 참조하면, 단계 210에서 단말기(100)는 음성 인식 기능을 지원하는 제1 앱 정보를 표시부(110) 화면에 표시한다. 단말기(100)는 입력 이벤트에 따라 기 설정된 스케쥴 또는 해당 입력 이벤트의 지시에 따라 음성 인식 기능을 활성화하고, 마이크를 통해 사용자의 음성 입력을 대기 중인 상태로 운용 될 수 있다. 여기서, 제1 앱은 휴대 단말기에서 제공되는 기능들에 대응하는 각각의 어플리케이션이 해당될 수 있다. 본 발명에서 단말기는 해당 앱의 기능 실행에 대응되는 음성 모델 데이터베이스(DB; Data Base)를 포함할 수 있다.

또한, 단말기(100)는 음성 인식 기능을 지원하는 제1 앱 실행 화면을 풀 모드로 출력하거나 또는 음성 인식 기능이 실행 중임을 지시하는 정보(예, 마이크 아이콘, 음성 인식 가능 메시지)를 표시부(110) 화면의 최상단에 출력하도록 지원할 수 있다.

단계 220에서 단말기(100)는 제1 앱 실행 정보가 표시부(110) 화면에 표시된 상태에서 마이크를 통해 수신되는 음성 신호를 검출한다. 단계 230에서 단말기는 검출된 음성 신호를 기반으로 음성을 인식할 수 있는지 여부를 결정한다. 구체적으로, 단말기(100)는 마이크로부터 수신되는 음성 신호를 코덱을 이용해 디지털 신호로 변조하고, 코덱으로부터 출력된 디지털 신호에서 음성 데이터를 추출한다. 다음에, 단말기(100)는 추출된 음성 데이터를 STT(Speech To Text) 변환하고 변환된 텍스트를 저장부(150)에 저장된 음성 모델 또는 텍스트 패턴들과 비교하여 음성 입력을 인식할 수 있다.

한편, 단말기(100)는 단계 235에서 마이크를 통해 수신된 음성 데이터 비교 결과, 음성을 인식할 수 없는 경우, 음성 인식 에러 정보를 표시부에 출력하거나, 스피커를 통해 음성으로 출력할 수 있다.

단계 240에서 단말기(100)는 사용자의 음성을 인식한 후, 사용자의 음성 입력이 제2 앱 기능 실행 명령인지 여부를 결정한다. 단계 245에서 단말기(240)는 사용자의 음성 입력이 제1 앱 기능 실행을 위한 명령으로 결정되면 음성 입력에 응답하여 제1 앱 기능을 실행한다. 제어부(160)는 음성 인식된 텍스트가 이에 해당되는 제2 어플리케이션이 없고, 제1 앱의 기능과 관련된 음성 정보로 결정되면, 텍스트에 해당되는 제1 앱의 기능을 실행한다.

예를 들어, 제어부(160)는 카메라 기능이 실행된 상태에서 마이크를 통해 "촬영"이라는 음성 정보가 수신되면, "촬영"이라는 음성 신호로 부터 음성 데이터를 추출하고, 저장부(150)에 저장된 텍스트 패턴들과 비교하여 인식된 음성 데이터가 촬영 기능 실행 명령어에 대응된다고 결정한다. 그러면, 단말기(100)는 "촬영"이라는 음성을 통해 카메라의 "촬영 "기능을 실행하여 피사체 이미지 또는 영상을 수집한다.

단계 250에서 단말기(100)는 사용자의 음성 입력이 제2 앱 기능 실행을 위한 명령으로 결정되면, 제2 앱이 제1 앱과 관련이 있는지 여부를 결정한다. 예를 들어, 단말기(100)는 카메라 앱이 표시부(110) 화면에 표시된 상태에서 마이크를 통해 " 메시지 작성"이라는 음성을 인식한 경우, "메시지 작성"과 연관된 메시지 앱이 있다고 결정할 수 있다. 여기서, 제1 앱은 제2 앱의 기능을 지원할 수도 있다. 예를 들어, 음성 인식 서비스 앱은 단말기에서 제공되는 기능들과 연동하여 음성 입력으로 각각의 기능들을 실행하기 위한 기능을 지원한다.

단계 260에서 단말기(100)는 제2 앱이 제1 앱과 관련이 있다고 결정되는 경우, 제1 앱 기능과 연동하여 제2 앱 기능을 실행한다. 단계 265에서 단말기(100)는 제2 앱이 제1 앱과 관련이 없다고 결정되는 경우, 제2 앱 기능을 실행한다.

단계 270에서 단말기(100)는 제2 앱의 기능이 실행되면, 제2 앱의 표시 우선 순위가 제1 앱의 표시 우선 순위보다 낮은지 여부를 결정한다. 단계 280에서 단말기(100)는 제2 앱의 표시 우선 순위가 제1 앱의 표시 우선 순위보다 낮은 경우, 표시부(100) 화면의 최상단에 제2 앱 정보를 표시한다. 단계 제275에서 단말기(100)는 제2 앱의 표시 우선 순위가 제1 앱의 표시 우선 순위보다 높은 경우, 제1 앱 정보 표시를 유지하면서, 제2 앱 정보를 표시한다.

본 발명에서 단말기(100)는 앱들의 기능, 타입 또는 특성에 따라 화면에 출력되는 표시 우선 순위가 달라질 수 있다. 단말기(100)는 앱의 표시 정보에 따라 화면 구성을 다르게 출력하도록 제어할 수 있다.

본 발명에서 단말기(100)는 사용자 요청에 따라 또는 기 설정된 스케쥴 정보에 따라 음성 인식 기능을 지원하는 어플리케이션을 실행하고, 그의 실행 화면을 제공할 수 있다. 또한, 단말기(100)는 복수 개의 어플리케이션을 실행하고, 그의 실행 화면 들 중 사용자가 선택한 제1 앱의 실행 화면을 표시부(110) 최상단에 전체 화면으로 제공할 수 있다. 이 경우, 단말기(100)는표시부(110) 최상단에 출력되는 제1 앱 이외 다른 앱에 대한 기능 실행 화면들은 백그라운드 프로세싱을 통하여 유지 관리할 수 있다.

또한, 본 발명에서 단말기(100)는 표시부(100) 최상단에 출력되는 제1 앱의 기능을 활성화하며, 표시되지 않은 다른 앱의 기능은 앱의 특성, 기능 또는 설정에 따라 활성화를 유지하거나 대기 상태로 제어할 수도 있다. 이 경우, 단말기는 제1 앱의 기능 및 제2 앱의 기능을 음성 입력으로 실행하도록 지원할 수 있으나, 음성 입력 이외 사용자 입력(예, 터치, 모션)도 지원할 수 있다.

도 3은 본 발명의 제1 실시예에 따른 휴대 단말기의 음성 서비스를 기반으로 한 멀티 태스킹 운용 방법을 설명하기 위해 나타내 보인 화면 예시도이다.

도 3을 참조하면, 표시부(110)는 제어부(160)의 제어 하에, 음성 인식 기능을 지원하는 앱의 풀 모드 실행에 따라 제1 앱의 실행 정보를 표시는 제1 앱 화면(310)을 <301> 화면과 같이, 표시부(110) 전체 화면으로 표시한다. 여기서, 제1 앱 화면(310)은 음성 인식 기능이 실행 중임을 나타내는 정보(311)를 출력할 수 있다. 예를 들어, 단말기(100)는 음성 인식 기능을 지원하는 앱이 실행된 경우, 제1 앱 화면(310)에 마이크가 온(on) 되어 있음을 지시하는 메시지 또는 아이콘을 표시부에 표시하거나, 스피커를 통해 "음성을 입력하여 주십시오."라는 음성을 출력할 수 있으나, 이에 한정하는 것은 아니다.

제1 앱 화면(310)이 표시부(110) 전체 화면으로 표시된 상태에서 사용자가 마이크를 통해 제2 앱의 기능을 실행하기 위한 음성으로 입력할 수 있다.

단말기(100)는 사용자의 음성 입력에 응답하여 화면 <302>에 도시된 바와 같이, 제2 앱의 실행 정보를 표시하는 제2 앱 화면(320)을 표시부(110) 전체 화면으로 표시할 수 있다. 예컨대, 단말기(100)는 마이크를 통해 전달되는 음성 신호를 STT 변환하여 음성 데이터를 추출하고, 추출된 음성 데이터와 음성 모델 패턴을 비교하여 사용자의 음성을 인식하는 기능을 지원할 수 있다. 단말기(100)는 사용자의 음성을 정확하게 인식하지 못하는 경우, 에러 정보를 표시부 또는 스피커를 통해 출력하는 기능을 지원할 수 있다.

단말기(100)는 제2 앱 기능이 제1 앱 기능과 관련이 없고, 제1 앱과 제2 앱의 표시 우선순위를 비교하여 기 정의된 규칙에 따라 제2 앱의 표시 우선 순위가 제1 앱의 우선 순위보다 높다고 결정되는 경우, 화면 <302>에서와 같이, 제2 앱 화면(320)을 표시부(110) 전체 영역으로 표시하는 기능을 지원한다. 이 경우, 단말기(100)는 제1 앱 화면과 제2 앱 화면의 레이어는 중첩되어 배치되고, 제2 앱 화면이 표시부(110) 최상단 화면에 출력된다. 단말기(100)는 표시부(110) 최상단에 출력되는 제2 앱의 기능을 활성화하며, 표시되지 않은 제1 앱의 기능은 앱의 특성, 기능 또는 설정에 따라 활성화를 유지하거나 대기 상태로 제어할 수도 있다.

도 4는 본 발명의 제2 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.

도 4를 참조하면, 표시부(110)는 제어부(160)의 제어 하에, 음성 인식 기능을 지원하는 앱의 풀 모드 실행에 따라 앱의 실행 정보를 나타내는 제1 앱 화면(40)을 <401>에 도시된 바와 같이, 표시부(110) 전체 화면으로 표시한다. 여기서, 제1 앱 실행 화면은 음성 인식 기능이 실행 중임을 나타내는 정보를 출력할 수 있다.

제1 앱 화면(410)이 전체 화면으로 표시된 상태에서 사용자가 마이크를 통해 휴대 단말기의 제2 앱 기능 실행을 요청하는 음성이 입력되는 경우, 표시부(110)는 제어부(160)의 제어 하에, 음성 입력에 응답하여 화면 <402>에 도시된 바와 같이, 제2 앱 화면(420) 뿐만 아니라 제1 앱 화면(430)을유지하여 표시할 수 있다.

단말기(100)는 제2 앱 기능이 제1 앱 기능과 관련이 없으나, 제1 앱과 제2 앱의 표시 우선순위를 비교하여 제2 앱의 표시 우선 순위가 제1 앱의 우선 순위보다 높다고 결정한 경우, 화면 <402>에서와 같이, 제2 앱 화면을 전체 영역으로 표시하지 않고, 표시부(110)에 제1 앱 화면(430) 및 제2 앱 화면(420)을 표시하는 기능을 지원한다.

이때, 단말기는 제1 앱 화면(430) 및 제2 앱 화면(420)의 레이어는 표시부(110) 영역이 분할되어 출력하거나, 제1 앱 화면(43)의 뒷면과 제2 앱 화면(420)의 앞면의 일부가 중첩되어 출력하도록 화면을 구성할 수 있다. 제2 앱은 음성 입력 이외의 사용자의 입력 예컨대, 터치 입력을 지원하는 앱에 해당될 수 있으나, 이에 한정하는 것은 아니다. 또한, 단말기(100)는 단말기(100)의 기능 실행 요청에 따라 앱의 표시 정보를 변경하고, 변경된 표시 정보에 따라 화면 구성을 다르게 출력할 수 있다.

사용자는 제1 앱 화면(430) 및 제2 앱 화면(420)을 통해 제1 앱 및 제2 앱의 실행 중임을 인지할 수 있다. 예를 들어, 제1 앱이 음성 입력을 지원하는 앱이고, 제2 앱이 터치 입력을 지원하는 앱인 경우, 사용자는 터치 입력을 통해 제2 앱의 기능을 실행하다가 음성 입력으로 제1 앱 기능 실행 모드로 전환할 수 있다.

도 5는 본 발명의 제3 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.

도 5를 참조하면, 표시부(110)는 제어부(160)의 제어 하에, 음성 인식 기능을 지원하는 앱의 실행 정보를 나타내는 제1 앱 화면(501)을 <501>에 도시된 바와 같이, 표시부(110) 전체 화면으로 표시한다. 예컨대, 제1 앱은 음성 입력 기능을 지원하며, 휴대 단말기에서 제공하는 적어도 하나의 기능과 연동하여 해당 기능들을 음성으로 제어할 수 있다.

그러한 상태에서 사용자가 마이크를 통해 휴대 단말기의 제1 앱과 관련 있는 제2 앱 기능 실행을 요청하는 음성을 입력하면, 단말기(100)는 음성 입력에 응답하여 화면 <402>에 도시된 바와 같이, 표시부(110)에 제1 앱 화면(530) 및 제2 앱 화면을 표시하는 기능을 지원한다.

단말기(100)는 제2 앱 기능이 제1 앱 기능과 관련이 있고, 제1 앱과 제2 앱의 표시 우선순위를 비교하여 제2 앱의 표시 우선 순위가 제1 앱의 우선 순위보다 높다고 결정한 경우, 화면 <502>에서와 같이, 제2 앱 화면을 전체 영역으로 표시하지 않고, 표시부에 제1 앱 화면(530) 및 제2 앱 화면(520)을 표시하는 기능을 지원한다. 502의 화면 구성은 도 4의 <402> 화면과 동일하므로 생략하기로 한다. 사용자는 제1 앱 화면(530) 및 제2 앱 화면(520)을 통해 제1 앱 및 제2 앱의 실행 중임을 인지할 수 있다.

예를 들어, 제1 앱이 음성 인식 기능 앱이고, 제2 앱이 음성 기능 앱과 연관되어 음성 입력을 지원하는 뮤직 앱라고 가정한다. 사용자가 <501> 화면이 표시된 상태에서 마이크를 통해 "음악 실행"이라는 음성을 입력하는 경우, 단말기는 음악 실행이라는 입력 정보에 응답하여, 제1 앱 및 제2 앱의 표시 우선 순위를 판별하여 <502> 화면과 같이, 제1 앱 실행 정보를 유지하면서 제2 앱 실행 정보를 표시하는 화면을 표시한다.

그러한 상태에서 사용자가 제2 앱의 기능 예를 들어, " 다음곡 재생"이라는 음성을 입력하는 경우, 단말기(100)는 음성 입력에 응답하여, 제2 앱의 기능을 제어하여 플레이 리스트에서 현재 재생되고 있는 목록 다음에 배치된 목록의 음악을 재생하고, 그의 실행 화면을 <503>에 도시된 바와 같이 표시부(110)에 표시한다. 사용자는 음성 입력을 통해 제1 앱 및 제2 앱의 기능 실행하고, 제1 앱과 제2 앱의 기능 전환을 용이하게 수행할 수 있다.

도 6는 본 발명의 제4 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.

도 6을 참조하면, 100단말기()는 입력 이벤트 또는 특정 스케쥴 정보에 따라 <601> 화면에 도시된 바와 같이, 제1 앱 화면(610) 및 제2 앱 화면(620)을 표시부에 표시할 수 있다.

사용자가 제1 앱 및 제2 앱이 실행된 상태에서 마이크를 통해 제1 앱과 관련 있는 제3 앱 기능 실행을 요청하는 음성을 입력하면, 단말기(100)는 음성 입력에 응답하여 화면 <602>에 도시된 바와 같이, 제1 앱 실행 정보 및 제2 앱 실행 정보를 유지하면서 제3 앱 실행 정보(630)를 표시할 수 있다.

여기서, 단말기(100)는 각각의 앱들의 표시 우선 순위 및 표시 정에 따라 화면 구성을 변경하여 표시하는 기능을 지원한다. 특히, 앱의 특성, 종류 또는 기능에 따라 앱의 표시 정보가 변경되면, 그에 대응하여 앱 화면의 표시 형태 특히, 폭이 가변적으로 변경될 수 있다. 여기서, 제3 앱은 제1 앱과 연동되어 음성 입력으로 기능을 실행할 수 있다.

예를 들어, 제1 앱은 음성 인식 서비스 앱이고, 제2 앱은 네비게이션 앱이며, 제3 앱은 메시지 앱으로 가정한다. <601> 화면이 표시된 상태에서 사용자가 "메시지 전송"이라는 음성을 입력하는 경우, 단말기(100)는 제3 앱이 음성 입력이 메시지 전송과 관련된 메시지 앱의 실행 명령인 것으로 판단하고, 제 1 앱 및 제2 앱과의 표시 우선순위를 결정한다.

단말기(100)는 제3 앱이 제2 앱보다 표시 우선순위가 높다고 결정하고, <602> 화면과 같은 형태로 제3 앱 화면을 표시하고, 제1 앱 기능과 연동하여 스피커를 통해 메시지 수신자 정보를 요구하는 음성을 출력할 수 있다.

그러면, 사용자는 제3 앱 화면 및 스피커를 통해 출력되는 음성 정보를 통해 메시지 전송의 수신자 정보가 요구됨을 인지할 수 있다. 수신자 정보는 이름, 전화번호, 메일 주소 중 하나일 수 있으나, 이에 한정하는 것은 아니다.

사용자가 음성으로 수신자 정보를 입력하는 경우, 단말기(100)는 사용자의 음성 정보를 기반으로 음성 신호를 STT로 변환하여 <603> 화면과 같이, 제3 앱 화면에 수신자 정보를 표시하고, 제1 앱 기능과 연동하여 스피커를 통해 음성으로 메시지 내용을 요구하는 음성을 출력할 수 있다.

그러한 상태에서 사용자가 메시지 전송 내용을 음성으로 입력하는 경우, 단말기(100)는 제3 앱의 표시 정보가 변경되므로, <604> 화면과 같은 형태로 제3 앱 화면을 표시한다. 즉, 603화면과604화면에서의 제3 앱 화면은 서로 다른 폭으로 표시될 수 있으며, 603 화면의 표시 변경이 완료되는 시점에서 604 화면의 형태로 표시될 수 있다.

도 7 본 발명의 제5 실시예에 따른 멀티 태스킹 운용에 따른 화면 인터페이스 화면에 대한 예시도이다.

도 7을 참조하면, 단말기(100)는 입력 이벤트 또는 특정 스케쥴 정보에 따라 <601> 화면에 도시된 바와 같이, 제1 앱 화면(710) 및 제2 앱 화면(720)을 표시부에 표시할 수 있다.

사용자가 제1 앱 및 제2 앱이 실행된 상태에서 마이크를 통해 제3 앱 기능 실행을 요청하는 음성을 입력하면, 단말기(100)는 음성 입력에 응답하여 화면 <602>에 도시된 바와 같이, 제1 앱 실행 정보 및 제2 앱 실행 정보의 표시를 유지하면서 제3 앱 실행 정보 (또는 제3 앱 화면)(730)를 표시할 수 있다.

<701> 화면이 표시된 상태에서 사용자가 "전화 실행"이라는 음성을 입력하는 경우, 단말기(100)는 음성 입력이 전화 기능 관련된 전화 앱의 실행 명령인 것으로 판단하고, 표시 우선 순위를 결정한다. 단말기(100)는 제3 앱의 실행 정보를 표시하기 위해 <702>화면에 도시된 바와 같은 형태의 제3 앱 화면(730)을 표시한다.

단말기(100)는 제3 앱 실행 정보를 <702> 화면과 같은 형태로 표시하고, 제1 기능과 연동하여 스피커를 통해 전화 수신자 정보를 요구하는 음성을 출력할 수 있다.

사용자가 음성으로 수신자 정보를 입력하는 경우, 단말기(100)는 사용자의 음성 정보를 기반으로 음성 신호를 STT로 변환하여 <703> 화면과 같이, 제3 앱 화면에 수신자 정보를 표시하고, 제1 앱 기능과 연동하여 스피커를 통해 수신자에게 전화 실행 명령을 요구하는 음성을 출력할 수 있다.

사용자의 전화 기능 실행 음성 명령에 응답하여 표시되는 제3 앱 화면의 표시 우선순위가 제1 앱 화면(710) 및 제2 앱 화면(720)의 표시 우선순위보다 높다고 결정되면, <704> 화면에 도시된 바와 같이, 제3 앱의 실행 화면(730)을 표시부(110) 최상단에 표시한다.

이상에서와 같이, 본 발명에 따른 휴대 단말기의 멀티 태스킹 운용 방법 및 장치에 대하여 본 명세서 및 도면을 통해 바람직한 실시예를 들어 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고, 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능함은 본 발명이 속하는 기술 분야에서 통산의 지식을 가진 자에게 자명한 것이다.

100: 휴대 단말기
110: 표시부 120: 입력부
130: 무선통신부 140: 오디오 처리부
150: 저장부 160: 제어부
161: 음성인식 모듈

Claims

표시부 화면에 적어도 하나의 제1 앱 실행 정보를 표시하는 단계
상기 제1 앱 이외에 다른 제2 앱의 기능 실행을 요청하는 음성 신호를 인식하여 사용자의 음성 입력을 검출하는 단계
상기 음성 입력에 대응하여 제2 앱을 활성화하는 단계
상기 제2 앱과 제1 앱 간의 표시 우선 순위를 판단하는 단계 및
상기 판단된 우선순위 결과에 따라 제1 앱과 제2 앱을 미리 정의된 규칙 형태를 기반으로 제1 앱 실행 정보 및 제2 앱 실행 정보 중 적어도 하나를 표시하는 단계를 포함하는 휴대 단말기의 멀티 태스킹 운용 방법.
제1항에 있어서,
상기 표시 우선 순위를 판단한 결과, 제2 앱의표시 우선순위가 제1 앱의 표시 우선순위 보다 낮은 경우, 상기 표시부 화면에 상기 제1 앱 실행 정보와 함께 제2 앱 실행 정보를 표시하는 단계를 더 포함하는 휴대 단말기의 멀티 태스킹 운용 방법.
제1항에 있어서,
상기 표시 우선 순위를 판단한 결과, 상기 제2 앱의 표시 우선순위가 제1 앱의 표시 우선 순위보다 높은 경우, 상기 표시부 화면에 상기 제2 앱의 실행 정보를 전체 화면으로 표시하는 단계를 더 포함하는 휴대 단말기의 멀티 태스킹 운용 방법.
제1항에 있어서,
상기 제1 앱은 휴대 단말기에서 제공하는 하나 이상의 기능과 연동되어 음성 인식 서비스를 지원하는 앱을 포함하고,
상기 제1 앱 실행 정보를 표시하는 단계는, 음성 인식 기능이 실행 중임을 나타내는 정보를 표시하는 것을 특징으로 하는 휴대 단말기의 멀티 태스킹 운용 방법.
제1항에 있어서,
상기 사용자의 음성 입력을 검출하는 단계는,
상기 마이크로부터 음성 신호를 수신하는 단계
상기 음성 신호에 대하여 음성 인식을 수행하여 하나 이상의 텍스트 데이터를 추출하는 단계 및
상기 추출된 텍스트 데이터에 대응하여 기 정의된 기능 실행 명령 정보와 매칭되는 경우, 상기 사용자의 음성 입력을 검출하는 단계로 이루어지는 것을 특징으로 하는 휴대 단말기의 멀티 태스킹 운용 방법.
제5항에 있어서,
상기 음성 신호에 대하여 텍스트 데이터를 추출하지 못하거나, 상기 텍스트 데이터에 대응하여 기 정의된 실행 명령 정보와 매칭되지 않는 경우, 음성 인식 에러 정보를 표시부 화면에 표시하거나 음성으로 출력하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 멀티 태스킹 운용 방법.
제2항에 있어서,
상기 제1 앱 실행 정보와 함께 제2 앱 실행 정보를 표시하는 단계는,
상기 제1 앱 실행 정보의 전체 영역이 제2 앱 실행 정보 화면의 일부영역과 오버레이되어 표시하는 단계 및 상기 제1 앱 실행 정보 화면과 제2 앱 실행 정보 화면이 일정 폭을 가지는 영역으로 분할되어 표시하는 단계 중 하나의 단계로 이루어지는 것을 특징으로 하는 휴대 단말기의 멀티 태스킹 운용 방법.
제1항에 있어서,
상기 제2 앱의 표시 정보가 변경되는지 여부를 결정하는 단계 및
상기 제2 앱의 표시 정보가 변경되는 경우, 상기 제2 앱 실행 정보의 표시 형태를 변경하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 멀티 태스킹 운용 방법.
제8항에 있어서,
상기 제2 앱 실행 정보의 표시 형태를 변경하는 표시하는 단계는,
상기 제2 앱 실행 정보를 표시부 화면의 전체 영역에 표시하거나, 제2 앱 실행 정보의 화면 폭을 변경하여 표시하는 것을 특징으로 하는 휴대 단말기의 멀티 태스킹 운용 방법.
제8항에 있어서,
상기 제2 앱은 상기 제1 앱과 연동된 기능을 포함하고, 상기 제2 앱의 실행 명령을 요청하는 사용자의 음성 입력을 검출하는 경우, 상기 제1 앱의 기능과 연동하여 실행 명령에 대응하여 기 정의된 규칙에 따라 음성 정보를 출력하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 멀티 태스킹 운용 방법.
제1항에 있어서,
상기 제1 앱 실행 정보와 함께 제2 앱 실행 정보를 표시하는 단계 이후에,
마이크로부터 사용자의 음성을 인식하여 음성 입력을 검출하는 단계
상기 사용자의 음성 입력에 응답하여 기 정의된 규칙에 따라 제1 앱의 기능을 실행하거나 제2 앱의 기능을 실행하는 단계 및
상기 기능 실행에 따라 변경된 제1 앱 실행 정보 및 제2 앱 실행 정보의 표시 우선 순위를 기 정의된 규칙을 기반으로 비교하는 단계 및
상기 비교 결과에 따라 상기 제1 앱 실행 정보 및 제2 앱 실행 정보를 변경하여 표시하는 단계를 더 포함하는 휴대 단말기의 멀티 태스킹 운용 방법.
복수 개의 앱 실행 화면 중 앱의 표시 우선 순위에 따라 앱 실행 정보를 화면에 표시하는 표시부
상기 앱의 기능 실행을 위한 음성 입력을 수신하고, 기능 실행에 응답하여 음성 정보를 출력하는 오디오 처리부 및
상기 표시부 화면에 적어도 하나의 제1 앱 실행 정보를 표시하고, 상기 오디오 처리부를 통해 수신된 음성을 인식하여 사용자의 음성 입력을 검출하고, 상기 사용자의 음성 입력이 상기 제1 앱 이외의 다른 제2 앱의 기능 실행을 요청하는 경우, 상기 제2 앱을 활성화하고, 상기 제2 앱 실행 정보와 제1 실행 정보와 표시 우선 순위를 판단하고, 상기 판단된 우선순위 결과에 따라 제1 앱과 제2 앱을 미리 정의된 규칙 형태를 기반으로 제1 앱 실행 정보 및 제2 앱 실행 정보 중 적어도 하나를 표시하도록 제어하는 제어부를 포함하는 휴대 단말기.
제11항에 있어서,
상기 제어부는,
상기 표시 우선 순위를 판단한 결과, 제2 앱의 표시 우선순위가 제1 앱의 표시 우선순위 보다 낮은 경우, 상기 제1 앱 실행 정보와 함께 제2 앱 실행 정보를 표시하도록 제어하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 제어부는,
상기 표시 우선 순위를 판단한 결과, 상기 제2 앱의 표시 우선순위가 제1 앱의 표시 우선 순위보다 높은 경우, 상기 표시부 화면에 상기 제2 앱의 실행 정보를 전체 화면으로 표시하도록 제어하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 표시부는,
상기 음성 인식 기능이 실행 중임을 나타내는 정보를 포함하는 제1 앱 실행 정보를 표시하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 표시부는,
상기 제1 앱 실행 정보의 전체 영역이 제2 앱 실행 정보 화면의 일부 영역과 오버레이 되어 표시하거나, 상기 제1 앱 실행 정보와 제2 앱 실행 정보가 일정 폭을 가지는 영역으로 분할되어 표시하도록 제어하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 표시부는,
상기 제2 앱의 표시 정보가 변경되는 경우, 상기 제2 앱 실행 정보의 표시 형태를 표시부 화면의 전체 영역으로 변경하여 표시하거나, 제2 앱 실행 정보의 화면 폭을 변경하여 표시하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 제어부는,
상기 오디오 처리부로부터 수신된 음성 신호에 대하여 음성 인식을 수행하여 하나 이상의 텍스트 데이터를 추출하고, 상기 추출된 텍스트 데이터에 대응하여 기 정의된 기능 실행 명령 정보와 매칭되는 경우, 사용자의 음성 입력을 검출하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 제어부는,
상기 제2 앱이 상기 제1 앱과 연동된 기능을 포함하고, 상기 제2 앱의 기능 실행 명령을 요청하는 사용자의 음성 입력을 검출하는 경우, 상기 제1 앱의 기능과 연동하여 실행 명령에 응답하여 기 정의된 규칙에 따라 음성 정보를 출력하도록 제어하는 것을 특징으로 하는 휴대 단말기.
제11항에 있어서,
상기 제어부는,
상기 제1 앱 실행 정보와 함께 제2 앱 실행 정보를 표시하는 단계 이후에, 마이크로부터 사용자의 음성을 인식하여 음성 입력을 검출하는 경우, 상기 사용자의 음성 입력에 응답하여 기 정의된 규칙에 따라 제1 앱의 기능을 실행하거나 제2 앱의 기능을 실행하고, 상기 기능 실행에 따라 변경된 제1 앱 실행 정보 및 제2 앱 실행 정보의 표시 우선순위를 비교하고, 상기 비교 결과에 따라 제1 앱 실행 정보 또는 제2 앱 실행 정보를 변경하여 표시하도록 제어하는 것을 특징으로 하는 휴대 단말기.