KR101283461B1 - Mobile terminal and voice data processing method thereof, and system using thereof - Google Patents

Mobile terminal and voice data processing method thereof, and system using thereof Download PDF

Info

Publication number
KR101283461B1
KR101283461B1 KR1020120075676A KR20120075676A KR101283461B1 KR 101283461 B1 KR101283461 B1 KR 101283461B1 KR 1020120075676 A KR1020120075676 A KR 1020120075676A KR 20120075676 A KR20120075676 A KR 20120075676A KR 101283461 B1 KR101283461 B1 KR 101283461B1
Authority
KR
South Korea
Prior art keywords
external display
mobile terminal
display device
voice data
processing
Prior art date
Application number
KR1020120075676A
Other languages
Korean (ko)
Inventor
한윤제
진우일
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020120075676A priority Critical patent/KR101283461B1/en
Application granted granted Critical
Publication of KR101283461B1 publication Critical patent/KR101283461B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/16—Interfaces between hierarchically similar devices
    • H04W92/18—Interfaces between hierarchically similar devices between terminal devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Abstract

PURPOSE: Mobile terminal, voice processing method of the same and system using the same are provided to easily control operation of an external display device by receiving voice. CONSTITUTION: A mobile terminal generates voice data based on voice input of a user. The mobile terminal judges a subject processing the voice data. The mobile terminal provides the voice data to an external display device (200). The mobile terminal processes the voice data by itself. The mobile terminal judges the subject processing the voice data and possibility of external transmission of the voice data based on whether its own output screen is shared or not through the external display device or not.

Description

이동 단말기 및 이의 음성 처리 방법, 및 이를 이용한 시스템{MOBILE TERMINAL AND VOICE DATA PROCESSING METHOD THEREOF, AND SYSTEM USING THEREOF}MOBILE TERMINAL AND VOICE DATA PROCESSING METHOD THEREOF, AND SYSTEM USING THEREOF}

본 발명은 이동 단말기 및 이의 음성 처리 방법, 및 이를 이용한 시스템에 관한 것으로 상세하게는 외부 디스플레이 장치의 동작을 손쉽게 제어할 수 있는 이동 단말기에 관한 것이다.The present invention relates to a mobile terminal, a voice processing method thereof, and a system using the same, and more particularly, to a mobile terminal capable of easily controlling an operation of an external display device.

차량의 센터페시아(center fasic)에 배치되는 센터페시아 디스플레이는 네비게이션 어플리케이션의 표시, DMB 방송 프로그램의 표시, 동영상 파일의 표시, 공조기 등의 동작 제어 등 다양한 기능을 수행하는데에 이동할 수 있다.The center fascia display disposed in the center fasic of the vehicle may move to perform various functions such as display of a navigation application, display of a DMB broadcast program, display of a video file, and operation control of an air conditioner.

센터페시아 디스플레이를 통해 상술한 동작을 수행하기 위해 사용자는 센터페시아 디스플레이를 통해 출력되는 네비게이션 어플리케이션을 선택하거나, DMB 방송 채널을 조절하는 등의 조작을 가하여야 한다.In order to perform the above-described operation through the center fascia display, the user must apply a manipulation such as selecting a navigation application output through the center fascia display or adjusting a DMB broadcast channel.

다만, 센터페시아 디스플레이는 운전석과 조수석 사이의 대시보드에 위치해 운전자와 소정 거리 이격되어 있기 때문에, 운전자가 운전 중 센터페시아 디스플레이의 동작을 조절하는 것은 운전의 집중도를 떨어뜨릴 수 있다는 문제점이 발생할 수 있다.However, since the center fascia display is located on the dashboard between the driver's seat and the passenger seat, the center fascia display is separated from the driver by a predetermined distance, the driver may adjust the operation of the center fascia display while driving. .

이에, 센터페시아 디스플레이를 직접 터치하지 않고, 센터페시아 디스플레이의 동작을 조절할 수 있는 방안을 강구할 필요가 있다.Therefore, it is necessary to devise a way to adjust the operation of the center fascia display without directly touching the center fascia display.

나아가, 운전자가 운전 중 이동 단말기를 사용하고자 하는 경우, 이동 단말기 동작 조절에 따라 운전의 집중도를 떨어뜨릴 수 있으므로, 이동 단말기를 손쉽게 사용할 수 있는 방안을 강구할 필요도 있다.In addition, when the driver wants to use the mobile terminal while driving, the concentration of driving may be reduced by adjusting the operation of the mobile terminal, and thus, a method for easily using the mobile terminal may be required.

한국 공개특허공보 제10-2012-0015931호(2012.02.22.)Korean Laid-Open Patent Publication No. 10-2012-0015931 (2012.02.22.) 한국 공개특허공보 제10-2012-0007846호(2004.01.25.)Korean Laid-Open Patent Publication No. 10-2012-0007846 (2004.01.25.) 한국 공개특허공보 제10-2004-0023331호(2004.03.18.)Korean Laid-Open Patent Publication No. 10-2004-0023331 (2004.03.18.) 일본 공개특허공보 제2011-507078호(2011.03.03.)Japanese Laid-Open Patent Publication No. 2011-507078 (2011.03.03.) 일본 등록실용신안공보 제3172006호(2011.11.09.)Japanese Utility Model Registration No. 3172006 (Nov. 9, 2011)

본 발명은 이동 단말기로 음성을 입력하여, 손쉽게 외부 디스플레이 장치의 동작을 제어할 수 있는 이동 단말기를 제공하기 위한 것이다.The present invention is to provide a mobile terminal that can easily control the operation of the external display device by inputting a voice to the mobile terminal.

그리고, 본 발명은 외부 디스플레이 장치와 출력 화면을 공유하여 이동 단말기의 사용 편의를 증진시킨 이동 단말기를 제공하기 위한 것이다.In addition, the present invention is to provide a mobile terminal that improves the use of the mobile terminal by sharing the output screen with the external display device.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

본 발명의 일예에 따른 이동단말기는 디스플레이부; 사용자의 음성을 전기적 신호인 음성 데이터로 가공하는 마이크; 상기 음성 데이터를 외부 디스플레이 장치로 전송하기 위한 무선 통신부; 및 상기 음성 데이터의 처리 주체를 판단하고, 상기 음성 데이터의 처리 주체가 상기 외부 디스플레이 장치인 경우, 상기 외부 디스플레이 장치에서 상기 음성 데이터를 처리할 수 있도록 상기 외부 디스플레이 장치로 상기 음성 데이터를 제공하고, 상기 음성 데이터의 처리 주체가 이동 단말기인 경우, 상기 외부 디스플레이 장치로 상기 음성 데이터를 제공함이 없이, 스스로 상기 음성 데이터를 처리하는 제어부를 포함할 수 있다.Mobile terminal according to an embodiment of the present invention display unit; A microphone for processing a user's voice into voice data which is an electrical signal; A wireless communication unit for transmitting the voice data to an external display device; Determine the subject of processing the voice data, and when the subject of processing the voice data is the external display device, provide the voice data to the external display device so that the external display device can process the voice data; When the subject of processing the voice data is a mobile terminal, the controller may include a controller for processing the voice data by itself without providing the voice data to the external display device.

이때, 상기 제어부는, 상기 외부 디스플레이 장치가 상기 출력 영상을 공유하도록 설정되었는지 여부에 기초하여 상기 음성 데이터의 처리 주체를 판단할 수 있다.In this case, the controller may determine a processing subject of the audio data based on whether the external display apparatus is set to share the output image.

구체적으로, 상기 외부 디스플레이 장치가 상기 출력 영상을 공유하도록 설정된 경우, 상기 음성 데이터의 처리 주체를 상기 외부 디스플레이 장치로 판단하고, 상기 외부 디스플레이 장치가 상기 출력 영상을 공유하지 않도록 설정된 경우, 상기 음성 데이터의 처리 주체를 이동 단말기로 판단할 수 있다.Specifically, when the external display apparatus is set to share the output image, the subject of processing the audio data is determined as the external display apparatus, and when the external display apparatus is set not to share the output image, the audio data The subject of processing may be determined as the mobile terminal.

나아가, 상기 외부 디스플레이 장치가 상기 출력 영상을 공유하도록 설정된 경우, 상기 제어부는 상기 제어부는 상기 외부 디스플레이 장치가 상기 디스플레이부와 동일한 출력을 갖도록 상기 출력 영상을 상기 외부 디스플레이 장치로 제공할 수 있다.In addition, when the external display device is set to share the output image, the controller may provide the output image to the external display device such that the external display device has the same output as the display unit.

본 발명의 일예에 따른 음성 데이터 처리 시스템은 외부 디스플레이 장치; 및 사용자의 음성 입력을 기반으로 음성 데이터를 생성하고, 상기 음성 데이터의 처리 주체를 판단하여, 상기 음성 데이터를 상기 외부 디스플레이 장치로 제공하거나, 스스로 상기 음성 데이터를 처리하는 이동 단말기를 포함할 수 있다.Voice data processing system according to an embodiment of the present invention includes an external display device; And a mobile terminal generating voice data based on a voice input of a user, determining a subject of processing the voice data, providing the voice data to the external display device, or processing the voice data by itself. .

본 발명에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical solutions obtained by the present invention are not limited to the above-mentioned solutions, and other solutions not mentioned are clearly described to those skilled in the art from the following description. It can be understood.

본 발명은 이동 단말기로 음성을 입력하여, 외부 디스플레이 장치의 동작을 제어할 수 있는 효과가 있다.The present invention has the effect of controlling the operation of the external display device by inputting a voice to the mobile terminal.

또한, 본 발명은 사용자의 입주변에 손쉽게 가져갈 수 있는 이동 단말기로 음성을 입력하여 외부 디스플레이 장치의 동작을 제어할 수 있어, 외부 디스플레이 장치의 음성 제어시 음성 인식률을 높일 수 있는 효과가 있다.In addition, the present invention can control the operation of the external display device by inputting a voice to a mobile terminal that can be easily taken around the user's mouth, it is possible to increase the voice recognition rate when controlling the voice of the external display device.

그리고, 본 발명은 이동 단말기의 출력 화면을 외부 디스플레이 장치와 공유하여, 이동 단말기의 사용 편의를 증진시킬 수 있다.In addition, the present invention can share the output screen of the mobile terminal with the external display device, thereby enhancing the convenience of use of the mobile terminal.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained by the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description will be.

도 1은 음성명령 전달 시스템의 개략도.
도 2는 음성명령 전달 시스템의 동작 흐름도.
도 3은 도 1에 도시된 이동 단말기의 블록 구성도(Block Diagram).
도 4는 본 발명이 일실시예에 따른 이동 단말기의 동작 흐름도.
도 5는 도 1에 도시된 외부 디스플레이 장치의 블록 구성도(Block Diagram).
도 6은 본 발명이 일실시예에 따른 외부 디스플레이 장치의 동작 흐름도.1 is a schematic diagram of a voice command delivery system.
2 is an operation flowchart of a voice command delivery system.
FIG. 3 is a block diagram of the mobile terminal shown in FIG. 1.
4 is an operation flowchart of a mobile terminal according to one embodiment of the present invention;
FIG. 5 is a block diagram of the external display device shown in FIG. 1.
6 is an operation flowchart of an external display device according to an embodiment of the present invention;

이하, 본 발명과 관련된 음성명령 전달 시스템에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부", "모듈"은 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, a voice command delivery system according to the present invention will be described in more detail with reference to the accompanying drawings. The suffixes "parts" and "modules" used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles.

도 1은 음성명령 전달 시스템의 개략도이다. 도 1에 도시된 것과 같이, 본 발명에 따른 음성명령 전달 시스템은 이동 단말기(100)와 외부 디스플레이 장치를 포함할 수 있다.1 is a schematic diagram of a voice command delivery system. As shown in FIG. 1, the voice command delivery system according to the present invention may include a mobile terminal 100 and an external display device.

이동 단말기(100)와 외부 디스플레이 장치 사이에 통신 채널이 설정되면, 이동 단말기(100)는 이동 단말기(100)를 통해 출력되는 영상을 외부 디스플레이 장치와 하거나, 이동 단말기(100)를 통해 입력되는 사용자의 음성 데이터를 외부 디스플레이 장치로 전달할 수 있다.When a communication channel is established between the mobile terminal 100 and the external display device, the mobile terminal 100 displays an image output through the mobile terminal 100 with an external display device, or a user input through the mobile terminal 100. Voice data may be transferred to an external display device.

구체적으로, 이동 단말기(100)와 외부 디스플레이 장치가 이동 단말기(100)를 통해 출력되는 영상을 공유하도록 설정된 경우, 이동 단말기(100)는 외부 디스플레이 장치로 영상 데이터를 제공할 수 있다. 외부 디스플레이 장치는 이동 단말기(100)로부터 수신한 영상 데이터를 출력하여, 이동 단말기(100)와 동일한 화면 출력을 유지할 수 있다.In detail, when the mobile terminal 100 and the external display apparatus are set to share an image output through the mobile terminal 100, the mobile terminal 100 may provide image data to the external display apparatus. The external display device may output image data received from the mobile terminal 100 to maintain the same screen output as the mobile terminal 100.

사용자가 이동 단말기(100)나 외부 디스플레이 장치의 동작을 제어하기 위해 이동 단말기(100)로 음성을 입력하면, 이동 단말기(100)는 사용자의 입력 음성의 처리 주체가 이동 단말기(100)인지 외부 단말기인지를 판단할 수 있다. 판단 결과, 음성 데이터의 처리 주체가 외부 디스플레이 장치인 경우, 이동 단말기(100)는 외부 디스플레이 장치로 음성 데이터를 제공할 수 있다.When a user inputs a voice to the mobile terminal 100 to control the operation of the mobile terminal 100 or the external display device, the mobile terminal 100 determines whether the user processing the input voice of the user is the mobile terminal 100 or the external terminal. Can be judged. As a result of the determination, when the subject of processing the voice data is the external display device, the mobile terminal 100 may provide the voice data to the external display device.

본 명세서에서 설명되는 이동 단말기(100)에는 휴대폰, 스마트 폰(smart phone), 디지털 방송용 단말기, PDA(Personal Digital Asistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다.The mobile terminal 100 described herein may include a mobile phone, a smart phone, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, and the like.

외부 디스플레이 장치는 이동 단말기(100)를 통해 출력되는 영상을 공유하거나, 이동 단말기(100)를 통해 입력되는 사용자의 음성 데이터를 기초로 동작할 수 있다.The external display device may share an image output through the mobile terminal 100 or operate based on voice data of a user input through the mobile terminal 100.

도 1에서는 외부 디스플레이 장치를 차량용 센터페시아(center fasia) 디스플레이로 예시하였다. 센터페시아 디스플레이는 차량의 센터페시아(center fasic)에 배치되는 것으로, 센터페시아 디스플레이는 대시보드 중앙에서 운전석과 조수석 사이에 위치할 수 있다.In FIG. 1, an external display device is illustrated as a vehicle center fasia display. The center fascia display is disposed in the center fasic of the vehicle, and the center fascia display may be located between the driver's seat and the passenger seat in the center of the dashboard.

본 명세서에서 설명하는 외부 디스플레이 장치는 도 1에 도시된 센터페시아 디스플레이 외에도, 시트 스크린, 네비게이션, TV, 모니터, PDA, 스마트 폰, 핸드폰, 태블릿 PC 등의 전자 기기를 포함할 수 있다. 여기서, 시트 스크린은 차량의 뒷좌석 승객을 고려하여 앞좌석의 머리 받침(헤드 레스트 : Head Rest)이나 등받이에 매설된 형태의 전자기기를 의미한다.In addition to the center fascia display illustrated in FIG. 1, the external display device described herein may include electronic devices such as a seat screen, navigation, TV, monitor, PDA, smart phone, mobile phone, and tablet PC. Here, the seat screen refers to the electronic device of the type embedded in the head rest (head rest) or the back of the front seat in consideration of the rear seat passenger of the vehicle.

도 1 에 도시된 이동 단말기(100) 및 외부 디스플레이 장치의 동작은 후술될 도 2의 동작 흐름도를 통해 상세히 설명한다.Operations of the mobile terminal 100 and the external display device illustrated in FIG. 1 will be described in detail with reference to the operation flowchart of FIG. 2 to be described later.

도 2는 음성명령 전달 시스템의 동작 흐름도이다. 도 2를 참조하면, 먼저 이동 단말기(100)는 외부 디스플레이 장치와 통신 채널을 형성할 수 있다(S201). 이동 단말기(100)와 외부 디스플레이 장치는 Wi-Fi Direct, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Commucation) 등을 이용하여 상호 연동될 수 있다2 is an operation flowchart of a voice command delivery system. Referring to FIG. 2, first, the mobile terminal 100 may establish a communication channel with an external display device (S201). The mobile terminal 100 and the external display device may interoperate with each other using Wi-Fi Direct, Bluetooth, Zigbee, NFC, or the like.

또는, 이동 단말기(100)가 핫스팟(Hotspot, 휴대용 AP)으로 설정된 경우, 외부 디스플레이 장치는 이동 단말기(100)와 802.11 결합(Association)하여 이동 단말기(100)와 통신 채널을 형성할 수 있다. 이동 단말기(100)가 핫스팟으로 설정된 경우, 이동 단말기(100)는 LTE, CDMA, WCDMA 등의 이동통신 주파수 대역의 통신 신호를 Wi-Fi 주파수 대역의 통신 신호로 변환하여, 외부 디스플레이 장치의 접속을 유도할 수 있다.Alternatively, when the mobile terminal 100 is set as a hotspot (portable AP), the external display device may form an communication channel with the mobile terminal 100 by 802.11 association with the mobile terminal 100. When the mobile terminal 100 is set as a hot spot, the mobile terminal 100 converts a communication signal of a mobile communication frequency band such as LTE, CDMA, WCDMA, etc. into a communication signal of a Wi-Fi frequency band, thereby connecting the external display device. Can be induced.

이동 단말기(100)와 외부 디스플레이 장치 사이에 통신 채널이 형성된 경우, 외부 디스플레이 장치는 자신의 마이크를 비활성화할 수 있다(S202). 즉, 이동 단말기(100)와 외부 디스플레이 장치 사이에 통신 채널이 유지되는 동안 외부 디스플레이 장치의 마이크는 비활성화 상태를 유지할 수 있다.When a communication channel is formed between the mobile terminal 100 and the external display device, the external display device may deactivate its own microphone (S202). That is, while the communication channel is maintained between the mobile terminal 100 and the external display device, the microphone of the external display device may remain inactive.

이동 단말기(100)와 외부 디스플레이 장치 사이에 통신 채널이 형성되면, 사용자는 이동 단말기(100)를 통해 외부 디스플레이 장치의 동작을 제어할 수 있으므로, 굳이 외부 디스플레이 장치의 마이크를 활성화할 필요가 없다. 외부 디스플레이 장치의 마이크를 활성화하면, 이동 단말기(100)로 입력되는 음성 신호가 외부 디스플레이 장치에도 동일하게 입력되어, 외부 디스플레이 장치가 불필요한 동작을 반복할 수도 있다. 이를 방지하기 위해, 외부 디스플레이부의 마이크를 비활성화 함으로써, 외부 디스플레이 장치로 사용자의 음성 신호가 입력되는 것을 원천 봉쇄할 수 있다. 나아가, 이동 단말기(100)는 사용자가 쉽게 입 주변으로 가져갈 수 있어, 정확한 음성을 입력할 수 있는 반면, 센터페시아 디스플레이와 같은 외부 디스플레이 장치는 사용자와 소정 거리 이격되어 위치하는 것이 일반적이므로, 음성 인식률이 떨어질 수 있다. 이에 따라, 외부 디스플레이 장치의 마이크가 아닌 이동 단말기(100)의 마이크로 음성 데이터를 생성함으로써, 음성 인식률을 높일 수 있다.When a communication channel is formed between the mobile terminal 100 and the external display device, the user can control the operation of the external display device through the mobile terminal 100, and thus it is not necessary to activate the microphone of the external display device. When the microphone of the external display device is activated, a voice signal input to the mobile terminal 100 may be input to the external display device in the same manner, and the external display device may repeat an unnecessary operation. In order to prevent this, by deactivating the microphone of the external display unit, it is possible to block the input of the user's voice signal to the external display device. In addition, the mobile terminal 100 can be easily taken by the user around the mouth, so that the correct voice can be input, whereas an external display device such as a center fascia display is generally located at a predetermined distance from the user, thereby providing a voice recognition rate. This can fall. Accordingly, by generating the micro voice data of the mobile terminal 100 instead of the microphone of the external display device, it is possible to increase the voice recognition rate.

이동 단말기(100)와 외부 디스플레이 장치 사이에 통신 채널이 형성되면, 이동 단말기(100)는 외부 디스플레이 장치와 화면을 공유하도록 설정되어 있는지 판단할 수 있다(S203). 이동 단말기(100)가 외부 디스플레이 장치와 화면을 공유하도록 설정된 경우, 이동 단말기(100)는 외부 디스플레이 장치로 영상 데이터를 제공할 수 있다(S204). 외부 디스플레이 장치는 이동 단말기(100)로부터 수신한 영상 데이터를 출력하여, 이동 단말기(100)의 출력 화면을 공유할 수 있다.When a communication channel is formed between the mobile terminal 100 and the external display device, the mobile terminal 100 may determine whether the screen is set to share the screen with the external display device (S203). When the mobile terminal 100 is set to share a screen with an external display device, the mobile terminal 100 may provide image data to the external display device (S204). The external display device may output image data received from the mobile terminal 100 and share the output screen of the mobile terminal 100.

이동 단말기(100)와 외부 디스플레이 장치가 이동 단말기(100)의 출력 화면을 공유하도록 설정되어 있지 않은 경우, 이동 단말기(100)에는 이동 단말기(100)의 연산 결과가, 외부 디스플레이 장치에는 외부 디스플레이 장치의 연산 결과가 출력될 것이다.When the mobile terminal 100 and the external display device are not set to share the output screen of the mobile terminal 100, the mobile terminal 100 receives the calculation result of the mobile terminal 100, and the external display device displays the external display device. Will result in the operation of.

이후, 사용자가 이동 단말기(100)로 음성을 입력하면, 이동 단말기(100)는 사용자가 입력한 음성을 전기적 신호인 음성 데이터로 변환할 수 있다(S205). 이후, 이동 단말기(100)는 음성 데이터의 처리 주체가 외부 단말기인지 이동 단말기(100)인지를 판단할 수 있다(S206). 이동 단말기(100)는 외부 디스플레이 장치가 이동 단말기(100)의 출력 화면을 공유하도록 설정되었는지 여부에 따라 음성 데이터의 처리 주체를 판단할 수 있다. 구체적으로, 외부 디스플레이 장치가 이동 단말기(100)와 출력 화면을 공유하고 있지 않은 상태라면, 이동 단말기(100)는 외부 단말기가 음성 데이터의 처리 주체인 것으로 판단하고, 외부 단말기로 음성 데이터를 제공할 수 있다(S207). 이동 단말기(100)로부터 음성 데이터를 수신한 외부 디스플레이 장치는 음성 데이터를 처리할 수 있다(S208).Thereafter, when the user inputs the voice to the mobile terminal 100, the mobile terminal 100 may convert the voice input by the user into voice data which is an electrical signal (S205). Thereafter, the mobile terminal 100 may determine whether the subject of processing the voice data is an external terminal or the mobile terminal 100 (S206). The mobile terminal 100 may determine the subject of processing the voice data according to whether the external display device is set to share the output screen of the mobile terminal 100. Specifically, if the external display device is not sharing the output screen with the mobile terminal 100, the mobile terminal 100 determines that the external terminal is the processing agent of the voice data, and provides the voice data to the external terminal. It may be (S207). The external display apparatus that receives the voice data from the mobile terminal 100 may process the voice data (S208).

반대로, 외부 디스플레이 장치가 이동 단말기(100)와 출력 화면을 공유하는 상태라면, 이동 단말기(100)는 음성 데이터의 처리 주체가 자기 자신인 것으로 판단할 수 있다. 이동 단말기(100)는 외부 디스플레이 장치로 음성 데이터를 제공함이 없이 음성 데이터를 처리할 수 있다(S209).On the contrary, if the external display device shares the output screen with the mobile terminal 100, the mobile terminal 100 may determine that the subject of the audio data is itself. The mobile terminal 100 may process the voice data without providing the voice data to the external display device (S209).

외부 디스플레이 장치가 이동 단말기(100)와 이동 단말기(100)의 출력 화면을 공유한다면, 외부 디스플레이 장치를 통해 출력되는 영상은 이동 단말기(100)의 출력 화면과 동일한 것일 수 있다. 이에 따라, 외부 디스플레이 장치에 음성 데이터를 제공한다 하더라도, 음성 데이터의 처리 결과를 표시할 수 없다. 위와 같이, 외부 디스플레이 장치가 음성 데이터의 처리 결과를 표시할 수 없는 상태에 있다면, 사용자가 이동 단말기(100)의 동작을 조절하기 위해 음성을 입력한 것으로 판단하여, 음성 데이터의 처리 주체를 이동 단말기(100)로 지정할 수 있다.If the external display device shares the output screen of the mobile terminal 100 with the mobile terminal 100, the image output through the external display device may be the same as the output screen of the mobile terminal 100. Accordingly, even when the audio data is provided to the external display device, the processing result of the audio data cannot be displayed. As described above, if the external display device is in a state in which it is not possible to display the processing result of the voice data, it is determined that the user inputs the voice to control the operation of the mobile terminal 100, and the subject of processing the voice data is determined by the mobile terminal. Can be specified as (100).

반대로, 외부 디스플레이 장치가 이동 단말기(100)와 이동 단말기(100)의 출력 화면을 공유하고 있지 않다면, 외부 디스플레이 장치를 통해 음성 데이터의 처리 결과를 표시할 수 있다. 위와 같이, 외부 디스플레이 장치가 음성 데이터의 처리 결과를 표시할 수 있는 상태에 있다면, 사용자가 외부 디스플레이 장치의 동작을 조절하기 위해 음성을 입력한 것으로 판단하여, 음성 데이터의 처리 주체를 외부 디스플레이 장치로 지정할 수 있다.On the contrary, if the external display device does not share the output screen of the mobile terminal 100 and the mobile terminal 100, the external display device may display the processing result of the voice data. As described above, when the external display device is in a state capable of displaying the processing result of the voice data, it is determined that the user inputs the voice to adjust the operation of the external display device, and the subject of the voice data is transferred to the external display device. Can be specified.

도 2에 있어서, 외부 디스플레이 장치가 마이크를 비활성화 하는 것이 S201 단계 이후에 수행되는 것으로 도시되었지만, S201 단계 이후에 외부 디스플레이 장치가 비활성화 되어야 하는 것은 아니다. S201 단계는 S204 단계의 수행 이후에 수행되거나, S201 단계 또는 S204 단계와 동시에 수행될 수도 있다.In FIG. 2, it is illustrated that the external display device deactivates the microphone after step S201, but it is not necessary to deactivate the external display device after step S201. The step S201 may be performed after the step S204 is performed, or may be performed simultaneously with the step S201 or the step S204.

이하에서는 후술될 도면을 참조하여, 도 1 및 2에 도시된 이동 단말기(100) 및 외부 디스플레이 장치의 동작을 상세히 살펴보기로 한다. 설명의 편의를 위해, 이동 단말기(100)의 구성에는 “제1”의 첨두어를 부가하고, 외부 디스플레이 장치의 구성에는 “제2”의 첨두어를 부가하기로 한다.Hereinafter, operations of the mobile terminal 100 and the external display device illustrated in FIGS. 1 and 2 will be described in detail with reference to the drawings to be described below. For convenience of description, a “first” prefix is added to the configuration of the mobile terminal 100 and a “second” prefix is added to the configuration of the external display device.

도 3은 도 1에 도시된 이동 단말기(100)의 블록 구성도(Block Diagram)이다. 도 3을 참조하면, 이동 단말기(100)는 제1 마이크(110), 제1 디스플레이부(120), 제1 무선 통신부(130), 제1 메모리(140) 및 제1 제어부(150)를 포함할 수 있다. 이와 함께, 이동 단말기(100)는 제1 음성인식 모듈(152) 및 제1 명령어 생성 모듈(154)을 더 포함할 수도 있다. 도 3에서는 제1 음성인식 모듈(152) 및 제1 명령어 생성 모듈(154)이 제1 제어부(150)에 포함되는 것으로 예시되었으나, 제1 음성인식 모듈(152) 및 제1 명령어 생성 모듈(154)은 제1 제어부(150)와 별개로 구성될 수도 있다.FIG. 3 is a block diagram of the mobile terminal 100 shown in FIG. 1. Referring to FIG. 3, the mobile terminal 100 includes a first microphone 110, a first display unit 120, a first wireless communication unit 130, a first memory 140, and a first control unit 150. can do. In addition, the mobile terminal 100 may further include a first voice recognition module 152 and a first command generation module 154. Although FIG. 3 illustrates that the first voice recognition module 152 and the first command generation module 154 are included in the first controller 150, the first voice recognition module 152 and the first command generation module 154 are illustrated. ) May be configured separately from the first control unit 150.

이하에서는 도 4의 동작 흐름도를 참조하여, 도 3에 도시된 이동 단말기(100)의 각 구성요소의 동작을 상세히 설명하기로 한다.Hereinafter, the operation of each component of the mobile terminal 100 illustrated in FIG. 3 will be described in detail with reference to the operation flowchart of FIG. 4.

도 4는 본 발명이 일실시예에 따른 이동 단말기(100)의 동작 흐름도이다. 먼저, 제1 제어부(150)는 외부 디스플레이 장치와 통신 채널이 형성되도록 제1 무선 통신부(130)를 제어할 수 있다(S401). 외부 디스플레이 장치와 통신 채널을 형성함에 있어서, 제1 무선 통신부(130)와 외부 디스플레이 장치는 Wi-Fi Direct, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Commucation) 등을 이용할 수 있다. 제1 무선 통신부(130)와 외부 디스플레이 장치가 NFC를 이용하여 통신 채널을 형성하는 경우, 제1 무선 통신부(130)와 외부 디스플레이 장치는 10cm 이내의 이격 거리를 유지하여야 할 것이다.4 is an operation flowchart of a mobile terminal 100 according to an embodiment of the present invention. First, the first controller 150 may control the first wireless communication unit 130 to form a communication channel with an external display device (S401). In forming a communication channel with an external display device, the first wireless communication unit 130 and the external display device may use Wi-Fi Direct, Bluetooth, Zigbee, and Near Field Communication (NFC). When the first wireless communication unit 130 and the external display device form a communication channel using NFC, the first wireless communication unit 130 and the external display device should maintain a separation distance within 10 cm.

외부 디스플레이 장치의 접속을 유도하기 위해, 제1 무선 통신부(130)는 핫스팟으로 설정될 수도 있다. 핫스팟은 제1 무선 통신부(130)를 휴대형 AP로 사용하는 것으로, LTE, CDMA, WCDMA 등의 이동통신 주파수 대역의 통신 신호를 Wi-Fi 주파수 대역의 통신 신호로 변환함으로써 외부 디스플레이 장치의 접속을 유도할 수 있다. 제1 무선 통신부(130)가 휴대형 AP로 설정된 경우, 외부 디스플레이 장치는 휴대형 AP의 SSID(Service Set Identifier)를 선택하고, 접속 암호가 설정된 경우에는 접속 암호를 입력함으로써 제1 무선 통신부(130)에 접속할 수 있다.In order to induce connection of an external display device, the first wireless communication unit 130 may be set as a hot spot. The hotspot uses the first wireless communication unit 130 as a portable AP, and induces connection of an external display device by converting a communication signal of a mobile communication frequency band such as LTE, CDMA, WCDMA, etc. into a communication signal of a Wi-Fi frequency band. can do. When the first wireless communication unit 130 is set as the portable AP, the external display device selects the SSID (Service Set Identifier) of the portable AP, and when the access password is set, inputs the access password to the first wireless communication unit 130. I can connect it.

이후, 사용자가 음성을 입력하면, 제1 마이크(110)는 사용자의 음성을 전기적 신호인 음성 데이터로 가공한다(S402). 제1 마이크(110)에서 음성 데이터가 생성되면, 제1 제어부(150)는 음성 데이터의 처리 주체가 외부 단말기인지를 판단할 수 있다(S403). 구체적으로, 제1 제어부(150)는 외부 디스플레이 장치가 제1 디스플레이부(120)의 출력 화면을 공유하도록 설정되었는지 여부에 기초하여 음성 데이터의 처리 주체를 판단할 수 있다. 외부 디스플레이 장치가 제1 디스플레이부(120)의 출력 화면을 공유하도록 설정된 경우라면, 제1 제어부(150)는 음성 데이터의 처리 주체를 외부 디스플레이 장치로 판단할 수 있다. 반면, 외부 디스플레이 장치가 제1 디스플레이부(120)의 출력 화면을 공유하도록 설정된 경우가 아니라면, 제1 제어부(150)는 음성 데이터의 처리 주체를 이동 단말기(100)로 판단할 수 있다.Then, when the user inputs the voice, the first microphone 110 processes the user's voice into voice data that is an electrical signal (S402). When the voice data is generated by the first microphone 110, the first controller 150 may determine whether the subject of processing the voice data is an external terminal (S403). In detail, the first controller 150 may determine a processing subject of the voice data based on whether the external display device is set to share the output screen of the first display unit 120. When the external display device is set to share the output screen of the first display unit 120, the first controller 150 may determine the subject of processing the voice data as the external display device. On the other hand, unless the external display device is set to share the output screen of the first display unit 120, the first controller 150 may determine the subject of processing the voice data as the mobile terminal 100.

음성 데이터의 처리 주체를 외부 디스플레이 장치로 판단한 경우, 제1 제어부(150)는 외부 디스플레이 장치로 음성 데이터가 제공되도록 제1 무선 통신부(130)를 제어할 수 있다(S404). 그렇지 않고, 음성 데이터의 처리 주체를 이동 단말기(100)로 판단한 경우, 제1 제어부(150)는 스스로 음성 데이터를 처리할 수 있다. 이에 대해 상세히 살펴보면, 먼저, 제1 음성인식 모듈(152)은 음성 데이터에 음성 인식 알고리즘을 적용하여 음성을 인식할 수 있다(S405). 구체적으로 제1 음성 인식 모듈은 사용자의 발화(utterance)와 주파수특성이 가장 유사한 단어나 문장을 음성 인식 데이터베이스로부터 추출할 수 있다. 여기서, 데이터베이스는 제1 메모리(140)에 저장될 수도 있지만, 웹 서버(도면 미도시) 등에 저장된 것일 수도 있다.If the subject of processing the voice data is determined as the external display device, the first controller 150 may control the first wireless communication unit 130 to provide the voice data to the external display device (S404). Otherwise, when it is determined that the subject of processing the voice data is the mobile terminal 100, the first controller 150 may process the voice data by itself. In detail, first, the first voice recognition module 152 may recognize a voice by applying a voice recognition algorithm to the voice data (S405). In detail, the first speech recognition module may extract a word or sentence having the most similar utterance and frequency characteristics from the user to the speech recognition database. Here, the database may be stored in the first memory 140, but may also be stored in a web server (not shown).

이후, 제1 명령어 생성 모듈(154)은 제1 음성인식 모듈(152)을 통해 인식된 음성에 대응하는 명령어를 반환할 수 있다(S406). 제1 명령어 생성 모듈(154)이 명령어를 반환하면, 제1 제어부(150)는 반환된 명령어를 처리하여, 사용자의 음성에 대응하는 동작을 수행할 수 있다(S407).Thereafter, the first command generation module 154 may return a command corresponding to the voice recognized through the first voice recognition module 152 (S406). When the first command generation module 154 returns the command, the first control unit 150 may process the returned command to perform an operation corresponding to the voice of the user (S407).

다음으로, 도 1 및 도 2에 도시된 외부 디스플레이 장치의 동작을 상세히 살펴보기로 한다.Next, the operation of the external display device illustrated in FIGS. 1 and 2 will be described in detail.

도 5는 도 1에 도시된 외부 디스플레이 장치의 블록 구성도(Block Diagram)이다. 도 5를 참조하면, 외부 디스플레이 장치는 제2 마이크(210), 제2 디스플레이부(220), 제2 무선 통신부(230), 제2 메모리(240) 및 제2 제어부(250)를 포함할 수 있다. 이와 함께, 외부 디스플레이 장치는 제2 음성인식 모듈(252) 및 제2 명령어 생성 모듈(254)을 더 포함할 수도 있다. 도 5에서는 제2 음성인식 모듈(252) 및 제2 명령어 생성 모듈(254)이 제2 제어부(250)에 포함되는 것으로 예시되었으나, 제2 음성인식 모듈(252) 및 제2 명령어 생성 모듈(254)은 제2 제어부(250)와 별개로 구성될 수도 있다.FIG. 5 is a block diagram of the external display device shown in FIG. 1. Referring to FIG. 5, the external display device may include a second microphone 210, a second display unit 220, a second wireless communication unit 230, a second memory 240, and a second control unit 250. have. In addition, the external display device may further include a second voice recognition module 252 and a second command generation module 254. In FIG. 5, although the second voice recognition module 252 and the second command generation module 254 are illustrated as being included in the second control unit 250, the second voice recognition module 252 and the second command generation module 254 are included. ) May be configured separately from the second control unit 250.

나아가, 외부 디스플레이 장치가 도 5에 도시된 모든 구성요소를 구비하여야 하는 것은 아니다. 본 발명에 따른 외부 디스플레이 장치는 도 5에 도시된 구성요소 중 적어도 일부만을 구비할 수도 있다. 일예로, 외부 디스플레이 장치는 경우에 따라 제2 마이크(210)를 구비하지 않을 수도 있다. 설명의 편의를 위해, 이하 후술될 외부 디스플레이 장치는 도 5의 모든 구성요소를 구비한 상태라 가정한다.Furthermore, the external display device does not have to include all the components shown in FIG. 5. The external display device according to the present invention may include only at least some of the components shown in FIG. 5. For example, the external display device may not include the second microphone 210 in some cases. For convenience of explanation, it is assumed that the external display device to be described below includes all the components of FIG. 5.

도 6은 본 발명이 일실시예에 따른 외부 디스플레이 장치의 동작 흐름도이다. 먼저 제2 제어부(250)는 이동 단말기(100)와 통신 채널이 형성되도록 제2 무선 통신부(230)를 제어할 수 있다(S601). 앞서 살펴본 바와 같이, 제2 무선 통신부(230)와 이동 단말기(100) 사이의 통신 채널은 Wi-Fi Direct, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Commucation) 등을 이용하여 형성될 수 있다. 6 is a flowchart illustrating an operation of an external display apparatus according to an exemplary embodiment. First, the second controller 250 may control the second wireless communication unit 230 to form a communication channel with the mobile terminal 100 (S601). As described above, the communication channel between the second wireless communication unit 230 and the mobile terminal 100 may be formed using Wi-Fi Direct, Bluetooth, Zigbee, Near Field Communication (NFC), or the like. Can be.

이동 단말기(100)가 핫스팟(휴대용 AP)로 설정된 경우, 외부 디스플레이 장치는 이동 단말기(100)의 SSID로 접속을 요청할 수 있다. 휴대용 AP에 접속하기 위한 접속 암호가 설정된 경우, 외부 디스플레이 장치는 이동 단말기(100)로 접속 암호를 제공한 뒤 이동 단말기(100)에 접속할 수 있다.When the mobile terminal 100 is set as a hot spot (portable AP), the external display device may request connection with the SSID of the mobile terminal 100. When the access password for accessing the portable AP is set, the external display device may access the mobile terminal 100 after providing the access password to the mobile terminal 100.

제2 무선 통신부(230)와 이동 단말기(100) 사이에 통신 채널이 형성되면, 제2 제어부(250)는 제2 마이크(210)가 비활성화 되도록 제어할 수 있다(S602). 이에 따라, 제2 무선 통신부(230)와 이동 단말기(100) 사이에 통신 채널이 형성되기 전, 사용자는 외부 디스플레이 장치의 제2 마이크(210)에 음성 입력을 가하여 외부 디스플레이 장치의 동작을 조절할 수 있었지만, 제2 무선 통신부(230)와 이동 단말기(100) 사이에 통신 채널이 형성된 이후, 사용자는 외부 디스플레이 장치의 제2 마이크(210)가 아닌 이동 단말기(100)의 제1 마이크(110)를 이용하여 외부 디스플레이 장치의 동작을 조절할 수 있다. 즉, 제어부는 통신 채널이 형성되기 전에는 마이크를 통해 입력된 음성 데이터(제1 음성 데이터)를 기반으로 동작하고, 통신 채널이 형성된 이후에는 이동 단말기(100)로부터 수신한 음성 데이터(제2 음성 데이터)를 기반으로 동작할 수 있다.When a communication channel is formed between the second wireless communication unit 230 and the mobile terminal 100, the second control unit 250 may control the second microphone 210 to be inactivated (S602). Accordingly, before the communication channel is formed between the second wireless communication unit 230 and the mobile terminal 100, the user may apply an audio input to the second microphone 210 of the external display device to adjust the operation of the external display device. Although the communication channel is formed between the second wireless communication unit 230 and the mobile terminal 100, the user may not use the second microphone 210 of the external display device but the first microphone 110 of the mobile terminal 100. The operation of the external display device can be adjusted. That is, the controller operates based on voice data (first voice data) input through a microphone before the communication channel is formed, and voice data (second voice data) received from the mobile terminal 100 after the communication channel is formed. Can be operated based on

외부 디스플레이 장치가 이동 단말기(100)의 출력 화면을 공유하도록 설정된 경우, 제2 무선 통신부(230)는 이동 단말기(100)로부터 영상 데이터를 수신할 수 있다. 제2 제어부(250)는 제2 디스플레이부(220)로 수신한 영상 데이터를 출력하여 이동 단말기(100)의 출력 화면을 공유할 수 있다.When the external display device is set to share the output screen of the mobile terminal 100, the second wireless communication unit 230 may receive image data from the mobile terminal 100. The second control unit 250 may share the output screen of the mobile terminal 100 by outputting the image data received by the second display unit 220.

외부 디스플레이 장치가 이동 단말기(100)의 출력 화면을 공유하도록 설정된 경우, 제2 무선 통신부(230)는 이동 단말기(100)로부터 음성 데이터를 제공받을 수 없다. 반대로, 외부 디스플레이 장치가 이동 단말기(100)의 출력 화면을 공유하도록 설정된 경우가 아니라면, 제2 무선 통신부(230)는 이동 단말기(100)로부터 음성 데이터를 수신할 수 있다(S603).When the external display device is set to share the output screen of the mobile terminal 100, the second wireless communication unit 230 may not receive voice data from the mobile terminal 100. On the contrary, if the external display device is not set to share the output screen of the mobile terminal 100, the second wireless communication unit 230 may receive voice data from the mobile terminal 100 (S603).

제2 무선 통신부(230)가 음성 데이터를 수신하면 제2 음성인식 모듈(252)은 음성 데이터에 음성 인식 알고리즘을 적용하여 음성을 인식할 수 있다(S604). 구체적으로 제2 음성 인식 모듈은 사용자의 발화(utterance)와 주파수특성이 가장 유사한 단어나 문장을 음성 인식 데이터베이스로부터 추출할 수 있다. 여기서, 데이터베이스는 제2 메모리(240)에 저장될 수도 있지만, 웹 서버(도면 미도시) 등에 저장된 것일 수도 있다.When the second wireless communication unit 230 receives the voice data, the second voice recognition module 252 may recognize the voice by applying a voice recognition algorithm to the voice data (S604). In detail, the second voice recognition module may extract a word or sentence having the most similar utterance and frequency characteristics from the voice recognition database. Here, the database may be stored in the second memory 240, but may also be stored in a web server (not shown).

이후, 제2 명령어 생성 모듈(254)은 제2 음성인식 모듈(252)을 통해 인식된 음성에 대응하는 명령어를 반환할 수 있다(S605). 제2 명령어 생성 모듈(254)이 명령어를 반환하면, 제2 제어부(250)는 반환된 명령어를 처리하여, 사용자의 음성에 대응하는 동작을 수행할 수 있다(S606).Thereafter, the second command generation module 254 may return a command corresponding to the voice recognized through the second voice recognition module 252 (S605). When the second command generation module 254 returns the command, the second control unit 250 may process the returned command to perform an operation corresponding to the voice of the user (S606).

본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.According to one embodiment of the present invention, the above-described method (operation flow diagram) can be implemented as a code that can be read by a processor on a medium on which the program is recorded. Examples of the medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .

상기와 같이 설명된 이동 단말기(100) 및 외부 디스플레이 장치(200)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The mobile terminal 100 and the external display apparatus 200 described as described above are not limited to the configuration and method of the above-described embodiments, but the above embodiments may be modified in various ways. All or part may be optionally combined.

100 : 이동 단말기
110 : 제1 마이크
120 : 제1 디스플레이부
130 : 제1 무선 통신부
140 : 제1 메모리
150 : 제1 제어부
152 : 제1 음성인식 모듈
154 : 제1 명령어 생성 모듈
200 : 외부 디스플레이 장치
210 : 제2 마이크
220 : 제2 디스플레이부
230 : 제2 무선 통신부
240 : 제2 메모리
250 : 제2 제어부
252 : 제2 음성인식 모듈
254 : 제2 명령어 생성 모듈100: mobile terminal
110: first microphone
120: first display unit
130: first wireless communication unit
140: first memory
150: first control unit
152: first voice recognition module
154: first instruction generation module
200: external display device
210: second microphone
220: second display unit
230: second wireless communication unit
240: second memory
250: second control unit
252: second speech recognition module
254: second instruction generation module

Claims (23)

외부 디스플레이 장치; 및
사용자의 음성 입력을 기반으로 음성 데이터를 생성하고,
상기 음성 데이터의 처리 주체를 판단하여,
상기 음성 데이터를 상기 외부 디스플레이 장치로 제공하거나, 스스로 상기 음성 데이터를 처리하는 이동 단말기
를 포함하고,
상기 이동 단말기와 상기 외부 디스플레이 장치 사이 무선 통신이 유지되는 동안 상기 음성 데이터가 발생한 경우,
상기 이동 단말기는 상기 외부 디스플레이 장치를 통해 자신의 출력 화면이 공유되는지 여부에 기초하여 상기 음성 데이터의 처리 주체 및 상기 음성 데이터의 외부 송신 여부를 판단하되,
상기 무선 통신을 통해 상기 이동 단말기 및 상기 외부 디스플레이 장치가 상기 이동 단말기의 출력 화면을 공유하지 않는 경우, 상기 이동 단말기는 상기 음성 데이터의 처리 주체를 상기 외부 디스플레이 장치라 판단하여 상기 음성 데이터를 상기 외부 디스플레이 장치로 송신하고,
상기 무선 통신을 통해 상기 이동 단말기 및 상기 외부 디스플레이장치가 상기 이동 단말기의 출력 화면을 공유하는 경우, 상기 이동 단말기는 상기 음성 데이터의 처리 주체를 상기 이동 단말기라 판단하여 상기 음성 데이터를 상기 외부 디스플레이 장치로 송신하지 않는 것을 특징으로 하는 음성 데이터 처리 시스템.An external display device; And
Generate voice data based on user's voice input,
Determine the subject of processing the voice data,
A mobile terminal that provides the voice data to the external display device or processes the voice data by itself
Lt; / RTI >
When the voice data occurs while wireless communication between the mobile terminal and the external display device is maintained,
The mobile terminal determines whether to process the voice data and the external transmission of the voice data based on whether its output screen is shared through the external display device.
When the mobile terminal and the external display apparatus do not share the output screen of the mobile terminal through the wireless communication, the mobile terminal determines that the subject of processing the voice data is the external display apparatus and transmits the voice data to the external apparatus. To the display device,
When the mobile terminal and the external display apparatus share the output screen of the mobile terminal through the wireless communication, the mobile terminal determines that the subject of processing the voice data is the mobile terminal and transmits the voice data to the external display apparatus. Voice data processing system characterized in that the transmission is not. 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 무선 통신이 유지되는 동안, 상기 외부 디스플레이장치의 마이크는 비활성화 상태를 유지하는 것을 특징으로 하는 음성 데이터 처리 시스템.The method of claim 1,
And while the wireless communication is maintained, the microphone of the external display device remains inactive. 제 1 항에 있어서,
상기 외부 디스플레이 장치는 차량용 센터페시아 디스플레이인 것을 특징으로 하는 음성 데이터 처리 시스템.The method of claim 1,
The external display device is a vehicle center fascia display, characterized in that the voice data processing system. 디스플레이부;
사용자의 음성을 전기적 신호인 음성 데이터로 가공하는 마이크;
외부 디스플레이 장치와 무선 통신을 구축하고 상기 무선 통신부와 통신을 수행하기 위한 무선 통신부; 및
상기 음성 데이터의 처리 주체를 판단하는 제어부를 포함하되,
상기 외부 디스플레이 장치와의 상기 무선 통신이 유지되는 동안 상기 마이크로부터 상기 음성 데이터가 발생한 경우,
상기 음성 데이터의 처리 주체는 상기 무선 통신을 통해 상기 디스플레이부의 출력 영상이 상기 외부 디스플레이 장치와 공유되는지 여부에 기초하여 판단되는 것을 특징으로 하고,
상기 제어부는 상기 외부 디스플레이 장치가 상기 디스플레이부의 상기 출력 영상을 공유하지 않는 경우, 상기 음성 데이터의 처리 주체를 상기 외부 디스플레이 장치로 판단하여, 상기 외부 디스플레이 장치에서 상기 음성 데이터를 처리할 수 있도록 상기 외부 디스플레이 장치로 상기 음성 데이터를 송신하고,
상기 외부 디스플레이 장치가 상기 디스플레이부의 상기 출력 영상을 공유하는 경우, 상기 음성 데이터의 처리 주체를 이동 단말기로 결정하고, 상기 외부 디스플레이 장치로 상기 음성 데이터를 송신하지 않는 것을 특징으로 하는 이동 단말기.A display unit;
A microphone for processing a user's voice into voice data which is an electrical signal;
A wireless communication unit for establishing wireless communication with an external display device and communicating with the wireless communication unit; And
A control unit for determining the subject of the processing of the voice data,
When the voice data is generated from the microphone while the wireless communication with the external display device is maintained,
The subject of processing the voice data is determined based on whether the output image of the display unit is shared with the external display apparatus through the wireless communication.
If the external display apparatus does not share the output image of the display unit, the controller determines the subject of processing of the audio data as the external display apparatus, so that the external display apparatus can process the audio data. Transmit the voice data to a display device,
And when the external display device shares the output image of the display unit, determines the subject of processing the audio data as a mobile terminal, and does not transmit the audio data to the external display device. 삭제delete 삭제delete 삭제delete 제 7 항에 있어서,
상기 무선 통신은 Wi-Fi, 블루투스, Zigbee 및 NFC 중 적어도 하나를 이용하는 것을 특징으로 하는 이동 단말기.The method of claim 7, wherein
The wireless communication uses at least one of Wi-Fi, Bluetooth, Zigbee and NFC. 제 7 항에 있어서,
상기 무선 통신부가 핫스팟으로 설정되고,
상기 무선 통신부는 상기 외부 디스플레이 장치가 상기 무선 통신부로 접속을 요청하면 상기 외부 디스플레이 장치와의 상기 무선 통신을 개시하는 것을 특징으로 하는 이동 단말기.The method of claim 7, wherein
The wireless communication unit is set as a hot spot,
And the wireless communication unit initiates the wireless communication with the external display device when the external display device requests a connection to the wireless communication unit. 제 12 항에 있어서,
상기 무선 통신부는 이동통신 주파수 대역의 통신 신호를 Wi-Fi 주파수 대역의 통신 신호로 변환하여 상기 외부 디스플레이 장치로 제공하는 것을 특징으로 하는 이동 단말기.13. The method of claim 12,
And the wireless communication unit converts a communication signal of a mobile communication frequency band into a communication signal of a Wi-Fi frequency band and provides it to the external display device. 제 7 항에 있어서,
상기 음성 데이터에 음성 인식 알고리즘을 적용하여 음성을 인식하는 음성 인식 모듈; 및
상기 인식된 음성과 대응하는 명령어를 출력하는 명령어 생성 모듈
을 더 포함하는 이동 단말기.The method of claim 7, wherein
A speech recognition module configured to recognize a speech by applying a speech recognition algorithm to the speech data; And
Command generation module for outputting a command corresponding to the recognized voice
A mobile terminal further comprising. 제 14 항에 있어서,
상기 음성 데이터의 처리 주체가 상기 이동 단말기인 경우,
상기 제어부는 상기 명령어 생성 모듈로부터 출력되는 명령어를 처리하는 것을 특징으로 하는 이동 단말기.15. The method of claim 14,
When the subject of processing the voice data is the mobile terminal,
The control unit is a mobile terminal, characterized in that for processing the command output from the command generation module. 제 7 항에 있어서,
상기 외부 디스플레이 장치는 차량용 센터페시아 디스플레이인 것을 특징으로 하는 이동 단말기.The method of claim 7, wherein
And the external display device is a vehicle center fascia display. 외부 디스플레이 장치와 무선 통신을 구축하는 단계;
상기 무선 통신이 유지되는 동안 사용자가 음성을 입력한 경우, 입력된 음성을 기반으로 음성 데이터를 생성하는 단계;
상기 외부 디스플레이 장치를 통해 자신의 출력 영상이 공유되는지 여부에 기초하여 상기 음성 데이터의 처리 주체를 판단하는 단계; 및
상기 판단 결과에 따라 상기 음성 데이터의 처리 주체가 상기 외부 디스플레이 장치로 판단되는 경우 상기 외부 디스플레이 장치로 상기 음성 데이터를 송신하고, 상기 음성 데이터의 처리 주체가 이동 단말기로 판단되는 경우 상기 외부 디스플레이 장치로 상기 음성 데이터를 송신하지 않는 단계
를 포함하되,
상기 음성 데이터의 처리 주체 판단 단계는,
상기 외부 디스플레이 장치가 상기 출력 영상을 공유하는 경우, 상기 음성 데이터의 처리 주체를 상기 외부 디스플레이 장치로 판단하고, 상기 외부 디스플레이 장치가 상기 출력 영상을 공유하지 않는 경우, 상기 음성 데이터의 처리 주체를 이동 단말기로 판단하는 단계인 것을 특징으로 하는 이동 단말기의 음성 데이터 처리 방법.Establishing wireless communication with an external display device;
Generating voice data based on the input voice when the user inputs a voice while the wireless communication is maintained;
Determining a processing subject of the audio data based on whether the output image of the user is shared through the external display device; And
When the subject of processing the voice data is determined to be the external display device according to the determination result, the voice data is transmitted to the external display apparatus, and when the subject of processing of the voice data is determined to be a mobile terminal, the external display apparatus is transmitted. Not transmitting the voice data
Including but not limited to:
The processing subject determination step of the voice data,
When the external display device shares the output image, the subject of processing the audio data is determined as the external display apparatus. When the external display apparatus does not share the output image, the subject of processing the audio data is moved. The voice data processing method of the mobile terminal, characterized in that the step of determining the terminal. 삭제delete 삭제delete 제 17 항에 있어서,
상기 음성 데이터의 처리 주체가 상기 이동 단말기인 경우,
상기 음성 데이터에 음성 인식 알고리즘을 적용하여 음성을 인식하는 단계;
상기 인식된 음성과 대응하는 명령어를 출력하는 단계; 및
상기 명령어를 처리하는 단계를 더 포함하는 이동 단말기의 음성 데이터 처리 방법.The method of claim 17,
When the subject of processing the voice data is the mobile terminal,
Recognizing a speech by applying a speech recognition algorithm to the speech data;
Outputting a command corresponding to the recognized voice; And
And processing the command. 삭제delete 삭제delete 삭제delete
KR1020120075676A 2012-07-11 2012-07-11 Mobile terminal and voice data processing method thereof, and system using thereof KR101283461B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120075676A KR101283461B1 (en) 2012-07-11 2012-07-11 Mobile terminal and voice data processing method thereof, and system using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120075676A KR101283461B1 (en) 2012-07-11 2012-07-11 Mobile terminal and voice data processing method thereof, and system using thereof

Publications (1)

Publication Number Publication Date
KR101283461B1 true KR101283461B1 (en) 2013-07-09

Family

ID=48996795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120075676A KR101283461B1 (en) 2012-07-11 2012-07-11 Mobile terminal and voice data processing method thereof, and system using thereof

Country Status (1)

Country Link
KR (1) KR101283461B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022010157A1 (en) * 2020-07-06 2022-01-13 삼성전자 주식회사 Method for providing screen in artificial intelligence virtual secretary service, and user terminal device and server for supporting same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023331A (en) * 2002-09-11 2004-03-18 현대모비스 주식회사 Hands free apparatus for vehicle
KR20120015931A (en) * 2010-08-13 2012-02-22 삼성전자주식회사 Portable electric device and display mirorring method therof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023331A (en) * 2002-09-11 2004-03-18 현대모비스 주식회사 Hands free apparatus for vehicle
KR20120015931A (en) * 2010-08-13 2012-02-22 삼성전자주식회사 Portable electric device and display mirorring method therof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022010157A1 (en) * 2020-07-06 2022-01-13 삼성전자 주식회사 Method for providing screen in artificial intelligence virtual secretary service, and user terminal device and server for supporting same
US11756547B2 (en) 2020-07-06 2023-09-12 Samsung Electronics Co., Ltd Method for providing screen in artificial intelligence virtual assistant service, and user terminal device and server for supporting same

Similar Documents

Publication Publication Date Title
US10462829B2 (en) Method and apparatus for accessing wireless access point
EP3177077A1 (en) Method and device for network access
US10237901B2 (en) Method and apparatus for connecting with controlled smart device, and storage medium
KR101556180B1 (en) Mobile terminal, image display device mounted on vehicle and data processing method using the same
US20170126420A1 (en) Method for controlling electronic device
EP2754263B1 (en) Mobile terminal, image display device mounted on vehicle and data processing method using the same
US20170094522A1 (en) Methods for controlling smart device
KR20180026160A (en) Method for controlling source device at sink device and apparatus for the same
KR20140074549A (en) Method and apparatus for providing context aware service using speech recognition
KR20130141819A (en) Method and apparatus for hearing function based on speaker
WO2015031736A2 (en) Automatically disabling the on-screen keyboard of an electronic device in a vehicle
US11221634B2 (en) Unmanned aerial vehicle control method and device, unmanned aerial vehicle and remote control device
KR20150088494A (en) Method for controlling wireless network connection between devices using difference communication protocol and computer-readable recording media for storing program for the same
US20140160997A1 (en) Apparatus and method for data transmission and reception of a mobile terminal
KR101218295B1 (en) Mobile terminal and screen sharing method thereof
US9668111B2 (en) Terminal for contents sharing, an operating method thereof, and a vehicle information providing terminal
KR20170043319A (en) Electronic device and audio ouputting method thereof
KR20150027422A (en) Method and apparatus for setting wireless communication using device name in portable terminal
CN104159283A (en) Method and device for controlling message transmission
KR20180070891A (en) Electronic device for controlling speaker and method of operating the same
US20160119573A1 (en) User terminal apparatus and control method thereof
KR101283461B1 (en) Mobile terminal and voice data processing method thereof, and system using thereof
US9392098B2 (en) Dummy terminal and main body
CN111385798A (en) Electronic device and control method thereof
KR20180061908A (en) Display device and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160615

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190611

Year of fee payment: 9