KR20160017911A - Mobile terminal and method for controlling the same - Google Patents
Mobile terminal and method for controlling the same Download PDFInfo
- Publication number
- KR20160017911A KR20160017911A KR1020140101505A KR20140101505A KR20160017911A KR 20160017911 A KR20160017911 A KR 20160017911A KR 1020140101505 A KR1020140101505 A KR 1020140101505A KR 20140101505 A KR20140101505 A KR 20140101505A KR 20160017911 A KR20160017911 A KR 20160017911A
- Authority
- KR
- South Korea
- Prior art keywords
- conversation
- mobile terminal
- user
- input
- microphone
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Abstract
Description
본 발명은 대화 중인 사용자가 이동 단말기를 사용하고자 하는 것으로 판단되는 경우, 사용자의 대화 내용을 디스플레이할 수 있는 이동 단말기 및 그 제어 방법에 관한 것이다.The present invention relates to a mobile terminal capable of displaying a conversation contents of a user when a conversation user is determined to use the mobile terminal and a control method thereof.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.A terminal can be divided into a mobile / portable terminal and a stationary terminal depending on whether the terminal is movable or not. The mobile terminal can be divided into a handheld terminal and a vehicle mounted terminal according to whether the user can directly carry the mobile terminal.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.The functions of mobile terminals are diversified. For example, there are data and voice communication, photographing and video shooting through a camera, voice recording, music file playback through a speaker system, and outputting an image or video on a display unit. Some terminals are equipped with an electronic game play function or a multimedia player function. In particular, modern mobile terminals can receive multicast signals that provide visual content such as broadcast and video or television programs.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.Such a terminal has various functions, for example, in the form of a multimedia device having multiple functions such as photographing and photographing of a moving picture, reproduction of a music or video file, reception of a game and broadcasting, etc. .
이동 단말기의 다양한 활용성을 이유로, 이동 단말기는 현대인들에게 없어서는 안될 필수품으로 여겨지고 있다. 각 개인들은 항상 이동 단말기를 소지하고 있고, 때와 장소를 가리지 않고, 언제든지 이동 단말기를 사용하고 있다.Because of the various usability of the mobile terminal, the mobile terminal is considered to be indispensable to modern people. Each individual is always carrying a mobile terminal and is using the mobile terminal at any time, anywhere.
다만, 사용자가 다른 작업을 수행 도중 이동 단말기를 사용하고자 하는 경우, 다른 작업에 대한 집중도가 흐트러지게 된다. 일예로, 사용자가 다른 사람과 대화를 진행하는 도중 이동 단말기에 전화가 걸려 왔다면, 사용자가 전화를 받을 동안 대화는 잠시 중단되어야 하는 불편이 따른다.However, when the user desires to use the mobile terminal while performing another task, the concentration of the other task is disturbed. For example, if a user is on a call to a mobile terminal during a conversation with another person, the conversation may have to be interrupted for a while while the user is on the phone.
이에 본 발명에서는, 사용자가 대화에 대한 집중도를 유지한 채, 이동 단말기를 사용할 수 있는 방안에 대해 논의하고자 한다.Therefore, in the present invention, a method of using the mobile terminal while maintaining the concentration of the conversation by the user will be discussed.
본 발명은 사용자 편의를 증진시킨 이동 단말기 및 그 제어 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a mobile terminal with improved user convenience and a control method thereof.
구체적으로, 본 발명은 사용자가 대화를 진행하고 있을 때, 이동 단말기를 사용해야 할 필요가 발생하면, 사용자가 이동 단말기를 이용하면서도 대화에 대한 집중도를 유지할 수 있는 이동 단말기를 제공하는 것을 목적으로 한다.More particularly, the present invention provides a mobile terminal that allows a user to maintain a degree of conversation while using a mobile terminal when a user needs to use the mobile terminal while a conversation is in progress.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 소리를 입력 받기 위한 마이크; 정보를 출력하기 위한 디스플레이부; 및 사용자가 이동 단말기를 이용하고자 하는 것으로 판단되거나, 상기 이동 단말기에서 이벤트가 발생한 경우, 상기 마이크를 활성화 하고, 상기 사용자가 대화를 진행 중인 경우, 상기 마이크를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환한 대화 내용이 디스플레이되도록 제어하는 제어부를 포함하는 이동 단말기가 제공된다.According to an aspect of the present invention, there is provided a microphone for receiving sound, A display unit for outputting information; And activating the microphone when the user is determined to use the mobile terminal or when an event occurs in the mobile terminal, and when the user is in the middle of a conversation, And a control unit for controlling the converted conversation contents to be displayed.
또한, 본 발명의 다른 측면에 따르면, 사용자가 이동 단말기를 이용하고자 하는 것으로 판단되거나, 상기 이동 단말기에서 이벤트가 발생한 경우, 마이크를 활성화하는 단계; 및 상기 마이크를 통해 입력되는 음성을 분석한 결과 상기 사용자가 대화를 진행 중인 것으로 판단되는 경우, 상기 마이크를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환함에 따라 생성된 대화 내용을 디스플레이하는 단계를 포함하는 이동 단말기의 제어 방법이 제공된다.According to another aspect of the present invention, there is provided a method of controlling a mobile terminal, the method comprising: activating a microphone when the user is determined to use the mobile terminal or an event occurs in the mobile terminal; And displaying the generated conversation contents by converting the voice of the conversation participants input through the microphone into text when it is determined that the user is in conversation as a result of analyzing the voice inputted through the microphone A control method of the mobile terminal is provided.
본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The present invention is not limited to the above-mentioned solving means, and other solving means which is not mentioned may be apparent from the following description to those skilled in the art to which the present invention belongs It can be understood.
본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.Effects of the mobile terminal and the control method according to the present invention will be described as follows.
본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자 편의를 증진시킨 이동 단말기를 제공할 수 있는 장점이 있다.According to at least one of the embodiments of the present invention, it is possible to provide a mobile terminal that improves user convenience.
구체적으로, 본 발명은 사용자가 대화를 진행하고 있을 때, 이동 단말기를 사용해야 할 필요가 발생하면, 사용자가 이동 단말기를 이용하면서도 대화에 대한 집중도를 유지할 수 있는 이동 단말기를 제공할 수 있는 장점이 있다.More specifically, the present invention has an advantage in that, when a user needs to use a mobile terminal when a conversation is in progress, the user can provide a mobile terminal that can maintain the concentration of conversation while using the mobile terminal .
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2는 본 발명의 일예에 따른 이동 단말기의 동작 흐름도이다.
도 3은 텍스트로 변환된 대화 내용이 출력되는 예를 도시한 도면이다.
도 4는 참가자별 대화 내용이 식별 표시되는 예를 도시한 도면이다.
도 5a 및 도 5b는 참가자별 대화 내용이 식별 표시되는 다른 예를 도시한 도면이다.
도 6은 대화 창이 숨겨지는 예를 도시한 도면이다.
도 7은 디스플레이부가 두개의 영역으로 분할되는 예를 도시한 도면이다.
도 8은 사용자 입력이 수신됨에 따라 대화 내용이 표시되는 예를 도시한 도면이다.
도 9는 대화 창에 포함된 대화 내용 중 일부가 작업 창에 복사되는 예를 도시한 도면이다.
도 10은 소정 상대방과 대화를 진행 중인 채팅 창에 대화에 참가중인 참가자가 초대되는 예를 도시한 도면이다.
도 11a 및 도 11b는 사용자 입력에 대한 응답으로, 대화 내용이 디스플레이되는 예를 도시한 도면이다.
도 12는 대화 내용이 디스플레이되는 동안 기 설정된 소리가 입력되었을 경우, 이동 단말기의 동작을 설명하기 위해 예시한 도면이다.1A is a block diagram illustrating a mobile terminal according to the present invention.
1B and 1C are conceptual diagrams illustrating an example of a mobile terminal according to the present invention in different directions.
2 is a flowchart illustrating an operation of a mobile terminal according to an exemplary embodiment of the present invention.
3 is a diagram showing an example in which conversation contents converted into text are outputted.
4 is a diagram showing an example in which conversation contents per participant are identified and displayed.
5A and 5B are diagrams showing another example in which conversation contents per participant are identified and displayed.
6 is a diagram showing an example in which a dialog window is hidden.
7 is a diagram showing an example in which the display section is divided into two regions.
8 is a diagram illustrating an example in which conversation contents are displayed as a user input is received.
9 is a diagram showing an example in which some of the conversation contents included in the conversation window are copied to the operation window.
10 is a view showing an example in which a participant participating in a conversation is invited to a chat window in which a conversation is in progress with a predetermined other party.
11A and 11B are diagrams showing an example in which conversation contents are displayed in response to user input.
12 is a diagram illustrating an operation of the mobile terminal when a preset sound is input while the conversation contents are displayed.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.The mobile terminal described in this specification includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a slate PC A tablet PC, an ultrabook, a wearable device such as a smartwatch, a smart glass, and a head mounted display (HMD). have.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be appreciated by those skilled in the art that the configuration according to the embodiments described herein may be applied to fixed terminals such as a digital TV, a desktop computer, a digital signage, and the like, will be.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.1A to 1C are block diagrams for explaining a mobile terminal according to the present invention, and FIGS. 1B and 1C are conceptual diagrams showing an example of a mobile terminal according to the present invention in different directions.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.The
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력 받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.The
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.In addition, the
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operations related to the application program, the
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.In addition, the
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.The
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.At least some of the components may operate in cooperation with one another to implement a method of operation, control, or control of a mobile terminal according to various embodiments described below. In addition, the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the
도 1b 및 1c를 참조하면, 개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고 와치 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다. 이동 단말기의 특정 유형에 관련될 것이나, 이동 단말기의 특정유형에 관한 설명은 다른 타입의 이동 단말기에 일반적으로 적용될 수 있다.Referring to FIGS. 1B and 1C, the disclosed
여기에서, 단말기 바디는 이동 단말기(100)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수 있다.Here, the terminal body can be understood as a concept of referring to the
이동 단말기(100)는 외관을 이루는 케이스(예를 들면, 프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 이동 단말기(100)는 프론트 케이스(101)와 리어 케이스(102)를 포함할 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.The
단말기 바디의 전면에는 디스플레이부(151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(151)의 윈도우(151a)는 프론트 케이스(101)에 장착되어 프론트 케이스(101)와 함께 단말기 바디의 전면을 형성할 수 있다.A
경우에 따라서, 리어 케이스(102)에도 전자부품이 장착될 수 있다. 리어 케이스(102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(102)에는 장착된 전자부품을 덮기 위한 후면커버(103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(103)가 리어 케이스(102)로부터 분리되면, 리어 케이스(102)에 장착된 전자부품은 외부로 노출된다.In some cases, electronic components may also be mounted on the
도시된 바와 같이, 후면커버(103)가 리어 케이스(102)에 결합되면, 리어 케이스(102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(102)는 후면커버(103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(103)에는 카메라(121b)나 음향 출력부(152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.As shown, when the
이러한 케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.These
이동 단말기(100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 이동 단말기(100)가 구현될 수 있다.The
한편, 이동 단말기(100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다. 예를 들어, 방수부는 윈도우(151a)와 프론트 케이스(101) 사이, 프론트 케이스(101)와 리어 케이스(102) 사이 또는 리어 케이스(102)와 후면 커버(103) 사이에 구비되어, 이들의 결합 시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.Meanwhile, the
이동 단말기(100)에는 디스플레이부(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 제2 조작유닛(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.The
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 카메라(121a) 및 제1 조작유닛(123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(123b), 마이크로폰(122) 및 인터페이스부(160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 이동 단말기(100)를 일 예로 들어 설명한다.1B and 1C, a
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.However, these configurations are not limited to this arrangement. These configurations may be excluded or replaced as needed, or placed on different planes. For example, the
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.The
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The
또한, 디스플레이부(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.In addition, the
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.The
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(151a)와 윈도우(151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.The touch sensor may be a film having a touch pattern and disposed between the
이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.In this way, the
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.The first
디스플레이부(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 이동 단말기(100)의 외관이 보다 심플해질 수 있다.The
광 출력부(154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(154)를 제어할 수 있다.The
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.The
제1 및 제2 조작유닛(123a, 123b)은 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 제2 조작유닛(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.The first and
본 도면에서는 제1 조작유닛(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.In this figure, the
제1 및 제2 조작유닛(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.The contents input by the first and
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.On the other hand, a rear input unit (not shown) may be provided on the rear surface of the terminal body as another example of the
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.The rear input unit may be disposed so as to overlap with the
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(123a)이 미배치되는 경우, 디스플레이부(151)가 보다 대화면(大畵面)으로 구성될 수 있다.When a rear input unit is provided on the rear surface of the terminal body, a new type of user interface using the rear input unit can be realized. When the
한편, 이동 단말기(100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(180)는 지문인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(151) 또는 사용자 입력부(123)에 내장될 수 있다.Meanwhile, the
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.The
인터페이스부(160)는 이동 단말기(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 이동 단말기(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.The
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.And a
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, "어레이(array) 카메라"라고 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.The
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.The
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.And a second
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.The terminal body may be provided with at least one antenna for wireless communication. The antenna may be embedded in the terminal body or formed in the case. For example, an antenna constituting a part of the broadcast receiving module 111 (see FIG. 1A) may be configured to be able to be drawn out from the terminal body. Alternatively, the antenna may be formed in a film type and attached to the inner surface of the
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.The terminal body is provided with a power supply unit 190 (see FIG. 1A) for supplying power to the
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.The
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.The
이동 단말기(100)에는 외관을 보호하거나, 이동 단말기(100)의 기능을 보조 또는 확장시키는 액세서리가 추가될 수 있다. 이러한 액세서리의 일 예로, 이동 단말기(100)의 적어도 일면을 덮거나 수용하는 커버 또는 파우치를 들 수 있다. 커버 또는 파우치는 디스플레이부(151)와 연동되어 이동 단말기(100)의 기능을 확장시키도록 구성될 수 있다. 액세서리의 다른 일 예로, 터치 스크린에 대한 터치입력을 보조 또는 확장하기 위한 터치펜을 들 수 있다.The
설명의 편의를 위해, 본 발명에서 설명하는 이동 단말기(100)는 도 1a 내지 도 1c에 도시된 구성요소 중 적어도 하나를 포함하는 것으로 가정한다. 일예로, 후술되는 실시예들에서, 이동 단말기(100)는 도 1a 내지 도 1c에 도시된 구성요소 중 무선 통신부(110), 마이크(122), 디스플레이부(151), 메모리(170) 및 제어부(180)를 포함하는 것으로 가정될 수 있다.For convenience of explanation, it is assumed that the
본 발명에 따른 이동 단말기(100)는 디스플레이부(151)가 터치스크린인 경우 더욱 용이하게 실시될 수 있으므로, 이하에서는 디스플레이부(151)가 터치스크린인 것으로 가정한다. 디스플레이부(151)가 터치스크린이 아닐 경우, 후술되는 실시예에서의 터치 입력은, 버튼을 푸쉬하는 입력, 이동 단말기(100)를 이용한 제스처 입력, 음성 명령 등으로 대체될 수 있을 것이다.Since the
도 2는 본 발명의 일예에 따른 이동 단말기(100)의 동작 흐름도이다. 사용자가 이동 단말기(100)를 이용하고자 하는 것으로 판단되거나, 이동 단말기(100)에서 소정의 이벤트가 발생하면(S201), 제어부(180)는 마이크(122)를 활성화하고(S202), 마이크(122)를 통해 입력되는 음성을 분석하여, 이동 단말기(100)를 사용하는 사용자가 대화 중인지 여부를 판단할 수 있다(S203).2 is a flowchart illustrating an operation of the
일예로, 제어부(180)는 이동 단말기(100)의 잠금이 해제된 경우, 어플리케이션이 실행되는 경우, 수신된 메시지를 확인하기 위한 사용자 입력이 수신되는 경우, 텍스트를 입력하는 사용자 입력이 수신되는 경우(예컨대, 소정 상대방에게 작성할 메시지를 작성하는 경우) 또는 사용자가 이동 단말기(100)를 얼굴 앞으로 가져가는 경우(예컨대, 전면 카메라를 통해 사용자의 얼굴이 인식되는 경우) 등에 있어서, 사용자가 이동 단말기(100)를 이용하고자 하는 것으로 판단할 수 있다.For example, when the
아울러, 소정의 이벤트란, 이동 단말기(100)에서 메시지(예컨대, 문자 메시지, 인스턴트 메시지)가 수신된 경우, 착신 호(incoming call)를 수신한 경우 또는 특정 어플리케이션으로부터의 알림(예컨데, 페이스북의 내 글에 댓글이 새로 달렸음을 알리는 알림)이 수신된 경우, 또는 알람이 출력되는 경우(예컨대, 현재 시간이 기 설정된 알람 시간에 이르러 알람이 출력되거나, 현재 시간이 기 설정된 일정이 시작될 시간에 이르러 알람이 출력되는 경우) 등을 의미할 수 있다.In addition, the predetermined event is an event when a message (e.g., a text message, an instant message) is received from the
추가로, 소정의 이벤트란, 앞서 설명한 것과 같이 메시지, 알림을 수신한 경우 또는 알람이 출력되는 경우가 아닌, 상기 경우를 확인하고자 하는 경우를 포함할 수도 있다. 일 예를 들어, 메시지가 수신된 이후, 사용자가 상기 메시지의 내용을 확인하기 위해서 메시지 수신과 관련된 영역을 터치하는 것도 소정의 이벤트에 포함될 수 있다. 다른 일 예로, , 특정 어플리케이션에 대한 알림이 수신된 이후, 사용자가 상기 알림의 내용을 어플리케이션에 진입하여 확인하기 위해서 상기 알림 수신과 관련된 영역을 터치하는 것도 소정의 이벤트에 포함될 수 있다.In addition, the predetermined event may include a case of confirming the above case, not when a message, notification is received, or when an alarm is output, as described above. For example, after a message is received, a user may touch an area associated with the message reception to confirm the contents of the message. As another example, after an advertisement for a specific application is received, a predetermined event may include a user touching an area related to the notification reception in order to enter and confirm the contents of the notification into the application.
사용자가 대화를 진행하고 있지 않은 경우라면, 제어부(180)는 마이크(122)를 비활성화 할 수 있다(S207).If the user is not conducting a conversation, the
구체적으로, 제어부(180)는 소정 시간이 경과하였음에도 마이크(122)로 음성이 입력되지 않는 경우 또는 음성은 입력되나, 2인 이상의 음성이 입력되지 않는 경우 사용자가 대화를 진행하고 있지 않은 것으로 판단할 수 있다.Specifically, if the voice is not input to the
이와 달리, 사용자가 대화를 진행하고 있는 경우라 판단되면, 제어부(180)는 마이크(122)로 입력되는 대화 참가자들의 음성을 텍스트로 변환하고(S204), 텍스트로 변환한 대화 내용이 디스플레이되도록 제어할 수 있다(S205).On the other hand, if it is determined that the user is proceeding with the conversation, the
구체적으로, 제어부(180)는 마이크(122)로 입력되는 음성을 분석하여, 소정 시간 이내 2인 이상의 음성이 입력되는 경우 사용자가 대화 중인 것으로 판단할 수 있다.Specifically, the
2인 이상의 음성이 입력되더라도, TV 소리 또는 사용자 주변의 타인간 대화 소리 등과의 혼동을 방지하기 위해, 제어부(180)는 2인 이상의 음성 중 사용자의 음성이 포함되어 있는 경우에만, 사용자가 대화 중인 것으로 판단할 수도 있다. 이를 위해서는, 사전에 사용자의 음성 샘플이 메모리(170)에 등록될 필요가 있다. 제어부(180)는 마이크(122)를 통해 입력되는 음성 및 기 등록된 사용자의 음성 샘플을 비교하여, 사용자를 포함한 2인 이상의 음성이 입력되고 있는지 여부를 판단할 수 있을 것이다.In order to prevent confusion with the TV sound or the other human conversation sounds around the user even when two or more persons are input, the
상술한 예에서는 소정 시간 이내 2인 이상의 음성이 입력되어야만 사용자가 대화 중인 것으로 판단되는 것으로 가정하였다. 위와 달리, 제어부(180)는 소정 시간 이내 1인의 음성이 입력되는 경우에도 사용자가 대화 중인 것으로 판단할 수도 있다.In the above example, it is assumed that the user is in conversation only when two or more persons are input within a predetermined time. Alternatively, the
도 3은 텍스트로 변환된 대화 내용이 출력되는 예를 도시한 도면이다.3 is a diagram showing an example in which conversation contents converted into text are outputted.
소정 상대방으로부터 메시지가 수신되면, 제어부(180)는 도 3의 (a)에 도시된 예에서와 같이, 이동 단말기(100)의 상태를 표시하는 상태 표시줄(310)에 메시지가 도착하였음을 알리는 인디케이터(312)가 출력되도록 제어할 수 있다.When a message is received from a predetermined counterpart, the
이후, 상태 표시줄(312)을 터치한 포인터가 소정 방향으로 드래그 이동함에 따라 출력되는 알림 영역 상에, 새로운 메시지가 수신되었음을 알리는 영역(320)이 터치되면(도 3의 (b) 참조), 제어부(180)는 도 3의 (c)에 도시된 예에서와 같이, 소정 상대방으로부터 수신한 메시지를 확인하기 위한 채팅 창이 출력되도록 제어할 수 있다.Then, when an
이때, 제어부(180)는 마이크(122)를 활성화하고, 마이크(122)를 통해 입력되는 음성을 기초로 사용자가 대화 중인지 여부를 판단할 수 있다. 사용자가 대화 중인 것으로 판단되는 경우, 제어부(180)는 사용자의 대화 내용이 기록될 것임을 알리는 정보가 출력되도록 제어할 수 있다. 도 3의 (c)에서는 사용자의 대화 내용이 기록될 것임을 알리는 메시지(330)가 출력되는 것으로 예시되었다.At this time, the
이후, 제어부(180)는 도 3의 (d)에 도시된 예에서와 같이, 마이크(122)를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환하고, 변환된 텍스트가 디스플레이되도록 제어할 수 있다. 이때, 대화 참가자들의 대화 내용을 표시하는 대화 창은 디스플레이부(151)를 통해 출력 중인 채팅 창 위 오버레이 표시될 수 있다. 이때, 대화 창이 디스플레이부(151)를 통해 출력 중인 채팅 창을 가리는 것을 방지하기 위해, 제어부(180)는 대화 창이 반투명 표시되도록 제어할 수 있다.3 (d), the
제어부(180)는 대화 내용 전체를 보여주는 대신 대화 내용 중 주요 키워드만이 출력되도록 제어할 수도 있다. 일예로, 도 3의 (e)는 대화 내용 중 주요 키워드가 출력되는 예를 도시한 도면이다. 도 3의 (e)에 도시된 예에서와 같이, 제어부(180)는 사용자의 대화 내용 중 조사를 생략한 주어, 목적어 또는 서술어 등 주요 키워드 만이 디스플레이되도록 제어할 수도 있다.The
도시되지는 않았지만, 대화가 길게 지속되어, 디스플레이부(151)를 통해 전체 대화 내용을 표시할 수 없는 경우라면, 제어부(180)는 전체 대화 내용 중 최신의 대화 내용을 우선적으로 디스플레이하고, 대화 창을 스크롤 이동시키고자 사용자 입력이 수신되는 경우, 대화 창을 통해 잔여 대화 내용이 디스플레이되도록 제어할 수 있을 것이다.Although not shown, if the conversation continues for a long time and the entire conversation contents can not be displayed through the
대화 내용을 텍스트로 변환한 결과물을 출력함에 있어서, 제어부(180)는 대화에 참여 중인 각 참가자 별 대화 내용이 식별 표시되도록 제어할 수 있다.In outputting the result of converting the contents of the conversation into text, the
일예로, 도 4는 참가자별 대화 내용이 식별 표시되는 예를 도시한 도면이다. 제어부(180)는 마이크(122)로 입력되는 음성의 주파수 성분을 분석하여, 대화에 참가하는 각각의 참가자를 구분할 수 있다.For example, FIG. 4 shows an example in which conversation contents per participant are identified and displayed. The
이에 따라, 제어부(180)는 대화 내용을 표시할 때, 각 대화 내용에 매핑되는 참가자를 대표하는 이미지가 출력되도록 제어할 수 있다. 도 4의 (a)에서는 각각의 대화 내용에 매핑되는 참가자를 대표하는 기 설정된 이미지가 출력되는 것으로 예시되었다.Accordingly, when displaying the conversation contents, the
제어부(180)는 마이크(122)를 통해 입력되는 음성과 일치하는 기 저장된 음성 샘플을 비교한 뒤, 마이크(122)로 입력되는 음성과 일치하는 음성 샘플이 발견되면, 발견된 음성 샘플에 매칭되는 인물의 정보가 표시되도록 제어할 수도 있다. 일예로, 도 4의 (b)에서는 대화에 참가 중인 참가자들의 정보(참가자들의 이름 및 사진)(410)가 표시되는 것으로 예시되었다.The
만약, 마이크(122)로 입력되는 음성과 일치하는 음성 샘플이 발견되지 않는 다면, 제어부(180)는 도 4의 (b)에 도시된 예에서와 같이, 해당 음성에 매칭되는 인물이 발견되지 않았음을 가리키는 이미지(420)가 출력되도록 제어할 수 있다. 이때, 해당 이미지(즉, 해당 음성에 매칭되는 인물이 발견되지 않았음을 가리키는 이미지)(420)가 터치되면, 제어부(180)는 도 4의 (c)에 도시된 예에서와 같이, 해당 음성과 매핑되는 사용자를 등록하기 위한 사용자 등록 메뉴가 디스플레이되도록 제어할 수도 있다. 도시되지는 않았지만, 해당 이미지(즉, 해당 음성에 매칭되는 인물이 발견되지 않았음을 가리키는 이미지)(420)가 터치되면, 제어부(180)는 기 등록된 전화번호부에서 해당 인물을 선택할 수 있도록 제어할 수도 있다.If no voice sample matching the voice input to the
도 4의 사용자 등록 메뉴를 통해서는, 사용자의 이름, 사용자의 전화번호, 사용자의 사진 등이 추가적으로 입력될 수 있는 것으로 예시되었다.It is illustrated through the user registration menu of FIG. 4 that the name of the user, the telephone number of the user, the photograph of the user, and the like can be additionally inputted.
도 5a 및 도 5b는 참가자별 대화 내용이 식별 표시되는 다른 예를 도시한 도면이다. 제어부(180)는 각 참가자별 대화 내용의 표시 위치를 구분함으로써, 각 참가자의 대화 내용이 식별 표시되도록 제어할 수도 있다.5A and 5B are diagrams showing another example in which conversation contents per participant are identified and displayed. The
일예로, 대화에 참가 중인 참가자들이 3명이라 가정할 경우, 제어부(180)는 도 5a에 도시된 예에서와 같이, 어느 한명의 대화 내용은 디스플레이부(151)의 좌측으로 정렬하여 표시하고(512), 다른 한명의 대화 내용은 디스플레이부(151)의 우측으로 정렬하여 표시하며(514), 나머지 한명의 대화 내용은 디스플레이부(151)의 중앙에 정렬하여 표시함으로써(516), 각 참가자의 대화 내용이 식별 표시되도록 제어할 수 있다.For example, when it is assumed that three participants are participating in the conversation, the
제어부(180)는 참가자의 실제 위치를 기준으로, 각 참가자별 대화 내용의 표시 위치를 결정할 수도 있다. 일예로, 도 5b의 (a)에 도시된 예에서와 같이, 사용자의 음성은 이동 단말기(100)의 디스플레이부(151) 표시방향를 기준으로 아래쪽 방향에서 입력되고, 다른 두 참가자들의 음성은 이동 단말기(100)의 디스플레이부(151) 표시방향를 기준으로 각각 오른쪽 위 방향 혹은 오른쪽 방향 및 왼쪽 위 방향 혹은 왼쪽 위 방향에 위치한다고 가정하였을 때, 제어부(180)는 도 5b의 (b)에 도시된 예에서와 같이, 사용자의 대화 내용(526)은 디스플레이부(151)의 아래쪽에 표시하고, 오른쪽 위 방향 혹은 오른쪽 방향에 위치하는 참가자 Lin의 대화 내용(524)은 디스플레이부(151)의 오른쪽 위에 표시하며, 왼쪽 위 방향 혹은 왼쪽 방향에 위치하는 참가자 John의 대화 내용(522)은 디스플레이부(151)의 왼쪽 위에 표시할 수 있다.The
도시되지는 않았지만, 제어부(180)는 참가자별 대화 내용의 색상 또는 크기 등을 달리함으로써, 참가자별 대화 내용을 식별 표시할 수도 있다.Although not shown, the
제어부(180)는 사용자 입력에 기초하여 대화 창의 표시 위치를 변경할 수 있다. 일예로, 대화 창을 터치한 포인터가 드래그 하는 입력이 수신되면, 제어부(180)는 포인터의의 이동 궤적을 따라 대화 창이 이동하도록 제어할 수 있다. 이때, 대화 창이 이동함에 따라, 대화 창의 일부 영역이 디스플레이부(151)를 벗어나게 되는 경우, 제어부(180)는 대화 창을 숨기고, 대화 창의 표시를 재개할 수 있는 오브젝트가 디스플레이되도록 제어할 수 있다.The
일예로, 도 6은 대화 창이 숨겨지는 예를 도시한 도면이다. 도 6의 (a)에 도시된 예에서와 같이, 대화 창을 터치한 포인터가 드래그 이동하는 사용자 입력이 수신되면, 제어부(180)는 포인터가 드래그 이동하는 궤적을 따라 대화 창의 표시 위치가 변경되도록 제어할 수 있다. 이때, 도 6의 (b)에 도시된 예에서와 같이, 대화 창의 일부가 디스플레이부(151)를 벗어나게 되면, 제어부(180)는 도 6의 (c)에 도시된 예에서와 같이, 대화 창의 표시를 중단할 수 있다. 제어부(180)는 대화 창의 표시를 중단하면서, 대화 창의 표시를 재개할 수 있는 오브젝트(610)가 디스플레이되도록 제어할 수 있다.For example, FIG. 6 shows an example in which a dialog window is hidden. As shown in FIG. 6A, when a user input to which a pointer is dragged and moved by touching a dialog window is received, the
대화 창의 표시를 재개하기 위한 오브젝트(610)가 터치되면, 제어부(180)는 도 6의 (d)에 도시된 예에서와 같이, 기 설정된 위치에서 대화 창(620)이 다시 디스플레이되도록 제어할 수 있다.When the
도 6에서는 대화 창을 이동시키고자 하는 사용자 입력의 예로, 단일 포인터에 의한 드래그 입력을 예시하였지만, 복수 포인터에 의한 드래그 입력, 또는 포인터가 디스플레이부를 2회 터치하는 터치 입력(예컨대, 1회째의 터치 입력은 대화 창을 선택하기 위한 것이고, 2회째의 터치 입력은 대화 창을 이동시킬 위치를 결정하기 위한 것임) 등도 대화 창을 이동시키고자 하는 사용자 입력으로 활용될 수 있다.6 illustrates an example of a user input to move the dialog window, a drag input by a single pointer is illustrated, but a drag input by a plurality of pointers or a touch input by a pointer touching the display unit twice (for example, The input is for selecting a dialog window, and the second touch input is for determining the position to move the dialog window) can also be utilized as a user input to move the dialog window.
도 3 내지 도 6에 도시된 예에서는 디스플레이부(151)를 통해 출력 중인 작업 창 위 대화 창이 오버레이 표시되는 것으로 예시되었다. 도 3 내지 도 6에서는 디스플레이부(151)를 통해 출력 중인 작업 창이 소정 상대방과의 채팅 내용을 표시하는 채팅 창인 것으로 예시되었지만, 홈 스크린 화면 또는 어플리케이션 실행 중 발생하는 각종 화면 등이 출력되는 동안에도 대화 창이 출력될 수 있음은 물론이다.In the example shown in FIGS. 3 to 6, the dialog window on the job window being output through the
제어부(180)는 디스플레이부(151)를 2개의 영역으로 분할한 뒤, 어느 하나의 영역을 통해 대화 내용이 표시되도록 제어할 수도 있다.The
일예로, 도 7은 디스플레이부(151)가 두개의 영역으로 분할되는 예를 도시한 도면이다. 수신된 메시지를 확인하기 위한 사용자 입력이 수신될 당시, 사용자가 대화 중인 것으로 판단되는 경우, 제어부(180)는 도 7에 도시된 예에서와 같이, 디스플레이부(151)가 두개의 영역(I, II)으로 분할되도록 제어할 수 있다. 이때, 어느 하나의 영역(I)을 통해서는 수신된 메시지를 확인하기 위한 채팅 창이 출력되고, 다른 하나의 영역(II)을 통해서는 대화 내용이 출력될 수 있다.For example, FIG. 7 shows an example in which the
다른 예로, 제어부(180)는 대화 내용을 열람하고자 하는 사용자 입력이 수신되는 경우에 있어서 비로소 대화 내용이 출력되도록 제어할 수도 있다.As another example, the
일예로, 도 8은 사용자 입력이 수신됨에 따라 대화 내용이 표시되는 예를 도시한 도면이다. 수신된 메시지를 확인하기 위한 사용자 입력이 수신될 당시, 사용자가 대화 중인 것으로 판단되는 경우, 제어부(180)는 도 8의 (a)에 도시된 예에서와 같이, 수신된 메시지를 확인하기 위한 채팅 창을 디스플레이하면서, 후선(background)에서는 대화 내용을 기록할 수 있다. 후선에서 대화 내용이 기록 중임을 알리기 위해, 제어부(180)는 대화 내용이 기록 중임을 알리는 정보가 출력되도록 제어할 수 있다. 도 8의 (a)에서는, 사용자의 대화 내용이 기록 중임을 알리는 메시지(810)가 출력되는 것으로 예시되었다. 도시되지는 않았지만, 상태 표시줄 위 소정의 인디케이터를 표시함으로써, 대화 내용이 기록 중임을 알릴 수도 있다.For example, FIG. 8 shows an example in which conversation contents are displayed as user input is received. When it is judged that the user is in conversation at the time when the user input for confirming the received message is received, the
이후, 대화 내용을 확인하고자 하는 사용자 입력이 수신되면(예컨대, 대화 내용이 기록 중임을 알리는 메시지(810)가 터치됨), 제어부(180)는 도 8의 (b)에 도시된 예에서와 같이, 기록된 대화 내용(820)이 디스플레이되도록 제어할 수 있다. 제어부(180)는 도 3 내지 도 6를 통해 설명한 바와 같이, 대화 내용을 기록한 대화 창이 디스플레이부(151)에 출력 중인 작업 창 위 오버레이 표시되도록 제어할 수도 있지만, 도 8의 (b)에 도시된 예에서와 같이, 기존에 표시되던 작업 창에 갈음하여, 대화 창이 전체 화면으로 디스플레이되도록 제어할 수도 있다.Then, when a user input for confirming the conversation contents is received (for example, a
대화 창에 포함된 대화 내용 중 적어도 일부가 선택되고, 선택된 대화 내용이 작업 창에 드래그 되면, 제어부(180)는 선택된 대화 내용이 드래그된 작업 창에 적용되도록 제어할 수 있다.When at least some of the conversation contents included in the conversation window are selected and the selected conversation contents are dragged to the operation window, the
일예로, 도 9는 대화 창에 포함된 대화 내용 중 일부가 작업 창에 복사되는 예를 도시한 도면이다.For example, FIG. 9 shows an example in which some of the conversation contents included in the conversation window are copied to the operation window.
대화 창을 통해 출력되는 대화 내용 중 일부가 선택되고, 선택된 대화 내용이 작업 창에 드래그 되면, 제어부(180)는 해당 대화 내용이 작업 창에 적용되도록 제어할 수 있다.When some of the conversation contents output through the conversation window are selected and the selected conversation contents are dragged to the operation window, the
일예로, 도 9의 (a)에 도시된 예에서와 같이, 대화 내용 중 일부가 소정 상대방과의 채팅 내용을 출력하는 채팅 창에 드래그되면, 제어부(180)는 도 9의 (b)에 도시된 예에서와 같이, 소정 상대방에게 전송할 메시지의 내용을 입력하는 텍스트 입력 창(910)에 드래그된 대화 내용이 입력되도록 제어할 수 있다.For example, as in the example shown in FIG. 9A, when some of the conversation contents are dragged to a chat window for outputting chat contents with a predetermined counterpart, It is possible to control so that the dragged dialogue contents are input to the
이를 통해 사용자는 대화 창을 통해 표시되는 대화 내용을 재빨리 채팅 중인 상대방에게 전송할 수 있을 것이다.Through this, the user can quickly transmit the conversation contents displayed through the conversation window to the chatting party.
이때, 제어부(180)는 드래그된 대화 내용을 언급한 대화 참가자의 정보도 텍스트 입력 창에 표시되도록 제어할 수 있다. 일예로, 드래그된 대화 내용을 언급한 참가자가 'Lin' 인 경우, 제어부(180)는 도 9의 (c)에 도시된 예에서와 같이, 드래그된 대화 내용과 함께, 해당 대화 내용을 언급한 참가자의 이름 'Lin' 이 텍스트 입력 창(910)에 표시되도록 제어할 수 있다.At this time, the
도 9에서는 대화 창에 포함된 텍스트를 다른 작업 창에 적용시키고자 하는 사용자 입력의 예로, 단일 포인터에 의한 드래그 입력을 예시하였지만, 복수 포인터에 의한 드래그 입력, 또는 포인터가 디스플레이부를 2회 터치하는 터치 입력(예컨대, 1회째의 터치 입력은 대화 창에 포함된 텍스트를 선택하기 위한 것이고, 2회째의 터치 입력은 선택된 텍스트를 적용할 작업 창을 선택하기 위한 것임) 등도 대화 창에 포함된 텍스트를 다른 작업 창에 적용시키고자 하는 사용자 입력으로 활용될 수 있다.9 illustrates an example of a user input to which text included in a dialog window is to be applied to another task window, a drag input by a single pointer is illustrated, but a drag input by a plurality of pointers or a touch that the pointer touches the display unit twice The input (for example, the first touch input is for selecting text included in the dialog window, and the second touch input is for selecting a task window to which the selected text is to be applied) It can be used as a user input to be applied to a task window.
대화 창에는 대화에 참가 중임 참가자들의 정보가 표시될 수 있음은 앞서 도 4를 통해 설명한 바와 같다. 이때, 대화에 참가 중인 참가자 중 적어도 한명의 정보가 선택되고, 선택된 참가자의 정보가 채팅 창에 드래그 이동하는 경우, 제어부(180)는 해당 참가자를 해당 채팅 창에 초대할 수 있다.The dialog window can display the information of participants participating in the conversation as described above with reference to FIG. At this time, if at least one of the participants participating in the conversation is selected and information of the selected participant is dragged and moved in the chat window, the
일예로, 도 10은 소정 상대방과 대화를 진행 중인 채팅 창에 대화에 참가중인 참가자가 초대되는 예를 도시한 도면이다.For example, FIG. 10 illustrates an example in which a participant participating in a conversation is invited to a chat window in which a conversation is in progress with a predetermined recipient.
소정 상대방과의 채팅을 위한 채팅 창이 출력될 당시, 사용자가 대화를 진행 중인 경우라면, 제어부(180)는 도 10의 (a)에 도시된 예에서와 같이, 채팅 창 위 사용자의 대화 내용을 포함하는 대화 창이 오버레이 표시되도록 제어할 수 있다. 이때, 마이크(122)를 통해 입력되는 음성과 매칭되는 음성 샘플이 존재하면, 제어부(180)는 발견된 음성 샘플에 매칭되는 인물의 정보가 표시되도록 제어할 수도 있다.If the user is in the process of conversation at the time of outputting the chat window for chatting with the predetermined counterpart, the
이때, 대화에 참여 중인 참가자의 정보가 터치되고(예컨대, 참가자를 대표하는 이미지 혹은 이름), 참가자의 정보를 터치한 포인터가 채팅 창을 드래그 이동하는 사용자 입력이 수신되면, 제어부(180)는 도 10의 (b)에 도시된 예에서와 같이, 해당 참가자(구체적으로는, 해당 참가자의 단말)를 해당 채팅 방에 초대할 수 있다.At this time, when the information of the participant participating in the conversation is touched (for example, the image or the name representing the participant) and the pointer inputting the participant's information is dragged and moved in the chat window, It is possible to invite the corresponding participant (specifically, the participant's terminal) to the corresponding chat room, as in the example shown in (b) of FIG.
이로써, 소정 상대방과의 채팅을 위한 채팅 방에 대화 상대방을 채팅 방으로 초대함으로써, 채팅 방에 참가한 3인은 메시지를 통해 대화를 계속 진행할 수 있을 것이다.Thus, by inviting the chat room to a chat room in a chat room for chatting with a predetermined party, the three persons participating in the chat room can continue the conversation through the message.
도 10에서는 대화에 참가 중인 인물을 채팅 창에 초대시키고자 하는 사용자 입력의 예로, 단일 포인터에 의한 드래그 입력을 예시하였지만, 복수 포인터에 의한 드래그 입력, 또는 포인터가 디스플레이부를 2회 터치하는 터치 입력(예컨대, 1회째의 터치 입력은 대화에 참가 중인 인물을 선택하기 위한 것이고, 2회째의 터치 입력은 선택된 인물을 초대할 채팅 창을 선택하기 위한 것임) 등도 대화 창에 포함된 텍스트를 다른 작업 창에 적용시키고자 하는 사용자 입력으로 활용될 수 있다.10 illustrates an example of a user input to invite a person participating in a conversation to a chat window, a drag input by a single pointer is illustrated, but a drag input by a plurality of pointers or a touch input by a pointer twice touching the display unit For example, the first touch input is for selecting a person participating in a conversation, and the second touch input is for selecting a chat window to invite a selected person), and the like. It can be used as a user input to be applied.
추가로, 본 발명에 따른 이동 단말기(100)는 도 9 및 도 10에 도시된 실시예를 조합 적용할 수도 있는데, 예컨대, 단일의 포인터(또는 복수의 포인터)에 의한 드래그 입력은 도 9에 도시된 예에서와 같이, 대화 창에 포함된 텍스트를 텍스트 입력 창에 적용하기 위한 것이고, 복수의 포인터(또는 단일의 포인터)에 의한 드래그 입력은 도 10에 도시된 예에서와 같이, 대화에 참가중인 인물을 채팅 창에 초대하기 위한 것일 수 있다.Further, the
도 2에서는 사용자가 이동 단말기(100)를 이용하고자 하는 것으로 판단되는 경우, 또는 이동 단말기(100)에서 소정의 이벤트가 발생한 경우, 마이크(122)를 활성화 하고, 마이크(122)를 통해 입력되는 음성을 분석하여 사용자가 대화 중인 것으로 판단되는 경우, 비로소 대화 참가자들의 음성을 텍스트로 변환한 결과물이 출력되는 것으로 예시되었다.2, when the user determines to use the
도시된 예와 달리, 제어부(180)는 이동 단말기(100)를 통해 기 설정된 사용자 입력이 수신되면, 사용자 입력에 대한 응답으로, 마이크(122)를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환한 결과물이 출력되도록 제어할 수 있다.In contrast to the illustrated example, when the predetermined user input is received through the
도 11a 및 도 11b는 사용자 입력에 대한 응답으로, 대화 내용이 디스플레이되는 예를 도시한 도면이다.11A and 11B are diagrams showing an example in which conversation contents are displayed in response to user input.
이동 단말기(100) 사용 중, 기 설정된 사용자 입력이 수신되면(예컨대, 도 11a의 (a)에서는 상태 표시줄을 좌우로 드래그하는 사용자 입력이 수신되는 것으로 예시됨), 제어부(180)는 마이크(122)를 활성화하고, 도 11a의 (b)에 도시된 예에서와 같이, 마이크(122)를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환한 대화 내용이 출력되도록 제어할 수 있다.When the predetermined user input is received during the use of the mobile terminal 100 (for example, in FIG. 11A, a user input for dragging the status line from left to right is illustrated as being received) 122, and controls the conversation contents converted from the voice of the conversation participants input through the
이동 단말기(100) 사용 중 기 설정된 사용자 입력이 수신되면(예컨대, 도 11b의 (a)에서는 디스플레이부(151)의 하단에서 상단으로 포인터를 드래그 하는 사용자 입력이 수신되는 것으로 예시됨), 제어부(180)는 도 11b의 (b)에 도시된 예에서와 같이, 메뉴가 디스플레이되도록 제어할 수 있다. 도 11b의 (b)에서는, 마이크(122)를 활성화기 위한 버튼(1102), 이동 단말기(100)에 저장된 데이터를 검색하기 위한 버튼(1104) 및 이동 단말기(100)에 필기를 입력하기 위한 버튼(1106)이 출력되는 것으로 예시되었다.When a predetermined user input is received during the use of the mobile terminal 100 (for example, in FIG. 11 (a), the user input for dragging the pointer from the lower end to the upper end of the
도 11b의 (b)에 도시된 메뉴에서, 마이크(122)를 활성화하기 위한 버튼(1102)이 터치되면, 제어부(180)는 마이크(122)를 활성화하고, 도 11b의 (c)에 도시된 예에서와 같이, 마이크(122)를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환한 대화 내용이 출력되도록 제어할 수 있다.When the
대화 내용을 기록하는 도중 기 설정된 소리가 입력되거나, 사용자가 더 이상 이동 단말기(100)를 사용하지 않을 것으로 판단되는 경우, 또는 발생한 이벤트가 종료되는 경우(S206), 제어부(180)는 마이크(122)를 비활성화 하여(S207), 대화 내용의 기록을 중단할 수 있다.If the preset sound is input during recording of the conversation contents or it is determined that the user will no longer use the
여기서, 기 설정된 소리는 박수치는 소리와 같이 사용자가 수행한 제스처의 결과로 발생하는 소리일 수도 있고, '종료', '미안' 등과 같이 특정 키워드에 대한 음성일 수도 있다.Here, the preset sound may be a sound generated as a result of a gesture performed by the user such as a clapping sound, or a voice for a specific keyword such as 'end', 'sorry', and the like.
제어부(180)는 이동 단말기(100)가 절전 모드로 전환되는 경우(예컨대, 이동 단말기(100)를 절전 모드로 전한하기 위한 사용자 입력이 수신된 경우), 수행 중인 어플리케이션이 종료(또는 백그라운드 상태로 전환)된 경우, 소정 상대방에게 메시지 전송이 완료된 경우 또는 전면 카메라를 통해 사용자의 얼굴이 인식되지 않는 경우 등에 있어서, 사용자가 이동 단말기(100)를 더 이상 사용하지 않을 것으로 판단될 수 있다.When the
아울러, 제어부(180)는 이동 단말기(100)에서 수신된 메시지가 확인된 경우, 전화 통화가 종료된 경우 또는 알람의 출력이 종료된 경우 등에 있어서, 이벤트가 종료된 것으로 판단할 수 있다.In addition, the
기 설정된 소리가 입력됨에 따라 대화 내용의 기록을 중단하고자 하는 경우, 제어부(180)는 대화 내용의 기록이 곧 중단될 것임을 알리는 메시지가 출력되도록 제어할 수 있다. 이때, 제어부(180)는 메시지가 출력된 뒤 소정 시간이 경과하면, 마이크(122)를 비활성화 하고, 대화 내용의 기록을 중단하는 반면, 메시지가 출력된 뒤 소정 시간 이내 사용자 입력을 수신하면 대화 내용의 기록을 종료하기 위한 명령을 취소할 수 있다. 이는, 의도치 않게 기 설정된 소리가 입력됨에 따라 대화 내용의 기록이 중단되는 것을 방지하기 위함이다.When it is desired to interrupt the recording of the conversation contents as the preset sound is inputted, the
일예로, 도 12는 대화 내용이 디스플레이되는 동안 기 설정된 소리가 입력되었을 경우, 이동 단말기(100)의 동작을 설명하기 위해 예시한 도면이다.For example, FIG. 12 illustrates an operation of the
대화 창을 통해 대화 내용이 디스플레이되는 동안, 기 설정된 소리(예컨대, 박수 소리)가 입력된 경우, 제어부(180)는 도 12의 (a)에 도시된 예에서와 같이, 박수 소리가 입력됨에 따라, 대화 내용의 표시가 중단될 것임을 알리는 메시지(1220)가 출력되도록 제어할 수 있다.When a preset sound (for example, an applause sound) is input while the dialogue content is being displayed through the dialog window, the
메시지가 출력된 이래로 소정 시간이 경과하기 전에 디스플레이부(151)를 터치하는 사용자 입력이 수신되면, 제어부(180)는 대화 창(1210)의 표시를 중단하기 위한 명령을 취소하고, 도 12의 (b)에 도시된 예에서와 같이, 대화 창(1210)의 표시를 지속할 수 있다. 이로써, 대화 창에는 계속하여 마이크(122)를 통해 입력되는 음성을 텍스트로 변환한 대화 내용이 표시될 수 있을 것이다.The
이와 달리, 메시지가 출력된 이래로 소정 시간이 경과하는 동안 사용자의 터치 입력이 수신되지 않았다면, 제어부(180)는 마이크(122)를 비활성화 하고, 도 12의 (c)에 도시된 예에서와 같이, 대화 창(1210)의 표시를 중단할 수 있다. 이와 함께, 제어부(180)는 대화 내용의 기록이 중단되었음을 알리는 메시지가 출력되도록 제어할 수 있다.Alternatively, if the user's touch input has not been received for a predetermined time since the message was output, the
제어부(180)는 대화 내용의 기록이 시작된 시점부터 종료된 시점까지의 대화 내용을 저장할 수 있다. 일예로, 텍스트 파일 형식으로 대화 내용이 저장된 경우, 제어부(180)는 메모 어플리케이션 또는 문서 뷰어 어플리케이션 등을 통해 추후 저장된 대화 내용을 열람할 수 있을 것이다.The
추가로, 제어부(180)는 대화 내용을 녹음한 음성 파일을 저장할 수도 있다. 이 경우, 제어부(180)는 음성 파일에 액세스 하기 위한 링크가 대화 내용을 기록한 텍스트 파일에 포함되도록 제어할 수 있다. 추가로, 제어부(180)는 음성 파일이 재생되는 경우, 저장된 대화 내용이 표시되도록 제어할 수도 있다.In addition, the
본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.According to one embodiment of the present invention, the above-described method (operation flow diagram) can be implemented as a code that can be read by a processor on a medium on which the program is recorded. Examples of the medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .
상기와 같이 설명된 이동 단말기(100)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The above-described mobile terminal 100 is not limited in the configuration and method of the above-described embodiments, but the embodiments may be modified such that all or some of the embodiments are selectively combined .
100 : 이동 단말기
110 : 무선 통신부
122 : 마이크
151 : 디스플레이부
170 : 메모리
180 : 제어부100: mobile terminal
110:
122: microphone
151:
170: memory
180:
Claims (16)
정보를 출력하기 위한 디스플레이부; 및
사용자가 이동 단말기를 이용하고자 하는 것으로 판단되거나, 상기 이동 단말기에서 이벤트가 발생한 경우, 상기 마이크를 활성화 하고, 상기 사용자가 대화를 진행 중인 경우, 상기 마이크를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환한 대화 내용이 디스플레이되도록 제어하는 제어부
를 포함하는 이동 단말기. A microphone for receiving sound;
A display unit for outputting information; And
Activates the microphone when the user is determined to use the mobile terminal or an event occurs in the mobile terminal and converts the voice of the conversation participants input through the microphone into text when the user is in the process of conversation And a control unit
.
상기 제어부는 상기 마이크를 통해 2인 이상의 음성이 입력되는 경우, 상기 대화 참가자들의 음성을 텍스트로 변환한 상기 대화 내용이 디스플레이되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
Wherein the controller controls to display the conversation contents converted from the voice of the conversation participants into text when two or more persons are input through the microphone.
상기 제어부는 상기 마이크를 통해 2인 이상의 음성이 입력되고, 2인 이상의 음성 중 상기 사용자의 음성 샘플에 매칭되는 음성이 검색되는 경우에 있어서, 상기 대화 참가자들의 음성을 텍스트로 변환한 대화 내용이 디스플레이되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
Wherein the controller is configured to receive a voice corresponding to at least two voices through the microphone and to match a voice sample of the user among two or more voices, So as to control the mobile terminal.
상기 제어부는 상기 대화 내용을 표시함에 있어서, 상기 대화에 참가 중인 각 참가자의 대화 내용이 식별 표시되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
Wherein the control unit controls the content of the conversation of each participant participating in the conversation to be identified and displayed in displaying the conversation contents.
상기 제어부는 상기 대화에 참가 중인 각 참가자의 대화 내용의 표시 위치를 서로 다르게 설정하는 것을 특징으로 하는 이동 단말기.5. The method of claim 4,
Wherein the control unit sets display positions of conversation contents of each participant participating in the conversation to be different from each other.
상기 제어부는 상기 대화에 참가 중인 각 참가자가 상기 이동 단말기를 기준으로 상기 대화에 참가 중인 각 참가자의 위치를 기초로 각 참가자별 대화 내용이 표시 위치를 설정하는 것을 특징으로 하는 이동 단말기.6. The method of claim 5,
Wherein each participant participating in the conversation sets a display position of conversation contents for each participant based on the position of each participant participating in the conversation based on the mobile terminal.
상기 제어부는 상기 대화에 참가 중인 참가자의 식별 정보가 디스플레이되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
Wherein the controller controls to display identification information of a participant participating in the conversation.
상기 참가자의 식별 정보를 터치한 포인터가, 소정 상대방과의 채팅 내용을 표시하는 채팅 창으로 드래그 이동하는 사용자 입력이 수신되면,
상기 제어부는 상기 채팅 창에 상기 참가자가 초대되도록 제어하는 것을 특징으로 하는 이동 단말기.8. The method of claim 7,
When a pointer touching the identification information of the participant receives a user input for dragging and moving to a chat window displaying chat contents with a predetermined counterpart,
Wherein the control unit controls the participant to be invited to the chat window.
상기 대화 내용 중 적어도 일부를 선택한 포인터가, 소정 상대방과의 채팅 내용을 표시하는 채팅 창으로 드래그 이동하는 사용자 입력이 수신되면,
상기 제어부는 상기 선택된 대화 내용이 상기 소정 상대방에게 전송할 메시지를 입력하는 텍스트 입력 창에 입력되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
When a pointer selected by at least a part of the conversation contents is received as a user input for dragging and moving to a chat window displaying chat contents with a predetermined counterpart,
Wherein the control unit controls the selected conversation content to be input to a text input window for inputting a message to be transmitted to the predetermined counterpart.
상기 제어부는 상기 텍스트 입력 창에 상기 선택된 대화 내용을 언급한 대화 참가자의 정보가 더 입력되도록 제어하는 것을 특징으로 하는 이동 단말기.10. The method of claim 9,
Wherein the control unit controls the text entry window to further input information of a conversation participant who has referred to the selected conversation contents.
상기 제어부는 상기 디스플레이부를 두 개의 영역으로 분할 한 뒤, 상기 두개의 영역 중 어느 하나의 영역을 통해 상기 대화 내용이 디스플레이되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
Wherein the control unit divides the display unit into two areas, and controls the display unit to display the contents of the conversation through any one of the two areas.
상기 제어부는 상기 디스플레이부를 통해 출력 중이던 작업 창 위에 상기 대화 내용을 표시하기 위한 대화 창이 오버레이 출력되도록 제어하는 것을 특징을 하는 이동 단말기.The method according to claim 1,
Wherein the control unit controls the overlay outputting of the dialog window for displaying the conversation contents on the operation window being output through the display unit.
상기 제어부는 상기 대화 창이 반투명 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.13. The method of claim 12,
Wherein the control unit controls the dialog window to be translucent.
상기 마이크를 통해 기 설정된 소리가 입력된 이래로, 소정 시간이 경과하기 전까지 기 설정된 사용자 입력이 수신되지 않으면,
상기 제어부는 상기 마이크를 비활성화 하고, 상기 대화 내용의 표시가 중단되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
If a preset user input is not received until a predetermined time has elapsed since a predetermined sound was input through the microphone,
Wherein the control unit deactivates the microphone and controls the display of the conversation contents to be interrupted.
상기 사용자가 상기 이동 단말기의 이용을 중단하고자 하는 것으로 판단되거나, 상기 이벤트가 종료된 것으로 판단되는 경우,
상기 제어부는 상기 마이크를 비활성화 하고, 상기 대화 내용의 표시가 중단되도록 제어하는 것을 특징으로 하는 이동 단말기.The method according to claim 1,
If it is determined that the user intends to stop using the mobile terminal or that the event is terminated,
Wherein the control unit deactivates the microphone and controls the display of the conversation contents to be interrupted.
상기 마이크를 통해 입력되는 음성을 분석한 결과 상기 사용자가 대화를 진행 중인 것으로 판단되는 경우, 상기 마이크를 통해 입력되는 대화 참가자들의 음성을 텍스트로 변환함에 따라 생성된 대화 내용을 디스플레이하는 단계
를 포함하는 이동 단말기의 제어 방법.Activating a microphone when the user is determined to use the mobile terminal or an event occurs in the mobile terminal; And
Displaying the generated conversation contents by converting the voice of the conversation participants input through the microphone into text when it is determined that the user is in conversation as a result of analyzing the voice inputted through the microphone;
And transmitting the control information to the mobile terminal.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140101505A KR101643639B1 (en) | 2014-08-07 | 2014-08-07 | Mobile terminal and method for controlling the same |
PCT/KR2014/011231 WO2016021775A1 (en) | 2014-08-07 | 2014-11-21 | Mobile terminal and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140101505A KR101643639B1 (en) | 2014-08-07 | 2014-08-07 | Mobile terminal and method for controlling the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160017911A true KR20160017911A (en) | 2016-02-17 |
KR101643639B1 KR101643639B1 (en) | 2016-07-29 |
Family
ID=55264021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140101505A KR101643639B1 (en) | 2014-08-07 | 2014-08-07 | Mobile terminal and method for controlling the same |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101643639B1 (en) |
WO (1) | WO2016021775A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080037402A (en) * | 2006-10-26 | 2008-04-30 | 엘지전자 주식회사 | Method for making of conference record file in mobile terminal |
KR20110049541A (en) * | 2009-11-05 | 2011-05-12 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
KR20140064360A (en) * | 2012-11-20 | 2014-05-28 | 엘지전자 주식회사 | Mobile terminal and method for controlling thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003177776A (en) * | 2001-12-12 | 2003-06-27 | Seiko Instruments Inc | Minutes recording system |
KR101882276B1 (en) * | 2012-03-02 | 2018-07-26 | 엘지전자 주식회사 | Mobile terminal and method for controlling thereof |
-
2014
- 2014-08-07 KR KR1020140101505A patent/KR101643639B1/en active IP Right Grant
- 2014-11-21 WO PCT/KR2014/011231 patent/WO2016021775A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080037402A (en) * | 2006-10-26 | 2008-04-30 | 엘지전자 주식회사 | Method for making of conference record file in mobile terminal |
KR20110049541A (en) * | 2009-11-05 | 2011-05-12 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
KR20140064360A (en) * | 2012-11-20 | 2014-05-28 | 엘지전자 주식회사 | Mobile terminal and method for controlling thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2016021775A1 (en) | 2016-02-11 |
KR101643639B1 (en) | 2016-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180106056A (en) | Mobile terminal and method for controlling the same | |
KR20160085614A (en) | Mobile terminal and method for controlling the same | |
KR20160076201A (en) | Mobile terminal and method for controlling the same | |
KR20170126294A (en) | Mobile terminal and method for controlling the same | |
KR20160008372A (en) | Mobile terminal and control method for the mobile terminal | |
KR20160039407A (en) | Mobile terminal and method for controlling the same | |
KR20160005199A (en) | Mobile terminal and method for controlling the same | |
KR20180055243A (en) | Mobile terminal and method for controlling the same | |
KR20160086166A (en) | Mobile terminal and method for controlling the same | |
KR20170115863A (en) | Mobile terminal and method for controlling the same | |
KR20160116559A (en) | Mobile terminal | |
KR20160019279A (en) | Mobile terminal and method for controlling the same | |
KR20160015592A (en) | Mobile terminal and method for controlling the same | |
KR101643639B1 (en) | Mobile terminal and method for controlling the same | |
KR20160031336A (en) | Mobile terminal and method for controlling the same | |
KR20160073679A (en) | Mobile terminal and method for controlling the same | |
KR20150135844A (en) | Mobile terminal and method for controlling the same | |
KR20160072639A (en) | Mobile terminal and method for controlling the same | |
KR20150141084A (en) | Mobile terminal and method for controlling the same | |
KR20160011460A (en) | Mobile terminal and method for controlling the same | |
KR101585476B1 (en) | Mobile terminal and method for controlling the same | |
KR20160076296A (en) | Mobile terminal | |
KR20170022143A (en) | Mobile terminal | |
KR20160089782A (en) | Mobile terminal and method for controlling the same | |
KR102135366B1 (en) | Mobile device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190624 Year of fee payment: 4 |