KR20150137050A - 모바일 디바이스 및 그 제어 방법 - Google Patents

모바일 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20150137050A
KR20150137050A KR1020157022623A KR20157022623A KR20150137050A KR 20150137050 A KR20150137050 A KR 20150137050A KR 1020157022623 A KR1020157022623 A KR 1020157022623A KR 20157022623 A KR20157022623 A KR 20157022623A KR 20150137050 A KR20150137050 A KR 20150137050A
Authority
KR
South Korea
Prior art keywords
mobile device
response data
point
user
feedback
Prior art date
Application number
KR1020157022623A
Other languages
English (en)
Other versions
KR102127394B1 (ko
Inventor
이은희
이진희
여준희
이도영
이기호
박진영
김영현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20150137050A publication Critical patent/KR20150137050A/ko
Application granted granted Critical
Publication of KR102127394B1 publication Critical patent/KR102127394B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H04M1/72522—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서는 모바일 디바이스 및 그 제어 방법에 관한 것이다. 좀 더 구체적으로, 음성 명령에 대한 리스폰스 데이터를 제공함에 있어서, 사용자가 모바일 디바이스를 이용하는 방식에 따라 리스폰스 데이터를 제공하는 피드백 방식을 다르게 설정하는, 모바일 디바이스 및 그 제어 방법에 관한 것이다.

Description

모바일 디바이스 및 그 제어 방법{MOBILE DEVICE AND CONTROLLING METHOD THEREFOR}
본 명세서는 모바일 디바이스 및 그 제어 방법에 관한 것이다. 좀 더 구체적으로, 음성 명령에 대한 리스폰스 데이터를 제공함에 있어서, 사용자가 모바일 디바이스를 이용하는 방식에 따라 리스폰스 데이터를 제공하는 피드백 방식을 다르게 설정하는, 모바일 디바이스 및 그 제어 방법에 관한 것이다.
스마트 폰의 보급이 일반화 되고 있다. 또한, 대부분의 스마트 폰은 음성 명령 시스템(voice command system)을 제공하고 있다. 따라서, 사용자는 스마트 폰에 대한 음성 명령을 통하여, 원하는 결과를 얻을 수 있다.
음성 명령 시스템은 음성인식 기술을 이용하여 사용자의 음성을 인식하고, 음성에 따른 명령을 수행하는 시스템이다. 따라서, 사용자는 모바일 디바이스의 음성 명령 시스템을 이용하여, 전화번호의 검색이나 다이얼링 뿐만 아니라, 음성 또는 텍스트 변환에 기반한 메시지 입력, 오디오 파일 재생시 곡목 선택 및 기능 제어 등의 다양한 작업을 수행할 수 있다.
다만, 사용자에 따라 모바일 디바이스의 음성 명령 시스템을 이용하는 방식은 다를 수 있다. 예를 들면, 스크린을 보면서 음성 명령을 하는 사용자가 있는 반면에, 스크린은 보지않고 음성 명령을 하는 사용자가 있다. 따라서, 모바일 디바이스는 사용자가 음성 명령 시스템을 이용하는 방식에 따라 음성 명령에 대한 리스폰스 데이터를 제공하는 방식을 다르게 할 필요가 있다.
일 실시예는, 모바일 디바이스의 틸트 각도에 따라, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식을 다르게 설정하는 모바일 디바이스 및 그 제어 방법을 제공하고자 한다.
또한, 다른 일 실시예는, 모바일 디바이스를 사용하는 사용자의 그립이나 시선 등에 따라, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식을 다르게 설정하는 모바일 디바이스 및 그 제어 방법을 제공하고자 한다.
또한, 다른 일 실시예는, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식에 따라, 리스폰스 데이터를 제공하는 방향을 다르게 설정하는 모바일 디바이스 및 그 제어 방법을 제공하고자 한다.
그리고, 또 다른 일 실시예는, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식에 따라, 리스폰스 데이터에 포함된 음성 데이터를 제공할지 여부를 결정하는 모바일 디바이스 및 그 제어 방법을 제공하고자 한다.
일 실시예에 의한 모바일 디바이스는, 디스플레이 유닛과, 오디오 유닛과, 상기 모바일 디바이스의 틸트 각도를 센싱하는 센서 유닛 및 상기 디스플레이 유닛, 오디오 유닛 및 센서 유닛을 제어하는 프로세서를 포함할 수 있다. 이때, 상기 프로세서는, 제 1 음성 명령을 수신하고, 상기 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성하고, 상기 제 1 리스폰스 데이터를 출력하기 위한 피드백 방식을 선택하되, 상기 틸트 각도가 제 1 틸트 범위에 포함되는 경우 제 1 피드백 방식을 선택하고, 상기 틸트 각도가 제 2 틸트 범위에 포함되는 경우 제 2 피드백 방식을 선택함, 상기 제 1 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 스크린의 상단인 제 1 지점에 디스플레이 하고, 이후 추가로 생성되는 제 2 리스폰스 데이터를 상기 제 1 지점으로부터 상기 스크린의 하단인 제 2 지점까지의 제 1 방향으로 디스플레이 하고, 상기 제 2 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 상기 스크린의 하단인 상기 제 2 지점에 디스플레이 하고, 이후 추가로 생성되는 상기 제 2 리스폰스 데이터를 상기 제 2 지점으로부터 상기 제 1 지점까지의 제 2 방향으로 디스플레이 할 수 있다.
그리고, 일 실시예에 의한 모바일 디바이스의 제어 방법은, 제 1 음성 명령을 수신하는 단계와, 상기 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성하는 단계와, 상기 제 1 리스폰스 데이터를 출력하기 위한 피드백 방식을 선택하는 단계와, 상기 틸트 각도가 제 1 틸트 범위에 포함되는 경우 제 1 피드백 방식을 선택하고, 상기 틸트 각도가 제 2 틸트 범위에 포함되는 경우 제 2 피드백 방식을 선택함, 상기 제 1 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 스크린의 상단인 제 1 지점에 디스플레이 하고, 이후 추가로 생성되는 제 2 리스폰스 데이터를 상기 제 1 지점으로부터 상기 스크린의 하단인 제 2 지점까지의 제 1 방향으로 디스플레이 하는 단계 및 상기 제 2 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 상기 스크린의 하단인 상기 제 2 지점에 디스플레이 하고, 이후 추가로 생성되는 상기 제 2 리스폰스 데이터를 상기 제 2 지점으로부터 상기 제 1 지점까지의 제 2 방향으로 디스플레이 하는 단계를 포함할 수 있다.
일 실시예에 의하면, 모바일 디바이스의 틸트 각도에 따라, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식을 다르게 설정할 수 있다. 따라서, 사용자는 음성 명령을 하면서, 별도의 추가적인 제어 없이 사용자에게 편한 피드백 방식으로 리스폰스 데이터를 제공받을 수 있다.
또한, 다른 일 실시예에 의하면, 모바일 디바이스를 사용하는 사용자의 그립이나 시선 등에 따라, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식을 다르게 설정할 수 있다. 따라서, 사용자는 음성 명령을 하면서, 별도의 추가적인 제어 없이, 그립이나 시선 등의 변화를 통해 피드백 방식을 변경할 수 있다.
또한, 다른 일 실시예에 의하면, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식에 따라, 리스폰스 데이터를 제공하는 방향을 다르게 설정할 수 있다. 따라서, 사용자는 음성 명령을 하면서, 그에 따른 리스폰스 데이터를 편하게 볼 수 있다.
그리고, 또 다른 일 실시예는, 음성 명령에 대응하는 리스폰스 데이터를 제공하는 피드백 방식에 따라, 리스폰스 데이터에 포함된 음성 데이터를 제공할지 여부를 결정할 수 있다. 따라서, 모바일 디바이스는 필요에 따라 불필요한 소음을 줄일 수 있다.
도 1은 일 실시예에 따른 모바일 디바이스의 기능 블록도이다.
도 2는 제 1 피드백 방식을 선택하는 모바일 디바이스의 일 실시예이다.
도 3은 제 2 피드백 방식을 선택하는 모바일 디바이스의 일 실시예이다.
도 4는 제 1 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 일 실시예이다.
도 5는 제 2 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 일 실시예이다.
도 6은 제 1 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 다른 일 실시예이다.
도 7은 제 2 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 다른 일 실시예이다.
도 8은 일 실시예에 따른 모바일 디바이스의 제어 방법의 흐름도이다.
발명의 실시를 위한 최선의 형태
본 명세서에서 사용되는 용어는 일 실시예에 따른 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 본 명세서가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 일 실시예에 따른 모바일 디바이스의 기능 블록도이다. 다만, 도 1은 일 실시예로서, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가할 수 있다.
도 1에 도시된 바와 같이, 일 실시예에 따른 모바일 디바이스(100)는 디스플레이 유닛(110), 센서 유닛(120), 스토리지 유닛(130), 커뮤니케이션 유닛(140), 프로세서(150) 및 오디오 유닛(160)을 포함할 수 있다.
디스플레이 유닛(110)은 디스플레이 화면에 이미지 데이터를 출력할 수 있다. 또한, 디스플레이 유닛(110)은 프로세서(150)에서 실행되는 콘텐츠, 애플리케이션 또는 프로세서(150)의 제어 명령에 기초하여 이미지를 출력할 수 있다. 또한, 디스플레이 유닛(110)은 음성 명령에 대응하는 텍스트 및 음성 명령에 대응하는 리스폰스 데이터를 출력할 수 있다.
센서 유닛(120)은 모바일 디바이스(100)에 장착된 적어도 하나의 센서를 사용하여, 모바일 디바이스(100)의 주변 환경을 센싱 하고, 이를 신호 형태로서 프로세서(150)에 전달할 수 있다. 또한, 센서 유닛(120)은 사용자 입력을 센싱 하고, 센싱 결과에 따른 신호를 프로세서(150)로 전달할 수 있다. 이때, 프로세서(150)는 수신한 많은 신호 중에서, 터치 센서로부터 전달받은 신호와 같이, 사용자 입력에 의해 발생한 신호를 디텍팅 할 수 있다.
따라서, 센서 유닛(120)은 적어도 하나의 센싱 수단을 포함할 수 있다. 일 실시예로서, 적어도 하나의 센싱 수단은, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 및 그립 센서 등의 센싱 수단을 포함할 수 있다. 그에 따라, 센서 유닛(120)은 모바일 디바이스(100)의 틸트 각도를 센싱할 수 있다.
또한, 센서 유닛(120)은 모바일 디바이스(100)에 대한 입력 신호를 디텍팅 할 수 있다. 여기서, 모바일 디바이스(100)에 대한 입력 신호는 모바일 디바이스(100)에 대한 시선 입력, 터치 입력, 음성 입력, 제스처 입력 등을 포함할 수 있다. 따라서, 모바일 디바이스(100)는 음성 명령을 위한 음성 입력을 센서 유닛(120)을 통해 디텍팅 하거나, 후술하는 오디오 유닛(160)을 통해 디텍팅 할 수 있다.
또한, 센서 유닛(120)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 모바일 디바이스(100)의 환경을 센싱하여, 프로세서(150)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 모바일 디바이스(100)에 포함되거나, 적어도 하나의 엘리먼트로 통합되어 포함될 수 있다.
또한, 상술한 디스플레이 유닛(110)이 터치 센서티브 디스플레이를 포함하는 경우, 모바일 디바이스(100)는 디스플레이 유닛(110)으로 터치 인풋과 같은 사용자 입력을 센싱할 수도 있다.
따라서, 프로세서(150)는 디스플레이 유닛(110), 센서 유닛(120) 및 오디오 유닛(160) 중 적어도 하나로부터 전달받은 사용자 입력에 따른 신호를 인식하고, 신호에 따라 모바일 디바이스(100)를 제어할 수 있다.
다시 말하면, 프로세서(150)는 구성 유닛으로부터 전달받은 신호 중에서 디스플레이 유닛(110), 센서 유닛(120) 및 오디오 유닛(160) 중 적어도 하나를 통한 신호를 디텍팅 할 수 있다. 즉, 프로세서(150)는 수신하는 많은 신호들 중에서, 특정 센서로부터 수신한 사용자 입력에 의해 발생한 신호를 디텍팅 할 수 있다. 예를 들어, 센서 유닛(120)이 사용자의 입력을 센싱하면, 프로세서(150)는 센싱 결과를 이용하여 입력에 대응하는 신호를 디텍팅 할 수 있다.
이하에서는, 모바일 디바이스에서 수행되는 각 단계나 동작이 사용자 입력에 의해 시작되거나 진행되는 경우, 사용자 입력에 따라 신호가 생성되는 과정은 중복하여 설명하지 않아도 상술한 과정에 대한 설명이 포함된 것으로 한다.
또한, 사용자 입력에 따라 프로세서가 모바일 디바이스 또는 모바일 디바이스에 포함된 구성 유닛을 제어한다고 표현할 수 있으며, 프로세서와 모바일 디바이스를 동일시하여 설명할 수 있다.
스토리지 유닛(130)은 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낸다.
스토리지 유닛(130)은 모바일 디바이스(100)에서 디스플레이 되는 콘텐츠를 저장할 수 있다. 또한, 스토리지 유닛(130)은 음성 명령에 대응하는 텍스트 및 음성 명령에 대응하는 리스폰스 데이터를 저장할 수 있다.
또한, 스토리지 유닛(130)은 커뮤니케이션 유닛(140)을 통해 외부 디바이스로부터 수신된 데이터를 임시적으로 저장할 수 있다. 다시 말하면, 스토리지 유닛(130)은 외부 디바이스로부터 수신된 데이터를 모바일 디바이스(100)에서 출력하기 위한 버퍼링을 위해 사용될 수 있다.
커뮤니케이션 유닛(140)은 외부 디바이스와 다양한 프로토콜을 이용하여 통신을 수행하여 데이터를 송수신할 수 있다. 또한, 커뮤니케이션 유닛(140)은 유선 또는 무선으로 외부 네트워크에 접속하여, 콘텐츠, 애플리케이션 등의 디지털 데이터를 송수신할 수 있다. 따라서, 모바일 디바이스(100)는 커뮤니케이션 유닛(140)을 통해 음성 명령에 대응하는 리스폰스 데이터를 검색하거나 수집할 수 있다.
오디오 유닛(160)은 마이크 등의 오디오 입력 수단 및 스피커, 이어폰 등의 오디오 출력 수단을 포함할 수 있다. 따라서, 오디오 유닛(160)은 음성 명령을 위한 음성 입력을 오디오 입력 수단을 통해 디텍팅 할 수 있다. 또한, 오디오 유닛(160)은 음성 명령에 대응하는 리스폰스 데이터를 오디오 출력 수단을 통해 음성으로 출력할 수 있다. 즉, 오디오 유닛(160)은 음성 명령 시스템을 통한 음성 명령에 기초하여 명령 결과를 음성으로서 출력할 수 있다.
이외, 도 1에서 도시하지는 않았지만, 파워 유닛(미도시)은 디바이스 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, 모바일 디바이스(100)에 파워를 공급할 수 있다.
한편, 도 1에 도시된 모바일 디바이스(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
한편, 음성 명령 시스템은 음성인식 기술을 이용하여 사용자의 음성을 인식하고, 음성에 따른 명령을 수행하는 시스템이다. 따라서, 사용자는 모바일 디바이스의 음성 명령 시스템을 이용하여 다양한 작업을 수행할 수 있다.
다만, 사용자에 따라 모바일 디바이스의 음성 명령 시스템을 이용하는 방식은 다를 수 있다. 예를 들면, 스크린을 보면서 음성 명령을 하는 사용자가 있는 반면에, 스크린은 보지않고 음성 명령을 하는 사용자가 있다. 따라서, 일 실시예에 따른 모바일 디바이스는 사용자가 음성 명령 시스템을 이용하는 방식에 따라 음성 명령에 대한 리스폰스 데이터를 다른 방식으로 제공하고자 한다. 이에 대해서, 도 2 및 도 3을 참조하여 상세히 설명한다.
도 2는 제 1 피드백 방식을 선택하는 모바일 디바이스의 일 실시예이다.
사용자가 음성 명령 시스템을 이용하여 음성 명령을 하면, 모바일 디바이스는 음성 명령에 따른 리스폰스 데이터를 제공할 수 있다. 이때, 리스폰스 데이터는 텍스트, 동영상, 웹 페이지 등의 비주얼 데이터 형태로 제공되는 것이 일반적이다. 따라서, 사용자는 음성 명령에 따른 리스폰스 데이터를 보기 위하여, 도 2의 (a)와 같이 모바일 디바이스의 전면에 얼굴이 위치한 상태에서 음성 명령 시스템을 이용할 수 있다.
도 2의 (a)와 같이 사용자가 모바일 디바이스를 이용하는 경우, 도 2의 (b)와 같이 모바일 디바이스의 틸트 각도(210)는 제 1 틸트 범위에 포함될 수 있다. 여기서, 제 1 틸트 범위는 모바일 디바이스가 수평인 상태(200a)를 기준으로, 모바일 디바이스의 상단(220)이 모바일 디바이스의 하단(230)보다 높게 위치하도록 모바일 디바이스가 틸트 되는 각도 범위이다.
이와 같이, 일 실시예에 따른 모바일 디바이스는 틸트 각도가 제 1 틸트 범위에 포함되면 제 1 피드백 방식을 선택할 수 있다. 제 1 피드백 방식에 대해서는 도 4를 참조하여 상세히 설명한다.
도 3은 제 2 피드백 방식을 선택하는 모바일 디바이스의 일 실시예이다.
사용자가 음성 명령 시스템을 이용하여 음성 명령을 하는 경우, 사용자는 모바일 디바이스에 내장된 마이크 센서를 사용자의 입에 가까이 두는 경우가 많다. 이때, 마이크 센서는 모바일 디바이스의 하단에 위치하는 경우가 많다.
따라서, 도 3의 (a)에 도시된 바와 같이, 사용자는 모바일 디바이스의 하단(330)이 사용자의 입에 가까이 올 수 있도록 모바일 디바이스를 틸트시킨 상태에서 음성 명령을 수행할 수 있다.
도 3의 (a)와 같이 사용자가 모바일 디바이스를 이용하는 경우, 도 3의 (b)와 같이 모바일 디바이스의 틸트 각도(310)는 제 2 틸트 범위에 포함될 수 있다. 여기서, 제 2 틸트 범위는 모바일 디바이스가 수평인 상태(300a)를 기준으로, 모바일 디바이스의 상단(320)이 모바일 디바이스의 하단(330)보다 낮게 위치하도록 모바일 디바이스가 틸트 되는 각도 범위이다.
이와 같이, 일 실시예에 따른 모바일 디바이스는 틸트 각도가 제 2 틸트 범위에 포함되면 제 2 피드백 방식을 선택할 수 있다. 제 2 피드백 방식에 대해서는 도 5를 참조하여 상세히 설명한다.
도 4는 제 1 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 일 실시예이다.
일 실시예에 따른 모바일 디바이스는 제 1 음성 명령을 수신하면, 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성할 수 있다. 이때, 모바일 디바이스는 사용자가 음성 명령 히스토리를 알 수 있도록, 제 1 음성 명령에 대응하는 텍스트(420)를 출력할 수 있다. 따라서, 제 1 리스폰스 데이터는 제 1 음성 명령에 대응하는 결과와 관련한 데이터(430) 이외에도, 제 1 음성 명령에 대응하는 텍스트(420)를 포함할 수 있다.
또한, 모바일 디바이스는 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성할 수 있다. 또한, 모바일 디바이스는 제 1 리스폰스 데이터를 출력하기 위한 피드백 방식을 선택할 수 있다. 모바일 디바이스는 모바일 디바이스의 틸트 각도가 제 1 틸트 범위에 포함되는 경우 제 1 피드백 방식을 선택할 수 있다. 제 1 틸트 범위는 모바일 디바이스가 수평인 상태를 기준으로, 모바일 디바이스의 상단이 모바일 디바이스의 하단보다 높게 위치하도록 모바일 디바이스가 틸트되는 각도 범위이다.
제 1 피드백 방식은, 모바일 디바이스가 제 1 리스폰스 데이터를 스크린의 상단인 제 1 지점(411)에 디스플레이 하고, 이후 추가로 생성되는 제 2 리스폰스 데이터를 제 1 지점(411)으로부터 스크린의 하단인 제 2 지점(413)까지의 제 1 방향(400a)으로 디스플레이 하는 피드백 방식이다.
도 2에서 상술한 바와 같이, 제 1 피드백 방식은 사용자의 얼굴이 스크린의 전면에 위치한 경우에 선택되는 피드백 방식이다. 따라서, 모바일 디바이스는 음성 명령과 관련한 텍스트 등의 비주얼 데이터를 제 1 방향(400a)으로 제공함으로써, 사용자의 가독성을 높일 수 있다.
즉, 사용자가 모바일 디바이스를 제 1 틸트 범위 내에서 틸트 시켜 이용하는 경우, 모바일 디바이스는 새롭게 추기되는 제 2 리스폰스 데이터를 제 1 방향(400a)으로 제공하되, 기존에 제공된 제 1 리스폰스 데이터는 스크린 상에 그대로 유지할 수 있다.
또한, 모바일 디바이스는 제 2 음성 명령을 수신하고, 제 2 음성 명령에 응답하기 위한 제 3 리스폰스 데이터를 생성할 수 있다. 다만, 이때, 스크린에 빈 공간이 없는 경우, 모바일 디바이스는 스크린에 디스플레이 된 제 1 리스폰스 데이터 및 제 2 리스폰스 데이터 중 적어도 하나를 제 1 방향(400a)과 반대 방향인 제 2 방향으로 이동할 수 있다. 즉, 제 2 방향은 제 2 지점(413)으로부터 제 1 지점(411)까지의 방향이다. 따라서, 모바일 디바이스는 제 3 리스폰스 데이터를 제 2 지점(413)에 디스플레이 할 수 있다.
따라서, 도 4에 도시된 바와 같이, 제 1 피드백 방식을 선택한 모바일 디바이스는 추가로 제공하는 리스폰스 데이터가 점점 스크린의 하단(413)으로 내려오게 된다. 그리고, 스크린이 리스폰스 데이터로 가득 차게 되면, 이미 제공된 리스폰스 데이터는 스크린의 상단(411) 방향 즉 제 2 방향으로 이동하고, 새롭게 제공되는 리스폰스 데이터는 스크린의 하단(413)에 디스플레이 된다.
도 5는 제 2 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 일 실시예이다.
일 실시예에 따른 모바일 디바이스는 제 1 음성 명령을 수신하면, 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성할 수 있다. 이때, 모바일 디바이스는 사용자가 음성 명령 히스토리를 알 수 있도록, 제 1 음성 명령에 대응하는 텍스트(520)를 출력할 수 있다.
또한, 모바일 디바이스는 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터(530)를 생성할 수 있다. 또한, 모바일 디바이스는 제 1 리스폰스 데이터(530)를 출력하기 위한 피드백 방식을 선택할 수 있다. 모바일 디바이스는 모바일 디바이스의 틸트 각도가 제 2 틸트 범위에 포함되는 경우 제 2 피드백 방식을 선택할 수 있다. 제 2 틸트 범위는 모바일 디바이스가 수평인 상태를 기준으로, 모바일 디바이스의 상단이 모바일 디바이스의 하단보다 낮게 위치하도록 모바일 디바이스가 틸트되는 각도 범위이다.
제 2 피드백 방식은, 모바일 디바이스가 제 1 리스폰스 데이터를 스크린의 하단인 제 2 지점(513)에 디스플레이 하고, 이후 추가로 생성되는 제 2 리스폰스 데이터를 제 2 지점(513)으로부터 스크린의 상단인 제 1 지점(511)까지의 제 2 방향(500a)으로 디스플레이 하는 피드백 방식이다.
도 3에서 상술한 바와 같이, 제 2 피드백 방식은 사용자의 얼굴이 스크린의 전면에 위치하지 않는 경우에 선택되는 피드백 방식이다. 모바일 디바이스의 하단(513)쪽이 사용자의 눈에 더 가깝고, 모바일 디바이스의 상단(511)쪽은 사용자의 눈에서 상대적으로 멀리 떨어져 있다. 따라서, 도 5에 도시된 바와 같이, 모바일 디바이스는 제 1 리스폰스 데이터는 스크린의 하단(513)에서 제 2 방향(500a)으로 제공함으로써, 사용자에게 불편함 없이 음성 명령에 대응하는 리스폰스 데이터를 볼 수 있는 환경을 제공할 수 있다.
따라서, 모바일 디바이스는 제 2 피드백 방식을 선택한 경우, 먼저 디스플레이 한 리스폰스 데이터(520)를 제 2 방향(500a)으로 이동시키고, 추가로 생성한 리스폰스 데이터(530)을 제 2 지점(513)에 디스플레이 할 수 있다.
또한, 모바일 디바이스는 제 2 음성 명령을 수신하고, 제 2 음성 명령에 응답하기 위한 제 3 리스폰스 데이터를 생성할 수 있다. 다만, 이때, 스크린에 빈 공간이 없는 경우, 모바일 디바이스는 스크린에 디스플레이 된 제 1 리스폰스 데이터 및 제 2 리스폰스 데이터 중 적어도 하나를 제 2 방향(500a)으로 이동할 수 있다. 따라서, 모바일 디바이스는 제 3 리스폰스 데이터를 제 2 지점(513)에 디스플레이 할 수 있다.
이와 같이, 모바일 디바이스는 스크린에 리스폰스 데이터가 가득차기 전까지는 피드백 방식에 따라 리스폰스 데이터를 다른 방향으로 제공할 수 있다. 그러나, 모바일 디바이스는 이미 제공된 리스폰스 데이터로 인하여 스크린에 빈 공간이 없는 경우, 선택한 피드백 방식에 관계 없이, 먼저 디스플레이 된 리스폰스 데이터를 제 2 방향(500a)으로 이동하고, 새롭게 제공하는 리스폰스 데이터를 제 2 지점(513)에 제공할 수 있다.
따라서, 도 5에 도시된 바와 같이, 제 2 피드백 방식을 선택한 모바일 디바이스는 이미 제공된 리스폰스 데이터를 제 2 방향(500a)으로 이동시키고, 추가로 제공하는 리스폰스 데이터를 항상 스크린의 하단(513)에 디스플레이 할 수 있다. 따라서, 도 4에서 상술한 바와 다르게, 스크린이 리스폰스 데이터로 가득 차게 되더라도, 제 2 피드백 방식을 선택한 모바일 디바이스는 동일한 방법으로 리스폰스 데이터를 디스플레이 할 수 있다.
한편, 지금까지는 모바일 디바이스의 틸트 각도에 따라, 모바일 디바이스가 피드백 방식을 선택하는 것을 일 실시예로서 설명하였다. 그러나, 상술한 바와 다르게, 모바일 디바이스는 사용자의 그립 패턴을 디텍팅 하고, 그립 패턴에 따라 피드백 방식을 선택할 수 있다.
즉, 모바일 디바이스는 디텍팅 한 그립 패턴이 제 1 그립 패턴인 경우, 제 1 피드백 방식을 선택하고, 제 2 그립 패턴인 경우, 제 2 피드백 방식을 선택할 수 있다.
예를 들어, 제 1 그립 패턴은 모바일 디바이스의 전면이 사용자의 얼굴에 향하도록 사용자가 모바일 디바이스를 잡는 패턴일 수 있다. 따라서, 모바일 디바이스는, 모바일 디바이스의 일측면에 사용자의 검지 손가락이, 모바일 디바이스의 타측면에 사용자의 나머지 네 손가락이 터치 된 상태에서 사용자가 모바일 디바이스를 그립한 경우를 제 1 그립 패턴으로 미리 설정할 수 있다.
또한, 제 2 그립 패턴은 모바일 디바이스의 하단이 사용자의 얼굴에 향하도록 사용자가 모바일 디바이스를 잡는 패턴일 수 있다. 따라서, 모바일 디바이스는, 모바일 디바이스의 일측면에 사용자의 검지 손가락이, 모바일 디바이스의 타측면에 사용자의 검지 손가락 및 중지 손가락이 터치 된 상태에서 사용자가 모바일 디바이스를 그립한 경우를 제 2 그립 패턴으로 미리 설정할 수 있다.
또 다른 예로서, 모바일 디바이스는, 사용자가 모바일 디바이스를 그립할 때 손가락으로 터치하는 지점이 모바일 디바이스의 가운데를 기준으로 치우침이 없는 경우를 제 1 그립 패턴으로 설정할 수 있다. 따라서, 모바일 디바이스는, 사용자가 모바일 디바이스를 그립할 때 손가락으로 터치하는 지점이 모바일 디바이스의 가운데를 기준으로 하단쪽으로 치우쳐진 경우를 제 2 그립 패턴으로 설정할 수 있다.
또한, 상술한 바와 다르게, 모바일 디바이스는 사용자의 시선을 디텍팅 하고, 디텍팅 한 결과에 따라 피드백 방식을 선택할 수 있다. 예를 들어, 사용자의 시선을 디텍팅 한 경우, 제 1 피드백 방식을 선택하고, 사용자의 시선을 디텍팅 하지 못한 경우, 제 2 피드백 방식을 선택할 수 있다.
또한, 모바일 디바이스는 사용자의 얼굴을 디텍팅 하고, 디텍팅 한 결과에 따라 피드백 방식을 선택할 수 있다. 예를 들어, 모바일 디바이스는 디텍팅 한 사용자의 얼굴이 제 1 조건에 해당하는 경우, 제 1 피드백 방식을 선택하고, 디텍팅 한 사용자의 얼굴이 제 2 조건에 해당하는 경우, 제 2 피드백 방식을 선택할 수 있다.
제 1 조건 및 제 2 조건은 디텍팅 된 사용자의 얼굴의 부위, 얼굴의 위치 및 얼굴의 면적 중 적어도 하나에 의해 결정될 수 있다.
예를 들어, 모바일 디바이스는, 디텍팅 된 사용자의 얼굴의 부위가 눈인 경우는 제 1 조건, 디텍팅 된 사용자의 얼굴의 부위가 이마인 경우는 제 2 조건으로 설정할 수 있다. 또한, 모바일 디바이스는, 사용자를 디텍팅하기 위하여 캡처링한 이미지에서 사용자의 얼굴이 가운데 위치하면 제 1 조건, 아랫쪽에 위치하면 제 2 조건으로 설정할 수 있다. 또한, 모바일 디바이스는, 디텍팅한 사용자의 얼굴이 면적이 기 설정된 기준보다 넓은 경우 제 1 조건, 기 설정된 기준보다 좁은 경우 제 2 조건으로 설정할 수 있다.
또한, 모바일 디바이스는 사용자와 모바일 디바이스간 거리를 디텍팅 하고, 디텍팅 한 결과에 따라 피드백 방식을 선택할 수 있다. 예를 들어, 모바일 디바이스는 제 1 음성 명령을 수신하는 경우, 제 1 음성 명령을 이용하여 음성 명령을 센싱하는 오디오 유닛으로부터 사용자까지의 거리를 디텍팅 할 수 있다. 모바일 디바이스는 디텍팅 된 거리가 기 설정된 기준보다 길면 제 1 피드백 방식을 선택하고, 기 설정된 기준보다 짧으면 제 2 피드백 방식을 선택할 수 있다.
한편, 지금까지는 모바일 디바이스가 음성 명령에 대응하여 제공하는 리스폰스 데이터가 비주얼 데이터인 것을 일 실시예로서 설명하였다. 그러나, 리스폰스 데이터는 음성 데이터를 포함할 수 있다. 다만, 모바일 디바이스는 선택한 피드백 방식에 따라서 음성 데이터를 제공할지 여부를 결정할 수 있다. 이에 대해서는, 도 6 내지 도 7을 참조하여 상세히 설명한다.
도 6은 제 1 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 다른 일 실시예이다.
도 2에서 상술한 바와 같이, 제 1 피드백 방식으로 음성 명령 시스템을 이용하는 사용자는 모바일 디바이스의 전면에 시선을 둘 수 있다. 따라서, 사용자는 스크린에 디스플레이 되는 리스폰스 데이터를 볼 수 있으므로, 모바일 디바이스는 음성 데이터를 중복하여 제공할 필요가 없다. 따라서, 도 6에 도시된 바와 같이, 제 1 피드백 방식을 선택한 모바일 디바이스는 음성 명령에 대응하는 리스폰스 데이터에 포함된 음성 데이터는 출력하지 않을 수 있다.
특히, 사용자가 공공장소나 다른 사람들과 함께 있는 실내에서 음성 명령 시스템을 이용하는 경우, 사용자는 음성 명령을 하기가 조심스러울 수 있다. 사용자의 음성 명령 및 음성 명령에 대응하는 리스폰스 데이터에 포함된 음성 데이터가 다른 사람들에게는 소음이 될 수 있기 때문이다. 따라서, 이와 같은 경우, 모바일 디바이스는 제 1 피드백 방식으로 리스폰스 데이터를 제공함으로써, 사용자의 주변 사람들에게 피해를 끼치는 것을 방지할 수 있다.
도 7은 제 2 피드백 방식에 따라 리스폰스 데이터를 제공하는 모바일 디바이스의 다른 일 실시예이다.
도 3에서 상술한 바와 같이, 제 2 피드백 방식으로 음성 명령 시스템을 이용하는 사용자는 모바일 디바이스의 전면에 시선을 둘 수 없다. 따라서, 사용자는 음성 명령에 따른 결과를 비주얼 데이터 형태로 제공받는 것보다 음성 데이터 형태로 제공받는 것이 더 편리할 수 있다. 그에 따라, 도 7에 도시된 바와 같이, 제 2 피드백 방식을 선택한 모바일 디바이스는 음성 명령에 대응하는 리스폰스 데이터에 포함된 음성 데이터도 함께 출력할 수 있다.
도 8은 일 실시예에 따른 모바일 디바이스의 제어 방법의 흐름도이다.
먼저, 모바일 디바이스는 제 1 음성 명령을 수신할 수 있다(S800). 또한, 도 1에서 상술한 바와 같이, 모바일 디바이스는 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성할 수 있다(S810). 여기서, 모바일 디바이스는 제 1 리스폰스 데이터를 출력하기 위한 피드백 방식을 선택할 수 있는데, 모바일 디바이스의 틸트 각도에 따라 선택하는 피드백 방식이 달라질 수 있다. 물론, 모바일 디바이스는 틸트 각도 이외에 사용자의 그립 패턴, 사용자의 시선 여부, 사용자와의 거리 등의 다른 조건에 따라 피드백 방식을 선택할 수도 있다.
그에 따라, 도 2 내지 도 3에서 상술한 바와 같이, 모바일 디바이스는 모바일 디바이스의 틸트 각도가 제 1 틸트 범위에 포함되는지 판단할 수 있다(S820). 제 1 틸트 범위는 모바일 디바이스가 수평인 상태를 기준으로, 모바일 디바이스의 상단이 모바일 디바이스의 하단보다 높게 위치하도록 모바일 디바이스가 틸트되는 각도 범위이다.
이때, 틸트 각도가 제 1 틸트 범위에 포함되는 경우, 모바일 디바이스는 제 1 피드백 방식을 선택할 수 있다(S830). 또한, 도 4에서 상술한 바와 같이, 모바일 디바이스는 제 1 리스폰스 데이터를 스크린의 상단인 제 1 지점에 디스플레이 하고(S840), 추가로 생성되는 제 2 리스폰스 데이터를 제 1 지점으로부터 스크린의 하다인 제 2 지점까지인 제 1 방향으로 디스플레이 할 수 있다(S850).
다만, 틸트 각도가 제 1 틸트 범위에 포함되지 않는 경우, 모바일 디바이스는 제 2 피드백 방식을 선택할 수 있다(S860). 또한, 도 5에서 상술한 바와 같이, 모바일 디바이스는 제 1 리스폰스 데이터를 제 2 지점에 디스플레이 하고(S870), 추가로 생성되는 제 2 리스폰스 데이터를 제 2 지점으로부터 제 1 지점까지의 방향인 제 2 방향으로 디스플레이 할 수 있다(S880).
다시 말하면, 제 2 피드백 방식을 선택한 모바일 디바이스는 제 1 리스폰스 데이터를 제 2 방향으로 이동시키고, 제 2 리스폰스 데이터를 제 2 지점에 디스플레이 할 수 있다.
발명의 실시를 위한 형태
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 모바일 디바이스에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (20)

  1. 모바일 디바이스에 있어서,
    디스플레이 유닛;
    오디오 유닛;
    상기 모바일 디바이스의 틸트 각도를 센싱하는 센서 유닛; 및
    상기 디스플레이 유닛, 오디오 유닛 및 센서 유닛을 제어하는 프로세서;를 포함하되,
    상기 프로세서는,
    제 1 음성 명령을 수신하고,
    상기 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성하고,
    상기 제 1 리스폰스 데이터를 출력하기 위한 피드백 방식을 선택하되, 상기 틸트 각도가 제 1 틸트 범위에 포함되는 경우 제 1 피드백 방식을 선택하고, 상기 틸트 각도가 제 2 틸트 범위에 포함되는 경우 제 2 피드백 방식을 선택함,
    상기 제 1 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 스크린의 상단인 제 1 지점에 디스플레이 하고, 이후 추가로 생성되는 제 2 리스폰스 데이터를 상기 제 1 지점으로부터 상기 스크린의 하단인 제 2 지점까지의 제 1 방향으로 디스플레이 하고,
    상기 제 2 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 상기 스크린의 하단인 상기 제 2 지점에 디스플레이 하고, 이후 추가로 생성되는 상기 제 2 리스폰스 데이터를 상기 제 2 지점으로부터 상기 제 1 지점까지의 제 2 방향으로 디스플레이 하는, 모바일 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 2 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 상기 제 2 방향으로 이동시키고, 상기 제 2 리스폰스 데이터를 상기 제 2 지점에 디스플레이 하는, 모바일 디바이스.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    제 2 음성 명령을 수신하고,
    상기 제 2 음성 명령에 응답하기 위한 제 3 리스폰스 데이터를 생성하고,
    상기 스크린에 빈 공간이 없는 경우, 상기 스크린에 디스플레이 된, 상기 제 1 리스폰스 데이터 및 상기 제 2 리스폰스 데이터 중 적어도 하나를 상기 제 2 방향으로 이동하고, 상기 제 3 리스폰스 데이터를 상기 제 2 지점에 디스플레이 하는, 모바일 디바이스.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 스크린에 빈 공간이 없는 경우, 상기 선택한 피드백 방식에 관계 없이, 상기 제 2 리스폰스 데이터 및 상기 제 2 리스폰스 데이터 중 적어도 하나를 상기 제 2 방향으로 이동하고, 상기 제 3 리스폰스 데이터를 상기 제 2 지점에 디스플레이 하는, 모바일 디바이스.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 모바일 디바이스에 대한 사용자의 그립 패턴을 디텍팅 하고,
    상기 그립 패턴이 제 1 그립 패턴인 경우, 상기 제 1 피드백 방식을 선택하고,
    상기 그립 패턴이 제 2 그립 패턴인 경우, 상기 제 2 피드백 방식을 선택하는, 모바일 디바이스.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    사용자의 시선을 디텍팅 하고,
    상기 사용자의 시선을 디텍팅 한 경우, 상기 제 1 피드백 방식을 선택하고,
    상기 사용자의 시선을 디텍팅 하지 못한 경우, 상기 제 2 피드백 방식을 선택하는, 모바일 디바이스.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    사용자의 얼굴을 디텍팅 하고,
    상기 디텍팅 한 사용자의 얼굴이 제 1 조건에 해당하는 경우, 상기 제 1 피드백 방식을 선택하고,
    상기 디텍팅 한 사용자의 얼굴이 제 2 조건에 해당하는 경우, 상기 제 2 피드백 방식을 선택하는, 모바일 디바이스.
  8. 제 7 항에 있어서,
    상기 제 1 조건 및 상기 제 2 조건은,
    상기 디텍팅 된 사용자의 얼굴의 부위, 얼굴의 위치 및 얼굴의 면적 중 적어도 하나에 의해 결정되는, 모바일 디바이스.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 음성 명령을 이용하여, 상기 오디오 유닛으로부터 사용자까지의 거리를 디텍팅 하고,
    상기 거리가 기 설정된 기준보다 길면, 상기 제 1 피드백 방식을 선택하고,
    상기 거리가 상기 기 설정된 기준보다 짧으면, 상기 제 2 피드백 방식을 선택하는, 모바일 디바이스.
  10. 제 1 항에 있어서,
    상기 제 1 리스폰스 데이터는 제 1 음성 데이터를 포함하고, 상기 제 2 리스폰스 데이터는 제 2 음성 데이터를 포함하는, 모바일 디바이스.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 제 1 피드백 방식을 선택한 경우, 상기 제 1 음성 데이터 및 상기 제 2 음성 데이터는 출력하지 않고,
    상기 제 2 피드백 방식을 선택한 경우, 상기 제 1 음성 데이터 및 상기 제 2 음성 데이터를 출력하는, 모바일 디바이스.
  12. 제 1 항에 있어서,
    상기 제 1 틸트 범위는,
    상기 모바일 디바이스가 수평인 상태를 기준으로, 상기 모바일 디바이스의 상단이 상기 모바일 디바이스의 하단보다 높게 위치하도록 상기 모바일 디바이스가 틸트되는 각도 범위인, 모바일 디바이스.
  13. 제 1 항에 있어서,
    상기 제 2 틸트 범위는,
    상기 모바일 디바이스가 수평인 상태를 기준으로, 상기 모바일 디바이스의 상단이 상기 모바일 디바이스의 하단보다 낮게 위치하도록 상기 모바일 디바이스가 틸트되는 각도 범위인, 모바일 디바이스.
  14. 모바일 디바이스의 제어 방법에 있어서,
    제 1 음성 명령을 수신하는 단계;
    상기 제 1 음성 명령에 응답하기 위한 제 1 리스폰스 데이터를 생성하는 단계;
    상기 제 1 리스폰스 데이터를 출력하기 위한 피드백 방식을 선택하는 단계, 상기 틸트 각도가 제 1 틸트 범위에 포함되는 경우 제 1 피드백 방식을 선택하고, 상기 틸트 각도가 제 2 틸트 범위에 포함되는 경우 제 2 피드백 방식을 선택함;
    상기 제 1 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 스크린의 상단인 제 1 지점에 디스플레이 하고, 이후 추가로 생성되는 제 2 리스폰스 데이터를 상기 제 1 지점으로부터 상기 스크린의 하단인 제 2 지점까지의 제 1 방향으로 디스플레이 하는 단계; 및
    상기 제 2 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 상기 스크린의 하단인 상기 제 2 지점에 디스플레이 하고, 이후 추가로 생성되는 상기 제 2 리스폰스 데이터를 상기 제 2 지점으로부터 상기 제 1 지점까지의 제 2 방향으로 디스플레이 하는 단계;를 포함하는, 모바일 디바이스의 제어 방법.
  15. 제 14 항에 있어서,
    상기 제 2 피드백 방식을 선택한 경우, 상기 제 1 리스폰스 데이터를 상기 스크린의 하단인 상기 제 2 지점에 디스플레이 하고, 이후 추가로 생성되는 상기 제 2 리스폰스 데이터를 상기 제 2 지점으로부터 상기 제 1 지점까지의 제 2 방향으로 디스플레이 하는 단계는,
    상기 제 1 리스폰스 데이터를 상기 제 2 방향으로 이동시키는 단계; 및
    상기 제 2 리스폰스 데이터를 상기 제 2 지점에 디스플레이 하는 단계;를 포함하는, 모바일 디바이스의 제어 방법.
  16. 제 14 항에 있어서,
    제 2 음성 명령을 수신하는 단계;
    상기 제 2 음성 명령에 응답하기 위한 제 3 리스폰스 데이터를 생성하는 단계; 및
    상기 스크린에 빈 공간이 없는 경우, 상기 스크린에 디스플레이 된, 상기 제 1 리스폰스 데이터 및 상기 제 2 리스폰스 데이터 중 적어도 하나를 상기 제 2 방향으로 이동하고, 상기 제 3 리스폰스 데이터를 상기 제 2 지점에 디스플레이 하는 단계;를 더 포함하는, 모바일 디바이스의 제어 방법.
  17. 제 14 항에 있어서,
    상기 스크린에 빈 공간이 없는 경우, 상기 스크린에 디스플레이 된, 상기 제 1 리스폰스 데이터 및 상기 제 2 리스폰스 데이터 중 적어도 하나를 상기 제 2 방향으로 이동하고, 상기 제 3 리스폰스 데이터를 상기 제 2 지점에 디스플레이 하는 단계는, 상기 선택한 피드백 방식에 관계 없는, 모바일 디바이스의 제어 방법.
  18. 제 14 항에 있어서,
    사용자의 시선을 디텍팅 하는 단계; 및
    상기 사용자의 시선을 디텍팅 한 경우, 상기 제 1 피드백 방식을 선택하고, 상기 사용자의 시선을 디텍팅 하지 못한 경우, 상기 제 2 피드백 방식을 선택하는 단계;를 더 포함하는, 모바일 디바이스의 제어 방법.
  19. 제 14 항에 있어서,
    상기 제 1 틸트 범위는,
    상기 모바일 디바이스가 수평인 상태를 기준으로, 상기 모바일 디바이스의 상단이 상기 모바일 디바이스의 하단보다 높게 위치하도록 상기 모바일 디바이스가 틸트되는 각도 범위인, 모바일 디바이스의 제어 방법.
  20. 제 14 항에 있어서,
    상기 제 2 틸트 범위는,
    상기 모바일 디바이스가 수평인 상태를 기준으로, 상기 모바일 디바이스의 상단이 상기 모바일 디바이스의 하단보다 낮게 위치하도록 상기 모바일 디바이스가 틸트되는 각도 범위인, 모바일 디바이스의 제어 방법.
KR1020157022623A 2013-04-03 2013-07-31 모바일 디바이스 및 그 제어 방법 KR102127394B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361807771P 2013-04-03 2013-04-03
US61/807,771 2013-04-03
PCT/KR2013/006874 WO2014163246A1 (ko) 2013-04-03 2013-07-31 모바일 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150137050A true KR20150137050A (ko) 2015-12-08
KR102127394B1 KR102127394B1 (ko) 2020-06-26

Family

ID=51658515

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020130072534A KR102129786B1 (ko) 2013-04-03 2013-06-24 단말기 및 이의 제어방법
KR1020157022623A KR102127394B1 (ko) 2013-04-03 2013-07-31 모바일 디바이스 및 그 제어 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020130072534A KR102129786B1 (ko) 2013-04-03 2013-06-24 단말기 및 이의 제어방법

Country Status (5)

Country Link
US (1) US10078490B2 (ko)
EP (1) EP2982042B1 (ko)
KR (2) KR102129786B1 (ko)
CN (1) CN105122361B (ko)
WO (1) WO2014163246A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124561A1 (ko) * 2020-12-08 2022-06-16 삼성전자 주식회사 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
US9990921B2 (en) * 2015-12-09 2018-06-05 Lenovo (Singapore) Pte. Ltd. User focus activated voice recognition
KR102418952B1 (ko) * 2017-08-31 2022-07-08 삼성전자주식회사 음성인식 기능을 갖는 가전제품
JP7000924B2 (ja) * 2018-03-06 2022-01-19 株式会社Ｊｖｃケンウッド 音声内容制御装置、音声内容制御方法、及び音声内容制御プログラム
JP7010073B2 (ja) * 2018-03-12 2022-01-26 株式会社Ｊｖｃケンウッド 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム
US11151990B2 (en) * 2018-12-14 2021-10-19 International Business Machines Corporation Operating a voice response system
CN110262767B (zh) * 2019-06-03 2022-03-11 交互未来(北京)科技有限公司 基于靠近嘴部检测的语音输入唤醒装置、方法和介质
CN111081092B (zh) * 2019-06-09 2022-03-25 广东小天才科技有限公司 一种学习内容输出方法及学习设备
CN115083402A (zh) * 2021-03-15 2022-09-20 Oppo广东移动通信有限公司 响应控制语音的方法、装置、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06124097A (ja) * 1992-10-13 1994-05-06 Hitachi Ltd 携帯型端末装置
EP1643472A1 (en) * 2004-09-29 2006-04-05 Jeroen Jacobus Pennings Method for improving the readability of displayed texts and devices in which the method is implemented

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3337588B2 (ja) * 1995-03-31 2002-10-21 松下電器産業株式会社 音声応答装置
JP3225918B2 (ja) * 1998-03-30 2001-11-05 日本電気株式会社 携帯端末装置
KR100548881B1 (ko) * 2003-06-17 2006-02-02 주식회사 특수에이브이 자동화 마이크
KR20050019171A (ko) * 2003-08-18 2005-03-03 에스케이텔레텍주식회사 움직임을 감지하여 벨소리/진동량을 조절하는 방법 및이를 구현하는 이동통신 단말기
US7522065B2 (en) * 2004-10-15 2009-04-21 Microsoft Corporation Method and apparatus for proximity sensing in a portable electronic device
US20060085183A1 (en) * 2004-10-19 2006-04-20 Yogendra Jain System and method for increasing recognition accuracy and modifying the behavior of a device in response to the detection of different levels of speech
JP4728982B2 (ja) * 2007-03-05 2011-07-20 株式会社東芝 利用者と対話する装置、方法およびプログラム
KR101403795B1 (ko) * 2007-04-02 2014-06-03 엘지전자 주식회사 이동통신단말기 및 그 사용자 인터페이스 설정방법
JP2011055076A (ja) * 2009-08-31 2011-03-17 Fujitsu Ltd 音声通話装置及び音声通話方法
JP5527055B2 (ja) 2010-07-02 2014-06-18 富士通株式会社 電子機器、制御プログラムおよび制御方法
WO2012169679A1 (ko) 2011-06-10 2012-12-13 엘지전자 주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 장치의 음성인식 시스템
KR101262700B1 (ko) 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06124097A (ja) * 1992-10-13 1994-05-06 Hitachi Ltd 携帯型端末装置
EP1643472A1 (en) * 2004-09-29 2006-04-05 Jeroen Jacobus Pennings Method for improving the readability of displayed texts and devices in which the method is implemented

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124561A1 (ko) * 2020-12-08 2022-06-16 삼성전자 주식회사 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Also Published As

Publication number Publication date
EP2982042A1 (en) 2016-02-10
KR102127394B1 (ko) 2020-06-26
CN105122361B (zh) 2019-06-04
KR20140120798A (ko) 2014-10-14
EP2982042A4 (en) 2016-11-09
EP2982042B1 (en) 2021-10-13
CN105122361A (zh) 2015-12-02
US20160026431A1 (en) 2016-01-28
KR102129786B1 (ko) 2020-07-03
US10078490B2 (en) 2018-09-18
WO2014163246A1 (ko) 2014-10-09

Similar Documents

Publication Publication Date Title
KR102127394B1 (ko) 모바일 디바이스 및 그 제어 방법
CN110291576B (zh) 基于触摸的操作系统的免提导航
KR102081930B1 (ko) 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
US9582851B2 (en) Using proximity sensing to adjust information provided on a mobile device
US9521245B2 (en) Wearable device and method for controlling the same
KR101946364B1 (ko) 적어도 하나의 마이크 센서를 갖는 모바일 디바이스 및 그 제어방법
KR101969351B1 (ko) 헤드 마운트 디스플레이 및 그 출력 제어 방법
KR20150018256A (ko) 모바일 디바이스 및 그 제어 방법
KR20150129386A (ko) 폴더블 디스플레이 디바이스 및 그 제어 방법
US11209930B2 (en) Method of controlling device using various input types and device for performing the method
WO2020156443A1 (zh) 图像查找方法及终端设备
US11354017B2 (en) Display method and mobile terminal
KR102097495B1 (ko) 디지털 디바이스 및 그 제어 방법
WO2019184947A1 (zh) 图像查看方法及移动终端
KR20140119608A (ko) 개인 페이지 제공 방법 및 이를 위한 디바이스
KR102384284B1 (ko) 터치스크린을 이용한 볼륨 제어 방법 및 장치
KR102271184B1 (ko) 영상 투사 장치 및 그의 동작 방법
JP2015194992A (ja) 携帯端末及び制御方法
KR20170059760A (ko) 이동단말기 및 그 제어방법
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
US20140052443A1 (en) Electronic device with voice control function and voice control method
KR102554899B1 (ko) 음성 처리 방법 및 이동 단말기
KR101494810B1 (ko) 원근 변화에 따른 동작 인식에 의해 제어되는 내비게이션 장치, 그 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR101443964B1 (ko) 휴대 단말기 및 휴대 단말기의 정보입력방법
KR101470900B1 (ko) 모바일 단말기에서의 음성/텍스트 변환방법 및 그 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant