KR20160017545A - A system for controlling mobile device - Google Patents

A system for controlling mobile device Download PDF

Info

Publication number
KR20160017545A
KR20160017545A KR1020140101255A KR20140101255A KR20160017545A KR 20160017545 A KR20160017545 A KR 20160017545A KR 1020140101255 A KR1020140101255 A KR 1020140101255A KR 20140101255 A KR20140101255 A KR 20140101255A KR 20160017545 A KR20160017545 A KR 20160017545A
Authority
KR
South Korea
Prior art keywords
mobile device
unit
user
information
control
Prior art date
Application number
KR1020140101255A
Other languages
Korean (ko)
Inventor
정영철
Original Assignee
주식회사 위자드랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위자드랩 filed Critical 주식회사 위자드랩
Priority to KR1020140101255A priority Critical patent/KR20160017545A/en
Publication of KR20160017545A publication Critical patent/KR20160017545A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/306—Pressure sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/60—Photometry, e.g. photographic exposure meter by measuring the pupil of the eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

According to an embodiment of the present invention, a system for controlling a mobile device remotely controls a mobile device. The system comprises a control device and the mobile device. The control device comprises: an input unit through which a user inputs voice information and information except a voice; a control unit which processes the inputted information; and a communications unit configured to transmit the processed information. The mobile device receives the transmitted information. The received information is outputted to a screen unit of the mobile device in a push message type. Therefore, the present invention controls the mobile device from the outside, and improves matching in accordance with an input of a control command to build a more convenient mobile environment.

Description

모바일 기기 제어 시스템 {A SYSTEM FOR CONTROLLING MOBILE DEVICE}[0001] A SYSTEM FOR CONTROLLING MOBILE DEVICE [0002]

본 발명은 모바일 기기의 제어 시스템에 대한 것으로서, 더욱 상세하게는 모바일 기기를 음성 인식 등의 방법으로 제어하는 시스템에 대한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a control system for a mobile device, and more particularly to a system for controlling a mobile device by voice recognition or the like.

현재 모바일 기기의 사용자가 급속도로 증가하고 있다. 모바일 기기의 보편화에 따라, 모바일 기기는 현대인에게 꼭 필요한 필수품이 되었고, 사소한 메모부터 다양한 사용자의 컨텐츠에 이르기까지 많은 정보를 자신의 모바일 기기에 담아 놓고 활용하고 있는 실정이다. 이러한 사용자들의 욕구를 만족시키기 위해 서비스 제공자들은 다양한 부가 서비스를 제공하고 있다. Currently, the number of users of mobile devices is rapidly increasing. Due to the generalization of mobile devices, mobile devices have become essential necessities for modern people, and they are putting a lot of information into their mobile devices from a small memo to contents of various users. To satisfy these users' needs, service providers provide various additional services.

그런데, 사용자는 모바일 기기의 필수적 사용에 따라 환경의 제약 없이 모바일 기기를 사용할 빈도가 높아지고, 사용자가 저장한 여러가지 정보를 활용할 빈도 또한 높아졌다. 예를 들어, 자동차를 운전 중인 사용자는 직접적으로 모바일 기기를 조작하기 위험하거나 어려운 환경에 직면할 수 있어 운전 중의 모바일 기기 조작은 제도적으로도 금지되고 있는 실정에도 불구하고 모바일 기기를 어쩔 수 없이 사용하게 되는 실정이다.
However, according to the essential use of the mobile device, the user frequently uses the mobile device without restriction of the environment, and frequently uses various information stored by the user. For example, a user driving a car may face a dangerous or difficult environment to manipulate the mobile device directly, so that even if the operation of the mobile device during driving is prohibited systematically, the mobile device is inevitably used .

본 발명은 상기한 바와 같은 문제를 해결하기 위해 안출된 것으로서, 본 발명의 목적은 모바일 기기를 외부에서 제어하고 제어 명령의 입력에 따른 정합성을 향상시켜 보다 편리한 모바일 환경을 구축하는데 있다.
SUMMARY OF THE INVENTION The present invention has been conceived to solve the problems as described above, and it is an object of the present invention to construct a more convenient mobile environment by controlling the mobile device from the outside and improving the consistency according to the input of the control command.

본 발명의 일 측면에 따른 모바일 기기 제어 시스템은 원격으로 모바일 기기를 제어하는 모바일 기기 제어 시스템에 있어서, 사용자가 음성 정보 또는 음성 외 정보를 입력하는 입력부, 상기 입력된 정보를 프로세싱하는 제어부, 및 상기 프로세싱된 정보를 송신하는 통신부;를 포함하여 이루어지는 컨트롤 기기; 및 상기 송신된 정보를 수신하는 모바일 기기를 포함하고, 상기 수신된 정보는 상기 모바일 기기의 화면부에 푸쉬(push) 메시지의 형태로 출력된다.A mobile device control system according to an aspect of the present invention is a mobile device control system for remotely controlling a mobile device. The mobile device control system includes an input unit for inputting voice information or non-voice information by a user, a control unit for processing the input information, And a communication unit for transmitting the processed information. And a mobile device for receiving the transmitted information, wherein the received information is output in the form of a push message on a screen of the mobile device.

이때, 상기 컨트롤 기기 및 상기 모바일 기기와 통신하여 각각의 고유 아이디를 찾는 클라우드 푸쉬 서버, 및 상기 고유 아이디를 각각 공유시키는 중계 서버를 더 포함할 수 있다. The server may further include a cloud push server for communicating with the control device and the mobile device to find respective unique IDs, and a relay server for sharing the unique IDs.

또한, 상기 컨트롤 기기는 표시부를 더 포함하여 이루어지고, 상기 표시부는 상기 푸쉬 메시지가 상기 화면부에 출력되는 동시에 상기 표시부에 UI를 로딩하는 UI로딩부를 포함할 수 있다. The control device may further include a display unit, and the display unit may include a UI loading unit that outputs the push message to the display unit and loads the UI on the display unit.

또한, 상기 컨트롤 기기는 센싱부를 더 포함하고, 상기 센싱부는 상기 사용자를 센싱하여 상기 입력부를 웨이크업(wake-up)시킬 수 있다. In addition, the control device may further include a sensing unit, and the sensing unit may sense the user and wake-up the input unit.

또한, 상기 센싱부는 상기 컨트롤 기기와 함께 배치 형성될 수 있다. The sensing unit may be disposed along with the control device.

또한, 상기 센싱부는 CCD 카메라, 동공인식 카메라, GPS, 터치패널 및 압력센서 중 선택된 어느 하나를 포함하여 이루어질 수 있다. In addition, the sensing unit may include any one selected from a CCD camera, a pupil recognition camera, a GPS, a touch panel, and a pressure sensor.

또한, 상기 컨트롤 기기는 레퍼런스 액션 데이터가 저장된 저장부를 더 포함하고, 제어부는 상기 CCD 카메라, 동공인식 카메라, 터치패널, GPS 및 압력센서가 센싱한 액션과 상기 레퍼런스 액션 데이터를 비교하여 기설정된 액션을 판단할 수 있다. The controller further includes a storage unit for storing reference action data, and the controller compares the reference action data with an action sensed by the CCD camera, the pupil recognition camera, the touch panel, the GPS, and the pressure sensor, It can be judged.

또한, 상기 컨트롤 기기는 자동차의 실내에 배치되고, 상기 CCD 카메라 및 상기 동공인식 카메라는 사용자의 전방에 배치될 수 있다. In addition, the control device may be disposed in the interior of the vehicle, and the CCD camera and the pupil recognition camera may be disposed in front of the user.

또한, 상기 컨트롤 기기는 자동차의 실내에 배치되고, 상기 터치패널은 상기 자동차의 핸들 또는 실내의 유리 상에 배치될 수 있다. Further, the control device may be disposed in an automobile interior, and the touch panel may be disposed on the handle of the automobile or on the glass of the interior.

또한, 상기 컨트롤 기기는 자동차의 실내에 배치되고, 상기 압력센서는 상기 자동차 시트 상에 배치될 수 있다. Further, the control device may be disposed in an automobile interior, and the pressure sensor may be disposed on the car seat.

또한, 상기 압력센서는 적어도 하나의 압력센서가 상기 자동차 시트 상에 열을 형성하도록 선형으로 배치될 수 있다. 이 경우 상기 압력센서는 상단센서부, 중간센서부 및 하부센서부를 포함하여 이루어지고, 상기 상단센서부, 중간센서부 및 하부센서부가 센싱하는 액션과 대비되는 레퍼런스 액션 데이터는 서로 다르게 설정될 수 있다. The pressure sensor may also be arranged linearly so that at least one pressure sensor forms heat on the car seat. In this case, the pressure sensor includes an upper sensor unit, an intermediate sensor unit, and a lower sensor unit, and the reference action data compared with the action of sensing the upper sensor unit, the intermediate sensor unit, and the lower sensor unit may be set differently .

또한, 상기 레퍼런스 액션 데이터 중 상기 동공인식 카메라와 대응하는 부분은 사용자의 동공이 카메라를 응시하는 시간을 포함하여 이루어질 수 있다. In addition, the portion of the reference action data corresponding to the pupil recognition camera may include a time at which the pupil of the user gazes at the camera.

또한, 상기 기설정된 액션을 판단하는 경우에는 상기 UI로딩부가 상기 표시부에 아이콘을 로딩할 수 있다. In addition, when determining the predetermined action, the UI loading unit may load an icon on the display unit.

또한, 상기 입력부는 상기 표시부 상에 형성된 터치 패널을 포함하여 이루어지고, 상기 UI로딩부는 상기 모바일 기기의 화면부에 출력되는 UI 중 현재 제어하는 기능을 표시하는 UI를 상기 표시부에 실시간 로딩할 수 있다. Also, the input unit may include a touch panel formed on the display unit, and the UI loading unit may load the UI displayed on the display unit of the mobile device in real time on the display unit, .

또한, 상기 레퍼런스 액션 데이터 중 상기 GPS와 대응하는 부분은 사용자의 위치 정보가 기 저장된 위치 정보와 오차범위 이내인 경우를 포함하여 이루어질 수 있다. In addition, the portion of the reference action data corresponding to the GPS may include a case where the position information of the user is within the error range with the previously stored position information.

또한, 상기 컨트롤 기기는 CCD 카메라를 더 포함하고, 상기 CCD카메라는 상기 로딩된 UI를 선택하는 액션을 센싱할 수 있다. In addition, the control device may further include a CCD camera, and the CCD camera may sense an action of selecting the loaded UI.

또한, 상기 저장부는 센싱부가 센싱한 시간, 날짜, 요일 및 온도를 함께 저장할 수 있다. In addition, the storage unit may store the time, date, day of the week, and temperature of the sensing unit.

또한, 상기 UI는 상기 화면부에 표시된 내용 자체, 소리 및 상기 모바일 기기가 제어되는 기능 표시 중 어느 하나일 수 있다. In addition, the UI may be any one of a content displayed on the screen, a sound, and a function displayed by the mobile device.

또한, 상기 모바일 기기 제어 시스템은 다른 사용자의 모바일 기기를 더 포함하고, 상기 다른 사용자의 모바일 기기를 상기 컨트롤 디바이스와 페어링하여 상기 다른 사용자의 모바일 기기에서 입력된 정보가 상기 모바일 기기의 화면부에 푸쉬 메시지의 형태로 출력되도록 할 수 있다.
The mobile device control system further includes a mobile device of another user, and the mobile device of the other user is paired with the control device so that information input from the mobile device of the other user is pushed to the screen of the mobile device And output it in the form of a message.

상기와 같이 본 발명에 따른 모바일 기기 제어 시스템은 컨트롤 기기에서 입력된 정보가 무선 데이터 통신 또는 와이파이 연결이 환경에서 무선 통신 망을 이용하여 푸쉬 메시지로 모바일 기기로 전달된다. 따라서, 푸쉬 서비스에 필요한 중계 서버만 필요하게 되어 통신 요금의 증가 없이 간단히 컨트롤 기기에서 모바일 기기로 제어 명령을 전송할 수 있다. As described above, in the mobile device control system according to the present invention, the information input from the control device is transmitted to the mobile device in a push message using a wireless communication network in a wireless data communication or Wi-Fi connection environment. Accordingly, only the relay server necessary for the push service is required, and the control command can be simply transmitted from the control device to the mobile device without increasing the communication charge.

또한, 본 발명에 따른 모바일 기기 제어 시스템은 푸쉬 메시지가 모바일 기기에 출력되는 시점에 표시부(130)에 UI를 로딩하여, 사용자가 직관적으로 자신이 입력한 음성 명령 또는 기타 명령이 전달됨을 확인하는 절차가 삽입되어명령 입력 후 사용자의 감성 소통 기능을 극대화 시키고, 입력 실패에 따른 불안감이 해소되도록 한다.In addition, the mobile device control system according to the present invention may be configured such that the UI is loaded on the display unit 130 at the time when the push message is output to the mobile device, and the user confirms that the voice command or other command inputted by the user is intuitively transmitted Is inserted to maximize the emotional communication function of the user after inputting a command, thereby relieving the anxiety due to the input failure.

또한, 본 발명에 따른 모바일 기기 제어 시스템은 센싱부에서의 센싱을 통해 명령 진입 모드를 판별하고 비로서 입력부를 활성화시켜 입력된 제어 명령이 모바일 기기로 전송되므로 입력 오류를 현저히 줄일 수 있다. In addition, the mobile device control system according to the present invention can significantly reduce the input error since the control command is transmitted to the mobile device by activating the input unit by discriminating the command entry mode through sensing in the sensing unit.

또한, 본 발명에 따른 모바일 기기 제어 시스템은 사용자가 다른 사용자와 음성 통화를 수행하는 경우 사용자는 컨트롤 기기와의 페어링을 연계하고, 다른 사용자가 사용자의 지위에서 모바일 기기를 제어하게 된다. 따라서, 운전 등과 같은 환경에서 보다 장시간의 모바일 기기를 제어하는 환경을 구축하도록 한다.
In addition, in the mobile device control system according to the present invention, when a user performs a voice communication with another user, the user associates the pairing with the control device, and another user controls the mobile device at the user's position. Therefore, an environment for controlling a mobile device for a longer period of time in an environment such as an operation or the like is constructed.

도 1은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템이 차량에 적용된 것을 나타내는 개략도이다.
도 3은 도 2에서의 압력 센서가 차량 시트 상에 형성된 것을 나타내는 개략도이다.
도 4는 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 모바일 기기에 푸쉬 메시지가 표시되는 것을 도시한 도면이다.
도 5는 도 4에서의 푸쉬 메시지가 전달된 후 제어 명령에 의해 수행되는 기능을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 컨트롤 기기와 모바일 기기가 최초 페어링되는 것을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 사용자가 음성입력을 수행하는 과정을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 푸쉬 메시지를 전송받은 모바일 기기에서의 내부 동작을 나타낸 순서도이다.1 is a block diagram schematically showing a mobile device control system according to an embodiment of the present invention.
2 is a schematic diagram showing a mobile device control system according to an embodiment of the present invention applied to a vehicle.
Fig. 3 is a schematic view showing that the pressure sensor in Fig. 2 is formed on the vehicle seat. Fig.
4 is a diagram illustrating a push message displayed on a mobile device in a mobile device control system according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating a function performed by a control command after a push message in FIG. 4 is transmitted.
FIG. 6 is a diagram illustrating a first pairing of a control device and a mobile device in a mobile device control system according to an exemplary embodiment of the present invention. Referring to FIG.
7 is a flowchart illustrating a process in which a user performs voice input in a mobile device control system according to an embodiment of the present invention.
8 is a flowchart illustrating an internal operation of a mobile device that receives a push message in a mobile device control system according to an exemplary embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention can be variously modified and may have various embodiments, and specific embodiments will be described in detail with reference to the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

도 1은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템을 개략적으로 도시한 구성도이다. 도면을 참조하면, 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템(1000)은 컨트롤 기기(100), 서버(200) 및 모바일 기기(300)을 포함하여 이루어진다. 1 is a block diagram schematically showing a mobile device control system according to an embodiment of the present invention. Referring to the drawings, a mobile device control system 1000 according to an embodiment of the present invention includes a control device 100, a server 200, and a mobile device 300.

컨트롤 기기(100)는 서버(200)를 통해 모바일 기기(300)을 제어하기 위한 장치로서, 개인용 컴퓨터, 복합무선단말기, 휴대용단말기, 텔레메틱스가 설치된 자동차, 기차 및 비행기 등의 운송수단을 포함하는 개념이다. The control device 100 is a device for controlling the mobile device 300 through the server 200 and includes a concept including a transportation means such as a personal computer, a complex wireless terminal, a portable terminal, a vehicle with a telematics, to be.

컨트롤 기기(100)는 입력부(120), 표시부(130), 제어부(150) 및 통신부(160)를 포함하여 구성되는데, 기능에 따라 센싱부(110), 저장부(140)를 더 포함하여 이루어질 수 있다. The control device 100 includes an input unit 120, a display unit 130, a control unit 150 and a communication unit 160. The control device 100 further includes a sensing unit 110 and a storage unit 140 according to functions. .

센싱부(110)는 컨트롤 기기(100)에서 정보 입력을 수행하는 단계의 정합성을 보다 향상시키거나 입력 단계를 더욱 줄이는 역할을 수행하는 것으로서, 보다 상세하세는 후술하는 입력부(200)를 비로서 활성화시켜 오류 입력을 막거나, 센싱 만으로 사용자의 의도를 파악하여 입력 단계 자체를 생략하는 기능을 수행한다. 센싱부(110)를 구성하는 다량한 센서에 대하여는 후술한다. The sensing unit 110 performs a function of further improving the consistency of the step of inputting information in the control device 100 or further reducing the input step. More specifically, the sensing unit 110 may be configured to activate To prevent error input, or to sense the intention of the user only by sensing, thereby omitting the input step itself. A large number of sensors constituting the sensing unit 110 will be described later.

입력부(120)는 원격으로 모바일 기기(300)를 제어하기 위해 컨트롤 기기(100)에 최초로 정보를 삽입하는 역할을 한다. 이때, 입력부에는 마이크가 설치되거나, 표시부(130) 상에 터치패널이 삽입되어 음성 또는 음성 외의 방법인 터치 액션으로 최초로 정보를 입력하도록 한다. 입력된 정보는 제어부(150)에서 프로세싱하여 명령 데이터로 변환하게 된다. The input unit 120 functions to insert information into the control device 100 to control the mobile device 300 remotely. At this time, a microphone may be installed in the input unit, or a touch panel may be inserted on the display unit 130 so that information is input first by a touch action other than voice or voice. The input information is processed by the control unit 150 and converted into command data.

한편, 제어부(150)는 사용자가 컨트롤 기기(100) 상에서 음성으로 모바일 기기(300)를 제어하는 명령을 입력하게 되면 유효한 음성인지의 여부와 유효한 명령인지의 여부도 함께 프로세싱하게 되는데, 더욱 자세한 내용은 후술한다. If the user inputs a command for controlling the mobile device 300 by voice on the control device 100, the control unit 150 processes whether or not it is a valid voice and whether it is a valid command. Will be described later.

통신부(160)은 상기 프로세싱된 정보를 송신하게 되고, 서버(200)를 거쳐 최종적으로 모바일 기기(300)의 화면부(320)에서 본 정보가 출력되도록 한다. 한편, 모바일 기기(300)는 프로세싱된 정보를 수신받는 통신부(340) 및 정보의 내용을 보여주는 화면부(320) 및 제반 기능을 프로세싱하는 제어부(330)로 구성되어 있는데, 보다 자세한 내용은 당업자에 자명한 바 자세한 설명은 생략한다. The communication unit 160 transmits the processed information and finally outputs the information viewed from the screen unit 320 of the mobile device 300 via the server 200. [ The mobile device 300 includes a communication unit 340 for receiving the processed information, a screen unit 320 for displaying information contents, and a control unit 330 for processing various functions. The detailed description will be omitted.

한편, 본 발명의 일 실시예에 따른 모바일 기기의 제어 시스템(1000)은 컨트롤 기기(100)에서 입력된 명령이 푸쉬(push) 메시지의 형태로 모바일 기기에서 출력되는 데 특징이 있다. 더욱 상세하게, 상기 푸쉬 메시지는 컨트롤 기기에서 입력된 정보가 메시지 서버를 통해 왑 푸쉬(wap push)의 형태로 전송되는 것이 아니라, 무선 데이터 통신 또는 와이파이 연결이 환경에서 무선 통신 망을 이용하여 전달이 가능한 장점이 있다. 따라서, 푸쉬 서비스에 필요한 중계 서버만 필요하게 되어 통신 요금의 증가 없이 간단히 컨트롤 기기(100)에서 모바일 기기로 제어 명령을 전송할 수 있게 된다. Meanwhile, the control system 1000 of the mobile device according to an embodiment of the present invention is characterized in that a command input from the control device 100 is output from a mobile device in the form of a push message. More specifically, the push message is not transmitted in the form of a wap push through a message server, but is transmitted through a wireless communication network in a wireless data communication or Wi-Fi connection environment. There are advantages. Therefore, only the relay server necessary for the push service is required, and the control command can be easily transmitted from the control device 100 to the mobile device without increasing the communication charge.

또한, 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템(1000)은 이러한 푸쉬 메시지가 모바일 기기(300)의 화면부(320)에 출력되는 경우와 동시에 컨트롤 기기(100)의 UI로딩부(미도시)에 의해 UI(도2의 135, 이하 동일)가 표시부(130)에 로딩되게 된다. 즉, 푸쉬 메시지가 모바일 기기에 출력되는 시점에 표시부(130)에 UI를 로딩하여, 사용자가 직관적으로 자신이 입력한 음성 명령 또는 기타 명령이 전달됨을 확인하는 절차가 삽입되어명령 입력 후 사용자의 감성 소통 기능을 극대화 시키고, 입력 실패에 따른 불안감이 해소되도록 한다. 즉, 사용자의 사용 직관성을 현저하게 향상시킬 수 있다. 나아가, 상기 UI는 모바일 기기의 화면부(320)에 표시된 내용 자체, 소리 및 상기 모바일 기기가 제어되는 기능 표시 등으로 구현될 수 있다. The mobile device control system 1000 according to an exemplary embodiment of the present invention may be configured such that when the push message is output to the screen unit 320 of the mobile device 300, The UI (135 in Fig. 2, the same applies hereinafter) is loaded on the display unit 130. [ That is, a procedure for loading the UI on the display unit 130 at a point of time when the push message is outputted to the mobile device, and confirming that the voice command or other command inputted by the user intuitively is transmitted is inserted, Thereby maximizing the communication function and relieving the anxiety due to the input failure. That is, the user's intuitiveness to use can be remarkably improved. Further, the UI may be implemented by displaying the content itself on the screen 320 of the mobile device, a sound, and a function display in which the mobile device is controlled.

이하, 본 발명의 일 실시예에 따른 모바일 기기의 제어 시스템에 대하여 보다 상세하게 설명한다. 앞에서 설명한 바와 같이 자동차를 운전 중인 사용자는 직접적으로 모바일 기기를 조작하기 위험하거나 어려운 환경에 직면할 수 있다. 따라서, 일례로 도 2를 통해 본 실시예를 더욱 상세하게 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서의 컨트롤 기기(100)가 차량인 경우를 나타내는 개략도이다. Hereinafter, a control system of a mobile device according to an embodiment of the present invention will be described in detail. As described above, a user driving a car can face a dangerous or difficult environment in operating a mobile device directly. Accordingly, the present embodiment will be described in more detail with reference to FIG. 2, for example. 2 is a schematic diagram showing a case where the control device 100 in the mobile device control system according to the embodiment of the present invention is a vehicle.

도면에서, 자동차의 실내에는 다양한 구조물이 존재하고 있는데 다양한 구조물에 컨트롤 기기의 구성을 인간공학적 관점에서 배치된 것을 나타내고 있다. 우선 전술한 센싱부(110)를 이루는 복수의 센서(112,113,114,115,116h,116w,117)가 컨트롤 기기(100)인 자동차의 실내에 배치 형성되고 있다. 우선, 복수의 센서는 적어도 하나의 사용자의 전방에 배치된 CCD 카메라(112,113) 및 동공인식 카메라(114), 그리고, GPS(115) 및 터치패널(116h,116w) 및 압력센서(117)를 포함하여 이루어져 있다. In the drawings, various structures exist in the interior of an automobile, and the arrangement of control devices in various structures is shown from an ergonomic viewpoint. A plurality of sensors 112, 113, 114, 115, 116h, 116w, 117 constituting the sensing unit 110 are disposed in the interior of the automobile as the control device 100. [ First, the plurality of sensors include CCD cameras 112 and 113 and a pupil recognition camera 114 disposed in front of at least one user, a GPS 115, touch panels 116h and 116w, and a pressure sensor 117 .

전술한 바와 같이, 센싱부(110)는 컨트롤 기기의 정보 입력을 수행하는 단계에서의 정합성을 보다 향상시키거나 입력 단계를 줄이는 역할을 수행한다. 전술한 저장부(140)에서는 레퍼런스로 사용되는 액션 데이터가 저장되어 있는데, 제어부에서는 이러한 레퍼런스 데이터(기설정값)와 실제 센싱된 데이터를 대비하여 다음 단계로의 진입을 판단하게 된다. As described above, the sensing unit 110 plays a role of improving the consistency in the step of inputting information of the control device or reducing the input step. In the above-described storage unit 140, action data used as a reference is stored. In this case, the control unit compares the reference data (the preset value) with the actually sensed data to determine the entry to the next step.

즉, 동공 인식 카메라(114)의 경우에 사용자가 설정 시간 동안 응시하는 경우에 비로서 입력 단계가 활성화(wake-up)되어 사용자의 음성 입력 등이 가능하도록 한다. 또한, 자동차의 핸들(H) 또는 유리창에는 터치 패널(116h,116w)이 배치되어 있어서, 설정된 터치 액션을 수행하는 경우에 음성 입력이 가능하도록 설정할 수 있음도 물론이다. 나아가, 차량의 핸들(H)에는 압력 센서(117)가 삽설되어 있어, 사용자가 운전 중 설정된 압력을 인가하는 경우에 다음 단계로 진입하도록 설정할 수 있다. That is, in the case of the pupil recognition camera 114, the input step is wake-up in a case where the user stare for a predetermined time, so that the user can input voice or the like. Also, the touch panels 116h and 116w are disposed on the handle H or the window of the vehicle, so that it is possible to set the voice input to be possible when the set touch action is performed. Furthermore, a pressure sensor 117 is installed in the handle H of the vehicle, and can be set to enter the next step when the user applies the set pressure during operation.

또한, 레퍼런스 액션 데이터 중 GPS(115)가 센싱한 것과 대응하는 부분은 사용자의 위치 정보가 기 저장된 위치 정보와 오차범위 이내인 경우를 포함하여 이루어지도록 설정할 수 있다. 즉, 사용자의 GPS 위치좌표가 미리 설정된 값과 유사한 경우에 바로 음성 임력을 가능케 하여 모바일 기기를 신속하게 제어할 수 있다. The portion of the reference action data corresponding to the sensing of the GPS 115 may be configured to include the case where the position information of the user is within the error range with the previously stored position information. That is, when the GPS position coordinates of the user is similar to a preset value, the user can quickly control the mobile device by enabling the voice force.

예를 들어, 사용자가 특정 장소에서 특정인을 만나기로 메시지 또는 음성 통화를 수행한 경우에 메시지 또는 음성 통화는 제어부(150)에서 텍스트로 전환할 수 있는데, 제어부(150)는 이 텍스트를 데이터화하여 주제백터, 장소벡터, 시간벡터, 인물벡터 등으로 변환하고, 실제로 GPS 센싱 결과가 장소벡터에서 도출된 장소와 오차 범위 내로 근접하는 경우에 입력부를 웨이크업시켜 모바일 기기의 제어를 신속히 이루어지도록 할 수 있다. For example, when the user performs a message or a voice call to meet a specific person at a specific place, the message or voice call can be switched to text in the control unit 150. The control unit 150 converts the text into data, , A place vector, a time vector, a portrait vector, and the like. When the GPS sensing result is within the error range from the place derived from the place vector, the input unit can be woken up to quickly control the mobile device.

이상과 같이, 본 발명의 일 실시예에 따른 모바일 기기의 제어 시스템은 센싱부에서의 센싱을 통해 명령 진입 모드를 판별하고 비로서 입력부를 활성화시켜 입력된 제어 명령이 모바일 기기로 전송되므로 입력 오류를 현저히 줄일 수 있다. 한편, 상기한 센싱이 수행되고 센싱 결과 기 설정된 센싱과 일치하는 경우에는 전술한 표시부(130)의 UI로딩부가 센싱 아이콘(1355)을 로딩되어 센싱 시의 감성 인터랙션도 함께 느끼도록 구성할 수 있다. As described above, the control system of the mobile device according to the embodiment of the present invention determines the command entry mode through sensing in the sensing unit, activates the input unit, transmits the input control command to the mobile device, Can be significantly reduced. Meanwhile, when the sensing is performed and the sensed result coincides with the predetermined sensing, the UI loading unit of the display unit 130 may be loaded with the sensing icon 1355 so that the sensible interaction during sensing may also be sensed.

더욱 나아가, 도 3은 압력 센서(117)가 자동차 시트(C) 상에 형성된 것을 나타내는 도면이다. 도면을 참조하면, 압력센서(117) 적어도 하나의 력센서가 상기 자동차 시트 상에 열을 형성하도록 선형으로 배치되어 있다. 나아가, 압력센서는 상단센서부(117U1~117Un), 중간센서부(117M1~117Mn) 및 하부센서부(117B1~117Bn)를 포함하여 이루어질 수 있는데, 각각의 센서부가 센싱하는 액션과 대비되는 액션 데이터는 서로 다르게 설정될 수 있다. 3 is a view showing that the pressure sensor 117 is formed on the car seat C. As shown in Fig. Referring to the drawings, at least one force sensor 117 is arranged linearly so as to form heat on the car seat. Further, the pressure sensor may include upper sensor units 117U1 to 117Un, intermediate sensor units 117M1 to 117Mn, and lower sensor units 117B1 to 117Bn. In this case, Can be set differently.

즉, 예를 들어, 상단센서부(117U1~117Un) 상에 배치된 사용자의 목을 시트에 압력을 일정한 간격으로 가하고, 중간센서부에 배치된 사용자의 허리가 시트에 주는 압력을 일부 해제하고, 하부센서부와 대응되는 위치에 배치된 다리를 움직이는 행동을 취하는 경우를 액션 레퍼런스 데이터로 설정하는 경우에는, 바로 피곤하다는 음성 입력이 가능하고, 본 음성 입력을 전달 받은 모바일 기기는 설정된 사람에게의 음성 통화를 즉각 적으로 수행하여 동작에 따른 모바일 기기의 제어를 신속하게 수행할 수 있다. That is, for example, the neck of the user disposed on the upper sensor units 117U1 to 117Un is applied with a predetermined pressure to the seat, the pressure applied to the seat by the waist of the user disposed on the intermediate sensor unit is partially released, In the case of setting the action reference data to take the action of moving the leg arranged at the position corresponding to the lower sensor unit, it is possible to input the voice that the user is tired immediately, and the mobile device, which has received the voice input, It is possible to promptly perform the call and quickly control the mobile device according to the operation.

한편, 전술한 저장부(140)는 센싱부가 센싱한 시간, 날짜, 요일 및 온도를 함께 저장한다. 즉, 자주 발생되는 센싱의 통계를 설정하여 액션 레퍼런스 데이터의 학습효과를 구현하도록 한다. 이에 따라 보다 많은 센싱을 더욱 편리하게 수행하는 것이 가능해 진다. Meanwhile, the storage unit 140 stores the time, date, day of the week, and temperature at which the sensing unit senses. That is, the learning effect of the action reference data is implemented by setting the statistics of the frequently generated sensing. This makes it possible to perform more sensing more conveniently.

한편, 도 4는 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 모바일 기기에 푸쉬 메시지가 표시되는 것을 도시한 도면이고, 도 5는 도 4에서의 푸쉬 메시지가 전달된 후 제어 명령에 의해 수행되는 기능을 도시한 도면이다. FIG. 4 is a diagram illustrating a push message displayed on a mobile device in a mobile device control system according to an exemplary embodiment of the present invention. FIG. 5 is a diagram illustrating a push message in FIG. Fig.

전술한 바와 같이, 센싱부(110)의 센싱에 의해 활성화된 입력부(120)에 음성 입력을 수행하면, 제어부(50)가 음성입력의 정합성을 확정하고 이를 통신부(160)를 통해 모바일 기기(300)로 전송하게 되는데, 도 4는 모바일 기기에서의 보여지는 푸쉬 메시지를 나타내고 있다. As described above, when voice input is performed to the input unit 120 activated by the sensing of the sensing unit 110, the control unit 50 determines the consistency of the voice input and transmits it through the communication unit 160 to the mobile device 300 FIG. 4 shows a push message shown in a mobile device.

이후 도 5에 도시한 바와 같이 푸쉬 메시지에 따라 특정인에게 전화걸기가 수행된다. Then, as shown in FIG. 5, a call is made to a specific person according to the push message.

한편, 다시 도 3를 참조하면, 이 경우에 최종적인 전화걸기가 수행되기 전에 UI로딩부는 모바일 기기의 화면부에 출력되는 UI 중 현재 제어하는 기능을 표시하는 UI(133)를 상기 표시부에 실시간 로딩하게 된다. 즉, 참조부호 133으로 표현된 여러 UI 중에서 전화에 해당되는 아이콘이 컨트롤 기기인 자동차의 전면에 표시되도록 하고, 사용자는 전면 상에 배치된 터치패널을 이용하여 전화 아이콘을 클릭하여 모바일 기기의 전화걸기 기능을 수행하는 것이 가능해 진다. 3, in this case, before the final dialing is performed, the UI loading unit loads the UI 133, which displays a function to be currently controlled among the UIs displayed on the screen of the mobile device, . That is, an icon corresponding to a phone among various UIs represented by reference numeral 133 is displayed on the front side of a car as a control device, and the user clicks the phone icon using the touch panel disposed on the front face, It is possible to perform the function.

한편, 이 경우 자동차의 전면 유리는 사용자의 팔이 닿기에 멀리 배치될 수 있다. 따라서, 전술한 센싱부(110)의 CCD카메라(112,113)를 이용하여 상기 전화 아이콘을 클릭하는 동작을 핸들의 전방에서 수행하는 경우에는 제어부가 이를 아이콘의 클릭으로 인식하여 최종 전화걸기 기능도 수행하도록 할 수 있다. On the other hand, in this case, the windshield of the automobile can be disposed far away from the user's arm. Therefore, when the operation of clicking the telephone icon by using the CCD cameras 112 and 113 of the sensing unit 110 is performed in front of the handle, the control unit recognizes the click of the icon and performs the final dialing function can do.

한편, 도면에서 CCD카메라(112,113)는 복수로 형성되어 있는데, 자동차 전면 유리 등에 로딩되는 아이콘이 복수로 형성되는 경우에는 위치 관계를 판별할 필요가 있다. 따라서, 복수의 카메라에 방향성을 부여하고 보다 가깝게 근접하는 선택점을 복수의 아이콘과 위치가 대응하는 클릭으로 판단하는 기능을 더욱 삽입할 수 있다.In the figure, a plurality of CCD cameras 112 and 113 are formed. In the case where a plurality of icons to be loaded on an automobile front glass or the like are formed, it is necessary to determine a positional relationship. Therefore, it is possible to further inserting a function of giving directionality to a plurality of cameras and judging a plurality of icons and positions that are closer to each other by a corresponding click.

한편, 본 발명의 일 실시예에 따른 모바일 기기의 제어는 다른 사용자(도 1의 참조부호 400, 이하 동일)에 의해 수행될 수도 있다. 더욱 상세하게 모바일 기기 제어 시스템(1000)은 다른 사용자의 모바일 기기를 더 포함하고, 다른 사용자의 모바일 기기를 컨트롤 디바이스와 페어링하여 다른 사용자의 모바일 기기에서 입력된 정보가 당초의 모바일 기기(300)의 화면부(320)에 푸쉬 메시지의 형태로 출력되도록 설정할 수 있다. Meanwhile, the control of the mobile device according to the embodiment of the present invention may be performed by another user (400 in FIG. 1, the same applies hereinafter). More specifically, the mobile device control system 1000 further includes a mobile device of another user, and the mobile device of another user is paired with the control device so that information input from another mobile device of the user is transmitted to the mobile device 300 And may be output to the screen unit 320 in the form of a push message.

즉, 사용자가 다른 사용자와 음성 통화를 수행하는 경우 사용자는 컨트롤 기기와의 페어링을 연계하고, 다른 사용자가 사용자의 지위에서 모바일 기기를 제어하게 된다. 따라서, 운전 등과 같은 환경에서 보다 장시간의 모바일 기기를 제어하는 환경을 구축하도록 한다. That is, when a user performs a voice call with another user, the user associates the pairing with the control device, and another user controls the mobile device at the user's position. Therefore, an environment for controlling a mobile device for a longer period of time in an environment such as an operation or the like is constructed.

이하, 본 발명의 일 실시예에 따른 구동 순서를 간략하게 설명한다. 도 6은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 컨트롤 기기와 모바일 기기가 최초 페어링되는 것을 도시한 도면이다.Hereinafter, a driving sequence according to an embodiment of the present invention will be briefly described. FIG. 6 is a diagram illustrating a first pairing of a control device and a mobile device in a mobile device control system according to an exemplary embodiment of the present invention. Referring to FIG.

도면을 참조하면, 먼저 본 발명의 구동이 가능하기 위한 시스템 구성으로, 자동차에서 필요한 기기(Control Device)는 푸쉬 서비스 (APNS/GCM/AOM 등)가 가능한 OS를 탑재하고, 음성 인식, TTS(Text to Speech), 데이터 통신이 가능해야 한다. 조작을 하려는 모바일 기기(Client Device)는 일반 스마트 폰으로 가정하며, 이 또한 푸쉬 서비스가 가능한 OS를 탑재한 기기이어야 한다. Referring to the drawings, a system configuration for enabling driving of the present invention is as follows. A control device required for an automobile is equipped with an OS capable of push service (APNS / GCM / AOM, etc.) to Speech) and data communication. The client device to be manipulated is assumed to be a general smartphone, and it should also be a device equipped with an OS capable of push service.

도면에 도시된 바와 같이, 통신하고자 하는 두 기기인 컨트롤 기기와 모바일 기기는 푸쉬 서비스를 위하여 클라우드 푸쉬(Cloud push) 서버에서 내려주는 각 기기의 고유ID(unique ID)를 서로 알아야 하며, 이 과정이 초기화 동작으로 명시된 흐름이다. 컨트롤 기기와 모바일 기기는 푸쉬 서비스를 위한 자신의 고유ID를 얻기 위하여 각각 클라우드 푸쉬 서버와 통신을 수행하며, 얻어진 고유ID를 각각 중계 서버로 전송하고 중계 서버는 이를 저장하여 두 기기가 서로 상대방의 고유ID를 알 수 있도록 중계해 준다. 즉, 결과적으로 초기화 동작에서는 두 기기는 모두 자신의 고유ID와 상대방의 고유ID를 알고 있는 상태가 된다. As shown in the figure, the control device and the mobile device to communicate with each other need to know the unique IDs of the devices provided by the cloud push server for the push service, This is the flow specified in the initialization operation. The control device and the mobile device each communicate with the cloud push server to obtain their own ID for the push service, respectively, and transmit the obtained unique ID to the relay server, respectively, and the relay server stores the unique ID, Relay it so that it can know the ID. That is, as a result, in the initialization operation, both devices are in a state of knowing their own ID and the unique ID of the other party.

다음으로, 도 7은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 사용자가 음성입력을 수행하는 과정을 도시한 순서도이다. 사용자가 음성 명령을 내리고자 하는 기기(컨트롤 기기)의 초기화 동작 성공 이후의 내부 동작을 나타낸 순서도로서, 사용자의 음성 입력부터 시작한다(S10).Next, FIG. 7 is a flowchart illustrating a process in which a user performs voice input in a mobile device control system according to an embodiment of the present invention. FIG. 8 is a flowchart showing internal operations after a successful initialization operation of a device (control device) to which a user wants to issue a voice command.

도면에 도시된 바와 같이, 사용자의 음성 입력을 받은 컨트롤 기기의 음성 데이터는 음성 인식을 위하여 음성 인식 서버(OS 회사에서 제공되는 서버 또는 독자적으로 운용되는 서버일 수 있음)로 보내어 지며(S11), Control Device는 음성 인식 결과를 음성 인식 서버로부터 수신한다(S12). 수신된 음성 인식 결과가 유효한 조작 명령어이면(S13), 중계 서버로 조작 명령을 송신한다(S14). 만약, 조작 명령이 모바일 기기로부터 응답을 받아야 하는 명령이라면(S15), 응답을 수신하고(S16) 그에 따른 결과를 처리한다(S17). As shown in the figure, the voice data of the control device, which receives the user's voice input, is sent to a voice recognition server (which may be a server provided by an OS company or a separately operated server) for voice recognition (S11) The Control Device receives the speech recognition result from the speech recognition server (S12). If the received speech recognition result is a valid operation command (S13), an operation command is transmitted to the relay server (S14). If the operation command is an instruction to receive a response from the mobile device (S15), the response is received (S16) and the result is processed (S17).

다음으로, 도 8은 본 발명의 일 실시예에 따른 모바일 기기 제어 시스템에서 푸쉬 메시지를 전송받은 모바일 기기에서의 내부 동작을 나타낸 순서도이다. 도면은 조작을 하고자 하는 컨트롤 기기의 초기화 동작 성공 이후의 내부 동작을 나타낸 순서도로서, 조작 명령을 푸쉬 메시지로 수신하는 시점부터 시작한다(S20). Next, FIG. 8 is a flowchart illustrating an internal operation in a mobile device that receives a push message in a mobile device control system according to an embodiment of the present invention. The drawing is a flowchart showing an internal operation after a successful initialization operation of a control device to be operated, and starts from the time when an operation command is received in a push message (S20).

도면에 도시된 바와 같이, 푸쉬 메시지를 수신한 모바일 기기는 조작이 가능한 유효한 조작 명령인지를 판별하고(S21), 해당 조작 명령이 현재 실행 가능한 상태인지 판별한다(S22). 현재 실행 가능한 조작 명령으로 판별되면 해당 명령을 수행하고(S23), 해당 명령에 속한 세세한 동작들을 수행한다(S24).  As shown in the figure, the mobile device receiving the push message determines whether it is a valid operation command that can be operated (S21), and determines whether the operation command is currently executable (S22). If it is determined that the operation command is currently executable, the corresponding command is executed (S23), and detailed operations belonging to the command are performed (S24).

이때, 조작 명령(S23)이나 동작 수행(S24)시에 모바일 기기의 상태에 따른 에러가 발생하면, 모든 동작을 멈추고 다시 푸쉬 메시지를 수신하기 위한 상태로 돌아간다. 모든 명령 수행과 동작 수행이 성공하고, 조작 명령에 대한 응답이 Control Device로 송신되어야 할 필요가 있는 경우라면(S25), 해당 응답 메시지를 푸쉬하기 위해 중계 서버로 응답 메시지를 송신한다(S26). 이와 같이, 도 6의 초기화 동작을 마친 모바일 기기는 도 8의 동작을 반복 수행하게 된다.At this time, if an error occurs according to the state of the mobile device at the time of the operation command (S23) or the operation (S24), all operations are stopped and the state returns to the state for receiving the push message again. If all command execution and operation are successful and a response to the operation command needs to be transmitted to the Control Device (S25), a response message is transmitted to the relay server to push the response message (S26). In this manner, the mobile device having completed the initializing operation of FIG. 6 performs the operation of FIG. 8 repeatedly.

상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Of course.

1000: 모바일 기기 제어 시스템
100: 컨트롤 기기
110: 센싱부
120: 입력부
130: 표시부
140: 저장부
150: 제어부
160: 통신부
200: 서버
300: 모바일 기기
310: 입력부
320: 화면부
330: 제어부
340: 통신부
400: SNS1000: Mobile device control system
100: Control device
110: sensing unit
120: Input unit
130:
140:
150:
160:
200: Server
300: Mobile device
310:
320:
330:
340:
400: SNS

Claims (20)

원격으로 모바일 기기를 제어하는 모바일 기기 제어 시스템에 있어서,
사용자가 음성 정보 또는 음성 외 정보를 입력하는 입력부, 상기 입력된 정보를 프로세싱하는 제어부, 및 상기 프로세싱된 정보를 송신하는 통신부;를 포함하여 이루어지는 컨트롤 기기; 및
상기 송신된 정보를 수신하는 모바일 기기를 포함하고,
상기 수신된 정보는 상기 모바일 기기의 화면부에 푸쉬(push) 메시지의 형태로 출력되는 것을 특징으로 하는 모바일 기기 제어 시스템
A mobile device control system for remotely controlling a mobile device,
An input unit for inputting voice information or non-voice information by a user, a control unit for processing the input information, and a communication unit for transmitting the processed information. And
And a mobile device for receiving the transmitted information,
Wherein the received information is output in the form of a push message on a screen of the mobile device.
제1항에 있어서,
상기 컨트롤 기기 및 상기 모바일 기기와 통신하여 각각의 고유 아이디를 찾는 클라우드 푸쉬 서버, 및 상기 고유 아이디를 각각 공유시키는 중계 서버를 더 포함하는 것을 특징으로 하는 모바일 기기 제어 시스템.
The method according to claim 1,
A cloud push server for communicating with the control device and the mobile device to find respective unique IDs, and a relay server for sharing the unique IDs, respectively.
제1항에 있어서,
상기 컨트롤 기기는 표시부를 더 포함하여 이루어지고, 상기 표시부는 상기 푸쉬 메시지가 상기 화면부에 출력되는 동시에 상기 표시부에 UI를 로딩하는 UI로딩부를 포함하는 것을 특징으로 하는 모바일 기기 제어 시스템.
The method according to claim 1,
Wherein the control device further comprises a display unit, and the display unit includes a UI loading unit for loading the UI on the display unit while the push message is output to the screen unit.
제3항에 있어서,
상기 컨트롤 기기는 센싱부를 더 포함하고, 상기 센싱부는 상기 사용자를 센싱하여 상기 입력부를 웨이크업(wake-up)시키는 것을 특징으로 하는 모바일 기기 제어 시스템
The method of claim 3,
Wherein the control unit further includes a sensing unit, and the sensing unit senses the user and wakes-up the input unit.
제4항에 있어서,
상기 센싱부는 상기 컨트롤 기기와 함께 배치 형성되는 것을 특징으로 하는 모바일 기기 제어 시스템
5. The method of claim 4,
And the sensing unit is disposed along with the control device.
제4항에 있어서,
상기 센싱부는 CCD 카메라, 동공인식 카메라, GPS, 터치패널 및 압력센서 중 선택된 어느 하나를 포함하여 이루어지는 것을 특징으로 하는 모바일 기기 제어 시스템.
5. The method of claim 4,
Wherein the sensing unit comprises any one selected from a CCD camera, a pupil recognition camera, a GPS, a touch panel, and a pressure sensor.
제6항에 있어서,
상기 컨트롤 기기는 레퍼런스 액션 데이터가 저장된 저장부를 더 포함하고, 제어부는 상기 CCD 카메라, 동공인식 카메라, 터치패널, GPS 및 압력센서가 센싱한 액션과 상기 레퍼런스 액션 데이터를 비교하여 기설정된 액션을 판단하는 것을 특징으로 하는 모바일 기기 제어 시스템.
The method according to claim 6,
The control device further includes a storage unit for storing reference action data, and the control unit compares the reference action data with an action sensed by the CCD camera, the pupil recognition camera, the touch panel, the GPS, and the pressure sensor to determine a predetermined action Wherein the mobile device is a mobile device.
제7항에 있어서,
상기 컨트롤 기기는 자동차의 실내에 배치되고, 상기 CCD 카메라 및 상기 동공인식 카메라는 사용자의 전방에 배치되는 것을 특징으로 하는 모바일 기기 제어 시스템.
8. The method of claim 7,
Wherein the control device is disposed in the interior of the vehicle, and the CCD camera and the pupil recognition camera are disposed in front of the user.
제7항에 있어서,
상기 컨트롤 기기는 자동차의 실내에 배치되고, 상기 터치패널은 상기 자동차의 핸들 또는 실내의 유리 상에 배치된 것을 특징으로 하는 모바일 기기 제어 시스템.
8. The method of claim 7,
Wherein the control device is disposed in an interior of a vehicle, and the touch panel is disposed on a handle of the vehicle or on a glass in a room.
제7항에 있어서,
상기 컨트롤 기기는 자동차의 실내에 배치되고, 상기 압력센서는 상기 자동차 시트 상에 배치된 것을 특징으로 하는 모바일 기기 제어 시스템.
8. The method of claim 7,
Wherein the control device is disposed in an interior of the vehicle, and the pressure sensor is disposed on the car seat.
제10항에 있어서,
상기 압력센서는 적어도 하나의 압력센서가 상기 자동차 시트 상에 열을 형성하도록 선형으로 배치되는 것을 특징으로 하는 모바일 기기 제어 시스템.
11. The method of claim 10,
Wherein the pressure sensor is arranged linearly so that at least one pressure sensor forms heat on the car seat.
제10항에 있어서,
상기 압력센서는 상단센서부, 중간센서부 및 하부센서부를 포함하여 이루어지고, 상기 상단센서부, 중간센서부 및 하부센서부가 센싱하는 액션과 대비되는 레퍼런스 액션 데이터는 서로 다르게 설정되는 것을 특징으로 하는 모바일 기기 제어 시스템.
11. The method of claim 10,
Wherein the pressure sensor includes an upper sensor unit, an intermediate sensor unit and a lower sensor unit, and the reference action data compared with the action of sensing the upper sensor unit, the intermediate sensor unit and the lower sensor unit are set differently from each other Mobile device control system.
제7항에 있어서,
상기 레퍼런스 액션 데이터 중 상기 동공인식 카메라와 대응하는 부분은 사용자의 동공이 카메라를 응시하는 시간을 포함하여 이루어지는 것을 특징으로 하는 모바일 기기 제어 시스템.
8. The method of claim 7,
Wherein the part of the reference action data corresponding to the pupil recognition camera includes a time at which the pupil of the user gazes at the camera.
제7항에 있어서,
상기 기설정된 액션을 판단하는 경우에는 상기 UI로딩부가 상기 표시부에 아이콘을 로딩하는 것을 특징으로 하는 모바일 기기 제어 시스템.
8. The method of claim 7,
Wherein the UI loading unit loads the icon on the display unit when determining the predetermined action.
제3항에 있어서,
상기 입력부는 상기 표시부 상에 형성된 터치 패널을 포함하여 이루어지고, 상기 UI로딩부는 상기 모바일 기기의 화면부에 출력되는 UI 중 현재 제어하는 기능을 표시하는 UI를 상기 표시부에 실시간 로딩하는 것을 특징으로 하는 모바일 기기 제어 시스템.
The method of claim 3,
Wherein the input unit includes a touch panel formed on the display unit, and the UI loading unit real-time loads the UI displayed on the screen of the mobile device to the display unit, Mobile device control system.
제7항에 있어서,
상기 레퍼런스 액션 데이터 중 상기 GPS와 대응하는 부분은 사용자의 위치 정보가 기 저장된 위치 정보와 오차범위 이내인 경우를 포함하여 이루어지는 것을 특징으로 하는 모바일 기기 제어 시스템.
8. The method of claim 7,
Wherein the part of the reference action data corresponding to the GPS includes a case where the location information of the user is within an error range with the previously stored location information.
제15항에 있어서,
상기 컨트롤 기기는 CCD 카메라를 더 포함하고, 상기 CCD카메라는 상기 로딩된 UI를 선택하는 액션을 센싱하는 것을 특징으로 하는 모바일 기기 제어 시스템.
16. The method of claim 15,
Wherein the control device further comprises a CCD camera, wherein the CCD camera senses an action of selecting the loaded UI.
제7항에 있어서,
상기 저장부는 센싱부가 센싱한 시간, 날짜, 요일 및 온도를 함께 저장하는 것을 특징으로 하는 모바일 기기 제어 시스템.
8. The method of claim 7,
Wherein the storage unit stores the time, date, day of the week, and temperature of the sensing unit together.
제3항에 있어서,
상기 UI는 상기 화면부에 표시된 내용 자체, 소리 및 상기 모바일 기기가 제어되는 기능 표시 중 어느 하나인 것을 특징으로 하는 모바일 기기 제어 시스템
The method of claim 3,
Wherein the UI is any one of a content displayed on the screen, sound, and a function displayed by the mobile device.
제1항에 있어서,
상기 모바일 기기 제어 시스템은 다른 사용자의 모바일 기기를 더 포함하고, 상기 다른 사용자의 모바일 기기를 상기 컨트롤 디바이스와 페어링하여 상기 다른 사용자의 모바일 기기에서 입력된 정보가 상기 모바일 기기의 화면부에 푸쉬 메시지의 형태로 출력되도록 하는 모바일 기기 제어 시스템.
The method according to claim 1,
The mobile device control system may further include a mobile device of another user, and the mobile device of the other user may be paired with the control device so that information input from the mobile device of the other user may be displayed on the screen of the mobile device. To be output in a form of a mobile device.
KR1020140101255A 2014-08-06 2014-08-06 A system for controlling mobile device KR20160017545A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140101255A KR20160017545A (en) 2014-08-06 2014-08-06 A system for controlling mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140101255A KR20160017545A (en) 2014-08-06 2014-08-06 A system for controlling mobile device

Publications (1)

Publication Number Publication Date
KR20160017545A true KR20160017545A (en) 2016-02-16

Family

ID=55448009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140101255A KR20160017545A (en) 2014-08-06 2014-08-06 A system for controlling mobile device

Country Status (1)

Country Link
KR (1) KR20160017545A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947348A (en) * 2019-03-22 2019-06-28 思特沃克软件技术(北京)有限公司 A kind of method and vehicular touch screen carrying out items selection based on vehicular touch screen
US10841388B2 (en) 2018-01-08 2020-11-17 Hyundai Motor Company Method of providing remote service to vehicle and system therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841388B2 (en) 2018-01-08 2020-11-17 Hyundai Motor Company Method of providing remote service to vehicle and system therefor
CN109947348A (en) * 2019-03-22 2019-06-28 思特沃克软件技术(北京)有限公司 A kind of method and vehicular touch screen carrying out items selection based on vehicular touch screen
CN109947348B (en) * 2019-03-22 2021-08-13 思特沃克软件技术(北京)有限公司 Method for selecting items based on vehicle-mounted touch screen and vehicle-mounted touch screen

Similar Documents

Publication Publication Date Title
US10664078B2 (en) Triggering method and wireless handheld device
US9838999B2 (en) Portable electronic device and method of controlling notifications
EP2672762B1 (en) Connecting the highest priority Bluetooth device to a mobile terminal
KR102241318B1 (en) Operating Method For Communication Service And Electronic Device supporting the same
KR20190051368A (en) Electronic apparatus and Method of executing a function by speech recognition between the electronic apparatus
JP2017190668A (en) Digital doorlock system
US10351386B2 (en) System and method of initiating elevator service by entering an elevator call
CN104951093A (en) Mobile terminal capable of calling programs or functions by customizing keys and method of mobile terminal
CN102404450B (en) Mobile telephone hosted meeting controls
CN102939576A (en) Methods and apparatuses for gesture based remote control
JP2008078696A5 (en)
US20170166416A1 (en) Smart watch for elevator use
US20170355556A1 (en) System and method of initiating elevator service by entering an elevator call
CN107992342B (en) Application configuration changing method and mobile terminal
CN111399720A (en) Method and device for displaying application interface and storage medium
WO2020133350A1 (en) Interface display method and control terminal
KR20160017545A (en) A system for controlling mobile device
JP2017107333A (en) Communication apparatus and communication apparatus control method
JP5889474B1 (en) Call control device, call control method, and mobile terminal
JP5811935B2 (en) Vehicle communication system, vehicle communication device, and portable communication terminal
CN111104189A (en) Application program control method and electronic equipment
KR20110014351A (en) Mobile terminal and method for mode conversion using the same
JP2019087793A (en) Initial setting device and initial setting method of mobile terminal
CN110837296B (en) Application individual management method and electronic equipment
KR102049862B1 (en) Mobile terminal and method for controlling thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application