KR20160025308A - Method for mirror linking between a mobile device and a vehicle display - Google Patents

Method for mirror linking between a mobile device and a vehicle display Download PDF

Info

Publication number
KR20160025308A
KR20160025308A KR1020140112391A KR20140112391A KR20160025308A KR 20160025308 A KR20160025308 A KR 20160025308A KR 1020140112391 A KR1020140112391 A KR 1020140112391A KR 20140112391 A KR20140112391 A KR 20140112391A KR 20160025308 A KR20160025308 A KR 20160025308A
Authority
KR
South Korea
Prior art keywords
smartphone
vehicle display
screen
application
signal
Prior art date
Application number
KR1020140112391A
Other languages
Korean (ko)
Other versions
KR101604657B1 (en
Inventor
이재명
오진근
Original Assignee
한국산업기술대학교산학협력단
주식회사 티엔엔솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단, 주식회사 티엔엔솔루션 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020140112391A priority Critical patent/KR101604657B1/en
Publication of KR20160025308A publication Critical patent/KR20160025308A/en
Application granted granted Critical
Publication of KR101604657B1 publication Critical patent/KR101604657B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Navigation (AREA)

Abstract

The present invention relates to a mirror-linking method for mirror-linking a smartphone with a display inside an automobile, and more specifically, to a mirror-linking method for linking visual signals and control signals between the smartphone and automobile display system. The method includes: (a) step for displaying an execution screen of an application in the smartphone on at least a portion of the automobile display system; (b) step for confirming the coordinates of the above displayed portion; (c) step for converting coordinates which is input from a touchscreen of the automobile display system to signals for controlling the smartphone, based on the coordinates in the prior step; and (d) step for transmitting the signals for controlling the smartphone to the smartphone.

Description

스마트폰과 차량 디스플레이의 미러 링킹 방법{METHOD FOR MIRROR LINKING BETWEEN A MOBILE DEVICE AND A VEHICLE DISPLAY}METHOD FOR MIRROR LINKING BETWEEN A MOBILE DEVICE AND A VEHICLE DISPLAY

본 발명은 스마트폰과 차량 디스플레이의 미러 링킹 방법에 관한 것으로서, 보다 구체적으로는 차량 디스플레이의 터치스크린 입력을 스마트 폰으로 전송하는 방법에 관한 것이다.
The present invention relates to a method of mirror linking a smart phone and a vehicle display, and more particularly to a method of transmitting a touch screen input of a vehicle display to a smart phone.

차량의 목적지를 안내하는 내비게이션 장치가 보급화 되면서 차량에 내비게이션 안내가 출력될 수 있는 디스플레이 설치가 일반화되고 있다.A navigation device for guiding a destination of a vehicle has become popular, and a display installation in which a navigation guide can be outputted to a vehicle is becoming common.

그러나 차량에 내장되어 설치되거나 차량 내부에 별도로 설치되는 AVN(audio video navigation system) 디스플레이 장치는 내비게이션 프로그램과 같은 디스플레이 장치 내에 내장된 프로그램 외에는 다른 외부 프로그램을 연결시키거나 작동시키기 어려운 문제점이 있다. 또한, 차량 디스플레이 장치에 외부 프로그램을 연결시키더라도 일부 한정되는 오디오 파일 재생에 불구할 뿐, 다양한 콘텐츠 프로그램을 이용할 수 없는 문제점이 있다. 또한, 내장된 프로그램을 업그레이드시키기 위해서도 디스플레이 장치 내에서 업그레이드시키지 못하고 외부로 프로그램 칩을 추출하여 업그레이드시켜야 하는 불편함이 있다.However, an AVN (audio video navigation system) display device installed in a vehicle or separately installed in a vehicle has a problem that it is difficult to connect or operate an external program other than a program embedded in a display device such as a navigation program. In addition, even if an external program is connected to the vehicle display device, various contents programs can not be used even though the audio files are partially limited. Further, in order to upgrade the built-in program, it is inconvenient to extract and upgrade the program chip to the outside without upgrading it in the display device.

이러한 불편함을 해소하기 위하여 시간과 장소에 상관없이 다양한 콘테츠 프로그램을 업로드 및 다운로드 시킬 수 있는 스마트폰을 차량 디스플레이 장치에 연동시키는 방법이 제시되고 있다. 그러나 스마트폰과 차량 디스플레이 장치가 연동되더라도 스마트폰의 영상이나 음성이 차량 디스플레이 장치 상에 출력되는 데 불과하며 차량 디스플레이 장치를 이용하여 스마트폰을 제어하지는 못하고 있다.To solve this inconvenience, a method of linking a smart phone capable of uploading and downloading various contents programs, regardless of time and place, to a vehicle display device is suggested. However, even if the smartphone and the vehicle display device are interlocked, the video or voice of the smartphone is outputted on the vehicle display device, and the smartphone can not be controlled using the vehicle display device.

이러한 문제를 해결하고자 대한민국 등록 특허 제10-1201994호 "인터페이스 장치 및 이을 이용한 스마트폰과 차량 디스플레이의 연동 방법"에서는 임의의 스마트폰이 차량의 임의의 디스플레이 장치에 연결되더라도 스마트폰과 차량 디스플레이 사이에서 연동되도록 하는 인터페이스 장치 및 그 연동 방법을 개시하고 있으나, 해상도 연동을 위한 전용 장치를 필요로 하며 양 기기간의 해상도 설정을 수동으로 조작 받으므로 개선이 필요한 상황이다.
In order to solve such a problem, Korean Patent Registration No. 10-1201994 entitled " Interface Device and Interlocking Method of Smartphone and Vehicle Display Using the Device "discloses a method of connecting an arbitrary smartphone to a display device of a vehicle, An interface device for interlocking and an interlocking method thereof are disclosed, but a dedicated device for interlocking resolution is required, and the resolution setting between the two devices is manually operated, which is a situation that needs improvement.

본 발명은 두 기기간의 해상도 차이 및 화면 비율을 고려하여 정밀한 터치입력이 가능한 스마트폰과 차량 디스플레이의 미러 링킹 방법을 제공하고자 한다.An object of the present invention is to provide a mirror linking method of a smart phone and a vehicle display capable of precise touch input in consideration of resolution difference and screen ratio between two devices.

본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The present invention has been made in view of the above problems, and it is an object of the present invention to provide an apparatus and method for controlling the same.

상기 기술적 과제를 달성하기 위해 개시된 기술은 스마트폰과 차량 디스플레이 사이에 영상 신호와 제어 신호를 연동하는 미러 링킹 방법에 있어서, (a) 상기 스마트폰에서 구동되는 애플리케이션의 실행 화면을 상기 차량 디스플레이의 적어도 일부 영역에 표시하는 단계; (b) 상기 영역의 좌표를 확인하는 단계; (c) 상기 영역의 좌표를 기초로 하여 상기 차량 디스플레이의 터치스크린으로부터 입력되는 좌표를 상기 스마트폰을 제어하는 신호로 변환하는 단계; 및 (d) 상기 스마트폰을 제어하는 신호를 상기 스마트폰으로 전송하는 단계를 포함하는 스마트폰과 차량 디스플레이의 미러 링킹 방법을 제공한다.According to an aspect of the present invention, there is provided a mirror linking method for linking a video signal and a control signal between a smartphone and a vehicle display, the method comprising: (a) Displaying in some areas; (b) confirming the coordinates of the area; (c) converting the coordinates input from the touch screen of the vehicle display into a signal for controlling the smartphone based on the coordinates of the area; And (d) transmitting a signal for controlling the smartphone to the smartphone.

이때, 상기 애플리케이션의 실행화면 전송은 MHL(mobile high definition link) 표준 신호로 전송된다.At this time, the execution screen transmission of the application is transmitted as a mobile high definition link (MHL) standard signal.

이때, 상기 터치스크린으로부터 입력되는 좌표는 블루투스 HID(human interface device) 프로파일을 이용하여 상기 스마트폰을 제어하는 신호로 변환된다.At this time, the coordinates input from the touch screen are converted into a signal for controlling the smartphone using a Bluetooth HID (human interface device) profile.

이때, 상기 (b) 단계는 상기 영역의 각 모서리 끝을 터치하여 수행된다.At this time, the step (b) is performed by touching the end of each corner of the region.

한편 상기 (c) 단계는 상기 영역의 화면 비율을 상기 애플리케이션의 실행 화면 비율로 변환하는 단계를 포함할 수 있다.Meanwhile, the step (c) may include a step of converting an aspect ratio of the area into an execution aspect ratio of the application.

또한, 상기 (b) 단계는 상기 스마트폰에서 조작되는 마우스 포인터의 위치를 상기 차량 디스플레이가 인식하여 수행되며, 상기 (d) 단계는 안드로이드 오픈 액서사리 프로토콜 (android open accessory protocol)을 이용하여 수행될 수 있다.Also, the step (b) may be performed by recognizing the position of the mouse pointer operated by the smartphone, and the step (d) may be performed using the android open accessory protocol have.

한편, 상기 스마트폰을 제어하는 신호는 상기 애플리케이션의 실행 화면을 수평 방향으로 출력할 것인지 수직 방향으로 출력할 것인지를 결정하는 수직 모드 제어 신호 및 수평 모드 제어 신호를 포함할 수 있다.The signal for controlling the smartphone may include a vertical mode control signal and a horizontal mode control signal for determining whether to output the execution screen of the application in a horizontal direction or in a vertical direction.

이때, 상기 수직 모드 제어 신호는 상기 차량 디스플레이의 터치스크린을 반시계 방향으로 터치하여 생성되고, 상기 수평 모드 제어 신호는 상기 차량 디스플레이의 터치스크린을 시계 방향으로 터치하여 생성될 수 있다.At this time, the vertical mode control signal is generated by touching the touch screen of the vehicle display in a counterclockwise direction, and the horizontal mode control signal may be generated by touching the touch screen of the vehicle display in a clockwise direction.

또한, 상기 스마트폰을 제어하는 신호는 상기 애플리케이션의 실행 화면을 현재 출력 모드로 고정하는 모드 고정 제어 신호를 포함하고, 상기 모드 고정 제어 신호는 상기 차량 디스플레이의 터치스크린을 미리 정해진 시간 이상 터치하여 생성될 수 있다.
Also, the signal for controlling the smartphone includes a mode fixing control signal for fixing the execution screen of the application in the current output mode, and the mode fixing control signal is generated by touching the touch screen of the vehicle display for a predetermined time or longer .

개시된 기술의 실시예들은 다음의 장점을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Embodiments of the disclosed technique may have effects that include the following advantages. It should be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, since the embodiments of the disclosed technology are not meant to include all such embodiments.

본 발명에 의한 스마트 폰과 차량 디스플레이의 미러 링킹 방법은 스마트폰과 차량 디스플레이의 해상 및 화면 비율 차이를 고려한 터치 좌표 변환 방법을 제공하므로 스마트 폰 제어 정밀도를 높일 수 있다.The mirror linking method of the smart phone and the vehicle display according to the present invention provides a touch coordinate conversion method considering the difference between the resolution and the aspect ratio of the smart phone and the vehicle display, thereby improving the accuracy of smart phone control.

또한, 본 발명에 의한 스마트 폰과 차량 디스플레이의 미러 링킹 방법에 의하면 스마트폰의 화면은 MHL(mobile high-definition link) 디코딩 방식을 통해 차량 디스플레이에 전송되고, 차량 디스플레의 터치 좌표는 블루투스 HID(human interface device) 프로파일을 통해 전송되므로 각 기기간의 호환성 문제를 극복할 수 있다.According to the method of mirroring the smartphone and the vehicle display according to the present invention, the screen of the smart phone is transmitted to the vehicle display through a mobile high-definition link (MHL) decoding method, and the touch coordinates of the vehicle display are transmitted to the Bluetooth HID interface device) profile so that compatibility problems between devices can be overcome.

또한, 본 발명에 의한 스마트 폰과 차량 디스플레이의 미러 링킹 방법에 의하면 스마트폰의 화면 출력 모드를 가로 모드, 세로 모드로 손쉽게 설정할 수 있으며, 현재 출력 모드로 화면 출력을 고정할 수 있다. 따라서 주행중인 경우 운전자의 차량 디스플레이 조작을 최소화 하여 안전한 운행을 가능하게 한다.
According to the mirroring method of the smartphone and the vehicle display according to the present invention, the screen output mode of the smartphone can be easily set to the landscape mode and the portrait mode, and the screen output can be fixed in the current output mode. Therefore, when the vehicle is running, it minimizes the driver's display operation of the vehicle, thereby enabling safe operation.

도 1은 본 발명의 일 실시예에 따라 스마트폰과 차량 디스플레이 사이에서 수행되는 미러 링킹을 도시한 모식도이다.
도 2는 본 발명의 일 실시예에 따른 스마트폰과 차량 디스플레이의 미러 링킹 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따라 차량 디스플레이에서 애플리케이션 화면 표시 영역을 확인하는 예를 도시한다.1 is a schematic diagram illustrating mirror linking performed between a smartphone and a vehicle display in accordance with one embodiment of the present invention.
2 is a flowchart of a method of mirror linking of a smartphone and a vehicle display according to an embodiment of the present invention.
3 shows an example of confirming an application screen display area in a vehicle display according to an embodiment of the present invention.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the disclosed technology should be understood to include equivalents capable of realizing technical ideas.

도 1은 본 발명의 일 실시예에 따라 스마트폰과 차량 디스플레이 사이에서 수행되는 미러 링킹을 도시한 모식도이다.1 is a schematic diagram illustrating mirror linking performed between a smartphone and a vehicle display in accordance with one embodiment of the present invention.

차량 디스플레이(100)는 차량에 내장된 디스플레이 장치이다. 실시예에 따르면 차량 디스플레이(100)는 내비게이션 장치에 사용되는 디스플레이 또는 AVN(audio video navigation) 시스템의 디스플레이일 수 있다.The vehicle display 100 is a display device built in a vehicle. According to an embodiment, the vehicle display 100 may be a display used in a navigation device or a display of an audio video navigation (AVN) system.

AVN(Audio Video Navigation) 시스템은 차량 내의 오디오 장치, 비디오 장치 및 내비게이션 장치 등을 통합하여 구성된 장치로서, 라디오, CD(Compact Disk) 등의 오디오 서비스, DVD(Digital Versatile Disk) 등의 비디오 서비스와, 목적지 안내 기능과 같은 내비게이션 서비스 등을 제공한다.An AVN (Audio Video Navigation) system is a device configured by integrating an audio device, a video device, a navigation device, and the like in a vehicle. The AVN is an audio service such as a radio, a CD (Compact Disk), a video service such as a DVD (Digital Versatile Disk) And a navigation service such as a destination guidance function.

스마트 폰(200)은 운영체제가 구동되어 애플리케이션의 설치 및 실행이 가능한 휴대용 장치를 포함한다.The smart phone 200 includes a portable device that can be installed and executed by an operating system.

스마트 폰(200)은 애플리케이션의 실행과 관련된 정보를 외부로 출력할 수 있다. 애플리케이션의 실행과 관련된 정보는 애플리케이션의 실행화면, 음성 및 관련 데이터를 포함한다. 이때, 실행 화면 및 음성은 MHL(Mobile High definition Link) 표준 신호로 출력될 수 있다.The smart phone 200 can output information related to the execution of the application to the outside. Information related to the execution of an application includes an execution view of the application, voice, and related data. At this time, the execution screen and voice can be output as a MHL (Mobile High Definition Link) standard signal.

실행 화면 및 음성은 출력은 스마트 폰(200)과 차량 디스플레이(100)의 와이 파이(Wifi) 연결에 의한 미라 캐스트(miracast)를 통해 수행될 수도 있으나 스마트 폰(200)과 차량 디스플레이(100)를 연결하는 MHL 케이블(300)을 통해 MHL 신호를 전송하는 것이 바람직하다.The output of the execution screen and the voice may be performed through miracast by the WiFi connection between the smartphone 200 and the vehicle display 100 but the smartphone 200 and the vehicle display 100 It is preferable to transmit the MHL signal through the connecting MHL cable 300.

차량 디스플레이(100)는 MHL 신호를 수신하여 스마트 폰(200)에서 구동되는 애플리케이션의 실행과 관련된 정보를 표시한다. 즉, 애플리케이션의 실행 화면을 디스플레이 상에 표시하고 음성을 출력한다. The vehicle display 100 receives the MHL signal and displays information related to the execution of an application running on the smartphone 200. That is, an execution screen of the application is displayed on the display and a voice is outputted.

도 2는 본 발명의 일 실시예에 따른 스마트폰과 차량 디스플레이의 미러 링킹 방법의 순서도이다.2 is a flowchart of a method of mirror linking of a smartphone and a vehicle display according to an embodiment of the present invention.

일 실시예에 따른 스마트폰과 차량 디스플레이의 미러 링킹 방법은 애플리케이션 실행 화면 전송 단계(S210), 애플리케이션 화면 영역 확인 단계(S220), 터치스크린 입력을 스마트 폰 제어 신호로 변환하는 단계(S230) 및 스마트 폰 제어 신호 전송 단계(S240)를 포함한다.The mirror linking method of a smart phone and a vehicle display according to an exemplary embodiment includes an application execution screen transmission step S210, an application screen area confirmation step S220, a step S230 of converting a touch screen input into a smartphone control signal, And a phone control signal transmission step S240.

S210 단계에서, 스마트 폰(200)은 구동되는 애플리케이션의 실행 화면을 차량 디스플레이(100)에 전송한다. 이어서, 차량 디스플레이(100)는 스마트 폰(200)에서 구동되는 애플리케이션의 실행 화면을 차량 디스플레이(100)의 적어도 일부 영역에 표시한다.In step S210, the smart phone 200 transmits an execution screen of the application to be driven to the vehicle display 100. [ The vehicle display 100 then displays the execution screen of the application running on the smartphone 200 in at least some areas of the vehicle display 100.

이때, 구동되는 애플리케이션의 속성에 따라 실행 화면은 차량 디스플레이(100)의 전체 화면으로 표시될 수도 있고, 차량 디스플레이(100)의 일부 영역에만 표시될 수도 있다.At this time, the execution screen may be displayed on the full screen of the vehicle display 100 or only on a partial area of the vehicle display 100, depending on the properties of the application being driven.

예를 들어 내비게이션 애플리케이션, 또는 동영상 재생 애플리케이션과 같이 전체 화면으로 표시되는 것이 바람직한 경우 실행 화면은 전체 화면으로 표시될 수 있다. 반면 문자 메시지 애플리케이션과 같이 전체 화면을 필요로 하지 않는 경우에는 차량 디스플레이(100)의 일부 영역에만 표시될 수도 있다.For example, if it is desired to display in full screen, such as a navigation application, or a video playback application, the execution screen may be displayed in full screen. Whereas it may be displayed only in a partial area of the vehicle display 100 when a full screen is not required, such as a text messaging application.

스마트 폰(200)은 멀티 테스킹 환경을 지원하므로 동시에 여러 개의 애플리케이션이 실행되는 경우 애플리케이션의 화면 출력 우선순위에 따라 차량 디스플레이(100)에 표시되는 화면 영역의 위치 및 배치 관계는 적절히 조절될 수 있다.Since the smartphone 200 supports a multitasking environment, when a plurality of applications are simultaneously executed, the position and arrangement of the screen region displayed on the vehicle display 100 can be appropriately adjusted according to the screen output priority of the application .

예를 들어 내비게이션 애플리케이션이 화면 출력 우선순위로 설정되어 있는 경우, 문자 메시지 애플리케이션이 구동되어 화면에 출력이 된다면 문자 메시지 애플리케이션 화면을 내비게이션 화면에 PIP(picture in picture)로 표시하거나 차량 디스플레이(100)가 화면을 분할하여 두 애플리케이션 화면을 동시에 출력할 수도 있다.For example, if the navigation application is set to a screen output priority, if the text message application is activated and output to the screen, the text message application screen is displayed as a picture in picture (PIP) on the navigation screen or the vehicle display 100 It is also possible to divide the screen and simultaneously output two application screens.

일 실시예에 따르면, 멀티태스킹으로 구동중인 복수의 애플리케이션에 대한 화면 출력 우선순위 설정은 차량 디스플레이(100)에 제스처를 입력하여 설정할 수 있다. 예를 들어 내비게이션 애플리케이션을 우선순위로 설정하고자 한다면 내비게이션 화면을 출력하고 스마트 폰(200) 또는 차량 디스플레이(100)의 터치스크린에 제스처 "1"을 입력하여 내비게이션 애플리케이션을 화면 출력 1순위로 설정할 수 있다.According to one embodiment, the screen output priority setting for a plurality of applications running in multitasking can be set by entering a gesture on the vehicle display 100. [ For example, if the navigation application is to be set as a priority, a navigation screen may be output and a gesture "1" may be input to the touch screen of the smartphone 200 or the vehicle display 100 to set the navigation application as a screen output .

동영상 재생 애플리케이션을 2순위로 설정하고자 한다면 동영상 재생 애플리케이션을 출력하는 상태에서 제스처 "2"를 입력하여 동영상 재생 애플리케이션을 화면 출력 2순위로 설정할 수 있다.If you want to set the video playback application to the second rank, you can input the gesture "2" while outputting the video playback application, and set the video playback application to the second screen output level.

한편, 애플리케이션 출력 화면 전환 또한 미리 정해둔 제스처 입력에 의해 수행 가능하다.On the other hand, application output screen switching can also be performed by a predetermined gesture input.

예를 들어 차량 디스플레이(100)에 내비게이션 애플리케이션 화면이 출력되는 상황에서 동영상 재생 애플리케이션 화면을 출력하고자 한다면 차량 디스플레이(100)의 터치스크린을 두 손가락으로 길게 누르는 제스처를 통하여 화면 출력 2순위로 설정된 애플리케이션을 호출할 수 있다. 반대로 차량 디스플레이(100)에 동영상 재생 애플리케이션 화면이 출력되는 상황에서 내비게이션 애플리케이션 화면을 출력하고자 한다면 차량 디스플레이(100)의 터치스크린을 한 손가락으로 길게 누르는 제스처를 통하여 화면 출력 1순위로 설정된 애플리케이션을 호출할 수 있다.For example, if it is desired to output a video playback application screen in a situation where a navigation application screen is displayed on the vehicle display 100, an application set to the screen output 2 order through a gesture that the touch screen of the vehicle display 100 is long- Can be called. On the contrary, if it is desired to output the navigation application screen in a state in which the moving picture playback application screen is outputted to the vehicle display 100, the application set in the screen output order is called through the gesture of long pressing the touch screen of the vehicle display 100 with one finger .

한편, 미리 정해둔 제스쳐 입력에 의해 애플리케이션 화면의 수평 출력 및 수직 출력을 설정할 수 있다.On the other hand, the horizontal output and the vertical output of the application screen can be set by the predetermined gesture input.

예를 들어 차량 디스플레이(100)의 터치스크린을 반시계 방향으로 터치하여 스마트 폰(100)에서 출력되는 애플리케이션 화면 방향을 수직 방향으로 제어할 수 있으며, 터치스크린을 시계 방향으로 터치하여 스마트 폰(100)에서 출력되는 애플리케이션 화면 방향을 수평 방향으로 제어할 수 있다. For example, the application screen direction output from the smartphone 100 can be controlled in the vertical direction by touching the touch screen of the vehicle display 100 in the counterclockwise direction, and the smartphone 100 ) Can be controlled in the horizontal direction.

또한, 차량 디스플레이(100)의 터치스크린을 길게 누르는(예를 들어 2초 이상) 제스쳐를 통하여 현재 출력되는 화면 모드로 고정시킬 수 있다.In addition, the touch screen of the vehicle display 100 can be fixed to a currently displayed screen mode through a long press (for example, 2 seconds or more) of a gesture.

운전자는 마트폰의 화면 출력 모드를 가로 모드, 세로 모드로 손쉽게 설정할 수 있으며, 현재 출력 모드로 화면 출력을 고정할 수 있다. 따라서 주행중인 경우 운전자의 차량 디스플레이 조작을 최소화 하여 안전한 운행을 가능하게 한다. The driver can easily set the screen output mode of the mobile phone to the landscape mode and the portrait mode, and fix the screen output to the current output mode. Therefore, when the vehicle is running, it minimizes the driver's display operation of the vehicle, thereby enabling safe operation.

S220 단계에서, 차량 디스플레이(100)는 애플리케이션 화면 영역을 확인한다. 즉, 애플리케이션 화면 영역의 좌표를 확인한다.In step S220, the vehicle display 100 confirms the application screen area. In other words, coordinates of the application screen area are confirmed.

좌표 확인은 차량 디스플레이(100)가 스마트 폰(200)으로 부터 출력되는 MHL 신호를 분석하여 수행될 수 있으며, 차량 디스플레이(100)에 출력된 화면 영역을 터치 받아 수행 될 수도 있다. The coordinate confirmation may be performed by analyzing the MHL signal output from the smartphone 200 by the vehicle display 100 and may be performed by touching the screen area output to the vehicle display 100. [

상술한 제스처는 설명의 편의를 위해 예를 든 것으로서, 애플리케이션 우선순위 제스처 및 전환 제스처는 사용자의 설정에 따라 다양하게 변형 실시 가능하다.The above-mentioned gesture is an example for convenience of explanation, and the application priority gesture and the conversion gesture can be variously modified according to the setting of the user.

도 3은 본 발명의 일 실시예에 따라 차량 디스플레이에서 애플리케이션 화면 영역을 확인하는 예를 도시한다.Figure 3 illustrates an example of identifying an application screen area in a vehicle display in accordance with an embodiment of the present invention.

차량 디스플레이(100)와 스마트 폰(200)은 화면 비율 및 화면 해상도가 각각 다를 수 있다. 따라서 차량 디스플레이(100)의 터치스크린에서 입력되는 좌표가 스마트 폰(200)의 화면(200a) 좌표에 대응되지 않을 수 있다.The vehicle display 100 and the smart phone 200 may have different aspect ratios and different screen resolutions. Therefore, the coordinates input from the touch screen of the vehicle display 100 may not correspond to the coordinates of the screen 200a of the smartphone 200. [

또한 차량 디스플레이(100)에 표시되는 애플리케이션 화면(200b)의 영역은 애플리케이션 실행 속성에 따라 변동될 수 있다.The area of the application screen 200b displayed on the vehicle display 100 may also be changed according to the application execution attribute.

따라서 차량 디스플레이(100)에 표시된 애플리케이션 화면(200b) 영역의 각 모서리를 터치하여 화면 영역의 좌표를 확인할 수 있다.Accordingly, the coordinates of the screen area can be confirmed by touching each corner of the area of the application screen 200b displayed on the vehicle display 100. [

한편, 다양한 실시예에 의하면 애플리케이션 화면(200b) 영역 인식은 스마트 폰(200)에서 표시되는 마우스 포인터의 위치를 차량 디스플레이(100)가 인식하여 자동으로 수행될 수 있다.According to various embodiments, the recognition of the area of the application screen 200b may be performed automatically by the vehicle display 100 recognizing the position of the mouse pointer displayed on the smartphone 200. [

S230 단계에서, 차량 디스플레이(100)는 S220 단계에서 확인된 애플리케이션 화면(200b) 영역 좌표를 기초로 하여 차량 디스플레이(100)의 터치스크린으로부터 입력되는 좌표를 스마트 폰(100)을 제어하는 신호로 변환한다. 즉, 화면 위치, 화면 비율 및 해상도 차이를 고려하여 차량 디스플레이(100)의 터치스크린에 입력되는 터치 위치를 스마트 폰(100)의 화면에 입력되는 터치 위치로 변환한다.In step S230, the vehicle display 100 converts the coordinates input from the touch screen of the vehicle display 100 into a signal for controlling the smartphone 100 based on the coordinates of the area of the application screen 200b identified in step S220 do. That is, the touch position input on the touch screen of the vehicle display 100 is converted into the touch position input on the screen of the smartphone 100 in consideration of the screen position, the aspect ratio, and the resolution difference.

S240 단계에서, 차량 디스플레이(100)는 변환된 터치 위치를 스마트 폰(100)으로 전송한다. 전송 방식은 블루투스 방식을 사용하는 것이 바람직하다.In step S240, the vehicle display 100 transmits the converted touch position to the smartphone 100. [ The transmission method is preferably a Bluetooth method.

이때, 변환된 터치 위치는 블루투스 HID(human interface device) 프로파일을 이용하여 상기 스마트폰을 제어하는 신호로 변환할 수 있다.At this time, the converted touch position can be converted into a signal for controlling the smartphone using a Bluetooth HID (human interface device) profile.

또한, 제어 신호 전송은 안드로이드 오픈 액서사리 프로토콜 (android open accessory protocol)을 이용하여 수행될 수 있다.Also, the control signal transmission can be performed using the android open accessory protocol.

상술한 바와 같이 본 발명에 의한 스마트폰과 차량 디스플레이의 미러 링킹 방법은 스마트폰과 차량 디스플레이의 해상도 및 화면 비율 차이를 고려한 터치 좌표 변환 방법을 제공하므로 스마트 폰 제어 정밀도를 높일 수 있다.As described above, the mirror linking method of the smart phone and the vehicle display according to the present invention provides a touch coordinate conversion method considering the difference in resolution and screen ratio between the smart phone and the vehicle display, thereby improving the accuracy of smart phone control.

또한, 스마트 폰 화면은 MHL(mobile high-definition link) 디코딩 방식을 통해 차량 디스플레이에 전송되고, 차량 디스플레의 터치 좌표는 블루투스 HID(human interface device) 프로파일을 통해 전송되므로 각 기기간의 호환성 문제를 극복할 수 있다.
In addition, since the smartphone screen is transmitted to the vehicle display through a mobile high-definition link (MHL) decoding method, and the touch coordinates of the vehicle display are transmitted through the Bluetooth HID (human interface device) profile, .

이러한 개시된 기술인 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 개시된 기술의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
Although the disclosed method and apparatus have been described with reference to the embodiments shown in the drawings for illustrative purposes, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. I will understand that. Accordingly, the true scope of protection of the disclosed technology should be determined by the appended claims.

100 : 차량 디스플레이
200 : 스마트 폰
300 : MHL 케이블100: vehicle display
200: Smartphone
300: MHL cable

Claims (10)

스마트폰과 차량 디스플레이 사이의 영상 신호와 제어 신호를 연동하는 미러 링킹 방법에 있어서,
(a) 상기 스마트폰에서 구동되는 애플리케이션의 실행 화면을 상기 차량 디스플레이의 적어도 일부 영역에 표시하는 단계;
(b) 상기 영역의 좌표를 확인하는 단계;
(c) 상기 영역의 좌표를 기초로 하여 상기 차량 디스플레이의 터치스크린으로부터 입력되는 좌표를 상기 스마트폰을 제어하는 신호로 변환하는 단계; 및
(d) 상기 스마트폰을 제어하는 신호를 상기 스마트폰으로 전송하는 단계를 포함하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
A mirror linking method for linking a video signal and a control signal between a smartphone and a vehicle display,
(a) displaying an execution screen of an application running on the smartphone in at least a part of the vehicle display;
(b) confirming the coordinates of the area;
(c) converting the coordinates input from the touch screen of the vehicle display into a signal for controlling the smartphone based on the coordinates of the area; And
(d) transmitting a signal for controlling the smartphone to the smartphone.
청구항 1에 있어서,
상기 애플리케이션의 실행화면 전송은 MHL(mobile high definition link) 표준 신호로 전송되는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method according to claim 1,
Wherein the execution of the application is transferred in a mobile high definition link (MHL) standard signal.
청구항 1에 있어서,
상기 터치스크린으로부터 입력되는 좌표는 블루투스 HID(human interface device) 프로파일을 이용하여 상기 스마트폰을 제어하는 신호로 변환되는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method according to claim 1,
Wherein the coordinate input from the touch screen is converted into a signal for controlling the smartphone using a Bluetooth HID (human interface device) profile.
청구항 1에 있어서,
상기 (b) 단계는 상기 영역의 각 모서리 끝을 터치하여 수행되는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method according to claim 1,
Wherein the step (b) is performed by touching an end of each corner of the area.
청구항 1에 있어서,
상기 (c) 단계는 상기 영역의 화면 비율을 상기 애플리케이션의 실행 화면 비율로 변환하는 단계를 포함하는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method according to claim 1,
Wherein the step (c) includes the step of converting an aspect ratio of the area into an execution aspect ratio of the application.
청구항 1에 있어서,
상기 (b) 단계는 상기 스마트폰에서 조작되는 마우스 포인터의 위치를 상기 차량 디스플레이가 인식하여 수행되는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method according to claim 1,
Wherein the step (b) is performed by recognizing the position of the mouse pointer operated by the smartphone, by the vehicle display.
청구항 1에 있어서,
상기 (d) 단계는 안드로이드 오픈 액서사리 프로토콜(android open accessory protocol)을 이용하여 수행되는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method according to claim 1,
Wherein the step (d) is performed using an android open accessory protocol.
청구항 1에 있어서,
상기 스마트폰을 제어하는 신호는 상기 애플리케이션의 실행 화면을 수평 방향으로 출력할 것인지 수직 방향으로 출력할 것인지를 결정하는 수직 모드 제어 신호 및 수평 모드 제어 신호를 포함하는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method according to claim 1,
Wherein the signal for controlling the smartphone includes a vertical mode control signal and a horizontal mode control signal for determining whether to output the execution screen of the application in a horizontal direction or in a vertical direction. / RTI >
청구항 8에 있어서,
상기 수직 모드 제어 신호는 상기 차량 디스플레이의 터치스크린을 반시계 방향으로 터치하여 생성되고,
상기 수평 모드 제어 신호는 상기 차량 디스플레이의 터치스크린을 시계 방향으로 터치하여 생성되는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.
The method of claim 8,
Wherein the vertical mode control signal is generated by touching the touch screen of the vehicle display in a counterclockwise direction,
Wherein the horizontal mode control signal is generated by touching a touch screen of the vehicle display in a clockwise direction.
청구항 8에 있어서,
상기 스마트폰을 제어하는 신호는 상기 애플리케이션의 실행 화면을 현재 출력 모드로 고정하는 모드 고정 제어 신호를 포함하고,
상기 모드 고정 제어 신호는 상기 차량 디스플레이의 터치스크린을 미리 정해진 시간 이상 터치하여 생성되는 것을 특징으로 하는 스마트폰과 차량 디스플레이의 미러 링킹 방법.The method of claim 8,
A signal for controlling the smartphone includes a mode fixing control signal for fixing an execution screen of the application in a current output mode,
Wherein the mode lock control signal is generated by touching the touch screen of the vehicle display for a predetermined period of time or more.
KR1020140112391A 2014-08-27 2014-08-27 Method for mirror linking between a mobile device and a vehicle display KR101604657B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140112391A KR101604657B1 (en) 2014-08-27 2014-08-27 Method for mirror linking between a mobile device and a vehicle display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140112391A KR101604657B1 (en) 2014-08-27 2014-08-27 Method for mirror linking between a mobile device and a vehicle display

Publications (2)

Publication Number Publication Date
KR20160025308A true KR20160025308A (en) 2016-03-08
KR101604657B1 KR101604657B1 (en) 2016-03-18

Family

ID=55534339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140112391A KR101604657B1 (en) 2014-08-27 2014-08-27 Method for mirror linking between a mobile device and a vehicle display

Country Status (1)

Country Link
KR (1) KR101604657B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483696A (en) * 2017-07-12 2017-12-15 武汉卡比特信息有限公司 A kind of mobile phone and the communication means and system of computer equipment
EP3291565A1 (en) * 2016-09-02 2018-03-07 LG Electronics Inc. Method for controlling source device at sink device and apparatus for the same
CN108255398A (en) * 2016-12-29 2018-07-06 乐视汽车（北京）有限公司 For controlling the method for mobile equipment, mobile equipment and communication system
CN114422557A (en) * 2021-12-17 2022-04-29 浙江零跑科技股份有限公司 Method for remotely controlling automobile by mobile phone

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010109A1 (en) * 2022-07-06 2024-01-11 엘지전자 주식회사 Display device for vehicle and method for controlling same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085857A (en) * 2012-10-24 2014-05-12 Alpine Electronics Inc Electronic device, electronic device communication control method, electronic device communication control program, information terminal device and electronic system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291565A1 (en) * 2016-09-02 2018-03-07 LG Electronics Inc. Method for controlling source device at sink device and apparatus for the same
US20180070122A1 (en) * 2016-09-02 2018-03-08 Lg Electronics Inc. Method for controlling source device at sink device and apparatus for the same
CN107801094A (en) * 2016-09-02 2018-03-13 Lg电子株式会社 The method of source device and the equipment using this method are controlled at sink device
US10575041B2 (en) 2016-09-02 2020-02-25 Lg Electronics Inc. Method for controlling source device at sink device and apparatus for the same
CN107801094B (en) * 2016-09-02 2020-05-01 Lg电子株式会社 Method of controlling source device at sink device and apparatus using the same
CN108255398A (en) * 2016-12-29 2018-07-06 乐视汽车（北京）有限公司 For controlling the method for mobile equipment, mobile equipment and communication system
CN107483696A (en) * 2017-07-12 2017-12-15 武汉卡比特信息有限公司 A kind of mobile phone and the communication means and system of computer equipment
CN107483696B (en) * 2017-07-12 2019-11-22 武汉卡比特信息有限公司 A kind of communication means and system of mobile phone and computer equipment
CN114422557A (en) * 2021-12-17 2022-04-29 浙江零跑科技股份有限公司 Method for remotely controlling automobile by mobile phone

Also Published As

Publication number Publication date
KR101604657B1 (en) 2016-03-18

Similar Documents

Publication Publication Date Title
KR101604657B1 (en) Method for mirror linking between a mobile device and a vehicle display
US9613593B2 (en) Display device
JP6559825B2 (en) Display device, information terminal operation method
KR102415036B1 (en) Electronic apparatus and control method thereof
US20150067550A1 (en) Dual screen system and method
KR20140077015A (en) display apparatus, remote control apparatus and method for providing user interdface using the same
KR20140038710A (en) Method for displaying data of a dispay apparatus using a mobile communication terminal and the apparatuses
JP2012008968A (en) On-vehicle device to cooperate with mobile device and to achieve input operation that is possible for mobile device
US20120038561A1 (en) Method and apparatus for displaying
KR102659287B1 (en) Image display apparatus and operating method for the same
US10224008B2 (en) Image display system, image display method, and display device
KR101675226B1 (en) Interface for mirroring between user terminal and vehicle terminal and method for providing interface
KR101201994B1 (en) Interface device and method for interworking a smartphone and a vehicle display using them
KR102046181B1 (en) System and method for interworking and controlling devices
KR20160108732A (en) Mirroring touch operatiing system and controlling method using the same
KR101278027B1 (en) Mobile device capable of cooperating in different resolution through human interface over bi-directional communication network
JP2014149610A (en) Information processor, remote control operation support method and program
KR20160043387A (en) Pad device based on android and method for interworking a smartphone and a vehicle display using them
KR102220227B1 (en) Device and control method thereof for controlling sound reproducing system
KR101478470B1 (en) Method for setting time information in vehicle using smart device and apparatus thereof
JP2012063249A (en) In-vehicle information system, in-vehicle device, and information terminal
JP6325231B2 (en) Information display system, control method and program for information display system
KR20150080831A (en) Virtual keyboard for Dual Remote Control between mobile devices
JP2017120664A (en) Display device
US20170337148A1 (en) Method for Synchronizing Touch Control Functions for Smartphone and Tablet Computer

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee