KR20130028504A - Auxiliary displaying apparatus having a function of controlling a smart phone and smart phone having a function of surpporting a auxiliary displaying apparatus - Google Patents

Auxiliary displaying apparatus having a function of controlling a smart phone and smart phone having a function of surpporting a auxiliary displaying apparatus Download PDF

Info

Publication number
KR20130028504A
KR20130028504A KR1020110092113A KR20110092113A KR20130028504A KR 20130028504 A KR20130028504 A KR 20130028504A KR 1020110092113 A KR1020110092113 A KR 1020110092113A KR 20110092113 A KR20110092113 A KR 20110092113A KR 20130028504 A KR20130028504 A KR 20130028504A
Authority
KR
South Korea
Prior art keywords
smartphone
unit
display device
information
auxiliary display
Prior art date
Application number
KR1020110092113A
Other languages
Korean (ko)
Other versions
KR101278027B1 (en
Inventor
김동석
김종호
Original Assignee
디지털시스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지털시스 주식회사 filed Critical 디지털시스 주식회사
Priority to KR1020110092113A priority Critical patent/KR101278027B1/en
Publication of KR20130028504A publication Critical patent/KR20130028504A/en
Application granted granted Critical
Publication of KR101278027B1 publication Critical patent/KR101278027B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Abstract

PURPOSE: A mobile device for conditioning different resolution on a human interface using bidirectional communication is provided to improve user convenience by controlling a smart phone through an auxiliary display device besides controlling the auxiliary display device through the smart phone. CONSTITUTION: A wired interface unit(110) is connected with a smart phone through a wire and a wireless interface unit is wirelessly connected with the smart phone. A data processing unit(130) receives video data for screen output or audio data for speaker output from the smart phone through the wired interface unit and processes the video data or the audio data to output the data through a screen or speaker. A control information processing unit(140) receives resolution information and rotation state information of the smart phone from the smart phone through the wireless interface unit and transceives a manipulation command with the smart phone. [Reference numerals] (110) Wired interface unit; (120) Wireless interface unit; (130) Data processing unit; (141) Smart phone information receiving unit; (142) Operation command receiving unit; (143) Operation command executing unit; (144) Touch operation sensing unit; (145) Coordinate converting unit; (146) Cursor form converting unit; (147) Operation command transmitting unit; (148) Button operation sensing unit; (149) Key button operation converting unit; (200) Smart phone

Description

스마트폰 제어 기능을 구비한 보조 디스플레이 장치 및 보조 디스플레이 장치 지원 기능을 구비한 스마트폰{Auxiliary displaying apparatus having a function of controlling a smart phone and Smart phone having a function of surpporting a auxiliary displaying apparatus}Auxiliary displaying apparatus having a function of controlling a smart phone and Smart phone having a function of surpporting a auxiliary displaying apparatus}

본 발명은 스마트폰 제어 기능을 구비한 보조 디스플레이 장치 및 보조 디스플레이 장치 지원 기능을 구비한 스마트폰에 관한 것이다.The present invention relates to an auxiliary display device having a smartphone control function and a smartphone having an auxiliary display device support function.

최근 스마트폰 사용이 급증하고 있으며, 스마트폰을 이용해 동영상, 음악, 사진, 전자책, 소셜 네트워크, 네비게이션 서비스 등의 다양한 앱(App) 서비스를 손쉽고 편리하게 이용할 수 있게 되었다.Recently, the use of smart phones is rapidly increasing, and various smart phone (App) services such as videos, music, photos, e-books, social networks, and navigation services can be used easily and conveniently.

그런데, 스마트폰은 사용자가 휴대하기에 용이해야 하므로 화면 크기가 작을 수밖에 없다. 이러한 문제를 해결하기 위해 스마트폰에 보조 디스플레이 장치를 연결하여 사용하는 기술들이 등장하였다.However, since the smart phone must be easy for the user to carry, the screen size is inevitably small. To solve this problem, technologies for connecting a secondary display device to a smartphone have emerged.

그러나, 국내공개특허 제10-2007-0043313호(2007.04.25) 등과 같은 종래의 이동통신 단말기에 연결되는 보조 디스플레이 장치는 단지 이동통신 단말기의 화면을 그대로 표시할 뿐 보조 디스플레이장치를 통해 이동통신 단말기를 제어할 수 없었다.However, the auxiliary display device connected to the conventional mobile communication terminal such as Korean Patent Publication No. 10-2007-0043313 (2007.04.25), etc., only displays the screen of the mobile communication terminal as it is and the mobile communication terminal through the auxiliary display device. Could not be controlled.

따라서, 본 발명자는 스마트폰을 통해 보조 디스플레이 장치를 제어할 수 있을 뿐만 아니라, 보조 디스플레이 장치를 통해 스마트폰을 제어할 수 있는 양방향 제어 기술에 대한 연구를 하게 되었다.Accordingly, the present inventors have not only been able to control the auxiliary display device through the smartphone, but also to study the bidirectional control technology that can control the smartphone through the auxiliary display device.

국내공개특허 제10-2007-0043313호(2007.04.25)Korean Patent Publication No. 10-2007-0043313 (2007.04.25)

본 발명은 상기한 취지하에 발명된 것으로, 스마트폰으로부터 수신된 보조 디스플레이 장치 제어정보에 따라 제어될 수 있고, 스마트폰 제어를 위한 제어명령을 스마트폰으로 전송할 수 있는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치를 제공함을 그 목적으로 한다.The present invention has been invented under the above-mentioned object, and can be controlled according to the auxiliary display device control information received from the smart phone, and has a smart phone control function capable of transmitting a control command for controlling the smart phone to the smart phone. It is an object of the present invention to provide a display device.

본 발명의 또 다른 목적은 보조 디스플레이 장치로부터 수신된 스마트폰 제어정보에 따라 제어될 수 있고, 보조 디스플레이 장치 제어를 위한 제어명령을 보조 디스플레이 장치로 전송할 수 있는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰을 제공함을 그 목적으로 한다.Another object of the present invention can be controlled according to the smartphone control information received from the auxiliary display device, a smartphone having a secondary display device support function for transmitting a control command for controlling the secondary display device to the secondary display device To provide that purpose.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 스마트폰 제어 기능을 구비한 보조 디스플레이 장치가 스마트폰과 유선 연결되는 유선 인터페이스부와; 스마트폰과 무선 연결되는 무선 인터페이스부와; 상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 스마트폰으로부터 수신하고, 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 처리하여 화면 출력 또는 스피커 출력하는 데이터 처리부와; 상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰으로부터 수신하고, 조작명령을 스마트폰과 송수신하는 제어정보 처리부를; 포함하여 이루어지는 것을 특징으로 한다.According to an aspect of the present invention for achieving the above object, the auxiliary display device having a smartphone control function and a wired interface unit which is wired connection with the smartphone; A wireless interface unit wirelessly connected to the smartphone; A data processor for receiving video output for outputting the screen or audio data for outputting the speaker from the smartphone through the wired interface unit, and processing the video output for outputting the screen or audio data for outputting the speaker; A control information processing unit for receiving the resolution information and the rotation state information of the smartphone from the smartphone through the air interface unit, and transmitting and receiving an operation command with the smartphone; It is characterized by comprising.

본 발명의 또 다른 양상에 따르면, 보조 디스플레이 장치 지원 기능을 구비한 스마트폰이 보조 디스플레이 장치와 유선 연결되는 유선 인터페이스부와; 보조 디스플레이 장치와 무선 연결되는 무선 인터페이스부와; 상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 보조 디스플레이 장치로 출력하는 데이터 처리부와; 상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치로 송신하고, 조작명령을 보조 디스플레이 장치와 송수신하는 제어정보 처리부를; 포함하여 이루어지는 것을 특징으로 한다.According to another aspect of the present invention, a smart phone having a secondary display device support function and a wired interface unit that is wired connected to the secondary display device; A wireless interface unit wirelessly connected to the auxiliary display device; A data processor for outputting video output for screen output or audio data for speaker output to the auxiliary display device through the wired interface; A control information processing unit for transmitting the resolution information and the rotation state information of the smart phone to the auxiliary display device through the air interface unit and transmitting and receiving an operation command with the auxiliary display device; It is characterized by comprising.

본 발명은 스마트폰을 통해 보조 디스플레이 장치를 제어할 수 있을 뿐만 아니라, 보조 디스플레이 장치를 통해 스마트폰을 제어할 수 있으므로, 스마트폰과 보조 디스플레이 장치간에 양방향 제어가 가능해 사용자 편의성을 향상시킬 수 있는 효과를 가진다.The present invention not only can control the secondary display device through the smartphone, but also can control the smartphone through the secondary display device, the bi-directional control between the smartphone and the secondary display device is possible to improve the user convenience Has

도 1 은 본 발명에 따른 스마트폰 제어 기능을 구비한 보조 디스플레이 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 2 는 본 발명에 따른 보조 디스플레이 장치 지원 기능을 구비한 스마트폰의 일 실시예의 구성을 도시한 블럭도이다.1 is a block diagram showing the configuration of an embodiment of an auxiliary display device with a smartphone control function according to the present invention.
2 is a block diagram showing the configuration of an embodiment of a smart phone with a secondary display device support function according to the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily understand and reproduce the present invention.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, detailed descriptions of well-known functions or configurations will be omitted if it is determined that the detailed description of the embodiments of the present invention may unnecessarily obscure the gist of the present invention.

본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used throughout the present specification are terms defined in consideration of functions in the embodiments of the present invention, and may be sufficiently modified according to the intention, custom, etc. of the user or operator, and the definitions of these terms are used throughout the specification. It should be made based on the contents.

도 1 은 본 발명에 따른 스마트폰 제어 기능을 구비한 보조 디스플레이 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 스마트폰 제어 기능을 구비한 보조 디스플레이 장치(100)는 유선 인터페이스부(110)와, 무선 인터페이스부(120)와, 데이터 처리부(130)와, 제어정보 처리부(140)를 포함할 수 있다1 is a block diagram showing the configuration of an embodiment of an auxiliary display device with a smartphone control function according to the present invention. As shown in FIG. 1, the auxiliary display apparatus 100 having a smartphone control function according to the present embodiment includes a wired interface unit 110, a wireless interface unit 120, a data processor 130, The control information processor 140 may be included.

상기 유선 인터페이스부(110)는 스마트폰(200)과 유선 연결된다. 이 때, 상기 유선 인터페이스부(110)가 통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하도록 구현할 수 있다.The wired interface unit 110 is wired to the smartphone 200. In this case, the wired interface unit 110 may be implemented to include a plurality of wired communication standard interface so that the carrier or manufacturer can be wired to a plurality of different smartphones.

예컨대, 상기 유선 인터페이스부(110)가 아이폰 연결을 위한 HDMI(High-Definition Multimedia Interface) 통신 규격과, 갤럭시S2 연결을 위한 MHL(Mobile High-definition Link) 통신 규격을 동시에 적용하여 범용성을 가지도록 구현될 수 있다.For example, the wired interface unit 110 implements a universality by simultaneously applying a high-definition multimedia interface (HDMI) communication standard for the iPhone connection and a mobile high-definition link (MHL) communication standard for the Galaxy S2 connection. Can be.

상기 무선 인터페이스부(120)는 스마트폰(200)과 무선 연결된다. 예컨대, 상기 무선 인터페이스부(120)가 블루투스(Bluetooth) 통신 규격으로 스마트폰(200)과 무선 연결되도록 구현될 수 있다. 한편, 블루투스 대신 와이파이(WiFi)나 울트라와이드밴드(UWB) 통신 규격을 사용하도록 구현할 수도 있다.The air interface unit 120 is wirelessly connected to the smartphone 200. For example, the wireless interface unit 120 may be implemented to be wirelessly connected to the smartphone 200 in a Bluetooth communication standard. On the other hand, instead of Bluetooth may be implemented to use the Wi-Fi (WiFi) or ultra-wideband (UWB) communication standards.

상기 데이터 처리부(130)는 상기 유선 인터페이스부(110)를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 스마트폰(200)으로부터 수신하고, 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 처리하여 화면 출력 또는 스피커 출력한다.The data processor 130 receives the screen output video data or the speaker output audio data from the smart phone 200 through the wired interface unit 110, and processes the screen output video data or speaker output audio data to output the screen or Speaker output.

즉, 이 데이터 처리부(130)는 스마트폰(200)의 터치스크린(도면 도시 생략)에 출력되는 화면 또는 스마트폰(200)의 스피커(도면 도시 생략)를 통해 출력되는 음성을 미러링(Mirroring)하여 보조 디스플레이 장치(100)의 터치스크린(도면 도시 생략) 또는 스피커(도면 도시 생략)로 출력하는 기능을 수행한다.That is, the data processor 130 mirrors a screen output on a touch screen (not illustrated) of the smartphone 200 or a voice output through a speaker (not illustrated) of the smartphone 200. Outputs a touch screen (not shown) or a speaker (not shown) of the auxiliary display apparatus 100.

상기 제어정보 처리부(140)는 상기 무선 인터페이스부(120)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰(200)으로부터 수신하고, 조작명령을 스마트폰(200)과 송수신한다.The control information processor 140 receives the resolution information and the rotation state information of the smartphone from the smartphone 200 through the air interface unit 120, and transmits and receives an operation command with the smartphone 200.

이 때, 상기 제어정보 처리부(140)가 스마트폰 정보 수신부(141)와, 조작명령 수신부(142)와, 조작명령 수행부(143)와, 터치조작 감지부(144)와, 좌표 변환부(145)와, 커서 형식 변환부(146)와, 조작명령 송신부(147)를 포함할 수 있다.At this time, the control information processing unit 140 is a smartphone information receiving unit 141, operation command receiving unit 142, operation command performing unit 143, touch operation detecting unit 144, coordinate conversion unit ( 145, a cursor format converter 146, and an operation command transmitter 147.

상기 스마트폰 정보 수신부(141)는 상기 무선 인터페이스부(120)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰(200)으로부터 수신한다. 상대적으로 작은 터치스크린을 가지는 스마트폰(200)의 해상도와 상대적으로 큰 터치스크린을 가지는 보조 디스플레이 장치(100)의 해상도는 차이가 있다.The smartphone information receiver 141 receives the resolution information and the rotation state information of the smartphone from the smartphone 200 through the air interface unit 120. The resolution of the smartphone 200 having a relatively small touch screen is different from the resolution of the auxiliary display device 100 having a relatively large touch screen.

따라서, 스마트폰(200)에 출력되는 화면을 정확히 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 해상도 정보를 보조 디스플레이 장치(100)가 알아야 한다.Therefore, in order to accurately mirror the screen outputted to the smartphone 200 and output the mirrored information to the secondary display apparatus 100, the secondary display apparatus 100 needs to know the resolution information of the smartphone.

한편, 스마트폰(200)이 세로 방향인가 가로 방향인가에 따라 표시되는 화면이 회전되므로, 스마트폰(200)에 출력되는 화면을 정확하게 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 회전상태 정보를 보조 디스플레이 장치(100)가 알아야 한다.Meanwhile, since the screen displayed according to whether the smartphone 200 is in the vertical direction or the horizontal direction is rotated, in order to accurately mirror the screen output on the smartphone 200 and output it to the secondary display device 100, The secondary display device 100 should know the rotation state information of the phone.

스마트폰(200)이 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 전송하면, 보조 디스플레이 장치(100)는 상기 스마트폰 정보 수신부(141)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 수신한다.When the smartphone 200 transmits the resolution information and the rotation state information of the smartphone to the secondary display apparatus 100, the secondary display apparatus 100 may rotate the resolution information and the rotation of the smartphone through the smartphone information receiver 141. Receive status information.

상기 조작명령 수신부(142)는 상기 무선 인터페이스부(120)를 통해 스마트폰(200)으로부터 보조 디스플레이 장치 조작명령을 수신한다. 이 때, 화면의 확대/축소, 스크롤, 밝기 등의 화면 제어는 스마트폰(200)에서 수행되고, 그 결과가 반영된 화면만 보조 디스플레이 장치(100)로 미러링만 하면 되므로, 보조 디스플레이 장치 조작명령은 화면 제어명령 외의 보조 디스플레이 장치의 버튼 제어 또는 스피커 제어 등의 하드웨어 제어명령일 수 있다.The operation command receiving unit 142 receives an auxiliary display device operation command from the smartphone 200 through the air interface unit 120. In this case, screen control such as zooming / reducing, scrolling, and brightness of the screen is performed by the smartphone 200, and only the screen reflecting the result is mirrored to the secondary display device 100. It may be a hardware control command such as button control or speaker control of the auxiliary display device other than the screen control command.

상기 조작명령 수행부(143)는 상기 조작명령 수신부(142)에 의해 수신된 보조 디스플레이 장치 조작명령을 수행한다. 즉, 상기 조작명령 수신부(142)를 통해 보조 디스플레이 장치의 버튼 제어 또는 스피커 제어 등의 하드웨어 제어명령이 수신되면, 보조 디스플레이 장치(100)는 상기 조작명령 수행부(143)를 통해 보조 디스플레이 장치의 버튼 또는 스피커 등의 하드웨어 제어를 수행한다. The operation command execution unit 143 executes an auxiliary display device operation command received by the operation command receiving unit 142. That is, when a hardware control command such as button control or speaker control of the auxiliary display device is received through the operation command receiving unit 142, the auxiliary display device 100 receives the control command performing unit 143 of the auxiliary display device. Perform hardware control such as buttons or speakers.

상기 터치조작 감지부(144)는 사용자의 터치조작 이벤트(Event)를 감지한다. 보조 디스플레이 장치(100)의 터치스크린을 통해 사용자가 터치조작을 하면, 보조 디스플레이 장치(100)는 상기 터치조작 감지부(144)를 통해 사용자의 터치조작 이벤트(Event)를 감지한다. 터치스크린의 터치 감지와 관련해서는 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 구체적인 설명은 생략하기로 한다.The touch manipulation detector 144 detects a touch manipulation event of the user. When the user performs a touch operation through the touch screen of the auxiliary display apparatus 100, the auxiliary display apparatus 100 detects a user's touch manipulation event through the touch manipulation detector 144. Regarding touch sensing of a touch screen, since it is a conventional technique that is already known and implemented in various ways before this application, a detailed description thereof will be omitted.

상기 좌표 변환부(145)는 상기 터치조작 감지부(144)에 의해 터치조작 이벤트가 감지된 경우, 터치 좌표를 상기 스마트폰 정보 수신부(141)에 의해 수신된 스마트폰의 해상도 정보 및 회전상태 정보에 맞는 좌표로 변환한다.When the touch manipulation event is detected by the touch manipulation sensing unit 144, the coordinate transformation unit 145 converts the touch coordinates into resolution information and rotation state information of the smartphone received by the smartphone information receiving unit 141. Convert the coordinates to.

상대적으로 작은 터치스크린을 가지는 스마트폰(200)의 해상도와 상대적으로 큰 터치스크린을 가지는 보조 디스플레이 장치(100)의 해상도는 차이가 있다. 보조 디스플레이 장치(100)로부터 스마트폰(200)으로 전송되는 터치 스크린 조작을 스마트폰(200)에 반영하기 위해서는 상기 좌표 변환부(145)를 통해 터치 좌표를 스마트폰의 해상도 및 회전상태에 맞도록 좌표 변환해야 한다.The resolution of the smartphone 200 having a relatively small touch screen is different from the resolution of the auxiliary display device 100 having a relatively large touch screen. In order to reflect the touch screen manipulation transmitted from the auxiliary display apparatus 100 to the smartphone 200 to the smartphone 200, the coordinates of the touch screen may be adjusted to the resolution and rotation state of the smartphone through the coordinate converter 145. You need to transform the coordinates.

화면의 좌표를 해상도가 다른 화면의 좌표로 변환하는 기술은 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 구체적인 설명은 생략하기로 한다. Since the technique of converting the coordinates of the screen to the coordinates of the screen having different resolutions is a conventional technique that is already known and implemented variously before this application, a detailed description thereof will be omitted.

상기 커서 형식 변환부(146)는 상기 좌표 변환부(145)에 의해 변환된 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환한다. 이 때, 상기 커서 형식 변환부(146)가 블루투스(Bluetooth)의 HID(Human Interface Device) 프로파일(Profile)의 마우스(Mouse) 기능을 통해 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환하도록 구현할 수 있다.The cursor format converter 146 converts the coordinate information converted by the coordinate converter 145 into mouse cursor format information of the smartphone. In this case, the cursor format converter 146 may be configured to convert coordinate information into mouse cursor format information of a smartphone through a mouse function of a Bluetooth Human Interface Device (HID) profile. have.

예컨대, 상기 커서 형식 변환부(146)가 이전 터치 좌표로부터 현재 터치 좌표까지 가상의 직선을 형성한 다음, 이 직선을 특정 수로 등분한 위치의 좌표값들을 추출함으로써 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환할 수 있다.For example, the cursor format converting unit 146 forms a virtual straight line from the previous touch coordinates to the current touch coordinates, and then extracts coordinate values at positions obtained by dividing the straight line by a specific number, thereby converting the coordinate information into the mouse cursor format of the smartphone. Can be converted into information.

만약, 이전 터치 좌표가 없을 경우 터치스크린상의 (0,0) 좌표로부터 현재 터치 좌표까지 가상의 직선을 형성한 다음, 이 직선을 특정 수로 등분한 위치의 좌표값들을 추출함으로써 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환할 수 있다.If there is no previous touch coordinate, a virtual straight line is formed from the (0,0) coordinate on the touch screen to the current touch coordinate, and then the coordinate information is extracted by extracting the coordinate values of the position divided by the specific number. Can be converted to mouse cursor format information.

그 이유는 마우스 커서는 연속적으로 이어지는 좌표값이 입력되어야만 유효하다고 인식되기 때문에 이전 터치 좌표로부터 현재 터치 좌표까지 가상의 직선상에 포함되는 좌표중에 특정 수의 좌표를 추출해야 한다.The reason for this is that the mouse cursor is recognized as valid only when successive coordinate values are input. Therefore, a specific number of coordinates must be extracted from the coordinates included in the virtual straight line from the previous touch coordinates to the current touch coordinates.

상기 조작명령 송신부(147)는 상기 커서 형식 변환부(146)에 의해 변환된 마우스 커서 형식 정보를 스마트폰 조작명령으로 하여 상기 무선 인터페이스부(120)를 통해 스마트폰(200)으로 송신한다. 따라서, 이와 같이 구현함에 의해 본 발명은 보조 디스플레이 장치(100)를 통해 스마트폰(200)을 제어할 수 있게 된다.The manipulation command transmitter 147 transmits the mouse cursor format information converted by the cursor format converter 146 as a smartphone manipulation command to the smartphone 200 through the air interface 120. Therefore, by implementing in this manner, the present invention can control the smartphone 200 through the auxiliary display apparatus 100.

한편, 본 발명의 부가적인 양상에 따르면, 상기 제어정보 처리부(140)가 버튼조작 감지부(148)와, 키버튼 동작 변환부(149)를 더 포함할 수 있다. 상기 버튼조작 감지부(148)는 사용자의 버튼조작 이벤트를 감지한다.Meanwhile, according to an additional aspect of the present invention, the control information processing unit 140 may further include a button operation detecting unit 148 and a key button operation converting unit 149. The button manipulation detection unit 148 detects a user's button manipulation event.

예컨대, 보조 디스플레이 장치(100)가 차량용 네비게이션 장치로 구현되었다면, 보조 디스플레이 장치(100)는 메뉴(Menu) 버튼, 홈(Home) 버튼, 이전(Back) 버튼 등의 하드웨어 버튼을 구비한다.For example, if the auxiliary display apparatus 100 is implemented as a vehicle navigation apparatus, the auxiliary display apparatus 100 includes hardware buttons such as a menu button, a home button, and a back button.

사용자가 보조 디스플레이 장치(100)의 버튼, 홈(Home) 버튼, 이전(Back) 버튼 등의 하드웨어 버튼을 누를 경우, 상기 버튼조작 감지부(148)가 사용자의 버튼조작 이벤트를 감지할 수 있다.When the user presses a hardware button such as a button, a home button, or a back button of the auxiliary display apparatus 100, the button manipulation detector 148 may detect a user's button manipulation event.

상기 키버튼 동작 변환부(149)는 상기 버튼조작 감지부(148)에 의해 버튼조작 이벤트가 감지된 경우, 버튼 조작 정보를 스마트폰의 키버튼 동작정보로 변환한다.The key button operation conversion unit 149 converts the button operation information into the key button operation information of the smart phone when the button operation event is detected by the button operation detection unit 148.

보조 디스플레이 장치(100)의 하드웨어 버튼과 스마트폰(200)의 키버튼은 그 구조 및 갯수 등이 상이하므로, 보조 디스플레이 장치(100)의 하드웨어 버튼 조작명령을 스마트폰(200)이 인식하기 위해서는 보조 디스플레이 장치(100)의 하드웨어 버튼과 스마트폰(200)의 키버튼을 서로 대응시켜야 한다.Since the hardware buttons of the auxiliary display apparatus 100 and the key buttons of the smartphone 200 are different in structure and number, the auxiliary buttons are required to be recognized by the smartphone 200 to recognize the hardware button manipulation commands of the auxiliary display apparatus 100. The hardware button of the display apparatus 100 and the key button of the smartphone 200 must correspond to each other.

따라서, 상기 키버튼 동작 변환부(149)를 통해 상기 버튼조작 감지부(148)에 의해 버튼조작 이벤트가 감지된 경우, 보조 디스플레이 장치(100)의 버튼 조작 정보를 스마트폰(200)의 키버튼 동작정보로 변환한다.Therefore, when a button operation event is detected by the button operation detection unit 148 through the key button operation conversion unit 149, the button operation information of the auxiliary display device 100 is key button of the smart phone 200. Convert to motion information.

이 때, 상기 조작명령 송신부(147)가 상기 키버튼 동작 변환부(149)에 의해 변환된 키버튼 동작정보를 상기 무선 인터페이스부(120)를 통해 스마트폰(200)으로 송신한다. 이와 같이 구현함에 의해 본 발명은 보조 디스플레이 장치(100)를 통해 스마트폰(200)을 제어할 수 있게 된다.At this time, the operation command transmission unit 147 transmits the key button operation information converted by the key button operation conversion unit 149 to the smart phone 200 through the air interface unit 120. By implementing in this way the present invention can control the smartphone 200 through the auxiliary display device (100).

도 2 는 본 발명에 따른 보조 디스플레이 장치 지원 기능을 구비한 스마트폰의 일 실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 이 실시예에 따른 보조 디스플레이 장치 지원 기능을 구비한 스마트폰(200)은 유선 인터페이스부(210)와, 무선 인터페이스부(220)와, 데이터 처리부(230)와, 제어정보 처리부(240)를 포함할 수 있다.2 is a block diagram showing the configuration of an embodiment of a smart phone with a secondary display device support function according to the present invention. As shown in FIG. 2, the smartphone 200 having the auxiliary display device support function according to the present embodiment includes a wired interface unit 210, a wireless interface unit 220, a data processor 230, The control information processor 240 may be included.

상기 유선 인터페이스부(210)는 보조 디스플레이 장치(100)와 유선 연결된다. 이 때, 상기 유선 인터페이스부(210)가 통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하도록 구현할 수 있다.The wired interface unit 210 is wired to the auxiliary display device 100. In this case, the wired interface unit 210 may be implemented to include a plurality of wired communication standard interface so that the carrier or manufacturer can be wired to a plurality of different smartphones.

예컨대, 상기 유선 인터페이스부(210)가 아이폰 연결을 위한 HDMI(High-Definition Multimedia Interface) 통신 규격과, 갤럭시S2 연결을 위한 MHL(Mobile High-definition Link) 통신 규격을 동시에 적용하여 범용성을 가지도록 구현될 수 있다.For example, the wired interface unit 210 implements a universality by simultaneously applying a high-definition multimedia interface (HDMI) communication standard for the iPhone connection and a mobile high-definition link (MHL) communication standard for the Galaxy S2 connection. Can be.

상기 무선 인터페이스부(220)는 보조 디스플레이 장치(100)와 무선 연결된다. 예컨대, 상기 무선 인터페이스부(220)가 블루투스(Bluetooth) 통신 규격으로 스마트폰(200)과 무선 연결되도록 구현될 수 있다. 한편, 블루투스 대신 와이파이(WiFi)나 울트라와이드밴드(UWB) 통신 규격을 사용하도록 구현할 수도 있다.The wireless interface unit 220 is wirelessly connected to the auxiliary display apparatus 100. For example, the wireless interface unit 220 may be implemented to be wirelessly connected to the smart phone 200 in a Bluetooth communication standard. On the other hand, instead of Bluetooth may be implemented to use the Wi-Fi (WiFi) or ultra-wideband (UWB) communication standards.

상기 데이터 처리부(230)는 상기 유선 인터페이스부(210)를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 보조 디스플레이 장치(100)로 송신한다.The data processor 230 transmits screen output video data or speaker output audio data to the auxiliary display apparatus 100 through the wired interface unit 210.

즉, 이 데이터 처리부(230)는 스마트폰(200)의 터치스크린(도면 도시 생략)에 출력되는 화면 또는 스마트폰(200)의 스피커(도면 도시 생략)를 통해 출력되는 음성을 미러링(Mirroring)하는 기능을 수행함으로써 보조 디스플레이 장치(100)의 터치스크린(도면 도시 생략) 또는 스피커(도면 도시 생략)를 통해 비디오 또는 오디오가 출력되도록 한다.That is, the data processor 230 mirrors a screen output on a touch screen (not shown) of the smartphone 200 or a voice output through a speaker (not shown) of the smartphone 200. By performing a function, video or audio is output through a touch screen (not shown) or a speaker (not shown) of the auxiliary display apparatus 100.

상기 제어정보 처리부(240)는 상기 무선 인터페이스부(220)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 송신하고, 조작명령을 보조 디스플레이 장치(100)와 송수신한다.The control information processor 240 transmits the resolution information and the rotation state information of the smartphone to the auxiliary display apparatus 100 through the air interface unit 220, and transmits and receives an operation command to and from the auxiliary display apparatus 100.

이 때, 상기 제어정보 처리부(240)가 스마트폰 정보 검출부(241)와, 스마트폰 정보 송신부(242)와, 조작명령 송신부(243)와, 조작명령 수신부(244)와, 조작명령 수행부(245)를 포함할 수 있다.At this time, the control information processing unit 240 is a smart phone information detection unit 241, smart phone information transmitter 242, operation command transmitter 243, operation command receiver 244, operation command execution unit ( 245).

상기 스마트폰 정보 검출부(241)는 스마트폰의 해상도 및 회전 상태를 검출한다. 스마트폰의 화면 해상도 검출 및 스마트폰이 세로 방향인가 가로 방향인가에 대한 회전 상태를 검출하는 기술은 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 이에 대한 구체적인 설명은 생략한다.The smartphone information detector 241 detects the resolution and rotation state of the smartphone. Since the technology for detecting the screen resolution of the smartphone and detecting the rotation state of the smartphone in the vertical direction or the horizontal direction is a common technique already known and implemented before this application, a detailed description thereof will be omitted.

상기 스마트폰 정보 송신부(242)는 상기 무선 인터페이스부(220)를 통해 상기 스마트폰 정보 검출부(241)에 의해 검출된 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 송신한다.The smartphone information transmitter 242 transmits the resolution information and the rotation state information of the smartphone detected by the smartphone information detector 241 through the air interface 220 to the secondary display apparatus 100.

상대적으로 작은 터치스크린을 가지는 스마트폰(200)의 해상도와 상대적으로 큰 터치스크린을 가지는 보조 디스플레이 장치(100)의 해상도는 차이가 있다. 따라서, 스마트폰(200)에 출력되는 화면을 정확히 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 해상도 정보를 보조 디스플레이 장치(100)로 알려주어야 한다.The resolution of the smartphone 200 having a relatively small touch screen is different from the resolution of the auxiliary display device 100 having a relatively large touch screen. Therefore, in order to accurately mirror the screen outputted to the smartphone 200 and output it to the secondary display apparatus 100, the resolution information of the smartphone should be informed to the secondary display apparatus 100.

한편, 스마트폰(200)이 세로 방향인가 가로 방향인가에 따라 표시되는 화면이 회전되므로, 스마트폰(200)에 출력되는 화면을 정확하게 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 회전상태 정보를 보조 디스플레이 장치(100)로 알려 주어야 한다.Meanwhile, since the screen displayed according to whether the smartphone 200 is in the vertical direction or the horizontal direction is rotated, in order to accurately mirror the screen output on the smartphone 200 and output it to the secondary display device 100, Rotation state information of the phone should be informed to the secondary display device (100).

이를 위해, 스마트폰(200)은 제어정보 처리부(240)의 스마트폰 정보 검출부(241)를 통해 스마트폰의 해상도 및 회전 상태를 검출하고, 스마트폰 정보 송신부(242)를 통해 검출된 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 송신한다.To this end, the smartphone 200 detects the resolution and rotation state of the smartphone through the smartphone information detector 241 of the control information processor 240, and detects the resolution of the smartphone through the smartphone information transmitter 242. The resolution information and the rotation state information are transmitted to the secondary display apparatus 100.

상기 조작명령 송신부(243)는 상기 무선 인터페이스부(220)를 통해 보조 디스플레이 장치(100)로 보조 디스플레이 장치 조작명령을 송신한다. 화면의 확대/축소, 스크롤, 밝기 등의 화면 제어는 스마트폰(200)에서 수행되고, 그 결과가 반영된 화면만 보조 디스플레이 장치(100)로 미러링만 하면 되므로, 보조 디스플레이 장치 조작명령은 화면 제어명령 외의 보조 디스플레이 장치의 버튼 제어 또는 스피커 제어 등의 하드웨어 제어명령일 수 있다.The operation command transmitter 243 transmits an auxiliary display device operation command to the auxiliary display device 100 through the wireless interface unit 220. Screen control such as enlargement / reduction, scrolling, brightness, etc. of the screen is performed in the smartphone 200, and only the screen reflecting the result is mirrored to the auxiliary display apparatus 100, so that the auxiliary display device operation command is a screen control command. It may be a hardware control command such as button control or speaker control of the other auxiliary display device.

상기 조작명령 수신부(244)는 상기 무선 인터페이스부(220)를 통해 보조 디스플레이 장치(100)로부터 스마트폰 조작명령을 수신한다. 도 1 에서 설명한 바와 같이, 스마트폰(200) 제어를 위해 사용자가 보조 디스플레이 장치(100)의 터치 스크린 또는 키 버튼 조작을 하면 보조 디스플레이 장치(100)가 마우스 커서 형식 정보를 스마트폰 조작명령으로 하여 스마트폰(200)으로 송신하거나, 버튼 조작 정보를 스마트폰의 키버튼 동작정보로 변환하여 스마트폰(200)으로 송신한다. 그러면, 스마트폰(200)은 상기 조작명령 수신부(244)를 통해 보조 디스플레이 장치(100)로부터 스마트폰 조작명령을 수신한다.The operation command receiving unit 244 receives a smartphone operation command from the auxiliary display device 100 through the air interface unit 220. As described with reference to FIG. 1, when a user performs a touch screen or key button manipulation of the auxiliary display apparatus 100 to control the smartphone 200, the auxiliary display apparatus 100 uses the mouse cursor type information as a smartphone manipulation instruction. The smartphone 200 is transmitted to the smartphone 200 or the button operation information is converted into the button operation information of the smartphone and transmitted to the smartphone 200. Then, the smartphone 200 receives a smartphone operation command from the auxiliary display device 100 through the operation command receiver 244.

상기 조작명령 수행부(245)는 상기 조작명령 수신부(244)에 의해 수신된 스마트폰 조작명령을 수행한다. 상기 조작명령 수신부(244)를 통해 마우스 커서 형식 정보 또는 키버튼 동작정보가 스마트폰 조작명령으로 수신되면, 스마트폰(200)은 상기 조작명령 수행부(245)를 통해 스마트폰(200)의 화면 터치 조작이나 버튼 조작을 수행한다.The operation command execution unit 245 performs a smartphone operation command received by the operation command receiving unit 244. When the mouse cursor type information or the key button operation information is received as a smartphone operation command through the operation command receiver 244, the smartphone 200 displays the screen of the smartphone 200 through the operation command execution unit 245. Perform touch or button operations.

한편, 발명의 부가적인 양상에 따르면, 상기 제어정보 처리부(240)가 음성 인식부(246)와, 음성 판단부(247)를 더 포함할 수 있다. 상기 음성 인식부(246)는 마이크(도면 도시 생략)를 통해 음성을 인식한다. 음성 인식 기술은 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 이에 대한 구체적인 설명은 생략한다.According to an additional aspect of the present invention, the control information processor 240 may further include a voice recognition unit 246 and a voice determination unit 247. The voice recognition unit 246 recognizes a voice through a microphone (not shown). Since the speech recognition technology is a conventional technology that is known and implemented in various ways before this application, a detailed description thereof will be omitted.

상기 음성 판단부(247)는 상기 음성 인식부(246)에 의해 인식된 음성이 보조 디스플레이 장치 조작명령에 대응하는 음성인지를 판단한다. 상기 음성에 대응하는 보조 디스플레이 장치 조작명령이 보조 디스플레이 장치의 화면의 확대, 축소, 스크롤, 밝기 조정 등의 화면 제어명령이나 스피커의 볼륨 조정 등의 스피커 제어명령, 보조 디스플레이 장치의 하드웨어 버튼 제어명령 등일 수 있다. The voice determination unit 247 determines whether the voice recognized by the voice recognition unit 246 is a voice corresponding to the auxiliary display device operation command. The auxiliary display device operation command corresponding to the voice may be a screen control command such as enlargement, reduction, scrolling or brightness adjustment of the screen of the auxiliary display device, a speaker control command such as volume adjustment of the speaker, a hardware button control command of the secondary display device, or the like. Can be.

이 때, 상기 조작명령 송신부(243)가 상기 음성 판단부(247)에 의해 보조 디스플레이 장치 조작명령에 대응하는 음성이라 판단된 경우, 해당 음성에 대응하는 보조 디스플레이 장치 조작명령을 보조 디스플레이 장치(100)로 송신한다. 이와 같이 구현함에 의해 본 발명은 스마트폰(200)을 통해 보조 디스플레이 장치(100)를 제어할 수 있게 된다.In this case, when it is determined that the operation command transmitter 243 is a voice corresponding to the auxiliary display device operation command by the voice determination unit 247, the auxiliary display device operation command corresponding to the voice is provided. To send). By implementing in this way the present invention can control the auxiliary display device 100 through the smart phone 200.

이상에서 설명한 바와 같이, 본 발명은 스마트폰을 통해 보조 디스플레이 장치를 제어할 수 있을 뿐만 아니라, 보조 디스플레이 장치를 통해 스마트폰을 제어할 수 있으므로, 스마트폰과 보조 디스플레이 장치간에 양방향 제어가 가능해 사용자 편의성을 향상시킬 수 있으므로, 상기에서 제시한 본 발명의 목적을 달성할 수 있다.As described above, the present invention not only can control the secondary display device through the smartphone, but also can control the smartphone through the secondary display device, thereby enabling bi-directional control between the smartphone and the secondary display device, thereby providing user convenience. Since it can be improved, the object of the present invention presented above can be achieved.

본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.While the invention has been described with reference to the preferred embodiments, which are referred to by the accompanying drawings, it is apparent that various modifications are possible without departing from the scope of the invention within the scope covered by the following claims from this description. .

본 발명은 스마트폰 제어 기술분야 또는 스마트폰에 연결되는 보조 장치의 제어 기술분야에서 산업상으로 이용 가능하다.The invention is industrially available in the field of smartphone control technology or in the field of control technology for auxiliary devices connected to a smartphone.

100 : 보조 디스플레이 장치 110, 210 : 유선 인터페이스부
120, 220 : 무선 인터페이스부 130, 230 : 데이터 처리부
140, 240 : 제어정보 처리부 141 : 스마트폰 정보 수신부
142, 244 : 조작명령 수신부 143, 245 : 조작명령 수행부
144 : 터치조작 감지부 145 : 좌표 변환부
146 : 커서 형식 변환부 147, 243 : 조작명령 송신부
148 : 버튼조작 감지부 149 : 키버튼 동작 변환부
200 : 스마트폰 241 : 스마트폰 정보 검출부
242 : 스마트폰 정보 송신부 246 : 음성 인식부
247 : 음성 판단부100: secondary display device 110, 210: wired interface unit
120, 220: wireless interface unit 130, 230: data processing unit
140, 240: control information processing unit 141: smartphone information receiving unit
142, 244: operation command receiving unit 143, 245: operation command performing unit
144: touch operation detection unit 145: coordinate conversion unit
146: cursor format conversion unit 147, 243: operation command transmission unit
148: button operation detection unit 149: key button operation conversion unit
200: smartphone 241: smartphone information detection unit
242: smartphone information transmitter 246: voice recognition unit
247: voice judgment unit

Claims (10)

스마트폰과 유선 연결되는 유선 인터페이스부와;
스마트폰과 무선 연결되는 무선 인터페이스부와;
상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 스마트폰으로부터 수신하고, 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 처리하여 화면 출력 또는 스피커 출력하는 데이터 처리부와;
상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰으로부터 수신하고, 조작명령을 스마트폰과 송수신하는 제어정보 처리부를;
포함하여 이루어지는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.A wired interface unit wired to the smartphone;
A wireless interface unit wirelessly connected to the smartphone;
A data processor for receiving video output for outputting the screen or audio data for outputting the speaker from the smartphone through the wired interface unit, and processing the video output for outputting the screen or audio data for outputting the speaker;
A control information processing unit for receiving the resolution information and the rotation state information of the smartphone from the smartphone through the air interface unit, and transmitting and receiving an operation command with the smartphone;
Secondary display device having a smartphone control function, characterized in that comprises. 제 1 항에 있어서,
상기 제어정보 처리부가:
상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰으로부터 수신하는 스마트폰 정보 수신부와;
상기 무선 인터페이스부를 통해 스마트폰으로부터 보조 디스플레이 장치 조작명령을 수신하는 조작명령 수신부와;
상기 조작명령 수신부에 의해 수신된 보조 디스플레이 장치 조작명령을 수행하는 조작명령 수행부와;
사용자의 터치조작 이벤트를 감지하는 터치조작 감지부와;
상기 터치조작 감지부에 의해 터치조작 이벤트가 감지된 경우, 터치 좌표를 상기 스마트폰 정보 수신부에 의해 수신된 스마트폰의 해상도 정보 및 회전상태 정보에 맞는 좌표로 변환하는 좌표 변환부와;
상기 좌표 변환부에 의해 변환된 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환하는 커서 형식 변환부와;
상기 커서 형식 변환부에 의해 변환된 마우스 커서 형식 정보를 스마트폰 조작명령으로 하여 상기 무선 인터페이스부를 통해 스마트폰으로 송신하는 조작명령 송신부를;
포함하는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.The method of claim 1,
The control information processing unit:
A smartphone information receiver configured to receive resolution information and rotation state information of the smartphone from the smartphone through the air interface unit;
An operation command receiving unit which receives an auxiliary display device operation command from the smartphone via the air interface unit;
An operation command execution unit that performs an auxiliary display device operation command received by the operation command reception unit;
A touch manipulation detector for detecting a touch manipulation event of the user;
A coordinate converter configured to convert touch coordinates into coordinates corresponding to resolution information and rotation state information of the smartphone received by the smartphone information receiver when a touch manipulation event is detected by the touch manipulation detector;
A cursor format converter that converts coordinate information converted by the coordinate converter into mouse cursor format information of a smartphone;
An operation command transmitter for transmitting the mouse cursor type information converted by the cursor type converter to a smartphone through the air interface unit as a smartphone operation command;
Secondary display device having a smartphone control function, characterized in that it comprises a. 제 2 항에 있어서,
상기 제어정보 처리부가:
사용자의 버튼조작 이벤트를 감지하는 버튼조작 감지부와;
상기 버튼조작 감지부에 의해 버튼조작 이벤트가 감지된 경우, 버튼 조작 정보를 스마트폰의 키버튼 동작정보로 변환하는 키버튼 동작 변환부를;
더 포함하고,
상기 조작명령 송신부가 상기 키버튼 동작 변환부에 의해 변환된 키버튼 동작정보를 상기 무선 인터페이스부를 통해 스마트폰으로 송신하는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.The method of claim 2,
The control information processing unit:
A button manipulation detection unit for detecting a user's button manipulation event;
A key button operation converting unit converting button operation information into key button operation information of a smartphone when a button operation event is detected by the button operation detecting unit;
Including more,
The auxiliary display device having a smartphone control function, characterized in that the operation command transmission unit transmits the key button operation information converted by the key button operation conversion unit to the smart phone through the wireless interface unit. 제 2 항에 있어서,
상기 커서 형식 변환부가:
블루투스(Bluetooth)의 HID(Human Interface Device) 프로파일(Profile)의 마우스(Mouse) 기능을 통해 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환하는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.The method of claim 2,
The cursor format conversion unit:
Auxiliary display device with a smartphone control function, characterized in that the coordinate information is converted into the mouse cursor format information of the smartphone through the mouse function of the Bluetooth (Human Interface Device) profile of Bluetooth (Bluetooth) . 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
상기 유선 인터페이스부가:
통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.5. The method according to any one of claims 1 to 4,
The wired interface unit:
A secondary display device having a smartphone control function, characterized in that it comprises a plurality of wired communication standard interface so that the carrier or manufacturer can be wired to a plurality of different smartphones. 보조 디스플레이 장치와 유선 연결되는 유선 인터페이스부와;
보조 디스플레이 장치와 무선 연결되는 무선 인터페이스부와;
상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 보조 디스플레이 장치로 송신하는 데이터 처리부와;
상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치로 송신하고, 조작명령을 보조 디스플레이 장치와 송수신하는 제어정보 처리부를;
포함하여 이루어지는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.A wired interface unit wired to the auxiliary display device;
A wireless interface unit wirelessly connected to the auxiliary display device;
A data processor which transmits video data for screen output or audio data for speaker output to the auxiliary display device through the wired interface;
A control information processing unit for transmitting the resolution information and the rotation state information of the smart phone to the auxiliary display device through the air interface unit and transmitting and receiving an operation command with the auxiliary display device;
Smartphone with a secondary display device support function, characterized in that comprises a. 제 6 항에 있어서,
상기 제어정보 처리부가:
스마트폰의 해상도 및 회전 상태를 검출하는 스마트폰 정보 검출부와;
상기 무선 인터페이스부를 통해 상기 스마트폰 정보 검출부에 의해 검출된 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치로 송신하는 스마트폰 정보 송신부와;
상기 무선 인터페이스부를 통해 보조 디스플레이 장치로 보조 디스플레이 장치 조작명령을 송신하는 조작명령 송신부와;
상기 무선 인터페이스부를 통해 보조 디스플레이 장치로부터 스마트폰 조작명령을 수신하는 조작명령 수신부와;
상기 조작명령 수신부에 의해 수신된 스마트폰 조작명령을 수행하는 조작명령 수행부를;
포함하는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.The method according to claim 6,
The control information processing unit:
A smart phone information detector for detecting a resolution and rotation state of the smart phone;
A smart phone information transmitting unit which transmits resolution information and rotation state information of the smart phone detected by the smart phone information detecting unit to the secondary display device through the air interface unit;
An operation command transmitter to transmit an auxiliary display device operation command to the auxiliary display device through the wireless interface unit;
An operation command receiver for receiving a smartphone operation command from the auxiliary display device through the air interface unit;
An operation command execution unit that performs a smartphone operation command received by the operation command receiving unit;
Smartphone with a secondary display device support function, characterized in that it comprises a. 제 7 항에 있어서,
상기 제어정보 처리부가:
마이크를 통해 음성을 인식하는 음성 인식부와;
상기 음성 인식부에 의해 인식된 음성이 보조 디스플레이 장치 조작명령에 대응하는 음성인지를 판단하는 음성 판단부를;
더 포함하고,
상기 조작명령 송신부가 상기 음성 판단부에 의해 보조 디스플레이 장치 조작명령에 대응하는 음성이라 판단된 경우, 해당 음성에 대응하는 보조 디스플레이 장치 조작명령을 보조 디스플레이 장치로 송신하는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.The method of claim 7, wherein
The control information processing unit:
A speech recognition unit for recognizing speech through a microphone;
A voice determination unit that determines whether a voice recognized by the voice recognition unit corresponds to a voice command of an auxiliary display apparatus;
Including more,
When the operation command transmitter determines that the voice corresponding to the auxiliary display device operation command is determined by the voice determination unit, the auxiliary display device support function of transmitting the auxiliary display device operation command corresponding to the voice is sent to the auxiliary display device. Smartphone with function. 제 8 항에 있어서,
상기 음성에 대응하는 보조 디스플레이 장치 조작명령이:
보조 디스플레이 장치의 버튼 제어명령 또는 화면 제어명령 또는 스피커 제어명령을 포함하는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.The method of claim 8,
An auxiliary display device operation command corresponding to the voice is:
Smartphone with a secondary display device support function comprising a button control command or a screen control command or a speaker control command of the auxiliary display device. 제 6 항 내지 제 9 항 중의 어느 한 항에 있어서,
상기 유선 인터페이스부가:
통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.The method according to any one of claims 6 to 9,
The wired interface unit:
Smartphones with a secondary display device support function, characterized in that it comprises a plurality of wired communication standard interface so that the carrier or manufacturer can be wired to a plurality of different smartphones.
KR1020110092113A 2011-09-09 2011-09-09 Mobile device capable of cooperating in different resolution through human interface over bi-directional communication network KR101278027B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110092113A KR101278027B1 (en) 2011-09-09 2011-09-09 Mobile device capable of cooperating in different resolution through human interface over bi-directional communication network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110092113A KR101278027B1 (en) 2011-09-09 2011-09-09 Mobile device capable of cooperating in different resolution through human interface over bi-directional communication network

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130006014A Division KR20130028761A (en) 2013-01-18 2013-01-18 Auxiliary displaying apparatus having a function of controlling a smart phone and smart phone having a function of surpporting a auxiliary displaying apparatus

Publications (2)

Publication Number Publication Date
KR20130028504A true KR20130028504A (en) 2013-03-19
KR101278027B1 KR101278027B1 (en) 2013-06-21

Family

ID=48179005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110092113A KR101278027B1 (en) 2011-09-09 2011-09-09 Mobile device capable of cooperating in different resolution through human interface over bi-directional communication network

Country Status (1)

Country Link
KR (1) KR101278027B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294798B2 (en) 2013-12-24 2016-03-22 Hyundai Motor Company System and method for controlling a mirror link of a multimedia system and portable terminal
KR101700118B1 (en) * 2015-10-08 2017-02-13 주식회사 아이에스엘코리아 Mobile coupling interactive device
KR20190007356A (en) 2017-07-12 2019-01-22 미래나노텍(주) Two-way touch-screen apparatus and method for display information using the apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102279395B1 (en) * 2014-02-17 2021-07-19 주식회사 엘지유플러스 Digital Broadcasting Output System, Set-Top Box and Digital Broadcasting Signal Output Method, Mobile and Sound Signal Output Method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101154770B1 (en) * 2009-11-27 2012-07-09 현대자동차주식회사 Car audio/video terminal system with user interface linkable with portable device, and linking method for the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294798B2 (en) 2013-12-24 2016-03-22 Hyundai Motor Company System and method for controlling a mirror link of a multimedia system and portable terminal
KR101700118B1 (en) * 2015-10-08 2017-02-13 주식회사 아이에스엘코리아 Mobile coupling interactive device
KR20190007356A (en) 2017-07-12 2019-01-22 미래나노텍(주) Two-way touch-screen apparatus and method for display information using the apparatus

Also Published As

Publication number Publication date
KR101278027B1 (en) 2013-06-21

Similar Documents

Publication Publication Date Title
US10282050B2 (en) Mobile terminal, image display device and user interface provision method using the same
KR101650733B1 (en) Method for controlling mobile device, display apparatus and video system
KR102450840B1 (en) Electronic device and method for controlling the same
ES2921998T3 (en) Procedure, apparatus and mobile terminal for screen mirroring
US9055158B2 (en) Vehicular apparatus, mobile phone, and instrument coordination system
EP3102996B1 (en) Device and method for detecting gestures on the skin
WO2013183765A1 (en) Display device
KR20140023079A (en) Method for displaying for image and an electronic device thereof
KR20150023293A (en) Headset computer (hsc) as auxiliary display with asr and ht input
CN111083684A (en) Method for controlling electronic equipment and electronic equipment
WO2016197697A1 (en) Gesture control method, device and system
US20120038561A1 (en) Method and apparatus for displaying
KR102378440B1 (en) Electronic device and audio ouputting method thereof
KR20130017269A (en) The terminal display devices mirroring and remote control with smartphone's screen, video and audio
KR101278027B1 (en) Mobile device capable of cooperating in different resolution through human interface over bi-directional communication network
KR102516728B1 (en) Electronic apparatus and controlling method of thereof
KR20140054742A (en) Multi media device for vehicle having mirroring function of smart phone
CN109710130B (en) Display method and terminal
JP2017513416A (en) Data transmission method, apparatus, facility, program, and recording medium
KR101604657B1 (en) Method for mirror linking between a mobile device and a vehicle display
KR101759935B1 (en) Method for switching video call device and video call device thereof
TW201631464A (en) Control system and method for multi-display
KR20130028761A (en) Auxiliary displaying apparatus having a function of controlling a smart phone and smart phone having a function of surpporting a auxiliary displaying apparatus
EP3982248A1 (en) Wireless device and wireless system
KR102220227B1 (en) Device and control method thereof for controlling sound reproducing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee