KR101278027B1 - 양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치 - Google Patents

양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치 Download PDF

Info

Publication number
KR101278027B1
KR101278027B1 KR1020110092113A KR20110092113A KR101278027B1 KR 101278027 B1 KR101278027 B1 KR 101278027B1 KR 1020110092113 A KR1020110092113 A KR 1020110092113A KR 20110092113 A KR20110092113 A KR 20110092113A KR 101278027 B1 KR101278027 B1 KR 101278027B1
Authority
KR
South Korea
Prior art keywords
smartphone
display device
unit
information
operation command
Prior art date
Application number
KR1020110092113A
Other languages
English (en)
Other versions
KR20130028504A (ko
Inventor
김동석
김종호
Original Assignee
디지털시스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지털시스 주식회사 filed Critical 디지털시스 주식회사
Priority to KR1020110092113A priority Critical patent/KR101278027B1/ko
Publication of KR20130028504A publication Critical patent/KR20130028504A/ko
Application granted granted Critical
Publication of KR101278027B1 publication Critical patent/KR101278027B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 스마트폰 제어 기능을 구비한 보조 디스플레이 장치 및 보조 디스플레이 장치 지원 기능을 구비한 스마트폰에 관한 것으로, 스마트폰을 통해 보조 디스플레이 장치를 제어할 수 있을 뿐만 아니라, 보조 디스플레이 장치를 통해 스마트폰을 제어할 수 있으므로, 스마트폰과 보조 디스플레이 장치간에 양방향 제어가 가능해 사용자 편의성을 향상시킬 수 있도록 한 것이다.

Description

양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치{Mobile device capable of cooperating in different resolution through human interface over bi-directional communication network}
본 발명은 스마트폰 제어 기능을 구비한 보조 디스플레이 장치 및 보조 디스플레이 장치 지원 기능을 구비한 스마트폰에 관한 것이다.
최근 스마트폰 사용이 급증하고 있으며, 스마트폰을 이용해 동영상, 음악, 사진, 전자책, 소셜 네트워크, 네비게이션 서비스 등의 다양한 앱(App) 서비스를 손쉽고 편리하게 이용할 수 있게 되었다.
그런데, 스마트폰은 사용자가 휴대하기에 용이해야 하므로 화면 크기가 작을 수밖에 없다. 이러한 문제를 해결하기 위해 스마트폰에 보조 디스플레이 장치를 연결하여 사용하는 기술들이 등장하였다.
그러나, 국내공개특허 제10-2007-0043313호(2007.04.25) 등과 같은 종래의 이동통신 단말기에 연결되는 보조 디스플레이 장치는 단지 이동통신 단말기의 화면을 그대로 표시할 뿐 보조 디스플레이장치를 통해 이동통신 단말기를 제어할 수 없었다.
따라서, 본 발명자는 스마트폰을 통해 보조 디스플레이 장치를 제어할 수 있을 뿐만 아니라, 보조 디스플레이 장치를 통해 스마트폰을 제어할 수 있는 양방향 제어 기술에 대한 연구를 하게 되었다.
국내공개특허 제10-2007-0043313호(2007.04.25)
본 발명은 상기한 취지하에 발명된 것으로, 스마트폰으로부터 수신된 보조 디스플레이 장치 제어정보에 따라 제어될 수 있고, 스마트폰 제어를 위한 제어명령을 스마트폰으로 전송할 수 있는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치를 제공함을 그 목적으로 한다.
본 발명의 또 다른 목적은 보조 디스플레이 장치로부터 수신된 스마트폰 제어정보에 따라 제어될 수 있고, 보조 디스플레이 장치 제어를 위한 제어명령을 보조 디스플레이 장치로 전송할 수 있는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰을 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 스마트폰 제어 기능을 구비한 보조 디스플레이 장치가 스마트폰과 유선 연결되는 유선 인터페이스부와; 스마트폰과 무선 연결되는 무선 인터페이스부와; 상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 스마트폰으로부터 수신하고, 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 처리하여 화면 출력 또는 스피커 출력하는 데이터 처리부와; 상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰으로부터 수신하고, 조작명령을 스마트폰과 송수신하는 제어정보 처리부를; 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 또 다른 양상에 따르면, 보조 디스플레이 장치 지원 기능을 구비한 스마트폰이 보조 디스플레이 장치와 유선 연결되는 유선 인터페이스부와; 보조 디스플레이 장치와 무선 연결되는 무선 인터페이스부와; 상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 보조 디스플레이 장치로 출력하는 데이터 처리부와; 상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치로 송신하고, 조작명령을 보조 디스플레이 장치와 송수신하는 제어정보 처리부를; 포함하여 이루어지는 것을 특징으로 한다.
본 발명은 스마트폰을 통해 보조 디스플레이 장치를 제어할 수 있을 뿐만 아니라, 보조 디스플레이 장치를 통해 스마트폰을 제어할 수 있으므로, 스마트폰과 보조 디스플레이 장치간에 양방향 제어가 가능해 사용자 편의성을 향상시킬 수 있는 효과를 가진다.
도 1 은 본 발명에 따른 스마트폰 제어 기능을 구비한 보조 디스플레이 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 2 는 본 발명에 따른 보조 디스플레이 장치 지원 기능을 구비한 스마트폰의 일 실시예의 구성을 도시한 블럭도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명에 따른 스마트폰 제어 기능을 구비한 보조 디스플레이 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 스마트폰 제어 기능을 구비한 보조 디스플레이 장치(100)는 유선 인터페이스부(110)와, 무선 인터페이스부(120)와, 데이터 처리부(130)와, 제어정보 처리부(140)를 포함할 수 있다
상기 유선 인터페이스부(110)는 스마트폰(200)과 유선 연결된다. 이 때, 상기 유선 인터페이스부(110)가 통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하도록 구현할 수 있다.
예컨대, 상기 유선 인터페이스부(110)가 아이폰 연결을 위한 HDMI(High-Definition Multimedia Interface) 통신 규격과, 갤럭시S2 연결을 위한 MHL(Mobile High-definition Link) 통신 규격을 동시에 적용하여 범용성을 가지도록 구현될 수 있다.
상기 무선 인터페이스부(120)는 스마트폰(200)과 무선 연결된다. 예컨대, 상기 무선 인터페이스부(120)가 블루투스(Bluetooth) 통신 규격으로 스마트폰(200)과 무선 연결되도록 구현될 수 있다. 한편, 블루투스 대신 와이파이(WiFi)나 울트라와이드밴드(UWB) 통신 규격을 사용하도록 구현할 수도 있다.
상기 데이터 처리부(130)는 상기 유선 인터페이스부(110)를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 스마트폰(200)으로부터 수신하고, 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 처리하여 화면 출력 또는 스피커 출력한다.
즉, 이 데이터 처리부(130)는 스마트폰(200)의 터치스크린(도면 도시 생략)에 출력되는 화면 또는 스마트폰(200)의 스피커(도면 도시 생략)를 통해 출력되는 음성을 미러링(Mirroring)하여 보조 디스플레이 장치(100)의 터치스크린(도면 도시 생략) 또는 스피커(도면 도시 생략)로 출력하는 기능을 수행한다.
상기 제어정보 처리부(140)는 상기 무선 인터페이스부(120)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰(200)으로부터 수신하고, 조작명령을 스마트폰(200)과 송수신한다.
이 때, 상기 제어정보 처리부(140)가 스마트폰 정보 수신부(141)와, 조작명령 수신부(142)와, 조작명령 수행부(143)와, 터치조작 감지부(144)와, 좌표 변환부(145)와, 커서 형식 변환부(146)와, 조작명령 송신부(147)를 포함할 수 있다.
상기 스마트폰 정보 수신부(141)는 상기 무선 인터페이스부(120)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰(200)으로부터 수신한다. 상대적으로 작은 터치스크린을 가지는 스마트폰(200)의 해상도와 상대적으로 큰 터치스크린을 가지는 보조 디스플레이 장치(100)의 해상도는 차이가 있다.
따라서, 스마트폰(200)에 출력되는 화면을 정확히 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 해상도 정보를 보조 디스플레이 장치(100)가 알아야 한다.
한편, 스마트폰(200)이 세로 방향인가 가로 방향인가에 따라 표시되는 화면이 회전되므로, 스마트폰(200)에 출력되는 화면을 정확하게 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 회전상태 정보를 보조 디스플레이 장치(100)가 알아야 한다.
스마트폰(200)이 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 전송하면, 보조 디스플레이 장치(100)는 상기 스마트폰 정보 수신부(141)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 수신한다.
상기 조작명령 수신부(142)는 상기 무선 인터페이스부(120)를 통해 스마트폰(200)으로부터 보조 디스플레이 장치 조작명령을 수신한다. 이 때, 화면의 확대/축소, 스크롤, 밝기 등의 화면 제어는 스마트폰(200)에서 수행되고, 그 결과가 반영된 화면만 보조 디스플레이 장치(100)로 미러링만 하면 되므로, 보조 디스플레이 장치 조작명령은 화면 제어명령 외의 보조 디스플레이 장치의 버튼 제어 또는 스피커 제어 등의 하드웨어 제어명령일 수 있다.
상기 조작명령 수행부(143)는 상기 조작명령 수신부(142)에 의해 수신된 보조 디스플레이 장치 조작명령을 수행한다. 즉, 상기 조작명령 수신부(142)를 통해 보조 디스플레이 장치의 버튼 제어 또는 스피커 제어 등의 하드웨어 제어명령이 수신되면, 보조 디스플레이 장치(100)는 상기 조작명령 수행부(143)를 통해 보조 디스플레이 장치의 버튼 또는 스피커 등의 하드웨어 제어를 수행한다.
상기 터치조작 감지부(144)는 사용자의 터치조작 이벤트(Event)를 감지한다. 보조 디스플레이 장치(100)의 터치스크린을 통해 사용자가 터치조작을 하면, 보조 디스플레이 장치(100)는 상기 터치조작 감지부(144)를 통해 사용자의 터치조작 이벤트(Event)를 감지한다. 터치스크린의 터치 감지와 관련해서는 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 구체적인 설명은 생략하기로 한다.
상기 좌표 변환부(145)는 상기 터치조작 감지부(144)에 의해 터치조작 이벤트가 감지된 경우, 터치 좌표를 상기 스마트폰 정보 수신부(141)에 의해 수신된 스마트폰의 해상도 정보 및 회전상태 정보에 맞는 좌표로 변환한다.
상대적으로 작은 터치스크린을 가지는 스마트폰(200)의 해상도와 상대적으로 큰 터치스크린을 가지는 보조 디스플레이 장치(100)의 해상도는 차이가 있다. 보조 디스플레이 장치(100)로부터 스마트폰(200)으로 전송되는 터치 스크린 조작을 스마트폰(200)에 반영하기 위해서는 상기 좌표 변환부(145)를 통해 터치 좌표를 스마트폰의 해상도 및 회전상태에 맞도록 좌표 변환해야 한다.
화면의 좌표를 해상도가 다른 화면의 좌표로 변환하는 기술은 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 구체적인 설명은 생략하기로 한다.
상기 커서 형식 변환부(146)는 상기 좌표 변환부(145)에 의해 변환된 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환한다. 이 때, 상기 커서 형식 변환부(146)가 블루투스(Bluetooth)의 HID(Human Interface Device) 프로파일(Profile)의 마우스(Mouse) 기능을 통해 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환하도록 구현할 수 있다.
예컨대, 상기 커서 형식 변환부(146)가 이전 터치 좌표로부터 현재 터치 좌표까지 가상의 직선을 형성한 다음, 이 직선을 특정 수로 등분한 위치의 좌표값들을 추출함으로써 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환할 수 있다.
만약, 이전 터치 좌표가 없을 경우 터치스크린상의 (0,0) 좌표로부터 현재 터치 좌표까지 가상의 직선을 형성한 다음, 이 직선을 특정 수로 등분한 위치의 좌표값들을 추출함으로써 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환할 수 있다.
그 이유는 마우스 커서는 연속적으로 이어지는 좌표값이 입력되어야만 유효하다고 인식되기 때문에 이전 터치 좌표로부터 현재 터치 좌표까지 가상의 직선상에 포함되는 좌표중에 특정 수의 좌표를 추출해야 한다.
상기 조작명령 송신부(147)는 상기 커서 형식 변환부(146)에 의해 변환된 마우스 커서 형식 정보를 스마트폰 조작명령으로 하여 상기 무선 인터페이스부(120)를 통해 스마트폰(200)으로 송신한다. 따라서, 이와 같이 구현함에 의해 본 발명은 보조 디스플레이 장치(100)를 통해 스마트폰(200)을 제어할 수 있게 된다.
한편, 본 발명의 부가적인 양상에 따르면, 상기 제어정보 처리부(140)가 버튼조작 감지부(148)와, 키버튼 동작 변환부(149)를 더 포함할 수 있다. 상기 버튼조작 감지부(148)는 사용자의 버튼조작 이벤트를 감지한다.
예컨대, 보조 디스플레이 장치(100)가 차량용 네비게이션 장치로 구현되었다면, 보조 디스플레이 장치(100)는 메뉴(Menu) 버튼, 홈(Home) 버튼, 이전(Back) 버튼 등의 하드웨어 버튼을 구비한다.
사용자가 보조 디스플레이 장치(100)의 버튼, 홈(Home) 버튼, 이전(Back) 버튼 등의 하드웨어 버튼을 누를 경우, 상기 버튼조작 감지부(148)가 사용자의 버튼조작 이벤트를 감지할 수 있다.
상기 키버튼 동작 변환부(149)는 상기 버튼조작 감지부(148)에 의해 버튼조작 이벤트가 감지된 경우, 버튼 조작 정보를 스마트폰의 키버튼 동작정보로 변환한다.
보조 디스플레이 장치(100)의 하드웨어 버튼과 스마트폰(200)의 키버튼은 그 구조 및 갯수 등이 상이하므로, 보조 디스플레이 장치(100)의 하드웨어 버튼 조작명령을 스마트폰(200)이 인식하기 위해서는 보조 디스플레이 장치(100)의 하드웨어 버튼과 스마트폰(200)의 키버튼을 서로 대응시켜야 한다.
따라서, 상기 키버튼 동작 변환부(149)를 통해 상기 버튼조작 감지부(148)에 의해 버튼조작 이벤트가 감지된 경우, 보조 디스플레이 장치(100)의 버튼 조작 정보를 스마트폰(200)의 키버튼 동작정보로 변환한다.
이 때, 상기 조작명령 송신부(147)가 상기 키버튼 동작 변환부(149)에 의해 변환된 키버튼 동작정보를 상기 무선 인터페이스부(120)를 통해 스마트폰(200)으로 송신한다. 이와 같이 구현함에 의해 본 발명은 보조 디스플레이 장치(100)를 통해 스마트폰(200)을 제어할 수 있게 된다.
도 2 는 본 발명에 따른 보조 디스플레이 장치 지원 기능을 구비한 스마트폰의 일 실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 이 실시예에 따른 보조 디스플레이 장치 지원 기능을 구비한 스마트폰(200)은 유선 인터페이스부(210)와, 무선 인터페이스부(220)와, 데이터 처리부(230)와, 제어정보 처리부(240)를 포함할 수 있다.
상기 유선 인터페이스부(210)는 보조 디스플레이 장치(100)와 유선 연결된다. 이 때, 상기 유선 인터페이스부(210)가 통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하도록 구현할 수 있다.
예컨대, 상기 유선 인터페이스부(210)가 아이폰 연결을 위한 HDMI(High-Definition Multimedia Interface) 통신 규격과, 갤럭시S2 연결을 위한 MHL(Mobile High-definition Link) 통신 규격을 동시에 적용하여 범용성을 가지도록 구현될 수 있다.
상기 무선 인터페이스부(220)는 보조 디스플레이 장치(100)와 무선 연결된다. 예컨대, 상기 무선 인터페이스부(220)가 블루투스(Bluetooth) 통신 규격으로 스마트폰(200)과 무선 연결되도록 구현될 수 있다. 한편, 블루투스 대신 와이파이(WiFi)나 울트라와이드밴드(UWB) 통신 규격을 사용하도록 구현할 수도 있다.
상기 데이터 처리부(230)는 상기 유선 인터페이스부(210)를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 보조 디스플레이 장치(100)로 송신한다.
즉, 이 데이터 처리부(230)는 스마트폰(200)의 터치스크린(도면 도시 생략)에 출력되는 화면 또는 스마트폰(200)의 스피커(도면 도시 생략)를 통해 출력되는 음성을 미러링(Mirroring)하는 기능을 수행함으로써 보조 디스플레이 장치(100)의 터치스크린(도면 도시 생략) 또는 스피커(도면 도시 생략)를 통해 비디오 또는 오디오가 출력되도록 한다.
상기 제어정보 처리부(240)는 상기 무선 인터페이스부(220)를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 송신하고, 조작명령을 보조 디스플레이 장치(100)와 송수신한다.
이 때, 상기 제어정보 처리부(240)가 스마트폰 정보 검출부(241)와, 스마트폰 정보 송신부(242)와, 조작명령 송신부(243)와, 조작명령 수신부(244)와, 조작명령 수행부(245)를 포함할 수 있다.
상기 스마트폰 정보 검출부(241)는 스마트폰의 해상도 및 회전 상태를 검출한다. 스마트폰의 화면 해상도 검출 및 스마트폰이 세로 방향인가 가로 방향인가에 대한 회전 상태를 검출하는 기술은 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 이에 대한 구체적인 설명은 생략한다.
상기 스마트폰 정보 송신부(242)는 상기 무선 인터페이스부(220)를 통해 상기 스마트폰 정보 검출부(241)에 의해 검출된 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 송신한다.
상대적으로 작은 터치스크린을 가지는 스마트폰(200)의 해상도와 상대적으로 큰 터치스크린을 가지는 보조 디스플레이 장치(100)의 해상도는 차이가 있다. 따라서, 스마트폰(200)에 출력되는 화면을 정확히 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 해상도 정보를 보조 디스플레이 장치(100)로 알려주어야 한다.
한편, 스마트폰(200)이 세로 방향인가 가로 방향인가에 따라 표시되는 화면이 회전되므로, 스마트폰(200)에 출력되는 화면을 정확하게 미러링(Mirroring)하여 보조 디스플레이 장치(100)에 출력하기 위해서는 스마트폰의 회전상태 정보를 보조 디스플레이 장치(100)로 알려 주어야 한다.
이를 위해, 스마트폰(200)은 제어정보 처리부(240)의 스마트폰 정보 검출부(241)를 통해 스마트폰의 해상도 및 회전 상태를 검출하고, 스마트폰 정보 송신부(242)를 통해 검출된 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치(100)로 송신한다.
상기 조작명령 송신부(243)는 상기 무선 인터페이스부(220)를 통해 보조 디스플레이 장치(100)로 보조 디스플레이 장치 조작명령을 송신한다. 화면의 확대/축소, 스크롤, 밝기 등의 화면 제어는 스마트폰(200)에서 수행되고, 그 결과가 반영된 화면만 보조 디스플레이 장치(100)로 미러링만 하면 되므로, 보조 디스플레이 장치 조작명령은 화면 제어명령 외의 보조 디스플레이 장치의 버튼 제어 또는 스피커 제어 등의 하드웨어 제어명령일 수 있다.
상기 조작명령 수신부(244)는 상기 무선 인터페이스부(220)를 통해 보조 디스플레이 장치(100)로부터 스마트폰 조작명령을 수신한다. 도 1 에서 설명한 바와 같이, 스마트폰(200) 제어를 위해 사용자가 보조 디스플레이 장치(100)의 터치 스크린 또는 키 버튼 조작을 하면 보조 디스플레이 장치(100)가 마우스 커서 형식 정보를 스마트폰 조작명령으로 하여 스마트폰(200)으로 송신하거나, 버튼 조작 정보를 스마트폰의 키버튼 동작정보로 변환하여 스마트폰(200)으로 송신한다. 그러면, 스마트폰(200)은 상기 조작명령 수신부(244)를 통해 보조 디스플레이 장치(100)로부터 스마트폰 조작명령을 수신한다.
상기 조작명령 수행부(245)는 상기 조작명령 수신부(244)에 의해 수신된 스마트폰 조작명령을 수행한다. 상기 조작명령 수신부(244)를 통해 마우스 커서 형식 정보 또는 키버튼 동작정보가 스마트폰 조작명령으로 수신되면, 스마트폰(200)은 상기 조작명령 수행부(245)를 통해 스마트폰(200)의 화면 터치 조작이나 버튼 조작을 수행한다.
한편, 발명의 부가적인 양상에 따르면, 상기 제어정보 처리부(240)가 음성 인식부(246)와, 음성 판단부(247)를 더 포함할 수 있다. 상기 음성 인식부(246)는 마이크(도면 도시 생략)를 통해 음성을 인식한다. 음성 인식 기술은 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 이에 대한 구체적인 설명은 생략한다.
상기 음성 판단부(247)는 상기 음성 인식부(246)에 의해 인식된 음성이 보조 디스플레이 장치 조작명령에 대응하는 음성인지를 판단한다. 상기 음성에 대응하는 보조 디스플레이 장치 조작명령이 보조 디스플레이 장치의 화면의 확대, 축소, 스크롤, 밝기 조정 등의 화면 제어명령이나 스피커의 볼륨 조정 등의 스피커 제어명령, 보조 디스플레이 장치의 하드웨어 버튼 제어명령 등일 수 있다.
이 때, 상기 조작명령 송신부(243)가 상기 음성 판단부(247)에 의해 보조 디스플레이 장치 조작명령에 대응하는 음성이라 판단된 경우, 해당 음성에 대응하는 보조 디스플레이 장치 조작명령을 보조 디스플레이 장치(100)로 송신한다. 이와 같이 구현함에 의해 본 발명은 스마트폰(200)을 통해 보조 디스플레이 장치(100)를 제어할 수 있게 된다.
이상에서 설명한 바와 같이, 본 발명은 스마트폰을 통해 보조 디스플레이 장치를 제어할 수 있을 뿐만 아니라, 보조 디스플레이 장치를 통해 스마트폰을 제어할 수 있으므로, 스마트폰과 보조 디스플레이 장치간에 양방향 제어가 가능해 사용자 편의성을 향상시킬 수 있으므로, 상기에서 제시한 본 발명의 목적을 달성할 수 있다.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
본 발명은 스마트폰 제어 기술분야 또는 스마트폰에 연결되는 보조 장치의 제어 기술분야에서 산업상으로 이용 가능하다.
100 : 보조 디스플레이 장치 110, 210 : 유선 인터페이스부
120, 220 : 무선 인터페이스부 130, 230 : 데이터 처리부
140, 240 : 제어정보 처리부 141 : 스마트폰 정보 수신부
142, 244 : 조작명령 수신부 143, 245 : 조작명령 수행부
144 : 터치조작 감지부 145 : 좌표 변환부
146 : 커서 형식 변환부 147, 243 : 조작명령 송신부
148 : 버튼조작 감지부 149 : 키버튼 동작 변환부
200 : 스마트폰 241 : 스마트폰 정보 검출부
242 : 스마트폰 정보 송신부 246 : 음성 인식부
247 : 음성 판단부

Claims (10)

  1. 삭제
  2. 삭제
  3. 스마트폰과 유선 연결되는 유선 인터페이스부와;
    스마트폰과 무선 연결되는 무선 인터페이스부와;
    상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 스마트폰으로부터 수신하고, 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 처리하여 화면 출력 또는 스피커 출력하는 데이터 처리부와;
    상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰으로부터 수신하고, 조작명령을 스마트폰과 송수신하는 제어정보 처리부를;
    포함하여 이루어지는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치에 있어서,
    상기 제어정보 처리부가:
    상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 스마트폰으로부터 수신하는 스마트폰 정보 수신부와;
    상기 무선 인터페이스부를 통해 스마트폰으로부터 보조 디스플레이 장치 조작명령을 수신하는 조작명령 수신부와;
    상기 조작명령 수신부에 의해 수신된 보조 디스플레이 장치 조작명령을 수행하는 조작명령 수행부와;
    사용자의 터치조작 이벤트를 감지하는 터치조작 감지부와;
    상기 터치조작 감지부에 의해 터치조작 이벤트가 감지된 경우, 터치 좌표를 상기 스마트폰 정보 수신부에 의해 수신된 스마트폰의 해상도 정보 및 회전상태 정보에 맞는 좌표로 변환하는 좌표 변환부와;
    상기 좌표 변환부에 의해 변환된 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환하는 커서 형식 변환부와;
    사용자의 버튼조작 이벤트를 감지하는 버튼조작 감지부와;
    상기 버튼조작 감지부에 의해 버튼조작 이벤트가 감지된 경우, 버튼 조작 정보를 스마트폰의 키버튼 동작정보로 변환하는 키버튼 동작 변환부와;
    상기 커서 형식 변환부에 의해 변환된 마우스 커서 형식 정보 또는 상기 키버튼 동작 변환부에 의해 변환된 키버튼 동작정보를 스마트폰 조작명령으로 하여 상기 무선 인터페이스부를 통해 스마트폰으로 송신하는 조작명령 송신부를;
    포함하는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.
  4. 제 3 항에 있어서,
    상기 커서 형식 변환부가:
    블루투스(Bluetooth)의 HID(Human Interface Device) 프로파일(Profile)의 마우스(Mouse) 기능을 통해 좌표 정보를 스마트폰의 마우스 커서 형식 정보로 변환하는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 유선 인터페이스부가:
    통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하는 것을 특징으로 하는 스마트폰 제어 기능을 구비한 보조 디스플레이 장치.
  6. 삭제
  7. 삭제
  8. 보조 디스플레이 장치와 유선 연결되는 유선 인터페이스부와;
    보조 디스플레이 장치와 무선 연결되는 무선 인터페이스부와;
    상기 유선 인터페이스부를 통해 화면 출력용 비디오 데이터 또는 스피커 출력용 오디오 데이터를 보조 디스플레이 장치로 송신하는 데이터 처리부와;
    상기 무선 인터페이스부를 통해 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치로 송신하고, 조작명령을 보조 디스플레이 장치와 송수신하는 제어정보 처리부를;
    포함하여 이루어지는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰에 있어서,
    상기 제어정보 처리부가:
    스마트폰의 해상도 및 회전 상태를 검출하는 스마트폰 정보 검출부와;
    상기 무선 인터페이스부를 통해 상기 스마트폰 정보 검출부에 의해 검출된 스마트폰의 해상도 정보 및 회전상태 정보를 보조 디스플레이 장치로 송신하는 스마트폰 정보 송신부와;
    마이크를 통해 음성을 인식하는 음성 인식부와;
    상기 음성 인식부에 의해 인식된 음성이 보조 디스플레이 장치 조작명령에 대응하는 음성인지를 판단하는 음성 판단부와;
    상기 무선 인터페이스부를 통해 보조 디스플레이 장치로 보조 디스플레이 장치 조작명령을 송신하되, 상기 음성 판단부에 의해 보조 디스플레이 장치 조작명령에 대응하는 음성이라 판단된 경우, 해당 음성에 대응하는 보조 디스플레이 장치 조작명령을 보조 디스플레이 장치로 송신하는 조작명령 송신부와;
    상기 무선 인터페이스부를 통해 보조 디스플레이 장치로부터 스마트폰 조작명령을 수신하는 조작명령 수신부와;
    상기 조작명령 수신부에 의해 수신된 스마트폰 조작명령을 수행하는 조작명령 수행부를;
    포함하는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.
  9. 제 8 항에 있어서,
    상기 음성에 대응하는 보조 디스플레이 장치 조작명령이:
    보조 디스플레이 장치의 버튼 제어명령 또는 화면 제어명령 또는 스피커 제어명령을 포함하는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 유선 인터페이스부가:
    통신사 또는 제조사가 상이한 다수의 스마트폰과 유선 연결될 수 있도록 복수의 유선 통신 규격 인터페이스를 포함하는 것을 특징으로 하는 보조 디스플레이 장치 지원 기능을 구비한 스마트폰.
KR1020110092113A 2011-09-09 2011-09-09 양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치 KR101278027B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110092113A KR101278027B1 (ko) 2011-09-09 2011-09-09 양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110092113A KR101278027B1 (ko) 2011-09-09 2011-09-09 양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130006014A Division KR20130028761A (ko) 2013-01-18 2013-01-18 스마트폰 제어 기능을 구비한 보조 디스플레이 장치 및 보조 디스플레이 장치 지원 기능을 구비한 스마트폰

Publications (2)

Publication Number Publication Date
KR20130028504A KR20130028504A (ko) 2013-03-19
KR101278027B1 true KR101278027B1 (ko) 2013-06-21

Family

ID=48179005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110092113A KR101278027B1 (ko) 2011-09-09 2011-09-09 양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치

Country Status (1)

Country Link
KR (1) KR101278027B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096842A (ko) * 2014-02-17 2015-08-26 주식회사 엘지유플러스 디지털방송 출력 시스템, 셋톱박스 및 그 디지털방송신호 출력방법, 이동통신단말기 및 그 오디오신호 출력방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150074542A (ko) 2013-12-24 2015-07-02 현대자동차주식회사 미러링크 제어방법
KR101700118B1 (ko) * 2015-10-08 2017-02-13 주식회사 아이에스엘코리아 모바일 연동형 인터렉티브 장치
KR102372803B1 (ko) 2017-07-12 2022-03-10 미래나노텍(주) 양방향 터치스크린 장치 및 이를 이용한 정보 표시 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110059047A (ko) * 2009-11-27 2011-06-02 현대자동차주식회사 휴대기기와 연동하는 사용자 인터페이스를 구비한 차량용 오디오 비디오 단말 시스템 및 그 연동 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110059047A (ko) * 2009-11-27 2011-06-02 현대자동차주식회사 휴대기기와 연동하는 사용자 인터페이스를 구비한 차량용 오디오 비디오 단말 시스템 및 그 연동 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096842A (ko) * 2014-02-17 2015-08-26 주식회사 엘지유플러스 디지털방송 출력 시스템, 셋톱박스 및 그 디지털방송신호 출력방법, 이동통신단말기 및 그 오디오신호 출력방법
KR102279395B1 (ko) * 2014-02-17 2021-07-19 주식회사 엘지유플러스 디지털방송 출력 시스템, 셋톱박스 및 그 디지털방송신호 출력방법, 이동통신단말기 및 그 오디오신호 출력방법

Also Published As

Publication number Publication date
KR20130028504A (ko) 2013-03-19

Similar Documents

Publication Publication Date Title
US11360633B2 (en) Mobile terminal, image display device and user interface provision method using the same
US9298519B2 (en) Method for controlling display apparatus and mobile phone
EP3102996B1 (en) Device and method for detecting gestures on the skin
US20150123919A1 (en) Information input apparatus, information input method, and computer program
KR20110040198A (ko) 휴대용 기기 제어방법, 디스플레이 장치 제어방법 및 영상시스템 제어방법
JP2012213141A (ja) 車両用装置、携帯電話機、および機器連携システム
WO2016197697A1 (zh) 手势控制方法、装置及系统
KR101278027B1 (ko) 양방향통신을 이용하는 휴먼인터페이스상에서 상이 해상도 공조 가능한 모바일 장치
KR102378440B1 (ko) 전자 장치 및 전자 장치의 오디오 출력 방법
US20230138804A1 (en) Enhanced video call method and system, and electronic device
KR102516728B1 (ko) 전자 장치 및 그의 제어 방법
JP2017513416A (ja) データ伝送方法、装置、設備、プログラム及び記録媒体
KR20140006523A (ko) 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법
KR102204676B1 (ko) 디스플레이 장치, 모바일 장치, 이를 포함하는 시스템 및 그 접속 제어방법
JP5692332B2 (ja) 車両用装置、および機器連携システム
CN108811177B (zh) 一种通信方法及终端
KR20130028761A (ko) 스마트폰 제어 기능을 구비한 보조 디스플레이 장치 및 보조 디스플레이 장치 지원 기능을 구비한 스마트폰
CN108605074B (zh) 一种触发语音功能的方法和设备
KR20140101572A (ko) 전자 장치에서 서비스 품질 정보를 제공하기 위한 장치 및 방법
KR102359163B1 (ko) 전자 장치 및 이의 음성 인식 방법
KR101089811B1 (ko) 태블릿 피시용 핸즈프리
JP5988369B2 (ja) 電子機器、制御方法及びプログラム
TW201351950A (zh) 操作行動電話之系統及方法
JP2014002457A (ja) 車両用装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee