KR20160108732A - 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법 - Google Patents

터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법 Download PDF

Info

Publication number
KR20160108732A
KR20160108732A KR1020150031346A KR20150031346A KR20160108732A KR 20160108732 A KR20160108732 A KR 20160108732A KR 1020150031346 A KR1020150031346 A KR 1020150031346A KR 20150031346 A KR20150031346 A KR 20150031346A KR 20160108732 A KR20160108732 A KR 20160108732A
Authority
KR
South Korea
Prior art keywords
touch
mirroring
display device
dummy display
screen
Prior art date
Application number
KR1020150031346A
Other languages
English (en)
Inventor
이휘형
Original Assignee
(주)케이지일렉트론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이지일렉트론 filed Critical (주)케이지일렉트론
Priority to KR1020150031346A priority Critical patent/KR20160108732A/ko
Publication of KR20160108732A publication Critical patent/KR20160108732A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 터치형 더미디스플레이와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법에 관한 것으로서, 본 발명에 따른 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템은, 스마트폰 단말기에서 수행되는 영상 및 음향이 포함된 어플리케이션을 터치형 더미 디스플레이 장치에 연동시키기 위한 미러링 터치조작시스템에 있어서, 상기 터치형 더미 디스플레이 장치를 직관적으로 조작하여 미러링 방식으로 터치조작되는 상기 스마트폰 단말기(10)와; 상기 스마트폰 단말기에서 수행되는 영상 및 음향이 포함된 어플리케이션을 무선방식의 미러링 기술을 이용하여 연동시키는 상기 터치형 더미 디스플레이 장치(20)와; 상기 터치형 더미 디스플레이 장치(20)의 내부에 내장되어 상기 스마프폰 단말기(10)와 유무선으로 통신하면서 상기 스마트폰 단말기(10)의 영상 및 음향을 상기 터치형 더미 디스플레이(20)의 터치 스크린에 미러링시키는 미러링변환부(30)와; 상기 미러링변환부(30)를 구성하면서 터치스크린의 터치인식센서부와 회로적으로 연결되어 상기 터치스크린에 미러링되어 표시되는 상기 스마트폰 단말기(10)의 화면을 직관적으로 터치조작하였을 때 그 터치된 위치좌표를 인식하고 저장하는 터치감지부(31); 및 상기 미러링변한부(30)를 구성하면서 상기 터치감지부(31)에 저장된 터치된 위치좌표의 값을 전류 또는 전압신호롤 변환하는 터치위치신호변환부(32);를 구비한다.
따라서, 본 발명은,스마트폰의 화면에 표시되는 각종 데이터를 터치형 더미 디스플레이 장치로 전송할 뿐만 아니라 터치형 더미 디스플레이에 표시되는 각종 데이터를 스마트폰으로 전송함으로써 양방향으로 미러링 구현이 가능하면서 동시에 무선연동이 가능한 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법을 제공하는 효과가 있다.

Description

터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법 {MIRRORING TOUCH OPERATIING SYSTEM AND CONTROLLING METHOD USING THE SAME }
본 발명은 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법에 관한 것으로, 더욱 상세하게는, 스마트폰의 화면에 표시되는 각종 데이터를 터치형 더미 디스플레이 장치로 전송할 뿐만 아니라 터치형 더미 디스플레이 장치에 표시되는 각종 데이터를 스마트폰으로 전송함으로써 양방향으로 미러링 구현이 가능하면서 동시에 무선연동이 가능한 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법에 관한 것이다.
종래, DVI 단자를 구비하고 있는 노트북 또는 동영상 플레이어에, HDMI 단자를 구비하고 있는 TV 등의 영상 기기를 연결함으로써, 노트북 또는 동영상 플레이어의 화면에 표시되는 영상이나 음성 등의 각종 데이터가 TV등의 영상 기기에 표시되는 기술이 공지되어 있다. 이러한 기술을 미러링 기술이라 한다.
HDMI(High Definition Multimedia Interface)란, 고선명 멀티미디어 인터페이스로서 개인용 컴퓨터와 디스플레이의 인터페이스 표준 규격인 DVI를 AV 전자 제품용으로 변경한 것이다. 이와 같은 HDMI 단자는 영상이나 음성을 압축하지 않고, 노트북 또는 동영상 플레이어에서 TV 등의 영상 기기 쪽으로 전송하기 때문에, 디코더칩이나 소프트웨어가 필요하지 않았다. 즉, 접속 기기끼리 호환성을 가졌다.
또한, 영상, 음성, 제어 신호가 케이블 하나로 전송되기 때문에 번거로웠던 AV 기기의 배선을 간단하게 할 수도 있었다. 게다가, 제어 신호도 보낼 수 있었기 때문에, 각종 AV 기기를 유기적으로 사용할 수 있었다.
최근에는, 스마트폰이 대중적으로 보급됨으로써, 스마트폰의 화면에 표시되는 각종 데이터(영상 정보 및 음성 정보)를 TV 등의 영상 기기로 전송하여, 스마트폰의 화면에 표시되는 각종 데이터를 TV 등의 영상 기기에서 동일하게 표시하는 기술로서 MHL(Mobile High-Definition Link)이 새롭게 개발되어 있다. 이러한 각종 데이터는 MHL 포트를 통해 데이터를 송수신하게 된다.
좀더 상세히 설명하면, HDMI 규격 제창자인 실리콘 이미지사가 기존에 내놓은 HDMI 단자의 경우, 1㎝ 미만의 두께를 갖는 스마트폰에 장착하기가 용이하지 않았다. 이를 해결하기 위해, 실리콘 이미지사는 MHL이라는 새로운 기술 규격의 포트를 발표하였으며, 이러한 새로운 규격의 MHL을 이용함으로써, 상술한 바와 같이 스마트폰을 이용하여 TV 등의 영상 기기에 미러링하는 것이 가능하게 되었다.
하지만, 이와 같은 미러링 기술은 MHL 포트를 이용하여 스마트폰의 화면에 표시되는 각종 데이터를 TV 등의 영상 기기로 전송할 뿐, TV 등의 영상 기기에 표시되는 각종 데이터를 스마트폰으로 전송할 수 없는 문제점이 있었다. 즉, 기존의 미러링 기술은 쌍방향 미러링을 구현할 수 없는 문제점이 있었다.
또한, 기존의 쌍방향 데이터 전송을 위해서는 독립적으로 프로그램을 구동할 수 있는 장치(Stand-Alone 컴퓨터)가 2대 필요하였다. 예를 들면, 기존의 쌍방향 데이터 전송을 위해서는, 1대의 태블릿 PC와, 1대의 스마트폰을 필요로 하였는데, 이 때 태블릿 PC는 가격이 고가일 뿐만 아니라, 스마트폰과의 중복된 기능으로 인해, 스마트폰 유저의 관점에서 보면 유사한 기능을 갖는 또 다른 통신 장비를 중복하여 보유하게 되는 비효율성도 있으며, 각종 정보(예를 들어, 주소록, 통화 내역, 업무 파일, 사진 등)의 저장 데이터 베이스(DB)가 이중화되는 단점이 있었다.
따라서, 양방향 미러링을 구현할 수 있으면서도 고가의 디스플레이 장비를 별도로 필요로 하지 않는 미러링 기술에 관한 현실적이고도 적용이 가능한 기술이 절실한 실정이다.
공개특허공보 제10-2014-0140720호(2014.12.10.)
따라서, 본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은, 스마트폰의 화면에 표시되는 각종 데이터를 터치형 더미 디스플레이 장치로 전송할 뿐만 아니라 터치형 더미 디스플레이 장치에 표시되는 각종 데이터를 스마트폰으로 전송함으로써 양방향으로 미러링 구현이 가능하면서 동시에 무선연동이 가능한 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 스마트폰 단말기에서 수행되는 영상 및 음향이 포함된 어플리케이션을 터치형 더미 디스플레이 장치에 연동시키기 위한 미러링 터치조작시스템에 있어서, 상기 터치형 더미 디스플레이 장치를 직관적으로 조작하여 미러링 방식으로 터치조작되는 상기 스마트폰 단말기(10)와; 상기 스마트폰 단말기에서 수행되는 영상 및 음향이 포함된 어플리케이션을 무선방식의 미러링 기술을 이용하여 연동시키는 상기 터치형 더미 디스플레이 장치(20)와; 상기 터치형 더미 디스플레이 장치(20)의 내부에 내장되어 상기 스마프폰 단말기(10)와 유무선으로 통신하면서 상기 스마트폰 단말기(10)의 영상 및 음향을 상기 터치형 더미 디스플레이 장치(20)의 터치 스크린에 미러링시키는 미러링변환부(30)와; 상기 미러링변환부(30)를 구성하면서 터치스크린의 터치인식센서부와 회로적으로 연결되어 상기 터치스크린에 미러링되어 표시되는 상기 스마트폰 단말기(10)의 화면을 직관적으로 터치조작하였을 때 그 터치된 위치좌표를 인식하고 저장하는 터치감지부(31); 및 상기 미러링변한부(30)를 구성하면서 상기 터치감지부(31)에 저장된 터치된 위치좌표의 값을 전류 또는 전압신호롤 변환하는 터치위치신호변환부(32);를 구비할 수 있다.
상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)에 내장된 앱컨텐츠의 실행명령이 입력되는 경우에 상기 스마트폰 단말기 주변에 위치하는 디스플레이 장치를 검색하여 근거리 무선통신으로 연결할 수 있다.
또한, 복수의 디스플레이 장치들과 상기 스마트폰 단말기(10)간의 거리 감지를 위한 거리감지장치;를 더 포함하고, 상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)에 내장된 앱컨텐츠의 실행명령이 입력되는 경우에 상기 거리감지장치의 감지결과에 따라 상기 스마트폰 단말기(10)와 근접한 거리에 위치하는 디스플레이 장치와 통신을 연결할 수 있다.
한편, 상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)와 근접한 거리에 위치하는 디스플레이 장치로 앱컨텐츠의 실행화면 데이터를 송신할 수 있다.
상기 미러링변환부(30)는, 내부메모리에 앱컨텐츠에 해당하는 UI객체세트가 복수개 이상 존재하는 경우에 제 1 컨텐츠에 해당하는 UI객체세트의 목록을 터치스크린에 메뉴로 표시하고 상기 메뉴상에서 사용자로부터 선택된 UI객체세트를 표시할 수 있다.
상기 터치형 더미 디스플레이 장치를 구성하는 제어부는, 상기 터치스크린에 표시된 UI객체 세트 중 어느 하나의 UI객체가 터치되는 경우에 상기 터치된 UI객체에 상응하게 실행중인 제 1 컨텐츠의 동작을 제어하고, 상기 동작제어가 반영된 제 1 컨텐츠의 실행화면 데이터를 상기 터치형 더미 디스플레이 장치로 송신할 수 있다.
상기 미러링변환부(30)는, 상기 터치스크린 화면을 제1 및 제2 영역으로 분할하고, 상기 제1 영역에 제1 컨텐츠 실행 전의 화면을 표시하고, 상기 제2 영역에 제1 컨텐츠에 해당하는 UI객체 세트를 표시할 수 있다.
상기 미러링변환부(30)는, 상기 제1 영역상에서 제2 컨텐츠가 선택되면 제2 컨텐츠를 실행하고, 상기 제1 영역상에 제2 컨텐츠의 실행화면을 표시할 수 있다.
상기 미러링변환부(30)는, 컨텐츠의 실행화면 데이터에 컨텐츠의 오디오 데이터를 포함하여 송신할 수 있다.
본 발명의 실시예에 의한 미러링 터치조작 시스템을 이용한 스마트폰 단말기의 제어방법에 있어서, 터치스크린 화면상에 표시된 앱컨텐츠가 실행되면 외부의 더미 디스플레이 장치와 통신을 연결하는 제 1 단계; 상기 앱컨텐츠가 실행화면에 따른 데이터를 상기 더미 디스플레이 장치로 송신하는 제 2 단계; 상기 실행중인 컨텐츠의 동작제어를 위한 UI객체 세트를 상기 터치스크린 상에 표시하는 단계; 및 상기 UI객체들 중 어느 하나의 UI객체가 선택되는 경우에 상기 선택된 UI객체에 상응하게 상기 실행중인 컨텐츠의 동작 제어 및 상기 동작제어가 반영된 컨텐츠의 실행화면 데이터를 상기 더미 디스플레이 장치로 송신하는 단계;를 포함하여 이루어질 수 있다.
이상에서 설명한 바와 같이, 본 발명은,스마트폰의 화면에 표시되는 각종 데이터를 터치형 더미 디스플레이 장치로 전송할 뿐만 아니라 터치형 더미 디스플레이 장치에 표시되는 각종 데이터를 스마트폰으로 전송함으로써 양방향으로 미러링 구현이 가능하면서 동시에 무선연동이 가능한 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법을 제공하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템을 개략적으로 도시한 도면
도 2는 도 1에 도시된 미러링 터치조작 시스템을 개략적으로 나타내기 위한 블럭도
도 3은 본 발명의 실시예에 따른 미러링 터치조작 시스템을 구성하는 더미디스플레이 장치와 스마트폰의 외부결합 구성도
도 4 내지 도 5는 본 발명의 실시예에 따른 터치조작 시스템을 구성하는 더미디스플레이 장치의 소프트웨어 구성 및 하드웨어 구성을 나타내는 블럭도
도 6은 본 발명의 실시예에 따른 터치조작 시스템에 의한 미러링을 구현하기 위한 미러링 프로토콜을 개략적으로 나타내는 도면
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템을 개략적으로 도시한 도면이고, 도 2는 도 1에 도시된 미러링 터치조작 시스템을 개략적으로 나타내기 위한 블럭도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 본 발명의 실시예에 따른 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템은, 스마트폰 단말기(10), 터치형 더미 디스플레이 장치(20), 미러링변환부(30), 터치감지부(31), 및 터치위치신호변환부(32)를 구비할 수 있다.
보다 상세하게는, 상기 스마트폰 단말기(10)는, 상기 터치형 더미 디스플레이 장치를 직관적으로 조작하여 미러링 방식으로 터치조작될 수 있다.
상기 터치형 더미 디스플레이 장치(20)는, 상기 스마트폰 단말기에서 수행되는 영상 및 음향이 포함된 어플리케이션을 무선방식의 미러링 기술을 이용하여 연동시킬 수있다.
상기 미러링변환부(30)는, 상기 터치형 더미 디스플레이 장치(20)의 내부에 내장되어 상기 스마프폰 단말기(10)와 유무선으로 통신하면서 상기 스마트폰 단말기(10)의 영상 및 음향을 상기 터치형 더미 디스플레이 장치(20)의 터치 스크린에 미러링시킬 수 있다.
상기 터치감지부(31)는, 상기 미러링변환부(30)를 구성하면서 터치스크린의 터치인식센서부와 회로적으로 연결되어 상기 터치스크린에 미러링되어 표시되는 상기 스마트폰 단말기(10)의 화면을 직관적으로 터치조작하였을 때 그 터치된 위치좌표를 인식하고 저장할 수 있다.
상기 터치위치신호변환부(32)는, 상기 미러링변한부(30)를 구성하면서 상기 터치감지부(31)에 저장된 터치된 위치좌표의 값을 전류 또는 전압신호롤 변환할 수 있다.
또한, 상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)에 내장된 앱컨텐츠의 실행명령이 입력되는 경우에 상기 스마트폰 단말기 주변에 위치하는 디스플레이 장치를 검색하여 근거리 무선통신으로 연결할 수 있다.
또한, 복수의 디스플레이 장치들과 상기 스마트폰 단말기(10)간의 거리 감지를 위한 거리감지장치;를 더 포함하고, 상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)에 내장된 앱컨텐츠의 실행명령이 입력되는 경우에 상기 거리감지장치의 감지결과에 따라 상기 스마트폰 단말기(10)와 근접한 거리에 위치하는 디스플레이 장치와 통신을 연결할 수 있다.
한편, 상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)와 근접한 거리에 위치하는 디스플레이 장치로 앱컨텐츠의 실행화면 데이터를 송신할 수 있다.
상기 미러링변환부(30)는, 내부메모리에 앱컨텐츠에 해당하는 UI객체세트가 복수개 이상 존재하는 경우에 제 1 컨텐츠에 해당하는 UI객체세트의 목록을 터치스크린에 메뉴로 표시하고 상기 메뉴상에서 사용자로부터 선택된 UI객체세트를 표시할 수 있다.
상기 터치형 더미 디스플레이 장치를 구성하는 제어부는, 상기 터치스크린에 표시된 UI객체 세트 중 어느 하나의 UI객체가 터치되는 경우에 상기 터치된 UI객체에 상응하게 실행중인 제 1 컨텐츠의 동작을 제어하고, 상기 동작제어가 반영된 제 1 컨텐츠의 실행화면 데이터를 상기 터치형 더미 디스플레이 장치로 송신할 수 있다.
상기 미러링변환부(30)는, 상기 터치스크린 화면을 제1 및 제2 영역으로 분할하고, 상기 제1 영역에 제1 컨텐츠 실행 전의 화면을 표시하고, 상기 제2 영역에 제1 컨텐츠에 해당하는 UI객체 세트를 표시할 수 있다.
상기 미러링변환부(30)는, 상기 제1 영역상에서 제2 컨텐츠가 선택되면 제2 컨텐츠를 실행하고, 상기 제1 영역상에 제2 컨텐츠의 실행화면을 표시할 수 있다.
상기 미러링변환부(30)는, 컨텐츠의 실행화면 데이터에 컨텐츠의 오디오 데이터를 포함하여 송신할 수 있다.
본 발명의 실시예에 의한 미러링 터치조작 시스템을 이용한 스마트폰 단말기의 제어방법에 있어서, 터치스크린 화면상에 표시된 앱컨텐츠가 실행되면 외부의 더미 디스플레이 장치와 통신을 연결하는 제 1 단계; 상기 앱컨텐츠가 실행화면에 따른 데이터를 상기 더미 디스플레이 장치로 송신하는 제 2 단계; 상기 실행중인 컨텐츠의 동작제어를 위한 UI객체 세트를 상기 터치스크린 상에 표시하는 단계; 및 상기 UI객체들 중 어느 하나의 UI객체가 선택되는 경우에 상기 선택된 UI객체에 상응하게 상기 실행중인 컨텐츠의 동작 제어 및 상기 동작제어가 반영된 컨텐츠의 실행화면 데이터를 상기 더미 디스플레이 장치로 송신하는 단계;를 포함하여 이루어질 수 있다.
도 3은 본 발명의 실시예에 따른 미러링 터치조작 시스템을 구성하는 더미디스플레이와 스마트폰의 외부결합 구성도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 미러링 터치조작시스템은, 스마트폰의 모든 앱을 터치형 더미 디스플레이 장치와 스마트폰을 무선통신으로 연결한 상태에서 사용자가 더미 디스플레이 장치에 표시되는 상기 스마트폰의 모든 앱을 실행할 수 있도록 근거리에 위치시키기 위한 결합구조를 제공한다.
한편, 상기 더미 디스플레이 장치는 터치스크린에서 스마트폰 단말기에서의 앱 실행화면을 표시하면서 스마트폰에서 더미 디스플레이를 제어할 수 있는 양방향 제어방법을 제공할 수 있다.
도 4 내지 도 5는 본 발명의 실시예에 따른 터치조작 시스템을 구성하는 더미디스플레이 장치의 소프트웨어 구성 및 하드웨어 구성을 나타내는 블럭도이고, 도 6은 본 발명의 실시예에 따른 터치조작 시스템에 의한 미러링을 구현하기 위한 미러링 프로토콜을 개략적으로 나타내는 도면이다.
본 발명의 실시예에 따른 터치조작 시스템은 도면에 도시되는 다양한 기술을 사용하여, 사용자가 사용하는 스마트폰 단말기를 더미 디스플레이에 무선연결하고 직접장착하여 사용할 수 있어 고가의 태블릿 PC대신으로 활용하는 장점이 있다.
즉, 스마트폰의 화면과 소리가 미러링 기술을 이용하여 더미 디스플레이에 표시되고 미러링 기술에 의하여 키/터치 입력이 스마트폰에 전달됨으로써 마치 더미 디스플레이에서 모든것을 처리하는 것으로 느낄 수 있다.
또한, 본 발명에 따른 터치조작 시스템을 구성하는 더미 디스플레이 장치는, 스마트폰의 작은 화면을 큰 화면으로 사용할 수 있으며, 더미 디스플레이를 이용하여 인터넷,이메일, 문서작성을 활용할 수 있으며, 동영상 및 게임은 물론 스마트폰 단말기를 위한 충전기로도 사용하며 종래의 탭이나 태블릿 PC보다 가볍고 견고하며 휴대가 편리한 장점이 있다.
또한, 도면에 도시된 기술을 이용하여 스마트폰의 화면과 소리를 동일하게 차량용/가정용 대화면 멀티미디어 장치에 구현할 수 있으며, 유무선으로 연결되는 멀티미디어장치의 키와 터치입력을 스마트폰에 전달하여 스마트폰을 제어할 수 있고, 스마트폰과 멀티미디어 장치간에 양방향 제어가 가능하게 하는 기술이다.
한편, 본 발명의 실시예에 적용된 더미 디스플레이 장치를 이용하는 터치조작시스템은, 정전식 터치패널을 사용하였으며, 양방향 미러링기술과, 개방형 HID기반의 2-WAY Full Mirroring 기술, 스마트폰을 통한 차량연결 기술, 차량용 멀티미디어 장치의 보완 및 대체효과, 스마트폰상의 모든 앱 사용가능, 저비용으로 차량용 멀티미디어를 구현하였다.
상기와 같이, 본 발명은,스마트폰의 화면에 표시되는 각종 데이터를 터치형 더미 디스플레이 장치로 전송할 뿐만 아니라 터치형 더미 디스플레이 장치에 표시되는 각종 데이터를 스마트폰으로 전송함으로써 양방향으로 미러링 구현이 가능하면서 동시에 무선연동이 가능한 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법을 제공하는 효과가 있다.
지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.
10 : 스마트폰 단말기 20 : 터치형 더미 디스플레이 장치
30 : 미러링 변환부 31 : 터치감지부
32 : 터치위치신호변환부

Claims (10)

  1. 스마트폰 단말기에서 수행되는 영상 및 음향이 포함된 어플리케이션을 터치형 더미 디스플레이에 연동시키기 위한 미러링 터치조작시스템에 있어서,
    상기 터치형 더미 디스플레이 장치를 직관적으로 조작하여 미러링 방식으로 터치조작되는 상기 스마트폰 단말기(10)와;
    상기 스마트폰 단말기에서 수행되는 영상 및 음향이 포함된 어플리케이션을 무선방식의 미러링 기술을 이용하여 연동시키는 상기 터치형 더미 디스플레이 장치(20)와;
    상기 터치형 더미 디스플레이 장치(20)의 내부에 내장되어 상기 스마프폰 단말기(10)와 유무선으로 통신하면서 상기 스마트폰 단말기(10)의 영상 및 음향을 상기 터치형 더미 디스플레이 장치(20)의 터치 스크린에 미러링시키는 미러링변환부(30)와;
    상기 미러링변환부(30)를 구성하면서 터치스크린의 터치인식센서부와 회로적으로 연결되어 상기 터치스크린에 미러링되어 표시되는 상기 스마트폰 단말기(10)의 화면을 직관적으로 터치조작하였을 때 그 터치된 위치좌표를 인식하고 저장하는 터치감지부(31); 및
    상기 미러링변한부(30)를 구성하면서 상기 터치감지부(31)에 저장된 터치된 위치좌표의 값을 전류 또는 전압신호롤 변환하는 터치위치신호변환부(32);를 구비하는 것을 특징으로 하는 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  2. 제 1 항에 있어서, 상기 미러링변환부(30)는,
    상기 스마트폰 단말기(10)에 내장된 앱컨텐츠의 실행명령이 입력되는 경우에 상기 스마트폰 단말기 주변에 위치하는 디스플레이 장치를 검색하여 근거리 무선통신으로 연결하는 것을 특징으로 하는 터치형 더미디스플레이와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  3. 제 1 항에 있어서,
    복수의 디스플레이 장치들과 상기 스마트폰 단말기(10)간의 거리 감지를 위한 거리감지장치;를 더 포함하고,
    상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)에 내장된 앱컨텐츠의 실행명령이 입력되는 경우에 상기 거리감지장치의 감지결과에 따라 상기 스마트폰 단말기(10)와 근접한 거리에 위치하는 디스플레이 장치와 통신을 연결하는 것을 특징으로 하는 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  4. 제 3항에 있어서,
    상기 미러링변환부(30)는, 상기 스마트폰 단말기(10)와 근접한 거리에 위치하는 디스플레이 장치로 앱컨텐츠의 실행화면 데이터를 송신하는 것을 특징으로 하는 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  5. 제 4항에 있어서, 상기 미러링변환부(30)는,
    내부메모리에 앱컨텐츠에 해당하는 UI객체세트가 복수개 이상 존재하는 경우에 제 1 컨텐츠에 해당하는 UI객체세트의 목록을 터치스크린에 메뉴로 표시하고 상기 메뉴상에서 사용자로부터 선택된 UI객체세트를 표시하는 것을 특징으로 하는 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  6. 제 5항에 있어서, 상기 터치형 더미 디스플레이 장치를 구성하는 제어부는,
    상기 터치스크린에 표시된 UI객체 세트 중 어느 하나의 UI객체가 터치되는 경우에 상기 터치된 UI객체에 상응하게 실행중인 제 1 컨텐츠의 동작을 제어하고,
    상기 동작제어가 반영된 제 1 컨텐츠의 실행화면 데이터를 상기 터치형 더미 디스플레이 장치로 송신하는 것을 특징으로 하는 터치형 더미디스플레이와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  7. 제 6항에 있어서, 상기 미러링변환부(30)는,
    상기 터치스크린 화면을 제1 및 제2 영역으로 분할하고,
    상기 제1 영역에 제1 컨텐츠 실행 전의 화면을 표시하고,
    상기 제2 영역에 제1 컨텐츠에 해당하는 UI객체 세트를 표시하는 것을 특징으로 하는 터치형 더미디스플레이와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  8. 제 7항에 있어서, 상기 미러링변환부(30)는,
    상기 제1 영역상에서 제2 컨텐츠가 선택되면 제2 컨텐츠를 실행하고,
    상기 제1 영역상에 제2 컨텐츠의 실행화면을 표시하는 것을 특징으로 하는 터치형 더미디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  9. 제 8항에 있어서, 상기 미러링변환부(30)는,
    컨텐츠의 실행화면 데이터에 컨텐츠의 오디오 데이터를 포함하여 송신하는 것을 특징으로 하는 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템
  10. 제 1항 내지 제 9항에 의한 미러링 터치조작 시스템을 이용한 스마트폰 단말기의 제어방법에 있어서,
    터치스크린 화면상에 표시된 앱컨텐츠가 실행되면 외부의 더미 디스플레이 장치와 통신을 연결하는 제 1 단계;
    상기 앱컨텐츠가 실행화면에 따른 데이터를 상기 더미 디스플레이 장치로 송신하는 제 2 단계;
    상기 실행중인 컨텐츠의 동작제어를 위한 UI객체 세트를 상기 터치스크린 상에 표시하는 단계; 및
    상기 UI객체들 중 어느 하나의 UI객체가 선택되는 경우에 상기 선택된 UI객체에 상응하게 상기 실행중인 컨텐츠의 동작 제어 및 상기 동작제어가 반영된 컨텐츠의 실행화면 데이터를 상기 더미 디스플레이 장치로 송신하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 양방향 제어방법
KR1020150031346A 2015-03-06 2015-03-06 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법 KR20160108732A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150031346A KR20160108732A (ko) 2015-03-06 2015-03-06 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150031346A KR20160108732A (ko) 2015-03-06 2015-03-06 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법

Publications (1)

Publication Number Publication Date
KR20160108732A true KR20160108732A (ko) 2016-09-20

Family

ID=57102310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150031346A KR20160108732A (ko) 2015-03-06 2015-03-06 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법

Country Status (1)

Country Link
KR (1) KR20160108732A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160238A1 (en) * 2018-02-13 2019-08-22 Samsung Electronics Co., Ltd. Electronic apparatus and operating method of the same
CN111708431A (zh) * 2020-05-12 2020-09-25 青岛小鸟看看科技有限公司 人机交互方法、装置、头戴显示设备及存储介质
KR20210017149A (ko) * 2019-08-07 2021-02-17 이운우 역방향 미러링 콘텐츠 실행 시스템
US11086584B2 (en) 2019-03-12 2021-08-10 Samsung Display Co., Ltd. Electronic device, system of electronic device, and system operating method of electronic device
WO2022092810A1 (ko) * 2020-10-28 2022-05-05 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그들의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140140720A (ko) 2013-05-30 2014-12-10 주식회사 알티캐스트 어플리케이션 실행 제어 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140140720A (ko) 2013-05-30 2014-12-10 주식회사 알티캐스트 어플리케이션 실행 제어 방법 및 그 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160238A1 (en) * 2018-02-13 2019-08-22 Samsung Electronics Co., Ltd. Electronic apparatus and operating method of the same
US10739907B2 (en) 2018-02-13 2020-08-11 Samsung Electronics Co., Ltd. Electronic apparatus and operating method of the same
US11086584B2 (en) 2019-03-12 2021-08-10 Samsung Display Co., Ltd. Electronic device, system of electronic device, and system operating method of electronic device
KR20210017149A (ko) * 2019-08-07 2021-02-17 이운우 역방향 미러링 콘텐츠 실행 시스템
CN111708431A (zh) * 2020-05-12 2020-09-25 青岛小鸟看看科技有限公司 人机交互方法、装置、头戴显示设备及存储介质
WO2022092810A1 (ko) * 2020-10-28 2022-05-05 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그들의 제어 방법

Similar Documents

Publication Publication Date Title
US20200387234A1 (en) All-in-One Machine and Method and Computer Memory Medium for Realizing Quick Touch in All Channels Thereof
US8971809B2 (en) Dummy touch screen system for connecting a plurality of mobile terminals
US20180292966A1 (en) Apparatus and method for providing an interface in a device with touch screen
US10360871B2 (en) Method for sharing screen with external display device by electronic device and electronic device
TWI522894B (zh) 用於電子元件中的方法、電腦程式產品以及非暫時性電腦可讀記錄媒體
US10534460B2 (en) Terminal apparatus, display method and recording medium
US20120287058A1 (en) Switching display modes based on connection state
EP3754483A1 (en) Mobile terminal, image display device and user interface provision method using the same
CN103197906A (zh) 用以执行无线显示控制的方法与装置
CN109614061B (zh) 显示方法及终端
US20120299846A1 (en) Electronic apparatus and operation support method
KR20160108732A (ko) 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법
US10296284B2 (en) Audio processing device and audio processing method
CN103038743A (zh) 用于在移动设备的可缩放图形用户界面之间动态地进行切换的方法和装置
EP2806358B1 (en) Electronic device for operating application
US9070321B2 (en) Tablet computer and method for controlling the same
KR20130007811A (ko) 외부 장치와 연결된 휴대 단말기의 화면 표시 방법 및 장치
KR102206053B1 (ko) 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US11051147B2 (en) Electronic apparatus and method of outputting content by the electronic apparatus
US20120038561A1 (en) Method and apparatus for displaying
US9959228B2 (en) Method for automatically matching electronic devices
EP2985676A1 (en) Television-and-computer all-in-one machine, method, and computer storage medium for performing remote control on external computer
CN103257837A (zh) 一种显示数据的方法及电子设备
KR20190043015A (ko) 복수 개의 디스플레이를 가지는 전자 장치 및 제어 방법
JP5060979B2 (ja) 携帯情報装置およびそのモード切替方法