KR102199356B1 - 멀티-터치 디스플레이 패널 및 이를 제어하는 방법 - Google Patents

멀티-터치 디스플레이 패널 및 이를 제어하는 방법 Download PDF

Info

Publication number
KR102199356B1
KR102199356B1 KR1020170086698A KR20170086698A KR102199356B1 KR 102199356 B1 KR102199356 B1 KR 102199356B1 KR 1020170086698 A KR1020170086698 A KR 1020170086698A KR 20170086698 A KR20170086698 A KR 20170086698A KR 102199356 B1 KR102199356 B1 KR 102199356B1
Authority
KR
South Korea
Prior art keywords
touch
sub
display
touch event
display panel
Prior art date
Application number
KR1020170086698A
Other languages
English (en)
Other versions
KR20180006614A (ko
Inventor
이웨이 장
이장환
닝 루
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20180006614A publication Critical patent/KR20180006614A/ko
Application granted granted Critical
Publication of KR102199356B1 publication Critical patent/KR102199356B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

멀티-터치 디스플레이 패널은 이미지 데이터에 따라 이미지를 디스플레이하도록 구성된 디스플레이 패널; 상기 디스플레이 패널 상에 위치하고 터치 데이터를 생성하도록 구성된 멀티-터치 패널; 및 원격 디바이스와 통신하도록 구성되는 통신 모듈을 포함한다. 상기 원격 디바이스는 디스플레이 패널과 터치 스크린을 포함하고, 상기 통신 모듈은 상기 이미지 데이터를 상기 원격 디바이스로부터 수신하고 상기 터치 데이터를 상기 원격 디바이스로 제공하도록 구성된다.

Description

멀티-터치 디스플레이 패널 및 이를 제어하는 방법{MULTI-TOUCH DISPLAY PANNEL AND METHOD OF CONTROLLING THE SAME}
본 발명의 예시적인 실시예들의 양상들은 멀티-터치 디스플레이 패널, 멀티-터치 디스플레이 패널의 제어 방법, 및 상기 방법에 따라 동작되는 멀티-터치 디스플레이 패널과 관련된다.
사용자들로 하여금 컴퓨터 시스템들과 상호 작용하는 것을 가능하게 하는 다양한 입력 디바이스들이 존재한다. 초기 컴퓨터 시스템들에서, 입력 디바이스들은 펀치 카드들 및/또는 키보드들을 포함하였다.
2차원 그래픽 스크린(예를 들어, 데스크톱)이 사용자에게 제시되는, 컴퓨터 그래픽 사용자 인터페이스들의 출현으로 인하여, 전통적인 키보드들은 입력 디바이스들로서 더 이상 충분하지 않았다. 이후에, 컴퓨터 마우스 디바이스(예를 들어, 컴퓨터 마우스들)이 대중적인 입력 디바이스가 되었고, 사용자들로 하여금 연결된 컴퓨터 시스템의 그래픽 사용자 인터페이스와 상호 작용하고 이를 조작하는 것을 가능하게 하였다. 예를 들어, 컴퓨터 마우스를 이용하여, 사용자는 프로그램들을 열고, 닫고, 이들과 상호작용하고, 상기 그래픽 사용자 인터페이스 상에 디스플레이되는 프로그램 윈도우를 이동시키고 리사이즈(resize)하여, 상기 그래픽 사용자 인터페이스를 조작할 수 있다.
최근에, 특히 스마트 폰들 등과 같은 모바일 디바이스의 대중화의 관점에서, 터치 패널들(예를 들어, 터치 스크린들 또는 터치 스크린 패널들)이 입력 디바이스들로서 대중화되었다. 컴퓨터 마우스와 같이 외부 입력 디바이스가 되기 보다는, 터치 패널은 디스플레이 패널 위에 배치된다. 터치 패널은 스타일러스 및/또는 사람의 손가락과 같은 디바이스와 터치 패널 사이의 접촉 또는 근접 접촉과 같은 터치 이벤트를 좌표들로 변환하는 스크린, 패널, 필름, 또는 층이다. 변환된 좌표들은 연결된 컴퓨터 시스템에 대해 입력으로서 해석된다.
결합되거나 함께 연결된 디스플레이 패널과 터치 패널은 터치 디스플레이 패널로 알려져 있다. 따라서, 터치 디스플레이 패널은 사용자로 하여금, 예를 들어, 이들의 손가락을 이용하여, 컴퓨터 시스템과 인체 공학적 및 직관적으로 상호 작용하는 것을 가능하게 한다.
보다 최근에는, 복수의 접촉 지점 터치 이벤트들(즉, 터치들)을 동시에 검출하고 해석할 수 있는 멀티-터치 패널들이 개발되었다. 멀티-터치 패널들은, 예를 들어, 상기 컴퓨터 시스템이 특정 멀티-터치 이벤트들(즉, 손가락들과 같은 복수의 접촉 지점들이 동시에 검출되는 터치 이벤트들)에 대하여 단일-터치 이벤트들(예컨대, 단일 터치 지점 터치 이벤트들)에 어떻게 응답하는지와 달리 응답하도록 상기 컴퓨터 시스템을 프로그래밍함으로써, 연결된 컴퓨터 시스템과 상호 작용하는 사용자의 능력을 향상시킨다. 예를 들어, 어떤 멀티-터치 이벤트들은 윈도우의 크기를 각각 감소시키거나 또는 증가시키기 위해 두 개의 손가락들을 서로를 향해 움직이거나 또는 멀어지는 것을 이용하여, 사진과 같은 디스플레이된 윈도우를 리사이즈하는 것을 포함할 수 있다. 일부 멀티-터치 이벤트들은 제스처일 수 있다.
또한, 디스플레이 패널과 멀티-터치 패널이 결합되거나 연결된 멀티-터치 디스플레이 패널은 많은 사람들이 병행하여(또는 동시에) 사용하기에 충분히 크도록 최근에 스케일 업 되었다.
본 발명은 다양한 실시예들의 멀티-터치 디스플레이 패널, 상기 멀티-터치 디스플레이 패널을 제어하는 방법, 및 상기 방법에 따라 동작하는 상기 멀티-터치 디스플레이 패널을 포함하는 시스템을 제공하는 것이다.
본 발명의 한 실시예에 따른 멀티-터치 디스플레이 패널은 이미지 데이터에 따라 이미지를 디스플레이하도록 구성된 디스플레이 패널; 상기 디스플레이 패널 상에 위치하고 터치 데이터를 생성하도록 구성된 멀티-터치 패널; 디스플레이 패널과 터치 스크린을 포함하는 원격 디바이스; 상기 원격 디바이스와 통신하도록 구성되고 상기 이미지가 포함하는 서브-디스플레이면에 대한 상기 이미지 데이터를 상기 원격 디바이스로부터 수신하고 상기 생성된 터치 데이터를 상기 원격 디바이스로 제공하도록 구성된 통신 모듈; 및 상기 멀티-터치 패널과 상기 통신 모듈에 연결된 컨트롤러를 포함하고, 상기 컨트롤러는, 상기 생성된 터치 데이터가 상기 서브-디스플레이면 내부에 속하는 경우 상기 통신 모듈을 통해 상기 원격 디바이스로 상기 생성된 터치 데이터를 보내고, 상기 생성된 터치 데이터가 상기 서브-디스플레이면 외부에 속하는 경우 상기 원격 디바이스로 상기 생성된 터치 데이터를 보내지 않도록 구성되어 있다.
상기 통신 모듈은 복수의 원격 디바이스들과 통신하도록 더 구성되고, 상기 복수의 디바이스들 중 적어도 하나는 상기 디스플레이 패널과 상기 터치 스크린을 포함할 수 있다.
상기 이미지는 복수의 서브-디스플레이면들을 포함하고, 상기 복수의 서브-디스플레이면들 각각은 상기 원격 디바이스들 각으로부터 상기 수신된 이미지 데이터에 대응할 수 있다.
상기 복수의 서브-디스플레이면들 중 적어도 하나에 대하여 상기 수신된 이미지 데이터는 상기 디스플레이 패널에 디스플레이되도록 리사이즈될 수 있다.
룩업 테이블이 상기 컨트롤러 내부에 저장되고, 상기 룩업 테이블은 상기 디스플레이 패널에 대한 상기 서브-디스플레이면의 위치에 대한 데이터를 유지할 수 있다.
상기 컨트롤러는, 상기 복수의 서브-디스플레이면들 중, 상기 생성된 터치 데이터가 위치하는 하나의 서브 디스플레이면을 결정하고, 상기 하나의 서브-디스플레이면 내부에 위치하는 상기 생성된 터치 데이터의 위치에 기반하여 서브-디스플레이 터치 이벤트를 생성하고, 상기 통신 모듈을 통해 상기 하나의 서브-디스플레이면에 대응하는 상기 원격 디바이스로 상기 서브-디스플레이 터치 이벤트를 보내도록 구성될 수 있다.
한 실시예에 따른 멀티-터치 디스플레이 패널 제어 방법은, 디스플레이 패널과 멀티-터치 패널을 포함하고 복수의 원격 디바이스들과 통신하도록 구성된 멀티-터치 디스플레이 패널에서, 상기 복수의 원격 디바이스들로부터 디스플레이 데이터를 수신하는 단계; 상기 수신된 디스플레이 데이터를 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상에 별개의 서브-디스플레이면들으로서 디스플레이하는 단계; 터치 이벤트 검출을 위하여 상기 멀티-터치 디스플레이 패널의 상기 멀티-터치 패널을 스캐닝하는 단계; 상기 터치 이벤트가 검출되는 경우, 상기 서브-디스플레이면들에 대한 상기 터치 이벤트의 위치를 결정하는 단계; 및 상기 터치 이벤트의 상기 위치가 상기 서브-디스플레이면들 중 하나의 내부에 있는 경우, 상기 서브-디스플레이면에 따른 서브-디스플레이 터치 이벤트를 생성하고 상기 서브-디스플레이 터치 이벤트를 상기 서브-디스플레이면에 대응하는 상기 원격 디바이스로 전송하는 단계를 포함한다.
상기 원격 디바이스는 디스플레이 패널 및 멀티-터치 패널을 포함하고, 상기 수신된 디스플레이 데이터는 상기 서브-디스플레이면에 대응하는 상기 원격 디바이스의 상기 디스플레이 패널에 디스플레이될 수 있다.
상기 서브-디스플레이 터치 이벤트를 생성하는 단계는, 상기 멀티-터치 디스플레이 패널의 상기 멀티-터치 패널 상의 상기 터치 이벤트의 상기 위치를 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상의 상기 서브-디스플레이면의 위치와 비교하는 단계; 및 상기 서브-디스플레이면 상의 상기 터치 이벤트의 상기 위치에 따라 상기 터치 이벤트의 위치 데이터를 포함하는 더미 터치 이벤트를 생성하는 단계를 포함할 수 있다.
상기 터치 이벤트가 상기 서브-디스플레이면들 중 하나의 가장자리에 존재하는 경우, 상기 터치 이벤트에 따라서 상기 멀티-터치 디스플레이 패널 상의 상기 서브-디스플레이면의 위치를 회전시키거나 리사이즈할 수 있다.
상기 터치 이벤트가 상기 서브-디스플레이면 내부에 위치하는 다섯 개의 접촉 지점들을 포함하는 경우, 상기 터치 이벤트에 따라서 상기 멀티-터치 디스플레이 패널 상의 상기 서브-디스플레이면의 위치를 이동시킬 수 있다.
상기 터치 이벤트가 상기 서브-디스플레이면들 중 하나의 내부에 존재하고 다섯 개보다 적은 접촉 지점을 포함하는 경우, 상기 서브-디스플레이 터치 이벤트를 생성하고 상기 서브-디스플레이 터치 이벤트를 상기 원격 디바이스로 전송할 수 있다.
상기 터치 이벤트가 두 개 내지 네 개의 접촉 지점들을 포함할 때, 상기 터치 이벤트가 멀티-터치 이벤트인지 여부를 결정하고, 상기 터치 이벤트가 멀티-터치 이벤트인 경우, 상기 서브-디스플레이면에 따라 상기 멀티-터치 이벤트를 재생성하고 상기 재생성된 멀티-터치 이벤트를 상기 서브-디스플레이면에 대응하는 상기 원격 디바이스로 전송할 수 있다.
상기 원격 디바이스들로부터 업데이트된 디스플레이 데이터를 수신하는 단계; 및 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상에 디스플레이되는 상기 서브-디스플레이면들을 별개의 서브-디스플레이면들로서 업데이트하는 단계를 더 포함할 수 있다.
한 실시예에 따른 시스템은, 멀티-터치 디스플레이 패널을 제어하는 방법에 따라 동작하는 상기 멀티-터치 디스플레이 패널을 포함하는 시스템으로서, 상기 멀티-터치 디스플레이 패널은, 디스플레이 데이터에 따라 이미지를 디스플레이하도록 구성된 디스플레이 패널; 상기 디스플레이 패널 상에 위치하고 터치 데이터를 생성하도록 구성된 멀티-터치 패널; 및 디스플레이 패널과 터치 스크린을 포함하는 원격 디바이스와 통신하도록 구성되고 상기 디스플레이 데이터를 상기 디스플레이 패널로 제공하고 상기 터치 데이터를 상기 원격 디바이스로 제공하도록 구성된 통신 모듈을 포함하고, 상기 방법은, 상기 원격 디바이스로부터 상기 디스플레이 데이터를 수신하는 단계; 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상의 상기 수신된 디스플레이 데이터를 서브-디스플레이면으로서 디스플레이하는 단계; 터치 이벤트 검출을 위하여 상기 멀티-터치 패널을 스캐닝하는 단계; 상기 터치 이벤트가 검출되는 경우, 상기 서브-디스플레이면에 대한 상기 터치 이벤트의 위치를 결정하는 단계; 및 상기 터치 이벤트의 상기 위치가 상기 서브-디스플레이면 내부에 있는 경우, 상기 터치 이벤트를 상기 통신 모듈을 통해 상기 원격 디바이스로 전송하는 단계를 포함한다.
상기 통신 모듈은 복수의 원격 디바이스들과 통신하도록 구성되고, 상기 수신된 디스플레이 데이터를 디스플레이하는 단계는, 상기 복수의 원격 디바이스들 각각으로부터 수신된 상기 디스플레이 데이터를 별개의 서브-디스플레이면들로서 표시하는 단계를 포함할 수 있다.
상기 방법은, 상기 터치 이벤트가 서브-디스플레이면들 중 하나의 가장자리에 존재하는 경우, 상기 터치 이벤트에 따라서 상기 하나의 서브-디스플레이면을 회전시키거나 리사이즈하는 단계를 더 포함할 수 있다.
상기 터치 이벤트가 상기 하나의 서브-디스플레이면의 내부에 존재하고 다섯 개보다 적은 접촉 지점을 포함하는 경우, 상기 방법은 상기 터치 이벤트를 상기 하나의 서브-디스플레이면에 대응하는 상기 원격 디바이스로 전송하는 단계를 더 포함할 수 있다.
상기 터치 이벤트가 상기 하나의 서브-디스플레이면의 내부에 존재하고 적어도 다섯 개의 접촉 지점들을 포함하는 경우, 상기 방법은 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상에 상기 하나의 서브-디스플레이면을 이동시키는 단계를 더 포함할 수 있다.
상기 터치 이벤트가 상기 서브-디스플레이면 내부로부터 상기 서브-디스플레이면 외부로 이동하는 경우, 상기 방법은 상기 원격 디바이스 상의 상기 터치 이벤트를 비활성화하도록 구성되는 더미 비활성 신호를 생성하는 단계; 및 상기 더미 비활성 신호를 상기 원격 디바이스로 전송하는 단계를 더 포함할 수 있다.
이러한 요약은 아래의 상세한 설명에서 더 기술되는 본 발명의 예시적인 실시예의 특징들과 개념들의 선택을 소개하기 위해 제공된다. 이러한 요약은 청구되는 내용의 주요하거나 본질적인 특징들을 한정하도록 의도되는 것이 아니고 또한 청구되는 내용의 범위를 한정하는 것으로 사용되도록 의도되는 것은 아니다. 하나 이상의 예시적인 실시예들에 따르는 하나 이상의 기술된 특징들은 동작 가능한 디바이스들을 제공하는 하나 이상의 예시적인 실시예들에 따른 하나 이상의 기술되는 특징들과 결합될 수 있다.
본 기재에 따르면, 다양한 실시예들의 멀티-터치 디스플레이 패널, 상기 멀티-터치 디스플레이 패널을 제어하는 방법, 및 상기 방법에 따라 동작하는 상기 멀티-터치 디스플레이 패널을 포함하는 시스템이 제공될 수 있다.
도 1은 본 발명의 한 실시예에 따른 멀티-터치 디스플레이 패널을 사용하는 두 명의 사람을 도시한다.
도 2는 예시적인 이미지를 디스플레이하는 도 1에서 도시된 멀티-터치 디스플레이 패널의 멀티-터치 디스플레이면을 도시한다.
도 3은 다른 예시적인 이미지를 디스플레이하는 도 2에서 도시된 상기 멀티-터치 디스플레이면을 도시한다.
도 4는 다른 예시적인 이미지를 디스플레이하는 도 2에서 도시된 상기 멀티-터치 디스플레이면을 도시한다.
도 5는 본 발명의 실시예에 따라 도 1에서 도시된 상기 멀티-터치 디스플레이 패널의 개략도이다.
도 6은 본 발명의 실시예에 따른 멀티-터치 디스플레이 패널을 제어하는 방법을 도시한 플로우 차트이다.
도 7은 본 발명의 다른 실시예에 따른 멀티-터치 디스플레이 패널을 제어하는 방법을 도시한 플로우 차트이다.
도 8은 도 7에서 설명된 방법의 서브루틴(subroutine)을 도시한 플로우 차트이다.
본 발명은 다양한 실시예들의 멀티-터치 디스플레이 패널, 상기 멀티-터치 디스플레이 패널을 제어하는 방법, 및 상기 방법에 따라 동작하는 상기 멀티-터치 디스플레이 패널을 포함하는 시스템에 관한 것이다. 하나의 예시적인 실시예에서, 멀티-터치 디스플레이 패널은 복수의 원격 디바이스들과 연결되고, 상기 원격 디바이스들 중 적어도 하나는 터치 스크린과 표시 장치를 포함할 수 있다. 상기 멀티-터치 디스플레이 패널은 상기 원격 디바이스들로부터 수신되는 디스플레이 데이터에 따라 복수의 서브-디스플레이면을 디스플레이하도록 구성된다. 사용자가 상기 멀티-터치 디스플레이 패널 상의 각각의 서브-디스플레이면과 상호작용할 때 상기 멀티-터치 디스플레이 패널은 상기 멀티-터치 디스플레이면 상에서 발생하는 터치 이벤트들을 상기 원격 디바이스들로 전송하도록 더 구성된다. 따라서, 한 멀티-터치 디스플레이 패널은 하나 이상의 사용자에 의해 원격 디바이스들과의 상호작용과 동시에 일어나는 원격 제어를 가능하게 하도록 제공된다. 다른 실시예에서, 상기 멀티-터치 디스플레이 패널을 제어하는 방법과 상기 방법에 따라 제어되는 상기 멀티-터치 디스플레이 패널을 포함하는 시스템이 제공된다.
이하에서는, 예시적인 실시예가, 첨부한 도면을 참조하여, 보다 상세하게 기술될 것이고, 여기서 유사한 참조 부호들은 도면을 통하여 유사한 구성 요소들을 지칭한다. 그러나, 본 발명은 다양한 형태들로 구현될 수 있고, 본 발명에서 설명되는 실시예로만 한정되는 것으로 해석되지 않아야 한다. 오히려, 이러한 실시예들은 본 발명이 완전하고 완성되도록 예시로서 제공되고, 당해 기술분야에서 통상의 지식을 가진 자들에게 본 발명의 양상들과 특징들을 완전히 전달할 것이다. 따라서, 본 발명의 양상들과 특징들의 완성된 이해를 위하여 당해 기술분야에서 통상의 지식을 가진 자들에게 반드시 필요한 것은 아닌 프로세스들, 구성 요소들, 및 기법들은 기술되지 않을 수 있다. 다르게 지시되지 않는 한, 첨부된 도면과 작성된 명세서를 통해 유사한 도면 부호는 유사한 구성 요소들을 지시하므로, 이들에 대한 기술은 반복되지 않을 수 있다.
도면들에서, 구성 요소들과 영역들의 상대적인 크기들은 명확함을 위하여 과장되거나 그리고/또는 단순화될 수 있다. "아래에(beneath)," "아래에(below)," "하부의(lower)," "아래의(under)," "위에(above)," "위의(upper)," 등 공간적으로 상대적인 용어들이 본 도면들에서 도시되는 바와 같은 다른 구성 요소(들) 또는 특징(들)에 대해 하나의 구성 요소 또는 특징의 관계를 기술하기 위한 설명의 편의를 위하여 본 명세서에서 사용될 수 있다. 상기 공간적으로 상대적인 용어들은 본 도면들에서 표현되는 방향들에 부가하여, 사용 중이거나 또는 동작 중인 디바이스의 서로 다른 방향들을 포함하는 것이 의도된다고 이해되어야 할 것이다. 예를 들어, 본 도면들에서의 상기 디바이스가 방향이 바뀌는 경우, 다른 구성 요소들 또는 특징들 "아래에(beneath)," "아래에(below)," 또는 "하부의(lower),"와 같이 기술되는 구성 요소들은, 다른 구성 요소들 또는 특징들 "위에(above)" 배향될 것이다. 따라서, 예시적인 용어들 "아래에(below)," 또는 "하부의(lower)"는 "위에(above)," 및 "아래에(below)"의 모든 방향을 포함할 수 있다. 상기 디바이스는 다르게(예를 들어, 90도 회전되거나 또는 다른 방향들로) 배향될 수 있고 본 명세서에서 상기 공간적으로 상대적인 기술되는 용어들은 이에 따라서 해석되어야 한다.
"제1," "제2," "제3," 등의 용어들은 본 명세서에서 다양한 구성 요소들, 컴포넌트들, 영역들, 층들 및/또는 섹션들을 기술하는 데 사용될 수 있고, 이러한 구성 요소들, 컴포넌트들, 영역들, 층들 및/또는 섹션들은 이러한 용어들에 한정되어야 하는 것은 아니다. 이러한 용어들은 하나의 구성 요소, 컴포넌트, 영역, 층 및/또는 섹션을 다른 구성 요소, 컴포넌트, 영역, 층 및/또는 섹션과 구별하는데 사용된다. 따라서, 아래에서 설명되는 제1 구성 요소, 컴포넌트, 영역, 층 및/또는 섹션은 본 발명의 정신과 범위를 벗어나지 않고, 제2 구성 요소, 컴포넌트, 영역, 층 및/또는 섹션으로 지칭될 수 있다.
일 구성 요소가 다른 구성 요소"위에(on)" "에 연결된(connected to)," 또는 "에 결합된(coupled to)," 것으로 지칭되는 경우, 상기 일 구성 요소는 직접 상기 다른 구성 요소 위에, 이에 연결되어, 또는 이에 결합되어 있거나, 또는 하나 이상의 개재 구성 요소들이 사이에 존재할 수 있다. 추가적으로, 일 구성 요소가 두 개의 구성 요소들 "간에" 있는 것으로 지칭되는 경우, 상기 일 구성 요소는 상기 두 개의 구성 요소들 간에 단지 유일한 구성 요소일 수 있거나, 또는 하나 이상의 개재 구성 요소들이 또한 존재할 수 있다.
본 명세서에서 사용되는 용어들은 본 발명의 특정 실시예들을 기술할 목적을 위한 것이고, 본 발명의 한정이 되도록 의도되는 것은 아니다. 본 명세서에서 사용되는 바와 같이, 하나로 표현된 구성 요소들은 문맥이 명백하게 다르게 지시하지 않는 한, 또한 복수 형태들을 포함하는 것으로 의도된다. 용어들 "포함한다(comprises)," "포함하는(comprising)," "포함한다(includes)," 및 "포함하는(including),"이 본 명세서에서 사용되는 경우, 언급된 특징들, 정수들, 단계들, 동작들, 구성 요소들, 및/또는 컴포넌트들의 존재를 명확히 하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 구성 요소들, 컴포넌트들, 및/또는 이들의 그룹들을 배제하는 것은 아니다. 즉, 본 명세서에서 기술되는 과정들, 방법들 및 알고리즘들은 지시되는 동작들에 한정되는 것은 아니고 부가적인 동작들을 포함할 수 있거나 또는 일부 동작들을 생략할 수 있고, 상기 동작들의 순서는 일부 실시예들에 따라 가변될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 "및/또는"은 하나 이상의 연관된 나열된 목록들의 임의의 조합들과 모든 조합들을 포함한다. "적어도 하나(at least one of),"와 같은 표현들이 구성 요소들의 목록에 선행되는 경우, 구성 요소들의 전체 목록을 변형시키고 상기 목록의 개별적인 구성 요소들을 변형시키는 것은 아니다.
본 명세서에서 사용되는 바와 같이, 용어 "실질적으로," "약," 과 유사한 용어들은 근사화의 용어들로 사용되고 정도의 용어들로 사용되는 것은 아니고, 당해 기술분야에서 통상의 지식을 가진 자들에 의해 인식되는 내재된 변형들이 측정되거나 또는 계산되어 설명되는 것으로 의도된다. 또한, "할 수 있다(may)"의 사용은 본 발명의 실시예들을 기술하는 경우에 본 발명의 하나 이상의 구성 요소들을 지칭한다. 본 명세서에서 사용되는 것처럼,"사용하다," "사용하여," 및 "사용되는"과 같은 용어들은 "활용하다," "활용하여," 및 "활용되는"과 같은 용어들과 각각 유사한 것으로 간주될 수 있다. 또는 "예시"와 같은 용어는 예시 또는 도시를 지칭하는 것으로 의도된다.
달리 정의되지 않는 한, 본 명세서에서 사용되는(기술적인 용어들과 과학적인 용어들을 포함하여) 모든 용어들은 본 발명이 속하는 당해 기술 분야에서 통상의 지식을 가진 자에 의해 보편적으로 이해되는 바와 같은 동일한 의미를 갖는다. 사전들에서 보편적으로 사용되는 것으로 정의되는 용어들과 같은, 용어들은 관련 기술분야 및/또는 본 명세서의 컨텍스트의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 또는 과도하게 형식적인 관점으로 해석되어야 하는 것은 아니다.
본 명세서에 기술된 본 발명의 예시적인 실시예들에 따른 상기 데이터 드라이버, 통신 모듈, 컨트롤러, 및/또는 임의의 다른 관련된 디바이스들 또는 컴포넌트들은 임의의 적절한 하드웨어, 펌웨어(예를 들어, 어플리케이션-특정 집적회로), 소프트웨어, 및/또는 소프트웨어, 펌웨어, 및 하드웨어의 적절한 조합을 활용하여 구현될 수 있다. 예를 들어, 상기 데이터 드라이버, 상기 통신 모듈, 및/또는 상기 컨트롤러의 다양한 컴포넌트들은 하나의 집적회로(IC) 칩 또는 개별적인 IC 칩들을 통해 형성될 수 있다. 또한, 상기 데이터 드라이버, 상기 통신 모듈, 및/또는 상기 컨트롤러의 다양한 컴포넌트들은 가요성 인쇄 회로 필름, 테이프 캐리어 패키지(TCP), 프린트된 회로 기판(PCB), 또는 상기 데이터 드라이버, 상기 통신 모듈 및/또는 상기 컨트롤러와 동일한 기판 상에 형성될 수 있다. 또한, 상기 데이터 드라이버, 상기 통신 모듈, 및/또는 상기 컨트롤러의 다양한 컴포넌트들은 본 명세서에서 설명된 다양한 기능들을 수행하기 위하여 하나 이상의 컴퓨팅 디바이스에서, 하나 이상의 프로세서들 상에서 동작하고, 컴퓨터 프로그램 명령들을 실행하고, 다른 시스템 컴포넌트들과 상호 작용하는 프로세스 또는 쓰레드일 수 있다. 상기 컴퓨터 프로그램 명령들은 예를 들어, 메모리 내에 저장되고, 이는 랜덤 액세스 메모리(RAM)와 같은, 표준 메모리 디바이스를 이용하여 컴퓨팅 디바이스에서 구현될 수 있다. 상기 컴퓨터 프로그램 명령들은 또한 예를 들어, CD-ROM, 플래시 드라이브, 등과 같은 다른 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 또는, 당해 기술분야에서 통상의 지식을 가진 자는 본 발명의 예시적인 실시예들의 범위로부터 벗어나지 않고 다양한 컴퓨팅 디바이스들의 기능이 단일 컴퓨팅 디바이스로 결합되거나 또는 통합될 수 있거나 또는 특정 컴퓨팅 디바이스의 기능이 하나 이상의 다른 컴퓨팅 디바이스들을 통해서 배분될 수 있다는 것을 인식하여야 한다.
도 1은 본 발명의 한 실시예에 따른 멀티-터치 디스플레이 패널(10)과 상호 작용하는 두 명의 사람을 도시한다. 도 1에서, 사용자가 이들 간에 상호 작용을 위해 멀티-터치 디스플레이 패널(10) 주변에 앉도록, 멀티-터치 디스플레이 패널(10)은 캐비닛 내부에 존재하여 상부를 향하는 것으로 도시되어 있다. 그러나, 본 발명은 이러한 실시예에 한정되는 것이 아니고, 다른 실시예에 따르면, 사용자들이 서서 그리고/또는 앉아서 상호 작용을 할 수 있도록, 멀티-터치 디스플레이 패널(10)은 벽에 장착되어 바닥과 평행하게 마주할 수 있다.
멀티-터치 디스플레이 패널(10)은 이미지를 디스플레이하는 디스플레이 패널과 디스플레이 패널 상부에 배치되어 있는 멀티-터치 패널을 포함한다. 멀티-터치 패널은 예를 들어, 스타일러스과 같은 장치, 또는 손가락에 의한 접촉들과 같은, 접촉들(또는 근접 접촉들)을 검출하고 해석하도록 구성된다. 예를 들어, 멀티-터치 패널은 복수의 동시에 발생하는 터치들을 검출하도록 구성될 수 있다
멀티-터치 패널은 디스플레이 패널 상부에 배치되고, 하나 이상의 사용자들이 하부에 위치되는 디스플레이 패널에 의해 디스플레이되는 이미지와 상호작용하기 위해 멀티-터치 패널을 접촉할 수 있도록 조정될 수 있다. 예를 들어, 디스플레이 패널이 버튼을 포함하는 이미지를 디스플레이하고 사용자가 버튼이 도시되는 지점에서 멀티-터치 패널을 접촉하는 경우, 멀티-터치 디스플레이 패널(10)은 그 위치에서 멀티-터치 패널과의 사용자의 접촉을 디스플레이된 버튼에 대한 선택으로 인식 및 해석하고, 이에 따라 응답할 수 있다.
도 5는 본 발명의 실시예에 따라 도 1에서 도시되는 멀티-터치 디스플레이 패널(10)의 개략적인 도면이다. 도 5에서, 본 발명의 실시예에 따른 멀티-터치 디스플레이 패널(10)은 디스플레이 패널 상부의 멀티-터치 패널 위의 멀티-터치 디스플레이면(100), 멀티-터치 디스플레이면(100)의 디스플레이 패널을 구동하기 위한 데이터 드라이버(110), 원격 디바이스들(예를 들어, 원격 디바이스들(200 및 300))과 통신하기 위한(즉, 정보를 송신하고 수신하기 위한) 통신 모듈(120), 그리고 컨트롤러(130)(예를 들어, 프로세서)를 포함한다. 컨트롤러(130)는 멀티-터치 디스플레이면(100)의 멀티-터치 패널로부터의 데이터를 수신하여 해석하고, 통신 모듈(120)로 그리고/또는 이로부터 데이터를 송신하고 및/또는 수신하고, 데이터 드라이버(110)를 제어하기 위한 것이다. 멀티-터치 디스플레이면(100), 데이터 드라이버(110), 통신 모듈(120), 및 컨트롤러(130)는 멀티-터치 디스플레이 패널(10)의 개별적인 구성 요소들로 도시되어 있으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, 일부 실시예에서, 데이터 드라이버(110)는 멀티-터치 디스플레이면(100)의 디스플레이 패널과 일체화될 수도 있고, 통신 모듈(120)은 컨트롤러(130)와 일체화될 수도 있고, 컨트롤러(130)는 멀티-터치 패널과 일체화될 수도 있고, 다른 구성도 가능하다.
통신 모듈(120)은 하나 이상의 원격 디바이스들(200, 300)(예를 들어, 멀티-터치 디스플레이 패널(10) 외부의 디바이스)과 통신하도록 구성되고, 통신 모듈(120)과 원격 디바이스들(200 및 300) 간의 통신은 유선 연결 또는 무선 연결과 같은, 임의의 적절한 형태로 이루어질 수 있다. 이러한 형태의 예들은 Universal Serial Bus("USB"), WiFi(802.11x), Bluetooth®, http connection via the Internet 등을 포함하지만 본 발명은 이러한 예시들에 한정되는 것은 아니다.
뒤에서 설명되는 바와 같이, 통신 모듈(120)은 상기 멀티-터치 패널에 의해 생성되고 컨트롤러(130)에 의해 해석되는 터치 이벤트들을 상기 원격 디바이스(200, 300)으로 전송하여 상기 원격 디바이스(200, 300)를 제어할 수 있고, 상기 원격 디바이스(200, 300)로부터 디스플레이 정보를 수신하여 상기 디스플레이 패널에 디스플레이할 수 있다. 상기 원격 디바이스(200, 300)는 디스플레이들(예를 들어, 디스플레이 장치들 또는 디스플레이 스크린들)과 터치 패널들을 포함하는 디바이스들일 수 있다. 원격 디바이스들(200, 300)의 예는 스마트폰들과 태블릿 PC들을 포함할 수 있다. 그러나, 본 발명은 이에 한정되는 것은 아니고 다른 실시예에 따르면 원격 디바이스들(200, 300)은 자신의 표시 장치들과 터치 패널들을 포함하지 않을 수도 있고, 서버 컴퓨터 시스템과 같이, 마우스 또는 키보드와 같은 다른 주변 장치들을 포함하지 않을 수도 있다(헤드리스 컴퓨터 시스템일 수 있음).
또한, 통신 모듈(120)은 원격 디바이스들(200, 300)로부터 수신된 디스플레이 정보를 멀티-터치 디스플레이면(100)의 디스플레이 패널에 의해 디스플레이되도록 컨트롤러(130) 및/또는 데이터 드라이버(110)로 보낼 수 있다.
도 2는 예시적인 이미지를 디스플레이하는 멀티-터치 디스플레이 패널(10)의 멀티-터치 디스플레이면(100)을 도시한다. 도 2에 도시된 바와 같이, 멀티-터치 디스플레이면(100)은 복수의 이미지들을 디스플레이한다.
한 실시예에 따르면, 멀티-터치 디스플레이면(100)에 표시된 이미지들은 원격 디바이스(200, 300)로부터 미러되어(mirrored) 통신 모듈(120), 컨트롤러(130) 및/또는 데이터 드라이버(110)를 통해 멀티-터치 디스플레이면(100)으로 제공될 수 있다. 예를 들어, 멀티-터치 디스플레이면(100)에 표시된 이미지들은 원격 디바이스(200, 300) 자체의 디스플레이에 표시된 이미지의 미러 이미지일 수 있다. 예를 들어, 원격 디바이스(200)는 이미지 정보 또는 데이터(예를 들어, 디스플레이 정보 또는 데이터)를 통신 모듈(120)로 전송하고, 이는 컨트롤러(130) 및/또는 데이터 드라이버(110)에 의해 해석되고 멀티-터치 디스플레이면(100) 상에 디스플레이된다. 이렇게 원격 디바이스(200, 300)로부터 미러된 이미지는 본 명세서에서 서브-디스플레이면이라 할 수 있다. 도시된 실시예에서, 제1 서브-디스플레이면(21)은 원격 디바이스(200) 상에 국부적으로 디스플레이되는 이미지의 미러 이미지일 수 있고, 제2 서브-디스플레이면(22)은 원격 디바이스(300) 상에 국부적으로 디스플레이되는 이미지의 미러 이미지일 수 있다.
멀티-터치 디스플레이면(100)은 제1 및 제2 서브-디스플레이면들(21, 22)과 같은 복수의 서브-디스플레이면들을 동시에 디스플레이할 수 있다. 멀티-터치 디스플레이면(100)은 상대적으로 클 수 있기 때문에, 서브-디스플레이면들(21, 22) 각각은 멀티-터치 디스플레이면(100)보다 작을 수 있다. 예를 들어, 서브-디스플레이면들 중 하나가 스마트폰 스크린을 표시하는 경우, 그 자체(native) 해상도로 미러링되는 경우에, 그 서브-디스플레이면은 멀티-터치 디스플레이면(100)보다 작을 것이다. 경우에 따라, 예를 들어 사용자의 요구들에 기인하여 및/또는 향상된 가독성을 위하여, 미러링된 이미지는 예를 들어 스케일 업 또는 스케일 다운과 같이 리사이즈될 수도 있다.
사용자들은 원격 디바이스들(200, 300)과 직접 상호 작용하고 있는 것처럼 멀티-터치 디스플레이면(100) 상에서 서브-디스플레이면(21, 22)과 상호 작용할 수 있다. 예를 들어, 사용자가 예를 들어 제1 서브-디스플레이면(21) 상의 아이콘을 터치하는 경우, 컨트롤러(130)는 상기 터치를 검출하고, 대응하는 서브-디스플레이 터치 이벤트를 생성하고, 상기 서브-디스플레이 터치 이벤트를 통신 모듈(120)로 보낸다. 그러면, 통신 모듈(120)은 서브-디스플레이 터치 이벤트를 대응하는 원격 디바이스(200)로 보낸다. 그러면, 원격 디바이스(200)는 수신된 서브-디스플레이 터치 이벤트를 사용자가 원격 디바이스(200)의 터치 패널을 직접 터치한 것처럼 해석할 수 있고(예를 들어, 소프트웨어 드라이버는 수신된 터치 이벤트를 사용자가 원격 디바이스(200)의 로컬 터치 스크린을 터치한 것처럼 해석할 수 있고), 원격 디바이스(200)는, 예를 들어 선택된 어플리케이션을 여는 것과 같이 응답할 수 있다. 그러면, 원격 디바이스(200)로부터 업데이트된 이미지 정보(예를 들어, 지금 열린 어플리케이션을 포함하는 이미지 정보)는 원격 디바이스(200)에 의해 통신 모듈(120)로 전송될 수 있고, 컨트롤러(130) 및/또는 데이터 드라이버(110)는 수신된 업데이트된 이미지 정보를 해석하고 멀티-터치 디스플레이면(100) 상의 제1 서브-디스플레이면(21)을 업데이트하여 원격 디바이스(200) 상에서 열린(예를 들어, 동작하는) 어플리케이션을 디스플레이할 수 있다.
제1 서브-디스플레이면(21)과 원격 디바이스(200)에 대하여 전술된 바와 동일하거나 또는 실질적으로 동일한 특징들은 다른 서브-디스플레이면과 원격 디바이스에 적용될 수 있다. 예를 들어, 동일한 사용자 또는 다른 사용자는 제2 서브-디스플레이면(22)와 상호 작용할 수 있고(즉, 동시에 상호 작용할 수 있고) 이에 따라, 멀티-터치 디스플레이 패널(10)을 이용하여 원격 디바이스(300)와 상호 작용할 수 있다. 부가적으로, 원격 디바이스로부터의 이미지를 각각 미러링하는 임의의 개수의 서브-디스플레이면들이 멀티-터치 디스플레이 패널(10)의 멀티-터치 디스플레이면(100) 상에 디스플레이될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 멀티-터치 디스플레이면(100)은 제1 서브-디스플레이면(21), 제2 서브-디스플레이면(22), 및 제3 서브-디스플레이면(23)을 디스플레이할 수 있다. 제3 서브-디스플레이면(23)은 서버 또는 다른 헤드리스 컴퓨터 시스템과 같은, 원격 디바이스에 연결될 수 있다.
멀티-터치 디스플레이 패널(10)에 의해 생성되는 서브-디스플레이 터치 이벤트를 연결된 원격 디바이스(200, 300)로 보내는 것에 부가하여, 멀티-터치 디스플레이 패널(10)은 멀티-터치 디스플레이면(100)을 제어(예를 들어, 단지 제어만)(즉, 서브-디스플레이면들(21, 22)을 제어)하는 특정 터치 이벤트들을 검출할 수 있다. 예를 들어, 일부 실시예에 따르면, 사용자가 서브-디스플레이면들(21, 22) 중 하나의 가장자리를 터치하는 경우, 멀티-터치 디스플레이 패널(10)은 터치 이벤트에 따라 해당 서브-디스플레이면(21, 22)을 리사이즈할 수 있다. 예를 들어, 사용자가 제1 서브-디스플레이면(21)의 가장자리에서 상기 멀티-터치 디스플레이면(100)을 터치하고(예컨대, 사용자가 제1 서브-디스플레이면(21)이 끝나는 근처에서 멀티-터치 디스플레이면(100)의 영역을 터치) 제1 서브-디스플레이면(21)으로부터 멀어지도록 터치 포인트를 이동시키면(또는 드래그하면), 제1 서브-디스플레이면(21)의 크기는 상기 이동 방향으로 증가된다. 반대로, 터치 지점이 제1 서브-디스플레이면(21)을 향해 또는 내부로 이동되는 경우, 제1 서브-디스플레이면(21)의 크기는 상기 이동 방향으로 감소된다. 이 경우에, 멀티-터치 디스플레이 패널(10)은 어떠한 터치 정보도 원격 디바이스(200)로 보내지 않을 수 있지만(즉, 해당 서브-디스플레이 터치 이벤트를 생성하지 않을 수 있지만) 터치 이벤트에 따라서 멀티-터치 디스플레이면(100) 상의 제1 서브- 디스플레이면(21)을 리사이즈할 수 있다. 한 실시예에 따르면, 서브-디스플레이면을 리사이즈하는 경우, 멀티-터치 디스플레이 패널(10)은 서브-디스플레이면의(그리고 해당 원격 디바이스의) 가로세로비를 유지할 수 있다. 그러나, 본 발명은 이에 한정되는 것은 아니고 다른 실시예에 따르면, 서브-디스플레이면들은 해당 원격 디바이스들과 서로 다른 가로세로비를 갖도록 리사이즈될 수도 있다.
사용자가 제1 서브-디스플레이면(21)의 가장자리에서 터치하였기 때문에, 터치 이벤트에 따라 멀티-터치 디스플레이 패널(10)은 사용자가 멀티-터치 디스플레이면(100) 상의 제1 서브-디스플레이면(21)의 크기를 변경하고자 하는 것으로 해석할 수 있다. 예를 들어, 도 3은 제1 서브-디스플레이면(21)이 도 2에서 보다 더 크게 리사이즈된 멀티-터치 디스플레이면(100)을 도시한다.
도 3에서 도시된 바와 같이, 도 2와 비교하면, 제1 및 제2 부- 디스플레이면들(21 및 22)은 멀티-터치 디스플레이면(100) 상에서 이동되고(즉, 재배치되고), 제1 및 제2 서브-디스플레이면들(21 및 22)은 멀티-터치 디스플레이면(100) 상에서(전술된 바와 같이 리사이즈되는 것에 부가하여) 재배향되어 있다. 서브-디스플레이면을 재배향(또는 회전)하기 위해, 사용자는 한 서브-디스플레이면의 두 개의 서로 다른 가장자리를 동시에 터치하고 대략 원형 동작으로 상기 터치 지점들을 회전 시킬 수 있다. 예를 들어, 사용자는 두 개의 손가락을 이용하여 한 서브-디스플레이면의 두 개의 서로 다른 가장자리를 터치하고 손을 회전시켜 그 서브-디스플레이면을 회전시키거나 재배향시킬 수 있다. 이 경우에, 멀티-터치 디스플레이 패널(10)은 상기 터치 이벤트를 해당하는 원격 디바이스로 보내지 않을 수 있다.
서브-디스플레이면을 이동시키기 위해, 사용자는 다섯 손가락들을 서브-디스플레이면 내부에(예를 들어, 서브-디스플레이면의 가장자리 내부에) 놓고 사용자가 서브-디스플레이면을 이동시키고자 하는 방향으로 다섯 손가락들을 이동시킬 수 있다. 예를 들어, 멀티-터치 디스플레이 패널(10)이 하나의 서브-디스플레이면 내부에 특정 개수의 접촉 지점들(예를 들어, 다섯 개의 접촉 지점들 또는 터치들)을 검출하는 경우에, 멀티-터치 디스플레이 패널은 대응하는 원격 디바이스로 상기 터치 이벤트를 보내지 않고 멀티-터치 디스플레이면(100) 상에서 해당 서브-디스플레이면을 이동시킬 수 있다.
부가적으로, 상기 설명된 예시적인 접촉 과정들 또는 제스처들은 함께 결합될 수도 있다(예를 들어, 병행하여 또는 동시에 수행될 수 있다). 예를 들어, 사용자가 서브-디스플레이면의 반대쪽 가장자리들 상에 두 개의 손가락들을 놓고 손가락들을 함께 가져오면서 원형 동작으로 손가락들을 회전시키는 경우, 해당 서브-디스플레이면은 리사이즈(예를 들어, 크기가 감소)되면서 회전되거나 또는 재배향될 수 있다.
이하에서는, 전술된 바와 같은 멀티-터치 디스플레이 패널을 제어하는 방법의 예시적인 실시예들이 기술될 것이다.
도 6은 본 발명의 실시예에 따라 전술된 상 멀티-터치 디스플레이 패널(10)과 같은 멀티-터치 디스플레이 패널을 제어하는 방법을 도시하는 플로우 차트이다.
먼저, 멀티-터치 디바이스 드라이버는 멀티-터치 디스플레이 패널(10)을 구동하기 시작한다(동작(500)). 예를 들어, 멀티-터치 디바이스 드라이버는 멀티-터치 디스플레이면(100) 및/또는 컨트롤러(130)를 동작하기 시작한다. 동작(500)은 멀티-터치 디스플레이 패널(10)이 먼저 구동(예를 들어, 턴 온)되는 경우에 발생할 수도 있고, 멀티-터치 디스플레이 패널(10)의 프로그래밍에 기반하여 자동으로 발생할 수도 있다. 멀티-터치 디바이스 드라이버는 리눅스-기반 드라이버일 수 있지만, 본 발명이 이에 한정되는 것은 아니다.
다음, 멀티-터치 디스플레이 패널(10)(예를 들어, 멀티-터치 디스플레이면(100))은 터치 이벤트가 멀티-터치 디스플레이면(100) 상에서 검출되는지 여부를 결정하기 위해 스캔될 수 있다(동작(501)). 터치 이벤트(예를 들어, 터치)가 검출되는 경우(동작(502)), 멀티-터치 디스플레이 패널(10)은 상기 터치 이벤트의 위치를 결정할 것이다(동작(503)). 터치 이벤트가 검출되지 않는 경우(동작(502)), 멀티-터치 디스플레이 패널(10)은 다시 스캔될 것이다(동작(501)). 멀티-터치 디스플레이 패널(10)의 스캐닝(동작(501))은 터치가 검출되고 상기 방법이 동작(503)으로 진행될 때까지 반복될 수 있다(예를 들어, 규칙적인 간격을 두고 반복될 수 있고).
터치 이벤트의 위치를 결정한 이후(동작(503)), 멀티-터치 디스플레이 패널(10)은 터치 이벤트가 서브-디스플레이면에서 존재하는지 여부를 결정한다(동작(504)). 상기 터치 이벤트가 서브-디스플레이면에 존재하는지 여부를 결정하는 일 예시적 방법은 예를 들어 컨트롤러(130)에 위치하는 룩업 테이블을 유지하는 것이고, 여기서 서브-디스플레이면들 각각의 좌표들(예를 들어, 경계 좌표들)이 유지될 수 있다. 상기 좌표들은, 예를 들어, 멀티-터치 디스플레이면(100)에서의 상대적인 (x, y) 좌표들일 수 있지만, 본 발명은 이에 한정되는 것은 아니다. 일부 실시예들에서, 룩업 테이블은 멀티-터치 디스플레이면 상의 (x, y) 좌표들 각각의 리스트를 유지할 수 있고, 서브-디스플레이면이 현재 디스플레이되는 (x, y) 좌표들이 룩업 테이블 내에서 지시되어 있을 수 있다.
일부 실시예들에 따르면 동작(504)에서, 컨트롤러(130)는 터치 이벤트의 (x, y) 좌표들을 룩업 테이블과 비교한다. 터치 이벤트가 서브-디스플레이면들 중 하나(예를 들어, 서브-디스플레이면의 내부, 또는 외부이지만 근접한 데)에 위치하는 경우(예를 들어, 내부 또는 외부이지만 근접한 데에 위치하는 경우)(즉, 위치한다고 결정되는 경우), 상기 방법은 동작(505)으로 진행한다. 터치 이벤트가 임의의 서브-디스플레이면의 외부(예를 들어, 외부이고 이에 근접하지 않은 데)에 위치되는 경우, 상기 과정은 동작(501)으로 복귀되고 멀티-터치 디스플레이 패널(10)은 터치 이벤트 검출을 위해 재스캔된다. 그러나, 일부 실시예들에 따르면, 멀티- 터치 디스플레이 패널(10)은 서브-디스플레이면들 뒤에 및/또는 이에 인접하여 멀티-터치 디스플레이면(100) 상에 디스플레이되는 프로그램을 국부적으로 동작시키는 것을 포함할 수 있다. 이러한 실시예들에서, 터치 이벤트가 임의의 상기 서브-디스플레이면의 외부에 위치되는 경우, 멀티- 터치 디스플레이 패널(10)은 터치 이벤트 위치가 멀티-터치 디스플레이면 상에 디스플레이되며 국부적으로 동작되는 프로그램에 대응하는지 여부를 결정하고 이에 따라서 응답할 수 있다.
동작(505)에서, 멀티-터치 디스플레이 패널(10)은 터치 이벤트가 서브-디스플레이면의 가장자리에 존재하는지 여부를 결정한다. 본 명세서에서 사용되는 바와 같이, "가장자리에"는 서브-디스플레이면의 경계에 인접(내부 또는 외부)하는 것을 지칭한다. 서브-디스플레이면의 경계에 인접한 것으로 간주되는 영역은, 예를 들어, 사용자 선호도에 따라 변경될 수 있다. 예를 들어, 서브-디스플레이면의 경계를 기준으로 어느 한 쪽에 위치하는 특정 개수의 (x, y) 좌표들은 서브-디스플레이면의 경계에 근접한 것으로 간주될 수 있다. 또는, 서브-디스플레이면의 크기가 증가함에 따라, 서브-디스플레이면의 경계에 인접한 (x, y) 좌표들의 개수는 감소할 수 있고, 그 역이 성립할 수도 있다. 일부 실시예에서, 서브-디스플레이면의 가장자리에서 존재하는 것으로 간주되는 (x, y) 좌표들의 개수는 사용자가 서브-디스플레이면을 변경하기 위해(동작(506), 뒤에서 설명함) 서브-디스플레이면의 가장자리를 용이하게 터치할 수 있도록 결정될 수 있다. 서브-디스플레이면의 가장자리가 너무 작으면, 사용자는 상기 가장자리 부분을 용이하게 선택(예를 들어, 터치)할 수 없고, 사용자가 서브-디스플레이면을 변경하고자 의도한 터치 이벤트는 멀티-터치 디스플레이 패널에 의해 다르게 판단될 수 있고, 사용자의 불만을 초래할 수 있다.
멀티-터치 디스플레이 패널(10)은 터치 이벤트가 서브-디스플레이면의 가장자리에 존재하는 것으로 결정하는 경우, 터치 이벤트는 국부적으로 취급된다. 예를 들어, 터치 이벤트가 서브-디스플레이면의 가장자리에 존재하는 경우, 멀티-터치 디스플레이 패널(10)은 서브-디스플레이면에 대응하는 원격 디바이스로 터치 이벤트를 보내거나 또는 전송하지 않고(즉, 대응하는 서브-디스플레이 터치 이벤트를 생성하지 않지만), 대신 예를 들어, 컨트롤러(130) 및/또는 데이터 드라이버(110)에서, 터치 이벤트를 국부적으로 처리한다. 터치 이벤트가 서브-디스플레이면의 가장자리에 존재하는 경우, 멀티-터치 디스플레이 패널(10)은 서브-디스플레이면을 변경시킨다. 예를 들어, 터치 이벤트에 따라, 서브-디스플레이면은 위에서 설명한 바와 같이, 리사이즈 및/또는 회전될 수 있다. 이 경우, 서브-디스플레이면이 리사이즈 및/또는 회전됨에 따라 컨트롤러(130)의 룩업 테이블은 업데이트될 수 있다
멀티-터치 디스플레이 패널(10)이 터치 이벤트가 서브-디스플레이면의 가장자리에 존재하지 않는다고 결정하는 경우, 멀티-터치 디스플레이 패널(10)은 터치 이벤트가 멀티-터치 이벤트인지 여부, 즉, 터치 이벤트가 두 개 이상인 경우인지 여부를 결정한다(동작(507)). 터치 이벤트가 멀티-터치 이벤트가 아닌 경우, 즉, 터치 이벤트에서의 터치들의 개수가 두 개보다 적은 경우, 멀티-터치 디스플레이 패널(10)은 동작(508)으로 진행하여 터치 이벤트를 서브-디스플레이면에 대응하는 원격 디바이스로 보내거나 전송한다(즉, 서브-디스플레이 터치 이벤트를 생성하고 전송한다).
동작(508)에서, 멀티-터치 디스플레이 패널(10)은 멀티-터치 디스플레이 패널(10) 상의 서브-디스플레이면의 (x, y) 좌표들에 기반하여 터치 이벤트의 위치를 재계산할 수 있다. 예를 들어, 터치 이벤트는 멀티-터치 디스플레이면(100) 상의 자신의 위치 (예를 들어, 자신의 절대 위치)에 따라 분석될 수 있다. 그러나, 터치 이벤트를 원격 디바이스로 정확하게 보내기 위해, 터치 이벤트의 위치는 서브-디스플레이면의 (x, y) 좌표들에 따라 재계산될 수 있다. 이는, 예를 들어, 터치 이벤트의 절대 위치를 자신의 대응하는 서브-디스플레이면 상의 위치로 변환하기 위한 계산 테이블을 이용하여, 컨트롤러(130)에서 수행될 수 있다. 그리고 나서, 서브-디스플레이면 상의 위치를 포함하는 이러한 재생성된 터치 이벤트(즉, 서브-디스플레이 터치 이벤트)는 통신 모듈(120)을 이용하여 원격 디바이스로 보내질 수 있다. 따라서, 원격 디바이스는 재생성된 터치 이벤트를 수신하고 원격 디바이스의 터치 스크린 상의 국부적인 터치 이벤트를 분석하는 것처럼 이를 분석할 수 있다. 예를 들어, 터치 이벤트의 재계산은 멀티-터치 디스플레이 패널(10)에 의해 완료되었기 때문에, 원격 디바이스는 수신된 재생성된 터치 이벤트를 추가적으로 처리할 필요는 없다.
멀티-터치 디스플레이 패널(10)은 터치 이벤트가 멀티-터치 이벤트라고 결정하는 경우(동작(507)), 즉, 터치 이벤트에서 터치들의 개수가 두 개 이상인 경우, 상기 과정은 동작(509)으로 진행한다.
동작(509)에서, 멀티-터치 디스플레이 패널(10)은 터치 이벤트의 터치들의 개수가 5개 이상인지 여부를 결정한다. 터치 이벤트에서 터치들의 개수가 5개 이상인 경우, 멀티-터치 디스플레이 패널(10)은 터치 이벤트를 국부적으로 분석한다(즉, 멀티-터치 디스플레이 패널 상에서 서브-디스플레이면을 변경(동작(506)). 즉, 터치 이벤트는 원격 디바이스로 보내지지 않는다. 일부 실시예들에서, 다섯-접촉 지점 터치 이벤트에 응답하여, 멀티-터치 디스플레이 패널(10)은 멀티-터치 디스플레이면(100) 상에서 서브-디스플레이면을 이동시킬 수 있다. 예를 들어, 사용자가 서브-디스플레이면을 멀티-터치 디스플레이면(100) 상에서 다른 위치로 이동시키고자 하는 경우, 사용자는 서브-디스플레이면을 이동시키기 위해 다섯 손가락들을 서브-디스플레이면 내부 또는 근처에 배치할 수 있다.
본 발명은 서브-디스플레이면을 이동시키기 위해 터치들의 개수를 5개로 한정하는 것은 아니다. 다른 실시예들에서, 3개 또는 4개와 같이, 터치 이벤트에서 임의의 개수의 터치들에 응답하여 서브-디스플레이면은 이동될 수 있다. 또는, 위에서 설명한 바와 같이 일부 실시예들에서, 멀티-터치 디스플레이면 상에서 서브-디스플레이면을 이동, 리사이즈 및/또는 회전시키는 것은 병행하여(또는 동시에) 다루어질 수 있다. 예를 들어, 사용자가 서브-디스플레이면 내부 또는 근처에서 다섯 손가락들을 배치하고 다섯 손가락들을 이동시키고 회전시키는 경우, 서브-디스플레이면은 이에 응답하여 이동되고 회전될 수 있다.
멀티-터치 디스플레이 패널(10)은 터치 이벤트에서의 터치들의 개수가 5개보다 적다고 판단한 경우, 멀티-터치 디스플레이 패널(10)은 멀티-터치 이벤트(즉, 멀티-터치 제스처)를 원격 디바이스로 보낼 수 있다(동작(510)). 위에서 설명된 동작(508)과 유사하게, 동작(510)에서, 멀티-터치 디스플레이 패널(10)은 대응하는 서브-디스플레이면과 각각의 원격 디바이스에 대해 멀티-터치 이벤트를 재계산할 수 있다(즉, 멀티-터치 서브-디스플레이 터치 이벤트를 생성할 수 있다).
멀티-터치 이벤트를 원격 디바이스로 보낸 이후에(동작(510)) 또는 서브-디스플레이면을 이동시킨 이후에(동작(506)), 상기 과정은 동작(501)으로 복귀되고 멀티-터치 디스플레이 패널(10)은 다음 터치 이벤트 검출을 위하여 재스캔될 수 있다. 멀티-터치 디스플레이 패널(10)이 턴 온 상태를 유지하는 동안 이러한 과정이 반복될 수 있다.
부가적으로, 상기 설명된 과정을 통하여, 멀티-터치 디스플레이면(100) 상에서 디스플레이되는 이미지(들)을 업데이트하기 위해 통신 모듈(120)은 원격 디바이스들 각각으로부터 디스플레이 데이터를 수신할 수 있다. 일부 실시예들에서, 통신 모듈(120)은 터치 이벤트가 원격 디바이스로 보낸 이후에만 디스플레이 데이터를 수신할 수도 있다.
도 7은 본 발명의 다른 실시예에 따라, 멀티-터치 디스플레이 패널(10)과 같은 멀티-터치 디스플레이 패널을 제어하는 방법을 도시하는 플로우 차트이다.
동작(600)에서 시작하여, 멀티-터치 디스플레이 패널(10)은 멀티-터치 디바이스 드라이버를 시작한다. 멀티- 터치 디스플레이 패널(10)을 시작하자마자 동작(600)이 시작될 수 있다. 예를 들어, 동작(600)은 임의의 사용자 입력 없이도 시작할 수 있다. 일부 실시예들에서, 멀티-터치 디바이스 드라이버는 리눅스-기반 드라이버일 수 있다. 그러나, 본 발명은 이에 한정되는 것은 아니다.
멀티-터치 디바이스 드라이버는 터치 이벤트(예를 들어, 터치)를 검출하기 위해 멀티-터치 디바이스면을 반복적으로 스캔할 수 있다.
터치 이벤트가 검출되는 경우(동작(601)), 트래킹 id를 사용하여 터치 슬롯이 멀티-터치 디스플레이 패널(10)에서(예를 들어, 컨트롤러(130)에서) 활성화된다(동작(602)). 터치 슬롯은 터치 이벤트에서 접촉 지점들의 개수를 가리키는 슬롯 id(또는 멀티-터치 id)와 멀티-터치 디스플레이면(100) 상에서의 접촉 지점들의 위치들을 지시하는 하나 이상의 슬롯 위치들을 포함할 수 있다.
따라서, 사용자가 멀티-터치 디스플레이면(100)을 두 손가락들로 터치하는 경우, 트래킹 id에 의해 터치 슬롯 0이 활성화될 수 있고, 터치 슬롯 0의 슬롯 id는 2일 수 있다. 슬롯 위치들 각각은 멀티-터치 디스플레이면(100) 상의 각각의 접촉 위치의 (x, y) 좌표들일 수 있다.
그리고 나서, 동기 이벤트가 수신된 경우(동작(603)), 멀티-터치 디스플레이 패널(10)(즉, 컨트롤러(130))은 터치 이벤트가 완료되었음을 인식하고 동작할 준비가 된다. 그러나, 이 경우에, 완료된 터치 이벤트는 멀티-터치 디스플레이면(100)과의 어떠한 접촉만을 지시하고 사용자가 멀티-터치 디스플레이면(100)과의 접촉을 제거하였다는 것을 지시하지 않는다. 따라서, 예를 들어, 특정 시간량 동안의 하나 이상의 접촉 지점들의 이동 또는 하나 이상의 접촉 지점들의 비-이동은 멀티-터치 디스플레이 패널(10)이 동작할 완료된 터치 이벤트를 지시할 수 있다.
동기 이벤트가 수신되지 않는 경우, 현재 터치 슬롯들은 저장되고(즉, 컨트롤러(130)에 저장되고)(동작(604)), 상기 과정은 다른 터치 이벤트를 대기하도록 복귀된다. 후속하는 터치 이벤트들은 저장된 터치 슬롯보다 큰 터치 슬롯이 할당될 것이다.
동기 이벤트가 수신되는 경우, 터치 슬롯의 위치(즉, 슬롯 위치들)은 멀티-터치 디스플레이면(100) 상에서 서브-디스플레이면의 위치에 상대적으로 결정된다(동작(605)). 예를 들어, 컨트롤러(130)는 서브-디스플레이면 각각이 멀티-터치 디스플레이면(100) 상의 어디에 위치하는지에 대한 정보(즉, (x, y) 좌표들)를 저장하는 룩업 테이블을 유지할 수 있다. 컨트롤러(130)는 슬롯 위치들을 멀티-터치 디스플레이면(100) 상에서 서브-디스플레이면의 위치와 비교할 수 있다.
터치 슬롯의 슬롯 id들이 서브-디스플레이면들 중 하나의 경계와 근접(즉, 경계 상에 위치하거나 경계에 인접)한 경우(동작(606)), 컨트롤러(130)는 터치 슬롯을 국부적으로 판단할 수 있고(즉, 원격 디바이스로 터치 슬롯을 전송하지 않을 수 있고), 터치 슬롯에 응답하여 위에서 설명한 바와 같이 멀티-터치 디스플레이면(100) 상에서 서브-디스플레이면을 리사이즈하거나 회전시킬 수 있다.
서브-디스플레이면 중 하나 내부에 슬롯 위치들을 갖는 슬롯 id의 개수가 5개 이상인 경우(동작(607)), 컨트롤러(130)는 터치 슬롯을 국부적으로 판단할 수 있고, 위에서 설명한 바와 같이 터치 슬롯에 응답하여, 멀티-터치 디스플레이면(100) 상에서 서브-디스플레이면을 이동시킬 수 있다.
서브-디스플레이면 중 하나의 내부에 슬롯 위치들을 갖는 슬롯 id들의 개수가 5개 미만인 경우(동작(608)), 서브-디스플레이 터치 슬롯(즉, 더미 터치 슬롯)이 컨트롤러(130)에 의해 생성된다. 도 8을 참조하여 아래에서 추가적으로 기술될 바와 같이, 동작(608)에서, 서브-디스플레이 터치 슬롯은 서브-디스플레이면 내부에 속하는 터치 슬롯으로부터 슬롯 위치들을 재매핑하여 생성될 수 있다. 서브-디스플레이면은 전체 멀티-터치 디스플레이면(100)을 차지하지 않을 수 있고(즉, 작을 수 있고), 서브-디스플레이면 상에서의 슬롯 위치(예를 들어, 서브-디스플레이 상에서 터치 위치의 (x, y) 좌표들)는 멀티-터치 디스플레이면(100) 상에서의 슬롯 위치(예를 들어, 멀티-터치 디스플레이면(100) 상에서 터치 위치의 (x, y) 좌표들)와 다를 수 있다. 따라서, 컨트롤러(130)는 서브-디스플레이면에 대한 상대적인 터치 슬롯에 따라 터치 슬롯의 슬롯 위치들을 재매핑하여 서브-디스플레이 터치 슬롯을 생성할 수 있다. 또한, 서브-디스플레이면에 대응하는 원격 디바이스가 멀티-터치 디스플레이면(100) 상에서 디스플레이되는 서브-디스플레이면과 다른 해상도로 이미지를 디스플레이하고 있는 경우, 컨트롤러(130)는 해상도에서의 차이에 따라 터치 슬롯을 재매핑할 수도 있다.
그리고 나서, 컨트롤러(130)는 통신 모듈(120)을 통해 서브-디스플레이면에 대응하는 원격 디바이스로 서브-디스플레이 터치 슬롯을 전송한다. 원격 디바이스는 서브-디스플레이 터치 슬롯을 수신하고 로컬 터치 스크린에의 터치를 해석하는 바와 같이 서브-디스플레이 터치 슬롯을 국부적으로 해석한다. 예를 들어, 원격 디바이스는 로컬 터치 이벤트를 처리하거나 또는 해석해야 하는 것보다 더 서브-디스플레이 터치 슬롯을 처리하거나 또는 해석해야 할 필요가 없을 수 있어서, 멀티-터치 디스플레이 패널(10)과과 함께 서로 다른 원격 디바이스들의 사용을 용이하게 할 수 있다.
도 8은 도 7에서 도시된 방법의 동작(609)을 추가적으로 도시하는 플로우 차트이다. 위에서 설명한 바와 같이, 동작(609)에서 멀티-터치 디스플레이 패널(10)은 멀티-터치 디스플레이면(100) 상에서 접촉된 서브-디스플레이면에 대응하는 원격 디바이스로 터치 이벤트를 전송한다.
동작(609.1)에서, 멀티-터치 디스플레이 패널(10)(예를 들어, 컨트롤러(130))은 접촉된 서브-디스플레이면에 대응하는 원격 디바이스에 대한 더미 트래킹 id를 생성한다. 그리고 나서, 멀티-터치 디스플레이 패널(10)은 서브-디스플레이면과 원격 디바이스에 따라 터치 슬롯을 재생성한다(즉, 서브-디스플레이 터치 슬롯들을 생성한다). 예를 들어, 위에서 설명한 바와 같이, 멀티-터치 디스플레이면(100) 상에서 서브-디스플레이면의 크기 및 회전에 대해 더미 트래킹 id에 대응하는 서브-디스플레이 터치 슬롯은 조정될 수 있다. 예를 들어, 서브-디스플레이 터치 슬롯은 멀티-터치 디스플레이면(100)에 기반하는(즉, 멀티-터치 디스플레이면(100) 내부의 접촉 지점에 기반하는)(x, y) 좌표들이라기 보다는 서브-디스플레이면에 기반하는(즉, 서브-디스플레이면 내부의 접촉 지점에 기반하는)(x, y) 좌표들을 가질 수 있다. 이와 유사하게, 서브-디스플레이면이 대응하는 원격 디바이스 상에서 원래대로(natively) 동작되는 해상도와 다른 해상도로 디스플레이되는 경우, 서브-디스플레이 터치 슬롯은 이에 따라 조정될 것이다.
동작(609.2)에서, 터치 이벤트가 활성화되면, 예를 들어, 부가적인 터치 이벤트들이 서브-디스플레이면 내부에서 발생하는 경우(즉, 멀티-터치 디스플레이 패널(10)에 의해 생성되는 경우), 멀티-터치 디스플레이 패널(10)은 더미 트래킹 id 안에서 부가적인 서브-디스플레이 터치 슬롯들을 계속해서 생성하고 서브-디스플레이 터치 슬롯들을 대응하는 원격 디바이스로 전송한다. 따라서, 멀티-터치 디스플레이면(100) 상에서의 터치 이벤트와 대응하는 원격 디바이스에 의한 응답 간의 랙(lag)이 감소되거나 또는 최소화될 수 있다.
접촉 지점(즉, 현재 터치 이벤트)이 서브-디스플레이면 외부로 이동하는 경우(동작(609.3)), 예를 들어, 사용자가 접촉 지점을 서브-디스플레이면 내부에서 서브-디스플레이면 외부로 드래그하거나 이동하는 경우, 멀티-터치 디스플레이 패널(10)은 더미 트래킹 id에 대응하는 비활성 트래킹 id 를 원격 디바이스로 전송한다. 즉, 터치 이벤트가 멀티-터치 디스플레이면(100) 상에서 종료되지 않음에도 불구하고, 멀티-터치 디스플레이 패널(10)은 비활성화 트래킹 id를 원격 디바이스로 전송하여 더미 트래킹 id를 비활성화시키고 원격 디바이스에서 터치 이벤트를 종료시킨다.
접촉 지점(즉, 현재 터치 이벤트)이 비활성화되는 경우(동작(609.4)), 예를 들어, 접촉 지점이 멀티-터치 디스플레이면(100))으로부터 제거되는 경우, 멀티-터치 디스플레이 패널(10)은 비활성 트래킹 id를 생성하고 원격 디바이스로 전송하여 더미 트래킹 id를 비활성화시키고 원격 디바이스에서 터치 이벤트를 종료시킨다.
본 발명은 예시적인 실시예를 참조하여 기술되었지만, 당해 기술분야에서 통상의 지식을 가진 자들은 본 발명의 정신과 범위를 모두 벗어나지 않고, 상기 설명된 실시예들에 대한 다양한 변경들과 변형들이 수행될 수 있다는 것을 인식할 것이다. 또한, 다양한 기술분야에서 통상의 지식을 가진 자들은 본 명세서에서 설명된 본 발명이 다른 출원들을 위한 다른 업무들과 적응들에 대한 해법을 제안할 것이라는 것을 인식할 것이다. 이는 본 명세서에서 청구항들에 의해 커버되는 출원인의 의도이고, 본 명세서에서 본 발명의 예시적인 실시예들로 이루어질 수 있는 본 발명의 모든 이러한 사용들, 및 이러한 변경들과 변형들은 본 발명의 정신과 범위를 벗어나지 않고, 공개의 목적을 위하여 선택된다.
따라서, 첨부된 청구항들과 이들의 등가물들에 의해 지시되는 본 발명의 정신과 범위 때문에, 본 발명의 예시적인 실시예들은 예시적인 것이면 제한적이지 않은 것으로 모든 관점들에서 고려되어야 한다.

Claims (23)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 디스플레이 패널과 멀티-터치 패널을 포함하고 복수의 원격 디바이스들과 통신하도록 구성된 멀티-터치 디스플레이 패널에서,
    상기 복수의 원격 디바이스들로부터 디스플레이 데이터를 수신하는 단계;
    상기 수신된 디스플레이 데이터를 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상에 별개의 서브-디스플레이면들으로서 디스플레이하는 단계;
    터치 이벤트 검출을 위하여 상기 멀티-터치 디스플레이 패널의 상기 멀티-터치 패널을 스캐닝하는 단계;
    상기 터치 이벤트가 검출되는 경우, 상기 서브-디스플레이면들에 대한 상기 터치 이벤트의 위치를 결정하는 단계;
    상기 터치 이벤트의 상기 위치가 상기 서브-디스플레이면들 중 하나의 내부에 있는 경우, 상기 서브-디스플레이면에 따른 서브-디스플레이 터치 이벤트를 생성하고 상기 서브-디스플레이 터치 이벤트를 상기 서브-디스플레이면에 대응하는 상기 원격 디바이스로 전송하는 단계; 및
    상기 터치 이벤트가 상기 서브-디스플레이면의 내부로부터 상기 서브-디스플레이면의 외부로 이동하는 경우, 상기 원격 디바이스 상의 상기 터치 이벤트를 비활성화하도록 구성되는 더미 비활성 신호를 생성하는 단계 및 상기 더미 비활성 신호를 상기 원격 디바이스로 전송하는 단계
    를 포함하는, 멀티-터치 디스플레이 패널 제어 방법.
  8. 제7항에서,
    상기 수신된 디스플레이 데이터는 상기 원격 디바이스의 상기 대응하는 디스플레이 패널에 디스플레이되는, 멀티-터치 디스플레이 패널 제어 방법.
  9. 삭제
  10. 제7항에서,
    상기 터치 이벤트가 상기 서브-디스플레이면들 중 하나의 가장자리에 존재하는 경우, 상기 터치 이벤트에 따라서 상기 멀티-터치 디스플레이 패널 상의 상기 서브-디스플레이면의 위치를 회전시키거나 리사이즈하는, 멀티-터치 디스플레이 패널 제어 방법.
  11. 제7항에서,
    상기 터치 이벤트가 상기 서브-디스플레이면 내부에 위치하는 다섯 개의 접촉 지점들을 포함하는 경우, 상기 터치 이벤트에 따라서 상기 멀티-터치 디스플레이 패널 상의 상기 서브-디스플레이면의 위치를 이동시키는, 멀티-터치 디스플레이 패널 제어 방법.
  12. 제7항에서,
    상기 터치 이벤트가 상기 서브-디스플레이면들 중 하나의 내부에 존재하고 다섯 개보다 적은 접촉 지점을 포함하는 경우, 상기 서브-디스플레이 터치 이벤트를 생성하고 상기 서브-디스플레이 터치 이벤트를 상기 원격 디바이스로 전송하는, 멀티-터치 디스플레이 패널 제어 방법.
  13. 제12항에서,
    상기 터치 이벤트가 두 개 내지 네 개의 접촉 지점들을 포함할 때, 상기 터치 이벤트가 멀티-터치 이벤트인지 여부를 결정하고,
    상기 터치 이벤트가 멀티-터치 이벤트인 경우, 상기 서브-디스플레이면에 따라 상기 멀티-터치 이벤트를 재생성하고 상기 재생성된 멀티-터치 이벤트를 상기 서브-디스플레이면에 대응하는 상기 원격 디바이스로 전송하는, 멀티-터치 디스플레이 패널 제어 방법.
  14. 제7항에서,
    상기 원격 디바이스들로부터 업데이트된 디스플레이 데이터를 수신하는 단계; 및
    상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상에 디스플레이되는 상기 서브-디스플레이면들을 별개의 서브-디스플레이면들로서 업데이트하는 단계를 더 포함하는, 멀티-터치 디스플레이 패널 제어 방법.
  15. 멀티-터치 디스플레이 패널을 제어하는 방법에 따라 동작하는 상기 멀티-터치 디스플레이 패널을 포함하는 시스템에 있어서, 상기 멀티-터치 디스플레이 패널은, 디스플레이 데이터에 따라 이미지를 디스플레이하도록 구성된 디스플레이 패널; 상기 디스플레이 패널 상에 위치하고 터치 데이터를 생성하도록 구성된 멀티-터치 패널; 및 디스플레이 패널과 터치 스크린을 포함하는 원격 디바이스와 통신하도록 구성되고 상기 디스플레이 데이터를 상기 디스플레이 패널로 제공하고 상기 터치 데이터를 상기 원격 디바이스로 제공하도록 구성된 통신 모듈을 포함하고, 상기 방법은,
    상기 원격 디바이스로부터 상기 디스플레이 데이터를 수신하는 단계;
    상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상의 상기 수신된 디스플레이 데이터를 서브-디스플레이면으로서 디스플레이하는 단계;
    터치 이벤트 검출을 위하여 상기 멀티-터치 패널을 스캐닝하는 단계;
    상기 터치 이벤트가 검출되는 경우, 상기 서브-디스플레이면에 대한 상기 터치 이벤트의 위치를 결정하는 단계;
    상기 터치 이벤트의 상기 위치가 상기 서브-디스플레이면 내부에 있는 경우, 상기 터치 이벤트를 상기 통신 모듈을 통해 상기 원격 디바이스로 전송하는 단계; 및
    상기 터치 이벤트가 상기 서브-디스플레이면의 내부로부터 상기 서브-디스플레이면의 외부로 이동하는 경우, 상기 원격 디바이스 상의 상기 터치 이벤트를 비활성화하도록 구성되는 더미 비활성 신호를 생성하는 단계 및 상기 더미 비활성 신호를 상기 원격 디바이스로 전송하는 단계
    를 포함하는, 시스템.
  16. 제15항에서,
    상기 통신 모듈은 복수의 원격 디바이스들과 통신하도록 구성되고,
    상기 수신된 디스플레이 데이터를 디스플레이하는 단계는, 상기 복수의 원격 디바이스들 각각으로부터 수신된 상기 디스플레이 데이터를 별개의 서브-디스플레이면들로서 표시하는 단계를 포함하는, 시스템.
  17. 제16항에서,
    상기 방법은, 상기 터치 이벤트가 서브-디스플레이면들 중 하나의 가장자리에 존재하는 경우, 상기 터치 이벤트에 따라서 상기 하나의 서브-디스플레이면을 회전시키거나 리사이즈하는 단계를 더 포함하는, 시스템.
  18. 제17항에서,
    상기 터치 이벤트가 상기 하나의 서브-디스플레이면의 내부에 존재하고 다섯 개보다 적은 접촉 지점을 포함하는 경우, 상기 방법은 상기 터치 이벤트를 상기 하나의 서브-디스플레이면에 대응하는 상기 원격 디바이스로 전송하는 단계를 더 포함하는, 시스템.
  19. 제18항에서,
    상기 터치 이벤트가 상기 하나의 서브-디스플레이면의 내부에 존재하고 적어도 다섯 개의 접촉 지점들을 포함하는 경우, 상기 방법은 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상에 상기 하나의 서브-디스플레이면을 이동시키는 단계를 더 포함하는, 시스템.
  20. 이미지 데이터에 따라 복수의 서브-디스플레이면들을 포함하는 이미지를 디스플레이하도록 구성된 디스플레이 패널;
    상기 디스플레이 패널 상에 위치하고 터치 이벤트를 기초로 터치 데이터를 생성하도록 구성된 멀티-터치 패널;
    각각 디스플레이 패널과 터치 스크린을 포함하는 복수의 원격 디바이스;
    상기 복수의 원격 디바이스와 통신하도록 구성되고, 상기 원격 디바이스로부터 서브-디스플레이면들에 대한 상기 이미지 데이터를 수신하고 상기 생성된 터치 데이터를 상기 원격 디바이스로 제공하도록 구성된 통신 모듈; 및
    상기 멀티-터치 패널 및 상기 통신 모듈에 연결된 컨트롤러
    를 포함하고,
    상기 컨트롤러는, 상기 서브-디스플레이면들에 대한 상기 터치 이벤트의 위치를 결정하도록 구성되고, 상기 터치 이벤트의 상기 위치가 상기 서브-디스플레이면들 중 하나의 내부에 있는 경우, 상기 서브-디스플레이면에 따른 서브-디스플레이 터치 이벤트를 생성하고 상기 서브-디스플레이 터치 이벤트를 상기 서브-디스플레이면에 대응하는 상기 원격 디바이스로 전송하도록 구성되고, 별개의 상기 서브-디스플레이면들 각각은 상기 디스플레이 패널 상에 동시에 디스플레이되고,
    상기 터치 이벤트가 상기 서브-디스플레이면 내부로부터 상기 서브-디스플레이면 외부로 이동하는 경우, 상기 컨트롤러는 상기 원격 디바이스 상의 상기 터치 이벤트를 비활성화하는 더미 비활성 신호를 생성하도록 구성되고 상기 더미 비활성 신호를 상기 원격 디바이스로 전송하도록 구성되는, 멀티-터치 디스플레이 패널.
  21. 제20항에서,
    상기 수신된 디스플레이 데이터는 상기 대응하는 원격 디바이스의 상기 디스플레이 패널에 디스플레이되는, 멀티-터치 디스플레이 패널.
  22. 제20항에서,
    상기 컨트롤러는, 상기 멀티-터치 디스플레이 패널의 상기 멀티-터치 패널 상의 상기 터치 이벤트의 상기 위치를 상기 멀티-터치 디스플레이 패널의 상기 디스플레이 패널 상의 상기 서브-디스플레이면의 위치와 비교하고, 상기 서브-디스플레이면 상의 상기 터치 이벤트의 위치에 따라 상기 터치 이벤트의 위치 데이터를 포함하는 더미 터치 이벤트를 생성하도록 구성되는, 멀티-터치 디스플레이 패널.
  23. 제20항에서,
    상기 터치 이벤트가 상기 서브-디스플레이면들 중 하나의 가장자리에 존재하는 경우, 상기 터치 이벤트에 따라서 상기 멀티-터치 디스플레이 패널 상에서 상기 서브-디스플레이면의 위치가 회전되거나 리사이즈되는, 멀티-터치 디스플레이 패널.
KR1020170086698A 2016-07-07 2017-07-07 멀티-터치 디스플레이 패널 및 이를 제어하는 방법 KR102199356B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662359665P 2016-07-07 2016-07-07
US62/359,665 2016-07-07
US15/245,080 2016-08-23
US15/245,080 US10558288B2 (en) 2016-07-07 2016-08-23 Multi-touch display panel and method of controlling the same

Publications (2)

Publication Number Publication Date
KR20180006614A KR20180006614A (ko) 2018-01-18
KR102199356B1 true KR102199356B1 (ko) 2021-01-07

Family

ID=59313060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170086698A KR102199356B1 (ko) 2016-07-07 2017-07-07 멀티-터치 디스플레이 패널 및 이를 제어하는 방법

Country Status (4)

Country Link
US (1) US10558288B2 (ko)
EP (1) EP3267303B1 (ko)
KR (1) KR102199356B1 (ko)
CN (1) CN107589864B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6903935B2 (ja) * 2017-02-17 2021-07-14 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
CN108762659B (zh) * 2018-05-24 2022-08-19 深圳市腾讯网络信息技术有限公司 云终端的操控方法、装置、存储介质和电子装置
KR102577674B1 (ko) 2018-07-04 2023-09-15 삼성디스플레이 주식회사 전자 장치
GB2576359B (en) * 2018-08-16 2023-07-12 Displaylink Uk Ltd Controlling display of images
GB2611007B (en) * 2018-08-16 2023-07-05 Displaylink Uk Ltd Controlling display of images
US11093046B2 (en) * 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
US11327707B1 (en) * 2020-04-09 2022-05-10 Cisco Technology, Inc. Multi-device interactivity system for a touch screen display
CN114708403A (zh) * 2020-12-16 2022-07-05 高勇 一种互动投影输入输出设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8847888B2 (en) 2007-12-18 2014-09-30 Microsoft Corporation Optical mouse with limited wavelength optics
US9721420B2 (en) 2008-01-08 2017-08-01 Bally Gaming, Inc. Video switcher and touch router method for multi-layer displays
US8390577B2 (en) 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
US8285499B2 (en) * 2009-03-16 2012-10-09 Apple Inc. Event recognition
KR101542744B1 (ko) 2009-03-18 2015-08-10 삼성전자주식회사 네트워크에서 피제어장치를 제어하는 방법 및 그 장치
US20110050640A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System
EP2325737B1 (fr) 2009-10-28 2019-05-08 Orange Procédé et système de gestion d'une interface graphique pour l'affichage de composants graphiques applicatifs
US20110109526A1 (en) * 2009-11-09 2011-05-12 Qualcomm Incorporated Multi-screen image display
US8860686B2 (en) 2010-04-30 2014-10-14 Atmel Corporation Multi-chip touch screens
JP2013153346A (ja) * 2012-01-25 2013-08-08 Funai Electric Co Ltd 遠隔操作システム
KR20130099717A (ko) * 2012-02-29 2013-09-06 주식회사 팬택 터치 스크린 기반의 사용자 인터페이스 제공 장치 및 방법
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US8970492B2 (en) * 2012-06-08 2015-03-03 Microsoft Technology Licensing, Llc Remote session control using multi-touch inputs
US9268423B2 (en) 2012-09-08 2016-02-23 Stormlit Limited Definition and use of node-based shapes, areas and windows on touch screen devices
CN103440099A (zh) * 2013-08-14 2013-12-11 深圳市同洲电子股份有限公司 一种多屏交互方法、终端及系统
US20150058796A1 (en) * 2013-08-23 2015-02-26 General Electric Company Navigation control for a tabletop computer system
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
US20150100914A1 (en) * 2013-10-04 2015-04-09 Samsung Electronics Co., Ltd. Gestures for multiple window operation
US9465470B2 (en) * 2013-11-07 2016-10-11 Intel Corporation Controlling primary and secondary displays from a single touchscreen
KR20160102411A (ko) * 2013-12-27 2016-08-30 소니 주식회사 표시 제어 장치, 표시 제어 방법 및 프로그램
CN104317498A (zh) * 2014-10-21 2015-01-28 天津三星通信技术研究有限公司 便携式终端及其操作方法
JP6350261B2 (ja) * 2014-12-17 2018-07-04 コニカミノルタ株式会社 オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
CN105045548B (zh) * 2015-06-16 2018-12-25 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统

Also Published As

Publication number Publication date
CN107589864A (zh) 2018-01-16
CN107589864B (zh) 2022-09-02
US20180011586A1 (en) 2018-01-11
EP3267303B1 (en) 2021-04-07
US10558288B2 (en) 2020-02-11
KR20180006614A (ko) 2018-01-18
EP3267303A1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
KR102199356B1 (ko) 멀티-터치 디스플레이 패널 및 이를 제어하는 방법
EP2715491B1 (en) Edge gesture
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
US9658766B2 (en) Edge gesture
US9465457B2 (en) Multi-touch interface gestures for keyboard and/or mouse inputs
TWI552040B (zh) 多區域觸控板
KR102340224B1 (ko) 멀티핑거 터치패드 제스쳐
US20230021260A1 (en) Gesture instruction execution method and apparatus, system, and storage medium
US20170255320A1 (en) Virtual input device using second touch-enabled display
US8363026B2 (en) Information processor, information processing method, and computer program product
US20120304131A1 (en) Edge gesture
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20120011467A1 (en) Window Opening and Arranging Method
US8775958B2 (en) Assigning Z-order to user interface elements
US20150033165A1 (en) Device and method for controlling object on screen
EP2998838A1 (en) Display apparatus and method for controlling the same
US8819584B2 (en) Information processing apparatus and image display method
US20120162262A1 (en) Information processor, information processing method, and computer program product
US20170031589A1 (en) Invisible touch target for a user interface button
US11782599B1 (en) Virtual mouse for electronic touchscreen display
TWI493431B (zh) 指向元件之可調整方向提示方法及系統
US20170090606A1 (en) Multi-finger touch
US20240086026A1 (en) Virtual mouse for electronic touchscreen display

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant