KR20180026907A - Apparatus and method for control display based on object recognition - Google Patents

Apparatus and method for control display based on object recognition Download PDF

Info

Publication number
KR20180026907A
KR20180026907A KR1020160113826A KR20160113826A KR20180026907A KR 20180026907 A KR20180026907 A KR 20180026907A KR 1020160113826 A KR1020160113826 A KR 1020160113826A KR 20160113826 A KR20160113826 A KR 20160113826A KR 20180026907 A KR20180026907 A KR 20180026907A
Authority
KR
South Korea
Prior art keywords
display
area
application screen
contact area
contact
Prior art date
Application number
KR1020160113826A
Other languages
Korean (ko)
Other versions
KR102612591B1 (en
Inventor
임국찬
전진수
이학순
신승민
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020160113826A priority Critical patent/KR102612591B1/en
Publication of KR20180026907A publication Critical patent/KR20180026907A/en
Application granted granted Critical
Publication of KR102612591B1 publication Critical patent/KR102612591B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An apparatus for controlling a display based on object recognition according to an embodiment of the present invention comprises: a first display which displays an image; a sensor unit which detects a touch area where an object touches the first display; a display buffer which stores image information to be output to a second display; a storage unit which stores object identification information corresponding to the object and identification information of the display buffer mapped with the object identification information; a graphic processing unit which specifies the object identification information on the basis of the touch area, stores, when the touch area is positioned within the executed application screen area, image information of an application screen in the display buffer, sets, when the touch area is not positioned within the application screen area, a predetermined area on the first display with respect to the touch area, and stores image information of the predetermined area in the display buffer; and a display port which outputs the image information stored in the display buffer to the second display.

Description

객체 인식 기반 디스플레이 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROL DISPLAY BASED ON OBJECT RECOGNITION}[0001] APPARATUS AND METHOD FOR CONTROL DISPLAY BASED ON OBJECT RECOGNITION [0002]

본 발명은 객체 인식 기반 디스플레이 제어 장치 및 방법에 관한 것으로서, 보다 자세하게는 디스플레이 상에 올려진 객체의 식별정보를 파악하고 객체가 디스플레이에 접촉하는 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부에 따라, 외부 디스플레이에 출력할 영상을 제어하는 객체 인식 기반 디스플레이 제어 장치 및 방법에 관한 것이다.The present invention relates to an object recognition based display control apparatus and method, and more particularly, to an object recognition based display control apparatus and method for identifying an object placed on a display and determining whether or not a contact area in which an object contacts a display is located in a running application screen area And an object recognition-based display control apparatus and method for controlling an image to be output to an external display.

테이블탑(Table Top)은 테이블의 상면에 디스플레이를 구비한 형태로 구현되는데, 이러한 테이블탑은 기존의 터치스크린을 구비한 장치들에 비해 상대적으로 넓은 터치 영역을 제공하며, 멀티터치 입력방식으로 FTIR(Frustrated Total Internal Reflection) 또는 LLP(Laser Light Plane)등을 사용하여 많게는 수십 개 이상의 멀티터치가 가능하여 복수의 사용자들이 동시에 여러 작업을 수행할 수 있도록 한다.The table top is implemented with a display on the top surface of the table. This table top provides a relatively wide touch area compared to existing touch screen devices, (Frustrated Total Internal Reflection) or LLP (Laser Light Plane) can be used so that more than a dozen or more multi-touches can be performed, so that a plurality of users can simultaneously perform various tasks.

이에 따라, 복수의 사용자들이 동시에 테이블탑 위에서 디지털 정보들의 조작과 공유를 할 수 있기에, 테이블탑을 이용하여 복수의 사용자들간 공동작업이나 회의 등을 수행할 수 있다.Accordingly, a plurality of users can simultaneously operate and share digital information on the table top, so that a plurality of users can collaborate or hold meetings using the table top.

이때 테이블탑과 외부 디스플레이를 연결하여 테이블탑에 구비된 디스플레이에 출력되는 영상의 전부 또는 일부를 외부 디스플레이에 출력시켜 영상 정보를 공유하는 것이 가능하다. 이때, 기존에는 테이블탑에 출력 중인 영상의 일부를 외부 디스플레이가 있는 방향으로 드래그하여 해당 영상이 출력될 외부 디스플레이를 결정하였다. At this time, it is possible to connect the table top and the external display so that all or a part of the image outputted to the display provided on the table top is outputted to the external display to share the image information. At this time, in the past, a part of the image being outputted to the table top is dragged in the direction of the external display, and the external display to which the corresponding image is outputted is determined.

그러나 이와 같은 방식은 외부 디스플레이가 같은 방향에 여러 개가 있는 경우 또는 외부 디스플레이가 테이블탑과 같은 공간에 위치하지 않는 경우, 사용자가 원하는 외부 디스플레이에 출력되도록 하기 어려운 문제가 존재한다. However, such a method has a problem in that, when there are several external displays in the same direction or when the external display is not located in the same space as the table top, it is difficult for the user to output to the desired external display.

본 발명의 실시예에서 해결하고자 하는 과제는 디스플레이 상에 접촉하는 객체를 특정하고, 특정된 객체의 정보에 따라 디스플레이 상의 영상 정보가 특정 외부 디스플레이에 출력되도록 하는 기술을 제공하는 것이다. A problem to be solved in an embodiment of the present invention is to provide a technique for specifying an object in contact with a display and outputting image information on a display to a specific external display according to information of a specified object.

또한 객체가 디스플레이에 접촉하고 있는 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부에 따라, 애플리케이션 화면 영상 정보 또는 접촉 영역을 기준으로 설정된 소정의 영역의 영상 정보를 외부 디스플레이에 출력하는 것을 제어하는 기술을 제공하고자 한다. A technique of controlling application screen image information or image information of a predetermined area set on the basis of the contact area to be outputted to an external display depending on whether or not the contact area in which the object is in contact with the display is located in a running application screen area .

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed.

일 실시예에 따른 객체 인식 기반 디스플레이 제어 장치는 영상을 디스플레이하는 제1 디스플레이; 객체가 상기 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 센서부; 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼; 상기 객체에 대응하는 객체 식별정보 및 상기 객체 식별정보에 매핑된 상기 디스플레이 버퍼의 식별정보를 저장하는 저장부; 상기 접촉 영역에 기초하여 상기 객체 식별정보를 특정하고, 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제1 디스플레이 상에 소정의 영역을 설정하고 상기 소정의 영역의 영상 정보를 상기 디스플레이 버퍼에 저장하는 그래픽 처리부; 및 상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제2 디스플레이로 출력하는 디스플레이 포트를 포함한다. According to an embodiment of the present invention, an object recognition-based display control apparatus includes a first display for displaying an image; A sensor section for sensing a contact area where the object contacts the first display; A display buffer for storing image information to be output to the second display; A storage unit for storing object identification information corresponding to the object and identification information of the display buffer mapped to the object identification information; If the contact area is located in a running application screen area, storing the image information of the application screen in the display buffer, and if the contact area is located in the application screen area A graphic processing unit for setting a predetermined area on the first display based on the contact area and storing the image information of the predetermined area in the display buffer when the first area is not located; And a display port for outputting the image information stored in the display buffer to the second display.

이때 상기 그래픽 처리부는 상기 접촉 영역의 모양 또는 면적에 기초하여 상기 객체 식별 정보를 특정할 수 있다. At this time, the graphic processing unit can identify the object identification information based on the shape or the area of the contact area.

또한 상기 그래픽 처리부는 상기 접촉 영역을 중심으로 상기 제2 디스플레이의 해상도에 대응하는 영역을 상기 소정의 영역으로 설정할 수 있다. The graphics processing unit may set an area corresponding to the resolution of the second display to the predetermined area around the contact area.

더불어 상기 그래픽 처리부는 상기 소정의 영역이 상기 제1 디스플레이의 영역을 벗어나는 경우 벗어나는 부분만큼 상기 소정의 영역을 상기 제1 디스플레이의 영역 내로 이동시켜 설정할 수 있다. In addition, the graphic processing unit may set the predetermined area to a region of the first display by an amount of deviation from the predetermined area when the predetermined area is out of the area of the first display.

아울러 상기 센서부가 상기 소정의 영역의 가장자리에 드래그를 감지하는 경우, 상기 그래픽 처리부는 상기 드래그에 대응하여 상기 소정의 영역의 크기를 변화시켜 설정할 수 있다. In addition, when the sensor unit detects a drag on the edge of the predetermined area, the graphic processing unit may change the size of the predetermined area in response to the drag.

또한 상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역에 위치하지 않는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 회전에 대응하여 회전시켜 설정할 수 있다. In addition, when the sensor unit senses the rotation of the contact region when the contact region is not located in the application screen region, the graphic processing unit may set the predetermined region by rotating the predetermined region in correspondence with the rotation of the contact region.

한편 상기 그래픽 처리부는 상기 소정의 영역의 일부에 상기 애플리케이션 화면 영역의 일부가 위치한다고 판정하는 경우, 상기 센서부를 통해 상기 애플리케이션 화면 영역의 상기 일부에 더블 클릭을 감지하면, 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장할 수 있다. If it is determined that a part of the application screen area is located in a part of the predetermined area, the graphic processing part detects the double-click on the part of the application screen area through the sensor part, And may be stored in the display buffer.

또한 상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 회전에 대응하여 회전시킬 수 있다. Further, when the sensor unit detects the rotation of the contact region when the contact region is located within the application screen region, the graphic processing unit may rotate the application screen in accordance with the rotation of the contact region.

더불어 상기 센서부가 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 이동에 대응하여 이동시킬 수 있다.In addition, if the sensor unit detects the movement of the contact area when the contact area is located in the running application screen area, the graphic processing unit can move the application screen corresponding to the movement of the contact area.

아울러 상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 이동에 대응하여 이동시켜 설정할 수 있다.In addition, when the sensor unit detects the movement of the contact region when the contact region is located within the application screen region, the graphic processing unit may set the predetermined region in correspondence with the movement of the contact region.

일 실시예에 따른 객체인식 기반 디스플레이 제어 방법은 객체가 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 단계; 상기 접촉 영역에 기초하여 객체 식별 정보를 특정하는 단계; 상기 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부를 판정하는 단계; 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제 1 디스플레이 상에 소정의 영역을 설정하고 상기 소정의 영역의 영상 정보를 상기 디스플레이 버퍼에 저장하는 단계; 및 상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제 2 디스플레이로 출력하는 단계를 포함한다. According to an exemplary embodiment, an object recognition-based display control method includes: sensing a contact area where an object contacts a first display; Specifying object identification information based on the contact area; Determining whether the contact area is located within a running application screen area; Storing the image information of the application screen in a display buffer for storing image information to be output to the second display when the contact area is located within the application screen area, Setting a predetermined area on the first display based on the contact area and storing the image information of the predetermined area in the display buffer; And outputting the image information stored in the display buffer to the second display.

본 발명의 실시예에 따르면, 객체의 식별 정보를 통해 디스플레이에 출력 중인 영상이 어떠한 외부 디스플레이에 출력되도록 할 것인지 특정할 수 있다. According to the embodiment of the present invention, it is possible to specify through which external display the image being output to the display is to be outputted through the identification information of the object.

또한 객체의 접촉 영역에 움직임을 주어 디스플레이 상에 출력되는 영상을 다양하게 제어를 할 수 있고, 외부 디스플레이에 출력시킬 영상 정보를 제어할 수 있다. In addition, it is possible to control the image outputted on the display by variously controlling the contact area of the object, and to control the image information to be outputted to the external display.

도 1은 일 실시예에 따른 객체 인식 기반 디스플레이 제어 장치의 블록도이다.
도 2는 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우 애플리케이션 화면을 제2 디스플레이에 출력시키는 것을 설명하기 위한 도면이다.
도 3은 접촉 영역이 애플리케이션 화면 영역 내에 위치하지 않는 경우 소정의 영역을 제2 디스플레이의 해상도에 대응하도록 설정하는 것을 설명하기 위한 도면이다.
도 4는 소정의 영역이 제1 디스플레이의 영역을 벗어나는 경우 소정의 영역을 제1 디스플레이의 영역 내로 이동시켜 설정하는 것을 설명하기 위한 도면이다.
도 5는 소정의 영역의 가장자리에 드래그가 감지되는 경우, 드래그에 대응하여 소정의 영역의 크기를 변화시켜 설정하는 것을 설명하기 위한 도면이다.
도 6은 접촉 영역이 애플리케이션 화면 영역에 위치하지 않는 경우에 접촉 영역의 회전을 감지하면, 소정의 영역을 접촉 영역의 회전에 대응하여 회전시켜 설정하는 것을 설명하기 위한 도면이다.
도 7은 소정의 영역의 일부에 애플리케이션 화면 영역의 일부가 위치하는 경우, 애플리케이션 화면 영역의 일부에 더블 클릭을 통해 애플리케이션 화면의 영상 정보를 제2 디스플레이에 출력하는 것을 설명하기 위한 도면이다.
도 8은 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우에 접촉 영역의 회전을 감지하면, 애플리케이션 화면을 접촉 영역의 회전에 대응하여 회전시키는 것을 설명하기 위한 도면이다.
도 9는 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 애플리케이션 화면을 접촉 영역의 이동에 대응하여 이동시키는 것을 설명하기 위한 도면이다.
도 10은 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 소정의 영역을 접촉 영역의 이동에 대응하여 이동시키는 것을 설명하기 위한 도면이다.
도 11은 객체가 다른 실행중인 애플리케이션에 놓여지는 경우 디스플레이 버퍼에 다른 실행중인 애플리케이션 화면의 영상 정보를 저장하는 것을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 객체 인식 기반 디스플레이 제어 방법의 순서를 설명하기 위한 흐름도이다.1 is a block diagram of an object recognition based display control apparatus according to an embodiment.
Fig. 2 is a diagram for explaining how an application screen is output to the second display when the contact area is located within the application screen area.
3 is a diagram for explaining setting of a predetermined area to correspond to the resolution of the second display when the contact area is not located in the application screen area.
FIG. 4 is a diagram for explaining how to set and move a predetermined area into the area of the first display when a predetermined area is out of the area of the first display.
FIG. 5 is a diagram for explaining how the size of a predetermined area is changed corresponding to a drag when a drag is detected on the edge of a predetermined area.
6 is a diagram for explaining how a predetermined area is rotated and set corresponding to the rotation of the contact area when the rotation of the contact area is detected when the contact area is not located in the application screen area.
FIG. 7 is a diagram for explaining that, when a part of the application screen area is located in a part of a predetermined area, the image information of the application screen is outputted to the second display through a double-click on a part of the application screen area.
Fig. 8 is a diagram for explaining rotation of the application screen in correspondence with rotation of the contact area when detecting the rotation of the contact area when the contact area is located within the application screen area;
9 is a diagram for explaining how an application screen is moved corresponding to movement of a contact area when movement of the contact area is detected when the contact area is located in the application screen area.
10 is a diagram for explaining movement of a predetermined region corresponding to movement of a contact region when movement of the contact region is detected when the contact region is located in the application screen region.
11 is a diagram for describing storing image information of another running application screen in a display buffer when the object is placed in another running application;
FIG. 12 is a flowchart illustrating a procedure of an object recognition-based display control method according to an embodiment.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.DETAILED DESCRIPTION OF THE EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.The embodiments disclosed herein should not be construed or interpreted as limiting the scope of the present invention. It will be apparent to those of ordinary skill in the art that the description including the embodiments of the present specification has various applications. Accordingly, any embodiment described in the Detailed Description of the Invention is illustrative for a better understanding of the invention and is not intended to limit the scope of the invention to embodiments.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are merely examples of possible implementations. In other implementations, other functional blocks may be used without departing from the spirit and scope of the following detailed description. Also, although one or more functional blocks of the present invention are represented as discrete blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.

또한, 어떤 구성요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression "including any element" is merely an expression of an open-ended expression, and is not to be construed as excluding the additional elements.

나아가 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다. Further, when a component is referred to as being connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that there may be other components in between.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. Also, the expressions such as 'first, second', etc. are used only to distinguish a plurality of configurations, and do not limit the order or other features between configurations.

이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다. Hereinafter, embodiments of the present invention will be described with reference to the drawings.

도 1은 일 실시예에 따른 객체 인식 기반 디스플레이 제어 장치(100)의 블록도이다.1 is a block diagram of an object recognition based display control apparatus 100 according to an embodiment.

도 1을 참조하면, 객체 인식 기반 디스플레이 제어 장치(100)는 제1 디스플레이(110), 센서부(120), 제1 디스플레이 버퍼(131), 저장부(140), 그래픽 처리부(150) 및 제1 디스플레이 포트(161)를 포함한다. 이때 도 1의 제2 디스플레이(200) 및 제3 디스플레이(300)는 객체 인식 기반 디스플레이 제어 장치(100)의 구성에 포함되지 않는 외부 디스플레이이다. 1, the object recognition-based display control apparatus 100 includes a first display 110, a sensor unit 120, a first display buffer 131, a storage unit 140, a graphics processing unit 150, 1 display port 161 as shown in FIG. Here, the second display 200 and the third display 300 of FIG. 1 are external displays not included in the configuration of the object recognition-based display control apparatus 100.

또한 객체 인식 기반 디스플레이 제어 장치(100)는 추가적으로 디스플레이 버퍼를 적어도 하나 이상(예: 제1 디스플레이 버퍼(131), 제2 디스플레이 버퍼(132), 제3 디스플레이 버퍼(133)...) 구비할 수 있으며, 디스플레이 포트를 적어도 하나 이상(예: 제1 디스플레이 포트(161), 제2 디스플레이 포트(162)...) 구비할 수 있다. In addition, the object recognition-based display control apparatus 100 may further include at least one display buffer (for example, a first display buffer 131, a second display buffer 132, a third display buffer 133, etc.) And may include at least one display port (e.g., first display port 161, second display port 162, ...).

제1 디스플레이(110)는 영상을 디스플레이한다. 또한 기능 수행을 위한 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 이때 제1 디스플레이(110)는 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있으며, 터치스크린(Touch Screen) 형태로 구성될 수 있다.The first display 110 displays an image. In addition, a menu for performing functions and user data input by the user can be displayed. The first display 110 may be a liquid crystal display (LCD), a thin film transistor (TFT) LCD, an organic light emitting diode (OLED), a light emitting diode (LED), an active matrix organic LED (AMOLED) A flexible display, and a three-dimensional display, and may be configured as a touch screen.

센서부(120)는 객체(10)가 제1 디스플레이(110)에 접촉하는 접촉 영역을 감지한다. 객체(10)는 제1 디스플레이(110) 상에 놓여질 수 있는 다양한 형태의 물건일 수 있다.The sensor unit 120 senses a contact area where the object 10 contacts the first display 110. The object 10 may be various types of objects that may be placed on the first display 110.

디스플레이 버퍼는 디스플레이에 출력될 영상 정보를 저장하여 디스플레이 상에 출력할 수 있도록 정보를 전송한다. 이때 본 발명의 일 실시예에 따르면 디스플레이 버퍼는 적어도 하나 이상일 수 있다. The display buffer stores the image information to be output on the display and transmits information to be output on the display. At this time, according to an embodiment of the present invention, the display buffer may be at least one or more.

예를 들어, 제1 디스플레이 버퍼(131), 제2 디스플레이 버퍼(132) 및 제3 디스플레이 버퍼(133)를 포함할 수 있다. 각 디스플레이 버퍼는 전송할 영상을 각각 저장하며 객체 인식 기반 디스플레이 제어 장치(100)에 구비된 제1 디스플레이(110)에 전송할 영상을 저장하거나, 객체 인식 기반 디스플레이 제어 장치(100)에 포함되지 않은 외부 디스플레이인 제2 디스플레이(200) 및 제3 디스플레이(300)에 전송할 영상을 저장할 수 있다. For example, a first display buffer 131, a second display buffer 132, and a third display buffer 133. Each display buffer stores an image to be transmitted and stores an image to be transmitted to the first display 110 provided in the object recognition based display control apparatus 100 or an external display The second display 200, and the third display 300, as shown in FIG.

저장부(140)는 객체(10)에 대응하는 객체 식별정보 및 객체 식별정보에 매핑된 디스플레이 버퍼의 식별정보를 저장한다. 객체(10)는 제1 디스플레이(110) 상에 놓여질 경우 제1 디스플레이(110)와의 접촉 영역이 존재한다. 이때, 접촉 영역의 좌표, 무게, 모양 및 면적 중 적어도 하나의 정보가 객체 식별정보로 저장될 수 있다. The storage unit 140 stores the object identification information corresponding to the object 10 and the identification information of the display buffer mapped to the object identification information. The object 10 has a contact area with the first display 110 when placed on the first display 110. At this time, at least one of coordinates, weight, shape, and area of the contact area may be stored as the object identification information.

이때 객체 식별정보는 디스플레이 버퍼의 식별정보와 매핑되어 저장된다. 예를 들면, 객체A 및 객체B가 있는 경우, 객체A의 객체 식별정보는 제2 디스플레이 버퍼(132)와 매핑되어 저장되고, 객체(10) B의 객체 식별정보는 제3 디스플레이 버퍼(133)와 매핑되어 저장될 수 있다. At this time, the object identification information is mapped and stored with the identification information of the display buffer. The object identification information of the object A is mapped and stored in the second display buffer 132 and the object identification information of the object 10 B is stored in the third display buffer 133. [ As shown in FIG.

그래픽 처리부(150)는 객체(10)가 제1 디스플레이(110)에 접촉하는 접촉 영역에 기초하여 객체 식별정보를 특정하고, 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하는지의 여부를 판단한다. The graphics processing unit 150 specifies the object identification information based on the contact area where the object 10 contacts the first display 110 and determines whether or not the contact area is located within the area of the application screen 20 being executed do.

이때 그래픽 처리부(150)는 접촉 영역을 기반으로 저장부(140)에 저장된 객체(10)를 식별하는 객체 식별정보를 검색하여 해당 객체(10)의 객체 식별정보를 특정할 수 있다. At this time, the graphic processing unit 150 can identify the object identification information of the object 10 by searching the object identification information identifying the object 10 stored in the storage unit 140 based on the contact area.

또한 그래픽 처리부(150)는 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하면, 애플리케이션 화면(20)의 영상 정보를 제1 디스플레이(110)에 접촉 중인 객체(10)의 객체 식별정보와 매핑된 제2 디스플레이 버퍼(132)에 애플리케이션 화면(20)의 영상 정보를 저장한다. The graphic processing unit 150 also maps the image information of the application screen 20 to the object identification information of the object 10 in contact with the first display 110 when the contact area is located within the area of the application screen 20 And stores the image information of the application screen 20 in the second display buffer 132. [

도 2를 참조하면, 저장부(140)에 객체(10)의 객체 식별정보가 제2 디스플레이 버퍼(132)와 매핑되어 있고, 제1 디스플레이(110)의 애플리케이션 화면(20) 상에 객체(10)가 놓여져 있다면, 그래픽 처리부(150)는 객체(10)의 접촉 영역을 통해 저장부(140)를 검색하여 객체 식별정보로 특정하고 검색된 객체 식별정보와 매핑된 제2 디스플레이 버퍼(132)에 애플리케이션 화면(20)의 영상 정보를 저장하여 제2 디스플레이(200)에 출력할 수 있다. 2, the object identification information of the object 10 is mapped to the second display buffer 132 in the storage unit 140 and the object 10 is displayed on the application screen 20 of the first display 110 The graphic processing unit 150 searches the storage unit 140 through the contact area of the object 10 and specifies the object identification information in the second display buffer 132 mapped with the object identification information, The image information of the screen 20 can be stored and output to the second display 200.

이때 제1 디스플레이(110)에는 적어도 하나 이상의 애플리케이션이 실행 중일 수 있다. 따라서 저장부(140)에 객체A의 객체 식별정보가 제2 디스플레이 버퍼(132)와 매핑되어 있고 객체B의 객체 식별정보가 제3 디스플레이 버퍼(133)와 매핑되어 있을 때, 제1 디스플레이(110)의 제1 어플리케이션 화면 상에 객체A가 놓여져 있고 제1 디스플레이(110)의 제2 어플리케이션 화면 상에 객체B가 놓여져 있는 경우, 그래픽 처리부(150)는 제1 어플리케이션의 화면의 영상 정보를 제2 디스플레이 버퍼(132)에 저장하여 제2 디스플레이(200)에 출력하고, 제2 어플리케이션의 화면의 영상 정보를 제3 디스플레이 버퍼(133)에 저장하여 출력할 수 있다. At this time, the first display 110 may have at least one application running. When the object identification information of the object A is mapped to the second display buffer 132 and the object identification information of the object B is mapped to the third display buffer 133 in the storage unit 140, And the object B is placed on the second application screen of the first display 110, the graphics processor 150 converts the image information of the screen of the first application into the second application screen of the second display 110, The display data may be stored in the display buffer 132 and output to the second display 200 and the image information of the screen of the second application may be stored in the third display buffer 133 and output.

한편, 그래픽 처리부(150)는 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하지 않는다면, 접촉 영역을 기준으로 제1 디스플레이(110) 상에 소정의 영역(30)을 설정하고 소정의 영역(30)의 영상 정보를 제2 디스플레이 버퍼(132)에 저장한다. 이에 따라 제2 디스플레이(200)에는 제1 디스플레이(110)에 설정된 소정의 영역(30)의 영상 정보를 출력하며, 소정의 영역(30)의 제어에 따라 다양한 제어가 가능하다. 이후 후술하는 객체(10)는 객체 식별정보가 제2 디스플레이 버퍼(132)와 매핑되어 있음을 가정하고 설명한다.On the other hand, if the contact area is not located within the area of the application screen 20 in which the contact area is being executed, the graphic processor 150 sets a predetermined area 30 on the first display 110 based on the contact area, 30 in the second display buffer 132. The second display buffer 132 stores the image information of the second display buffer 130 in the second display buffer 132. [ Accordingly, the second display 200 outputs the image information of the predetermined area 30 set on the first display 110, and various controls can be performed according to the control of the predetermined area 30. [ Hereinafter, the object 10 will be described on the assumption that the object identification information is mapped to the second display buffer 132.

도 3을 참조하면, 그래픽 처리부(150)는 접촉 영역을 중심으로 제2 디스플레이(200)의 해상도에 대응하는 영역을 소정의 영역(30)으로 설정할 수 있다. Referring to FIG. 3, the graphic processing unit 150 may set a region corresponding to the resolution of the second display 200 as a predetermined region 30 around the contact region.

예를 들면, 제2 디스플레이(200)의 해상도가 1920 X 1080 일때, 접촉 영역을 중심으로 제1 디스플레이(110) 상에 1920 X 1080 크기의 영역을 소정의 영역(30)으로 설정할 수 있다. 이때 설정된 소정의 영역(30)의 영상 정보는 제2 디스플레이 버퍼(132)에 저장되고, 저장된 영상은 제2 디스플레이(200)에 출력될 수 있다. 따라서 제2 디스플레이(200)에는 제1 디스플레이(110)에 출력 중인 영상 정보의 일부, 즉 객체(10)를 중심으로 1920 X 1080 영역만큼의 영상 정보가 출력될 수 있다. For example, when the resolution of the second display 200 is 1920 x 1080, an area of 1920 x 1080 size can be set as the predetermined area 30 on the first display 110 around the contact area. At this time, the image information of the predetermined area 30 may be stored in the second display buffer 132, and the stored image may be output to the second display 200. Accordingly, the second display 200 can display a part of the image information being output to the first display 110, that is, image information corresponding to the 1920 X 1080 area centered on the object 10.

도 4를 참조하면, 그래픽 처리부(150)는 소정의 영역(30)이 제1 디스플레이(110)의 영역을 벗어나는 경우 벗어나는 부분만큼 소정의 영역(30)을 제 1 디스플레이의 영역 내로 이동시켜 설정할 수 있다. 이에 따라 객체(10)가 제1 디스플레이(110)의 가장자리에 위치하여도 제2 디스플레이(200) 상에는 잘리는 영역이 없이 제1 디스플레이(110)의 영상을 출력할 수 있다. Referring to FIG. 4, the graphics processing unit 150 may set and move a predetermined area 30 within an area of the first display by an amount of deviation from a predetermined area 30 when the area 30 is out of the area of the first display 110 have. Accordingly, even if the object 10 is positioned at the edge of the first display 110, the first display 110 can output the image without the cut-off area on the second display 200. [

도 5를 참조하면, 센서부(120)가 소정의 영역(30)의 가장자리에 드래그를 감지하는 경우, 그래픽 처리부(150)는 드래그에 대응하여 소정의 영역(30)의 크기를 변화시켜 설정할 수 있다. 5, when the sensor unit 120 detects a drag on the edge of a predetermined area 30, the graphic processing unit 150 may change the size of the predetermined area 30 corresponding to the dragging have.

예를 들어, 사용자가 소정의 영역(30)의 가장자리를 드래그하여 소정의 영역(30)을 늘릴 수 있다. 이에 따라 그래픽 처리부(150)는 소정의 영역(30)의 크기가 커지므로 제2 디스플레이 버퍼(132)에 전송되는 소정의 영역(30)의 영상 정보의 해상도를 확대된 소정의 영역 크기만큼 높여서 전송할 수 있고, 이에 따라 제2 디스플레이(200)에는 더 높은 해상도의 영상 정보가 출력될 수 있다. For example, the user can extend the predetermined region 30 by dragging the edge of the predetermined region 30. The graphics processor 150 increases the resolution of the video information of the predetermined area 30 transmitted to the second display buffer 132 by the predetermined enlarged area size So that higher resolution image information can be output to the second display 200.

도 6을 참조하면, 접촉 영역이 애플리케이션 화면(20) 영역에 위치하지 않는 경우 사용자가 객체(10)를 회전시켜 센서부(120)가 접촉 영역의 회전을 감지하면, 그래픽 처리부(150)는 소정의 영역(30)을 접촉 영역의 회전에 대응하여 회전시켜 설정할 수 있다. Referring to FIG. 6, when the contact area is not located in the application screen area 20, when the user rotates the object 10 and the sensor part 120 senses the rotation of the contact area, Can be set by rotating the area (30) of the contact area corresponding to the rotation of the contact area.

예를 들어, 사용자가 객체(10)를 시계방향으로 돌릴 경우, 센서부(120)는 접촉 영역이 시계 방향으로 회전하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 소정의 영역(30)을 접촉 영역이 회전하는 방향 및 크기에 대응하여 소정의 영역(30)을 회전시켜 설정할 수 있다. 이에 따라 제2 디스플레이 버퍼(132)에는 회전된 소정의 영역(30)의 영상 정보를 저장하고 제2 디스플레이(200)는 회전된 영상이 출력될 수 있다. For example, when the user rotates the object 10 clockwise, the sensor unit 120 may detect that the contact area rotates clockwise. At this time, the graphic processing unit 150 can set the predetermined region 30 by rotating the predetermined region 30 corresponding to the direction and size of the rotation of the contact region. Accordingly, the second display buffer 132 stores the image information of the rotated predetermined region 30, and the rotated image is output to the second display 200.

도 7을 참조하면, 그래픽 처리부(150)가 소정의 영역(30)의 일부에 애플리케이션 화면(20) 영역의 일부가 위치한다고 판별하는 경우, 센서부(120)를 통해 애플리케이션 화면(20) 영역의 일부에 더블 클릭을 감지하면, 애플리케이션 화면(20)의 영상 정보를 제2 디스플레이 버퍼(132)에 저장할 수 있다. 7, when the graphic processing unit 150 determines that a part of the application screen area 20 is located in a part of the predetermined area 30, If a double click is detected on a part, the image information of the application screen 20 can be stored in the second display buffer 132. [

예를 들어, 객체(10)가 애플리케이션 화면(20) 영역 부근에 놓여지거나, 사용자가 애플리케이션을 드래그 하여 애플리케이션 화면(20) 영역의 일부가 소정의 영역(30)에 포함되는 경우, 센서부(120)가 애플리케이션 화면(20) 영역의 일부에 더블 클릭을 감지하면, 그래픽 처리부(150)는 애플리케이션 화면(20)의 영상 정보가 제2 디스플레이 버퍼(132)에 저장되도록 할 수 있다. 이 경우 제2 디스플레이 버퍼(132)는 소정의 영역(30)의 영상 정보를 저장하고 있다가 애플리케이션 화면(20)의 영상 정보를 저장하게 되므로, 제2 디스플레이(200)에 출력되는 화면은 소정의 영역(30)의 영상에서 애플리케이션 화면(20)의 영상으로 바뀌게 된다. 이때 그래픽 처리부(150)는 기존 소정의 영역(30)의 크기에 대응되도록 제1 디스플레이(110)상에서 애플리케이션 화면(20)의 크기를 조절할 수 있다. For example, when the object 10 is placed near the area of the application screen 20, or when the user drags the application and a part of the area of the application screen 20 is included in the predetermined area 30, The graphic processing unit 150 may cause the image information of the application screen 20 to be stored in the second display buffer 132. In this case, In this case, since the second display buffer 132 stores the image information of the predetermined area 30 and stores the image information of the application screen 20, the screen output to the second display 200 is a predetermined The image of the area 30 is changed to the image of the application screen 20. At this time, the graphic processing unit 150 may adjust the size of the application screen 20 on the first display 110 so as to correspond to the size of the existing predetermined area 30.

도 8을 참조하면, 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우에 센서부(120)가 접촉 영역의 회전을 감지하면, 그래픽 처리부(150)는 애플리케이션 화면(20)을 접촉 영역의 회전에 대응하여 회전시킬 수 있다. 8, when the sensor unit 120 detects the rotation of the contact area when the contact area is located within the application screen area 20, the graphic processing unit 150 controls the rotation of the application area 20 As shown in Fig.

예를 들어, 사용자가 객체(10)를 시계방향으로 돌릴 경우, 센서부(120)는 접촉 영역이 시계 방향으로 회전하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 접촉 영역이 회전하는 방향 및 크기에 대응하여 애플리케이션 화면(20)을 회전시킬 수 있다. For example, when the user rotates the object 10 clockwise, the sensor unit 120 may detect that the contact area rotates clockwise. At this time, the graphic processing unit 150 may rotate the application screen 20 corresponding to the direction and size of the rotation of the contact area.

도 9를 참조하면, 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하는 경우에 센서부(120)가 접촉 영역의 이동을 감지하면, 그래픽 처리부(150)는 애플리케이션 화면(20)을 접촉 영역의 이동에 대응하여 이동시킬 수 있다. 9, when the sensor unit 120 detects the movement of the contact area in the case where the contact area is located in the area of the application screen 20 being executed, the graphic processor 150 controls the application screen 20 As shown in FIG.

예를 들어, 사용자가 객체(10)를 오른쪽으로 이동시킬 경우, 센서부(120)는 접촉 영역이 오른쪽으로 이동하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 접촉 영역이 이동하는 방향 및 크기에 대응하여 애플리케이션 화면(20)을 이동시킬 수 있다. For example, when the user moves the object 10 to the right, the sensor unit 120 may detect that the contact area moves to the right. At this time, the graphics processing unit 150 can move the application screen 20 in accordance with the direction and size of the movement of the contact area.

도 10을 참조하면, 접촉 영역이 상기 애플리케이션 화면(20) 영역 내에 위치하는 경우에 센서부(120)가 접촉 영역의 이동을 감지하면, 그래픽 처리부(150)는 소정의 영역(30)을 접촉 영역의 이동에 대응하여 설정할 수 있다. 10, when the sensor unit 120 detects the movement of the contact area in the case where the contact area is located within the application screen area 20, the graphic processing unit 150 divides the predetermined area 30 into the contact area As shown in FIG.

예를 들어, 사용자가 객체(10)를 오른쪽으로 이동시킬 경우, 센서부(120)는 접촉 영역이 오른쪽으로 이동하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 접촉 영역이 이동하는 방향 및 크기에 대응하여 소정의 영역(30)을 이동시켜 설정할 수 있다. 이에 따라 제2 디스플레이 버퍼(132)에는 이동된 소정의 영역(30)의 영상 정보를 저장하고 제2 디스플레이(200)는 이동된 소정의 영역(30)의 영상이 출력될 수 있다.For example, when the user moves the object 10 to the right, the sensor unit 120 may detect that the contact area moves to the right. At this time, the graphic processing unit 150 can set and move the predetermined region 30 corresponding to the direction and size of the contact region. Accordingly, the second display buffer 132 stores the image information of the shifted predetermined area 30, and the second display 200 outputs the shifted image of the predetermined area 30.

도 11을 참조하면, 제1 애플리케이션 화면(21) 위에 올려진 객체(10)가 제2 애플리케이션 화면(22) 위에 놓여지는 경우 제2 디스플레이 버퍼(132)에 제2 애플리케이션 화면(22)의 영상 정보를 저장할 수 있다. Referring to FIG. 11, when the object 10 placed on the first application screen 21 is placed on the second application screen 22, the second display buffer 132 stores the image information of the second application screen 22 Can be stored.

예를 들어, 객체(10)의 접촉 영역이 제1 애플리케이션 화면(21) 상에 객체(10)가 놓여져 있다면, 그래픽 처리부(150)는 제2 디스플레이 버퍼(132)에 제1 애플리케이션 화면(21)의 영상 정보를 저장하여 제2 디스플레이(200)에 제1 애플리케이션의 화면을 출력한다. 이때 사용자가 객체(10)를 제1 디스플레이(110)로부터 접촉을 해체시킨 후, 제2 애플리케이션 화면(22) 상에 객체(10)를 올린다면, 그래픽 처리부(150)는 제2 디스플레이 버퍼(132)에 제2 애플리케이션 화면(22)의 영상 정보를 저장하여 제2 디스플레이(200)에 제2 애플리케이션 화면(22)을 출력할 수 있다.For example, if the object 10 is placed on the first application screen 21 in the contact area of the object 10, the graphics processing unit 150 can display the first application screen 21 in the second display buffer 132, And outputs the screen of the first application to the second display 200. If the user releases the object 10 from the first display 110 and then moves the object 10 onto the second application screen 22, the graphics processing unit 150 may display the second display buffer 132 The second application screen 22 may be displayed on the second display 200. [0031] The second application screen 22 may be a display screen,

디스플레이 포트는 디스플레이 버퍼에 저장되어 있는 영상 정보를 외부 디스플레이로 출력한다. 이때 본 발명의 일 실시예에 따르면 디스플레이 버퍼는 적어도 하나 이상일 수 있다. The display port outputs the image information stored in the display buffer to the external display. At this time, according to an embodiment of the present invention, the display buffer may be at least one or more.

예를 들어 도 1과 같이, 제1 디스플레이 포트(161) 및 제2 디스플레이 포트(162)를 포함할 수 있다. 제1 디스플레이 포트는 제2 디스플레이 버퍼(132)와 제2 디스플레이(200)를 연결하며 제2 디스플레이 포트는 제3 디스플레이 버퍼(133)와 제3 디스플레이(300)를 연결할 수 있다. 이때 디스플레이 포트와 외부 디스플레이는 유선 또는 무선으로 연결할 수 있다. 한편, 디스플레이 포트는 1개가 존재하여 1개의 디스플레이 포트가 복수의 외부 디스플레이와 연결될 수도 있다. For example, a first display port 161 and a second display port 162, as shown in FIG. The first display port connects the second display buffer 132 to the second display 200 and the second display port can connect the third display buffer 133 and the third display 300. At this time, the display port and the external display can be wired or wirelessly connected. On the other hand, there is one display port, and one display port may be connected to a plurality of external displays.

한편 상술한 실시예가 포함하는 그래픽 처리부(150)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. Meanwhile, the graphic processor 150 included in the above-described embodiments may be implemented by a computing device including a memory including instructions programmed to perform these functions, and a microprocessor that executes these instructions.

도 12는 일 실시예에 따른 객체 인식 기반 디스플레이 제어 방법의 순서를 설명하기 위한 흐름도이다. 도 12에 따른 객체 인식 기반 디스플레이 제어 방법은 도 1을 통해 설명된 객체 인식 기반 디스플레이 제어 장치(100)에 의해 수행될 수 있다. FIG. 12 is a flowchart illustrating a procedure of an object recognition-based display control method according to an embodiment. The object recognition-based display control method according to FIG. 12 can be performed by the object recognition-based display control apparatus 100 described with reference to FIG.

도 12를 참조하면, 객체 인식 기반 디스플레이 제어 방법은 객체(10)가 제1 디스플레이(110)에 접촉하는 접촉 영역을 감지하는 단계와, 접촉 영역에 기초하여 객체(10) 식별 정보를 특정하는 단계와, 접촉 영역이 실행 중인 애플리케이션 화면(20) 영역 내에 위치하는지 여부를 판정하는 단계와, 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우 애플리케이션 화면(20)의 영상 정보를 제2 디스플레이(200)로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하지 않는 경우 접촉 영역을 기준으로 제 1 디스플레이 상에 소정의 영역(30)을 설정하고 소정의 영역(30)의 영상 정보를 디스플레이 버퍼에 저장하는 단계를 포함한다. 12, an object recognition-based display control method includes the steps of sensing a contact area where an object 10 contacts a first display 110, specifying an object 10 identification information based on a contact area, And determining whether the contact area is located within a running application screen area (20); and if the contact area is located within the application screen area (20) And if the contact area is not located within the area of the application screen 20, the predetermined area 30 is set on the first display with reference to the contact area, And storing the image information of the area (30) in a display buffer.

이때 객체(10)의 객체(10) 식별 정보를 특정하는 단계는 접촉 영역의 모양 또는 면적에 기초하여 객체(10) 식별 정보를 특정할 수 있다. At this time, the step of specifying the identification information of the object 10 of the object 10 may specify the identification information of the object 10 based on the shape or the area of the contact area.

또한 디스플레이 버퍼에 저장하는 단계는 접촉 영역을 중심으로 제2 디스플레이(200)의 해상도에 대응하는 영역을 소정의 영역(30)으로 설정할 수 있다. In addition, the step of storing in the display buffer may set an area corresponding to the resolution of the second display 200 as a predetermined area 30 around the contact area.

더불어 디스플레이 버퍼에 저장하는 단계는, 소정의 영역(30)이 제 1 디스플레이의 영역을 벗어나는 경우 벗어나는 부분만큼 소정의 영역(30)을 제1 디스플레이(110)의 영역 내로 이동시켜 설정할 수 있다. In addition, the step of storing in the display buffer may be performed by moving a predetermined area 30 into the area of the first display 110 by an amount of deviation from a predetermined area 30 when the predetermined area 30 is out of the area of the first display.

아울러 디스플레이 버퍼에 저장하는 단계는, 소정의 영역(30)의 가장자리에 드래그가 감지되는 경우, 드래그에 대응하여 소정의 영역(30)의 크기를 변화시켜 설정할 수 있다. The step of storing in the display buffer may be performed by changing the size of the predetermined area 30 corresponding to the drag when a drag is detected on the edge of the predetermined area 30. [

또한 디스플레이 버퍼에 저장하는 단계는 접촉 영역이 애플리케이션 화면(20) 영역에 위치하지 않는 경우에 접촉 영역의 회전이 감지되면, 소정의 영역(30)을 접촉 영역의 회전에 대응하여 회전시켜 설정하는In addition, the step of storing in the display buffer may be performed by rotating the predetermined area 30 in correspondence with the rotation of the contact area when the rotation of the contact area is detected when the contact area is not located in the application screen area 20

한편 디스플레이 버퍼에 저장하는 단계는 소정의 영역(30)의 일부에 애플리케이션 화면(20) 영역의 일부가 위치한다고 판정되는 경우에 애플리케이션 화면(20) 영역의 일부에 더블 클릭이 감지되면, 애플리케이션 화면(20)의 영상 정보를 디스플레이 버퍼에 저장할 수 있다. On the other hand, in the step of storing in the display buffer, if it is determined that a part of the application screen area 20 is located in a part of the predetermined area 30, if a double click is detected in a part of the application screen area 20, 20 can be stored in the display buffer.

더불어 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하는 경우, 접촉 영역의 회전이 감지됨에 따라, 애플리케이션 화면(20)을 접촉 영역의 회전에 대응하여 회전시키는 단계를 더 포함할 수 있다. In addition, when the contact area is located within the active application screen area 20, the step of rotating the application screen 20 corresponding to the rotation of the contact area may be performed as the rotation of the contact area is detected.

또한 디스플레이 버퍼에 저장하는 단계는 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 애플리케이션 화면(20)을 접촉 영역의 이동에 대응하여 이동시킬 수 있다. In addition, the step of storing in the display buffer may move the application screen 20 in response to movement of the contact area when movement of the contact area is detected when the contact area is located within the application screen area 20. [

아울러 디스플레이 버퍼에 저장하는 단계는 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 소정의 영역(30)을 접촉 영역의 이동에 대응하여 이동시킬 수 있다. In addition, the step of storing in the display buffer may move the predetermined region 30 corresponding to the movement of the contact region when the movement of the contact region is detected when the contact region is located within the application screen region 20. [

이하 도 12에 객체 인식 기반 디스플레이 제어 방법에 대한 구체적인 사항은 객체 인식 기반 디스플레이 제어 장치(100)에 대한 것과 동일하므로, 이에 대한 자세한 설명은 객체 인식 기반 디스플레이 제어 장치(100)에 대한 설명으로 대체하기로 한다. 12, details of the object recognition-based display control method are the same as those of the object recognition-based display control apparatus 100, and therefore a detailed description thereof will be omitted for the description of the object recognition-based display control apparatus 100 .

이상에서 살펴본 바와 같이, 일 실시예에 따르면, 객체(10)의 식별 정보를 통해 디스플레이에 출력 중인 영상이 어떠한 외부 디스플레이에 출력되도록 할 것인지 특정할 수 있다. 또한 객체(10)의 접촉 영역에 움직임을 주어 디스플레이 상에 출력되는 영상을 다양하게 제어를 할 수 있고, 외부 디스플레이에 출력시킬 영상 정보를 제어할 수 있다. As described above, according to one embodiment, it is possible to specify, through the identification information of the object 10, which external display is to output the image being output to the display. In addition, motion can be given to the contact area of the object 10 to control various images output on the display, and to control image information to be output to the external display.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention can be implemented by various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to embodiments of the present invention may be implemented in one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of an implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, a procedure or a function for performing the functions or operations described above. The software code can be stored in a memory unit and driven by the processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor by various well-known means.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

10: 객체
20: 애플리케이션 화면
21: 제1 애플리케이션 화면
22: 제2 애플리케이션 화면
30: 소정의 영역
100: 객체 인식 기반 디스플레이 제어 장치
110: 제1 디스플레이
120: 센서부
131: 제1 디스플레이 버퍼
132: 제2 디스플레이 버퍼
133: 제3 디스플레이 버퍼
140: 저장부
150: 그래픽 처리부
161: 제1 디스플레이 포트
162: 제2 디스플레이 포트
200: 제2 디스플레이
300: 제3 디스플레이10: Objects
20: Application screen
21: First application screen
22: Second application screen
30: a predetermined area
100: Object recognition based display control device
110: First display
120:
131: first display buffer
132: second display buffer
133: Third display buffer
140:
150: Graphics processor
161: first display port
162: Second display port
200: Second display
300: Third display

Claims (13)

영상을 디스플레이하는 제1 디스플레이;
객체가 상기 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 센서부;
제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼;
상기 객체에 대응하는 객체 식별정보 및 상기 객체 식별정보에 매핑된 상기 디스플레이 버퍼의 식별정보를 저장하는 저장부;
상기 접촉 영역에 기초하여 상기 객체 식별정보를 특정하고, 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제1 디스플레이 상에 소정의 영역을 설정하고 상기 소정의 영역의 영상 정보를 상기 디스플레이 버퍼에 저장하는 그래픽 처리부; 및
상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제2 디스플레이로 출력하는 디스플레이 포트를 포함하는
객체 인식 기반 디스플레이 제어 장치.
A first display for displaying an image;
A sensor section for sensing a contact area where the object contacts the first display;
A display buffer for storing image information to be output to the second display;
A storage unit for storing object identification information corresponding to the object and identification information of the display buffer mapped to the object identification information;
If the contact area is located in a running application screen area, storing the image information of the application screen in the display buffer, and if the contact area is located in the application screen area A graphic processing unit for setting a predetermined area on the first display based on the contact area and storing the image information of the predetermined area in the display buffer when the first area is not located; And
And a display port for outputting the image information stored in the display buffer to the second display
Object recognition based display control device.
제1항에 있어서,
상기 그래픽 처리부는
상기 접촉 영역의 모양 또는 면적에 기초하여 상기 객체 식별 정보를 특정하는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
The graphic processing unit
Specifying the object identification information based on the shape or area of the contact area
Object recognition based display control device.
제1항에 있어서,
상기 그래픽 처리부는,
상기 접촉 영역을 중심으로 상기 제2 디스플레이의 해상도에 대응하는 영역을 상기 소정의 영역으로 설정하는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
Wherein the graphic processing unit comprises:
And setting an area corresponding to the resolution of the second display to the predetermined area around the contact area
Object recognition based display control device.
제1항에 있어서,
상기 그래픽 처리부는,
상기 소정의 영역이 상기 제1 디스플레이의 영역을 벗어나는 경우 벗어나는 부분만큼 상기 소정의 영역을 상기 제1 디스플레이의 영역 내로 이동시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
Wherein the graphic processing unit comprises:
If the predetermined area deviates from the area of the first display, moves the predetermined area into the area of the first display by an amount deviated from the area of the first display
Object recognition based display control device.
제1항에 있어서,
상기 센서부가 상기 소정의 영역의 가장자리에 드래그를 감지하는 경우, 상기 그래픽 처리부는 상기 드래그에 대응하여 상기 소정의 영역의 크기를 변화시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
When the sensor unit detects a drag at the edge of the predetermined area, the graphic processing unit changes and sets the size of the predetermined area corresponding to the drag
Object recognition based display control device.
제1항에 있어서,
상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역에 위치하지 않는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 회전에 대응하여 회전시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
When the sensor unit senses rotation of the contact region when the contact region is not located in the application screen region, the graphic processing unit rotates and sets the predetermined region corresponding to the rotation of the contact region
Object recognition based display control device.
제1항에 있어서,
상기 그래픽 처리부는,
상기 소정의 영역의 일부에 상기 애플리케이션 화면 영역의 일부가 위치한다고 판정하는 경우, 상기 센서부를 통해 상기 애플리케이션 화면 영역의 상기 일부에 더블 클릭을 감지하면, 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장하는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
Wherein the graphic processing unit comprises:
When it is determined that a part of the application screen area is located in a part of the predetermined area, if the double-click is detected on the part of the application screen area through the sensor part, the image information of the application screen is stored in the display buffer doing
Object recognition based display control device.
제1항에 있어서,
상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 회전에 대응하여 회전시키는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
When the sensor unit senses the rotation of the contact region when the contact region is located within the application screen region, the graphic processing unit rotates the application screen in correspondence with the rotation of the contact region
Object recognition based display control device.
제1항에 있어서,
상기 센서부가 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 이동에 대응하여 이동시키는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
When the sensor unit detects the movement of the contact area when the contact area is located in the running application screen area, the graphic processing unit moves the application screen in accordance with the movement of the contact area
Object recognition based display control device.
제1항에 있어서,
상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 이동에 대응하여 이동시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
The method according to claim 1,
When the sensor unit detects the movement of the contact region when the contact region is located within the application screen region, the graphic processing unit moves and sets the predetermined region corresponding to the movement of the contact region
Object recognition based display control device.
객체가 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 단계;
상기 접촉 영역에 기초하여 객체 식별 정보를 특정하는 단계;
상기 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부를 판정하는 단계;
상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제 1 디스플레이 상에 소정의 영역을 설정하고 상기 소정의 영역의 영상 정보를 상기 디스플레이 버퍼에 저장하는 단계; 및
상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제 2 디스플레이로 출력하는 단계를 포함하는
객체인식 기반 디스플레이 제어 방법
Sensing a contact area in which the object contacts the first display;
Specifying object identification information based on the contact area;
Determining whether the contact area is located within a running application screen area;
Storing the image information of the application screen in a display buffer for storing image information to be output to the second display when the contact area is located within the application screen area, Setting a predetermined area on the first display based on the contact area and storing the image information of the predetermined area in the display buffer; And
And outputting the image information stored in the display buffer to the second display
Object-based display control method
제11항의 방법을 프로세서가 수행하도록 하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
12. A program stored on a computer readable medium for causing a processor to perform the method of claim 11.
제11항의 방법을 프로세서가 수행하게 하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.12. A computer-readable medium having recorded thereon a program for causing a processor to perform the method of claim 11.
KR1020160113826A 2016-09-05 2016-09-05 Apparatus and method for control display based on object recognition KR102612591B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160113826A KR102612591B1 (en) 2016-09-05 2016-09-05 Apparatus and method for control display based on object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160113826A KR102612591B1 (en) 2016-09-05 2016-09-05 Apparatus and method for control display based on object recognition

Publications (2)

Publication Number Publication Date
KR20180026907A true KR20180026907A (en) 2018-03-14
KR102612591B1 KR102612591B1 (en) 2023-12-12

Family

ID=61660134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160113826A KR102612591B1 (en) 2016-09-05 2016-09-05 Apparatus and method for control display based on object recognition

Country Status (1)

Country Link
KR (1) KR102612591B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404433A (en) * 1992-08-20 1995-04-04 Ricoh Company, Ltd. Image processing apparatus having improved function for creating image using a plurality of original images
KR20120093743A (en) * 2011-02-15 2012-08-23 엘지전자 주식회사 Method for transmitting and receiving data, display apparatus and mobile terminal thereof
KR20140065938A (en) * 2012-11-22 2014-05-30 삼성전자주식회사 Method of communicatioin between display devices and display devices applied the method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404433A (en) * 1992-08-20 1995-04-04 Ricoh Company, Ltd. Image processing apparatus having improved function for creating image using a plurality of original images
KR20120093743A (en) * 2011-02-15 2012-08-23 엘지전자 주식회사 Method for transmitting and receiving data, display apparatus and mobile terminal thereof
KR20120093746A (en) * 2011-02-15 2012-08-23 엘지전자 주식회사 Method for transmitting and receiving data and display apparatus thereof
KR20120093744A (en) * 2011-02-15 2012-08-23 엘지전자 주식회사 Method for transmitting and receiving data, display apparatus and mobile terminal thereof
KR20140065938A (en) * 2012-11-22 2014-05-30 삼성전자주식회사 Method of communicatioin between display devices and display devices applied the method

Also Published As

Publication number Publication date
KR102612591B1 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
KR102051656B1 (en) Transparent display apparatus and method thereof
US10001838B2 (en) Feature tracking for device input
US8446376B2 (en) Visual response to touch inputs
US20140118268A1 (en) Touch screen operation using additional inputs
US9569079B2 (en) Input aggregation for a multi-touch device
US20130194173A1 (en) Touch free control of electronic systems and associated methods
US10318152B2 (en) Modifying key size on a touch screen based on fingertip location
US9529383B2 (en) Display device and method of controlling therefor
US9639175B2 (en) Display device executing bending operation and method of controlling therefor
KR20150025115A (en) Apparatus and Method for Portable Device displaying Augmented Reality image
US10671161B2 (en) Multi display eye tracking
CN112424832A (en) System and method for detecting 3D association of objects
US20160139693A9 (en) Electronic apparatus, correction method, and storage medium
US20170153741A1 (en) Display hover detection
US9324130B2 (en) First image and a second image on a display
KR101533603B1 (en) Device and method for object recognition
JP7252252B2 (en) Initiate modal control based on hand position
US20140210746A1 (en) Display device and method for adjusting display orientation using the same
US10852836B2 (en) Visual transformation using a motion profile
KR20180026907A (en) Apparatus and method for control display based on object recognition
US20200333886A1 (en) Mobile device and control method thereof
KR101592977B1 (en) Display apparatus and control method thereof
US20160370880A1 (en) Optical input method and optical virtual mouse utilizing the same
US11615568B2 (en) System and method for expanding a canvas
US20160364083A1 (en) Optical touch systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant