KR101075420B1 - Tabletop interface apparatus, collaboration control apparatus, tabletop interface based collaboration system and its method - Google Patents

Tabletop interface apparatus, collaboration control apparatus, tabletop interface based collaboration system and its method Download PDF

Info

Publication number
KR101075420B1
KR101075420B1 KR1020080103867A KR20080103867A KR101075420B1 KR 101075420 B1 KR101075420 B1 KR 101075420B1 KR 1020080103867 A KR1020080103867 A KR 1020080103867A KR 20080103867 A KR20080103867 A KR 20080103867A KR 101075420 B1 KR101075420 B1 KR 101075420B1
Authority
KR
South Korea
Prior art keywords
modeling
mobile terminal
tabletop interface
modeling information
collaboration
Prior art date
Application number
KR1020080103867A
Other languages
Korean (ko)
Other versions
KR20100050612A (en
Inventor
김지인
김형석
박준성
이준
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020080103867A priority Critical patent/KR101075420B1/en
Publication of KR20100050612A publication Critical patent/KR20100050612A/en
Application granted granted Critical
Publication of KR101075420B1 publication Critical patent/KR101075420B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 테이블탑 인터페이스(tabletop interface)를 이용하여 모델링 작업을 공동을 수행하는 협업 시스템에 관한 것으로, 테이블탑 인터페이스 기반의 협업 시스템에서 테이블탑 인터페이스가 동작되고, 모델링 도구 활성화 조작신호가 전송되면, 이에 따라 모델링 도구를 활성화시켜 그 영상 데이터를 디스플레이하며, 테이블탑 인터페이스를 이용하여 모델링 작업을 수행하며, 접속된 모바일 단말기로 해당 모델링 작업에 대응하는 모델링 정보를 전송하여 디스플레이하고, 이를 통해 추가 모델링 작업이 수행되면, 해당 추가 모델링 정보를 테이블탑 인터페이스를 이용하여 디스플레이함으로써, 테이블탑 인터페이스와 접속된 다수의 모바일 단말기를 이용하여 공동으로 모델링 작업을 수행할 수 있는 것이다.The present invention relates to a collaboration system for performing modeling work jointly using a tabletop interface. When the tabletop interface is operated in a tabletop interface-based collaboration system and a modeling tool activation operation signal is transmitted, Accordingly, the modeling tool is activated to display the image data, the modeling work is performed using the tabletop interface, and the modeling information corresponding to the modeling work is transmitted to the connected mobile terminal for display. When this is performed, the corresponding modeling information may be displayed using the tabletop interface, so that the modeling work may be performed jointly using a plurality of mobile terminals connected to the tabletop interface.

테이블탑 인터페이스(tabletop interface), 분자 모델링 Tabletop Interface, Molecular Modeling

Description

테이블탑 인터페이스 장치, 협업 제어 장치, 테이블탑 인터페이스 기반 협업 시스템 및 그 방법{TABLETOP INTERFACE APPARATUS, COLLABORATION CONTROL APPARATUS, TABLETOP INTERFACE BASED COLLABORATION SYSTEM AND ITS METHOD}TABLETOP INTERFACE APPARATUS, COLLABORATION CONTROL APPARATUS, TABLETOP INTERFACE BASED COLLABORATION SYSTEM AND ITS METHOD}

본 발명은 테이블탑 인터페이스 기반의 협업 시스템에 관한 것으로, 더욱 상세하게는 테이블탑 인터페이스를 통해 수행되는 모델링 작업을 접속된 모바일 단말기와 공동으로 수행하는데 적합한 테이블탑 인터페이스 장치, 협업 제어 장치, 테이블탑 인터페이스 기반 협업 시스템 및 그 방법에 관한 것이다.
본 발명은 서울시정개발연구원의 기술기반구축사업의 일환으로 수행한 연구로부터 도출된 것이다[10581A092793, u-라이프를 위한 디지털 콘텐츠 산업화 혁신 클러스터 구축].The present invention relates to a collaboration system based on a tabletop interface, and more particularly, to a tabletop interface device, a collaboration control device, and a tabletop interface suitable for jointly performing modeling work performed through a tabletop interface with a connected mobile terminal. And a method for based collaboration.
The present invention is derived from a study conducted as part of the technology-based construction project of the Seoul Development Institute [10581A092793, Digital Contents Industrialization Innovation Cluster for u-Life].

잘 알려진 바와 같이, 유비쿼터스 컴퓨팅 환경에서는 모든 생활 환경이 유기적으로 연결되어 사용자에게 독립적인 지능형 서비스를 제공하고 있는데, 그 중에서 테이블은 사람들이 실생활에서 가장 많이 사용하는 공간으로, 이를 이용한 테이블탑 인터페이스(tabletop interface)는 유비쿼터스 컴퓨팅 환경을 구성하는 중요한 요소 중의 하나가 될 것으로 기대되고 있다.As is well known, in the ubiquitous computing environment, all living environments are organically connected to provide users with intelligent services that are independent. Among them, tables are the most used spaces in real life. interface) is expected to be one of the important components of the ubiquitous computing environment.

이러한 테이블탑 인터페이스는 테이블을 기반으로 한 사용자 인터페이스로서, 테이블은 물리적인 객체를 올려놓거나 디지털 정보를 다루는 공간 으로 사용되며, 하나의 영상 출력 및 사용자 입력 장치로 구성된다.Such a tabletop interface is a table-based user interface. A tabletop interface is used as a space for placing physical objects or handling digital information. The tabletop interface includes a video output and a user input device.

특히, 테이블탑 인터페이스는 넓은 디스플레이 공간과 예를 들면, 손가락, 손의 제스쳐 등을 이용하여 편리하고 직관적인 조작을 수행할 수 있는 장점이 있으며, 이러한 특징으로 인해 여러 명의 사용자들이 동시에 원하는 작업을 할 수 있는 공동 작업 환경을 제공해 줄 수 있다.In particular, the tabletop interface has a merit of being able to perform convenient and intuitive operations using a large display space and gestures of a finger and a hand, for example, so that several users can simultaneously perform a desired task. It can provide a collaborative work environment.

한편, 분자 모델링 등에 이용되는 모델링 기법은 컴퓨터의 빠른 연산 능력과 분자의 3차원 구조 정보를 형상화(visualization)하여 신소재 개발, 신약 개발 등의 여러 분야에서 사용되는 기술로서, 분자 구조의 시각화, 시뮬레이션, 웹 어플리케이션 등에서 활발하게 사용되고 있으며, 이러한 분자 모델링은 다수의 실험자가 참여하여 공동으로 작업할 경우 그 효과가 더욱 향상될 것으로 기대되고 있다.On the other hand, the modeling technique used in molecular modeling is a technique used in various fields such as new material development and drug development by visualizing the computer's fast computational ability and three-dimensional structural information of the molecule. It is being actively used in web applications, and such molecular modeling is expected to be more effective when a large number of experimenters participate and work together.

하지만, 종래의 테이블탑 인터페이스를 이용하여 분자 모델링 등과 같은 모델링 작업을 수행할 경우 하나의 객체(object)를 테이블탑 인터페이스 상에서 다수의 실험자가 공유해야 하기 때문에 각 실험자가 원하는 대로 관찰 및 실험을 하는데 불편함이 있고, 각 실험자별로 객체의 다른 부분을 보며 모델링 작업을 수행해야 할 경우에도 테이블탑 인터페이스를 통한 물체 관찰 시 관련 정보나 컨텐츠가 한쪽 방향으로만 정렬되어 있어 불편함이 가중되고 있다.However, when performing a modeling operation such as molecular modeling using a conventional tabletop interface, it is inconvenient to observe and experiment as each experimenter wants because one object must be shared by multiple experimenters on the tabletop interface. When modeling work is required while viewing different parts of an object for each experimenter, related information or contents are arranged in only one direction when observing an object through a tabletop interface.

이에 따라, 본 발명은 테이블탑 인터페이스를 통해 모델링 작업을 수행하는 중에 무선 통신으로 연결된 모바일 단말기를 연동시켜, 공동 작업을 수행할 수 있는 테이블탑 인터페이스 장치, 협업 제어 장치, 테이블탑 인터페이스 기반 협업 시스템 및 그 방법을 제공하고자 한다.Accordingly, the present invention provides a tabletop interface device, a collaboration control device, a tabletop interface-based collaboration system capable of performing collaboration by interworking a mobile terminal connected by wireless communication while performing modeling work through a tabletop interface; It is intended to provide a method.

또한, 본 발명은 테이블탑 인터페이스 장치에 모바일 단말기 및 강의 시스템을 연동시켜 분자 모델링을 포함하는 공동 작업을 수행할 수 있는 테이블탑 인터페이스 장치, 협업 제어 장치, 테이블탑 인터페이스 기반 협업 시스템 및 그 방법을 제공하고자 한다.The present invention also provides a tabletop interface device, a collaboration control device, a tabletop interface-based collaboration system, and a method of interworking a mobile terminal and a lecture system with a tabletop interface device, which can perform collaboration including molecular modeling. I would like to.

제 1 관점에서 본 발명은, 입력 영상에 대해 빔 프로젝터로 전달되는 영상과 그 영역을 일치시켜 전처리하는 전처리부와, 상기 전처리부로부터의 영상에서 비주얼 태그(visual tag) 영역의 객체를 인식하는 태그 인식부와, 상기 비주얼 태그(visual tag) 영역을 제외한 영역에서의 객체를 인식하여 인식된 각 객체들에 대응하는 메시지로 변환하고, 이에 대응하는 조작신호를 전달하는 메시지 변환부와, 상기 전달되는 조작신호를 협업 제어 장치로 전송하고, 이에 따라 전송되는 모델링 정보 또는 추가 모델링 작업에 대응하는 추가 모델링 정보를 수신하는 통신부와, 상기 수신되는 모델링 정보 또는 추가 모델링 정보를 디스플레이하는 디스플레이부를 포함하는 테이블탑 인터페이스 장치를 제공한다.According to a first aspect of the present invention, there is provided a preprocessing unit that matches an image transmitted to a beam projector with an input image and preprocesses the region, and a tag that recognizes an object in a visual tag region in the image from the preprocessor. A recognition unit, a message conversion unit for recognizing objects in areas other than the visual tag area, converting them into messages corresponding to the recognized objects, and transmitting a corresponding operation signal; The tabletop includes a communication unit which transmits an operation signal to the cooperative control device and receives the modeling information or additional modeling information corresponding to the additional modeling operation, and a display unit which displays the received modeling information or the additional modeling information. Provides an interface device.

제 2 관점에서 본 발명은, 유무선 통신망을 통해 테이블탑 인터페이스 장치와 모바일 단말기와의 데이터 통신을 담당하는 통신부와, 상기 테이블탑 인터페이 스 장치의 조작신호에 따라 수행된 모델링 작업에 대한 영상을 렌더링하는 렌더링 처리부와, 상기 렌더링 처리부로부터의 렌더링 데이터를 포함하는 모델링 정보를 상기 테이블탑 인터페이스 장치로 전송하고, 접속된 상기 모바일 단말기로 상기 모델링 정보를 전송하는 협업 제어부를 포함하는 협업 제어 장치를 제공한다.According to a second aspect of the present invention, there is provided a communication unit that is responsible for data communication between a tabletop interface device and a mobile terminal through a wired or wireless communication network, and renders an image of a modeling operation performed according to an operation signal of the tabletop interface device. It provides a collaboration control unit including a rendering processing unit, and a collaboration control unit for transmitting modeling information including the rendering data from the rendering processing unit to the tabletop interface device, and transmits the modeling information to the connected mobile terminal.

제 3 관점에서 본 발명은, 입력 영상에 대한 왜곡 보정 및 스크린상 조명 보정을 수행한 후, 스크린상의 각 객체를 인식하여 그에 대응하는 모델링 조작신호를 전송하고, 이에 따라 전송되는 모델링 정보 또는 추가 모델링 정보를 디스플레이하는 테이블탑 인터페이스 장치와, 상기 모델링 정보를 수신하여 디스플레이하는 모바일 단말기와, 상기 전송되는 모델링 조작신호가 수신되면, 이에 따라 모델링 작업을 수행한 후 상기 모델링 정보를 상기 테이블탑 인터페이스 장치와 접속된 상기 모바일 단말기로 전송하는 협업 제어 장치를 포함하는 테이블탑 인터페이스 기반의 협업 시스템을 제공한다.According to a third aspect of the present invention, after performing distortion correction and on-screen illumination correction on an input image, each object on the screen is recognized and a modeling manipulation signal corresponding thereto is transmitted, and thus modeling information or additional modeling transmitted accordingly. A table top interface device for displaying information, a mobile terminal for receiving and displaying the modeling information, and when the transmitted modeling manipulation signal is received, the modeling operation is performed accordingly according to the table top interface device. Provides a tabletop interface-based collaboration system including a collaboration control device for transmitting to the connected mobile terminal.

제 4 관점에서 본 발명은, 테이블탑 인터페이스의 조작 신호에 따라 모델링 작업을 수행하는 단계와, 상기 모델링 작업에 대응하는 3차원 영상 데이터, 렌더링 데이터 및 실험 데이터를 포함하는 모델링 정보를 디스플레이하는 단계와, 상기 디스플레이된 모델링 정보를 협업 제어 장치에 전송하는 단계와, 상기 협업 제어 장치에서 접속된 모바일 단말기로 상기 모델링 정보를 전송하는 단계와, 상기 모바일 단말기에 상기 모델링 정보를 디스플레이하는 단계를 포함하는 테이블탑 인터페이스 기반의 협업 방법을 제공한다.According to a fourth aspect of the present invention, there is provided a method of performing a modeling operation according to an operation signal of a tabletop interface, displaying modeling information including 3D image data, rendering data, and experimental data corresponding to the modeling operation. Transmitting the displayed modeling information to a collaboration control apparatus; transmitting the modeling information to a mobile terminal connected from the collaboration control apparatus; and displaying the modeling information on the mobile terminal. It provides a top interface based collaboration method.

본 발명은, 테이블탑 인터페이스의 조작 신호에 따라 모델링 작업을 수행하고, 모델링 작업에 대응하는 3차원 영상 데이터, 렌더링 데이터 및 실험 데이터를 포함하는 모델링 정보를 디스플레이한 후에, 이러한 모델링 정보를 협업 제어 장치에 전송하고, 접속된 모바일 단말기로 모델링 정보를 전송하여 모델링 정보를 디스플레이하며, 모바일 단말기가 제어권을 부여받으면 추가 모델링 작업을 수행한 후 그에 대응하는 추가 모델링 정보를 전송하고, 이를 테이블탑 인터페이스를 통해 디스플레이함으로써, 분자 모델링 작업을 테이블탑 인터페이스를 통해 수행하고, 이러한 분자 모델링 작업을 접속된 다수의 모바일 단말기를 통해 공동으로 수행할 수 있다.According to an embodiment of the present invention, after performing a modeling operation according to an operation signal of a tabletop interface and displaying modeling information including three-dimensional image data, rendering data, and experimental data corresponding to the modeling operation, the modeling information is displayed on the cooperative control device. The modeling information is displayed by transmitting the modeling information to the connected mobile terminal, and when the mobile terminal is given control, perform additional modeling work, and then transmit the corresponding modeling information, and transmit the modeling information through the tabletop interface. By displaying, the molecular modeling work can be performed via the tabletop interface, and this molecular modeling work can be performed jointly via a number of connected mobile terminals.

본 발명은, 테이블탑 인터페이스 기반의 협업 시스템에서 테이블탑 인터페이스가 동작되고, 모델링 도구 활성화 조작신호가 전송되면, 이에 따라 모델리 도구를 활성화시켜 그 영상 데이터를 디스플레이하며, 테이블탑 인터페이스를 이용하여 모델링 작업을 수행하며, 접속된 모바일 단말기로 해당 모델링 작업에 대응하는 모델링 정보를 전송하여 디스플레이하고, 이를 통해 추가 모델링 작업이 수행되면, 해당 추가 모델링 정보를 테이블탑 인터페이스를 이용하여 디스플레이한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.According to the present invention, when the tabletop interface is operated in the tabletop interface-based collaboration system and a modeling tool activation operation signal is transmitted, the modeling tool is activated to display the image data, and the modeling is performed using the tabletop interface. It performs a task, and transmits and displays modeling information corresponding to the corresponding modeling task to the connected mobile terminal, and when the additional modeling task is performed through this, the additional modeling information is displayed by using a tabletop interface. Means can solve the problems in the prior art.

이하 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 상세하게 설명한다.Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따라 테이블탑 인터페이스를 이용하여 모델링 작업을 공동으로 수행하는데 적합한 테이블탑 인터페이스 기반 협업 시스템의 블록 구성도로서, 테이블탑 인터페이스 장치(100), 협업 제어 장치(200), 무선 통신망(200a) 및 모바일 단말기(300)를 포함한다.1 is a block diagram of a tabletop interface-based collaboration system suitable for jointly performing modeling work using a tabletop interface according to an exemplary embodiment of the present invention. The tabletop interface device 100 and the collaboration control device 200 are shown in FIG. , A wireless communication network 200a and a mobile terminal 300.

도 1을 참조하면, 테이블탑 인터페이스 장치(100)는 후면 투사 방식으로 빔프로젝터를 통해 영상을 투사하면 테이블 밑에 설치된 거울에 영상이 반사되어 스크린상에 영상이 디스플레이되는 장치로서, 사용자의 손가락을 통한 입력은 테이블 후면에 설치된 적외선 카메라를 통해 인식하여 이에 대응하는 조작신호를 제공하며, 손가락을 이용한 다중 입력, 손을 이용한 제스쳐를 통해 조작하는 환경을 제공한다.Referring to FIG. 1, the tabletop interface device 100 is a device that displays an image on a screen by reflecting an image to a mirror installed under a table when the image is projected through a beam projector in a rear projection manner. The input is recognized through an infrared camera installed on the back of the table and provides an operation signal corresponding to the input, and provides an environment in which a user inputs a multi-input using a finger and a gesture using a hand.

또한, 테이블탑 인터페이스 장치(100)는 적외선 카메라를 통해 입력되는 영상은 빔 프로젝터로 전달되는 영상과 그 영역을 일치시키는 왜곡 보정과, 스크린상의 객체를 인식하기 위해 불균일한 조명을 보정하는 조명 보정을 하는 전처리 과정을 수행한 후, 일반 객체와 구분되는 비주얼 태그(visual tag) 영역을 인식하고, 비주얼 태그(visual tag) 영역을 제외한 영역에서 손가락, 손의 제스쳐 등을 인식하여 인식된 각 객체들(예를 들면, 비주얼 태그, 손가락, 손의 제스쳐 등)에 대응하는 메시지로 변환한 후에, 이에 대응하는 조작신호를 협업 제어 장치(200)로 전 송한다.In addition, the tabletop interface device 100 performs distortion correction for matching an image inputted through an infrared camera to a beam projector and an area thereof, and lighting correction for correcting uneven lighting to recognize an object on the screen. After performing the preprocessing process, each object is recognized by recognizing a visual tag area that is distinguished from a general object, and recognizing a gesture of a finger or a hand in an area except the visual tag area. For example, after converting the message into a message corresponding to a visual tag, finger, hand gesture, etc.), the operation signal corresponding thereto is transmitted to the cooperative control apparatus 200.

여기에서, 테이블탑 인터페이스 장치(100)는 VRMMS(Virtual Reality Molecular Management System, 이하 'VRMMS'라 함) 등을 포함하는 모델링 도구가 활성화되어 협업 제어 장치(200)로부터 전송되는 특정 분자의 3차원 영상 데이터, 실험 데이터, 렌더링 데이터 등의 모델링 정보를 한 화면에 영역을 분할하여 디스플레이하며, 이를 통해 손가락, 손의 제스쳐 등의 입력 영상에 따라, 영상 전처리, 비주얼 태그(visual tag) 인식, 메시지 변화 등의 과정을 거쳐 입력 영상에 대응하는 조작신호를 협업 제어 장치(200)로 전송하고, 이에 따라 수신되는 각종 모델링 작업에 대응하는 모델링 정보를 이용하여 테이블탑 인터페이스를 통해 스크린상에 디스플레이하며, 협업 제어 장치(200)로부터 접속된 모바일 단말기(300)로부터의 추가 모델링 정보가 전송되면 테이블탑 인터페이스를 통해 스크린상에 디스플레이한다.Here, the tabletop interface device 100 is activated by a modeling tool including a VRMMS (Virtual Reality Molecular Management System, hereinafter referred to as 'VRMMS') is activated three-dimensional image of a specific molecule transmitted from the cooperative control device 200 Modeling information such as data, experimental data, and rendering data is displayed by dividing the area on one screen, and according to the input image such as a finger or hand gesture, image preprocessing, visual tag recognition, message change, etc. The operation signal corresponding to the input image is transmitted to the cooperative control apparatus 200 through the process of, and is displayed on the screen through the tabletop interface using the modeling information corresponding to the various modeling operations received accordingly. When additional modeling information from the mobile terminal 300 connected from the device 200 is transmitted, it is via the tabletop interface. It is displayed on the screen.

여기에서, 모델링 정보의 각 데이터를 분할 화면에 디스플레이하기 위해 각 데이터를 디스플레이하기 위한 화면을 윈도우 형태의 위젯(widzet)으로 구성하고, 이러한 위젯 구성을 통해 각 데이터를 독립적으로 조작할 수 있으며, 각각의 위젯들은 손가락, 손의 제스쳐 등의 입력 영상에 대응하는 조작신호를 발생 전송하여 이동, 확대, 축소, 회전 등의 작업을 수행할 수 있다.Here, a screen for displaying each data may be configured as a window widget to display each data of the modeling information on a split screen, and each data may be manipulated independently through the widget configuration. The widgets of the controller may generate and transmit an operation signal corresponding to an input image of a finger, a hand gesture, or the like to move, enlarge, reduce, or rotate.

도 2는 본 발명에 따라 테이블탑 인터페이스를 통해 모델링 도구를 조작하는데 적합한 테이블탑 인터페이스 장치의 블록 구성도로서, 테이블탑 인터페이스 장치(100)는 영상 전처리부(102), 태그 인식부(104), 메시지 변환부(106), 제 1 통신 부(108) 및 디스플레이부(110)를 포함한다.2 is a block diagram of a tabletop interface device suitable for operating a modeling tool through a tabletop interface according to the present invention. The tabletop interface device 100 includes an image preprocessor 102, a tag recognition unit 104, The message converter 106, the first communication unit 108, and the display unit 110 are included.

도 2를 참조하여 테이블탑 인터페이스 장치(100)에 대해 상세히 설명하면, 영상 전처리부(102)는 테이블탑 인터페이스 장치(100)와 모델링 도구가 활성화된 상태에서 모델링 작업을 수행하기 위해 적외선 카메라를 통해 입력되는 손가락, 손의 제스쳐 등의 영상은 빔 프로젝터로 전달할 영상과 그 영역을 일치시키는 왜곡 보정을 수행하며, 스크린상의 객체를 인식하기 위해 불균일한 조명을 보정하는 전처리 과정을 수행하여 태그 인식부(104)로 전달된다.Referring to FIG. 2, the table top interface device 100 is described in detail. The image preprocessor 102 uses an infrared camera to perform a modeling operation in a state where the table top interface device 100 and the modeling tool are activated. The image of the input finger, hand gesture, etc. performs distortion correction to match the image to be transmitted to the beam projector and its area, and performs a preprocessing process to correct uneven lighting to recognize an object on the screen. 104).

그리고, 태그 인식부(104)는 해당 영상에서 일반 사물과 구분되는 비주얼 태그(visual tag) 영역을 인식하며, 메시지 변환부(104)는 비주얼 태그(visual tag) 영역을 제외한 영역에서 손가락, 손의 제스쳐 등을 인식한 후에, 인식된 각 객체들(예를 들면, 비주얼 태그, 손가락, 손의 제스쳐 등)에 대응하는 메시지로 변환한 후에, 그에 대응하는 조작신호를 제 1 통신부(108)를 통해 협업 제어 장치(200)로 전송한다. 여기에서, 제 1 통신부(108)는 각종 유무선 통신 모듈을 포함하여 테이블탑 인터페이스 장치(100)와 협업 제어 장치(200)간의 데이터 통신을 담당한다.In addition, the tag recognition unit 104 recognizes a visual tag area that is distinguished from a general object in the corresponding image, and the message conversion unit 104 includes a finger and a hand in an area excluding the visual tag area. After recognizing a gesture or the like, the message is converted into a message corresponding to each recognized object (for example, a visual tag, a finger, a hand gesture, etc.), and then a corresponding operation signal is transmitted through the first communication unit 108. Transmission to the collaboration control device 200. Here, the first communication unit 108 is responsible for data communication between the tabletop interface device 100 and the cooperative control device 200 including various wired and wireless communication modules.

한편, 디스플레이부(110)는 협업 제어 장치(200)로부터 제 1 통신부(108)를 통해 해당 조작 신호에 대응하여 수신되는 모델링 작업에 대한 모델링 정보를 빔 프로젝터를 통해 스크린상에 디스플레이하며, 모바일 단말기(300)가 무선 통신망(200a)를 통해 협업 제어 장치(200)와 연결된 경우 모바일 단말기(300)로부터의 추가 모델링 정보를 협업 제어 장치(200)로부터 제 1 통신부(108)를 통해 수 신하여 이를 스크린상에 디스플레이한다. 이러한 모델링 정보 및 추가 모델링 정보는, 예를 들면, 3차원 영상 데이터, 실험 데이터, 렌더링 데이터 등을 포함할 수 있으며, 각각의 데이터는 한 화면의 분할된 영역에 윈도우 형태의 위젯으로 구성되어 각각 디스플레이 될 수 있다.On the other hand, the display 110 displays the modeling information on the modeling work received in response to the corresponding operation signal from the cooperative control device 200 through the first communication unit 108 on the screen through the beam projector, the mobile terminal When the 300 is connected to the cooperative control apparatus 200 through the wireless communication network 200a, the additional modeling information from the mobile terminal 300 is received from the cooperative control apparatus 200 through the first communication unit 108 and this is performed. Display on the screen. Such modeling information and additional modeling information may include, for example, 3D image data, experimental data, rendering data, and the like, and each data may be configured as a widget in the form of a window in a divided area of one screen and displayed respectively. Can be.

도 1을 다시 참조하면, 협업 제어 장치(200)는 VRMMS 등과 같은 모델링 도구를 탑재하고 있으며, 테이블탑 인터페이스 장치(100)와 모바일 단말기(300)를 연결시켜 공동 작업을 수행하도록 제어하는 장치로서, 테이블탑 인터페이스 장치(100)가 활성화되고, 모델링 도구를 활성화시키기 위한 조작신호가 전송되면, 이에 대응하는 모델링 도구를 활성화시켜 이를 테이블탑 인터페이스 장치(100)로 활성화된 모델링 도구의 디스플레이 영상 데이터를 전송한다.Referring back to FIG. 1, the cooperative control apparatus 200 includes a modeling tool such as a VRMMS, and is a device that controls the tabletop interface device 100 and the mobile terminal 300 to perform collaboration. When the tabletop interface device 100 is activated and an operation signal for activating the modeling tool is transmitted, the corresponding modeling tool is activated to transmit the display image data of the activated modeling tool to the tabletop interface device 100. do.

그리고, 협업 제어 장치(200)는 테이블탑 인터페이스 장치(100)로부터 모델링 작업을 수행하는 각종 조작신호가 전송되면, 이에 따라 모델링 작업을 수행한 후 그에 대응하는 모델링 정보를 테이블탑 인터페이스 장치(100)로 전송하며, 무선 통신망(200a)을 통해 모바일 단말기(300)가 접속된 경우 해당 모델링 정보를 모바일 단말기(300)로 전송하고, 모바일 단말기(300)로부터 추가 모델링 작업에 대응하는 추가 모델링 정보가 전송되면, 이를 테이블탑 인터페이스 장치(100)로 전송한다.In addition, when the cooperative control apparatus 200 transmits various operation signals for performing modeling work from the tabletop interface device 100, the cooperative control device 200 performs modeling work accordingly and then displays modeling information corresponding to the tabletop interface device 100. When the mobile terminal 300 is connected through the wireless communication network 200a, the corresponding modeling information is transmitted to the mobile terminal 300, and additional modeling information corresponding to the additional modeling work is transmitted from the mobile terminal 300. If so, it transmits to the tabletop interface device 100.

여기에서, 협업 제어 장치(200)는 테이블탑 인터페이스 장치(100)를 통해 모델링 작업을 수행하는 제 1 실험자와, 모바일 단말기(300)를 통해 모델링 작업을 수행하는 제 2 실험자가 존재할 경우 공유하는 객체에 대한 제어권을 조절하여 해 당 모델링 작업을 공동으로 수행하는데, 테이블탑 인터페이스 장치(100)를 이용하는 제 1 실험자가 공유 객체에 대한 제어권을 선점하고 있는 경우 제어권 정보를 모바일 단말기(300)에 전송하여 모바일 단말기(300)를 통한 제 2 실험자의 모델링 작업이 중지되고, 제 1 실험자가 작업한 모델링 정보를 모바일 단말기(300)를 통해 디스플레이하게 되며, 테이블탑 인터페이스 장치(100) 및 모바일 단말기(300) 모두 공유 객체에 대한 제어권이 없을 경우 테이블탑 인터페이스 장치(100)를 이용한 제 1 실험자와 모바일 단말기(300)를 이용하는 제 2 실험자 중 하나가 협업 제어 장치(200)를 통해 제어권을 획득하게 함으로써, 해당 모델링 작업을 수행할 수 있다.Here, the cooperative control apparatus 200 may share an object when a first experimenter performing modeling work through the tabletop interface device 100 and a second experimenter performing modeling work through the mobile terminal 300 exist. By controlling the control right for the modeling work jointly, if the first experimenter using the tabletop interface device 100 is preoccupying the control right for the shared object by transmitting the control right information to the mobile terminal 300 The modeling work of the second experimenter through the mobile terminal 300 is stopped, and the modeling information worked by the first experimenter is displayed on the mobile terminal 300, and the tabletop interface device 100 and the mobile terminal 300 are displayed. If both do not have control over the shared object, the first experimenter using the tabletop interface device 100 and the mobile terminal 300 By allowing one of the second experimenters to acquire the control right through the cooperative control apparatus 200, the corresponding modeling work may be performed.

도 3은 본 발명에 따라 모델링 작업에 따른 모델링 정보와 공유 객체에 대한 제어권을 통제하는데 적합한 협업 제어 장치의 블록 구성도로서, 협업 제어 장치(200)는 제 2 통신부(202), 협업 제어부(204), 모델링 처리부(208) 및 저장부(206)를 포함한다.3 is a block diagram of a collaboration control device suitable for controlling the control of the modeling information and the shared object according to the present invention, the collaboration control device 200 is a second communication unit 202, the collaboration control unit 204 ), A modeling processor 208 and a storage unit 206.

도 3을 참조하여 협업 제어 장치(200)에 대해 상세히 설명하면, 제 2 통신부(202)는 유무선 통신 모듈을 통해 테이블탑 인터페이스 장치(100)와 데이터 통신을 담당하며, 무선 통신 모듈을 통해 모바일 단말기(300)와 데이터 통신을 담당한다.Referring to FIG. 3, the collaboration control device 200 will be described in detail. The second communication unit 202 is in charge of data communication with the tabletop interface device 100 through a wired / wireless communication module and a mobile terminal through a wireless communication module. It is in charge of data communication with 300.

그리고, 협업 제어부(204)는 테이블탑 인터페이스 장치(100)로부터 제 2 통신부(202)를 통해 모델링 도구 활성화 조작신호가 수신되면, 이에 따라 VRMMS 등과 같은 모델링 도구를 활성화시켜 그 디스플레이 영상 데이터를 제 2 통신부(202)를 통해 테이블탑 인터페이스 장치(100)로 전송하며, 테이블탑 인터페이스 장치(100)로부터 제 2 통신부(202)를 통해 모델링 작업에 대응하는 조작신호가 수신되면, 이에 대응하는 모델링 작업을 수행하도록 모델링 처리부(206)를 제어하고, 이에 따라 전달되는 모델링 정보를 제 2 통신부(202)를 통해 테이블탑 인터페이스 장치(100)로 전송한다.When the modeling tool activation operation signal is received from the tabletop interface device 100 through the second communication unit 202, the collaboration control unit 204 activates a modeling tool such as a VRMMS to display the second display image data. When the operation signal corresponding to the modeling job is received from the tabletop interface device 100 through the communication unit 202 and the second communication unit 202 is received from the tabletop interface device 100, the corresponding modeling job is performed. The modeling processor 206 is controlled to perform the transmission, and the modeling information transmitted accordingly is transmitted to the tabletop interface apparatus 100 through the second communication unit 202.

또한, 협업 제어부(204)는 제 2 통신부(202)를 통해 모바일 단말기(300)를 접속시키며, 모델링 작업에 대한 모델링 정보를 제 2 통신부(202)를 통해 전송하며, 이에 따라 모바일 단말기(300)로부터 제 2 통신망(202)을 통해 추가 모델링 정보가 수신되면, 이러한 추가 모델링 정보를 제 2 통신망(202)을 통해 테이블탑 인터페이스 장치(100)로 전송한다. 한편, 협업 제어부(204)는 테이블탑 인터페이스 장치(100)로부터 모바일 단말기(300)에 모델링 정보를 전송하기 위한 전송 조작신호가 입력되면 이에 따라 모델링 정보를 모바일 단말기(300)로 전송할 수 있으며, 이러한 전송 조작신호는 테이블탑 인터페이스 장치(100)의 스크린상에 모바일 단말기(300)를 지시하는 비주얼 태그 영역으로 특정 객체를 드래그 앤 드랍 방식의 조작으로 인해 발생될 수 있다.In addition, the collaboration controller 204 connects the mobile terminal 300 through the second communication unit 202, and transmits modeling information on the modeling job through the second communication unit 202, and thus the mobile terminal 300. When the additional modeling information is received from the second communication network 202, the additional modeling information is transmitted to the tabletop interface device 100 through the second communication network 202. Meanwhile, when the transmission operation signal for transmitting modeling information from the tabletop interface device 100 to the mobile terminal 300 is input, the collaboration control unit 204 may transmit the modeling information to the mobile terminal 300 accordingly. The transmission manipulation signal may be generated by dragging and dropping a specific object to a visual tag region indicating the mobile terminal 300 on the screen of the tabletop interface apparatus 100.

한편, 모델링 처리부(206)는 VRMMS 등과 같은 모델링 도구를 이용하여 특정 분자에 대한 모델링 작업을 수행하고, 이에 대응하는 모델링 정보를 협업 제어부(204)로 전달하고, 저장부(208)는 VRMMS 등과 같은 모델링 도구들이 저장되어 있으며, 이를 이용하여 수행된 모델링 작업에 대한 모델링 정보를 저장해 두고, 이러한 모델링 도구와 모델링 정보를 필요에 따라 추출하여 협업 제어부(204)로 제 공한다.Meanwhile, the modeling processor 206 performs a modeling operation on a specific molecule using a modeling tool such as VRMMS, transfers corresponding modeling information to the collaboration controller 204, and the storage unit 208 stores a VRMMS or the like. Modeling tools are stored, and modeling information about modeling work performed by using the same is stored, and these modeling tools and modeling information are extracted as needed and provided to the collaboration control unit 204.

도 1을 다시 참조하면, 모바일 단말기(300)는 노트북(notebook) 등과 같은 다수의 통신 단말기를 포함하는 것으로, 근거리 무선 통신 등을 이용한 무선 통신망(200a)을 통해 협업 제어 장치(200)에 접속 연결되어 테이블탑 인터페이스 장치(100)에서 디스플레이되는 모델링 정보를 수신하여 디스플레이하며, 이에 대한 제어권을 협업 제어 장치(200)로부터 무선 통신망(200a)으로부터 부여받아 추가 모델링 작업을 수행하며, 추가 모델링 작업을 수행한 추가 모델링 정보는 무선 통신망(200a)을 통해 협업 제어 장치(200)로 제공된다. 여기에서, 모바일 단말기(300)에 전송되는 모델링 정보는, 모바일 단말기(300)의 단말기 정보(예를 들면, CPU, 메모리, 그래픽카드 성능 등)에 따라 협업 제어 장치(200)에서 모델링 정보의 데이터량을 감소(예를 들면, 저사양의 단말기의 경우 렌더링 데이터의 메시를 단순화시키는 등)시켜 수신될 수 있다.Referring back to FIG. 1, the mobile terminal 300 includes a plurality of communication terminals, such as a notebook, and is connected to the cooperative control apparatus 200 through a wireless communication network 200a using near field communication. And receive and display modeling information displayed on the tabletop interface device 100, perform control of additional modeling by receiving a control right from the cooperative control device 200 from the wireless communication network 200a, and perform additional modeling work. One additional modeling information is provided to the cooperative control apparatus 200 via the wireless communication network 200a. Here, the modeling information transmitted to the mobile terminal 300, the data of the modeling information in the cooperative control device 200 according to the terminal information (for example, CPU, memory, graphics card performance, etc.) of the mobile terminal 300 It can be received by reducing the amount (e.g., simplifying the mesh of rendering data for low-end terminals).

한편, 상술한 바와 같은 본 발명에서는 테이블탑 인터페이스 장치(100)를 협업 제어 장치(200)를 통해 모바일 단말기(300)와 연결하여 모델링 작업을 공동으로 수행하는 것으로 하여 설명하였으나, 협업 제어 장치(200)를 통해 전자 칠판 등과 같은 디스플레이 장치를 포함하는 강의 시스템과 연동하여 모델링 작업에 대한 학습, 프리젠테이션 등의 공동 작업을 수행할 수 있음은 물론이다.Meanwhile, in the present invention as described above, the tabletop interface device 100 is connected to the mobile terminal 300 through the cooperative control device 200 to be described as jointly performing the modeling work, but the cooperative control device 200 ) Can be collaborated with a lecture system including a display device such as an electronic blackboard, such as learning about modeling work, presentation, and the like.

다음에, 상술한 바와 같은 구성을 갖는 테이블탑 인터페이스 기반의 협업 시스템에서 테이블탑 인터페이스가 동작되고, 모델링 도구 활성화 조작신호가 전송되면, 이에 따라 모델리 도구를 활성화시켜 그 영상 데이터를 디스플레이하며, 테이 블탑 인터페이스를 이용하여 모델링 작업을 수행하며, 접속된 모바일 단말기로 해당 모델링 작업에 대응하는 모델링 정보를 전송하여 디스플레이하고, 이를 통해 추가 모델링 작업이 수행되면, 해당 추가 모델링 정보를 테이블탑 인터페이스를 이용하여 디스플레이하는 과정에 대해 설명한다.Next, when the tabletop interface is operated in the tabletop interface-based collaboration system having the above-described configuration, and the modeling tool activation operation signal is transmitted, the modeling tool is activated accordingly to display the image data. The modeling work is performed using the blocktop interface, and the modeling information corresponding to the modeling work is transmitted to the connected mobile terminal and displayed. When the modeling work is performed through this, the additional modeling information is displayed using the tabletop interface. The display process will be described.

도 4는 본 발명의 일 실시 예에 따라 테이블탑 인터페이스를 이용하여 모델링 작업을 공동으로 수행하는 과정을 도시한 플로우차트이다.4 is a flowchart illustrating a process of jointly performing modeling work using a tabletop interface according to an exemplary embodiment.

도 4를 참조하면, 테이블탑 인터페이스 장치(100)가 동작된 상태에서(단계402), 협업 제어 장치(200)에서는 테이블탑 인터페이스 장치(100)로부터 모델링 도구를 활성화시키기 위한 모델링 도구 활성화 조작신호가 전송되는지를 체크한다(단계404).Referring to FIG. 4, in a state in which the tabletop interface device 100 is operated (step 402), the cooperative control device 200 receives a modeling tool activation operation signal for activating the modeling tool from the tabletop interface device 100. Check if it is transmitted (step 404).

여기에서, 각종 조작신호가 발생되는 과정에 대해 설명하면, 테이블탑 인터페이스 장치(100)에서는 적외선 카메라를 통해 입력되는 영상을 빔 프로젝터로 전달되는 영상과 그 영역을 일치시키고, 스크린상의 객체를 인식하기 위해 불균일한 조명을 보정하는 조명 보정을 수행한 후, 일반 사물과 구분되는 비주얼 태그 영역을 인식하고, 비주얼 태그 영역을 제외한 영역에서 손가락, 손의 제스쳐 등을 인식하여 인식된 각 객체들(예를 들면, 비주얼 태그, 손가락, 손의 제스쳐 등)에 대응하는 메시지로 변환한 후에, 이에 대응하는 조작신호를 발생할 수 있다.Herein, a process of generating various operation signals will be described. In the tabletop interface apparatus 100, an image input through an infrared camera is matched with an image transmitted to a beam projector, and an area thereof is recognized, and an object on the screen is recognized. After lighting compensation is performed to compensate for uneven lighting, each object is recognized by recognizing a visual tag area that is distinguished from a general object, and a gesture of a finger or a hand in an area except the visual tag area. For example, after converting into a message corresponding to a visual tag, finger, hand gesture, etc.), an operation signal corresponding thereto may be generated.

상기 단계(404)에서의 체크 결과, 모델링 도구 활성화 조작신호가 전송될 경우 협업 제어 장치(200)에서는 VRMMS 등과 같은 모델링 도구를 활성화시키고, 그 디스플레이 영상 데이터를 테이블탑 인터페이스 장치(100)에 전송하여 디스플레이 한다(단계406). As a result of the check in step 404, when the modeling tool activation operation signal is transmitted, the cooperative control apparatus 200 activates a modeling tool such as a VRMMS, and transmits the display image data to the tabletop interface device 100. Display (step 406).

그리고, 테이블탑 인터페이스 장치(100)에서는 디스플레이된 모델링 도구를 이용하여 특정 객체를 손가락, 손의 제스쳐 등의 입력 영상을 통해 선택, 이동, 축소, 확대, 회전 등의 조작신호를 발생하여 협업 제어 장치(200)로 전송하고, 협업 제어 장치(200)에서 이에 대한 모델링 작업을 수행하여 그 모델링 정보(예를 들면, 3차원 영상 데이터, 렌더링 데이터, 실험 데이터 등)를 테이블탑 인터페이스 장치(100)로 전송하며, 이를 테이블탑 인터페이스 장치(100)를 통해 디스플레이한다(단계408).In addition, the tabletop interface device 100 generates an operation signal such as selecting, moving, reducing, enlarging or rotating a specific object through an input image such as a finger or a hand using a displayed modeling tool. And transmits the modeling information (eg, 3D image data, rendering data, experimental data, etc.) to the tabletop interface device 100 by performing the modeling operation on the cooperative control device 200. And transmits it via the tabletop interface device 100 (step 408).

여기에서, 모델링 정보의 디스플레이는, 모델링 정보의 각 데이터를 디스플레이하기 위한 화면을 윈도우 형태의 위젯(widzet)으로 구성하고, 이러한 위젯 구성을 통해 각 데이터를 독립적으로 조작할 수 있으며, 각각의 위젯들은 손가락, 손의 제스쳐 등의 입력 영상에 대응하는 조작신호를 발생 전송하여 이동, 확대, 축소, 회전 등의 작업을 수행할 수 있다.Here, the display of the modeling information, the screen for displaying each data of the modeling information in the form of a widget (widzet) in the form of a window, and through this widget configuration can be manipulated each data independently, each widget An operation signal corresponding to an input image such as a finger or hand gesture may be generated and transmitted to perform operations such as movement, enlargement, reduction, and rotation.

한편, 협업 제어 장치(200)에서는 단계408과 같은 모델링 작업을 수행할 경우 모바일 단말기(300)가 무선 통신망(200a)을 통해 접속 연결되어 있는지를 체크한다(단계410).On the other hand, in the cooperative control device 200 checks whether the mobile terminal 300 is connected through the wireless communication network (200a) when performing the modeling operation as in step 408 (step 410).

상기 단계(410)에서의 체크 결과, 모바일 단말기(300)가 접속 연결되어 있는 경우 테이블탑 인터페이스 장치(100)를 이용하여 모델링 작업을 수행한 모델링 정보를 무선 통신망(200a)을 통해 모바일 단말기(300)로 전송한다(단계412).As a result of the check in step 410, when the mobile terminal 300 is connected to the mobile terminal 300 through the wireless communication network 200a, modeling information for performing modeling work using the tabletop interface device 100 is connected. (Step 412).

그리고, 모바일 단말기(300)에서는 전송되는 모델링 정보를 디스플레이한다( 단계414). 여기에서, 모바일 단말기(300)에서는 협업 제어 장치(200)를 통해 단말기 정보(예를 들면, CPU, 메모리, 그래픽카드 성능 등)에 따라 데이터량이 감소(예를 들면, 저사양의 단말기의 경우 렌더링 데이터의 메시를 단순화시키는 등)시킨 모델링 정보를 수신하여 디스플레이할 수 있다.In operation 414, the mobile terminal 300 displays modeling information transmitted. Here, in the mobile terminal 300, the amount of data decreases according to terminal information (for example, CPU, memory, graphics card performance, etc.) through the cooperative control apparatus 200 (for example, rendering data in case of a low specification terminal). Modeling information) can be received and displayed.

다음에, 모바일 단말기(300)에서는 디스플레이된 모델링 정보에 추가적으로 모델링 작업이 수행되는지를 체크한다(단계416). 여기에서, 추가 모델링 작업은, 모바일 단말기(300)가 협업 제어 장치(200)를 통해 모델링 작업의 제어권을 획득하고 있을 경우에 수행될 수 있다.Next, the mobile terminal 300 checks whether a modeling operation is performed in addition to the displayed modeling information (step 416). Here, the additional modeling work may be performed when the mobile terminal 300 obtains the control right of the modeling work through the cooperative control apparatus 200.

상기 단계(416)에서의 체크 결과, 추가적으로 모델링 작업이 수행된 경우 모바일 단말기(300)에서는 추가 모델링 작업이 수행된 모델링 정보를 무선 통신망(200a)을 통해 협업 제어 장치(200)로 전송한다(단계418).As a result of the check in step 416, if the modeling work is additionally performed, the mobile terminal 300 transmits the modeling information on which the additional modeling work is performed to the cooperative control apparatus 200 through the wireless communication network 200a (step 418).

이어서, 협업 제어 장치(200)에서는 모바일 단말기(300)로부터 전송되는 추가 모델링 정보를 수신하여 이를 테이블탑 인터페이스 장치(100)로 전송하고, 테이블탑 인터페이스 장치(100)에서는 모델링 도구가 활성화된 스크린상에 추가 모델링 정보를 디스플레이한다(단계420).Subsequently, the cooperative control apparatus 200 receives additional modeling information transmitted from the mobile terminal 300 and transmits the additional modeling information to the tabletop interface apparatus 100. On the screen where the modeling tool is activated, the tabletop interface apparatus 100 is activated. Additional modeling information is displayed at step 420.

상술한 바와 같은 본 발명의 일 실시 예에서는 모바일 단말기(300)가 접속되어 있을 경우 테이블탑 인터페이스 장치(100)를 통해 작업된 모델링 정보를 협업 제어 장치(200)를 통해 모바일 단말기(300)로 전송하는 것으로 하여 설명하였으나, 테이블탑 인터페이스 장치(100)로부터 모바일 단말기(300)에 모델링 정보를 전송하기 위한 전송 조작신호가 입력되면 이에 따라 모델링 정보를 모바일 단말기(300)로 전송할 수 있으며, 이러한 전송 조작신호는 테이블탑 인터페이스 장치(100)의 스크린상에 모바일 단말기(300)를 지시하는 비주얼 태그 영역으로 특정 객체를 드래그 앤 드랍 방식의 조작으로 인해 발생될 수 있음은 물론이며, 협업 제어 장치(200)에 전자 칠판 등과 같은 디스플레이 장치를 포함하는 강의 시스템과 연동하여 모델링 작업에 대한 학습, 프리젠테이션 등의 공동 작업을 수행할 수 있음은 물론이다.According to an embodiment of the present invention as described above, when the mobile terminal 300 is connected, the modeling information worked through the tabletop interface apparatus 100 is transmitted to the mobile terminal 300 through the cooperative control apparatus 200. Although described as being described above, when a transmission operation signal for transmitting modeling information from the tabletop interface device 100 to the mobile terminal 300 is input, modeling information may be transmitted to the mobile terminal 300 accordingly. The signal may be generated by dragging and dropping a specific object to a visual tag area indicating the mobile terminal 300 on the screen of the tabletop interface device 100, and of course, the cooperative control device 200. Learning about modeling work and presentations in conjunction with lecture systems including display devices such as electronic blackboards Of course, you can collaborate, such as the same.

따라서, 테이블탑 인터페이스를 이용한 조작신호에 따라 모델링 도구를 이용한 모델링 정보를 스크린상에 디스플레이하고, 접속된 모바일 단말기로 이를 전송하고, 모바일 단말기의 추가 모델링 작업으로 인한 추가 모델링 정보를 테이블탑 인터페이스를 통해 디스플레이함으로써, 테이블탑 인터페이스와 모바일 단말기를 통한 공동 작업을 효과적으로 수행할 수 있다.Accordingly, the modeling information using the modeling tool is displayed on the screen according to the operation signal using the tabletop interface, transmitted to the connected mobile terminal, and the additional modeling information resulting from the additional modeling of the mobile terminal is transmitted through the tabletop interface. By displaying, collaboration between the tabletop interface and the mobile terminal can be effectively performed.

이상의 설명에서는 본 발명의 다양한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.In the foregoing description, various embodiments of the present invention have been described and described. However, the present invention is not necessarily limited thereto, and a person having ordinary skill in the art to which the present invention pertains can make various changes without departing from the technical spirit of the present invention. It will be readily appreciated that branch substitutions, modifications and variations are possible.

도 1은 본 발명의 실시 예에 따라 테이블탑 인터페이스를 이용하여 모델링 작업을 공동으로 수행하는데 적합한 테이블탑 인터페이스 기반 협업 시스템의 블록 구성도,1 is a block diagram of a tabletop interface-based collaboration system suitable for jointly performing modeling work using a tabletop interface according to an embodiment of the present invention;

도 2는 본 발명에 따라 테이블탑 인터페이스를 통해 모델링 도구를 조작하는데 적합한 테이블탑 인터페이스 장치의 블록 구성도,2 is a block diagram of a tabletop interface device suitable for operating a modeling tool via a tabletop interface in accordance with the present invention;

도 3은 본 발명에 따라 모델링 작업에 따른 모델링 정보와 공유 객체에 대한 제어권을 통제하는데 적합한 협업 제어 장치의 블록 구성도,3 is a block diagram of a cooperative control device suitable for controlling the control of the modeling information and the shared object according to the present invention,

도 4는 본 발명의 일 실시 예에 따라 테이블탑 인터페이스를 이용하여 모델링 작업을 공동으로 수행하는 과정을 도시한 플로우차트.4 is a flowchart illustrating a process of jointly performing a modeling operation using a tabletop interface according to an embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

100 : 테이블탑 인터페이스 장치 102 : 영상 전처리부100: tabletop interface device 102: image preprocessor

104 : 태그 인식부 106 : 메시지 변환부104: tag recognition unit 106: message conversion unit

108 : 제 1 통신부 110 : 디스플레이부108: first communication unit 110: display unit

200 : 협업 제어 장치 202 : 제 2 통신부200: collaboration control device 202: second communication unit

204 : 협업 제어부 206 : 저장부204: collaboration control unit 206: storage unit

Claims (24)

입력 영상에 대해 빔 프로젝터로 전달되는 영상과 그 영역을 일치시켜 전처리하는 전처리부와,A pre-processing unit for pre-processing by matching the image transmitted to the beam projector with the input image and its area; 상기 전처리부로부터의 영상에서 모바일 단말기를 지시하는 비주얼 태그(visual tag) 영역의 객체를 인식하는 태그 인식부와,A tag recognition unit recognizing an object of a visual tag region indicating a mobile terminal in the image from the preprocessor; 상기 비주얼 태그(visual tag) 영역을 제외한 영역에서의 객체를 인식하여 인식된 각 객체들에 대응하는 메시지로 변환하고, 이에 대응하는 조작신호를 전달하는 메시지 변환부와,A message conversion unit for recognizing an object in an area except the visual tag area, converting the message into a message corresponding to each recognized object, and transmitting an operation signal corresponding thereto; 상기 전달되는 조작신호를 협업 제어 장치로 전송하고, 이에 따라 전송되는 모델링 정보 또는 추가 모델링 작업에 대응하는 추가 모델링 정보를 수신하는 통신부와,A communication unit which transmits the transmitted operation signal to the cooperative control apparatus and receives the modeling information or additional modeling information corresponding to the additional modeling task; 상기 수신되는 모델링 정보 또는 추가 모델링 정보를 디스플레이하는 디스플레이부A display unit for displaying the received modeling information or additional modeling information 를 포함하는 테이블탑 인터페이스 장치.Table top interface device comprising a. 제 1 항에 있어서,The method of claim 1, 상기 전처리부는, 스크린상의 객체를 인식하기 위해 불균일한 조명을 보정하는 테이블탑 인터페이스 장치.The preprocessor is a tabletop interface device for correcting uneven illumination in order to recognize the object on the screen. 제 2 항에 있어서,The method of claim 2, 상기 태그 인식부는, 상기 협업 제어 장치를 통해 연결된 상기 모바일 단말기를 지시하는 비주얼 태그 영역을 드래그 앤 드롭 방식으로 선택하면, 이에 대응하는 상기 모바일 단말기로 상기 모델링 정보를 전송하기 위한 조작신호로 인식하는 테이블탑 인터페이스 장치.When the tag recognition unit selects a visual tag area indicating the mobile terminal connected through the cooperative control device by dragging and dropping, the table recognizing a manipulation signal for transmitting the modeling information to the corresponding mobile terminal. Tower interface device. 제 3 항에 있어서,The method of claim 3, wherein 상기 디스플레이부는, 상기 모델링 정보의 각 데이터를 디스플레이하기 위한 화면을 윈도우 형태의 위젯(widzet)으로 구성하고, 상기 위젯으로 구성된 화면을 통해 각 데이터를 독립적으로 조작하는 테이블탑 인터페이스 장치.The display unit may comprise a window for displaying each data of the modeling information as a widget (widzet) in the form of a window, the tabletop interface device for operating each data independently through the screen composed of the widget. 제 4 항에 있어서,The method of claim 4, wherein 상기 디스플레이부는, 3차원 영상 데이터, 실험 데이터 및 렌더링 데이터를 포함하는 상기 모델링 정보를 상기 위젯으로 구성된 화면을 통해 각각 디스플레이하는 테이블탑 인터페이스 장치.The display unit, the tabletop interface device for displaying the modeling information, including three-dimensional image data, experimental data and rendering data, respectively through a screen composed of the widget. 유무선 통신망을 통해 테이블탑 인터페이스 장치와 모바일 단말기와의 데이터 통신을 담당하는 통신부와,A communication unit in charge of data communication between the tabletop interface device and the mobile terminal through a wired or wireless communication network; 상기 테이블탑 인터페이스 장치의 조작신호에 따라 수행된 모델링 작업에 대한 영상을 렌더링하는 렌더링 처리부와,A rendering processor configured to render an image of a modeling operation performed according to an operation signal of the tabletop interface device; 상기 렌더링 처리부로부터의 렌더링 데이터를 포함하는 모델링 정보를 상기 테이블탑 인터페이스 장치로 전송하고, 접속된 상기 모바일 단말기로 상기 모델링 정보를 전송하는 협업 제어부A cooperative control unit which transmits modeling information including rendering data from the rendering processor to the tabletop interface device and transmits the modeling information to the connected mobile terminal. 를 포함하는 협업 제어 장치.Collaborative control device comprising a. 제 6 항에 있어서,The method of claim 6, 상기 협업 제어부는, 상기 모바일 단말기에 작업 제어권이 부여되면 상기 모바일 단말기로부터의 추가 모델링 작업에 대응하는 추가 모델링 정보를 상기 테이블탑 인터페이스 장치로 전송하는 협업 제어 장치.The collaboration controller, when the job control right is granted to the mobile terminal, transmits additional modeling information corresponding to the additional modeling job from the mobile terminal to the tabletop interface device. 제 6 항 또는 제 7 항에 있어서,8. The method according to claim 6 or 7, 상기 협업 제어부는, 상기 모바일 단말기의 단말기 정보에 따라 상기 모델링 정보의 데이터량을 감소시켜 상기 모바일 단말기로 전송하는 협업 제어 장치.The collaboration control unit, the collaboration control device for reducing the amount of data of the modeling information according to the terminal information of the mobile terminal and transmits to the mobile terminal. 제 8 항에 있어서,The method of claim 8, 상기 협업 제어부는, CPU, 메모리 및 그래픽카드 성능을 포함하는 상기 단말기 정보에 따라 저사양의 단말기의 경우 상기 렌더링 데이터의 메시를 단순화시키는 방식으로 상기 데이터량을 감소시키는 협업 제어 장치.And the collaboration control unit reduces the amount of data in a manner of simplifying a mesh of the rendering data in the case of a terminal having a low specification according to the terminal information including CPU, memory and graphics card performance. 입력 영상에 대한 왜곡 보정 및 스크린상 조명 보정을 수행한 후, 스크린상의 각 객체를 인식하여 그에 대응하는 모델링 조작신호를 전송하고, 이에 따라 전송되는 모델링 정보 또는 추가 모델링 정보를 디스플레이하는 테이블탑 인터페이스 장치와,After performing distortion correction and on-screen illumination correction on the input image, the tabletop interface device recognizes each object on the screen and transmits a modeling manipulation signal corresponding thereto, and displays the modeling information or additional modeling information transmitted accordingly. Wow, 상기 모델링 정보를 수신하여 디스플레이하는 모바일 단말기와,A mobile terminal for receiving and displaying the modeling information; 상기 전송되는 모델링 조작신호가 수신되면, 이에 따라 모델링 작업을 수행한 후 상기 모델링 정보를 상기 테이블탑 인터페이스 장치와 접속된 상기 모바일 단말기로 전송하는 협업 제어 장치When the transmitted modeling manipulation signal is received, according to the modeling operation according to the collaboration control device for transmitting the modeling information to the mobile terminal connected to the tabletop interface device 를 포함하는 테이블탑 인터페이스 기반의 협업 시스템.Tabletop interface-based collaboration system comprising a. 제 10 항에 있어서,11. The method of claim 10, 상기 테이블탑 인터페이스 장치는, 상기 협업 제어 장치를 통해 연결된 상기 모바일 단말기를 지시하는 비주얼 태그 영역을 드래그 앤 드롭 방식으로 선택하면, 이에 대응하는 상기 모바일 단말기로 상기 모델링 정보를 전송하기 위한 조작신호로 인식하는 테이블탑 인터페이스 기반의 협업 시스템.When the tabletop interface device selects a visual tag area indicating the mobile terminal connected through the cooperative control device by dragging and dropping, the tabletop interface device recognizes the manipulation signal for transmitting the modeling information to the corresponding mobile terminal. Tabletop interface-based collaboration system. 제 11 항에 있어서,The method of claim 11, 상기 테이블탑 인터페이스 장치는, 상기 모델링 정보의 각 데이터를 디스플레이하기 위한 화면을 윈도우 형태의 위젯(widzet)으로 구성하고, 상기 위젯으로 구성된 화면을 통해 각 데이터를 독립적으로 조작하는 테이블탑 인터페이스 기반의 협업 시스템.The tabletop interface device includes a tabletop interface-based collaboration that configures a screen for displaying each data of the modeling information as a widget in the form of a window, and independently manipulates each data through the screen configured as the widget. system. 제 12 항에 있어서,13. The method of claim 12, 상기 테이블탑 인터페이스 장치는, 3차원 영상 데이터, 실험 데이터 및 렌더링 데이터를 포함하는 상기 모델링 정보를 상기 위젯으로 구성된 화면을 통해 각각 디스플레이하는 테이블탑 인터페이스 기반의 협업 시스템.The tabletop interface device is a tabletop interface-based collaboration system for displaying the modeling information, including three-dimensional image data, experimental data and rendering data, respectively through a screen composed of the widget. 제 10 항에 있어서,11. The method of claim 10, 상기 모바일 단말기는, 상기 협업 제어 장치로부터 작업 제어권을 부여받으 면 추가 모델링 작업을 수행하여 그에 대응하는 상기 추가 모델링 정보를 상기 협업 제어 장치로 전송하는 테이블탑 인터페이스 기반의 협업 시스템.When the mobile terminal receives the job control right from the collaboration control device, the mobile terminal performs an additional modeling job and transmits the additional modeling information corresponding thereto to the collaboration control device. 제 10 항에 있어서,11. The method of claim 10, 상기 협업 제어 장치는, 상기 모바일 단말기에 작업 제어권이 부여되면 상기 모바일 단말기로부터의 추가 모델링 작업에 대응하는 상기 추가 모델링 정보를 상기 테이블탑 인터페이스 장치로 전송하는 테이블탑 인터페이스 기반의 협업 시스템.The collaboration control apparatus, when the job control right is granted to the mobile terminal, a tabletop interface-based collaboration system for transmitting the additional modeling information corresponding to the additional modeling work from the mobile terminal to the tabletop interface device. 제 15 항에 있어서,The method of claim 15, 상기 협업 제어 장치는, 상기 모바일 단말기의 단말기 정보에 따라 상기 모델링 정보의 데이터량을 감소시켜 상기 모바일 단말기로 전송하는 테이블탑 인터페이스 기반의 협업 시스템.The collaboration control apparatus is a tabletop interface-based collaboration system for reducing the amount of data of the modeling information according to the terminal information of the mobile terminal and transmits to the mobile terminal. 제 16 항에 있어서,The method of claim 16, 상기 협업 제어 장치는, CPU, 메모리 및 그래픽카드 성능을 포함하는 상기 단말기 정보에 따라 저사양의 단말기의 경우 렌더링 데이터의 메시를 단순화시키는 방식으로 상기 데이터량을 감소시키는 테이블탑 인터페이스 기반의 협업 시스템.And the collaboration control apparatus reduces the amount of data in a manner that simplifies the mesh of rendering data in the case of a low-end terminal according to the terminal information including CPU, memory and graphics card performance. 협업 제어 장치에서 테이블탑 인터페이스 장치의 조작 신호에 따라 모델링 작업을 수행하는 단계와,Performing a modeling operation according to an operation signal of the tabletop interface device in the cooperative control device; 테이블탑 인터페이스 장치에서 상기 모델링 작업에 대응하는 3차원 영상 데이터, 렌더링 데이터 및 실험 데이터를 포함하는 모델링 정보를 디스플레이하는 단계와,Displaying modeling information including 3D image data, rendering data, and experimental data corresponding to the modeling task in a tabletop interface device; 상기 디스플레이된 모델링 정보를 상기 협업 제어 장치에 전송하는 단계와,Transmitting the displayed modeling information to the collaboration control apparatus; 상기 협업 제어 장치에서 접속된 모바일 단말기로 상기 모델링 정보를 전송하는 단계와,Transmitting the modeling information from the collaboration control device to a connected mobile terminal; 상기 모바일 단말기에서 상기 모델링 정보를 디스플레이하는 단계Displaying the modeling information on the mobile terminal 를 포함하는 테이블탑 인터페이스 기반의 협업 방법.Tabletop interface-based collaboration method comprising a. 제 18 항에 있어서,The method of claim 18, 상기 협업 방법은,The collaboration method, 상기 모델링 정보를 디스플레이한 후에 상기 모바일 단말기에 작업 제어권이 부여된 경우 상기 모바일 단말기를 통해 추가 모델링 작업을 수행하는 단계와,Performing an additional modeling operation through the mobile terminal when a job control right is granted to the mobile terminal after displaying the modeling information; 상기 추가 모델링 작업에 대응하는 추가 모델링 정보를 전송하는 단계와,Transmitting additional modeling information corresponding to the additional modeling task; 상기 추가 모델링 정보를 상기 테이블탑 인터페이스를 통해 디스플레이하는 단계Displaying the additional modeling information through the tabletop interface. 를 더 포함하는 테이블탑 인터페이스 기반의 협업 방법.Tabletop interface-based collaboration method further comprising a. 제 18 항 또는 제 19 항에 있어서,20. The method according to claim 18 or 19, 상기 모델링 작업을 수행하는 단계는, 상기 테이블탑 인터페이스를 통해 입력된 영상에 대한 왜곡 보정과 스크린 조명 보정을 수행하고, 스크린상의 각 객체를 인식하여 그에 대응하는 조작신호를 제공하고, 이에 따라 상기 모델링 작업을 수행하는 것을 특징으로 하는 테이블탑 인터페이스 기반의 협업 방법.The performing of the modeling operation may include performing distortion correction and screen illumination correction on an image input through the tabletop interface, recognizing each object on the screen, and providing a corresponding operation signal, thereby modeling the object. Tabletop interface-based collaboration method characterized in that to perform a task. 제 18 항 또는 제 19 항에 있어서,20. The method according to claim 18 or 19, 상기 모델링 정보를 디스플레이하는 단계는, 상기 모델링 정보의 각 데이터를 디스플레이하기 위한 화면을 윈도우 형태의 위젯(widzet)으로 구성하여 디스플레이하는 것을 특징으로 하는 테이블탑 인터페이스 기반의 협업 방법.The displaying of the modeling information may include configuring and displaying a screen for displaying each piece of data of the modeling information as a widget in the form of a window. 제 18 항 또는 제 19 항에 있어서,20. The method according to claim 18 or 19, 상기 접속된 모바일 단말기로 상기 모델링 정보를 전송하는 단계는, 상기 모바일 단말기를 지시하는 비주얼 태그 영역을 드래그 앤 드롭 방식으로 선택하면, 이에 대응하는 상기 모바일 단말기로 상기 모델링 정보를 전송하기 위한 조작신호로 인식하여 상기 모델링 정보를 전송하는 것을 특징으로 하는 테이블탑 인터페이스 기반의 협업 방법.In the transmitting of the modeling information to the connected mobile terminal, when a visual tag area indicating the mobile terminal is selected by a drag and drop method, an operation signal for transmitting the modeling information to the corresponding mobile terminal is selected. Tabletop interface-based collaboration method characterized in that the recognition and transmitting the modeling information. 제 22 항에 있어서,The method of claim 22, 상기 모델링 정보는, 상기 모바일 단말기의 단말기 정보에 따라 상기 모델링 정보의 데이터량을 감소시켜 상기 모바일 단말기로 전송하는 것을 특징으로 하는 테이블탑 인터페이스 기반의 협업 방법.The modeling information is a tabletop interface-based collaboration method, characterized in that for reducing the amount of data of the modeling information transmitted according to the terminal information of the mobile terminal to the mobile terminal. 제 23 항에 있어서,The method of claim 23, wherein 상기 모델링 정보는, CPU, 메모리 및 그래픽카드 성능을 포함하는 상기 단말기 정보에 따라 저사양의 단말기의 경우 상기 렌더링 데이터의 메시를 단순화시키는 방식으로 상기 데이터량을 감소시키는 것을 특징으로 하는 테이블탑 인터페이스 기반의 협업 방법.The modeling information is based on the tabletop interface, characterized in that for reducing the amount of data in a manner of simplifying the mesh of the rendering data in the case of a low-end terminal according to the terminal information including the CPU, memory and graphics card capabilities Collaboration method.
KR1020080103867A 2008-10-22 2008-10-22 Tabletop interface apparatus, collaboration control apparatus, tabletop interface based collaboration system and its method KR101075420B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080103867A KR101075420B1 (en) 2008-10-22 2008-10-22 Tabletop interface apparatus, collaboration control apparatus, tabletop interface based collaboration system and its method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080103867A KR101075420B1 (en) 2008-10-22 2008-10-22 Tabletop interface apparatus, collaboration control apparatus, tabletop interface based collaboration system and its method

Publications (2)

Publication Number Publication Date
KR20100050612A KR20100050612A (en) 2010-05-14
KR101075420B1 true KR101075420B1 (en) 2011-10-24

Family

ID=42276570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080103867A KR101075420B1 (en) 2008-10-22 2008-10-22 Tabletop interface apparatus, collaboration control apparatus, tabletop interface based collaboration system and its method

Country Status (1)

Country Link
KR (1) KR101075420B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150083942A (en) * 2014-01-10 2015-07-21 한국과학기술원 Collaborative system for improvement of the nuclear power plant operability and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075733A (en) 1999-08-31 2001-03-23 Nec Corp Information input and output device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075733A (en) 1999-08-31 2001-03-23 Nec Corp Information input and output device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150083942A (en) * 2014-01-10 2015-07-21 한국과학기술원 Collaborative system for improvement of the nuclear power plant operability and method thereof
KR101624781B1 (en) * 2014-01-10 2016-06-08 한국과학기술원 Collaborative system for improvement of the nuclear power plant operability and method thereof

Also Published As

Publication number Publication date
KR20100050612A (en) 2010-05-14

Similar Documents

Publication Publication Date Title
Zhu et al. Bishare: Exploring bidirectional interactions between smartphones and head-mounted augmented reality
Langner et al. Multiple coordinated views at large displays for multiple users: Empirical findings on user behavior, movements, and distances
EP3769509B1 (en) Multi-endpoint mixed-reality meetings
Johanson et al. The interactive workspaces project: Experiences with ubiquitous computing rooms
JP5304341B2 (en) Information visualization system, method and program
US11288031B2 (en) Information processing apparatus, information processing method, and information processing system
Gumienny et al. Tele-board: Enabling efficient collaboration in digital design spaces
Ashdown et al. Escritoire: A personal projected display
US20140075370A1 (en) Dockable Tool Framework for Interaction with Large Scale Wall Displays
KR20100063793A (en) Method and apparatus for holographic user interface communication
KR20060052717A (en) Virtual desktop-meta-organization &amp; control system
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
US7508354B1 (en) Multi-board presentation system
US20150116367A1 (en) Information processing device, display enlarging method, and computer readable medium
Ponto et al. CGLXTouch: A multi-user multi-touch approach for ultra-high-resolution collaborative workspaces
US11733857B2 (en) Graphical user interface (GUI) for controlling virtual workspaces produced across information handling systems (IHSs)
Marquardt et al. AirConstellations: In-Air Device Formations for Cross-Device Interaction via Multiple Spatially-Aware Armatures
WO2022111397A1 (en) Control method and apparatus, and electronic device
Beaudouin-Lafon Lessons learned from the wild room, a multisurface interactive environment
US11150860B1 (en) Dynamic virtual workspace with contextual control of input/output (I/O) devices
KR101075420B1 (en) Tabletop interface apparatus, collaboration control apparatus, tabletop interface based collaboration system and its method
CN115291778A (en) Display control method and device, electronic equipment and readable storage medium
Liu Lacome: a cross-platform multi-user collaboration system for a shared large display
Hagiwara et al. CamCutter: Impromptu vision-based cross-device application sharing
Sharma et al. Multi-person Spatial Interaction in a Large Immersive Display Using Smartphones as Touchpads

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee