KR100670792B1 - Virtual manufacturing system using hand interface and method thereof - Google Patents

Virtual manufacturing system using hand interface and method thereof Download PDF

Info

Publication number
KR100670792B1
KR100670792B1 KR1020040102286A KR20040102286A KR100670792B1 KR 100670792 B1 KR100670792 B1 KR 100670792B1 KR 1020040102286 A KR1020040102286 A KR 1020040102286A KR 20040102286 A KR20040102286 A KR 20040102286A KR 100670792 B1 KR100670792 B1 KR 100670792B1
Authority
KR
South Korea
Prior art keywords
hand
virtual
user
virtual production
data
Prior art date
Application number
KR1020040102286A
Other languages
Korean (ko)
Other versions
KR20060063187A (en
Inventor
김용완
양웅연
손욱호
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040102286A priority Critical patent/KR100670792B1/en
Publication of KR20060063187A publication Critical patent/KR20060063187A/en
Application granted granted Critical
Publication of KR100670792B1 publication Critical patent/KR100670792B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

핸드 인터페이스를 통하여 제품의 생산 시뮬레이션을 수행하는 장치 및 그 방법이 개시된다. 본 발명에 따라, 가상 생산 시스템은 가상 생산 환경을 3차원 그래픽 화면으로 만들어 입체영상 디스플레이 장치를 통해 사용자에게 보여 주고, 사용자의 입력에 따라 상기 가상 생산 환경을 변화시키는 시나리오를 기록한 스크립트를 해석하여 상기 가상 생산 환경 그래픽 화면을 갱신하는 가상 생산 그래픽 처리부; 사용자 입력을 받아들이는 핸드 인터페이스에 따라 손의 움직임과 관련된 데이터를 입력받아 처리하는 핸드 인터페이스 처리부; 및 상기 가상 생산 환경과 상기 핸드 인터페이스 처리부를 통한 손의 움직임간의 인터랙션 처리를 수행하여, 상기 핸드 인터페이스 처리부를 통해 사용자가 느끼게 할 반력 또는 압력을 계산하여 상기 핸드 인터페이스 처리부에 전달하는 가상 생산 상호작용 처리부를 포함하는 것을 특징으로 한다. 이에 의해, 가상 생산 환경하에서의 몰입감을 증대시킬 수 있다.An apparatus and method for performing production simulation of a product via a hand interface is disclosed. According to the present invention, the virtual production system makes the virtual production environment into a three-dimensional graphics screen to the user through a three-dimensional image display device, and interprets a script recording a scenario for changing the virtual production environment according to the user's input A virtual production graphic processor for updating a virtual production environment graphic screen; A hand interface processor configured to receive and process data related to hand movements according to a hand interface that receives a user input; And performing interaction processing between the virtual production environment and the movement of the hand through the hand interface processing unit, calculating a reaction force or pressure to be felt by the user through the hand interface processing unit, and transmitting the calculated reaction force or pressure to the hand interface processing unit. Characterized in that it comprises a. Thereby, the immersion feeling in a virtual production environment can be increased.

Description

핸드 인터페이스를 이용한 가상 생산 시스템 및 그 방법 {Virtual manufacturing system using hand interface and method thereof}Virtual manufacturing system using hand interface and method thereof

도 1은 본 발명에 따른 핸드 인터페이스를 이용한 가상 생산 시스템의 구성도,1 is a block diagram of a virtual production system using a hand interface according to the present invention,

도 2는 본 발명에 따른 가상 생산 그래픽 처리부의 상세 구성도,2 is a detailed configuration diagram of a virtual production graphic processing unit according to the present invention;

도 3은 본 발명에 따른 핸드 인터페이스 처리부의 상세 구성도,3 is a detailed configuration diagram of a hand interface processing unit according to the present invention;

도 4는 본 발명에 따른 핸드 인터페이스 처리부를 구비한 장갑형 장치의 구성도, 4 is a block diagram of a glove-type device having a hand interface processing unit according to the present invention,

도 5는 본 발명에 따른 가상 생산 상호작용 처리부의 상세 구성도,5 is a detailed configuration diagram of the virtual production interaction processing unit according to the present invention;

도 6은 본 발명에 따른 핸드 인터페이스를 이용한 가상 생산 방법의 흐름도이다.6 is a flowchart of a virtual production method using a hand interface according to the present invention.

본 발명은 가상환경하에서의 제품 생산 시뮬레이션에 관한 것으로, 보다 상세하게는 핸드 인터페이스를 통하여 제품의 생산 시뮬레이션을 수행하는 장치 및 그 방법에 관한 것이다.The present invention relates to a product production simulation in a virtual environment, and more particularly, to an apparatus and method for performing a production simulation of a product through a hand interface.

최근 제품을 실제로 만들어 보지 않고 제품 생산에 관련된 전 공정을 가상환경으로 구축하고 그 가상환경하에서 제품의 생산을 시뮬레이션해 봄으로써, 제품의 시장 출시 기간의 단축과 개발 비용을 획기적으로 절감하여 제조업의 경쟁력을 향상시키고 있다. 이와 같이 가상환경을 구축하고 시뮬레이션하는데 있어서, 핸드 인터페이스 기술이 필요하다. 핸드 인터페이스 기술은, 인간의 손과 가상환경의 각 물체들간의 인터페이스 기술로써, 기존의 시각 및 청각적 특수 효과를 보완하여 한차원 높은 몰입감을 제공하는 인간 중심의 인터페이스 기술로서, 게임 및 가상 의료 분야에서 사용되고 있으나 아직까지 가상적 제품 생산 등의 제조업 분야에서 적용될 수 있는 방법은 개시되지 않았다.By creating virtual environment of all processes related to product production without actually making a product recently, and simulating the production of product under the virtual environment, it can shorten the time-to-market of products and drastically reduce development cost, thus improving the competitiveness of manufacturing industry. Is improving. In order to build and simulate a virtual environment, hand interface technology is required. Hand interface technology is an interface technology between human hands and objects in a virtual environment. It is a human-centered interface technology that provides a higher level of immersion by supplementing existing visual and auditory special effects. Although it is used, a method that can be applied in the manufacturing field such as virtual product production has not been disclosed.

상기 핸드 인터페이스 기술에 관한 한국특허공개공보 2003-0085683, 가상 현실과 햅틱 장치를 이용한 소화기 내시경 수련 시스템은, 가상 현실과 햅틱(haptic) 장치를 이용하여 수련의가 가상 현실을 통해 내시경 시뮬레이션을 수행하는 것을 가능하게 하는 소화기 내시경 시스템을 개시하고 있다. 햅틱(haptic) 기술은 가상의 환경에서 실제 환경을 느끼도록 하거나 물리적으로 촉감을 전달해 주는 기술을 말한다. 그러나, 이는 제품의 생산을 시뮬레이션해 보는 것이 아니라, 내시경 시뮬레이션이라는 일종의 서비스 관련 시뮬레이션이다.Korean Patent Laid-Open Publication No. 2003-0085683 for the hand interface technology, a fire extinguisher endoscope training system using a virtual reality and a haptic device, the practitioner using the virtual reality and the haptic device to perform the endoscope simulation through the virtual reality A digestive endoscopy system is disclosed that makes this possible. Haptic (haptic) technology refers to a technology that allows you to feel the real environment in a virtual environment or to physically convey a touch. However, it is not a simulation of the production of the product, but a kind of service related simulation called endoscopy simulation.

또한, 한국특허공개공보 2004-0051264, 햅틱 인터페이스 장치를 기반으로 하는 가상현실 재활 시스템 및 방법은, 가상현실과 햅틱 인터페이스를 이용하여 재활학습을 수행할 수 있는 환경을 재활이 요구되는 환자에게 제공하고, 재활 치료를 수행하는 과정과 그 결과에 대한 정보를 네트워크를 통해 원격지에서 수신함으로 써, 원격지에서 재활 치료 및 예방을 수행할 수 있도록 한 가상현실 재활 시스템을 개시하고 있다. 그러나, 여기에서는 발목 착용형 햅틱 인터페이스를 가지고 있을뿐, 본 발명과 같이 핸드 인터페이스를 이용한 가상 생산 시스템과는 차이가 있다.In addition, Korean Patent Laid-Open Publication No. 2004-0051264, A virtual reality rehabilitation system and method based on the haptic interface device, provides a patient who needs rehabilitation environment to perform rehabilitation learning using the virtual reality and the haptic interface In addition, the present invention discloses a virtual reality rehabilitation system that can perform rehabilitation treatment and prevention at a remote location by receiving information about the process of rehabilitation treatment and the result from a remote location through a network. However, it only has an ankle-worn haptic interface, which is different from the virtual production system using the hand interface as in the present invention.

따라서, 본 발명이 이루고자 하는 기술적 과제는 가상 생산을 위해 마련된 3차원 가상 공간내에서 장갑형 핸드 인터페이스 장치를 이용하여 현실감있는 반력감 및 압박감을 직접 느껴가면서 제품 생산 공정을 시뮬레이션할 수 있는 가상 생산 시스템 및 그 방법을 제공하는 것이다.Therefore, the technical problem to be achieved by the present invention is a virtual production system that can simulate the product production process while directly feeling a realistic reaction and pressure using a glove-type hand interface device in a three-dimensional virtual space prepared for virtual production and To provide a way.

다시 말하면, 가상 품평 및 가상 훈련 등 뿐만 아니라 가상 생산을 위하여 핸드 인터페이스를 사용함으로써 현실감 있는 반력감 및 압박감을 느낄 수 있게 하여 몰입감을 증대 시킬 수 있는 시스템과 그 방법에 관한 것으로, 제품 생산 공정을 실제와 유사하게 시뮬레이션화하여 제품 설계의 오류, 제품의 조립시의 문제점 또는 사용상 결함 등을 사전에 발견하기 위한 가상 생산 시스템 및 방법을 제공하는 것이다.In other words, the present invention relates to a system and a method for increasing immersion by allowing users to feel realistic reaction and pressure by using a hand interface for virtual production as well as virtual review and virtual training. Similarly, the simulation provides a virtual production system and method for proactively detecting errors in product design, problems in assembling the product or defects in use.

상기 기술적 과제는 본 발명에 따라, 가상 생산 환경을 3차원 그래픽 화면으로 만들어 입체영상 디스플레이 장치를 통해 사용자에게 보여 주고, 사용자의 입력에 따라 상기 가상 생산 환경을 변화시키는 시나리오를 기록한 스크립트를 해석하여 상기 가상 생산 환경 그래픽 화면을 갱신하는 가상 생산 그래픽 처리부; 사용자 입력을 받아들이는 핸드 인터페이스에 따라 손의 움직임과 관련된 데이터를 입력받 아 처리하는 핸드 인터페이스 처리부; 및 상기 가상 생산 환경과 상기 핸드 인터페이스 처리부를 통한 손의 움직임간의 인터랙션 처리를 수행하여, 상기 핸드 인터페이스 처리부를 통해 사용자가 느끼게 할 반력 또는 압력을 계산하여 상기 핸드 인터페이스 처리부에 전달하는 가상 생산 상호작용 처리부를 포함하는 것을 특징으로 하는 가상 생산 시스템에 의해 달성된다.According to the present invention, a virtual production environment is made into a three-dimensional graphic screen to show to the user through a three-dimensional image display device, by analyzing a script recording a scenario for changing the virtual production environment according to the user's input A virtual production graphic processor for updating a virtual production environment graphic screen; A hand interface processor configured to receive and process data related to hand movements according to a hand interface that receives a user input; And performing interaction processing between the virtual production environment and the movement of the hand through the hand interface processing unit, calculating a reaction force or pressure to be felt by the user through the hand interface processing unit, and transmitting the calculated reaction force or pressure to the hand interface processing unit. It is achieved by a virtual production system comprising a.

상기 가상 생산 그래픽 처리부는, 생산하고자 하는 제품 또는 부품에 대한 데이터 및 작업환경을 가상 현실상으로 구현하기 위한 그래픽 데이터를 저장하고 있는 CAD 데이터 저장부; 상기 CAD 데이터 저장부에서 읽어온 CAD 데이터를 가상현실 데이터로 변환하기 위하여 3차원 렌더링을 수행하는 CAD-to-VR 데이터 변환부; 상기 렌더링된 3차원 그래픽 데이터에서 소정의 방법에 따라 불필요한 그래픽 데이터를 제거하는 초대용량 3차원 모델 실시간 가시화부; 미리 정해진 소정의 방식에 따라, 사용자의 입력을 상기 가상 생산 환경에 반영하기 위한 시나리오를 저장하는 시나리오 스크립트 저장부; 및 상기 초대용량 3차원 데이터 실시간 가시화부와 상기 시나리오 스크립트 저장부로부터 수신된 데이터를 3차원 디스플레이 장치에서 입체적으로 디스플레이할 수 있는 데이터 형태로 만드는 입체영상 가시화부를 포함하는 것이 바람직하다.The virtual production graphic processing unit may include a CAD data storage unit storing graphic data for realizing data and a work environment of a product or a part to be produced in a virtual reality; A CAD-to-VR data converter configured to perform 3D rendering to convert CAD data read from the CAD data storage into virtual reality data; A super-capacity three-dimensional model real-time visualization unit for removing unnecessary graphic data from the rendered three-dimensional graphic data according to a predetermined method; A scenario script storage unit for storing a scenario for reflecting a user input in the virtual production environment according to a predetermined method; And a stereoscopic image visualization unit configured to make the data received from the supercapacity three-dimensional data real-time visualization unit and the scenario script storage unit into a data form that can be three-dimensionally displayed on a three-dimensional display apparatus.

상기 핸드 인터페이스 처리부는, 사용자의 손 움직임을 검출하고, 손의 움직임 정도에 반발력을 주는 핸드 구동부; 상기 검출된 손 움직임에 따라 발생한 전기적인 신호를 상기 핸드 구동부로부터 수신하여, 손과 손가락의 위치 및 움직임 방향을 해석하고, 손에 반력감 및 압박감을 주기 위한 전기적인 신호로 만들어 상기 핸드 구동부에 전달하는 핸드 인터페이스 제어부; 및 상기 손의 움직임 정보를 상기 가상 생산 상호작용 처리부에 무선으로 전달하여, 충돌처리 및 물리 기반 모델링을 수행하는 핸드 인터페이스 통신부를 포함하는 것이 바람직하다.The hand interface processor may include: a hand driver which detects a user's hand movement and gives a repulsive force to the degree of the hand movement; Receives an electric signal generated according to the detected hand movement from the hand driver, analyzes the position and direction of movement of the hand and the finger, and converts the signal into an electric signal for giving a reaction force and a feeling of pressure to the hand driver. A hand interface controller; And a hand interface communicator wirelessly transferring the motion information of the hand to the virtual production interaction processor to perform collision processing and physically-based modeling.

상기 가상 생산 상호작용 처리부는, 상기 가상 생산 환경에서 상기 핸드 인터페이스 처리부와 가상 물체와의 정확한 충돌점 및 충돌표면을 계산하는 실시간 충돌 처리부; 가상 생산 환경상에서 가상 물체와의 상호작용을 위한 반발력 생성 모델링을 수행하여 강체 및 비정형 물체에 대해 동역학 시뮬레이션을 수행하는 물리 기반 모델링부; 및 현실감 있는 손의 반력감 및 압박감을 주기 위하여 햅틱 디스플레이 정보를 생성하여 상기 핸드 인터페이스 처리부로 전송하는 햅틱 디스플레이 정보 처리부를 포함하는 것이 바람직하다.The virtual production interaction processing unit may include a real-time collision processing unit that calculates an exact collision point and a collision surface between the hand interface processing unit and a virtual object in the virtual production environment; A physics-based modeling unit for performing dynamic simulation on rigid bodies and atypical objects by performing repulsive force generation modeling for interaction with virtual objects in a virtual production environment; And a haptic display information processor configured to generate haptic display information and transmit the haptic display information to the hand interface processor in order to give a realistic hand reaction and pressure.

한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 (a) 가상 생산 환경을 3차원 그래픽 화면으로 만들어 입체영상 디스플레이 장치를 통해 사용자에게 보여주고, 사용자의 입력에 따라 상기 가상 생산 환경을 변화시키는 시나리오를 기록한 스크립트를 해석하여 가상환경 그래픽 화면을 만드는 단계; (b) 사용자 입력을 받아들이는 핸드 인터페이스에 따라 손의 움직임과 관련된 데이터를 입력받아 처리하는 단계; 및 (c) 상기 가상 환경과 상기 핸드 인터페이스를 통한 손의 움직임간의 인터랙션의 처리를 수행하여, 사용자에게 느끼도록 할 반력 또는 압력을 계산하여 상기 핸드 인터페이스를 통해 전달하는 단계를 포함하는 것을 특징으로 하는 가상 생산 방법에 의해서도 달성된다.On the other hand, according to another field of the present invention, the technical problem (a) to make a virtual production environment to a three-dimensional graphics screen to the user through a stereoscopic image display device, and to change the virtual production environment in accordance with the user input Interpreting a script recording a scenario to create a virtual environment graphic screen; (b) receiving and processing data related to hand movement in accordance with a hand interface that accepts user input; And (c) processing an interaction between the movement of the hand through the virtual environment and the hand interface, calculating a reaction force or pressure to be felt by the user, and transmitting the calculated reaction force or pressure through the hand interface. It is also achieved by a virtual production method.

상기 (a) 단계는, CAD-to-VR 데이터 변환, 초대용량 3차원 데이터 가시화를 수행하여 가상 생산 환경을 위한 그래픽 처리를 수행하고, 미리 입력된 방식에 따라 만들어진 시나리오 스크립트를 구동하며 이후 사용자가 장갑형 구동장치를 사용하여 만들어낸 손의 움직임 정보를 감지하고 처리하여, 사용자의 손 움직임 정보를 입력받는 것이 바람직하다.In the step (a), CAD-to-VR data conversion and super-capacity three-dimensional data visualization are performed to perform graphic processing for a virtual production environment, and to drive a scenario script created according to a pre-input method. It is preferable to receive the user's hand movement information by detecting and processing the hand movement information generated using the glove-type driving device.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 핸드 인터페이스를 이용한 가상 생산 시스템의 구성도이다.1 is a block diagram of a virtual production system using a hand interface according to the present invention.

가상 생산 시스템(100)은 가상 생산 그래픽 처리부(110), 핸드 인터페이스 처리부(120) 및 가상 생산 상호작용 처리부(130)를 포함한다. 가상 생산 그래픽 처리부(110)는 제품에 대한 가상 생산 환경을 그래픽 화면으로 만들어 입체영상 디스플레이 장치(140)로 전달하여 사용자에게 가상 환경을 보여주고, 사용자의 입력에 따라 가상 환경을 변화시키는 시나리오를 기록한 스크립트를 해석하여 가상환경 그래픽 화면을 만든다. 핸드 인터페이스 처리부(120)는 사용자의 손의 움직임의 방향, 세기 등을 입력받아 처리하여 만든 손 움직임 정보를 가상 생산 그래픽 처리부(110)로 전달한다. 가상 생산 상호작용 처리부(130)는 가상 환경과 핸드 인터페이스간의 충돌 처리, 반력 및 압력을 계산하여 핸드 인터페이스 처리부(120)에 전달하여 실제의 몰입감을 사용자가 느끼도록 한다.The virtual production system 100 includes a virtual production graphic processor 110, a hand interface processor 120, and a virtual production interaction processor 130. The virtual production graphic processor 110 displays a virtual environment to the user by making a virtual production environment for the product into a graphic screen and transmitting the same to the stereoscopic image display device 140, and records a scenario of changing the virtual environment according to the user's input. Interpret the script to create a virtual environment graphic screen. The hand interface processor 120 transmits the hand motion information generated by receiving and processing the direction, strength, and the like of the user's hand to the virtual production graphic processor 110. The virtual production interaction processor 130 calculates a collision process, reaction force, and pressure between the virtual environment and the hand interface and transmits the calculated power to the hand interface processor 120 so that the user can feel the actual immersion.

도 2는 본 발명에 따른 가상 생산 그래픽 처리부의 상세 구성도이다.2 is a detailed block diagram of the virtual production graphic processing unit according to the present invention.

도 2를 참조하면, 가상 생산 그래픽 처리부(110)는 CAD 데이터 저장부(210), CAD-to-VR 데이터 변환부(220), 초대용량 3차원 모델 실시간 가시화부(230), 입체영상 가시화부(240) 및 시나리오 스크립트 저장부(250)를 포함한다.Referring to FIG. 2, the virtual production graphic processor 110 may include a CAD data storage 210, a CAD-to-VR data converter 220, a super capacity 3D model real time visualization unit 230, and a stereoscopic image visualization unit. 240 and the scenario script storage 250.

CAD-to-VR 데이터 변환부(220)는, 가상 생산 환경을 구축하기 위한 그래픽 데이터를 저장하고 있는 CAD 데이터 저장부(210)에서 읽어 온다. CAD 데이터는 생산하고자 하는 제품 또는 부품과, 작업 환경을 가상 현실상으로 구현하기 위한 데이터이다. 그리고, 읽어온 CAD 데이터는 가상현실(Virtual Reality, VR) 데이터로 변환되어 3차원 렌더링이 수행된다. 초대용량 3차원 모델 실시간 가시화부(230)는 렌더링된 3차원 그래픽 데이터의 양이 너무 많은 경우에는, 사용자가 시점(view point)을 바꾸거나 모델을 움직이는 동안 끊김 현상이 나타날 수 있는데 이를 줄이기 위한 차단부위 골라내기(occlusion culling)를 수행하거나, 3차원 그래픽 데이터를 다단계(Level Of Detail) 형태로 표현하여 레벨별로 그 상세도에 차이를 둔다.The CAD-to-VR data conversion unit 220 reads from the CAD data storage unit 210 that stores graphic data for constructing the virtual production environment. CAD data is data for realizing a product or part to be produced and a working environment in virtual reality. The read CAD data is converted into virtual reality (VR) data to perform 3D rendering. The super-capacity three-dimensional model real-time visualization unit 230 may be disconnected while the user changes the view point or moves the model when the amount of rendered three-dimensional graphic data is too large. Occlusion culling is performed, or three-dimensional graphic data is expressed in the form of a level of detail, and the detail of each level is differentiated.

한편, 배경중에서 필요한 부분만을 골라내는 것을 컬링(culling)이라고 한다. 컬(cull)이란, 어떤 무리에서 따서 골라낸다는 뜻으로 배경중에서 눈에 보이는 부분만을 따서 골라내고 나머지는 버리는 작업을 의미한다. 컬링에는 Backface culling, view frustum culling 및 Occlusion Culling 등이 있는데, Occlusion culling은 완전히 불투명한 벽과 같은 물체에 완전히 가려진 물체는 View Frustum 상에 들어온다고 하더라도 표시할 필요가 없다는 점을 이용하여 골라내는 것을 말한다.On the other hand, selecting only the necessary part of the background is called culling. Cull means picking from a group and picking only the visible part of the background and discarding the rest. Curling includes Backface culling, view frustum culling, and Occlusion Culling. Occlusion culling means that objects that are completely obscured by objects, such as fully opaque walls, do not need to be displayed, even if they enter the View Frustum. .

시나리오 스크립트 저장부(250)는 미리 입력된 방식으로 사용자가 가상 품평 이나 가상 훈련뿐만 아니라 가상 생산의 시뮬레이션 가능하도록 작성된 스크립트를 저장한다. 입체영상 가시화부(240)는 초대용량 3차원 데이터 실시간 가시화부(230)와 시나리오 스크립트 저장부(250)에서 입력된 데이터를 특수안경이나 기타 3차원 디스플레이 장치에서 입체적으로 디스플레이할 수 있는 데이터 형태로 만들어 입체영상 디스플레이 장치(150)로 출력한다.The scenario script storage unit 250 stores a script written in a pre-input manner so that the user can simulate virtual production as well as virtual review or virtual training. The stereoscopic image visualization unit 240 is a data type that can display the data input from the super-capacity 3D data real-time visualization unit 230 and the scenario script storage unit 250 in a special glasses or other three-dimensional display device in three dimensions. And output to the stereoscopic image display device 150.

도 3은 본 발명에 따른 핸드 인터페이스 처리부의 상세 구성도이다.3 is a detailed block diagram of a hand interface processing unit according to the present invention.

핸드 인터페이스 처리부(120)는 핸드 구동부(310), 핸드 인터페이스 제어부(320) 및 핸드 인터페이스 통신부(330)를 포함한다. 핸드 구동부(310)는 사용자가 핸드 구동부(310)가 부착된 장갑과 같은 장치를 착용하여 입력한 손 움직임 정보를 받아들여 손의 위치와 방향 및 손가락 관절의 구부러짐 정도를 검출하는 센서를 구비한다. 그리고, 핸드 구동부(310)는 손을 움직여 가상 물체를 잡았을 경우, 현실감을 위하여 손가락 각각에 반력감과 압박감을 줄 수 있도록 액츄에이터(actuator)를 구비한다. 핸드 인터페이스 제어부(320)는 손의 움직임으로부터 발생한 전기적인 신호를 핸드 구동부(310)로부터 전달받아, 손과 손가락의 위치 및 움직임 방향을 해석하고 손의 반력감 및 압박감을 주기 위한 전기적인 신호를 액츄에이터에 전달한다. 핸드 인터페이스 통신부(330)는 손의 움직임 정보를 가상 생산 상호작용 처리부에 무선으로 전달하여, 충돌처리 및 물리 기반 모델링을 수행할 수 있도록 한다.The hand interface processor 120 includes a hand driver 310, a hand interface controller 320, and a hand interface communicator 330. The hand driver 310 includes a sensor that receives hand movement information input by a user wearing a device such as a glove to which the hand driver 310 is attached and detects the position and direction of the hand and the degree of bending of the finger joint. In addition, the hand driving unit 310 is provided with an actuator (actuator) to give a sense of reaction and pressure to each of the fingers for a sense of reality when the hand moves to catch the virtual object. The hand interface controller 320 receives an electric signal generated from the movement of the hand from the hand driver 310 to interpret the position and the direction of movement of the hand and the finger and to provide an electrical signal for giving the reaction force and the feeling of pressure of the hand. To pass on. The hand interface communicator 330 wirelessly transmits hand motion information to the virtual production interaction processor to perform collision processing and physically-based modeling.

도 4는 본 발명에 따른 핸드 인터페이스 처리부를 구비한 장갑형 장치의 구성도이다.Figure 4 is a block diagram of a glove-type device having a hand interface processing unit according to the present invention.

핸드 구동부(310)는 장갑과 같은 장치가 될 수 있으며, 공압식 공기주머니(410), 광학식 손가락 관절 센서(420) 및 공압식 근육 액츄에이터(430)를 포함한다. 공압식 공기 주머니(410)는 각 손가락 마디마다 2개씩 위치한다. 그리고, 손바닥에도 커다란 공압식 공기 주머니(410) 1개가 위치한다. 따라서, 공압식 공기 주머니(410)는 손가락과 손바닥으로 가상 물체를 잡은 경우 손가락과 손바닥에 압박감을 준다. 광학식 손가락 관절 센서(420)는 손가락 관절의 구부러짐 정도를 측정한다. 공압식 근육 액츄에이터(430)는 손가락의 손등 방향으로 부착이 되어 있어 손가락에 반력감을 준다.The hand drive 310 may be a device such as a glove, and includes a pneumatic pouch 410, an optical finger joint sensor 420, and a pneumatic muscle actuator 430. Two pneumatic pouches 410 are located for each fingertip. In addition, one large pneumatic pouch 410 is located in the palm of the hand. Therefore, the pneumatic pouch 410 provides a feeling of pressure on the fingers and palms when the virtual object is held by the fingers and palms. The optical finger joint sensor 420 measures the degree of bending of the finger joint. Pneumatic muscle actuator 430 is attached to the back of the hand of the finger gives a sense of reaction to the finger.

도 5는 본 발명에 따른 가상 생산 상호작용 처리부의 상세 구성도이다.5 is a detailed block diagram of the virtual production interaction processing unit according to the present invention.

가상 생산 상호작용 처리부(130)는 실시간 충돌 처리부(510), 물리 기반 모델링부(520) 및 햅틱 디스플레이 정보 처리부(530)를 포함한다. 실시간 충돌 처리부(510)는 복잡하게 구성된 가상 생산 환경에서 핸드 인터페이스 처리부(120)를 통한 가상 물체와의 정확한 충돌점 및 충돌표면을 계산한다. 물리 기반 모델링부(520)는 가상 생산 환경상에서 가상 물체와의 상호작용을 위한 반발력 생성 모델링을 수행하여 강체 및 비정형 물체에 대해 동역학 시뮬레이션을 수행한다. 햅틱 디스플레이 정보 처리부(530)는 현실감 있는 손의 반력감 및 압박감을 주기 위하여 햅틱 디스플레이 정보를 핸드 인터페이스 통신부(330)에 전송하여 핸드 구동부(310)를 구동시키게 한다.The virtual production interaction processor 130 includes a real time collision processor 510, a physically-based modeling unit 520, and a haptic display information processor 530. The real-time collision processing unit 510 calculates the exact collision point and the collision surface with the virtual object through the hand interface processing unit 120 in a complicated virtual production environment. The physics-based modeling unit 520 performs dynamic modeling for rigid bodies and atypical objects by performing repulsive force generation modeling for interaction with virtual objects in a virtual production environment. The haptic display information processor 530 transmits the haptic display information to the hand interface communicator 330 to drive the hand driver 310 in order to give a realistic hand reaction and pressure.

도 6은 본 발명에 따른 핸드 인터페이스를 이용한 가상 생산 방법의 흐름도이다.6 is a flowchart of a virtual production method using a hand interface according to the present invention.

우선, CAD-to-VR 데이터 변환, 초대용량 3차원 데이터 가시화를 수행하여 가상 생산 환경을 위한 그래픽 처리를 수행한다. 그리고 미리 입력된 방식에 따라 만들어진 시나리오 스크립트를 구동한다(S610). 이후 사용자가 장갑형 구동장치 등을 사용하여 만들어낸 손의 움직임 정보를 핸드 인터페이스 처리부(120)를 통해 감지하고 처리하여(S620), 사용자의 손 움직임 정보를 입력받는다(S630). 그리고, 사용자 손을 움직이는 동안 가상 생산 환경내의 가상 물체와 충돌하였는지 판단하고(S640), 충돌이 발생하였을 경우에는 핸드 인터페이스 처리부(120)를 통해 구동되는 충돌된 가상 물체와의 반력감 및 압력감을 사용자에게 전달한다(S650). 충돌이 없는 경우에는, 사용자의 손 움직임 정보를 계속해서 입력받는다(S630). 마지막으로, 사용자의 손의 움직임을 통해 변경된 가상 생산 환경 내의 가상 물체의 위치, 움직임 등의 변경 데이터를 가상 생산 그래픽 처리부(110)에 전달하여 가상 생산 환경을 업데이트 한다(S660).First, CAD-to-VR data conversion and ultra-capacity three-dimensional data visualization are performed to perform graphic processing for a virtual production environment. In operation S610, the scenario script generated according to the input method is driven. Thereafter, the user detects and processes the motion information of the hand generated by using a glove-type driving device through the hand interface processor 120 (S620), and receives the user's hand motion information (S630). In addition, it is determined whether the collision with the virtual object in the virtual production environment while moving the user's hand (S640), if a collision occurs, the reaction force and pressure feeling with the impacted virtual object driven through the hand interface processing unit 120 Deliver to (S650). If there is no collision, the user's hand movement information is continuously input (S630). Finally, the virtual production environment is updated by transferring the change data, such as the position and movement of the virtual object in the virtual production environment, changed by the user's hand to the virtual production graphic processor 110 (S660).

한편, 전술한 가상 생산 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 가상 생산 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.On the other hand, the above-described virtual production method can be created by a computer program. Codes and code segments constituting the program can be easily inferred by a computer programmer in the art. The program is also stored in a computer readable media, and read and executed by a computer to implement a virtual production method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본 질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

전술한 바와 같이 본 발명에 따르면, 산업계에서 요구되고 있는 가상 품평 및 가상 훈련뿐만 아니라 가상 생산을 핸드 인터페이스를 통하여 시뮬레이션함으로써 현실감 있는 반력감 및 압박감을 사용자에게 느낄 수 있도록 하여, 가상 생산 환경하에서의 몰입감을 증대시킬 수 있다. 또한, 종래의 3차원 시각화에 의존하는 가상 생산 시스템에서 벗어나 핸드 인터페이스를 통해 사용자가 보다 직관적으로 제품을 디자인, 품평, 조립 등의 제작 공정을 시뮬레이션 할 수 있는 효과가 있다.As described above, according to the present invention, the virtual production and the virtual training required by the industry, as well as simulate the virtual production through the hand interface to make the user feel realistic reaction force and pressure, immersion in the virtual production environment You can increase it. In addition, there is an effect that the user can more intuitively simulate the manufacturing process, such as designing, reviewing, assembling the product through the hand interface from the virtual production system that relies on the conventional three-dimensional visualization.

Claims (8)

3차원 그래픽 화면을 통해 사용자가 가시할 수 있는 가상 생산 환경의 생성 및 상기 사용자의 입력을 반영하여 상기 가상 생산 환경을 변화시키기 위하여 상기 사용자의 입력에 따라 상기 가상 생산 환경을 변화시키는 시나리오를 기록한 스크립트를 해석하여 상기 가상 생산 환경의 갱신을 하는 가상 생산 그래픽 처리부;A script that records a scenario of changing the virtual production environment according to the user's input in order to change the virtual production environment by creating a virtual production environment visible to the user through a 3D graphic screen and reflecting the user's input. A virtual production graphic processor for updating the virtual production environment by interpreting the virtual production environment; 사용자의 손의 움직임을 포함하는 사용자 입력을 수신, 해석하여 전기적인 신호로 변환하여 전송하며, 상기 사용자 입력에 대한 압박감 및 반박감을 포함하는 사용자 응답을 위한 데이터를 수신하는 핸드 인터페이스 처리부; 및A hand interface processor for receiving, interpreting, and converting a user input including a movement of a user's hand into an electrical signal, and transmitting data, and receiving data for a user response including a feeling of pressure and repulsion of the user input; And 상기 가상 생산 환경과 상기 핸드 인터페이스 처리부를 통한 손의 움직임간의 인터랙션 처리를 수행하여, 상기 핸드 인터페이스 처리부를 통해 사용자가 느끼게 할 반력 또는 압력을 계산하여 상기 핸드 인터페이스 처리부에 전달하는 가상 생산 상호작용 처리부를 포함하는 것을 특징으로 하는 가상 생산 시스템.Interaction processing between the virtual production environment and the movement of the hand through the hand interface processing unit, the virtual production interaction processing unit for calculating the reaction force or pressure to be felt by the user through the hand interface processing unit and delivers it to the hand interface processing unit Virtual production system comprising a. 제1항에 있어서, 상기 가상 생산 그래픽 처리부는The method of claim 1, wherein the virtual production graphics processing unit 생산하고자 하는 제품 또는 부품에 대한 데이터 및 작업환경을 가상 현실상으로 구현하기 위한 그래픽 데이터를 저장하고 있는 CAD 데이터 저장부;A CAD data storage unit storing graphic data for realizing data and a work environment of a product or a part to be produced in a virtual reality; 상기 CAD 데이터 저장부에서 읽어온 CAD 데이터를 가상현실 데이터로 변환하기 위하여 3차원 렌더링을 수행하는 CAD-to-VR 데이터 변환부;A CAD-to-VR data converter configured to perform 3D rendering to convert CAD data read from the CAD data storage into virtual reality data; 상기 렌더링된 3차원 그래픽 데이터에서 차단부위의 삭제 또는 중요도에 따라 상세도에 차이를 두는 것으로 불필요한 그래픽 데이터를 제거하는 초대용량 3차원 모델 실시간 가시화부;A super-capacity three-dimensional model real-time visualization unit for removing unnecessary graphic data by varying the degree of detail according to the deletion or importance of the blocking portion in the rendered three-dimensional graphic data; 사용자의 입력을 상기 가상 생산 환경에 반영하기 위한 시나리오를 저장하는 시나리오 스크립트 저장부; 및A scenario script storage unit for storing a scenario for reflecting a user input to the virtual production environment; And 상기 초대용량 3차원 데이터 실시간 가시화부와 상기 시나리오 스크립트 저장부로부터 수신된 데이터를 3차원 디스플레이 장치에서 입체적으로 디스플레이할 수 있는 데이터 형태로 만드는 입체영상 가시화부를 포함하는 것을 특징으로 하는 가상 생산 시스템.And a stereoscopic image visualization unit configured to make the data received from the supercapacity three-dimensional data real-time visualization unit and the scenario script storage unit into a data form that can be three-dimensionally displayed on a three-dimensional display apparatus. 제2항에 있어서, 상기 초대용량 3차원 모델 실시간 가시화부는The ultra-capacity three-dimensional model real-time visualization unit according to claim 2 사용자가 시점(view point)을 바꾸거나 가상 환경상의 물체를 움직이는 동안 발생하는 끊김 현상을 제거하기 위하여 차단부위 골라내기(occlusion culling)를 수행하거나, 3차원 그래픽 데이터를 다단계 형태(Level Of Detail)로 표현하는 것을 특징으로 하는 가상 생산 시스템.Occlusion culling is performed to remove the breaks that occur while the user changes the view point or moves an object in the virtual environment, or the three-dimensional graphic data is level-detailed. Virtual production system, characterized in that the representation. 제1항에 있어서, 상기 핸드 인터페이스 처리부는The method of claim 1, wherein the hand interface processing unit 사용자의 손 움직임을 검출하고, 손의 움직임 정도에 반발력을 주는 핸드 구동부;A hand driver which detects a user's hand movement and gives a repulsive force to the degree of hand movement; 상기 검출된 손 움직임에 따라 발생한 전기적인 신호를 상기 핸드 구동부로부터 수신하여, 손과 손가락의 위치 및 움직임 방향을 해석하고, 손에 반력감 및 압박감을 주기 위한 전기적인 신호로 만들어 상기 핸드 구동부에 전달하는 핸드 인터페이스 제어부; 및Receives an electric signal generated according to the detected hand movement from the hand driver, analyzes the position and direction of movement of the hand and the finger, and converts the signal into an electric signal for giving a reaction force and a feeling of pressure to the hand driver. A hand interface controller; And 상기 손의 움직임 정보를 상기 가상 생산 상호작용 처리부에 무선으로 전달하여, 충돌처리 및 물리 기반 모델링을 수행하는 핸드 인터페이스 통신부를 포함하는 것을 특징으로 하는 가상 생산 시스템.And a hand interface communication unit which wirelessly transmits the motion information of the hand to the virtual production interaction processing unit to perform collision processing and physically-based modeling. 제4항에 있어서, 상기 핸드 구동부는The method of claim 4, wherein the hand drive unit 사용자로부터의 손 움직임을 감지하여 손의 위치와 방향 및 손가락 관절의 구부러짐 정도를 검출하는 센서; 및Sensor for detecting the movement of the hand from the user to detect the position and direction of the hand and the degree of bending of the finger joint; And 손을 움직여 가상 물체를 잡았을 경우, 현실감을 주기 위하여 손가락 각각에 반력감과 압박감을 줄 수 있도록 액츄에이터(actuator)를 포함하는 것을 특징으로 하는 가상 생산 시스템.Virtual actuator system, characterized in that it comprises an actuator (actuator) to give a sense of reaction and pressure to each finger to give a sense of reality when moving the hand to catch the virtual object. 제1항에 있어서, 상기 가상 생산 상호작용 처리부는The method of claim 1, wherein the virtual production interaction processing unit 상기 가상 생산 환경에서 상기 핸드 인터페이스 처리부와 가상 물체와의 정확한 충돌점 및 충돌표면을 계산하는 실시간 충돌 처리부;A real time collision processor for calculating an accurate collision point and a collision surface between the hand interface processor and the virtual object in the virtual production environment; 가상 생산 환경상에서 가상 물체와의 상호작용을 위한 반발력 생성 모델링을 수행하여 강체 및 비정형 물체에 대해 동역학 시뮬레이션을 수행하는 물리 기반 모델링부; 및A physics-based modeling unit for performing dynamic simulation on rigid bodies and atypical objects by performing repulsive force generation modeling for interaction with virtual objects in a virtual production environment; And 현실감 있는 손의 반력감 및 압박감을 주기 위하여 햅틱 디스플레이 정보를 생성하여 상기 핸드 인터페이스 처리부로 전송하는 햅틱 디스플레이 정보 처리부를 포함하는 것을 특징으로 하는 가상 생산 시스템.And a haptic display information processor for generating haptic display information and transmitting the haptic display information to the hand interface processor in order to give a realistic hand reaction and pressure. (a) 3차원 그래픽 화면을 통해 사용자가 가시할 수 있는 가상 생산 환경의 생성 및 상기 사용자의 입력을 반영하여 상기 가상 생산 환경을 변화시키기 위하여 상기 사용자의 입력에 따라 상기 가상 생산 환경을 변화시키는 시나리오를 기록한 스크립트를 해석하여 상기 가상 생산 환경의 갱신을 하는 단계;(a) a scenario in which the virtual production environment is changed according to the input of the user to change the virtual production environment by generating a virtual production environment visible to the user through a 3D graphic screen and reflecting the input of the user; Interpreting the recorded script to update the virtual production environment; (b) 사용자의 손의 움직임을 포함하는 사용자 입력을 수신, 해석하여 전기적인 신호로 변환하여 전송하며, 상기 사용자 입력에 대한 압박감 및 반박감을 포함하는 사용자 응답을 위한 데이터를 수신하는 단계; 및(b) receiving, interpreting and converting a user input including a movement of a user's hand into an electrical signal and transmitting data, and receiving data for a user response including a feeling of pressure and repulsion of the user input; And (c) 상기 가상 환경과 상기 핸드 인터페이스를 통한 손의 움직임간의 인터랙션의 처리를 수행하여, 사용자에게 느끼도록 할 반력 또는 압력을 계산하여 상기 핸드 인터페이스를 통해 전달하는 단계를 포함하는 것을 특징으로 하는 가상 생산 방법.(c) performing a process of interaction between the movement of the hand through the virtual environment and the hand interface, calculating a reaction force or pressure to be felt by the user, and transmitting the calculated force or pressure through the hand interface; Production method. 제7항에 있어서, 상기 (a) 단계는The method of claim 7, wherein step (a) CAD-to-VR 데이터 변환, 초대용량 3차원 데이터 가시화를 수행하여 가상 생산 환경을 위한 그래픽 처리를 수행하고, 미리 입력된 방식에 따라 만들어진 시나리오 스크립트를 구동하며 이후 사용자의 손 움직임 정보를 감지하고 처리하여, 사용자의 손 움직임 정보를 입력받는 것을 특징으로 하는 가상 생산 방법.Perform CAD-to-VR data conversion and ultra-large 3D data visualization to perform graphic processing for virtual production environments, run scenario scripts created according to pre-input methods, and then detect and process user hand movement information. And inputting user hand movement information.
KR1020040102286A 2004-12-07 2004-12-07 Virtual manufacturing system using hand interface and method thereof KR100670792B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040102286A KR100670792B1 (en) 2004-12-07 2004-12-07 Virtual manufacturing system using hand interface and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040102286A KR100670792B1 (en) 2004-12-07 2004-12-07 Virtual manufacturing system using hand interface and method thereof

Publications (2)

Publication Number Publication Date
KR20060063187A KR20060063187A (en) 2006-06-12
KR100670792B1 true KR100670792B1 (en) 2007-01-17

Family

ID=37159232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040102286A KR100670792B1 (en) 2004-12-07 2004-12-07 Virtual manufacturing system using hand interface and method thereof

Country Status (1)

Country Link
KR (1) KR100670792B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120526B2 (en) 2012-12-20 2018-11-06 Samsung Electronics Co., Ltd. Volumetric image display device and method of providing user interface using visual indicator

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100906576B1 (en) * 2007-12-17 2009-07-10 한국전자통신연구원 Apparatus and method for interfacing hand haptic
KR101877739B1 (en) * 2017-01-04 2018-07-12 가이아쓰리디 주식회사 Method of providing 3d gis web service
WO2018128424A1 (en) 2017-01-04 2018-07-12 가이아쓰리디 주식회사 Method for providing three-dimensional geographic information system web service
KR102034023B1 (en) * 2017-11-10 2019-10-18 한양대학교 산학협력단 Hand Haptic Device
KR101972569B1 (en) * 2018-06-20 2019-04-29 주식회사 풀다이브테크놀로지 Glove for transmitting unreality tactility
CN110867113A (en) * 2019-12-11 2020-03-06 贵州电网有限责任公司 Electric shock emergency training platform based on VR simulation site and training method thereof
CN111897415B (en) * 2020-06-22 2024-05-10 东南大学 Virtual artificial hand flexible visual control method based on electromyographic signals and variable stiffness control

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992018925A1 (en) * 1991-04-20 1992-10-29 W. Industries Limited Haptic computer output device
KR20020053985A (en) * 2000-12-26 2002-07-06 오길록 Haptic Gripper Apparatus and Tele-rehabilitation System using Haptic
US6424356B2 (en) 1999-05-05 2002-07-23 Immersion Corporation Command of force sensations in a forceback system using force effect suites
KR20040055309A (en) * 2002-12-20 2004-06-26 한국전자통신연구원 Software Framework of Providing Haptic Interface And Computer Games under Windows OS using thereof
KR20050054731A (en) * 2003-12-05 2005-06-10 한국전자통신연구원 Haptic simulation system and method for providing real-time haptic interaction in virtual simulation
KR20050101742A (en) * 2004-04-20 2005-10-25 광주과학기술원 Method of stabilizing haptic interface and haptic system thereof
KR100571428B1 (en) 2003-12-24 2006-04-17 한국전자통신연구원 Wearable Interface Device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992018925A1 (en) * 1991-04-20 1992-10-29 W. Industries Limited Haptic computer output device
US6424356B2 (en) 1999-05-05 2002-07-23 Immersion Corporation Command of force sensations in a forceback system using force effect suites
KR20020053985A (en) * 2000-12-26 2002-07-06 오길록 Haptic Gripper Apparatus and Tele-rehabilitation System using Haptic
KR20040055309A (en) * 2002-12-20 2004-06-26 한국전자통신연구원 Software Framework of Providing Haptic Interface And Computer Games under Windows OS using thereof
KR20050054731A (en) * 2003-12-05 2005-06-10 한국전자통신연구원 Haptic simulation system and method for providing real-time haptic interaction in virtual simulation
KR100571428B1 (en) 2003-12-24 2006-04-17 한국전자통신연구원 Wearable Interface Device
KR20050101742A (en) * 2004-04-20 2005-10-25 광주과학기술원 Method of stabilizing haptic interface and haptic system thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120526B2 (en) 2012-12-20 2018-11-06 Samsung Electronics Co., Ltd. Volumetric image display device and method of providing user interface using visual indicator

Also Published As

Publication number Publication date
KR20060063187A (en) 2006-06-12

Similar Documents

Publication Publication Date Title
Tang et al. Construction of force haptic reappearance system based on Geomagic Touch haptic device
Iwata et al. Project FEELEX: adding haptic surface to graphics
Brooks Jr et al. Research directions in virtual environments
US8350843B2 (en) Virtual hand: a new 3-D haptic interface and system for virtual environments
KR100906576B1 (en) Apparatus and method for interfacing hand haptic
KR101021595B1 (en) Implant Simulation System Using Haptic Interface
Borst et al. Evaluation of a haptic mixed reality system for interactions with a virtual control panel
Kim et al. Haptic interaction and volume modeling techniques for realistic dental simulation
CN102568288A (en) Endoscopy virtual surgery system with force feedback
KR100670792B1 (en) Virtual manufacturing system using hand interface and method thereof
JP2008134373A (en) Method and system of preparing biological data for operation simulation, operation simulation method, and operation simulator
WO2021172580A1 (en) Position/force control system, worn unit, control unit, position/force control method, and program
Jyothi et al. Haptic technology-a sense of touch
Thalmann et al. Virtual reality software and technology
CN116339517A (en) Closed-loop bidirectional interaction digital twin system based on robot and construction method thereof
Springer et al. State-of-the-art virtual reality hardware for computer-aided design
Durlach et al. Virtual environment technology for training (VETT)
JP2000047563A (en) Holding action simulation device for object
Magnenat-Thalmann et al. Virtual reality software and technology
Argelaguet Sanz et al. Complexity and scientific challenges
KR20150014127A (en) Apparatus for simulating surgery
Otaduy et al. Interaction: interfaces, algorithms, and applications
CN117251058B (en) Control method of multi-information somatosensory interaction system
Rosenberg et al. Virtual hand representations to support natural interaction in immersive environments
Piviotti Providing force and vibrotactile feedback with haptic devices for simulating industrial tools in immersive Virtual Reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110104

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee