KR20240045828A - 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템과 이를 이용한 힘 및 복합 진동 제공 방법 - Google Patents
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템과 이를 이용한 힘 및 복합 진동 제공 방법 Download PDFInfo
- Publication number
- KR20240045828A KR20240045828A KR1020220125641A KR20220125641A KR20240045828A KR 20240045828 A KR20240045828 A KR 20240045828A KR 1020220125641 A KR1020220125641 A KR 1020220125641A KR 20220125641 A KR20220125641 A KR 20220125641A KR 20240045828 A KR20240045828 A KR 20240045828A
- Authority
- KR
- South Korea
- Prior art keywords
- vibration
- force
- signal
- reaction force
- broadband
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000035807 sensation Effects 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 71
- 230000007246 mechanism Effects 0.000 claims description 61
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Abstract
본 발명은 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공 방법에 관한 것으로서, 상기 힘 및 복합 진동 렌더링 시스템은 사용자가 조작신호를 입력하는 것으로서, 해당 사용자에게 반력 또는 진동을 제공할 수 있는 햅틱 디바이스와, 상기 햅틱 디바이스에 설치되며, 상기 햅틱 디바이스에서 발생되는 진동의 출력속도와 상이한 출력 속도로 진동을 출력하는 광대역 공진 진동자와, 적어도 하나의 대상 오브젝트 및 상기 조작부재에 입력된 조작신호에 대응되게 움직이는 기구 오브젝트가 포함된 가상 영상을 생성하여 상기 사용자에게 제공하는 영상 제공부와, 상기 가상영상에서 상기 대상 오브젝트에 상기 기구 오브젝트가 충돌시 해당 기구 오브젝트에 발생되는 반력 및 진동을 산출하고, 산출된 반력 및 진동이 상기 사용자에게 인가되도록 해당 햅틱 디바이스 및 광대역 공진 진동자를 제어하는 촉감 제공부를 구비한다.
본 발명에 따른 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공 방법은 햅틱 디바이스의 포스피드백 장치의 진동 출력 속도보다 더 큰 출력 속도로 진동을 생성하는 광대역 공진 진동자를 통해 가상 시뮬레이션에서 충돌 상황이 발생시 반력 뿐 아니라 광대역폭 진동을 사용자에게 제공하므로 해당 사용자에게 보다 현실감있는 촉각 피드백을 제공할 수 있다는 장점이 있다.
본 발명에 따른 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공 방법은 햅틱 디바이스의 포스피드백 장치의 진동 출력 속도보다 더 큰 출력 속도로 진동을 생성하는 광대역 공진 진동자를 통해 가상 시뮬레이션에서 충돌 상황이 발생시 반력 뿐 아니라 광대역폭 진동을 사용자에게 제공하므로 해당 사용자에게 보다 현실감있는 촉각 피드백을 제공할 수 있다는 장점이 있다.
Description
본 발명은 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공 방법에 관한 것으로서, 더욱 상세하게는 사용자에 의해 입력된 조작신호에 대응되게 움직이는 가상 오브젝트가 대상 오브젝트가 충돌시 발생되는 진동을 포스피드백 장치 및 광대역 공진 진동자를 이용하여 사용자에게 제공할 수 있는 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공 방법에 관한 것이다.
최근 의료 수술, 초정밀 가공 작업을 비롯한 숙련자 육성 과정이 필요한 분야에서 시청각적인 경험을 제공하기 위하여 그래픽 및 오디오 렌더링 기술을 이용한 가상 훈련 시뮬레이션 프로그램이 널리 사용되고 있으며, 이에 더하여 사용자에게 실제와 비슷한 촉각 경험을 제공하기 위해 포스 피드백 장치를 통해 힘 렌더링으로 촉감 정보를 제공하고 있다.
하지만, 실제 상황에서 느껴지는 촉감은 물체와의 상호 작용에 따른 반력과 저대역 및 고대역폭의 진동으로 구성되어 있으며, 이를 사용자에게 전달하기 위한 방안으로써 반력으로 계산된 힘 벡터에 저대역 및 고대역 폭의 진동 벡터를 더해 포스 피드백 장치에서 촉감을 출력하는 방법들이 고안되었다. 일예로, 한국 등록특허공보 제10-1021595호 '햅틱 인터페이스를 이용한 임플랜트 시뮬레이션 시스템'이 있다.
하지만 일반적인 햅틱 디바이스의 포스 피드백 장치의 경우, 진동의 출력속도가 1kHz이기 때문에, 이론상 500Hz 이상의 고대역 진동을 출력하기 어려우며, 실질적으로 200Hz 이상의 저대역 진동조차 의도한 신호대로 출력하기 힘들기 때문에 실제 상황과 유사한 촉감을 제공하는데 어려움이 있다.
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 사용자가 입력한 조작신호를 토대로 구현된 기구 오브젝트 및 대상 오브젝트에 대한 가상 시뮬레이션에서 오브젝트들 간의 충돌이 발생시 사용자에게 반력과 광대역폭의 진동을 제공할 수 있는 햅틱 디바이스 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템은 사용자가 조작신호를 입력하는 것으로서, 해당 사용자에게 반력 또는 진동을 제공할 수 있는 햅틱 디바이스와, 상기 햅틱 디바이스에 설치되며, 상기 햅틱 디바이스에서 발생되는 진동의 출력속도와 상이한 출력 속도로 진동을 출력하는 광대역 공진 진동자와, 적어도 하나의 대상 오브젝트 및 상기 조작부재에 입력된 조작신호에 대응되게 움직이는 기구 오브젝트가 포함된 가상 영상을 생성하여 상기 사용자에게 제공하는 영상 제공부와, 상기 가상영상에서 상기 대상 오브젝트에 상기 기구 오브젝트가 충돌시 해당 기구 오브젝트에 발생되는 반력 및 진동을 산출하고, 산출된 반력 및 진동이 상기 사용자에게 인가되도록 해당 햅틱 디바이스 및 광대역 공진 진동자를 제어하는 촉감 제공부를 구비한다.
상기 촉감 제공부는 상기 가상영상에서 상기 대상 오브젝트에 상기 기구 오브젝트가 충돌시 해당 기구 오브젝트에 발생되는 반력 및 진동을 산출하는 피드백 산출부와, 상기 피드백 산출부에서 산출된 반력 및 진동에 대응되는 촉각 피드백이 상기 사용자에게 제공되도록 상기 햅틱 디바이스 및 광대역 공진 진동자를 작동시키는 제어부를 구비한다.
상기 피드백 산출부는 상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생되는 반력을 산출하는 반력 산출모듈과, 상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생된 진동에 대한 진동 신호를 산출하는 진동 산출모듈을 구비한다.
상기 제어부는 상기 진동 산출모듈에서 제공되는 진동신호를, 상기 햅틱 디바이스에서의 출력 대상 신호인 제1단위신호 및 상기 광대역 공진 진동자에서의 출력 대상 신호인 제2단위신호로 분류하는 신호 분류모듈과, 상기 반력 산출모듈에서 산출된 반력 및 상기 신호 분류모듈에서 분류된 제1단위신호에 대응되는 반력 및 진동이 출력되도록 상기 햅틱 디바이스를 작동시키는 햅틱 작동모듈과, 상기 신호분류모듈에서 분류된 제2단위신호에 대응되는 진동이 출력되도록 상기 광대역 공진 진동자를 작동시키는 진동자 작동모듈을 구비한다.
상기 광대역 공진 진동자는 상기 햅틱 디바이스에서 출력되는 진동의 출력속도보다 더 큰 출력 속도로 진동을 출력할 수 있다.
상기 신호 분류모듈은 상기 진동 신호에서, 기설정된 기준 주파수보다 낮은 주파수의 신호를 상기 제1단위신호로 설정하고, 해당 기준 주파수 이상의 신호를 상기 제2단위신호로 설정한다.
상기 신호 분류모듈은 상기 햅틱 디바이스에서 출력되는 진동의 최대 출력 주파수보다 작은 값으로 상기 기준 주파수가 설정된다.
상기 기준 주파수는 150Hz 인 것이 바람직하다.
상기 진동 산출모듈은 상기 대상 오브젝트와 기구 오브젝트가 충돌시 해당 기구 오브젝트의 움직임에 대한 정보를 토대로 상기 기구 오브젝트에 발생하는 진동 신호를 산출하기 위해 기구축된 신경망 모델에, 상기 영상 제공부에서 제공받은 해당 대상 오브젝트와의 충돌시 상기 기구 오브젝트의 움직임에 대한 정보를 적용하여 상기 진동 신호를 산출할 수 있다.
상기 신경망 모델은 ARMA(Autoregressive Moving Average) 모델이 적용된다.
상기 햅틱 디바이스는 사용자가 조작하여 조작신호를 입력하는 조작부재와, 상기 조작부재를 조작하는 상기 사용자에게 반력 또는 진동을 인가하는 포스피드백 장치를 구비하고, 상기 광대역 공진 진동자는 어댑터에 의해 상기 조작부재에 설치되어 상기 조작부재를 통해 상기 사용자에게 진동을 인가한다.
상기 포스피드백 장치는 상기 조작부재에 설치되어 해당 조작부재를 통해 반력 또는 진동을 상기 사용자에게 제공할 수 있다.
한편, 본 발명에 따른 힘 및 복합 진동 제공 방법은 사용자가 햅틱 디바이스를 조작하여 입력한 조작신호에 따라 가상영상에서 움직이는 기구 오브젝트가 해당 가상영상에 포함된 대상 오브젝트와의 충돌을 감지하는 충돌 감지단계와, 상기 충돌 감지단계에서 상기 대상 오브젝트와 기구 오브젝트의 충돌이 감지된 경우, 피드백 산출부에서 상기 기구 오브젝트에 발생되는 반력 및 진동을 산출하는 피드백 산출단계와, 상기 피드백 산출단계에서 산출된 반력 및 진동에 대응되는 촉각 피드백이 상기 사용자에게 제공되도록 제어부가 상기 햅틱 디바이스 및 해당 햅틱 디바이스에 설치된 광대역 공진 진동자를 작동시키는 작동단계를 포함하고, 상기 광대역 공진 진동자는 상기 햅틱 디바이스에서 출력되는 진동의 출력속도와 상이한 출력 속도로 진동을 출력할 수 있다.
상기 피드백 산출단계는 상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생되는 반력을 산출하는 반력 산출단계와, 상기 대상 오브젝트와 충돌한 상기 기구 오브젝트에 발생되는 진동에 대한 진동 신호를 산출하는 진동 산출단계를 포함한다.
상기 작동단계는 상기 진동 산출단계에서 산출된 진동신호를 상기 햅틱 디바이스에서의 출력 대상 신호인 제1단위신호 및 상기 광대역 공진 진동자에서의 출력 대상 신호인 제2단위신호로 분류하는 신호 분류단계와, 상기 반력 산출단계에서 산출된 반력 및 상기 신호 분류단계에서 분류된 제1단위신호에 대응되는 반력 및 진동이 출력되도록 상기 햅틱 디바이스를 작동시키는 제1기기 제어단계와, 상기 신호 분류단계에서 분류된 제2단위신호에 대응되는 진동이 출력되도록 상기 광대역 공진 진동자를 작동시키는 제2기기 제어단계를 포함한다.
상기 신호 분류단계에서는, 상기 진동신호에서, 기설정된 기준 주파수보다 낮은 주파수의 신호를 상기 제1단위신호로 설정하고, 해당 기준 주파수 이상의 신호를 상기 제2단위신호로 설정한다.
상기 신호 분류단계에서는 상기 햅틱 디바이스에서 출력되는 진동의 최대 출력 주파수보다 작은 값으로 상기 기준 주파수가 설정된다.
상기 진동 산출 단계에서는, 상기 대상 오브젝트와 기구 오브젝트가 충돌시 해당 기구 오브젝트의 움직임에 대한 정보를 토대로 상기 기구 오브젝트에 발생된 진동 신호를 산출하기 위해 기구축된 신경망 모델에, 상기 가상영상을 생성하는 영상 제공부에서 제공받은 해당 기구 오브젝트의 움직임에 대한 정보를 적용하여 상기 진동 신호를 산출할 수 있다.
본 발명에 따른 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공 방법은 햅틱 디바이스의 포스피드백 장치의 진동 출력 속도보다 더 큰 출력 속도로 진동을 생성하는 광대역 공진 진동자를 통해 가상 시뮬레이션에서 충돌 상황이 발생시 반력 뿐 아니라 광대역폭 진동을 사용자에게 제공하므로 해당 사용자에게 보다 현실감있는 촉각 피드백을 제공할 수 있다는 장점이 있다.
도 1은 본 발명에 따른 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템에 대한 개념도이고,
도 2는 도 1의 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템에 대한 블럭도이고,
도 3은 본 발명에 따른 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템을 이용한 힘 및 복합 진동 제공 방법에 대한 순서도이다.
도 2는 도 1의 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템에 대한 블럭도이고,
도 3은 본 발명에 따른 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템을 이용한 힘 및 복합 진동 제공 방법에 대한 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 포스피드백 모듈 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템 및 이를 이용한 힘 및 복합 진동 제공방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 및 도 2에는 본 발명에 따른 포스피드백 모듈 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템(100)이 도시되어 있다.
도면을 참조하면, 상기 포스피드백 모듈 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템(100)은 사용자가 조작신호를 입력하는 것으로서, 해당 사용자에게 반력 또는 진동을 제공할 수 있는 햅틱 디바이스(200)와, 상기 햅틱 디바이스(200)에 설치되며, 상기 햅틱 디바이스(200)에서 발생되는 진동의 출력속도와 상이한 출력 속도로 진동을 출력하는 광대역 공진 진동자(300)와, 적어도 하나의 대상 오브젝트 및 상기 조작부재(210)에 입력된 조작신호에 대응되게 움직이는 기구 오브젝트가 포함된 가상 영상을 생성하여 상기 사용자에게 제공하는 영상 제공부(400)와, 상기 가상영상에서 상기 대상 오브젝트에 상기 기구 오브젝트가 충돌시 해당 기구 오브젝트에 발생되는 반력 및 진동을 산출하고, 산출된 반력 및 진동이 상기 사용자에게 인가되도록 해당 햅틱 디바이스(200) 및 광대역 공진 진동자(300)를 제어하는 촉감 제공부(500)를 구비한다.
상기 햅틱 디바이스(200)는 사용자가 조작하여 조작신호를 입력하는 조작부재(210)와, 상기 조작부재(210)를 조작하는 상기 사용자에게 반력 또는 진동을 인가하는 포스피드백 장치(220)를 구비한다.
상기 조작부재(210)는 본체(211)와, 사용자가 파지하여 조작할 수 있도록 본체(211)에 회동가능하게 설치되는 손잡이(212)와, 상기 본체(211)에 설치되어 상기 손잡이(212)의 움직임에 따라 상기 조작신호를 생성하는 신호생성모듈(미도시)을 구비한다. 사용자는 손잡이(212)를 파지한 상태로 영상제공부에서 제공되는 가상영상을 토대로 손잡이(212)를 움직여 조작신호를 입력할 수 있다. 한편, 조작부재(210)는 이에 한정하는 것이 아니라 사용자가 파지하여 조작할 수 있는 조작수단이면 무엇이든 적용가능하다.
포스피드백 장치(220)는 촉감 제공부(500)의 제어에 따라 작동하여 사용자에게 촉각 피드백을 제공하기 위해 손잡이(212)의 움직임을 간섭하거나 손잡이(212)에 진동을 인가할 수 있도록 조작부재(210)에 설치된다. 해당 포스피드백 장치(220)는 출력되는 진동의 최대 출력 속도 즉, 최대 출력 주파수가 1kHz이다. 상기 포스피드백 장치(220)는 해당 사용자에게 반력 및 진동을 제공하기 위해 햅틱 디바이스(200)에 마련된 종래에 일반적으로 사용되는 포스피드백 제공수단이므로 상세한 설명은 생략한다.
광대역 공진 진동자(300)는 어댑터(301)에 의해 조작부재(210)의 손잡이(212)에 설치되어 해당 조작부재(210)를 통해 사용자에게 진동을 제공한다. 상기 광대역 공진 진동자(300)는 상기 햅틱 디바이스(200)에서 출력되는 진동의 출력속도보다 더 큰 출력 속도로 진동을 출력할 수 있는 것으로서, 선형 공진 액츄에이터가 적용된다. 상기 어댑터(301)는 도면에 도시되진 않았지만, 손잡이(212)가 삽입되어 끼워질 수 있도록 결속구가 형성되며, 일측에 해당 광대역 공진 진동자(300)가 고정된다. 해당 어댑터(301)는 3D 프린터에 의해 제조될 수 있다.
영상 제공부(400)는 사용자가 훈련 또는 체험하고자 하는 체험 상황을 모델링하고, 모델링된 체험모델에, 상기 조작신호를 적용하여 해당 체험 상황을 시뮬레이션하는 시뮬레이션 모듈(410)과, 시뮬레이션 모듈(410)에서 시뮬레이션된 데이터를 토대로 상기 가상영상을 생성하는 그래픽 모듈(420)을 구비한다.
상기 시뮬레이션 모듈(410)은 기입력된 체험 상황에 대한 정보를 토대로 해당 체험 상황을 모델링한다. 여기서, 체험 상황에 대한 정보에는 체험 환경, 체험 대상, 대상 오브젝트의 실제 대상 물체, 기구 오브젝트의 실제 대상 물체 등에 대한 정보가 포함된다. 해당 시뮬레이션 모듈(410)은 햅틱 디바이스(200)에서 제공되는 조작정보를 토대로 기구 오브젝트의 움직임과, 기구 오브젝트의 움직임에 따른 체험 상황 변화를 시뮬레이션한다.
한편, 시뮬레이션 모듈(410)은 시뮬레이션된 체험 상황에서, 대상 오브젝트가 기구 오브젝트와 충돌할 경우, 충돌 정보를 상기 촉감 제공부(500)에 제공한다. 여기서, 상기 충돌 정보는 대상 오브젝트와 기구 오브젝트의 충돌 유형, 대상 오브젝트의 실제 대상 물체의 물성, 기구 오브젝트의 실제 대상 물체의 물성, 대상 오브젝트에 대한 기구 오브젝트의 침투 깊이, 충돌 위치, 충돌 속도, 충돌 각도, 충돌시 발생되는 힘 등이 포함된다.
상기 그래픽 모듈(420)은 시뮬레이션 모듈(410)에서 제공받은 시뮬레이션 데이터를 비쥬얼 렌더링 알고리즘에 적용하여 가상영상을 생성한다. 상기 가상영상은 대상 오브젝트와, 상기 조작신호에 대응되게 움직이는 기구 오브젝트가 포함된 3D 영상이 적용된다. 여기서, 비쥬얼 렌더링 알고리즘은 시뮬레이션 데이터로 가상의 영상을 생성하기 위해 종래에 일반적으로 사용되는 영상 처리 알고리즘으로 상세한 설명은 생략한다. 상기 그래픽 모듈(420)은 생성된 가상영상을 디스플레이 모듈(430)을 통해 사용자에게 출력한다.
상기 디스플레이 모듈(430)은 그래픽 모듈(420)에서 제공받은 가상영상을 출력하는 것으로서, LCD와 같은 디스플레이 패널이 적용된다. 한편, 디스플레이 모듈(430)은 이에 한정하는 것이 아니라 가상 영상을 사용자에게 출력할 수 있는 영상 출력수단이면 무엇이든 적용가능하다.
상기 촉감 제공부(500)는 상기 가상영상에서 상기 대상 오브젝트에 상기 기구 오브젝트가 충돌시 해당 기구 오브젝트에 발생되는 반력 및 진동을 산출하는 피드백 산출부(510)와, 상기 피드백 산출부(510)에서 산출된 반력 및 진동에 대응되는 촉각 피드백이 상기 사용자에게 제공되도록 상기 햅틱 디바이스(200) 및 광대역 공진 진동자(300)를 작동시키는 제어부(520)를 구비한다.
상기 피드백 산출부(510)는 상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생되는 반력을 산출하는 반력 산출모듈(511)과, 상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생된 진동에 대한 진동 신호를 산출하는 진동 산출모듈(512)을 구비한다.
상기 반력 산출모듈(511)은 시뮬레이션 모듈(410)에서 제공되는 충돌 정보를 토대로 대상 오브젝트에 충돌시 해당 기구 오브젝트에 작용하는 반력을 산출한다. 여기서, 반력 산출모듈(511)은 기구축된 힘 계산 알고리즘에 해당 충돌 정보를 적용하여 상기 반력을 산출할 수 있다. 여기서, 힘 계산 알고리즘은 가상의 오브젝트들이 충돌시 발생하는 반력을 산출하기 위해 종래에 일반적으로 사용되는 반력 산출 알고리즘이 적용되므로 상세한 설명은 생략한다. 상기 반력 산출모듈(511)은 산출된 반력에 대한 정보를 제어부(520)에 전송한다. 여기서, 반력 산출모듈(511)은 해당 반력에 대한 힘 벡터를 제어부(520)에 전송하는 것이 바람직하다.
진동 산출모듈(512)은 시뮬레이션 모듈(410)에서 제공되는 충돌 정보를 토대로 대상 오브젝트에 충돌시 해당 기구 오브젝트에 작용하는 진동에 대한 진동신호를 산출한다. 여기서, 진동 산출모듈(512)은 상기 대상 오브젝트와 기구 오브젝트가 충돌시 해당 기구 오브젝트의 움직임에 대한 정보를 토대로 상기 기구 오브젝트에 발생하는 진동 신호를 산출하기 위해 기구축된 신경망 모델에, 상기 영상 제공부(400)에서 제공받은 해당 대상 오브젝트와의 충돌시 상기 기구 오브젝트의 움직임에 대한 정보즉, 충돌 정보를 적용하여 상기 진동 신호를 산출한다. 여기서, 상기 신경망 모델은 ARMA(Autoregressive Moving Average) 모델이 적용된다. 해당 신경망 모델은 총 3차원의 정보 즉, 기구 오브젝트, 대상 오브젝트와 각 오브젝트들의 실제 대상 물체의 물성, 충돌시 대상 물체들 사이의 상호 작용의 속도와 힘에 대한 정보가 입력되면 진동 파형 즉, 진동 신호를 생성하지만, 실제로 발생하는 진동에 영향을 미치는 또 다른 정보를 추가적으로 고려한 N차원의 입력으로 학습한 진동 모델을 사용한다면, 실제와 더욱 유사한 진동 파형을 생성할 수도 있다. 상기 진동 산출모듈(512)은 산출된 진동 신호를 제어부(520)에 제공한다.
제어부(520)는 상기 진동 산출모듈(512)에서 제공되는 진동신호를, 상기 햅틱 디바이스(200)에서의 출력 대상 신호인 제1단위신호 및 상기 광대역 공진 진동자(300)에서의 출력 대상 신호인 제2단위신호로 분류하는 신호 분류모듈(521)과, 상기 반력 산출모듈(511)에서 산출된 반력 및 상기 신호 분류모듈(521)에서 분류된 제1단위신호에 대응되는 반력 및 진동이 출력되도록 상기 햅틱 디바이스(200)를 작동시키는 햅틱 작동모듈(522)과, 상기 신호분류모듈에서 분류된 제2단위신호에 대응되는 진동이 출력되도록 상기 광대역 공진 진동자(300)를 작동시키는 진동자 작동모듈(523)을 구비한다.
신호 분류모듈(521)은 저역 통과 필터를 이용하여 진동 산출모듈(512)에서 제공되는 진동 파형 즉, 진동 신호에서, 기설정된 기준 주파수보다 낮은 주파수의 신호를 필터링하여 제1단위신호로 설정한다. 또한, 신호 분류모듈(521)은 고역 통과 필터를 이용하여 상기 진동 신호에서 해당 기준 주파수 이상의 신호를 필터링하여 제2단위신호로 설정한다. 여기서, 기준 주파수는 상기 햅틱 디바이스(200)의 포스피드백 장치(220)의 스펙에 따라 설정된다. 즉, 상기 신호 분류모듈(521)은 포스피드백 장치(220)가 보다 안정적으로 진동을 출력할 수 있도록 상기 포스피드백 장치(220)에서 출력되는 진동의 최대 출력 주파수보다 작은 값으로 상기 기준 주파수가 설정된다. 여기서, 상기 기준 주파수는 150Hz인 것이 바람직하다.
햅틱 작동모듈(522)은 반력 산출모듈(511)에서 산출된 반력 및 제1단위신호에 대응되게 포스피드백 장치(220)를 제어하는 것으로서, 샘플링 모듈(524)과 기기 제어모듈(525)을 구비한다.
상기 샘플링 모듈(524)은 신호 분류모듈(521)에서 제공받은 제1단위신호를 기구축된 진동-힘 샘플링 알고리즘에 적용하여 현 시점의 힘 벡터로 샘플링한다. 여기서, 진동-힘 샘플링 알고리즘은 진동신호를 힘 벡터로 변환하기 위해 종래에 일반적으로 사용되는 알고리즘이므로 상세한 설명은 생략한다. 샘플링 모듈(524)은 산출된 제1단위신호의 힘 벡터를 기기 작동모듈에 전송한다.
기기 제어모듈(525)은 샘플링된 제1단위신호의 힘 벡터와, 반력 산출모듈(511)에서 제공되는 반력을 합산한다. 즉, 기기 제어모듈(525)은 제1단위신호의 힘 벡터와, 반력 산출모듈(511)에서 제공되는 반력의 힘 벡터를 합산한다. 이때, 기기 제어모듈(525)은 합산된 힘 벡터를 햅틱 디바이스(200)의 포스피드백 장치(220)가 안정적으로 출력할 수 있도록 해당 힘 벡터를 기구축된 제어 알고리즘에 적용하여 보정한다. 해당 제어 알고리즘은 햅틱 디바이스(200)의 스펙에 따라 기구축된 것으로서, 사용하고자 하는 햅틱 디바이스(200)에 따라 힘 벡터 값을 보정하기 위해 종래에 일반적으로 사용되는 데이터 보정용 알고리즘이 적용되므로 상세한 설명은 생략한다. 해당 기기 제어모듈(525)은 보정된 힘 벡터 값에 따라 해당 포스피드백 장치(220)를 작동시킨다.
상기 진동자 작동모듈(523)은 신호분류모듈에서 제공받은 제2단위신호에 따라 해당 광대역 공진 진동자(300)를 작동시킨다. 제어부(520)는 제1 및 제2단위신호에 따라 포스피드백 장치(220) 및 광대역 공진 진동자(300)를 각각 작동시키지만, 해당 광대역 공진 진동자(300)가 어댑터(301)에 의해 햅틱 디바이스(200)에 설치되어 있으므로 사용자에게 복합 진동을 제공할 수 있다.
상술된 본 발명에 따른 포스피드백 장치(220) 및 광대역 공진 진동자(300)를 이용한 힘 및 복합 진동 렌더링 시스템(100)은 실시간으로 동작이 가능하므로 가상의 체험 환경에서 물체와의 상호 작용이 필요한 시뮬레이션 프로그램에서 힘과 진동 효과를 자동으로 생성해 주는 기술에 적용할 수 있다. 또한, 적용할 시뮬레이션 프로그램에서 요구되는 힘의 크기와 진동의 대역폭을 고려하여 포스피드백 장치(220)와 광대역 공진 진동자(300)를 선택한다면 사용 시나리오에 최적화된 반력 및 진동 렌더링 시스템(100)을 구축할 수 있다.
한편, 도 3에는 본 발명에 따른 포스피드백 장치(220) 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템(100)을 이용한 힘 및 복합 진동 제공 방법에 대한 순서도가 도시되어 있다.
도면을 참조하면, 상기 힘 및 복합 진동 제공 방법은 충돌감지단계, 피드백 산출단계 및 작동단계를 포함한다.
상기 충돌 감지단계는 사용자가 햅틱 디바이스(200)를 조작하여 입력한 조작신호에 따라 가상영상에서 움직이는 기구 오브젝트가, 해당 가상영상에 포함된 대상 오브젝트와의 충돌을 감지하는 단계이다. 상기 시뮬레이션 모듈(410)은 시뮬레이션된 체험상황에서, 대상 오브젝트와 기구 오브젝트의 충돌을 감지하고, 해당 충돌이 발생하면, 상기 기구 오브젝트의 충돌 정보를 생성하여 촉감 제공부(500)에 전송한다.
피드백 산출단계는 충돌 감지단계에서 대상 오브젝트와 기구 오브젝트의 충돌이 감지된 경우, 피드백 산출부(510)에서 상기 기구 오브젝트에 발생되는 반력 및 진동을 산출하는 단계로서, 반력 산출단계 및 진동 산출단계를 포함한다.
반력 산출단계는 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생되는 반력을 산출하는 단계이다. 반력 산출모듈(511)은 시뮬레이션 모듈(410)에서 제공되는 충돌 정보를 토대로 대상 오브젝트에 충돌시 해당 기구 오브젝트에 작용하는 반력을 산출한다.
진동 산출단계는 대상 오브젝트와 충돌한 기구 오브젝트에 발생되는 진동에 대한 진동 신호를 산출하는 단계이다. 여기서, 진동 산출모듈(512)은 시뮬레이션 모듈(410)에서 제공되는 충돌 정보를 토대로 대상 오브젝트에 충돌시 해당 기구 오브젝트에 작용하는 진동에 대한 진동신호를 산출한다. 상술된 바와 같이 해당 진동 산출모듈(512)은 ARMA 모델이 적용된 신경망 모델에, 해당 충돌 정보를 적용하여 진동 파형 즉, 진동 신호를 산출한다.
상기 작동단계는 상기 피드백 산출단계에서 산출된 반력 및 진동에 대응되는 촉각 피드백이 상기 사용자에게 제공되도록 제어부(520)가 상기 햅틱 디바이스(200) 및 해당 햅틱 디바이스(200)에 설치된 광대역 공진 진동자(300)를 작동시키는 단계로서, 신호 분류단계, 제1기기 제어단계 및 제2기기 제어단계를 포함한다.
신호 분류단계는 진동 산출단계에서 산출된 진동신호를 햅틱 디바이스(200)에서의 출력 대상 신호인 제1단위신호 및 상기 광대역 공진 진동자(300)에서의 출력 대상 신호인 제2단위신호로 분류하는 단계이다. 여기서, 신호 분류모듈(521)은 저역 통과 필터를 이용하여 진동 산출모듈(512)에서 제공되는 진동 파형 즉, 진동 신호에서, 기설정된 기준 주파수보다 낮은 주파수의 신호를 필터링하여 제1단위신호로 설정한다. 또한, 신호 분류모듈(521)은 고역 통과 필터를 이용하여 상기 진동 신호에서 해당 기준 주파수 이상의 신호를 필터링하여 제2단위신호로 설정한다. 여기서, 기준 주파수는 상기 햅틱 디바이스(200)의 포스피드백 장치(220)의 스펙에 따라 설정된다.
제1기기 제어단계는 상기 반력 산출단계에서 산출된 반력 및 상기 신호 분류단계에서 분류된 제1단위신호에 대응되는 반력 및 진동이 출력되도록 상기 햅틱 디바이스(200)를 작동시키는 단계이다. 상술된 햅틱 작동모듈(522)은 신호 분류모듈(521)에서 제공받은 제1단위신호를 힘 벡터로 변환하고, 변환된 제1단위신호의 힘 벡터와, 반력 산출모듈(511)에서 제공받은 반력의 힘 벡터를 합산하며, 합산된 힘 벡터를 상기 포스피드백 장치(220)에 적용하여 해당 포스피드백 장치(220)를 제어한다. 이때, 햅틱 작동모듈(522)은 합산된 힘 벡터를 기구축된 제어 알고리즘에 적용하여 보정하는 것이 바람직하다.
제2기기 제어단계는 상기 신호 분류단계에서 분류된 제2단위신호에 대응되는 진동이 출력되도록 상기 광대역 공진 진동자(300)를 작동시키는 단계이다. 상기 진동자 작동모듈(523)은 신호분류모듈에서 제공받은 제2단위신호에 따라 해당 광대역 공진 진동자(300)를 작동시킨다.
상술된 바와 같이 구성된 본 발명에 따른 햅틱 디바이스(200) 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템(100) 및 이를 이용한 힘 및 복합 진동 제공 방법은 햅틱 디바이스(200)의 햅틱 디바이스(200)의 진동 출력 속도보다 더 큰 출력 속도로 진동을 생성하는 광대역 공진 진동자를 통해 가상 시뮬레이션에서 충돌 상황이 발생시 반력 뿐 아니라 광대역폭 진동을 사용자에게 제공하므로 해당 사용자에게 보다 현실감있는 촉각 피드백을 제공할 수 있다는 장점이 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
100: 포스피드백 모듈 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템
200: 햅틱 디바이스 210: 조작부재
211: 본체 212: 손잡이
220: 포스피드백 장치 300: 광대역 공진 진동자
301: 어댑터 400: 영상 제공부
410: 시뮬레이션 모듈 420: 그래픽 모듈
430: 디스플레이 모듈 500: 촉감 제공부
510: 피드백 산출부 511: 반력 산출모듈
512: 진동 산출모듈 520: 제어부
521: 신호 분류모듈 522: 햅틱 작동모듈
524: 샘플링 모듈 525: 기기 제어모듈
523: 진동자 작동모듈
200: 햅틱 디바이스 210: 조작부재
211: 본체 212: 손잡이
220: 포스피드백 장치 300: 광대역 공진 진동자
301: 어댑터 400: 영상 제공부
410: 시뮬레이션 모듈 420: 그래픽 모듈
430: 디스플레이 모듈 500: 촉감 제공부
510: 피드백 산출부 511: 반력 산출모듈
512: 진동 산출모듈 520: 제어부
521: 신호 분류모듈 522: 햅틱 작동모듈
524: 샘플링 모듈 525: 기기 제어모듈
523: 진동자 작동모듈
Claims (21)
- 사용자가 조작신호를 입력하는 것으로서, 해당 사용자에게 반력 또는 진동을 제공할 수 있는 햅틱 디바이스;
상기 햅틱 디바이스에 설치되며, 상기 햅틱 디바이스에서 발생되는 진동의 출력속도와 상이한 출력 속도로 진동을 출력하는 광대역 공진 진동자;
적어도 하나의 대상 오브젝트 및 상기 조작부재에 입력된 조작신호에 대응되게 움직이는 기구 오브젝트가 포함된 가상 영상을 생성하여 상기 사용자에게 제공하는 영상 제공부;
상기 가상영상에서 상기 대상 오브젝트에 상기 기구 오브젝트가 충돌시 해당 기구 오브젝트에 발생되는 반력 및 진동을 산출하고, 산출된 반력 및 진동이 상기 사용자에게 인가되도록 해당 햅틱 디바이스 및 광대역 공진 진동자를 제어하는 촉감 제공부;를 구비하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제1항에 있어서,
상기 촉감 제공부는
상기 가상영상에서 상기 대상 오브젝트에 상기 기구 오브젝트가 충돌시 해당 기구 오브젝트에 발생되는 반력 및 진동을 산출하는 피드백 산출부;
상기 피드백 산출부에서 산출된 반력 및 진동에 대응되는 촉각 피드백이 상기 사용자에게 제공되도록 상기 햅틱 디바이스 및 광대역 공진 진동자를 작동시키는 제어부;를 구비하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제2항에 있어서,
상기 피드백 산출부는
상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생되는 반력을 산출하는 반력 산출모듈;
상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생된 진동에 대한 진동 신호를 산출하는 진동 산출모듈;을 구비하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제3항에 있어서,
상기 제어부는
상기 진동 산출모듈에서 제공되는 진동신호를, 상기 햅틱 디바이스에서의 출력 대상 신호인 제1단위신호 및 상기 광대역 공진 진동자에서의 출력 대상 신호인 제2단위신호로 분류하는 신호 분류모듈;
상기 반력 산출모듈에서 산출된 반력 및 상기 신호 분류모듈에서 분류된 제1단위신호에 대응되는 반력 및 진동이 출력되도록 상기 햅틱 디바이스를 작동시키는 햅틱 작동모듈;
상기 신호분류모듈에서 분류된 제2단위신호에 대응되는 진동이 출력되도록 상기 광대역 공진 진동자를 작동시키는 진동자 작동모듈;을 구비하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제2항 내지 제4항 중 어느 한 항에 있어서,
상기 광대역 공진 진동자는 상기 햅틱 디바이스에서 출력되는 진동의 출력속도보다 더 큰 출력 속도로 진동을 출력할 수 있는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제5항에 있어서,
상기 신호 분류모듈은 상기 진동 신호에서, 기설정된 기준 주파수보다 낮은 주파수의 신호를 상기 제1단위신호로 설정하고, 해당 기준 주파수 이상의 신호를 상기 제2단위신호로 설정하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제6항에 있어서,
상기 신호 분류모듈은 상기 햅틱 디바이스에서 출력되는 진동의 최대 출력 주파수보다 작은 값으로 상기 기준 주파수가 설정되는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제6항에 있어서,
상기 기준 주파수는 150Hz 인,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제3항에 있어서,
상기 진동 산출모듈은 상기 대상 오브젝트와 기구 오브젝트가 충돌시 해당 기구 오브젝트의 움직임에 대한 정보를 토대로 상기 기구 오브젝트에 발생하는 진동 신호를 산출하기 위해 기구축된 신경망 모델에, 상기 영상 제공부에서 제공받은 해당 대상 오브젝트와의 충돌시 상기 기구 오브젝트의 움직임에 대한 정보를 적용하여 상기 진동 신호를 산출하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제9항에 있어서,
상기 신경망 모델은 ARMA(Autoregressive Moving Average) 모델인,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제1항에 있어서,
상기 햅틱 디바이스는
사용자가 조작하여 조작신호를 입력하는 조작부재; 및
상기 조작부재를 조작하는 상기 사용자에게 반력 또는 진동을 인가하는 포스피드백 장치;를 구비하고,
상기 광대역 공진 진동자는 어댑터에 의해 상기 조작부재에 설치되어 상기 조작부재를 통해 상기 사용자에게 진동을 인가하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 제11항에 있어서,
상기 포스피드백 장치는 상기 조작부재에 설치되어 해당 조작부재를 통해 반력 또는 진동을 상기 사용자에게 제공하는,
포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템.
- 사용자가 햅틱 디바이스를 조작하여 입력한 조작신호에 따라 가상영상에서 움직이는 기구 오브젝트가 해당 가상영상에 포함된 대상 오브젝트와의 충돌을 감지하는 충돌 감지단계;
상기 충돌 감지단계에서 상기 대상 오브젝트와 기구 오브젝트의 충돌이 감지된 경우, 피드백 산출부에서 상기 기구 오브젝트에 발생되는 반력 및 진동을 산출하는 피드백 산출단계;
상기 피드백 산출단계에서 산출된 반력 및 진동에 대응되는 촉각 피드백이 상기 사용자에게 제공되도록 제어부가 상기 햅틱 디바이스 및 해당 햅틱 디바이스에 설치된 광대역 공진 진동자를 작동시키는 작동단계;를 포함하고,
상기 광대역 공진 진동자는 상기 햅틱 디바이스에서 출력되는 진동의 출력속도와 상이한 출력 속도로 진동을 출력할 수 있는,
힘 및 복합 진동 제공 방법.
- 제13항에 있어서,
상기 피드백 산출단계는
상기 대상 오브젝트와 기구 오브젝트가 충돌할 경우, 해당 기구 오브젝트에 발생되는 반력을 산출하는 반력 산출단계; 및
상기 대상 오브젝트와 충돌한 상기 기구 오브젝트에 발생되는 진동에 대한 진동 신호를 산출하는 진동 산출단계;를 포함하는,
힘 및 복합 진동 제공 방법.
- 제14항에 있어서,
상기 작동단계는
상기 진동 산출단계에서 산출된 진동신호를 상기 햅틱 디바이스에서의 출력 대상 신호인 제1단위신호 및 상기 광대역 공진 진동자에서의 출력 대상 신호인 제2단위신호로 분류하는 신호 분류단계;
상기 반력 산출단계에서 산출된 반력 및 상기 신호 분류단계에서 분류된 제1단위신호에 대응되는 반력 및 진동이 출력되도록 상기 햅틱 디바이스를 작동시키는 제1기기 제어단계; 및
상기 신호 분류단계에서 분류된 제2단위신호에 대응되는 진동이 출력되도록 상기 광대역 공진 진동자를 작동시키는 제2기기 제어단계;를 포함하는,
힘 및 복합 진동 제공 방법.
- 제13항 내지 제16항 중 어느 한 항에 있어서,
상기 광대역 공진 진동자는 상기 햅틱 디바이스에서 출력되는 진동의 출력속도보다 더 큰 출력 속도로 진동을 출력할 수 있는,
힘 및 복합 진동 제공 방법.
- 제16항에 있어서,
상기 신호 분류단계에서는, 상기 진동신호에서, 기설정된 기준 주파수보다 낮은 주파수의 신호를 상기 제1단위신호로 설정하고, 해당 기준 주파수 이상의 신호를 상기 제2단위신호로 설정하는,
힘 및 복합 진동 제공 방법.
- 제17항에 있어서,
상기 신호 분류단계에서는 상기 햅틱 디바이스에서 출력되는 진동의 최대 출력 주파수보다 작은 값으로 상기 기준 주파수가 설정되는,
힘 및 복합 진동 제공 방법.
- 제17항에 있어서,
상기 기준 주파수는 150Hz 인,
힘 및 복합 진동 제공 방법.
- 제14항에 있어서,
상기 진동 산출 단계에서는, 상기 대상 오브젝트와 기구 오브젝트가 충돌시 해당 기구 오브젝트의 움직임에 대한 정보를 토대로 상기 기구 오브젝트에 발생된 진동 신호를 산출하기 위해 기구축된 신경망 모델에, 상기 가상영상을 생성하는 영상 제공부에서 제공받은 해당 기구 오브젝트의 움직임에 대한 정보를 적용하여 상기 진동 신호를 산출하는,
힘 및 복합 진동 제공 방법.
- 제20항에 있어서,
상기 신경망 모델은 ARMA(Autoregressive Moving Average) 모델인,
힘 및 복합 진동 제공 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125641A KR20240045828A (ko) | 2022-09-30 | 2022-09-30 | 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템과 이를 이용한 힘 및 복합 진동 제공 방법 |
| US18/478,769 US20240108977A1 (en) | 2022-09-30 | 2023-09-29 | Force and complex vibration rendering system using force feedback device and wideband resonance actuator and method for providing force and complex vibration using the system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125641A KR20240045828A (ko) | 2022-09-30 | 2022-09-30 | 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템과 이를 이용한 힘 및 복합 진동 제공 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240045828A true KR20240045828A (ko) | 2024-04-08 |
Family
ID=90471268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220125641A KR20240045828A (ko) | 2022-09-30 | 2022-09-30 | 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템과 이를 이용한 힘 및 복합 진동 제공 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240108977A1 (ko) |
| KR (1) | KR20240045828A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101021595B1 (ko) | 2009-03-03 | 2011-03-16 | 한국과학기술원 | 햅틱 인터페이스를 이용한 임플랜트 시뮬레이션 시스템 |
-
2022
- 2022-09-30 KR KR1020220125641A patent/KR20240045828A/ko unknown
-
2023
- 2023-09-29 US US18/478,769 patent/US20240108977A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101021595B1 (ko) | 2009-03-03 | 2011-03-16 | 한국과학기술원 | 햅틱 인터페이스를 이용한 임플랜트 시뮬레이션 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240108977A1 (en) | 2024-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330502B2 (en) | Mixed reality simulation methods and systems | |
| Jeon et al. | Haptic augmented reality: Taxonomy and an example of stiffness modulation | |
| US20050248549A1 (en) | Hand-held haptic stylus | |
| Tzovaras et al. | Design and implementation of haptic virtual environments for the training of the visually impaired | |
| CN110046406B (zh) | 解剖教学系统中一种带有力反馈结构的软组织仿真方法 | |
| JP2000163178A (ja) | 仮想キャラクタとのインタラクション装置、及び仮想キャラクタの映像を生成するプログラムを記憶した記憶媒体 | |
| JP2010257081A (ja) | 画像処理方法及び画像処理装置 | |
| CN108498102A (zh) | 康复训练方法及装置、存储介质、电子设备 | |
| Johnson et al. | Vrmin: using mixed reality to augment the theremin for musical tutoring. | |
| JP2007183332A (ja) | 操作訓練装置 | |
| Kammerl et al. | Combining contact models with perceptual data reduction for efficient haptic data communication in networked VEs | |
| Gillespie et al. | Interactive dynamics with haptic display | |
| US10444703B2 (en) | Method and system for simulation of forces using holographic objects | |
| KR20240045828A (ko) | 포스피드백 장치 및 광대역 공진 진동자를 이용한 힘 및 복합 진동 렌더링 시스템과 이를 이용한 힘 및 복합 진동 제공 방법 | |
| Pausch et al. | Tailor: creating custom user interfaces based on gesture | |
| Lee et al. | Perceptual space of algorithms for three-to-one dimensional reduction of realistic vibrations | |
| Díaz et al. | Influence of multisensory feedback on haptic accessibility tasks | |
| Butnariu et al. | DEVELOPMENT OF A NATURAL USER INTERFACE FOR INTUITIVE PRESENTATIONS IN EDUCATIONAL PROCESS. | |
| KR102222956B1 (ko) | 프로젝터의 사용자 인터페이스 좌표 고정 시스템 및 방법 | |
| Pausch et al. | Giving CANDY to children: user-tailored gesture input driving an articulator-based speech synthesizer | |
| KR101991772B1 (ko) | 모션 시뮬레이터 기반의 가상현실 콘텐츠 체험 시스템 | |
| Papetti | Design and perceptual investigations of audio-tactile interactions | |
| Antoshchuk et al. | Creating an interactive musical experience for a concert hall | |
| WO2023100268A1 (ja) | 切削訓練補助システム | |
| US20190064920A1 (en) | Controlling and configuring unit and method for controlling and configuring a microscope |