KR20200070607A - 강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체 - Google Patents

Abstract

실시 예에 따른 포스 피드백 방법을 개시한다. 포스 피드백 방법은 확장현실환경 상에 사용자 객체와 가상객체를 설정하는 단계, 사용자 객체와 가상객체의 상호 작용 이벤트를 검출하는 단계, 이벤트의 종류 및 사용자 객체와 가상객체의 강도특성에 따라 포스 피드백 제어변수를 변경하는 단계 및 변경된 포스 피드백 제어변수에 따라 출력장치를 통해 역감을 제공하는 단계를 포함한다.

Description

강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체 {FORCE FEEDBACK METHOD AND SYSTEM USING STRENGTH, MACHINE-READABLE STORAGE MEDIUM}

본 발명은 강도를 이용한 포스 피드백 방법에 관한 것으로, 보다 구체적으로 사용자 객체와 가상객체의 강도에 의한 역감(Kinesthesia)을 제공하기 위한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장매체에 관한 것이다.

4차 산업 혁명과 관련하여 증강현실(Augmented Reality), 혼합현실(Mixed Reality) 및 가상현실(Virtual Reality)관련 기술이 급속도로 발전하고 있다. 이러한, 증강현실, 혼합현실 및 가상현실은 현실의 감각을 시공간을 넘어 확장 증폭하려는 시도와 맞닿아 있다. 따라서, 이들의 기술을 통칭해 확장현실(Extended Reality)로 부르기도 한다.

이러한, 확장현실 기술은 일반적으로 교육, 오락, 훈련, 의학 등의 분야의 컴퓨팅 시스템 (computing system)에서 사용된다. 특히, 확장현실 기술을 게임과 접목시켜 기존의 게임의 한계인 현실감을 해결할 수 있는 대안으로 떠오르면서, 게임에 현실감을 더하여 사용자가 직접 체험하는 듯한 효과로 인해 각광받고 있다.

이러한, 확장현실 기술 기반의 게임에 몰입감을 더하고자, 영상 내에서 물리적인 변화인 충돌, 위치 변화 등을 사용자에게 현실감 있게 전달하는 포스 피드백을 제공하는 컨트롤러가 발전하고 있다. 종래의 대부분의 컨트롤러는 진동을 주는 방법이 사용되고 있다. 이러한 진동이 주는 햅틱 피드백을 사용하는 컨트롤러는 몰입감을 제공하기는 하나 진동이 제공하는 감각의 한계에 의해 실감을 제공하기 어려웠다. 따라서 최근에는 진동이 주는 햅틱 피드백의 한계에 의해, 사용자에게 직접적인 힘을 제공하는 역감형 포스 피드백 시스템이 개발되고 있다.

하지만 대부분의 포스 피드백 시스템은 특정 이벤트에 적합한 포스 피드백을 매뉴얼 작업으로 만들어 놓고 게임에서 이벤트 발생시 그 라이브러리를 불러 실행되게 하는 방식이 대부분이었다. 따라서, 역감형 포스 피드백은 특정 이벤트에 의한 역감만을 제공할 뿐, 환경적인 요소 변화를 포함하여 역감을 제공하지 못하는 실정이다. 특히, 게임에서 점차 사실적인 표현이 늘어나고 있고, 동일 이벤트에서도 다양한 포스 피드백이 구현되어야 하나 이러한 기술이 부족한 실정이다.

실시 예의 목적은, 확장현실에서 실감, 몰입감을 증대시키기 위해, 객체의 물리적 제어인자를 이용하여 포스 피드백 제어신호를 생성하여, 사용자에게 역감을 제공하는 강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체를 제공하는 것이다.

또한, 확장현실을 사용하는 환경에서 사용자 객체와 가상객체와의 상호작용시 강도에 따른 역감을 사용자에게 제공함으로서, 확장현실 환경에서의 감각을 실제로 느낄 수 있는 강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체를 제공하는 것이다.

실시 예들에서 해결하려는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

실시 예에 따른 포스 피드백 방법에 대해 설명한다.

실시 예의 일 측면에 따른 포스 피드백 방법은 확장현실환경 상에 사용자 객체와 가상객체를 설정하는 단계, 상기 사용자 객체와 상기 가상객체의 상호 작용 이벤트를 검출하는 단계, 상기 이벤트의 종류 및 상기 사용자 객체와 상기 가상객체의 강도특성에 따라 포스 피드백 제어변수를 변경하는 단계 및 상기 변경된 포스 피드백 제어변수에 따라 출력장치를 통해 역감을 제공하는 단계를 포함한다.

실시 예의 다른 측면에 따라 포스 피드백 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장매체가 제공된다.

또한, 실시 예의 또 다른 측면에 따른 포스 피드백 시스템은 확장현실환경 상에서 사용자 객체가 가상객체와 상호 작용하는 이벤트를 검출하고, 상기 사용자 객체와 상기 가상객체의 강도특성에 따라 포스 피드백 제어변수를 변경하여 포스 피드백 제어신호를 생성하는 제어장치 및 상기 포스 피드백 제어신호를 수신하여 역감을 사용자에게 제공하는 출력장치를 포함한다.

실시 예에 따르면, 확장현실에서 실감, 몰입감을 증대시키기 위해, 객체의 물리적 제어인자를 이용하여 포스 피드백 제어신호를 생성하여, 사용자에게 역감을 제공함으로써 확장현실 환경에서의 실감과 몰입감을 더욱 증대시킬 수 있다.

또한, 확장현실을 사용하는 환경에서 사용자 객체와 가상객체와의 상호작용시 강도에 의한 역감을 사용자에게 제공함으로서, 확장현실 환경에서의 물리적인 감각을 실제로 느낄 수 있다.

실시예에 따른 강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 실시 예에 따른 포스 피드백 시스템을 나타내는 도면이다.
도 2는 실시 예에 따른 제어부를 나타내는 도면이다.
도 3은 실시 예에 따른 강도 차이에 의한 사용자 객체와 가상객체를 인장하는 모습을 나타내는 도면이다.
도 4는 도 3의 실시 예에 따른 응력과 변형률 선도를 나타내는 도면이다.
도 5는 다른 실시 예에 따른 확장 현실 상에서 사용자 객체가 가상객체를 압축하는 모습을 나타내는 도면이다.
도 6은 다른 실시 예에 따른 확장 현실 상에서 사용자 객체가 가상객체를 비트는 모습을 나타내는 도면이다.
도 7은 다른 실시 예에 따른 확장 현실 상에서 사용자 객체가 가상객체를 굽히는 모습을 나타내는 도면이다.
도 8은 다른 실시 예에 따른 사용자 객체와 가상객체의 충돌 이벤트를 예시적으로 나타내는 도면이다.
도 9는 다른 실시 예에 따른 사용자 객체와 가상객체의 충돌 이벤트를 예시적으로 나타내는 도면이다.
도 10은 실시 예에 따른 포스 피드백 방법을 나타내는 흐름도이다.

이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.

본 명세서를 설명하기에 앞서 사용자 객체(U)는 사용자의 입력 또는 동작에 따라 확장현실 환경에서 구현되는 실제 사용자의 신체, 가상의 사용자 신체, 사용자가 파지 또는 장착한 실제 또는 가상의 도구를 의미한다.

또한, 가상객체(V)는 확장 현실상에서 사용자 객체(U)와 상호 작용이 가능한 가상의 객체를 의미한다. 여기서, 가상객체(V)는 고체로 구현된 가상의 객체일 수 있다. 또한, 가상객체(V)는 타 사용자의 사용자 객체(U)인 것도 가능할 수 있다.

그리고, 확장현실(Extended Reality)은 증강현실(Augmented Reality), 혼합현실(Mixed Reality) 및 가상현실(Virtual Reality)을 통칭한다.

도 1은 실시 예에 따른 포스 피드백 시스템을 나타내는 도면이다.

도 1을 참조하면, 포스 피드백 시스템(10)은 입력장치(100), 제어장치(200), 출력장치(300) 및 표시장치(400)를 포함한다. 이외에, 포스 피드백 시스템(10)은 카메라(미도시), 마이크(미도시) 등을 더 구비할 수 있다.

입력장치(100)는 사용자의 입력의 위치, 방향, 가속도, 압력, 키 정보를 등을 입력 받아 입력데이터를 생성하는 장치일 수 있다. 입력장치(100)는 자이로 센서, 엔코더, 터치패널, 다수의 키버튼을 구비한 키패드 등이 구비되어 사용자의 입력을 검출하여 입력데이터를 생성하는 장치일 수 있다. 예를 들어, 입력장치(100)는 게임패드, 패들 컨트롤러, 트랙볼, 조이스틱, 아케이드 스타일 조이스틱, 자동차 핸들, 마우스, 데이터 글러브 등 일 수 있다. 또한, 입력장치(100)는 사용자의 손 동작, 팔 동작, 다리 동작, 발 동작 등의 움직임을 검출하고, 이러한 움직임을 사용자 입력으로 인식하는 카메라, 모션센서 등으로 구현될 수도 있다.

제어장치(200)는 확장현실 환경을 생성하여 제공하는 물리엔진이 기록된 저장매체를 포함하는 장치일 수 있다. 예를 들어, 제어장치(200)는 물리엔진이 기록된 저장매체를 포함하는 컴퓨터, 핸드폰과 같은 휴대용 통신 단말, 콘솔, PDA, 태블릿 PC, 서버 등일 수 있다. 제어장치(200)는 통신부(210), 제어부(220) 및 메모리(230)를 포함한다.

제어장치(200)는 확장현실 환경을 제공하고, 사용자 객체(U)가 가상객체(V)와 상호 작용하는 이벤트를 검출하고, 포스 피드백 제어변수를 변경하여 역감(Kinesthesia)을 제공하기 위한 포스 피드백 제어신호를 생성한다.

통신부(210)는 입력장치(100), 출력장치(300) 또는 표시장치(400)와 통신하여, 입력데이터, 포스 피드백 제어신호, 영상 데이터 및 음성 데이터를 송수신 할 수 있다. 통신부(210)는 LAN, 데이터 케이블 등을 이용한 유선방식 또는 RF통신(Radio Frequency), WiFi(Wireless Fidelity), LTE(Long Term Evolution), 블루투스, IrDA (Infrared Data Association), 지그비, UWB(Ultra-wideband), 부호분할다중접속방식(code division multiple access: CDMA), 주파수분할다중방식(frequency division multiplexing: FDM), 시분할다중방식(time division multiplexing: TDM) 등에 따라 무선방식으로 입력장치(100), 출력장치(300) 또는 표시장치(400)와 통신할 수 있다. 또한, 통신부는 인터넷에 접속하여 입력장치(100), 출력장치(300) 또는 표시장치(400)와 통신하는 것도 가능하다.

여기서, 입력장치(100), 출력장치(300) 또는 표시장치(400)는 통신부(210)와 통신할 수 있는 통신모듈(미도시)이 구비될 수 있다. 통신모듈은 통신부(210)와 동일한 방식으로 통신하거나 인터넷에 연결되어 통신부에 접속할 수 있다.

제어부(220)는 사용자의 선택에 따른 게임 등의 확장현실 환경을 제공하는 프로그램 또는 어플리케이션을 실행한다. 여기서, 제어부(220)는 확장현실 환경 상에서 사용자 객체(U)가 가상객체(V)와 상호 작용하는 이벤트를 검출하고, 각각의 객체가 가지는 현실과 동일하거나 사용자에 의해 설정된 물리적 특성의 제어인자에 따라 포스 피드백 제어변수를 변경하고 이에 따라 포스 피드백 제어신호를 생성한다. 또한, 제어부(220)는 입력장치(100)를 통해 입력되는 제어인자에 대한 정보를 메모리(230)에 전달하여 저장하는 것도 가능하다. 제어부(220)에 대한 상세한 설명은 도 2를 참조하여 후술한다.

메모리(230)는 게임, 통신 등 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 영상들, 사용자 정보, 문서 등과 관련된 데이터베이스들, 포스 피드백 시스템을 구동하는데 필요한 배경 영상들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들 등을 저장할 수 있다. 또한, 메모리(230)는 각각의 제어인자들에 따른 포스 피드백 제어변수의 데이터가 저장되어 있을 수 있다.

여기서, 메모리(230)는 제어인자 중 강도특성에 따른 포스 피드백 제어 변수 데이터를 저장할 수 있다. 또한, 메모리(230)는 사용자 객체 또는 가상객체의 형상, 온도 또는 피로에 따라 변화되는 강도특성 제어인자 및 포스 피드백 제어변수 데이터를 입력하여 저장하거나, 기 저장하여 보유할 수 있다.

출력장치(300)는 물리적인 힘을 제공하는 역감형 출력장치이다. 출력장치(300)는 포스 피드백 제어신호를 수신하여 역감으로 출력하여 사용자에게 제공한다. 출력장치(300)는 사용자에게 힘의 크기, 방향, 및 각도를 제공함으로써 사용자에게 실감을 제공한다.

또한, 출력장치(300)는 역감형 출력장치 중에서도 클러치를 구비하여 모터 등의 구동부와 연결이 완전히 차단되어 모터에 의한 부하가 전혀 없는 프리휠링(Freewheeling)이 가능하여 섬세한 힘의 변화를 출력할 수 있는 출력장치인 것이 더 바람직할 수 있다. 이러한, 프리휠링이 가능한 역감형 출력장치는 출력축이 모터의 작동으로 인한 부하상태, 모터의 작동은 없으나 출력축이 모터와 연결되어 모터의 자기장에 의한 무부하상태 및 프리휠링 상태의 3가지 상태로 구현이 가능하면 가장 바람직한 형태일 수 있다.

본 실시 예에서 입력장치(100) 및 출력장치(300)가 따로 구비되는 것으로 도시하였지만 이는 설명의 편의를 위한 것일 뿐 이에 한정되는 것은 아니다. 입력장치(100)는 출력장치(300)와 일체형으로 구비되어 입력 및 출력이 하나의 장치에서 가능할 수 있다.

표시장치(400)는 제어장치(200)로부터 수신한 영상 데이터 및 음성 데이터를 사용자에게 표시한다. 예를 들어, 표시장치(400)는 디스플레이와 스피커를 구비한 TV, 모니터, 및 머리 장착 디스플레이(이하, VR 헤드셋)등 일 수 있다. 표시장치(400)는 주기적 또는 이벤트에 따라 업데이트 되는 영상을 사용자에게 제공할 수 있다.

도 2는 실시 예에 따른 제어부를 나타내는 도면이다.

도2를 참조하면, 제어부(220)는 확장현실 제공부(221), 이벤트 검출부(222) 및 제어변수부(223)를 포함한다.

확장현실 제공부(221)는 사용자 객체 데이터 및 가상객체 데이터를 포함하는 확장현실을 구현한다. 예를 들어, 확장현실 제공부(221)는 사용자 객체(U), 가상객체(V)를 제어인자와 함께 데이터로 생성하여 시각적인 확장현실 환경을 생성하여 제공할 수 있다.

또한, 확장현실 제공부(221)는 확장현실 환경상에 온도특성을 포함하는 환경특성을 설정하여 생성하는 것도 가능하다.

확장현실 제공부(221)는 확장현실 환경상의 환경특성을 실제와 동일하게 구현이 가능하다. 또한, 확장현실 제공부(221)는 현실환경 특성과는 다른 임의의 환경도 구현이 가능하다. 예를 들어, 확장현실 제공부(221)는 환경특성을 임의로 설정하여 각기 다른 온도 특성을 가지는 복수의 구역이 인접하여 형성되는 것도 가능할 수 있다.

확장현실 제공부(221)는 생성된 확장현실 환경을 영상 데이터 및 음성데이터로 생성하여 통신부(210)를 통해 표시장치(400)에 제공하여 사용자가 영상 및 소리로 제공받을 수 있다. 또한, 확장현실 제공부(221)는 이벤트에 따라 업데이트되는 영상데이터 및 음성데이터를 실시간으로 표시장치(400)에 제공할 수 있다.

한편, 사용자 객체 데이터는 사용자 객체(U)의 확장현실에서의 물리적 특성의 제어인자를 포함하는 데이터를 의미한다. 또한, 가상객체 데이터는 확장현실에서의 가상객체(V)의 물리적 특성의 제어인자를 포함하는 데이터를 의미한다. 여기서, 사용자 객체(U), 또는 가상객체(V)는 모두가 가상의 객체로 구현되는 것도 가능하며, 둘 중 어느 하나 이상이 증강현실 또는 혼합현실에서 홀로그램 또는 가상의 객체로 구현되는 것도 가능하다.

확장현실 제공부(221)는 입력장치(100)에서 생성된 입력데이터에 따라 확장현실환경 상에서 사용자객체의 위치를 이동시킬 수 있다. 예를 들어, 확장현실 제공부(221)는 입력데이터에 따라 사용자 객체(U)의 위치, 각도, 속도 또는 가속도를 조절하여 확장현실 상에서 사용자객체의 위치를 이동시킬 수 있다.

이벤트 검출부(222)는 사용자 객체(U)와 가상객체(V) 사이의 상호 작용 이벤트를 판단하여 이벤트를 검출한다. 예를 들어, 이벤트 검출부(222)는 사용자 입력 또는 실행중인 프로세스에 의해 발생하는 사용자 객체(U)와 가상객체(V) 사이의 충돌, 접촉, 타격, 통과, 침투, 또는 탈출 중 적어도 어느 하나 이상을 포함하는 상호작용 이벤트를 감지할 수 있다. 이벤트 검출부(222)는 이벤트를 검출하여 이벤트 데이터를 생성하여 제어변수부(223)에 전달한다.

제어변수부(223)는 이벤트 데이터를 전달받아 포스 피드백 제어변수를 변경한다. 제어변수부(223)는 사용자 객체(U) 또는 가상객체(V)의 물리적 특성 중 강도특성을 물리적 제어인자로 포스 피드백 제어변수를 변경한다. 여기서, 강도특성은 상기 사용자 객체와 가상객체의 인장강도, 압축강도, 전단강도, 비틀림 강도 또는 굽힘강도 중 적어도 하나 이상을 포함한다. 또한, 강도특성은 항복강도, 극한강도, 파단강도 중 적어도 하나 이상의 특성을 포함한다.

예를 들어, 사용자 객체(U)와 가상객체(V)의 상호작용이 충돌이나 타격의 경우, 강도특성에 의해 사용자 객체(U) 또는 가상객체(V)의 일부가 탈락하거나, 형상이 파괴되거나, 휨, 압축 등의 영구적인 손상 또는 변형이 발생하게 된다. 이 때, 제어변수부(223)는 강도특성에 의한 충돌 시의 변형을 포함하여 사용자 객체에 작용하는 힘의 방향, 세기 및 분포에 대해서 포스 피드백 제어변수를 변경한다.

제어변수부(223)는 사용자 객체(U) 또는 가상객체(V) 중 어느 하나가 강도 차이에 의해 변형되는 경우, 사용자가 제공받는 역감은 변형되지 않을 때보다 상대적으로 작은 역감이 제공되도록 포스 피드백 제어변수를 변경할 수 있다.

또한, 제어변수부(223)는 사용자 객체 또는 가상객체의 형상, 온도 또는 피로 중 어느 하나에 따라 강도특성을 변화시키고, 변화된 강도특성에 따라 포스 피드백 제어변수를 변경할 수 있다. 예를 들어, 사용자 객체(U) 또는 가상객체(V)가 금속 재질로 설정되는 경우 온도가 연화가 발생할 정도로 높아지거나, 급속이 냉각되는 경우 강도가 낮아지게 된다. 이 때 제어변수부(223)는 사용자 객체(U) 또는 가상객체(V)의 온도에 따라 강도특성을 변화시키고, 변화된 강도특성에 따라 포스 피드백 제어변수를 변경함으로써 사용자에게 실감을 제공한다.

여기서, 온도에 따른 강도특성은 실제 재질에 따른 강도특성이거나, 사용자에 의해 임의로 메모리에 저장된 강도특성일 수 있다. 또한, 환경특성의 온도에 따라 사용자 객체(U) 또는 가상객체(V)의 온도 특성이 변화하여 강도특성이 변화되는 것도 가능할 수 있다.

한편, 제어변수부(223)는 오픈루프 제어, 온오프 제어, PID 제어, 임피던스 제어 중 어느 하나의 제어방법의 제어변수를 설정한다. 다만 이에 한정되는 것은 아니며, 포스 피드백을 제공할 수 있는 제어방법이면 모두 가능할 수 있다.

예를 들어, 제어변수부(223)는 역감의 크기 및 방향, 제어인자에 따라 임피던스 제어변수를 변화시킨다. 여기서, 임피던스 제어변수는 스프링상수 k, 질량상수 m 및 감쇠상수 c를 포함할 수 있다. 제어변수부(223)는 마찰 계수 또는 점도에 따라 감쇠상수를 변화시키거나, 역감의 크기 및 방향에 따라 스프링 상수k 및 질량상수 m을 변화시킴으로써 출력장치(300)에 제공할 역감을 결정하고, 포스 피드백 제어신호로 생성하여 출력장치(300)에 제공한다.

또한, 제어변수부(223)는 출력장치(300)의 제어방법에 따라 제어인자에 따른 제어변수를 변경할 수 있다. 다시 말하면, 제어변수부(223)는 서로 다른 제어방법을 가지는 복수의 출력장치(300)의 제어방법에 따라 메모리(230)의 데이터를 참조하여 제어신호를 각각 생성하여 역감을 제공하기 위한 포스 피드백 제어신호를 생성하여 제공할 수 있다.

제어변수부(223)는 포스 피드백 제어신호를 통신부를 통해 출력장치에 제공함으로써 역감을 출력장치를 통해 사용자에게 제공한다.

도 3은 실시 예에 따른 강도 차이에 의한 사용자 객체와 가상객체를 인장하는 모습을 나타내는 도면이다.

도 3을 참조하면, 사용자 객체(U)와 가상객체(V) 사이의 지속적인 접촉에 의한 상호작용이 예시적으로 도시되어 있다. 예를 들어, 사용자 객체(U)는 가상객체(V)를 파지하여 양방향으로 힘을 가할 수 있다.

여기서, 제어변수부(223)는 가상객체(V)의 강도특성에 따라 가상객체(V)의 변형에 따른 역감을 다르게 제공하도록 포스 피드백 제어변수를 변경한다. 예를 들어 제어변수부(223)는 가상객체(V)의 인장강도가 낮을 경우, 출력장치(300)에 상대적으로 약한 역감을 제공하도록 제어변수를 변경한다. 또한, 제어변수부(223)는 인장강도가 높은 경우에는 출력장치(300)에 상대적으로 강한 역감을 제공하도록 제어변수를 변경한다.

여기서, 사용자 객체(U) 또는 가상객체(V)의 형상에 따라 강도특성을 변경할 수 있다. 예를 들어, 사용자 객체(U) 또는 가상객체(V)의 형상에 따라 일부 부위에 응력집중으로 인한 강도 저하가 발생할 수 있으며, 강도 저하에 따라 역감의 세기를 저감하는 것도 가능할 수 있다.

또한, 제어변수부(223)는 사용자 객체(U) 또는 가상객체(V)의 피로(Fatigue) 누적에 따라 강도특성을 변경할 수 있다. 사용자 객체(U) 또는 가상객체(V)에 지속적인 충격을 반복해서 가하는 경우에 피로 파괴(Fatigue fracture)가 발생하는데 점진적 파괴(Progressive fracture)라고도 한다. 제어변수부(223)는 사용자 객체(U) 또는 가상객체(V)의 피로의 누적에 따라 강도특성을 점차 감소시키도록 변경함으로써 사용자에게 실감을 제공할 수 있다.

도 4는 도 3의 실시 예에 따른 응력과 변형률 선도를 나타내는 도면이다.

도 4를 참조하면, 본 발명에서 강도특성은 항복 강도(B), 극한강도(C), 파단강도(D) 중 적어도 하나 이상이 특성을 포함할 수 있다. 여기서, 항복강도(A, B)는 응력을 증가시키지 않아도 변형이 연속적으로 갑자기 커지는 상태의 응력으로 탄성변형이 일어날 때의 한계응력을 의미한다. 또한, 극한강도(C)는 재료가 견뎌내는 최대 하중을 재료의 단면적으로 나눈 응력을 의미한다. 또한, 파단강도(D)는 인장시험 시, 재료를 파단시키기 위한 응력을 의미한다 .

여기서, 강도특성은 사용자 객체(U) 또는 가상객체(V)의 변형율을 제어인자로 더 포함한다. 다시 말하면, 제어변수부(223)는 사용자 객체(U) 또는 가상객체(V)의 변형율을 제어인자로 더 포함하여 포스피드백 제어변수를 변경한다. 예를 들어, 확장현실 제공부(221)는 사용자 객체(U) 또는 가상객체(V)의 강도에 따른 변형율을 설정할 수 있다. 제어변수부(223)는 설정된 사용자 객체(U) 또는 가상객체(V)의 변형율에 따라 항복 강도(B), 극한강도(C), 파단강도(D)를 적용하여 역감을 사용자에게 제공하도록 포스 피드백 제어변수를 변경하고, 제어신호를 생성하여 출력장치에 제공한다.

한편, 본 발명에서 강도(Strength)라 함은 객체가 원점에서 비례한도(A)의 강성과 다른 의미의 항복강도 이상의 강도로 영구적 변형이 일어나는 강도를 의미한다.

도 5는 다른 실시 예에 따른 확장 현실 상에서 사용자 객체가 가상객체를 압축하는 모습을 나타내는 도면이고, 도 6은 다른 실시 예에 따른 확장 현실 상에서 사용자 객체가 가상객체를 비트는 모습을 나타내는 도면이고, 도 7은 다른 실시 예에 따른 확장 현실 상에서 사용자 객체가 가상객체를 굽히는 모습을 나타내는 도면이다.

도 5 내지 도 7을 참조하면, 강도특성은 압축강도, 비틀림강도, 전단강도, 또는 굽힙강도 중 어느 하나를 더 포함할 수 있다. 예를 들어, 확장현실 제공부(221)는 사용자 객체(U) 또는 가상객체(V)의 압축강도, 비틀림강도, 전단강도, 또는 굽힙강도 중 어느 하나를 더 설정할 수 있다. 그리고, 제어변수부(223)는 사용자 객체(U) 또는 가상객체(V)의 압축강도, 비틀림강도, 전단강도, 또는 굽힙강도 중 어느 하나에 따라 역감을 사용자에게 제공할 수 있다. 여기서, 확장현실 제공부(221)는 사용자 객체(U) 또는 가상객체(V)의 강도특성을 형상, 온도 또는 피로 중 어느 하나 이상에 따라 변화시킨다. 그리고, 제어변수부(223)는 변화된 강도특성에 따라 포스 피드백 제어변수를 변경함으로써 사용자에게 실감나는 역감을 제공할 수 있다.

도 8은 다른 실시 예에 따른 사용자 객체와 가상객체의 충돌 이벤트를 예시적으로 나타내는 도면이다.

도 8을 참조하면, 사용자 객체(U)와 가상객체(V)가 확장현실 상에서 충돌했을 때, 가상객체(V)의 강도 저하로 부러지는 이벤트가 발생할 수 있다. 이벤트 검출부(222)는 충돌이벤트에서 가상객체(V)의 부러지는 이벤트를 더 검출하고 이벤트 데이터를 제어변수부(223)에 전달한다. 제어변수부(223)는 충돌 시의 반동의 역감을 제공하되, 부러졌을 때는 반동의 역감을 일부만 일시적으로 제공하고 역감을 제거함으로써 사용자에게 실감을 제공할 수 있다.

여기서, 가상객체(V)의 강도 저하는 가상객체(V)의 온도 상승 또는 지속된 충돌에 의한 피로에 의해 발생할 수 있으며, 확장현실 제공부(221)에 의해 설정된 온도 상승 또는 피로누적 데이터에 따라 변화될 수 있다. 가상객체(V)가 사용자 객체(U)보다 작은 강도특성을 가졌을 때 충돌 시, 부러지는 이벤트가 발생할 수 있다.

도 9는 다른 실시 예에 따른 사용자 객체와 가상객체의 충돌 이벤트를 예시적으로 나타내는 도면이다.

도 9를 참조하면, 사용자 객체(U)는 둔기 일 수 있으며, 가상객체(V)보다 강한 강도로 설정될 수 있다. 이 때, 사용자 객체(U)와 가상객체(V)의 충돌이 발생하는 경우 가상객체(V)가 영구적인 변형이 일어날 수 있다. 이 경우, 제어변수부(223)는 역감을 점차 증가시키는 형태로 제공하여, 영구적 변형이 일어날 때 일부 역감이 감쇠되는 느낌부터 더 이상 변형이 일어나지 않는 반발력을 제공하여 사용자에게 실감을 제공할 수 있다.

이하에서는 도 1 및 도 9의 실시 예에 따른 포스 피드백 시스템(10)을 이용한 포스 피드백 방법에 대해 도 10을 참조하여 설명한다.

도 10은 실시 예에 따른 포스 피드백 방법을 나타내는 흐름도이다.

도 10을 참조하면, 포스 피드백 방법은 초기화 단계(S51), 객체를 설정하는 단계(S52), 이벤트를 검출하는 단계(S53), 포스 피드백 제어변수를 변경하는 단계(S54) 및 역감을 제공하는 단계(S55)를 포함할 수 있다.

초기화 단계(S51)에서 확장현실 제공부(221)는 어플리케이션 또는 프로그램을 로딩하면서, 사용자 객체(U)및 가상객체(V)를 생성한다.

객체를 설정하는 단계(S52)에서는 확장현실환경 상에 사용자 객체(U)와 가상객체(V)를 설정한다. 예를 들어, 확장현실 제공부(221)는 메모리(230)에 저장된 강도특성을 포함하는 제어인자를 추출하여 사용자 객체 데이터 및 가상객체 데이터에 적용하여 설정한다.

여기서, 강도특성은 인장강도, 압축강도, 전단강도, 비틀림 강도 또는 굽힘강도 중 적어도 하나 이상의 강도특성을 포함한다. 또한, 강도특성은 항복강도, 극한강도, 파단강도 중 적어도 하나 이상의 강도특성을 포함한다. 그리고, 강도특성은 사용자 객체(U) 또는 가상객체(V)의 형상, 온도 또는 피로 중 어느 하나 이상에 따라 변화될 수 있다. 또한, 강도특성은 사용자 객체(U) 또는 가상객체(V)의 변형율에 따라 변화된다.

이벤트를 검출하는 단계(S53)에서는 사용자 객체(U)와 가상객체(V)의 상호 작용 이벤트를 검출한다. 이때, 이벤트 검출부(222)는 입력데이터, 사용자 객체 데이터 및 가상객체 데이터를 포함하는 이벤트 데이터를 생성한다. 이벤트 검출부(222)는 사용자의 입력에 따른 진행방향, 이동속도, 가속도, 힘의 크기, 힘의 방향 중 어느 하나 이상을 더 포함하여 이벤트 데이터를 제어변수부(223)에 전달한다. 여기서, 상호작용 이벤트는 사용자 객체(U)와 상기 가상객체(V)의 충돌, 접촉, 타격, 통과, 침투, 탈출 중 적어도 어느 하나 이상을 포함한다.

충돌은 사용자 객체(U)와 가상객체(V)의 일시적인 충돌을 의미한다. 접촉은 사용자 객체(U)와 가상객체(V)의 지속적인 접촉을 의미한다. 또한, 타격은 사용자 객체(U)에 의한 가상객체(V)와 충돌을 의미한다. 통과는 사용자 객체(U)가 가상객체(V)를 뚫고 지나치거나, 가상객체(V)가 사용자 객체(U)를 뚫고 지나치는 것을 의미한다. 또한, 침투는 사용자 객체(U) 또는 가상객체(V)가 타 객체에 삽입되는 것을 의미하고, 탈출은 사용자 객체(U) 또는 가상객체(V)가 타객체에서 빠져나오는 것을 의미한다.

한편, 도면에는 도시하지 않았지만, 이벤트 데이터를 생성하는 단계 이전에 입력장치에 입력되는 입력데이터를 수신하는 단계를 더 포함할 수 있다. 입력데이터를 수신하는 단계는 사용자의 입력에 따른 입력데이터를 수신할 수 있다. 예를 들어, 통신부(210)를 통해 입력장치(100)에서 입력되는 사용자의 입력에 따라 사용자 객체(U)의 위치, 각도, 속도, 가속도를 조절할 수 있다.

이후, 이벤트를 검출하는 단계(S53)에서 수신된 입력데이터에 따라 상호 작용 이벤트를 검출할 수 있다.

포스 피드백 제어변수를 변경하는 단계(S54)에서 제어변수부(223)는 사용자 객체 데이터, 가상객체 데이터 및 이벤트 데이터에 근거하여 포스 피드백 제어변수를 변경한다. 제어변수부(223)는 강도특성을 포함하는 제어인자에 따라 포스 피드백 제어변수를 변경할 수 있다.

여기서, 포스 피드백 제어변수를 변경하는 단계에서는 강도 이외의 제어인자는 사용자 객체와 가상객체의 접촉각도, 사용자 객체와 가상객체의 접촉면적, 사용자 객체의 강성, 사용자 객체의 마찰계수, 가상객체의 마찰계수, 사용자 객체의 점도, 가상객체의 점도 중 적어도 하나 이상을 포함하여 포스 피드백 제어변수를 변경하는 것도 가능할 수 있다.

제어변수부(223)는 사용자 객체(U)와 가상객체(V)의 강도특성에 따라 발생하는 힘에 대한 포스 피드백을 제공한다. 예를 들어, 사용자 객체가 가상객체보다 낮은 강도를 가질 때 사용자 객체가 파괴되거나 영구적 변형이 발생할 수 있다. 이 때, 제어변수부(223)는 사용자 객체가 받는 역감을 강도차이 및 변형율에 따라 변경하여 제공할 수 있도록 역감의 방향, 각도 세기를 결정하여 포스 피드백 제어변수를 변경한다.

한편, 사용자 객체(U) 또는 가상객체(V)는 이종 재질로 형성될 수 있다. 이 때, 제어변수부(223)는 사용자 객체(U) 또는 가상객체(V)는 이종 재질로 형성된 객체와 충돌 시, 이종 재질의 강도를 반영하여 포스 피드백 제어변수를 변경하여 역감을 제공할 수 있다.

제어변수부(223)는 출력장치(300)의 제어방법에 맞춰 제어변수를 설정한다. 예를 들어, 출력장치(300)의 제어방법이 임피던스 제어방법일 경우 제어변수부(223)는 강도, 사용자 객체(U) 또는 가상객체(V)의 힘의 크기, 접촉각도, 접촉면적, 강성, 마찰계수 또는 점도 중 어느 하나 이상의 제어인자에 따라 제어변수 스프링상수 k, 질량상수 m 및 감쇠상수 c를 설정한다. 또한, 제어변수부(223)는 진행방향, 이동속도, 가속도, 힘의 크기, 힘의 방향을 통해 출력장치(300)의 포스 피드백의 방향 및 크기를 설정한다.

역감을 제공하는 단계(S55)에서 제어변수부(223)는 포스 피드백 제어변수에 따라 포스 피드백 제어신호를 생성하고, 제어신호를 출력장치(300)에 전달하여 역감을 출력한다.

또한, 포스 피드백 방법은 이벤트에 따라 업데이트되는 영상을 사용자에게 제공하는 단계(미도시)를 더 포함할 수 있다.

포스 피드백 방법은 상기의 단계를 반복하여 역감을 실시간으로 출력할 수 있다.

실시 예에 따른 포스 피드백 방법은 다양한 기계 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 프로그램을 기록한 기계로 읽을 수 있는 저장 매체에 기록될 수 있다. 상기 기계로 읽을 수 있는 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 등 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 기계로 읽을 수 있는 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 기계에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 도면에 의해 실시 예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (17)

1. 확장현실환경 상에 사용자 객체와 가상객체를 설정하는 단계;
   상기 사용자 객체와 상기 가상객체의 상호 작용 이벤트를 검출하는 단계;
   상기 이벤트의 종류 및 상기 사용자 객체와 상기 가상객체의 강도특성에 따라 포스 피드백 제어변수를 변경하는 단계; 및
   상기 변경된 포스 피드백 제어변수에 따라 출력장치를 통해 역감을 제공하는 단계;
   를 포함하는 포스 피드백 방법.
   
2. 제1항에 있어서,
   상기 강도특성은,
   상기 사용자 객체와 가상객체의 인장강도, 압축강도, 전단강도, 비틀림 강도또는 굽힘강도 중 적어도 하나 이상의 강도특성을 포함하는 포스 피드백 방법.
   
3. 제2항에 있어서,
   상기 포스 피드백 제어변수를 변경하는 단계는,
   상기 강도특성을 사용자 객체 또는 가상객체의 형상, 온도 또는 피로(fatigue)중 어느 하나 이상에 따라 변화시키고, 변화된 강도특성에 따라 상기 포스 피드백 제어변수를 변경하는 포스 피드백 방법.
   
4. 제1항에 있어서,
   상기 강도특성은,
   항복강도, 극한강도, 파단강도 중 적어도 하나 이상의 강도특성을 포함하는 포스 피드백 방법.
   
5. 제4항에 있어서,
   상기 포스 피드백 제어변수를 변경하는 단계는,
   상기 사용자 객체 또는 가상객체의 변형율에 따라 포스 피드백 제어변수를 변경하는 포스 피드백 방법.
   
6. 제1항에 있어서,
   입력장치에 입력되는 입력데이터를 수신하는 단계;를 더 포함하고,
   상기 상호 작용 이벤트를 검출하는 단계는,
   상기 상호 작용 이벤트를 상기 수신된 입력데이터에 따라 검출하는 포스 피드백 방법.
   
7. 제1항에 있어서,
   상기 상호 작용 이벤트는,
   상기 사용자 객체와 상기 가상객체의 충돌, 접촉, 타격, 통과, 침투, 탈출 중 적어도 어느 하나 이상을 포함하는 포스 피드백 방법.
   
8. 제1항에 있어서,
   상기 이벤트에 따라 업데이트되는 영상을 사용자에게 제공하는 단계;
   를 더 포함하는 포스 피드백 방법.
   
9. 청구항 제1항 내지 제8항 중 어느 한 항에 따른 포스 피드백 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장매체.
   
10. 확장현실환경 상에서 사용자 객체가 가상객체와 상호 작용 이벤트를 검출하고, 상기 사용자 객체와 상기 가상객체의 강도특성에 따라 포스 피드백 제어변수를 변경하여 포스 피드백 제어신호를 생성하는 제어장치; 및
    상기 포스 피드백 제어신호를 수신하여 역감을 사용자에게 제공하는 출력장치;
    를 포함하는 포스 피드백 시스템.
    
11. 제10항에 있어서,
    상기 강도특성은,
    상기 사용자 객체와 가상객체의 인장강도, 압축강도, 전단강도, 비틀림 강도또는 굽힘강도 중 적어도 하나 이상의 강도특성을 포함하는 포스 피드백 시스템
    
12. 제11항에 있어서,
    상기 제어장치는
    상기 강도특성을 사용자 객체와 가상객체의 형상, 온도 또는 피로(fatigue) 중 어느 하나 이상에 따라 변화시키고, 변화된 강도특성에 따라 상기 포스 피드백 제어변수를 변경하는 포스 피드백 시스템
    
13. 제11항에 있어서,
    상기 강도특성은,
    항복강도, 극한강도, 파단강도 중 적어도 하나 이상의 강도특성을 포함하는 포스 피드백 시스템.
    
14. 제13항에 있어서,
    상기 제어장치는,
    상기 사용자 객체 또는 가상객체의 변형율을 제어인자로 더 포함하여 포스 피드백 제어변수를 변경하는 포스 피드백 시스템.
    
15. 제10항에 있어서,
    상기 사용자의 입력을 입력데이터로 생성하는 입력장치;를 더 포함하고,
    상기 사용자 객체는 상기 입력장치에서 생성된 입력데이터에 따라 상기 확장현실환경 상에서 이동하는 포스 피드백 시스템.
    
16. 제10항에 있어서,
    상기 상호 작용 이벤트는,
    상기 사용자 객체와 상기 가상객체의 충돌, 접촉, 타격, 통과, 침투, 탈출 중 적어도 어느 하나 이상을 포함하는 포스 피드백 시스템.
    
17. 제10항에 있어서,
    상기 이벤트에 따라 업데이트되는 영상을 사용자에게 제공하는 표시장치
    를 더 포함하는 포스 피드백 시스템.

Images