KR20230163820A

KR20230163820A - 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템

Info

Publication number: KR20230163820A
Application number: KR1020220063625A
Authority: KR
Inventors: 김만근
Original assignee: 농업회사법인 한국도시농업 주식회사; 김만근
Priority date: 2022-05-24
Filing date: 2022-05-24
Publication date: 2023-12-01

Abstract

본 발명은 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템에 관한 것으로, 보다 구체적으로는, 다중 감각 몰입형 VR/AR 시스템 설계 및 재현 기술을 제공하기 위한 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템에 관한 것이다.

Description

가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템{Multi-sensory interface system using electronic gloves for virtual reality experience}

현대는 디지털 시대의 혁명을 맞이 하고 있다.

이는 가상현실과 증강현실, 그리고 혼합현실까지 현실과 가상의 경계를 무너뜨림으로써, 현실과 가상이 혼합된 메타 시대로 접어들었다.

디지털 기술을 활용한 제품 개발기술은 인터넷으로 대표되는 세계적 네트워크를 통해 새로운 정보 유통질서를 확보함으로써, 이제는 시공간을 뛰어넘는 새로운 여러 분야(경제·정보·통신 등)의 패러다임으로 그 의미가 확산되고 있다.

그리고 디지털 전환의 핵심 인프라인 데이터·네트워크·인공지능(D.N.A.) 분야의 확장이 지속되고 있으며, 4차 산업혁명 디지털 대(大)전환 과정에서, 인터넷기반자원공유(클라우드), 가상증강현실(VR/AR) 등 혁신성장을 주도할 미래 유망산업이 부각되고 있다.

또한 이러한 산업은 데이터·네트워크·인공지능(D.N.A.) 분야의 확산과 유망산업의 등장으로 경제 전반에 걸쳐 활발한 디지털 혁신의 기반이 되고 있을 뿐만 아니라, 국민의 삶에 체감이 되는 가시적 성과도 뚜렷해지고 있다.

가상현실(Virtual Reality, VR)에 대한 연구는 1990년대 초반에 시작되어 학계에서 꾸준한 연구가 이루어져 왔다.

산업계에서는 주로 가상훈련, 데이터 가시화 등 특별한 필요분야를 중심으로 관련 제품이 개발되고 사용되어 왔으며, 근래 2016년에 미국 오큘러스(Oculus)사에서 Rift라는 이름의 HMD(Head Mounted Display)를 출시하면서, 산업계에서 AR/VR에 대한 관심이 가히 폭발적으로 증가하였다.

기존 HMD에 비해 성능은 매우 높지만 가격은 몇 십 분의 1 수준으로 저렴해진 HMD를, 페이스 북(Facebook), HTC, 소니 (Sony), 삼성, 마이크로소프트(Microsoft) 등 다양한 대기업에서 경쟁적으로 개발, 출시하고 있다.

또한 유니티(Unity), 언리얼(Unreal) 등, AR/VR 응용 개발을 쉽게 할 수 있도록 도와 주는 게임 엔진의 대중화에 힘입어 다 양한 VR 관련 응용이 개발, 출시되고 있을 뿐만 아니라, 일반 사용자가 즐길 수 있는 AR/VR 컨텐츠에 대한 요구도 계속 높아 지고 있는 상황으로서, 가히 AR/VR의 전성기가 도래했다고 이야기할 수 있을 정도이다.

하지만 AR/VR의 현재 기술로는 사용자에게 가상환경에서 현실의 실제와 유사한 고품질의 다양한 경험을 제공하기 어려운 것은, 인간은 가장 중요한 감각인 시각, 청각, 촉각, 후각, 미각의 오감을 비롯해 열감각, 근 감각, 운동감각, 방향감각, 균형감각, 고통, 시간감각 등 매우 다양한 감각을 가지고 있기 때문이다.

이 중에서 현재 AR/VR에서 어느 정도 사실적으로 시뮬레이션하고, 재현할 수 있는 감각은 '시각과 청각에 그치고 있다' 할 것이다. 촉각에 대한 연구도 햅틱스(Haptics)란 이름으로 상당 기간 진행되어 왔으나, 아직 그 완성도가 시각이나 청각에 미치지 못하고 있는 사실이다.

다른 감각을 재현하기 위한 기술과 연구는 상대적으로 발전 정도가 더 아쉬운 편이며, 또한 AR/VR 응용에 입력으로 사용하기 위해 사용자의 음성과 동작을 인식하는 센싱과 인식 기술 역시 지금보다 훨씬 더 성숙되어야 할 것으로 보인다.

그리고 멀리 떨어져 있는 작업 환경에서, 사용자가 햅틱 장치를 이용해 로봇을 조작하면 원격지의 환경을 판단하면서 조작자의 의지대로 작업을 수행할 수 있을 뿐만 아니라, 또한 이런 기술을 이용하면 우주나 원자로, 심해 등 극한 환경에서의 작업을 더욱 원활하게 할 수 있을 것으로 전문가들은 내다보고 있다.

최근에는 수술용 기구로 피부를 절개하거나, 장기를 다룰 때의 촉감까지도 만들어내는 의료용 햅틱 장치들이 등장하고 있으며, 이러한 기술의 등장은 휴대전화로 영화를 보며 액션신의 느낌이 고스란히 살아날 분만 아니라, 인터넷 쇼핑몰에서는 부드러운 실크의 촉감을 즐기면서 새 옷을 살 수 있게 할 것이다.

따라서 이러한 기술은 햅틱스 기술을 사용하면 사용자가 촉감, 근감각 등을 느끼는 물리적 자극을 재현할 수 있으며, 또한 사용자가 피부 내의 수용체와 신체 내부의 근육, 힘줄, 관절 등에 분포한 수용체에서 느끼는 감각을 대상으로 하기 때문에, 이 기술을 잘 활용 하면 사용자가 AR/VR에서 가상 물체를 만지고 조작하거나, 걷거나 뛰면서 움직이는 등 다양한 신체 활동을 사실적으로 재현, 경험하게 함으로서 몰입도와 사실성을 크게 향상시킬 수 있다.

이제 이러한 다중감각 AR/VR 기술의 미래 향방에 있어, 다중 감각 렌더링의 기술적 이슈들은 VR/AR에 공통적으로 관련 있는 문제들로서, 특히 AR의 경우 모바일의 성격이 강하기 때문에 사용할 수 있는 컴퓨팅 기기의 성능에 한계가 있을 수 있으므로, 따라서 실시간성 및 동기화 문제 등이 더욱 중요한 기술적 장벽이 된다.

이에 본 발명에서 구현하는 다중 감각 몰입형 VR/AR 시스템 설계 및 재현 기술로서는, VR/AR 기술 모두 현실과 비슷한 혹은 현실에서 느낄 수 있는 그대로의 경험 창출을 목적으로 하므로, 이를 위하여 여러 가지 요소를 고려하고 활용할 수 있지만, 그 중 하나가 인간이 생활 속에서 늘 하듯‘다중 감각에 입각한 입력 혹은 출력/피드백’을 사용한다.

그리고 다중 감각 시스템( VR/AR에서의 다중 감각 입출력)은, 일반적으로 사용자 상호작용 및 입출력에 2개 이상의 방법(mode)을 서로 조직화하여 함께(coordinated) 사용하며, 이는 VR/AR의 관점에서는 사람의 오감, 즉 시각, 청각, 촉각/역감, 미 각, 후각 등을 함께 사용하는 방법이라 할 수도 있으며, 한편으로 더 나아가 이 밖에도 마우스, 펜, 음성, 제스쳐, 뇌 파, 다리/발, 터치 등 다양한 방법들을 조합하여 상호작용 과정에서의 이점을 꾀하였다.

이는 상호작용 시 다중 감각을 이용하면 사용성이 좋아지는 것은, 다중감각의 사용은 우리 인간이 실생활에서 빈번하게 사용하는 방법이므로, 이를 VR/AR 혹은 일반 상호작용 시스템에서 차용했을 때, 매우 자연스럽고 습득이 쉬워 사용자들이 선호할 수 있기 때문이다.

우리는 이러한 디지털 기술에서, 우리가 늘 대하는 컴퓨터 스크린이나, 고글을 통하여 가상세계를 접하지만 이는 어디까지나 눈으로 보고, 마우스 또는 자판으로 처리되는 그래픽 처리로는 가상현실이 실질적으로 피부에 와 닿지 않는다는 것을 잘 알고 있다.

따라서 본 발명의 기술은 햅틱스(Haptic) 기술을 이용하여, 개발된 "전자장갑을 이용한 가상현실(VR/AR) 체험장치와 소리가 통합된 다중감각 인터페이스"로서, 컴퓨터의 스크린 또는 고글 등에서 비춰지는 가상세계에서 사용자가 행위 하는 신체의 자유로운 표현과 이를 통한 감각 등을 현실적으로 체험하기 위해 전자장갑(100) 형태로 구성하여 신체의 손에 부착되는 체험장치를 제공하고자 한다.

이와 관련하여 기존의 기술에 대해서 살펴본다.

사실 햅틱스 기술은 촉감을 이용해 어떤 기기를 제어하는 기술인데, 쉽게 말하면 전자기기를 만지거나 다룰 때 실제로 특정한 물체를 만지는 듯한 느낌을 주는 것으로서, 최근 터치 폰 뿐 아니라 터치스크린용 스타일러스 펜, 각종 게임장치 등 여러 종류의 전자기기에서 햅틱 기술이 쓰이고 있다.

기존의 햅틱스 기술의 핵심은 진동이다. 국내의 삼성전자의 햅틱 폰의 경우, 진동 모터에서 22가지의 진동 패턴을 만들어 주사위 놀이나 윷놀이 등을 할 때 실제로 물체를 만지는 느낌을 갖게 하며, 노키아는 휴대전화에 진동 센서를 달아 공이 튀는 느낌을 구현해 실감나는 탁구를 즐길 수 있게 했다.

하지만 이러한 모든 기술은 스크린 내에 진동 모터를 장착하는 그것을 손가락으로 누를 때, 여러 가지 진동으로 통하여 사용자에게 유사한 촉감을 체험하게 하는 기술로서, 본 발명에서 구현하고자 하는 기술과는 다르다.

기존의 기술은 주로 출력, 그리고 주요 세 가지 감각(시각, 청각, 햅틱)에 대한 것들이 주류를 이루고 있지만 본 발명과 같이, 다른 감각이 융합되는 것이 효과적이며 이를 위해 다양한 감각에 대한 인지 연구가 더 활발히 이루어져야만, 보다 다양하고 효과적인 다중 감각 활용이 가능한 가상세계 시스템을 구성할 수 있을 것이다.

이러한 기술들은, 과거의 밋밋한 터치스크린은 진동이 없어 기기를 만지고 다루는 느낌이 없었으므로, 이 때문에 손가락이 큰 사람이나 기기 사용에 익숙지 않은 중장 년 층이 사용할 때는 실수나 오작동이 많았던 것이 사실이었다.

따라서 이러한 단점을 개선한 것이 바로 햅틱 기술로서, 햅틱은 사용자에게 현실감과 정확성을 주는 한편, 오작동 비율을 줄이고, 동작 효율도 높였다는 평가를 받고 있다.

이러한 기술이 응용된 햅틱 기술을 예를 들면, 자동차 바퀴에 달린 센서를 통해 노면의 상태를 감지한 뒤, 운전대에 달린 햅틱 장치를 통해 페달에 저항감을 제공함으로써, 운전자가 노면 상태를 느낄 수 있게 하거나, 또는 바퀴가 차선을 벗어나거나 졸음운전을 하는 경우에는 운전대를 통해 경고 진동을 주거나 동작을 멈추게 함으로서 안전성을 향상시키기도 하였다.

그리고 햅팁스 기술의 힘 피드백 장치의 다른 형태로는, 사람의 팔이나 손가락 등의 골격 모양으로 제작되어 사용자가 착용한 상태에서 관절에 직접 힘을 가하는 방식인 외골격형(Exoskeleton Type) 장치가 있으며, 이탈리아 PERCRO, 버추얼 테크놀로지스(Virtual Technologies) 등에 의해서 개발되었다.

또한 기존의 장치들이 로봇과 같은 링크 구조를 가지고 만들어진 것과 달리, 와이어를 직접 손가락 부분에 연결하여 촉감을 재현하는 인터페이스도 만들어졌는데, 도쿄 공과대학의 스피다르(SPIDAR)가 그 중 가장 대표적이며, 유사한 원리를 이용한 인터페이스 개발이 시도되고 있다.

그리고 질감제시 장치로는, 햅틱 인터페이스의 초창기 연구들은 대부분 힘피드백 장치를 중심으로 개발되었으며, 많은 장치들이 상용화에 이르렀을 정도로 수준 높은 연구가 수행되었지만, 상대적으로 표면의 작은 무늬나 거칠기 등과 같은 질감(Texture)을 표현하는 연구는 아직도 초보적인 수준에 머무르고 있으며, 질감을 표현하기 위한 장치를 가리켜, '질감제시 장치(Tactile Display)'라고 하는데, 사람은 질감을 다양한 방법으로 자각하게 되므로, 질감제시 장치의 피부 자극 방법 또한 다양하다.

질감은 근력과 같이, 힘이라는 하나의 요소에 의해 정의될 수 없기 때문에, 질감제시 연구에는 신경과학 및 심리학적 연구가 필수적으로 동반되어야 하며, 질감제시 장치의 하드웨어는 자극 방법에 따라 구체적인 자극 원리 및 활용 예, 그리고 각 형태의 장치들을 통해 해결하고자 하는 다양한 질감을 개발하는 방향으로 개발되고 있다.

그리고 이러한 자극 방법 중 진동을 이용하는 진동촉각(Vibrotactile) 디스플레이는 손쉬우면서도 자극의 전달이 빨라 간단한 신호만을 필요로 하는 곳에 많이 적용되고 있는데, 핀 배열(Pin-array) 방식은 피부에 여러 개의 핀들이 모양을 이루어 수직 방향으로 직접 자극하므로 표면의 무늬를 직관적으로 전달할 수 있게 되므로 가장 많이 시도되는 형태로서 기존의 기술로는 특허문헌 1의 '가상현실체험슈트'로서 이 기술의 구성은 물리적인 발열장치 및 팬, 그리고 발광장치 등으로서, 압축스프링 등을 이용하여 타격 등의 진동을 느낄 수 있도록 한 것이다.

또한 출원된 기술로는 특허문헌 2의 '가상현실체험슈트'를 들 수 있는데, 이 기술의 구현은 본 발명과 상이한 기술로서, 다수의 자극 모듈로 구성되며, 자극 조절부로부터 인가되는 전류에 따라 내부에 수용된 ER유체(Elector-Rheological Fluid)가 액체에서 고체 상태로 변하여 사용자 피부에 압각 자극을 가하는 것을 특징으로 하며, 이러한 ER 유체를 수축 또는 이완시켜 사용자 피부에 압각 자극의 세기를 조절하는 것이다.

그리고 온각, 및 냉각의 구현에 있어서는 냉각과 발열이 동시에 가능한 열전 반도체 소자를 사용한다.

그리고 또한 출원된 기술로는 특허문헌 3의 '안전사고 가상체험시스템 및 그 방법' 또한, 열전소자와 공기 압축 튜브로 구성된 슈트로서, 특히 장갑의 경우, 진동모터로서 진동을 발생 시키는 구조이므로 본 발명의 구성과는 완전히 다른 구조와 작동 원리를 가지고 있다.

이와 같이 햅틱 장치는 힘 피드백 장치와 질감제시 장치로 분류되어 연구되었는데, 최근 들어서 질감제시 장치의 크기가 힘 피드백 장치에 부착될 수 있을 만큼 작게 개발되기 시작하면서 힘과 질감을 동시에 느낄 수 있는 방법들이 연구되고 있는 것 또한 사실이다.이렇듯 근감각 햅틱 랜더링의 VR응용사례를 살펴 보면, 근감각 햅틱 장비를 사용하여 VR에서 의료수술 계획 및 연습, 다양한 훈련 시뮬레이터, 로봇 시뮬레이션 등 다양한 응용 사례가 개발되어 왔다.

하지만 근감각 햅틱 장비를 사용한 렌더링은 많은 연구가 진행되어 왔음에도 불구하고 아직 해결책이 제시되지 않은 문제가 상당히 많이 남아 있는 분야이다

그리고 피부감각 햅틱 장치를 사용한 VR 렌더링을 살펴보면, 근감각 장치에 비하여 표준적인 형태가 없다.

구동기의 종류도 다양하고 진동, 충격, 전기자극, 마찰 등을 다양한 성질의 피부 자극을 사용하기도 하며, 다수의 구동기를 사용하여 몸의 여러 곳을 동시에 혹은 순차적으로 자극하기도 한다.

따라서 VR/AR만을 위하여 독점적으로 사용된다기보다는, 컴퓨터 혹은 기계 인터페이스를 위해서 폭넓게 사용된다고 볼 수 있다.

VR에서 주로 사용되는 피부감각 햅틱 장치를 VR에서 활용하는 가장 전형적인 용도는 사용자에게 충돌 감을 전달해 주기 위한 것으로서, 손을 움직여서 물체와 접촉을 하거나 게임 중 외부에서 물체가 날라와서 사용자 몸에 부딪치는 등, 다양한 충돌 등이 발생할 때, 그 사건 발생에 대한 물리적 정보를 사용자에게 사실적으로 알려 주기 위한 것이다.

이러한 경우 실제 상황에서는 대부분의 경우, 충격(impact)이 가해지는데, 기계적인 충격을 충실히 생성할 수 있는 소형 구동 기를 만드는 것이 기술적으로 어렵고, 그 가격이 상대적으로 높기 때문에, VR에서는 보통 진동자를 사용해서 충격을 모사한다.

사실 VR 상에서 충돌 감지만 되면, 소프트웨어적인 렌더링 알고리즘은 비교적 매우 단순하지만, 원하는 인지적인 효과를 내기 위해 구동기와 거기서 발생 되는 물리적 자극의 설계가 오히려 더 중요하다.

따라서 인지적 효과를 극대화하기 위하여 많은 경우 정신물리학(Psychophysics)적 실험을 통하여 자극을 설계해야 한다.

VR에서 피부감각 햅틱 렌더링의 또 다른 중요한 용도는, 추상적인 정보를 전달해 주는 것으로서, 여기서 추상적인 정보란 충돌 등 물리적인 사건이 발생하지 않더라도 사용자에게 전달하면 도움이 되는 다양한 부가적인 정보를 의미한다.

예를 들어 에 보여진 HMD에 여러 개의 진동자를 붙이고 진동을 통해 사용자의 시선 변화를 유도하는 경우가 있으며, HMD를 착용하고 360도 영화 등을 감상할 때 사용자가 특정한 부분을 보도록 유도하고 싶으면 해당 방향에 해당되는 진동자를 구동하여 사용자의 시선 변화를 유도한다.

이는 사람의 몸의 특정 부위를 자극하면 그 부위 방향으로 자연스럽게 그 사람의 관심이 이동하는 현상을 잘 이용 한 예로서, 추상적 정보전달을 위한 햅틱스의 사용은, 일반 사용자 인터페이스보다는 아직 VR에 서 활용도가 상당히 떨어지기는 하나, VR 환경이 점점 더 복잡해지면서 그 중요성이 부각되고 있다.

국내등록특허공보 제10-2152073호(2020년 08월 31일 등록) 가상현실 체험 슈트 국내등록특허공보 제10-1078320호(2011년 10월 25일 등록) 가상현실 체험 슈트 국내등록특허공보 제10-2115234호(2020년 05월 20일 등록) 안전사고 가상 체험 시스템 및 그 방법

본 발명은 상기의 문제점을 해결하기 위한 것으로, 다중 감각 몰입형 VR/AR 시스템 설계 및 재현 기술로서는, VR/AR 기술 모두 현실과 비슷한 혹은 현실에서 느낄 수 있는 그대로의 경험 창출을 목적으로 하므로, 이를 위하여 여러 가지 요소를 고려하고 활용할 수 있지만, 그 중 하나가 인간이 생활 속에서 늘 하듯‘다중 감각에 입각한 입력 혹은 출력/피드백’을 사용하도록 하기 위한 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템을 제공하기 위한 것이다.

또한, 본 발명은 햅틱스(Haptic) 기술을 이용하여, 개발된 "전자장갑을 이용한 가상현실(VR/AR) 체험장치와 소리가 통합된 다중감각 인터페이스"로서, 컴퓨터의 스크린 또는 고글 등에서 비춰지는 가상세계에서 사용자가 행위 하는 신체의 자유로운 표현과 이를 통한 감각 등을 현실적으로 체험하기 위해 '전자장갑' 형태로 구성하여 신체의 손에 부착되는 체험장치를 제공 및 활용하는 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템을 제공하기 위한 것이다.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템은, 가상세계의 그래픽이미지로 표현되는 사용자의 신체(손)의 이동을 표현하기 위해 사용자의 신체(손)의 이동을 처리하는 위치 인터페이스(210); 햅틱 촉각을 사람이 인지하는 경로인 햅틱 인터페이스; 및 햅틱 인터페이스에 의한 촉각에 따라 물리적 변수에 기반하여 효과를 생성하는 방법으로서 비쥬얼 렌더링, 사운드 렌더링, 햅팁 렌더링에 의해 세 가지 감각(시각, 청각, 햅틱)에 대해서 구현하는 다중감각 인터페이스(240); 를 포함하는 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템에 있어서, 위치 인터페이스(210)는, 오프라인에서 사용자의 전자장갑(100)의 위치 이동 및 손가락의 움직임에 따라, 스크린(300)을 통한 가상세계의 환경에서 표현되는 사용자의 신체인 손의 그래픽 이미지의 이동과 손가락의 움직임을 표현하며, 사용자가 전자장갑(100)을 착용 한 후, 팔 또는 손목을 통한 손의 위치 이동이나 손가락의 움직임이, 사용자의 스크린(300) 앞에 놓여진 햅틱 장치인 전자패드(400) 또는 고글을 통하여 사용자 손의 위치 값을 구하는 것을 특징으로 할 수 있다.

이때, 위치 인터페이스(210)는, 전자패드(400)에 부착된 핀 홀 카메라(410) 또는 고글에 장착된 카메라를 통하여, 손의 움직임을 모션 캡처 후, 캡처된 모션을 스크린(300) 상의 가상대리자 그래픽이미지와 연동시킴으로써, 가상세계에서 사용자의 손 동작을 표현하도록 하는 것을 특징으로 한다.

또한, 햅틱 인터페이스는, 상호작용도구인 전자장갑(100)과 스크린(300) 상에 표현되는 가상물체와의 충돌 감지는 상호작용도구인 전자장갑(100)의 위치를 가상 공간으로 대응시킨 후, 가상 물체와 접촉을 하고 있는지를 검사하고, 만약 접촉이 되어 있으면 반발력을 계산하는 것을 특징으로 한다.

또한, 다중감각 인터페이스(240)는, 알고리즘적으로 물리적 변수에 기반하여 소리 효과를 생성하는 방법으로서, 주어진 물체에 외부 충격이 가해져 소리가 생성되는 경우 소리의 고유 주파수를 미리 분석하고, 물리적 요소를 가지는 모델을 사용하여 주파수 요소의 분포, 전체적 소리 크기를 조절함으로써, 실시간 소리 효과를 생성하도록 하는 것을 특징으로 한다.

본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템은, 다중 감각 몰입형 VR/AR 시스템 설계 및 재현 기술로서는, VR/AR 기술 모두 현실과 비슷한 혹은 현실에서 느낄 수 있는 그대로의 경험 창출을 목적으로 하므로, 이를 위하여 여러 가지 요소를 고려하고 활용할 수 있지만, 그 중 하나가 인간이 생활 속에서 늘 하듯‘다중 감각에 입각한 입력 혹은 출력/피드백’을 사용하도록 하는 효과를 제공한다.

뿐만 아니라, 본 발명의 다른 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템은, 햅틱스(Haptic) 기술을 이용하여, 개발된 "전자장갑을 이용한 가상현실(VR/AR) 체험장치와 소리가 통합된 다중감각 인터페이스"로서, 컴퓨터의 스크린 또는 고글 등에서 비춰지는 가상세계에서 사용자가 행위 하는 신체의 자유로운 표현과 이를 통한 감각 등을 현실적으로 체험하기 위해 ‘전자장갑’ 형태로 구성하여 신체의 손에 부착되는 체험장치를 제공 및 활용하는 효과를 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템(1)에서의 가상현실 체험을 위한 전자장갑(100)의 구성요소를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템(1)에서의 전자장갑(100)과 햅틱 장치(500)를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템(1)에서의 햅틱 인터페이스를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템(1)에서의 근감각 장비를 사용한 햅틱 랜더링 순서를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템(1)을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템(1)에서의 시각, 청각, 햅틱 출력이 함께 연동되는 가상환경 구조도이다.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.

가상현실 체험을 위한 전자장갑(100)을 이용한 다중감각 인터페이스 시스템(1)에서는, 저주파 단자인 텐스{Transcutaneous Electrical Nerve Stimulation(경피신경 전기자극)}를 통하여 발생되는 미세전기를 통해서 근육을 수축 이완 반복운동을 하는 원리로 개발된 것으로서, 도 1과 같이 전자장갑(100)을 이용해'근 감각'과 '질감 감각'을 구현할 수 있다.

이는 마치 저주파 치료기와 같이, 저주파를 피부 내부로 흘려 보냄으로써 근육을 자극하는 것으로서, 피부 내부로 전달된 전기 신호가 근육의 수축과 이완을 촉진하는 원리로, 주파수가 낮을수록 피부 저항이 커지므로 이러한 원리로서 ‘근 감각’과 '질감 감각'을 구현한다.

즉 낮은 주파수인 저주파 수와 중주파 수, 그리고 높은 주파수인 고주파 수를 적절히 혼용하여 진동을 만들어내며, 사용자의 신체에 전류와 전압을 전달시킴으로써 '근 감각부'와 '질 감각부'는 여러 형태의 진동을 통하여, 여러 가지 형태의 감각을 실현하게 한다.

헤르츠(주파수)는 진동수의 단위로서, 진동 운동에서 물체가 일정한 왕복 운동을 지속적으로 반복하여 보일 때 1초당 반복 운동이 일어난 횟수를 일컫는 것으로서, 예를 들어 1천Hz면 1초에 1천 번의 진동이 반복적으로 왕복 운동한 것이다.

본 발명의 기술은 전자장갑(100)을 이용한 다중감각 인터페이스 시스템(1)로서, 도 3a와 같이 '힘 피드백 장치(Force Feedback Device)'와 '질감 제시 장치(Tactile Display)'를 전자장갑(100) 형태로 구성한다.

그리고, 전자장갑(100) 장치의 내부에 도 1c와 같이 '손 외형부(110)', 도 1e와 같이 '손 등부(120)', 도 1d와 같이 '손바닥 부(130)'와 '손가락 부(140)'로 나누어 각 부의 감각 신경선을 따라 미세한 저주파 단자를 장착함으로써, 사용자가 가상세계에서 동작 시 어떠한 물체에 대한 감각 표현에 대해, 사용자의 피부에 저주파로서 자극을 가함으로써 사용자가 실제 현실에서 겪는 것과 같은 촉감을 전달한다.

통상의 근감각 햅틱 장치를 사용한 VR 렌더링에 있어, 근감각 햅틱 장치(500)는 일반적으로 소형 로봇과 그 구조 및 동작 방식에 있어서 매우 유사하다.

사용자는 데스크 탑(스크린 등) 근감각 햅틱 장치에 붙어 있는 상호작용도구(Interaction Tool; 보통 골무, 연필, 혹은 공처럼 생긴 경우가 많음)를 손에 쥐거나 혹은 외골격 장비를 몸에 입고, 가상 환경과 상호작용을 한다. 이러한 경우 대부분 한 점에 서 사용자와 가상 물체와의 '상호작용이 발생한다'고 가정하는 것이 통상적이다

하지만 본 발명에서는, 이러한 상호도구를 장갑형태로 구현하고, 이에 저주파 수, 중주파 수, 고주파 수 등을 통하여 사용자의 신체에 자극을 가함으로써 힘의 느낌이나, 질감 등의 촉각을 제공하고자 한 것이다.

또한 현실의 사용자와 동일한 움직임을 가지는 컴퓨터의 스크린(300) 또는 고글 상에 나타나는 가상세계의 화면에서 표현되는 가상대리자(사용자의 가상실체)의 물체 접촉 등의 표현은, 사용자의 신체 손 모양이 그래픽이미지로 표현되고, 사용자 자신은 오프라인의 햅틱장치를 통하여 직접 동작을 함으로서 가상세계의 스크린 상에 표현되는 각종 물체 등을 만지거나 또는 이동시킬 수 있다.

또한 촉감과 진동과 충격 등 뿐만이 아니라, 소리가 통합된 "전자장갑을 이용한 가상현실 체험장치와 소리가 통합된 다중감각 인터페이스 시스템(1)"이다.

본 발명에서는 이를 구현하기 위해 햅틱 장치(500) 내의 제어기(200) 상으로 4가지 인터페이스를 제공하며, 가상세계의 그래픽이미지로 표현되는 사용자의 신체(손)의 이동을 표현하기 위해 사용자의 신체(손)의 이동을 처리하는 1. '위치 인터페이스(210)', 햅틱 촉각을 사람이 인지하는 경로인 2. '힘 인터페이스(220)'와 3. '질감 인터페이스(230)'로 구성되며, 또한 소리가 통합된 4. '다중감각 인터페이스(240)'인 '사운드 렌더링'과 시각적 효과를 위한 '비주얼 렌더링'으로 구성된다.

이러한 인터페이스는, 소프트웨어와 촉각 효과 라이브러리, 응용 프로그램과의 연계를 위한 프로그래밍 인터페이스 등으로 실현된다.

사용자가 오프라인에서 자신의 손 동작과 동일하게 동작하는 가상세계의 가상대리자 (그래픽이미지로 표현)를 통하여 그대로 구현하기 위해, 1. 위치 인터페이스(210)로 사용자의 손동작 전반의 이동을 감지한다.

위치 인터페이스(210)는, 오프라인에서 사용자의 전자장갑(100)의 위치 이동 및 손가락의 움직임에 따라, 스크린(300) 등을 통한 가상세계의 환경에서 표현되는 사용자의 신체인 손의 그래픽 이미지의 이동과 손가락 등의 움직임을 표현한다.

이는 사용자가 전자장갑(100)을 착용 한 후, 팔 또는 손목을 통한 손의 위치 이동이나 손가락의 움직임이, 사용자의 스크린(300) 앞에 놓여진 햅틱 장치인 전자패드(400) 또는 고글(미도시)을 통하여 사용자 손의 위치 값을 구할 수 있다.

또한 전자패드(400)에 부착된 핀 홀 카메라(410) 또는 고글에 장착된 카메라를 통하여, 손의 움직임을 모션 캡처 후, 이를 스크린(300) 상의 가상대리자 그래픽이미지와 연동시킴으로써, 가상세계에서 사용자의 손 동작을 표현할 수 있다.

다음으로, 2. 힘 인터페이스(220)는 무게나 형상, 굳기 등 근육이 감지하는 경로이다.

상기의 위치 인터페이스(210)와는 달리, 힘 인터페이스(220)나, 촉감들의 질감 인터페이스(230)는, 본 발명의 전자장갑(100)을 통하여 저주파 수, 중주파 수, 고주파 수를 혼용한 자극을 통하여 구현될 수 있다.

생물이든 무생물이든 모든 물체는 고유한 진동수를 가진다.

인간의 고유진동수는 7.83Hz로서, 본 발명은 저주파의 진동원리 중, 어떤 하나의 진동체가 있을 때에 다른 것이 이 진동에 따라 증폭된 진동을 일으키는 현상인 공명현상을 이용하여 인간의 신체에 고유한 진동수 값인 7.83Hz를 전자장갑(100)으로 방사하면, 신체에 공명현상이 함께 일어나게 되므로, 신체의 전체 근육에 공명현상이 일어나게 됨으로써, 가상세계에서 일어나는 여러 상태가 현실에서 감각적으로 느끼게 되며, 이로 인해 사용자는 더욱 더 실제와 같은 느낌을 받을 수 있도록 할 수 있다.

본 발명에서, 햅틱 인터페이스(Haptic Interface, 촉각 인터페이스)는, 넓은 의미로 사용자에게 촉감을 전달하는 시스템 전체를 가리키며, 사용자가 직접 접촉하게 함으로써 사용자에게 물리력 전달을 통해 촉감을 발생시키는 하드웨어 장치인, ① 햅틱 장치(Haptic Device)(500) ② 원격 접촉(Teletaction) 환경 혹은 컴퓨터 그래픽과 물리적 특성 등으로 이루어진 가상 환경 ③ 햅틱 장치(500)의 움직임을 가상 환경에 전달하고 가상환경 과의 접촉력을 전자장갑(100)으로 전달하는 역할을 하는 제어기(힘 인터페이스(220)로 이루어진다.

햅틱 인터페이스의 궁극적인 목적은, 모델링 되어있는 가상 환경 혹은 실제 환경의 물리적 특성을 사용자가 햅틱 장치를 통해 똑같이 느끼게 하는 것으로서, 이는 가상세계를 현실세계와 연동시키는 플랫폼 역할에 의해, 다양한 가상 환경에서 구현되는 일반 오락의 즐거움 뿐만 아니라, 교육체험 및 생산(농업 및 일반산업 등) 등, 현실적인 경제 체를 다룰 수 있다.

따라서 이러한 기술구현 방법으로, 점 접촉 상호 작용 렌더링을 위해 다음의 순서로 진행하며, 도 3b를 참조할 수 있다.

단계 1) 상호작용도구의 위치 측정은, 사용자가 손에 상호작용도구인 전자장갑(100)을 손에 끼고 움직이면 이 위치를 측정한다.

이는 스크린(300) 앞에 놓여진 햅틱 장치(500)에 탑재되어 있는 전자패드(400)와 핀 홀 카메라(410) 또는 고글에 장착된 카메라의 모션 캡처 기능을 통하여, 사용자 손의 각 관절의 위치/각도 센서로부터 값을 읽고, 값을 햅틱 장치(500)의 고정 값에 대입하면, 상호작용도구인 전자장갑(100)의 위치를 구하는 방식이다.

단계 2) 상호작용도구인 전자장갑(100)과 스크린(300) 상에 표현되는 가상물체와의 충돌 감지는 상호작용도구인 전자장갑(100)의 위치를 가상 공간으로 대응시킨 후, 가상 물체와 접촉을 하고 있는지를 검사한다.

그리고 만약 접촉이 되어 있으면 적절한 반발력을 계산하기 위하여 다음 단계로 진행 하며, 그렇지 않으면 사용자가 빈 공간을 탐색하고 있는 중이기 때문에 힘을 발생시키지 않아야 하므로, 다시 단계 1)의 단계로 돌아가서 같은 과정을 반복한다.

단계 3) 반발력의 계산은, 각 가상 물체에는 일반적으로 모양에 대한 정보와 다양한 물성(경도 계수, 점성 계수, 마찰 계수 등)이 부여되어 있으므로, 현재 접촉이 되어 있는 가상 물체의 성질과 상호작용도구(전자장갑(100))의 위치를 고려하여 적절한 반발력을 계산한다.

이 때 목표는 상호작용도구인 전자장갑(100)을 가상물체 밖으로 밀어내는 것과, 또한 그 물체의 물성을 정확하게 전달하는 것이므로, '저주파 주파수 값'으로 이를 조화시킨다.

단계 4) 반발력 생성을 위해 반발력을 계산한 후, 실제로 근감각 햅틱 장비를 사용하여 실제로 물리적 반발력을 생성해야 하므로, 본 발명에서는 이를 위해 기존의 기술과 같이 근감각 햅틱 장비가 가지고 있는 다수의 구동기 사용과, 각 구동기의 제어를 위해 로봇 공학의 힘 제어이론과 기술을 사용할 필요가 없다.

본 발명의 기술은, 단지 저주파와 중주파 또는 상황에 따라 고주파를 이용하여 이를 구현한다.

단계 5) 가상 물체상태의 갱신에 있어서, 가상물체는 정적이고 고정되어 있을 수도 있지만, 필요에 따라 움직이는 동적 물체일 수도 있고, 만지면 모양이 변하는 변형체일 수도 있다.

따라서 앞의 단계 4)에서 계산된 반발력에 따라 영향이 있는 모든 가상 물체의 상태를 적절하게 갱신하는 과정을 거친다.

단계 6) 위의 모든 과정을 반복하여야 하며, 이때 그 갱신 주기는 매우 빨리 이행되지 않으면 햅틱 렌더링의 안정성(Stability)이 깨어질 수 있으므로, 이러한 안정성을 담보하기 위해 필요한 갱신주기를 일반적으로 설정하는 1kHz로 한다.

이러한 과정은 충돌 감지 및 반발력 계산에서 접촉 지점 근처의 지역적 정보만 고려해도 충분하므로 다루는 정보의 양이 그래픽스에 비해 매우 적지만 갱신주기를 30배 이상 빠르게 처리한다.

힘을 입력으로, 위치를 출력으로 내보내는 장비를 어드미턴스(Admittance) 방식은 매우 큰 힘이 필요한 대형 근 감각 장비에서 사용하는 방식으로서, 힘 센서가 부가적으로 필요하지만, 상기의 햅틱 렌더링의 과정에서 볼 때, 본 발명에서는 임피던스(Impedance) 방식의 근감각 장비를 사용하는 것이므로, 상호작용도구인 전자장갑(100)의 위치를 입력으로 받고 힘을 출력으로 내보낸다.

3. 질감 인터페이스(230)는 표면 무늬나 질감, 온도 등 피부가 느끼는 경로이다.

전자장갑(100) 장치를 이용해 컴퓨터 화면 속의 가상대리자를 통하여 물체를 움직이면 촉감이 느껴지게 하는 기술로서, 이는 복잡한 물리 법칙과 상호작용도구(전자장갑)의 위치를, 가상대리자(사용자의 손 이미지)라는 하나의 점으로 축약시켜 표현함으로써, 3자 유도 렌더링의 목적을 달성하는 기본적인 알고리즘으로 처리된다.

전자장갑(100)에서 표현되는 진동은, 진폭과 주파수, 전달 시간 등을 바꿈으로써 다양한 촉감 유형을 만들 수 있으며, 이 자극을 사용자 손의 피부에 가함으로써 가상의 촉감을 전달한다.

그리고 전자장갑(100) 내부의 '손 외형부(110)', '손 등부(120)', '손바닥 부(130)', 그리고 '손가락 부(140)' 전체에는 근육에 진동을 전달하는 미세한 주파수 단자가 부착되어 있으며, 햅틱 장치(500)와 연결된 전자패드(400) 또는 고글을 통하여 전자장갑(100)이 사용자의 손을 통하여 움직이면, 위치센서에 의해 스크린(300) 상의 가상세계의 그래픽이미지인 손과 손가락을 움직이게 되고, 가상세계에서 표현되는 물체의 형상 이미지에 가상의 손이 닿으면, 전자장갑(100)의 주파수 단자가 진동하고, 이때 발생되는 전극의 자극으로 촉감인 무게 또는 형상과 굳기 등을 사용자의 손 근육을 통해 전달한다.

이러한 질감 인터페이스(230)는, 피부에 진동을 전달하는 미세한 저주파 단자를 본 발명의 전자장갑(100) 내부에 구현시켜 사용자의 피부에 자극을 가함으로써 가상의 느낌을 전달하는 것이며, 그리고 이를 제어하는 소프트웨어와 촉각 효과 라이브러리, 응용 프로그램과의 연계를 위한 프로그래밍 인터페이스 등으로 실현된다.

또한 인터페이스는, 가상대리자(그래픽이미지) 알고리즘을 통하여 구현되며, 사용자의 상호작용도구인 전자장갑(100)을 움직임에 따라, 상호작용도구(전자장갑)의 위치는 가상의 내부로 들어올 수 있지만, 어디까지나 이는 가상환경이므로 실제환경에서 물리적 법칙에 따라 상호작용도구(전자장갑)가 있어야 할 위치와 가상대리자인 그래픽이미지(사용자의 손 이미지)를 맞추어 놓는다.

이렇게 되면 상호작용도구(전자장갑)의 실제 위치와, 가상대리자(사용자의 손 이미지)의 위치에 차이가 발생하고, 이 차이를 이용하여 상호작용도구(전자장갑)를 가상대리자의 위치로 움직이도록 하는데 필요한 힘을 계산하고, 이를 근 감각 햅틱 장비를 사용하여 주파수를 발생시킨다.

그리고 근 감각(kinesthesia)은, 도 3a와 같이 물체의 질량이나 굳고 말랑말랑한 정도, 물체의 외형 등을 느낄 때 근육과 관절의 움직임을 통해 촉감을 느끼는 현상으로서, 이 과정은 물리적으로는 힘과 연관되어 있음으로 인해, 기존의 햅틱 장치는 힘을 생성하기에 유리한 로봇 모양과 같은 기구적 구조를 띠고 있지만, 본 발명에서는 이 힘 피드백 장치(Force Feedback Device)를 주파수를 이용하여 구현되도록 한 것이다.

또한 본 발명에서 질감(Tactility)의 표현은, 가상대리자(그래픽이미지의 손)가 가상세계에서 접촉하고 있는 표면의 무늬 혹은 작은 모양들과 표면의 부드럽고 거친 정도, 냉·온감 등을 느낄 때 피부를 표면에 직접 접촉하여 느끼는 현상을 만들어 내는 것으로서, 기존의 햅틱 장치들의 모양도 매우 다양하지만, 본 발명에서는 질감 제시 장치(Tactile Display)인 주파수 장치를 통하여 전자장갑(100)에 질감을 재현하고자 하는 부분에 선택적으로 저주파 수, 중주파 수, 고주파 수를 발생시킴으로써, 사용자에게 근 감각 및 질 감각을 느낄 수 있도록 구현할 수 있다.

이러한 주파수를 감각으로 표현하는 전자장갑(100)의 내부 표면에는 '손 외형부(110)', '손 등부(120)', '손바닥 부(130)', 그리고 '손가락 부(140)'등으로 구분된 부분에 무수히 많은 주파수 단자(100a)가 돌기처럼 형성되어 있으며, 이 과정은 손의 감각 경로 등, 여러 가지 복잡한 물리적 요소들로 이루어져 있으므로, 가상세계에서 구현되는 각종 그래픽이미지 형태 및 질감 등과 무게 등을 고려하여 프로그래밍 된다.

따라서 신체의 질량 감 및 촉감의 구현을 위해, 첫째 주파수(헤르츠(Hertz/Hz)는 1Hz 내지 50,000Hz의 광대역 주파수를 사용하며, 둘째 각 부위별로 구성된 다수의 채널을 동시에 방사하는 기능과, 셋째 주파수 홍용 및 증감기술과, 넷째 직류와 교류를 동시에 출력 할 수 있도록 구성하는 것이 바람직하다.

이는 주파수가 높아질 수록 전기신호가 받는 피부 저항이 낮아 더 깊이 통과할 수 있으므로, 주파수가 낮아질 수록 전기신호가 받는 피부저항이 높아지므로, 신체의 반응을 사용자가 알아차릴 수 있다.

따라서 본 발명에서는 이러한 조정을 적당한 침투능력을 가진 서로 다른 중주파수 또는 고주파를 간섭시켜 저주파수로 바꾸어 줌으로서 근 감각 및 질 감각을 적절하게 표현할 수 있도록 하였으며, 이때 중주파수는 대개 4000~5000Hz를 이용한다.

4. 다중감각 인터페이스(240)에 대해서 살펴보면, 다중 감각 렌더링의 기술적인 문제들은 VR/AR에 공통적으로 관련 있는 문제로서, 특히 AR의 경우에는 모바일의 성격이 강하기 때문에, 사용할 수 있는 컴퓨팅 기기의 성능에 한계가 있을 수 있다.

그리고, 일반적으로 다중 감각 시스템은, 사용자 상호작용 및 입출력에 2개 이상의 방법(mode)을 서로 조직화하여 함께(coordinated) 사용하므로, 이는 VR/AR의 관점에서는 사람의 오감, 즉 시각, 청각, 촉각/역감, 미 각, 후각 등을 함께 사용하는 방법이라 할 수 있다.

이 밖에도 마우스, 펜, 음성, 제스처, 뇌 파, 다리,발, 터치 등 다양한 방법들을 조합하여 상호작용 과정에서의 이점을 꾀하려고 하는 것으로 볼 수 있다.

따라서 본 발명에서는 실시간성 및 동기화 문제 등이 더욱 중요한 기술적 장벽이 될 수 있을 것이므로, 주로 출력과 도 5와 같이 비쥬얼 렌더링 모듈(610), 사운드 렌더링 모듈(620), 햅팁 렌더링 모듈(630)로 구성된 렌더링 모듈(600)에 의해 세 가지 감각(시각, 청각, 햅틱)에 대해서 구현할 수 있다.

또한 본 발명에서 다중감각 입출력의 기술적 처리는, 우선 가상세계에서 펼쳐지는 서로 다른 감각자극들이 사용자에게 잘 전달되도록 충분한 갱신주파수를 지켜야 하며, 시각자극은 부드러운 애니메이션을 위해 30Hz(초당 30번 이상, 혹은 입체영상의 경우 60번 이상), 청각은 인간 가청 주파수를 고려하여 44.1KHz, 그리고 안정된 출력을 위한 햅틱 렌더링은 이상적으로 1KHz의 출력 주파수를 사용하도록 하는 것이 바람직하다.

청각의 경우, 가상환경 속에서 사용자가 환경과 물리적 상호작용을 하면서 소리가 발생하게 되므로 원칙적으로는 관련 물리 변수(예: 객체의 물질적 성질, 힘, 가속 도, 움직임의 방향 등)를 이용하여 소리를 실시간으로 생성해야 하는 기술적 문제를 안고 있다.

하지만 사건이 발생하자마자 최소한의 시간 후에 44.1KHz 수준의 소리 효과를 시뮬레이션을 통해 생성하는 것은 쉽지 않을 일이다.

따라서 본 발명에서는, 알고리즘적으로 물리적 변수에 기반하여 소리 효과를 생성하는 방법으로서, 주어진 물체에 외부 충격이 가해져 소리가 생성될 때, 그 소리의 고유 주파수를 미리 분석하고, 여기에 물리적 요소를 가지는 간단한 모델을 사용하여 주파수 요소의 분포, 전체적 소리 크기 등을 조절함으로써, 실시간 소리 효과를 생성하도록 하여 상기의 문제를 해소 하며, 또한 이런 기본 모델에 무작위 잔류 소음을 추가하는 방식으로 실재감이 있는 소리를 생성되도록 하는 것이 바람직하다.

본 발명에서 다중감각 입출력 시스템의 또 하나의 주요한 기술적 문제인 동기화에서, 사용자는 아주 작은 시간 차이에 의해서 이들을 각기 다른 사건으로 인지할 수 있는 문제가 대두된다.

즉 이는 시각적으로 인지된 이벤트를 기준으로, 청각 및 햅틱 기타 감각의 출력이 주어진 허용시간 차 내에 인지되어야만 이 모든 출력이 하나의 이벤트에서 기인한 것으로 인지되므로, 따라서 본 발명은 여러 감각을 입력하거나 출력할 때, 그 방법들이 사용자의 입장에서 어떤 시간적 관계를 지키면서 보여지고 들리고 느껴져 하며, 또한 다중감각의 시간적 동기화는 일반적으로 시각 이벤트를 기준으로 허용 시간 차는 소리의 경우, 약 20-40ms, 햅틱의 경우 약 50-100ms로 한다.

그리고 여러 비디오가 서로 올바르게 동기화 된 상태를 유지할 수 있도록 하기 위한 방법으로는, 그래픽 카드에서 GenLock이라는 하드웨어 신호를 사용하여 동기를 맞추며, 이는 운영체제에 있어서 다중 쓰레드나 다중 프로세스의 기본적인 동기화 방법으로서, 일반적으로 사용되는 기술이지만, 본 발명에서 다중감각 입출력 관련 프로세스의 경우, 같은 시간에 출력을 동기화해야 하므로, 기존 Lock의 반대 개념으로 시각, 청각, 햅틱 관련 소프트웨어적 계산 프로세스가 모두 끝난 후, 마지막 출력을 동시에 할 수 있도록 각각 의 프로세스가 끝날 때마다 신호기의 값을 올려주고 일정 값에 이르게 되면 출력을 하면서 리셋 되도록 처리할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

1 : 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템
100 : 전자장갑
110 : 손 외형부
120 : 손 등부
130 : 손바닥 부
140 : 손가락 부
210 : 위치 인터페이스
220 : 힘 인터페이스
230 : 질감 인터페이스
240 : 다중감각 인터페이스

Claims

가상세계의 그래픽이미지로 표현되는 사용자의 신체(손)의 이동을 표현하기 위해 사용자의 신체(손)의 이동을 처리하는 위치 인터페이스(210); 햅틱 촉각을 사람이 인지하는 경로인 햅틱 인터페이스; 및 햅틱 인터페이스에 의한 촉각에 따라 물리적 변수에 기반하여 효과를 생성하는 방법으로서 비쥬얼 렌더링, 사운드 렌더링, 햅팁 렌더링에 의해 세 가지 감각(시각, 청각, 햅틱)에 대해서 구현하는 다중감각 인터페이스(240); 를 포함하는 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템에 있어서,
위치 인터페이스(210)는, 오프라인에서 사용자의 전자장갑(100)의 위치 이동 및 손가락의 움직임에 따라, 스크린(300)을 통한 가상세계의 환경에서 표현되는 사용자의 신체인 손의 그래픽 이미지의 이동과 손가락의 움직임을 표현하며, 사용자가 전자장갑(100)을 착용 한 후, 팔 또는 손목을 통한 손의 위치 이동이나 손가락의 움직임이, 사용자의 스크린(300) 앞에 놓여진 햅틱 장치인 전자패드(400) 또는 고글을 통하여 사용자 손의 위치 값을 구하는 것을 특징으로 하는 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템.
청구항 1에 있어서, 위치 인터페이스(210)는,
전자패드(400)에 부착된 핀 홀 카메라(410) 또는 고글에 장착된 카메라를 통하여, 손의 움직임을 모션 캡처 후, 캡처된 모션을 스크린(300) 상의 가상대리자 그래픽이미지와 연동시킴으로써, 가상세계에서 사용자의 손 동작을 표현하도록 하는 것을 특징으로 하는 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템.
청구항 1에 있어서, 햅틱 인터페이스는,
상호작용도구인 전자장갑(100)과 스크린(300) 상에 표현되는 가상물체와의 충돌 감지는 상호작용도구인 전자장갑(100)의 위치를 가상 공간으로 대응시킨 후, 가상 물체와 접촉을 하고 있는지를 검사하고, 만약 접촉이 되어 있으면 반발력을 계산하는 것을 특징으로 하는 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템.
청구항 1에 있어서, 다중감각 인터페이스(240)는,
알고리즘적으로 물리적 변수에 기반하여 소리 효과를 생성하는 방법으로서, 주어진 물체에 외부 충격이 가해져 소리가 생성되는 경우 소리의 고유 주파수를 미리 분석하고, 물리적 요소를 가지는 모델을 사용하여 주파수 요소의 분포, 전체적 소리 크기를 조절함으로써, 실시간 소리 효과를 생성하도록 하는 것을 특징으로 하는 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템.