KR102532448B1 - 가상 오브젝트를 활용한 이동공간 메타버스 환경에서의 가상현실 구현을 위한 멀미 저감 방법 및 그 장치 - Google Patents

Abstract

본 발명은 가상 오브젝트를 활용한 이동공간 메타버스 환경에서의 가상현실 구현을 위한 멀미 저감 방법 및 그 장치에 관한 것이다. 본 발명의 이동 공간 내 메타버스 환경에서의 멀미 저감 장치가 사용자의 멀미를 저감하는 방법은, 상기 메타버스 환경을 구현하는 디스플레이의 화면에 시각적으로 인식 가능한 이미지로 구현된 가상 오브젝트를 생성하는 단계; 상기 이동 공간의 물리적 운동 상태를 획득하는 단계; 상기 획득된 물리적 운동 상태를 분석하여 멀미 유발 상황으로 판단한 경우, 상기 생성된 가상 오브젝트를 상기 멀미 유발 상황에 대응하여 상기 화면 상 소정의 위치로 이동시키는 단계를 포함하고, 상기 이동시키는 단계는, 상기 멀미 유발 상황으로 판단한 경우, 복수의 멀미 유발 모드 중 적어도 하나를 선정하고, 상기 선정된 멀미 유발 모드에 대응하는 상기 화면 상의 소정의 영역으로 또는 소정의 방향으로 상기 가상의 오브젝트를 이동시키고, 상기 이동 공간은 차량의 내부 공간이고, 상기 디스플레이는 상기 화면에 가상현실(Virtual Reality)의 이미지를 출력하고, 상기 선정된 멀미 유발 모드가 정적 시각 인지 및 동적 신체 상태를 나타내는 제2 모드인 경우, 상기 이동시키는 단계는, 상기 화면의 일부 영역에 상기 차량의 외부를 촬영한 현실 이미지를 실시간 출력할 수 있다.

Description

가상 오브젝트를 활용한 이동공간 메타버스 환경에서의 가상현실 구현을 위한 멀미 저감 방법 및 그 장치 {Method and device for motion sickness reduction in virtual reality of metaverse environment in moving space using virtual object}

본 발명은 가상 오브젝트를 활용한 이동공간 메타버스 환경에서의 가상현실 구현을 위한 멀미 저감 방법 및 그 장치에 관한 것이다.

메타버스(Metaverse)는 가공, 추상을 의미하는 메타(Meta)와 현실 세계를 의미하는 유니버스(Universe)의 합성어로서, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원 가상세계를 일컫는다.

이러한 메타버스의 환경을 구축하기 위해서는 사람이 시각적으로 인지 가능한 화면을 갖춘 디스플레이가 필수적으로 구비되어야 한다. 이러한 디스플레이는 가상현실(AR) 또는 증강현실(VR)의 콘텐츠가 구동 가능하여야 한다.

최근에 스마트 카, 자율주행 차량과 같이 이동수단의 전자화가 급속도로 발전함에 따라 이동 공간 내에서 이동 시간 동안 관광 안내, 전자게임 등 다양한 문화 활동을 즐길 수 있도록 하려는 움직임이 생겨나고 있다.

이러한 이동 공간 내에서 메타버스 환경을 구현하기 위해서 활용 가능한 디스플레이 수단으로는 머리 착용 디스플레이, 윈도우 겸용 투명 디스플레이 등을 고려할 수 있다.

그러나 이동 환경에서는 시각 및 이와 다른 신체 감각 간의 정보 불일치로 인해 멀미가 발생할 우려가 있다. 따라서 차량과 같은 이동 공간 내에서 메타버스 환경을 효과적으로 구축하기 위해서는 멀미 등의 사용자의 불쾌감을 예방 또는 해소할 수 있는 수단이 강구될 필요가 있다.

본 발명의 목적은 차량 등 이동 공간의 내부에서 시각 정보와 다른 감각의 괴리로 인해 발생하는 멀미 현상을 저감 가능한 수단을 제공하는 것이다.

본 발명의 다른 목적은 시각적 이미지의 설계를 통해 몰입감을 개선한 이동형 메타버스 환경을 제공하는 것이다.

상기의 기술적 과제를 해결하기 위해 안출된 본 발명의 이동 공간 내 메타버스 환경에서의 멀미 저감 장치가 사용자의 멀미를 저감하는 방법은, 상기 메타버스 환경을 구현하는 디스플레이의 화면에 시각적으로 인식 가능한 이미지로 구현된 가상 오브젝트를 생성하는 단계; 상기 이동 공간의 물리적 운동 상태를 획득하는 단계; 상기 획득된 물리적 운동 상태를 분석하여 멀미 유발 상황으로 판단한 경우, 상기 생성된 가상 오브젝트를 상기 멀미 유발 상황에 대응하여 상기 화면 상 소정의 위치로 이동시키는 단계를 포함하고, 상기 이동시키는 단계는, 상기 멀미 유발 상황으로 판단한 경우, 복수의 멀미 유발 모드 중 적어도 하나를 선정하고, 상기 선정된 멀미 유발 모드에 대응하는 상기 화면 상의 소정의 영역으로 또는 소정의 방향으로 상기 가상의 오브젝트를 이동시키고, 상기 이동 공간은 차량의 내부 공간이고, 상기 디스플레이는 상기 화면에 가상현실(Virtual Reality)의 이미지를 출력하고, 상기 선정된 멀미 유발 모드가 정적 시각 인지 및 동적 신체 상태를 나타내는 제2 모드인 경우, 상기 이동시키는 단계는, 상기 화면의 일부 영역에 상기 차량의 외부를 촬영한 현실 이미지를 실시간 출력할 수 있다.

본 발명의 일 실시 예에 따른 멀미 저감 방법 및 장치는 차량 등 이동 공간의 내부에서 시각 정보와 다른 감각의 괴리로 인해 발생하는 멀미 현상을 저감 가능하다.

본 발명의 일 실시 예에 따른 멀미 저감 방법 및 장치는 시각적 이미지의 설계를 통해 이동형 메타버스 환경의 몰입감을 개선할 수 있다.

도 1은 차량과 같은 이동 공간 내에서 발생 가능한 멀미 유발 상황을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 멀미 저감 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명하기로 한다.

도 1은 차량과 같은 이동 공간 내에서 발생 가능한 멀미 유발 상황을 설명하기 위한 도면이다.

멀미(motion sickness)는 몸이 교통 수단 등의 움직임을 전달받아 속이 메스껍고 머리가 어지러운 증상을 말한다. 멀미에는 사람의 전정 기관이 관여한다.

전정 기관은 머리의 수평, 수직 선형 가속도, 회전 운동을 감지(전정감각)하여 중추평형기관에 전달하여 신체의 균형을 유지하게 하는 기관으로, 세반고리관과 전정을 통틀어 일컫는 말이다.

도 1에 도시된 바와 같이, 눈을 통해 얻는 시각적 정보와 전정기관을 통해 얻는 전정감각 정보가 일치되지 못하고 괴리(불일치)가 생길 때 멀미가 발생할 수 있다. 즉 지면에서 활동 시 시각적 정보와 일상적인 움직임 정보를 매칭하여 기억하는 사람의 뇌가 이동 수단 탑승 시 통상적인 매칭 관계에서 벋어나는, 일상적이지 않은 움직임 정보를 처리하게 될 때 불편함을 느끼게 되는 것이다.

주행 중인 이동 수단(차량 등)을 탑승하는 경우나 가상현실(VR; Virtual Reality) 장치 또는 증강(AR; Augmented Reality) 장치를 사용하는 경우, 멀미가 발생하거나 증가하는 상황, 이른 바 멀미 유발 상황이 발생할 수 있다.

보다 구체적으로, 예를 들어 AR 글래스와 같은 증강현실 장치를 사용하는 경우에는, 수렴-조절 불일치(VAC; Vergence accommodation conflict), 즉 서로 상이한 거리에 있는 두 물체에 초점을 맞출때 피로감과 불편함을 느끼게 되는 현상에 의한 멀미가 발생할 우려가 있다.

또한 가상현실 장치를 사용하는 경우에는 가상현실 이미지로부터 얻어지는 시각적 정보와 전정감각 정보 간의 괴리가 문제가 될 수 있다.

차량과 같은 이동 수단을 탑승한 경우, 탑승자의 눈이 빠르게 지나가는 주변 풍경을 인식하는 동안 전정 기관은 움직임을 인식하지 못하거나, 반대로 전정기관은 급가속, 급감속, 회전, 진동 등 움직임을 인식하는데 눈은 이동 수단 내부 공간(이동 공간)의 사물을 보고 있어 움직임을 인식하지 못할 수 있다. 이와 같은 경우에 시각적 정보와 전정감각 정보 간의 괴리가 발생할 수 있다.

이동 공간의 내부에서 메타버스 환경을 구축하기 위해 가상현실 장치나 증강 현실 장치를 사용하는 경우, 이러한 멀미는 더욱 문제가 될 수 있다. 이는 차에서 책을 읽으면 강한 멀미를 유발하게 되는 것과 비슷한 상황이다. 즉, 차 안에서 책을 읽거나 가상현실/증강현실 화면을 응시하면 눈은 현재 신체가 가만히 정지해 있다는 신호를 뇌로 보내게 되지만 내이의 전정 기관과 근육, 관절에서는 차의 진동을 느끼기 때문에 현재 신체가 움직이고 있다는 정보를 뇌로 보내게 되고 결국 두 정보가 불일치하는 사태가 발생한다.

본 발명은 가상의 오브젝트(900)를 이용하여 상기와 같은 불일치의 발생을 예방하거나, 불일치의 수준을 줄임으로써 멀미를 저감하는 수단을 제공한다.

도 2는 본 발명의 일 실시 예에 따른 멀미 저감 장치의 구성을 나타내는 블록도이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 멀미 저감 장치(10)는 제어부(500) 및 디스플레이(100)를 기본적으로 포함할 수 있다.

상기 디스플레이(100)는 화면(110)을 구비하고, 상기 화면(110)을 통해 시각적으로 인식 가능한 이미지를 표출하는 구성일 수 있다.

본 발명의 일 실시 예에 따라 상기 이미지는 가상현실 콘텐츠 또는 증강현실 콘텐츠를 시각적으로 구현한 것일 수 있다.

또한 상기 이미지는 디지털 신호를 픽셀 단위로 변환하여 생성되는 것일 수 있다.

상기 제어부(500)는 상기 디스플레이(100)의 이미지 표출 기능을 제어하고, 제어에 필요한 판단 기능을 수행하는 구성일 수 있다.

본 발명의 일 실시 예에 따라 상기 제어부(500)는 상기와 같은 제어 기능을 수행하기 위해 마이크로프로세서 등의 연산 수단 및 메모리를 이용하여 구현될 수 있다.

본 발명의 일 실시 예에 따라, 상기 장치(10)는 외부 정보를 수집하는 센서부(미도시)를 구비할 수 있다.

상기 센서부(미도시)는 적어도 하나의 제1 관성 측정 장치(IMU; Inertial Measurement Unit)(300)를 포함할 수 있다.

‘관성 측정 장치'는 이동물체의 속도와 방향, 중력, 가속도를 측정하는 장치를 뜻하며, 센서 기반으로 구현된다. 일반적으로는 3축 가속도계와 3축 각속도계가 내장될 수 있다.

상기 제1 관성 측정 장치(300)는 탑승자가 탑승한 이동 수단에 설치된 센서를 포함하도록 구비될 수 있다.

본 발명의 일 실시 예에 따라 상기 장치(10)는 상기 제1 관성 측정 장치(300)로부터 속도, 방향, 회전, 기울기 정보(데이터)를 수신하여 디스플레이(100)로 전송하는 데이터 송수신 장치(PC)를 더 포함할 수 있다(도 4 (a), 도 6 및 도 7 참조)

본 발명의 일 실시 예에 따라 상기 장치(10)는 상기 제1 관성 측정 장치(300)로부터 속도, 방향, 회전, 기울기 정보(데이터)를 수신하는 데이터 송수신 장치(PC) 및 상기 수신된 데이터를 디스플레이(100)로 전송하는 데이터 통신부(Router)를 더 포함할 수 있다(도 8 참조)

상기 센서부(미도시)는 적어도 하나의 카메라(400)를 포함할 수 있다.

상기 카메라(400)는 상기 이동 수단에 설치되어 상기 이동 수단의 외부를 촬영할 수 있다.

본 발명의 일 실시 예에 따라 상기 장치(10)는 상기 카메라(400)로부터 영상데이터를 수신하는 영상데이터 수신부(PC) 및 수신된 영상데이터를 디스플레이(100)로 전송하는 데이터 통신부(Router)를 더 포함할 수 있다(도 9 참조)

본 발명의 일 실시 예에 따라 상기 화면(110)은 상기 이동 수단의 측면 벽에 구비될 수 있다. 이러한 경우, 상기 화면(110)은 투명 디스플레이로 구비되어 상기 이동 수단의 윈도우(차창)의 기능 및 증강현실 이미지(200)의 표출 기능을 겸하여 수행할 수 있다. 즉, 탑승자는 상기 화면(110)을 통해 밖의 풍경과 상기 풍경에 더하여 진 디지털 이미지를 함께 감상할 수 있게 된다.

또한 상기 화면(110)은 투명 디스플레이가 아닌 일반적인 윈도우를 이용하여 구현될 수 있다. 이를 위해 헤드업디스플레이(HUD; Headup Display)나 빔 프로젝터를 이용하여 콘텐츠의 이미지를 빛 반사 방식으로 상기 윈도우의 내벽에 형성시킬 수 있다. 상기 윈도우의 내벽에는 특정 재질의 필름을 부착하여 이미지가 보다 선명하게 형성되도록 할 수 있다.

본 발명의 일 실시 예에 따라 상기 디스플레이(100)는 탑승자의 머리에 장착하여 가상현실 이미지(250)를 표출하는 머리 착용 디스플레이(HMD; Head mounted Display)(600)일 수 있다.

상기 머리 착용 디스플레이(600)에는 제2 관성 측정 장치(IMU; Inertial Measurement Unit)(610)가 형성될 수 있다.

본 발명의 일 실시 예에 따라, 상기 이동 수단은 차량(1100)일 수 있다.

본 발명의 일 실시 예에 따라, 상기 이동 수단은 배나 비행기와 같은 차량 이외의 교통 수단일 수 있다.

도 3은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 순서도이다.

도 3에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 멀미를 저감하는 방법은, 상기 멀미 저감 장치(10)에 의해 수행될 수 있다.

보다 구체적으로 상기 멀미 저감 방법의 하기에 서술되는 각 단계는 상기 제어부(500)에 의해 수행될 수 있다.

상기 멀미 저감 방법은 이동 공간(1000) 내 메타버스 환경에서 구현될 수 있다.

상기 이동 공간은 상기 이동 수단의 내부 공간일 수 있다.

상기 멀미 저감 방법은 상기 메타버스 환경을 구현하는 디스플레이(100)의 화면(110)에 시각적으로 인식 가능한 이미지로 구현된 가상 오브젝트(900)를 생성하는 단계(S100)를 포함할 수 있다.

상기 멀미 저감 방법은 상기 이동 공간(1000)의 물리적 운동 상태를 획득하는 단계(S200)를 포함할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.

상기 멀미 저감 방법은 상기 획득한 물리적 운동 상태를 분석하여 멀미 유발 상황으로 판단한 경우, 도 4 (a)에 도시된 바와 같이, 상기 생성된 가상 오브젝트(900)를 상기 멀미 유발 상황에 대응하여 상기 화면(110) 상 소정의 위치('B')로 이동시키는 단계(S300)를 포함할 수 있다.

상기 가상 오브젝트(900)는 감각의 괴리로 인한 멀미를 저감하기 위해 상기 화면(110)에 특정 형상의 이미지로 표출될 수 있다. 도 4 (b)에는 상기 가상 오브젝트(900)가 유에프오의 형상으로 표출되었다.

이와 같은 가상 오브젝트(900)를 이용한 멀미 저감 방법은 아래와 같은 몇 가지 기제에 의해 멀미를 저감할 수 있다.

첫째, 멀미를 유발 요인인 감각 괴리를 최소화하는 것이다.

예를 들어 눈은 시각적인 움직임을 인식하지만, 전정 기관 등 신체의 다른 기관은 정지해 있는 것으로 인식하는 경우, 상기 가상 오브젝트(900)는 최대한 정지 상태임을 알려줄 수 있는 중심점과 같은 정적 오브젝트 형태로 생성될 수 있다.

이와 반대로 눈은 정지한 것으로 인식하지만, 전정 기관 등 신체의 다른 기관은 움직임을 인식하는 경우, 상기 가상 오브젝트(900)는 활발히 움직이는 동적 오브젝트 형태로 생성될 수 있다.

둘째, 멀미를 유발하는 요인을 선제적으로 차단하는 것이다.

예를 들면 예측 가능한 주행 정보를 탑승자에게 사전에 전달하여 움직임을 예상하도록 하는 것을 들 수 있다. 이는 운행 경로를 잘 알고 있는 운전자가 멀미를 잘하지 않는 것과 유사한 기제이다.

본 발명의 일 실시 예에 따라, 상기 이동시키는 단계(S300)는, 상기 멀미 유발 상황으로 판단한 경우, 복수의 멀미 유발 모드 중 적어도 하나를 선정할 수 있다.

상기 이동시키는 단계(S300)는, 상기 선정된 멀미 유발 모드에 대응하는 상기 화면(110) 상의 소정의 영역(예를 들면 도 4 (b)의 120)으로 또는 소정의 방향으로 상기 가상의 오브젝트(900)를 이동시킬 수 있다.

상기 디스플레이(100)는 상기 화면(110)에 증강현실(Augmented Reality)의 이미지(200)를 출력할 수 있다.

상기 멀미 유발 모드에는 동적 시각 인지(시각적 정보는 움직이고 있음을 나타내는 상태) 및 정적 신체 상태(전정기관 등은 신체가 움직이지 않고 있는 것으로 인지하는 상태)를 나타내는 제1 모드가 포함될 수 있다.

본 발명의 일 실시 예에 따라, 상기 동적 시각 인지의 상태는 상기 이미지(200)의 시간에 따른 변화를 분석하여 판단될 수 있다.

차량(1100)과 같은 이동 수단의 운행 중에 차창 밖의 풍경을 보면, 차창 밖의 사물들이 움직이는 것으로 관찰된다. 이러한 움직임은 상기 증강현실 이미지(200)의 시간에 따른 변화량으로 나타난다. 이러한 변화량이 소정의 기준 값 이상인 경우, 차량이 고속으로 움직이고 있고, 이에 따라 멀미가 유발될 수 있는 제1 모드로 판단할 수 있다.

본 발명의 일 실시 예에 따라, 상기 동적 시각 인지의 상태는 상기 이동 수단에 설치된 속도계(미도시) 및/또는 IMU(300)에 의해 감지된 정보를 이용하여 판단될 수 있다.

상기 이동시키는 단계(S300)는, 상기 선정된 멀미 유발 모드가 상기 제1 모드인 경우, 상기 화면(110)의 영역을 원경(遠景) 영역(120) 및 근경(近景) 영역(130)으로 나누고, 상기 가상 오브젝트(900)를 상기 원경 영역(120)의 일 위치로 이동시킬 수 있다(도 4 (b) 참조).

본 발명의 일 실시 예에 따라, 상기 원경 영역(120)에 도달한 후 상기 가상 오브젝트(900)는 fade-out 될 수 있다.

본 발명의 일 실시 예에 따라, 상기 원경 영역(120)과 근경 영역(130)의 설정은 상기 이미지(200)의 분석을 통해 수행될 수 있다.

예를 들면, 이미지의 시간당 변화량이 소정의 제1 값 이하인 영역은 원경 영역(120), 이미지의 시간당 변화량이 소정의 제2 값 이상인 영역은 근경 영역(130)으로 설정할 수 있다.

상기 제1 값이나 상기 제2 값과 같은, 본 명세서의 기준 값들은 사람의 인지를 바탕으로 한 실험을 통해 설정할 수 있다.

본 발명의 일 실시 예에 따라, 상기 원경 영역(120)과 근경 영역(130)의 설정은 상기 화면 내에서의 위치에 기반하여 간단히 이루어질 수도 있다.

예를 들면, 상기 화면(110)의 상단으로부터 수직으로 소정의 길이(예를 들면 상기 화면(110) 높이의 1/4) 만큼 내려온 위치까지의 영역을 원경 영역(120)으로 설정하고, 상기 화면(110)의 하단으로부터 수직으로 소정의 길이(예를 들면 상기 화면(110) 높이의 1/2) 만큼 올라간 영역을 근경 영역(130)으로 설정하는 것도 가능하다.

일반적으로 차창 밖의 풍경은 멀리 있는 사물의 경우 서서히 움직이는 것으로 관찰된다. 또한 가까이 있는 사물은 빨리 움직이는 것으로 관찰된다.

이에 따라 가상 오브젝트(900)를 원경 영역(120)으로 이동시키는 것에 의해 탑승자의 시선을 사물이 보다 서서히 움직이는 것으로 관찰되는 원경의 영역(120)으로 유도하여 감각의 괴리를 줄이고, 멀미를 저감할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.

도 5 (a) 및 (b)에 도시된 바와 같이, 상기 이동시키는 단계(S300)는, 상기 선정된 멀미 유발 모드가 동적 시각 인지 및 정적 신체 상태를 나타내는 제1 모드인 경우, 상기 화면(110)의 적어도 일부의 투광도(透光度)를 저하(도 (a)의 상태에서 도 (b)의 상태로 변화) 시킬 수 있다.

본 발명의 일 실시 예에 따라, 투명 디스플레이의 투광도와 차량(1100)의 속도를 연동시킬 수 있다. 즉 차량 속도에 비례하여 투광도를 낮춤으로써 창 밖의 시각 정보를 줄여서 멀미를 방지할 수 있다.

본 발명의 일 실시 예에 따라 상기 투광도는 투명 디스플레이의 이미지 표시 기능을 이용하여 조절될 수 있다.

본 발명의 일 실시 예에 따라 상기 이동 공간(1000)은 차량(1100)의 내부 공간이고, 상기 화면(110)은 상기 차량(1100)의 측면 윈도우(1110)의 내측면으로 구현될 수 있다.

이 경우 상기 이동시키는 단계(S300)는, 상기 선정된 멀미 유발 모드가 상기 제1 모드인 경우이면서 상기 차량(1100)의 운행 속도가 소정의 기준 속도 이상인 경우, 상기 가상 오브젝트(900)를 상기 원경 영역(120)으로 이동시킬 수 있다.

이에 더하여 상기 이동시키는 단계(S300)는, 도 5의 (c)에 도시된 바와 같이, 상기 근경 영역(130)의 적어도 일부의 투광도(透光度)를 저하시킬 수 있다.

이와 같이 탑승자의 시선은 가상 오브젝트가 머무는 원경 영역(120)으로 유도하고, 움직임이 많은 것으로 관찰되는 근경 영역(130)의 투광도는 저하시키는 것에 의해 더욱 감각의 괴리를 줄이고 멀미를 저감할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.

상기 멀미 유발 모드에는 정적 시각 인지(시각적 정보는 멈춰 있음을 나타내는 상태) 및 동적 신체 상태(전정기관 등은 신체가 움직이고 있는 것으로 인지하는 상태)를 나타내는 제2 모드가 포함될 수 있다.

본 발명의 일 실시 예에 따라, 상기 동적 신체 인지의 상태는 상기 제1 관성 측정 장치(300)에서 감지한 상기 이동 공간(1000)의 운동 상태 정보를 분석하여 판단될 수 있다.

본 발명의 일 실시 예에 따라 예측가능한 차량(1100)의 주행정보를 사전에 탐승자에게 제공하여 멀미, 특히 제2 모드에 따른 멀미를 방지할 수 있다. 예를 들어, 차량(1100)이 회전 구간으로 진입하기 이전에 회전 구간에 진입하고 있음을 미리 인지시킬 수 있는 가상 오브젝트(900)가 생성되어 회전 구간에 진입한다는 정보를 전달할 수 있다. 특히 모퉁이 구간에서는 시선을 차량의 회전 방향(도 6의 경우, 오른쪽, 우회전)으로 향하도록 가상 오브젝트(900)로 유도함으로써 애초에 감각의 괴리를 차단할 수 있다.

상기 디스플레이(100)는 상기 화면(110)에 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality)의 이미지(200)를 출력하고, 상기 선정된 멀미 유발 모드가 상기 제2 모드인 경우, 상기 이동시키는 단계(S300)는, 상기 차량(1100)의 운동 상태 정보에 대응하는 상기 화면(110) 상의 운동 경로를 따라 상기 가상 오브젝트(900)를 이동시킬 수 있다.

본 발명의 일 실시 예에 따라 상기 차량(1100)의 운동 상태 정보는 상기 차량(1100)의 회전 예측 정보이고, 상기 운동 경로는 상기 가상 오브젝트(900)가 상기 차량(1100)이 회전할 방향으로 상기 화면(110) 상에서 따라서 이동하도록 하는 궤적(도 6 (b)의 't')으로서 형성될 수 있다.

도 7은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.

차량(1100)이 급가속/급감속하는 경우에 운동 상태를 유지하려는 관성법칙에 따라 사람의 몸도 움직이게 된다. 이런 경우 책을 읽거나, 스마트폰처럼 정지해 있는 화상을 보고 있다면 멀미를 느낄 수 있다.

본 발명의 일 실시 예에 따라 IMU(300)에서 측정되는 가속도 값을 이용하여, 차량의 급가속/감속 상황에서 상기 화면(110)에 이미지로 출력되고 있던 증강 현실 콘텐츠들의 움직임을 동기화할 수 있다.

즉, 상기 차량(1100)의 운동 상태 정보는 상기 차량(1100)의 가속도를 포함하고, 상기 이동시키는 단계(S300)는, 상기 가속도가 소정의 범위를 이탈한 경우, 상기 가속도의 방향 및 크기에 연동하여 상기 가상 오브젝트(900)를 운동경로 상에서 이동시킬 수 있다.

본 발명의 일 실시 예에 따라 상기 운동경로는 상기 가상 오브젝트(900)가 상기 가속도와 동기화하여 연동하여 따라 움직이도록 형성될 수 있다.

본 발명의 일 실시 예에 따라 상기 운동경로는 상기 가상 오브젝트(900)가 상기 가속도와 동기화하되 관성력을 반영하는 움직임으로 따라 움직이도록 형성될 수 있다. 이에 따라 상기 가상의 오브젝트(900)에는 가상의 질량을 대응시키고, 상기 가상의 오브젝트(900)에 가상의 탄성체 및 가상의 댐퍼를 연결하여, 관성에 의한 움직임을 구현할 수 있다.

이와 같이 차량(1100)의 급가속/감속 상황에서 상기 화면(110)에 출력되고 있던 증강 현실 콘텐츠, 특히 가상 오브젝트(900)의 움직임을 가속도에 동기화시킴으로써, 탑승자의 시선을 유도하는 움직이는 시각적 정보를 생성하게 되고 제2 모드인 경우에 발생 가능한 감각의 괴리 및 멀미를 저감하게 된다.

도 8은 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.

본 발명의 일 실시 예에 따라 머리 착용 디스플레이(600) 내에서 재생되는 가상현실 이미지(250)의 변화를 IMU 센서의 데이터와 연동할 수 있다. 즉 실세계의 주행정보를 가상의 콘텐츠와 동기화시킬 수 있다.

차량(1100)에 장착되어 있는 제1 관성 측정 장치(300)에서는 차량의 급가속, 급감속, 회전, 기울기 정보들을 수집할 수 있다. 차량의 VCU(Vehicle Control Unit)에서는, 제1 관성 측정 장치(300)에서 수집한 정보를 포함한 차량의 속도, 움직임 등에 대한 정보를 수집하여 다른 장치로 전달할 수 있다.

머리 착용 디스플레이(600)에도 제2 관성 측정 장치(610)가 형성될 수 있다. 제2 관성 측정 장치(610)는 탑승자 머리의 움직임과 방향을 감지하며, 가상현실 이미지(250) 내에서 가상의 1인칭 인물과 그 움직임이 동기화될 수 있다.

가상현실 이미지(250) 내의 배경 영역의 전환(배경의 움직임)은 차량(1100)의 속도와 방향 정보를 통해 동기화 시키며, 추가적으로 차량(1100)의 제1 관성 측정 장치(300)에서 수집한 정보를 받아들여서 배경의 움직임에 반영할 수 있다.

본 발명의 일 실시 예에 따라 가상 오브젝트(900)의 움직임의 크기나 속도가 변하도록 할 수 있다. 즉, 차량(1100)의 움직임이 클 경우, 그에 따라 가상 오브젝트(900)의 움직임을 더욱 크게 할 수 있다.

본 발명의 일 실시 예에 따라 가상 오브젝트(900)의 크기를 변하도록 할 수 있다. 즉, 차량(1100)의 움직임이 클 경우, 그에 따라 가상 오브젝트(900)의 크기를 더욱 크게 할 수 있다.

본 발명의 일 실시 예에 따라 상기 디스플레이(100)는 상기 화면(110)에 가상현실(Virtual Reality)의 이미지(250)를 출력하고, 상기 이동시키는 단계(S300)는, 상기 차량(1100)의 운동 상태 정보에 대응하는 속도 또는 가속도로 상기 화면(110) 상의 운동 경로를 따라 상기 가상 오브젝트(900)를 이동시킬 수 있다.

도 9는 본 발명의 일 실시 예에 따른 멀미 저감 방법을 설명하기 위한 도면이다.

차량(1100) 내에서 HMD(600)를 착용하고 있으면 외부 실세계 상황을 확인할 수 없으므로 차량 외부에서 비상상황이 발생했을 경우에 대한 두려움이 클 수 있고, 이러한 예측 불가능성이 낮은 주행 환경에서는 탑승자가 불안감을 느끼고, 그로 인해 멀미가 유발될 수 있는 가능성이 크다.

이에 따라 도 9에 도시된 바와 같이 차량(1100)의 주변 상황을 실시간으로 촬영하여 송출할 수 있는 카메라(400)를 차량(1100)의 외부에 장착하고, 해당 영상을 PIP 방식으로 가상현실 이미지(250)의 일정 영역 내에 실시간 스트리밍할 수 있다. HMD(600)를 착용한 탑승자는 차량 비상상황 발생시 즉각적으로 대응이 가능하다.

본 발명의 일 실시 예에 따라 상기 디스플레이(100)는 상기 화면(110)에 가상현실(Virtual Reality)의 이미지(250)를 출력하고, 상기 선정된 멀미 유발 모드가 정적 시각 인지 및 동적 신체 상태를 나타내는 제2 모드인 경우, 상기 이동시키는 단계(S300)는, 상기 화면(110)의 일부 영역에 상기 차량(1100)의 외부를 촬영한 실제 현실 이미지(260)를 실시간 출력할 수 있다.

한편, 명세서 및 청구범위에서 "제 1", "제 2", "제 3" 및 "제 4" 등의 용어는, 만약 있는 경우, 유사한 구성요소 사이의 구분을 위해 사용되며, 반드시 그렇지는 않지만 특정 순차 또는 발생 순서를 기술하기 위해 사용된다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시 예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 시퀀스로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 마찬가지로, 여기서 방법이 일련의 단계를 포함하는 것으로 기술되는 경우, 여기에 제시된 그러한 단계의 순서는 반드시 그러한 단계가 실행될 수 있는 순서인 것은 아니며, 임의의 기술된 단계는 생략될 수 있고/있거나 여기에 기술되지 않은 임의의 다른 단계가 그 방법에 부가 가능할 것이다.

또한 명세서 및 청구범위의 "왼쪽", "오른쪽", "앞", "뒤", "상부", "바닥", "위에", "아래에" 등의 용어는, 설명을 위해 사용되는 것이며, 반드시 불변의 상대적 위치를 기술하기 위한 것은 아니다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시 예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 방향으로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 여기서 사용된 용어 "연결된"은 전기적 또는 비 전기적 방식으로 직접 또는 간접적으로 접속되는 것으로 정의된다. 여기서 서로 "인접하는" 것으로 기술된 대상은, 그 문구가 사용되는 문맥에 대해 적절하게, 서로 물리적으로 접촉하거나, 서로 근접하거나, 서로 동일한 일반적 범위 또는 영역에 있는 것일 수 있다. 여기서 "일 실시 예에서"라는 문구의 존재는 반드시 그런 것은 아니지만 동일한 실시 예를 의미한다.

또한 명세서 및 청구범위에서 '연결된다', '연결하는', '체결된다', '체결하는', '결합된다', '결합하는' 등과 이런 표현의 다양한 변형들의 지칭은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한 본 명세서에서 사용된 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시 예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 제조 방법은 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

10: 멀미 저감 장치
100: 디스플레이 110: 화면
120: 원경 영역 130: 근경 영역
200: 증강현실 이미지 250: 가상현실 이미지
260: 실제 현실 이미지
300: 제1 관성 측정 장치(IMU) 400: 카메라
500: 제어부
600: 머리 착용 디스플레이(HMD) 610: 제2 관성 측정 장치(IMU)
900: 가상 오브젝트
1000: 이동 공간
1100: 차량 1110: 측면 윈도우

Claims (1)

1. 이동 공간 내 메타버스 환경에서의 멀미 저감 장치가 사용자의 멀미를 저감하는 방법에 있어서,
   상기 메타버스 환경을 구현하는 디스플레이의 화면에 시각적으로 인식 가능한 이미지로 구현된 가상 오브젝트를 생성하는 단계;
   상기 이동 공간의 물리적 운동 상태를 획득하는 단계;
   상기 획득된 물리적 운동 상태를 분석하여 멀미 유발 상황으로 판단한 경우, 상기 생성된 가상 오브젝트를 상기 멀미 유발 상황에 대응하여 상기 화면 상 소정의 위치로 이동시키는 단계를 포함하고,
   상기 이동시키는 단계는,
   상기 멀미 유발 상황으로 판단한 경우, 복수의 멀미 유발 모드 중 적어도 하나를 선정하고,
   상기 선정된 멀미 유발 모드에 대응하는 상기 화면 상의 소정의 영역으로 또는 소정의 방향으로 상기 가상의 오브젝트를 이동시키고,
   상기 이동 공간은 차량의 내부 공간이고,
   상기 디스플레이는 상기 화면에 가상현실(Virtual Reality)의 이미지를 출력하고,
   상기 선정된 멀미 유발 모드가 정적 시각 인지 및 동적 신체 상태를 나타내는 제2 모드인 경우,
   상기 이동시키는 단계는,
   상기 화면의 일부 영역에 상기 차량의 외부를 촬영한 실제 현실 이미지를 실시간 출력하는 것을 특징으로 하는 멀미 저감 방법.
   

Images