KR20190069199A - 무인 자동차 가상체험 방법 및 시스템 - Google Patents

Abstract

본 발명에 의한 무인 자동차 원격 조종 시스템은, 영상 정보를 획득하는 무인 자동차, 상기 무인 자동차를 제어하는 조종장치 및 상기 영상 정보를 출력하는 디스플레이 장치를 포함하며, 상기 디스플레이 장치는, 상기 조종장치에 의해 생성되는 조종 정보가 실시간으로 반영된 혼합 영상정보를 제공하는 것을 특징으로 한다.

Description

무인 자동차 가상체험 방법 및 시스템{System and Method of virtual experiencing unmanned vehicle}

본 발명은 무인 자동차와 혼합 현실을 결합하여 무인 자동차를 가상체험 하고 이에 따라 사용자가 레이싱 어트랙션을 즐길 수 있는 시스템 및 그 조종 방법에 관한 것이다.

R/C　자동차는 실제　자동차와 유사한 모양을 갖고 실제　자동차와 마찬가지로 조향장치, 가속장치, 정지장치 등을 구비하고 있으며, 이러한 장치들은 아날로그 방식의 원격 조종기(remote controller)에 의해　조종되도록　무선　통신장치가 구성되어 있다.

이와 같은 R/C　자동차는 통상 동호회를 중심으로 취미생활로 발전하여 여러 사람들이 모여 모형 트랙 위에 R/C　자동차를 놓고, 각자의 원격　조종기로 R/C 자동차를　조종하여　자동차　경주를 즐기고 있다.

R/C　자동차를　조종하는 원격 조종기는 리모콘에 부착된 조이스틱 등을 앞 뒤 또는 좌우로 움직여 원격으로　자동차를 구동하거나,　자동차가 전진 또는 후진을 하도록 버튼 등을 누른 상태에서 통상적으로 아주 작은 형태의 스티어링 휠을 돌려 방향을　조종하는 것이다. 그러나 이와 같은 원격 조종기는 방향을 바꾸면서 진행을 하기 위해선, 구동 스위치를 누르는 것과 스티어링 휠 조작을 병행해야 하는 불평함이 있고, 또한, 직관적인 방향전환이 어려우며, 실제로　자동차　조종을 하는 듯한 느낌을 주지 못한다.

이에 따라, 사용자에게 R/C　자동차 주변 환경의 영상을 보면서 R/C자동차를 제어함으로써, 실제 자동차를 운전하는 느낌을 생생하게 제공하고, 이를 이용하여 레이싱 어트랙션을 즐길 수 있는 기술이 요구되고 있다.

본 발명은 촬영 수단이 구비된 R/C 자동차 및 이를 조종하는 조종 장치와 디스플레이 장치를 제공하여 실제로 차를 운행하고 있는 것과 같은 생동감을 전달할 수 있도록 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 무인 자동차 가상체험 시스템은 영상 정보를 획득하는 무인 자동차, 상기 무인 자동차를 제어하는 조종장치 및 상기 영상 정보를 출력하는 디스플레이 장치를 포함하며, 상기 디스플레이 장치는, 상기 조종장치에 의해 생성되는 조종 정보가 실시간으로 반영된 혼합 영상정보를 제공하는 것을 특징으로 한다.

본 발명의 상기 디스플레이 장치는, HMD(Head Mount Display)를 포함하는 것을 특징으로 한다.

본 발명의 상기 혼합 영상정보에 대응되는 특수 효과를 제공하는 적어도 하나 이상의 특수 효과 장치를 더 포함하는 것을 특징으로 한다.

본 발명의 상기 특수 효과 장치는, 발향 장치, 송풍 장치, 분무 장치, 진동 장치, 모션 효과 장치 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

본 발명의 상기 무인 자동차는, 상기 무인 자동차의 외부를 촬영하여 영상 정보를 획득하는 촬영부, 상기 무인 자동차가 동작하는 환경을 감지하여 환경 정보를 생성하는 센싱부 및 상기 촬영부, 상기 센싱부, 상기 통신부를 제어하고, 상기 조종 정보에 따라 상기 무인 자동차를 구동시키는 제어부를 포함하는 것을 특징으로 한다.

본 발명의 상기 촬영부는, 360° 카메라, 스테레오 카메라, 광각 카메라 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

본 발명의 상기 촬영부는, 두 개 이상의 카메라를 포함하는 경우, 상기 두 개 이상의 카메라의 이격 거리를 조절하는 조절부를 더 포함하는 것을 특징으로 한다.

본 발명의 상기 촬영부는 상기 무인 자동차 주변의 외부 물체를 촬영하고, 상기 제어부는 상기 외부 물체가 상기 무인 자동차 주변의 기 설정된 반경 내에 진입할 경우 상기 외부 물체의 이동 속력 또는 이동 방향 중 적어도 하나를 산출하는 것을 특징으로 한다.

본 발명의 상기 촬영부는, 상기 디스플레이 장치로부터 수신하는 초점 영역에 따라, 상기 영상 정보의 초점 거리를 조정하는 것을 특징으로 한다.

본 발명의 상기 센싱부는, 상기 무인 자동차가 동작하는 외부 환경을 감지하는 환경 감지 센서 및 상기 무인 자동차에 가해지는 충격을 감지하는 충격 감지 센서를 포함하는 것을 특징으로 한다.

본 발명의 상기 디스플레이 장치는, 상기 혼합 영상정보를 출력하는 출력부 및 상기 디스플레이 장치 상에서의 사용자의 시각 측정 데이터를 이용하여 초점 영역을 설정하는 초점 조정부를 포함하고, 상기 초점 조정부에 의해 설정된 초점 영역은 상기 무인 자동차로 전송되는 것을 특징으로 한다.

본 발명의 상기 조종장치는, 사용자가 착석하는 조종석 및 상기 조종 정보를 입력받는 조종키를 포함하고, 상기 디스플레이 장치가 상기 조종석 및 상기 조종키의 형상을 투영하는 것을 특징으로 한다.

본 발명의 상기 조종장치는, 상기 조종석에 착석한 사용자의 동작을 촬영하는 촬영부와 상기 조종석에 착석한 사용자의 동작을 감지하는 센싱부 중 적어도 하나 이상을 포함하며, 상기 촬영부 또는 센싱부를 통해 얻은 사용자의 동작 정보는 상기 무인 자동차를 제어하는 데에 반영되는 것을 특징으로 한다.

본 발명의 무인 자동차 가상체험 제공방법으로서, 상기 무인 자동차로부터 영상 정보를 수신하는 단계, 상기 무인 자동차를 제어하는 조종장치로부터 조종 정보를 수신하는 단계, 상기 수신한 조종 정보를 상기 영상 정보에 실시간으로 반영하여 혼합 영상정보를 생성하는 단계 및 상기 생성된 혼합 영상정보를 디스플레이 장치로 제공하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 상기 조종 정보는, 상기 조종 장치 상에서의 사용자의 움직임을 촬영한 촬영 정보 또는 상기 조종 장치 상에서의 사용자의 움직임을 감지한 감지정보를 기초로 생성한 조종 정보인 것을 특징으로 한다.

본 발명의 상기 무인 자동차의 동작에 따른 환경 정보 및 상기 무인 자동차에 가해지는 충격에 따른 충격 감지 정보를 수신하는 단계 및 상기 환경 정보 및 상기 충격 감지 정보와 대응되는 특수 효과를 제공하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 상기 디스플레이 장치로 제공하는 단계는, 상기 혼합 영상정보 상에 상기 조종장치가 포함하는 조종키의 형상을 투영하는 것을 특징으로 한다.

본 발명에 의하면, R/C 자동차가 감지하는 다양한 감지 정보를 R/C 자동차를 조종하는 사용자에게 전달하여 사용자가 실제로 차를 운행하여 레이싱을 즐기는 것과 같은 생동감을 제공할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

도 1은 본 발명의 무인 자동차 조종 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 무인 자동차의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 디스플레이 장치의 구성을 개략적으로 도시한 도면이다.
도 4는 본 발명의 조종 장치의 구성을 개략적으로 도시한 도면이다.
도 5는 본 발명의 무인 자동차 가상체험 제공방법의 흐름을 도시한 순서도이다.
도 6은 본 발명의 무인 자동차 가상체험 시스템의 전체 동작 과정의 일부를 도시한 순서도이다.
도 7은 본 발명의 무인 자동차 가상체험 시스템의 전체 동작 과정의 일부를 도시한 순서도이다.
도 8는 본 발명의 무인 자동차 가상체엄 시스템의 일 실시 예를 나타낸 도면이다.
도 9a 및 도 9b는 본 발명의 디스플레이 장치에서 출력되는 화면을 도시한 도면이다.

이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.

도 1은 본 발명의 무인 자동차 조종 시스템의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 무인 자동차의 구성을 개략적으로 도시한 도면이고, 도 3은 본 발명의 디스플레이 장치의 구성을 개략적으로 도시한 도면이며, 도 4는 본 발명의 조종 장치의 구성을 개략적으로 도시한 도면이다. 도 1 내지 도 4를 참조하면, 본 발명의 무인 자동차 조종 시스템(10)은 무인 자동차(100), 디스플레이 장치(200) 및 조종 장치(300)를 포함할 수 있다.

무인 자동차 조종 시스템(10)은 다양한 연령 대의 마니아 층을 가지고 있는 R/C 자동차를 실제로 레이싱 경기를 하는 것과 같은 생동감을 제공할 수 있는 체감형 콘텐츠일 수 있다.

무인 자동차(100)는 촬영부(110), 센싱부(120), 통신부(130) 및 제어부(140)를 포함할 수 있다. 무인 자동차(100)는 실제　자동차와 유사한 모양을 갖고 실제　자동차와 마찬가지로 조향장치, 가속장치, 정지장치 등을 구비할 수 있다. 또한, 이러한 장치들은 아날로그 방식의 원격 조종기(Remote Controller)에 의해 조종될 수 있다.

촬영부(110)는 무인 자동차(100)를 중심으로 무인 자동차(100)의 외부를 360°의 화각을 가지는 영상으로 촬영할 수 있다. 여기서 360°영상은 적어도 하나의 카메라를 이용하여 360°방향으로 촬영된 복수의 영상들에 기초하여 생성된 영상일 수 있다. 이를 위해, 촬영부(110)는 360° 카메라, 스테레오 카메라, 광각 카메라 중 적어도 하나 이상을 포함할 수 있다.

본 발명에 있어서, 무인 자동차(100)의 촬영부(110)가 촬영하는 영상은 1인칭 시점의 영상일 수 있으며, 두 개 이상의 렌즈 또는 두 개 이상의 카메라를 구비하여, 무인 자동차(100)가 운행하는 공간의 360° 영상을 촬영할 수 있다.

본 발명에 따르면, 촬영부(110)가 앞서 언급한 카메라 중 두 개 이상의 카메라를 이용하여 영상 정보를 획득하고, 이를 그대로 사용자에게 제공하는 경우, 사용자가 어지러움을 느낄 수 있다. 이에 따라, 촬영부(110)는 두 개 이상의 카메라의 이격 거리를 조절하는 조절부(113)를 포함할 수 있다.

실시예에 따라, 조절부(113)는 디스플레이 장치(200)에서 감지한 사용자의 눈동자 사이의 거리에 맞춰 두 개 이상의 카메라의 이격 거리를 조절할 수 있고, 이에 따라, 사용자는 입체감 있는 영상을 볼 수 있다.

또한, 실시예에 따라, 촬영부(110)의 카메라는 무인 자동차(100)의 운전석 내부 또는 외부에 배치되어 영상 정보를 획득할 수 있다.

본 발명에 있어서, 촬영부(110)는 디스플레이 장치(200)로부터 수신한 사용자의 초점 영역에 따라 촬영하는 영상 정보의 초점 거리를 조절할 수 있다. 이때, 초점 영역은 사용자가 포커스를 잡고 있는 영역을 의미하며, 이를 반영하는 경우, 무인 자동차 조종 시스템(10)을 이용하는 사용자는 무인 자동차(100) 내에서 실제로 운행을 하는 듯한 현실감을 제공받을 수 있다.

센싱부(120)는 무인 자동차(100)가 동작하는 환경 정보를 감지할 수 있다. 실시예에 따라, 센싱부(120)는 무인 자동차(100)가 배치된 구역의 기상 정보(예. 바람, 구름, 비)를 감지하는 환경 감지 센서(123)를 포함할 수 있다. 또한, 무인 자동차(100)가 움직이는 바닥 면에서의 기울기, 속도, 노면의 요철, 요철에 따른 무인 자동차(100)의 튕김 등의 무인 자동차(100)에 가해지는 충격을 감지하는 충격 감지 센서(125)를 포함할 수 있다. 이에 따라, 센싱부(120)는 무인 자동차(100)에 복수 개가 구비될 수 있다.

실시예에 따라, 센싱부(120)는 무인 자동차(100) 내부와 외부의 환경을 감지하는 적외선 센서, 위치 감지 센서, 관성 센서, 초음파 센서 등을 포함할 수 있다.

이러한 센서 중 위치 감지 센서의 경우, GPS(Global Positioning System) 모듈 및 지리 정보 서비스를 제공하는　GIS(Geographic Information System) 모듈을 포함할 수 있으며, 레이싱 경기 과정에서 레이싱 경기에 참가한 무인 자동차(100)들의 현재 위치 정보를 제공할 수 있다.

또한, 관성 센서의 경우, 무인 자동차(100)에 배치되거나, 보다 구체적으로는 무인 자동차(100) 내부의 운전석에 배치되어, 무인 자동차(100)를 조종하면서 발생하는 무인 자동차(100)의 가속, 감속, 속도, 방향 급선회, 급제동, 급출발과 같은 움직임을 감지할 수 있다. 이렇게 관성 센서가 감지한 관성 센서 정보는 후술 하게 될 특수 효과 장치에 의해 사용자에게 제공되어, 사용자는 실제로 무인 자동차(100)안에서 운전하는 것과 같은 생동감을 느낄 수 있다.

아울러, 환경 감지 센서(123) 및 충격 감지 센서(125)가 감지한 정보는 조종 장치(300)에 구비된 사용자의 조종석으로 전달되어, 사용자의 몰입감을 증대시킬 수 있다.

이를 수행하기 위해, 무인 자동차 가상체험 시스템(10)은 특수 효과 장치(미도시)를 추가적으로 구비할 수 있으며, 이에 대한 내용은 후술하기로 한다.

통신부(130)는 무인 자동차(100)가 운행하는 과정에서 획득한 영상 정보 및 환경 정보를 디스플레이 장치(200) 및 조종 장치(300)로 송신할 수 있다. 또한, 디스플레이 장치(200) 및 조종 장치(300)로부터 무인 자동차(100)의 동작 및 제어에 관한 정보를 수신하고 이를 제어부(140)로 전달할 수 있다.

본 발명에 있어서, 통신부(130)는 2G/3G, LTE(Long Term Evolution), LTE-A(LTE-Advance)와 같은 셀룰러 통신 네트워크를 지원할 수 있다. 또한 통신부(130)는 Wi-Fi와 같은 무선 네트워크를 지원할 수 있다. 이 외에도, 통신부(130)는 근거리에 있는 다양한 전자 장치와 무선 통신을 위한 다양한 통신 방식을 지원하는 RF(Radio Frequency) 칩(chip)이나 회로(circuit)를 포함할 수 있으며, 이에 한정되는 것은 아니다.

제어부(140)는 통신부(130)가 수신한 조종 정보에 따라 무인 자동차(100)를 구동시키며, 무인 자동차(100)의 촬영부(110), 센싱부(120) 및 통신부(130)와 같은 모든 구성을 제어할 수 있다. 실시예에 따라, 제어부(140)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 제어부(140)는 모션 보드(Motion Board)일 수 있으며, 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로도 구현될 수 있다.

본 발명에 있어서, 무인 자동차(100)는 기존의 R/C 자동차와 상이하게 복수 개의 전자 제어 장치 및 센서들을 구비함에 따라, 제어부(140)는 무인 자동차(100)가 동작하는 동안, 무인 자동차(100)에서 발생하는 열을 감지하여, 무인 자동차(100)의 온도가 기 설정된 범위 이상일 경우 무인 자동차(100)의 동작을 멈출 수 있다.

또한, 본 발명에서 도시하지 않았으나, 무인 자동차(100)는 저장부를 포함할 수 있다. 저장부는 촬영부(110)가 촬영한 영상 정보를 저장할 수 있다.

예를 들어, 저장된 영상 정보는 무인 자동차 조종 시스템(10)을 이용하여 운전 연습을 하는 경우에 참고하는 자료로 사용될 수 있다.

또한, 무인 자동차(100)가 이전에 운행한 트랙 또는 경로를 다시 운행하는 경우, 저장된 영상 정보를 다시 송출하여, 촬영부(110) 또는 무선 자동차(100)가 동작을 수행함에 있어서 과부하가 걸리는 것을 막을 수 있다.

본 발명에 있어서, 무인 자동차(100)의 제어부(140)는 촬영부(110)가 촬영한 외부 물체를 포함하는 영상 정보를 실시간으로 전달받고, 영상 정보 상에서 외부 물체가 무인 자동차(100)의 기 설정된 반경 내에 진입할 경우에 외부 물체의 정보를 파악할 수 있다.

이는 무인 자동차 가상체험 시스템(10)을 이용하여 레이싱 어트랙션을 하는 경우에 적용될 수 있는데, 레이싱을 하는 과정에서 무인 자동차(100)간의 충돌이 발생하는 것을 막기 위해 설정될 수 있다.

실시예에 따라, 외부 물체의 정보는 물체의 이동 속력, 이동 방향과 같은 움직임에 관한 정보, 물체의 종류에 관한 정보 등 물체의 상황에 대한 정보를 포함할 수 있다. 또한, 기 설정된 반경은 무인 자동차(100)의 현재 움직임 정보를 기초로 무인 자동차(100)의 상태가 변화될 것으로 예상되는 거리, 위험을 감지하고 무인 자동차(100)의 방향을 조절할 수 있는 거리를 산출하고 이를 기초로 설정될 수 있다.

이에 따라, 무인 자동차 가상체험 시스템(10)을 레이싱 경기에 적용하는 경우, 무인 자동차(100)들을 조종하는 사용자들은 본인이 조종하는 무인 자동차(100)의 속도, 위치 등의 정보뿐만 아니라 경쟁자들의 속도, 위치 등의 정보를 제공받고 그에 따른 각자의 순위 정보 등을 파악할 수 있다.

예를 들어, 해당 정보는 본인의 무인 자동차(100)를 기준으로 '현재 차량 속력 25km/h, 5m 내, 3위권의 C 차량, 북서쪽 방향에서 20km/h 의 속력으로 진입 중, 충돌 주의하세요.', '현재 차량 속력 30km/h, 10m 내, 2위권의 D 차량 추월 가능, 안내 경로를 따라주세요.' 일 수 있다.

디스플레이 장치(200)는 출력부(210), 초점 조정부(220) 및 통신부(230)를 포함할 수 있다. 디스플레이 장치(200)는 무인 자동차(100) 및 조종 장치(300)에서 제공하는 영상을 출력하는 장치로서, 무인 자동차(100)를 실제로 운행하는 것과 같은 몰입감을 주기 위해 무인 자동차(100)를 조종하는 사용자가 장착할 수 있는 웨어러블 형태일 수 있으나, 이에 한정되는 것은 아니다.

실시예에 따라, 디스플레이 장치(200)는 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)) 등 영상 정보를 출력할 수 있는 장치일 수 있다.

출력부(210)는 혼합 영상 정보를 출력할 수 있다. 혼합 영상 정보는 무인 자동차(100)의 촬영부(110)가 획득한 영상 정보와 조종 장치(300)가 입력 받은 조종 정보를 매칭하여 생성된 혼합 현실(Mixed Reality)일 수 있다.

또한, 본 발명에 있어서, 단순히 조종 장치(300)가 입력 받은 조종 정보에 따라 운행되는 무인 자동차(100)의 움직이는 영상 정보뿐만 아니라 조종 장치(300)의 형상도 함께 출력부(210)를 통해 출력할 수 있다. 실시예에 따라, 조종 장치(300)는 후술하게 될 조종석 및 조종키의 형상을 투영할 수 있으며, 사용자는 실제로 무인 자동차(100)에 탑승한 것과 같은 현장감을 느낄 수 있다.

초점 조정부(220)는 디스플레이 장치(200)는 사용자의 눈을 검출하고, 검출된 눈의 위치 및 움직임을 기초로 사용자의 360°방향의 좌안 및 우안 시각 데이터 및 초점 영역을 설정할 수 있다.

본 발명에 있어서, 사용자가 디스플레이 장치(200)를 이용하여 실제로 무인 자동차(100)에 탑승한 것과 같은 착시 효과를 제공하기 위해, 추가적으로 자이로스코프 센서, 가속도 센서, 자이로 센서를 구비할 수 있다.

이에 따라, 초점 조정부(220)를 이용하여 사용자의 시각 데이터를 획득하고, 디스플레이 장치(200)를 장착한 사용자 머리의 움직임을 파악하여 이에 상응하는 영상 정보를 출력할 수 있다.

본 발명에 있어서, 디스플레이 장치(200)는 사용자가 착용하여 사용자의 눈의 위치를 트래킹하는 디스플레이 장치(200) 외에 무인 자동차 조종 시스템(10)을 관람하는 이용객을 위한 디스플레이 장치(200)를 추가적으로 구비할 수 있다.

또한, 이용객을 위한 디스플레이 장치(200)에 출력되는 영상도 조종 장치(300)에 탑승한 사용자가 보는 것과 동일한 영상일 수 있다. 이에 따라, 무인 자동차 조종 시스템(10)이 적용되는 레이싱 어트랙션에 참여하는 사용자들의 몰입감을 증대시킬 수 있다.

본 발명에 따르면, 무인 자동차(100)가 동작하는 동안, 무인 자동차(100)의 상태 정보를 함께 디스플레이 장치(200)에 출력할 수 있다. 이는 실제 자동차에 구비된 계량판, 속도 정보, 브레이크 경고등 등 자동차의 상태를 파악할 수 있는 정보들로 사용자의 몰입감을 증대시키기 위해 디스플레이 장치(200)에서 출력될 수 있다.

통신부(230)는 무인 자동차(100) 및 조종 장치(300)로부터 영상 정보를 수신할 수 있다. 또한, 초점 조정부(220)를 이용하여 획득한 사용자의 시각 데이터 및 초점 영역을 무인 자동차(100)로 송신할 수 있다. 아울러, 무인 자동차(100)의 촬영부(110)는 이를 기초로 외부 영상을 촬영할 수 있다.

조종 장치(300)는 조종 정보 획득부(310), 통신부(330), 및 제어부(340)를 포함할 수 있다. 조종 장치(300)는 무인 자동차 조종 시스템(10)에서 무인 자동차(100)를 조종하기 위해 사용자가 이용하는 모든 장치들을 포함할 수 있다.

본 발명에 있어서, 조종 장치(300)는 무인 자동차(100)를 이용하여 실제로 차를 운전하는 것과 같은 몰입감을 주기 위하여 구비되는 스티어링 휠, 의자, 엑셀레이터, 브레이크 등 자동차에 구비되는 다양한 장치들을 포함할 수 있다.

실시예에 따라, 조종 장치(300)는 사용자가 착석하는 조종석 및 사용자로부터 조종 정보를 입력받는 조종키를 포함할 수 있다.

이렇게 다양한 조종 장치(300)들은 유선 또는 무선 방식으로 연결되어 정보를 주고 받을 수 있다.

조종 정보 획득부(310)는 조종 장치(300)에 탑승한 사용자가 디스플레이 장치(200)로 시청하는 영상을 이용하여 무인 자동차(100)를 조종할 수 있도록 조종 정보를 입력받을 수 있다.

본 발명에 있어서, 조종 정보는 조종 장치(300)에 탑승한 사용자의 움직임을 촬영하는 촬영부(313) 및 조종 장치(300)에 탑승한 사용자의 움직임을 감지하는 센싱부(315) 중 적어도 하나 이상을 더 포함할 수 있다.

예를 들어, 조종 정보 획득부(310)는 스티어링 휠을 포함할 수 있다. 스티어링 휠은 사용자로부터 무인 자동차(100)가 움직일 방향 및 동작 정보를 입력 받을 수 있다. 조종 정보 획득부(310)에 포함되는 스티어링 휠은 회전뿐만 아니라 앞, 뒤로 밀거나, 당길 수 있어 무인 자동차(100)를 자유 자재로 조종할 수 있다. 또한, 스티어링 휠에 부착된 움직임 감지 센서를 이용하여 사용자가 스티어링 휠 손잡이를 회전하는 것으로 입력되는 방향을 감지할 수 있다.

또 다른 예로, 조종 정보 획득부(310)는 페달을 포함할 수 있다. 페달은 사용자로부터 무인 자동차(100)의 구동 또는 멈춤 정보를 입력받을 수 있으며, 엑셀레이터 및 브레이크를 포함할 수 있다. 다만, 사용자의 손을 이용하여 조종할 수 있는 장치가 조종 정보 획득부(310)에 구비되어 무인 자동차(100)의 구동 또는 멈춤 정보를 제공할 수 있다.

또한, 조종 정보 획득부(310) 웨어러블 장치를 포함할 수 있으며 이에 따라, 센싱부(315)를 이용하여 사용자의 움직임을 보다 구체적으로 파악할 수 있다. 아울러, 센싱부(315)가 감지한 사용자의 움직임과 촬영부(313)가 촬영한 정보를 매칭하여 조종 장치(300)의 제어부(340)가 조종 정보를 데이터화할 수 있다.

본 발명에 있어서, 촬영부(313)는 사용자의 움직임을 촬영하고 이를 기초로, 실시간으로 제공되는 영상 정보와 매칭시켜 조종 정보를 획득할 수 있다.

본 발명에 있어서, 이와 같이 조종 정보를 획득하는 과정은 조종 정보 획득부(310)에 의해서 수행될 수 있지만, 별도의 중간 서버를 구비하여 빠르고 신속하게 무인 자동차(100) 및 디스플레이 장치(200)로 조종 정보를 제공할 수 있다.

한편, 조종 정보 획득부(310)는 마이크(미도시)를 구비하여 사용자가 음성으로 제공하는 무인 자동차(100)의 제어 명령을 분석하여 조종 정보로 획득할 수 있다.

본 발명에 있어서, 무인 자동차(100)의 움직임은 운동판(motion platform) 시뮬레이션을 이용하여 구현될 수 있다.

통신부(330)는 무인 자동차(100) 및 디스플레이 장치(200)와 통신하며, 실시간으로 정보를 주고 받을 수 있다. 예를 들어 통신부(330)는 2G/3G, LTE(Long Term Evolution), LTE-A(LTE-Advance)와 같은 셀룰러 통신 네트워크를 지원할 수 있다. 또한 통신부(330)는 Wi-Fi와 같은 무선 네트워크를 지원할 수 있다. 이 외에도, 통신부(330)는 근거리에 있는 다양한 전자 장치와 무선 통신을 위한 다양한 통신 방식을 지원하는 RF(Radio Frequency) 칩(chip)이나 회로(circuit)를 포함할 수 있으며, 이에 한정되는 것은 아니다.

본 발명에 있어서, 무인 자동차 가상체험 시스템(10)은 조종 정보 획득부(310)를 통해 획득한 조종 정보에 의해 무인 자동차(100)가 동작하는 동안, 무인 자동차(100)에 가해지는 충격, 움직임 등과 무인 자동차(100)의 감속, 가속, 커브 이동 등의 움직임 정보를 무인 자동차(100)를 조종하는 사용자에게 동일하게 제공될 수 있는 특수 효과 장치(미도시)를 포함할 수 있다.

다시 말해서, 특수 효과 장치는 혼합 영상 정보에 대응되는 특수 효과를 제공하며, 실시예에 따라, 발향 장치, 송풍 장치, 진동 장치, 모션 효과 장치, 티클링 장치 중 적어도 하나 이상을 포함할 수 있다.

예를 들어, 특수 효과 장치는 환경 정보는, 비, 풍량, 풍속, 충돌, 진동, 기울기 등 사용자가 오감으로 감지할 수 있는 정보를 출력할 수 있으며, 무인 자동차(100)에서 감지한 감도와 동일하게 특수 효과를 제공할 수 있다. 이에 따라, 사용자는 무인 자동차(100)에 탑승하여 운전을 하는 듯한 사실감을 받을 수 있다.

제어부(340)는 조종 정보 획득부(310), 통신부(330) 등 조종 장치(300)에 구비된 모든 구성 요소들을 제어할 수 있다.

본 발명에 있어서, 제어부(340)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 실시예에 따라, 제어부(340)는 모션 보드(Motion Board)일 수 있으며, 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로도 구현될 수 있다.

도 5는 본 발명의 무인 자동차 가상체험 제공방법의 흐름을 도시한 순서도이다. 도 5를 참조하면, 무인 자동차(100)로부터 영상 정보를 수신한다(S510). 영상 정보는 무인 자동차(100)의 촬영부(110)가 무인 자동차(100)의 외부를 촬영한 영상 데이터로 디스플레이 장치(200)를 이용하여 사용자에게 표시될 수 있다.

이에 따라, 무인 자동차(100)를 제어하는 조종장치(300)로부터 조종 정보를 수신한다(S520). 조종 정보는 사용자가 디스플레이 장치(200)를 이용하여 시각적으로 확인하는 현재 무인 자동차(100)의 주변 영상 정보에 따라 생성될 수 있다.

또한, 조종 정보는, 조종 장치(300)의 촬영부(313)를 통해서 사용자의 움직임을 촬영한 촬영 정보 또는 조종 장치(300)의 센싱부(315)를 통해서 사용자의 움직임을 감지한 감지 정보를 포함할 수 있다.

한편, 조종 정보는 사용자의 설정에 따라 다양한 기능을 부여할 수 있다. 예를 들어, 조종 장치(300)에 포함되는 스티어링 휠을 상, 하로 움직이면, 무인 자동차(100)가 가속되거나 멈춰지는 기능을 수행하도록 설정할 수 있다.

조종 정보가 입력되면, 무인 자동차(100)가 획득한 영상 정보에 이를 반영하여 혼합 영상정보를 생성한다(S530). 이는 실제 무인 자동차(100)가 배치된 이미지와 가상 영상이 혼합된 혼합 현실(Mixed Reality)일 수 있다.

생성된 혼합 영상 정보는 디스플레이 장치(200)로 제공된다(S540). 본 발명에 있어서, 디스플레이 장치(200)는 단순히 조종 장치(300)가 입력 받은 조종 정보에 따라 운행되는 무인 자동차(100)의 움직이는 영상 정보뿐만 아니라 조종 장치(300)의 형상도 함께 특수 효과 장치를 통해 출력할 수 있다. 이에 따라, 사용자는 차에 탑승한 것과 같은 현장감을 느낄 수 있다.

다시 말해서, 특수 효과 장치를 이용하여 앞서 획득한 환경 정보와 대응되는 특수 효과를 출력한다. 실시예에 따라, 특수 효과는 조종 정보가 제공됨에 따라 즉시 제공되어야 하는 바, 무인 자동차(100)로 수신하는 환경 정보 및 조종 정보를 빠르게 동기화시켜 특수 효과 장치가 사용자에게 특수 효과를 출력하도록 제어할 수 있다.

이하, 무인 자동차 조종 시스템(10)의 전체 흐름도를 설명하도록 한다.

도 6은 본 발명의 무인 자동차 가상체험 시스템의 전체 동작 과정의 일부를 도시한 순서도이고, 도 7은 본 발명의 무인 자동차 가상체험 시스템의 전체 동작 과정의 일부를 도시한 순서도이고, 도 8는 본 발명의 무인 자동차 가상체험 시스템의 일 실시 예를 나타낸 도면이며, 도 9a 및 도 9b는 본 발명의 디스플레이 장치에서 출력되는 화면을 도시한 도면이다.

도 6 내지 도 9를 참조하면, 사용자가 자동차 원격 조종 시스템(10)에 참여하여, 조종 장치(300)에 포함되는 조종석에 탑승하고, 디스플레이 장치(200)를 장착한다(S601, S602).

실시예에 따라, 무인 자동차 조종 시스템(10)은 레이싱 어트랙션에 적용될 수 있으며, 도 8과 같이 수행될 수 있다.

사용자는 디스플레이 장치(200)를 장착한 후, 디스플레이 장치(200)에 나타나는 진행자의 출발 신호에 따라 레이싱을 시작한다(S603). 레이싱이 시작됨에 따라, 사용자는 무인 자동차(100)로부터 실시간으로 무인 자동차(100)가 촬영하는 영상을 볼 수 있게 되며, 영상 정보 상에 조종 정보가 반영된 혼합 영상 정보를 생성한다(S604, S605).

또한, 혼합 영상 정보에는 조종 장치(300)가 투영될 수 있으며, 사용자는 조종 장치(300)가 투영된 혼합 영상 정보를 이용하여 조종 장치(300)를 조종 정보를 입력하고, 조종 장치(300)의 제어부(340)는 입력된 조종 정보에 기초하여 무인 자동차(100) 및 조종 장치(300)의 제어 알고리즘을 수행하여, 좌표 값이 변경되는지 확인한다(S606, S607, S608).

실시예에 따라, 도 9a와 같이 조종 장치(300)의 조종키가 투영된 혼합 영상 정보 및 조종 장치(300)가 사용자가 보고 있는 디스플레이 장치(200)에 출력될 수 있다. 또한, 도 9b와 같이 사용자가 조종 장치(300)에 포함되는 조종키 즉, 스티어링 휠을 시계 방향으로 돌리면, 무인 자동차(100)가 우측으로 이동하게 되고, 디스플레이 장치(200)에 무인 자동차(100)가 촬영한 우측 영상이 출력된다.

본 발명에 있어서, 사용자가 입력하는 조종 정보는 다양한 방식으로 획득될 수 있는데, 실시예에 따라, 조종 정보 획득부(310)는 사용자가 조종 장치(300)에 포함되는 스티어링 휠, 페달, 기어 등을 잡고 이를 움직일 경우에 움직임을 인식한다(S6071).

예를 들어, 조종 정보 획득부(310)에 구비되는 촬영부(313)를 통해 조종 장치(300)에 포함되는 조종석에 안착한 사용자의 움직임을 촬영하거나, 조종 장치(300)에 포함되는 스티어링 휠, 페달, 기어 등에 부착된 센싱부(315)를 통해 사용자의 움직임을 감지할 수 있다.

조종 정보 획득부(310)는 촬영부(313) 및 센싱부(315)를 이용하여 획득한 사용자의 움직임 정보를 데이터화하여, 이를 무인 자동차(100)로 전달한다(S6072).

무인 자동차(100)의 제어부(140)는 데이터화된 조종 정보와 촬영부(110)로부터 획득한 영상 정보를 매칭하여, 이를 이용한 혼합 영상 정보를 생성하고, 해당 혼합 영상 정보를 디스플레이 장치(200)에 송신한다(S6073, S6074).

또한, 본 발명에 있어서, 조종 장치(300)의 제어부(340)는 입력된 조종 정보가 무인 자동차(100)의 움직임을 변경하는 정보를 포함하는 경우, 조종 정보와 무인 자동차(100)의 위치에 기반한 좌표 값을 획득한다(S610).

이에 따라, 무인 자동차(100)의 움직임이 제어됨과 동시에, 조종 장치(300)에 포함되는 조종석의 움직임도 제어된다(S611, S612). 이렇게 사용자의 동작에 따라 무인 자동차(100) 및 조종 장치(300)의 움직임이 제어됨에 따라, 사용자는 실제로 자동차를 운행하는 것과 같은 몰입감을 느낄 수 있다.

또한, 보다 더 효과적인 몰입감을 주기 위해, 조종 장치(300)는 무인 자동차(100)의 센싱부(120)가 감지한 환경 정보를 특수 효과로 구현하여 출력한다(S613).

실시예에 따라, 사용자가 경험할 수 있는 환경 효과는 무인 자동차(100)가 동작하는 구역의 기상 정보와 무인 자동차(100)가 동작하면서 감지하는 노면의 요철, 미끄러짐, 속도, 기울기, 무인 자동차(100)의 가속, 감속, 급제동, 급출발, 급커브 등일 수 있다. 또한, 무인 자동차(100)의 외측면에 가해지는 충격 및 무인 자동차(100)의 움직임 역시 사용자에게 전달될 수 있다.

본 발명에 있어서, 사용자가 입력한 조종 정보 및 그에 따라 무인 자동차(100)가 제공하는 영상 정보가 합쳐진 혼합 영상정보가 생성되고, 조종 장치(300)의 형상, 환경 정보들이 합쳐진 최종 혼합 영상 정보가 디스플레이 장치(200)에 제공된다(S615).

무인 자동차 원격 조종 시스템(10)을 이용한 레이싱 경기에서, 사용자가 혼합 영상 정보를 디스플레이 장치(200)를 이용하여 시청하고 무인 자동차(100)를 조종하는 과정은 결승선을 통과할 때까지 계속되며, 결승선을 통과하게 될 경우, 조종 장치(300)의 작동이 정지된다(S616, S617).

이에 따라, 무인 자동차(100)의 움직임 역시 멈추게 되고, 사용자는 디스플레이 장치(200)를 탈거하여 일련의 과정이 종료된다(S618, S619).

지금까지 본 발명에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 발명을 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다. 비록 본 명세서에 특정한 용어들이 사용되었으나 이는 단지 본 발명의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 본 발명의 각 단계는 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적 또는 개별적으로 수행될 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 특허청구범위에서 청구하는 본 발명의 본질적인 기술사상에서 벗어나지 않는 범위에서 다양한 변형 형태 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 구성요소를 포함하는 것으로 이해되어야 한다.

10: 무인 자동차 가상체험 시스템
100: 무인 자동차
110: 촬영부
120: 센싱부
123: 환경 감지 센서 125: 충격 감지 센서
130: 통신부 140: 제어부
200: 디스플레이 장치
210: 출력부 220: 초점 조정부
230: 통신부
300: 조종 장치
310: 조종 정보 획득부
313: 촬영부 315: 센싱부
320: 통신부 340: 제어부

Claims (17)

1. 영상 정보를 획득하는 무인 자동차;
   상기 무인 자동차를 제어하는 조종장치; 및
   상기 영상 정보를 출력하는 디스플레이 장치; 를 포함하며,
   상기 디스플레이 장치는, 상기 조종장치에 의해 생성되는 조종 정보가 실시간으로 반영된 혼합 영상정보를 제공하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
2. 제1항에 있어서,
   상기 디스플레이 장치는,
   HMD(Head Mount Display)를 포함하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
3. 제1항에 있어서,
   상기 혼합 영상정보에 대응되는 특수 효과를 제공하는 적어도 하나 이상의 특수 효과 장치; 를 더 포함하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
4. 제3항에 있어서,
   상기 특수 효과 장치는,
   발향 장치, 송풍 장치, 분무 장치, 진동 장치, 모션 효과 장치 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
5. 제1항에 있어서,
   상기 무인 자동차는,
   상기 무인 자동차의 외부를 촬영하여 영상 정보를 획득하는 촬영부;
   상기 무인 자동차가 동작하는 환경을 감지하여 환경 정보를 생성하는 센싱부; 및
   상기 촬영부, 상기 센싱부, 상기 통신부를 제어하고, 상기 조종 정보에 따라 상기 무인 자동차를 구동시키는 제어부; 를 포함하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
6. 제5항에 있어서,
   상기 촬영부는,
   360° 카메라, 스테레오 카메라, 광각 카메라 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
7. 제6항에 있어서,
   상기 촬영부는,
   두 개 이상의 카메라를 포함하는 경우, 상기 두 개 이상의 카메라의 이격 거리를 조절하는 조절부; 를 더 포함하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
8. 제5항에 있어서,
   상기 촬영부는 상기 무인 자동차 주변의 외부 물체를 촬영하고,
   상기 제어부는 상기 외부 물체가 상기 무인 자동차 주변의 기 설정된 반경 내에 진입할 경우 상기 외부 물체의 이동 속력 또는 이동 방향 중 적어도 하나를 산출하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
9. 제5항에 있어서,
   상기 촬영부는,
   상기 디스플레이 장치로부터 수신하는 초점 영역에 따라, 상기 영상 정보의 초점 거리를 조정하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
10. 제5항에 있어서,
    상기 센싱부는,
    상기 무인 자동차가 동작하는 외부 환경을 감지하는 환경 감지 센서; 및
    상기 무인 자동차에 가해지는 충격을 감지하는 충격 감지 센서; 를 포함하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
11. 제1항에 있어서,
    상기 디스플레이 장치는,
    상기 혼합 영상정보를 출력하는 출력부; 및
    상기 디스플레이 장치 상에서의 사용자의 시각 측정 데이터를 이용하여 초점 영역을 설정하는 초점 조정부; 를 포함하고,
    상기 초점 조정부에 의해 설정된 초점 영역은 상기 무인 자동차로 전송되는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
12. 제1항에 있어서,
    상기 조종장치는,
    사용자가 착석하는 조종석; 및
    상기 조종 정보를 입력받는 조종키; 를 포함하고,
    상기 디스플레이 장치가 상기 조종석 및 상기 조종키의 형상을 투영하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
13. 제1항에 있어서,
    상기 조종장치는,
    상기 조종석에 착석한 사용자의 동작을 촬영하는 촬영부와 상기 조종석에 착석한 사용자의 동작을 감지하는 센싱부 중 적어도 하나 이상을 포함하며,
    상기 촬영부 또는 센싱부를 통해 얻은 사용자의 동작 정보는 상기 무인 자동차를 제어하는 데에 반영되는 것을 특징으로 하는 무인 자동차 가상체험 시스템.
14. 무인 자동차 가상체험 제공방법으로서,
    상기 무인 자동차로부터 영상 정보를 수신하는 단계;
    상기 무인 자동차를 제어하는 조종장치로부터 조종 정보를 수신하는 단계;
    상기 수신한 조종 정보를 상기 영상 정보에 실시간으로 반영하여 혼합 영상정보를 생성하는 단계; 및
    상기 생성된 혼합 영상정보를 디스플레이 장치로 제공하는 단계; 를 포함하는 것을 특징으로 하는 무인 자동차 가상체험 제공방법.
15. 제14항에 있어서,
    상기 조종 정보는,
    상기 조종 장치 상에서의 사용자의 움직임을 촬영한 촬영 정보 또는 상기 조종 장치 상에서의 사용자의 움직임을 감지한 감지정보를 기초로 생성한 조종 정보인 것을 특징으로 하는 무인 자동차 가상체험 제공방법.
16. 제14항에 있어서,
    상기 무인 자동차의 동작에 따른 환경 정보 및 상기 무인 자동차에 가해지는 충격에 따른 충격 감지 정보를 수신하는 단계; 및
    상기 환경 정보 및 상기 충격 감지 정보와 대응되는 특수 효과를 제공하는 단계; 를 더 포함하는 것을 특징으로 하는 무인 자동차 가상체험 제공방법.
17. 제14항에 있어서,
    상기 디스플레이 장치로 제공하는 단계는,
    상기 혼합 영상정보 상에 상기 조종장치가 포함하는 조종키의 형상을 투영하는 것을 특징으로 하는 무인 자동차 가상체험 시스템.

Images