KR20160097658A - Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템 - Google Patents

Abstract

본 발명은 운전 시뮬레이션시스템에 관한 것으로서, 상세하게는 가상공간영상과 카메라로 촬영된 사용자가 조작하는 실물영상이 일체화되게 하여 사용자가 기기를 조작할 때 이질감을 느끼지 않게 할 수 있을 뿐만 아니라, 시뮬레이션을 통한 장비 조작 기술 습득 효과를 높일 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 관한 것이다.

Description

HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템{driving simulation systems by HMD and chroma key}

본 발명은 운전 시뮬레이션시스템에 관한 것으로서, 상세하게는 가상공간영상과 영상입력장치에서 촬영된 사용자가 조작하는 실물영상이 일체화되게 하여 사용자가 기기를 조작할 때 이질감을 느끼지 않게 할 수 있을 뿐만 아니라, 시뮬레이션을 통한 장비 조작 기술 습득 효과를 높일 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 관한 것이다.

보다 상세하게 본 발명은 블루스크린을 배경으로 조작수단을 촬영하여 실물영상의 얻되, 블루스크린 내의 영역의 실물영상만을 가상 영상과 결합하여 불필요한 실물영상이 가상공간영상과 합성되지 않게 함으로써 사용자가 시뮬레이션 과정에서 혼란을 일으키지 않고 안정적으로 시뮬레이션에 임할 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 관한 것이다.

시뮬레이션(simulation) 기술은 실제와 같은 모델이나 상태를 만들어 모의적으로 실험하거나 교육을 하는 것으로서, 선박, 항공기 등의 설계, 기업의 경영전략, 각종 경제예측 등에 이용되고 있다.

이러한 시뮬레이션 기술 중 자동차나 비행기의 운전 연습이나 자동차 성능 시험 등을 목적으로 하는 시뮬레이션 기술이 개발되어 사용되고 있고, 그 예로는 특허문헌 1 및 2가 있다.

특허문헌 1은 차량에 탑재되어, 차속, 엔진의 회전수 등의 차량 상태 정보나, 네비게이션 화상 등의 부가 정보를 포함하는 운전 정보를 인패널 화상으로서 표시하는 표시부와, 표시부에 표시하는 인패널 화상의 레이아웃 정보를 작성하는 레이아웃 작성부와, 레이아웃 작성부에 의해 작성된 레이아웃 정보와, 운전 정보에 기초하여 인패널 화상의 레이아웃을 결정하는 정보 처리부를 구비하고, 표시부는, 정보 처리부에 의해 결정된 레이아웃으로 인패널 화상을 표시하므로, 실제의 주행하는 것과 유사한 시뮬레이션을 행할 수 있게 한 것이고,

특허문헌 2는 차량성능 시험운전자의 움직임을 감지하고, 실차환경 차량의 거동을 실시간으로 가상 환경에 적용하는 시뮬레이션부 및 상기 시뮬레이션부와 무선 통신 방식으로, 차량 성능 시험운전자의 거동을 실제 차량에 적용하는 실차환경부로 구성된 차량 시뮬레이션 통합 시스템에 관한 것이다.

이러한 기존의 차량운전 또는 시험을 위한 시뮬레이션 시스템 중에는 HMD(Head mounted display)를 이용한 것이 있고, 이는 사용자가 HMD를 착용한 상태에서 시뮬레이션이 이루어지므로 주변의 다른 사물을 보지 않고 시뮬레이션에만 집중할 수 있는 장점이 있다.

그러나 이러한 기존의 HMD를 이용한 시뮬레이션 시스템은 HMD 영상에서 사용자가 자동차 핸들이나 기어 스틱 등을 조작하는 모습을 보여주지 않거나 보여주더라도 실제 사용자의 행동과는 매우 다르게 디스플레이되어 이질감을 느끼는 문제가 있다. 특히, 자동차 운전 시뮬레이션의 경우 사용자가 HMD를 이용하여 가상 공간을 영상으로 피드백 받는 것만큼 가상공간에서의 자동차 조종 장치와의 상호작용이 이루어져야 하지만, 기존의 시뮬레이션 기술에서는 사용자가 조작하는 핸들이나 기어 등과는 별도로 가상의 핸들이나 기어가 디스플레이됨으로써, 사용자가 자동차를 운전할 때 실제 운전하는 것과는 다른 이질감을 느끼게 할 뿐만 아니라, 가상현실에 대한 몰입도를 떨어뜨리는 문제가 있다. 또한 자동차 운전 시뮬레이션의 가장 중요한 목적인 장비 조작 기술의 습득에 대한 효과를 반감시키는 문제가 있다.

1. 대한민국 특허등록 제0842546호 2. 대한민국 특허공개 제2012-0010633호

본 발명은 상기와 같은 문제점을 해소하기 위해 개발된 것으로, 가상현실의 화면과 사용자가 조작하는 기기의 조작 상태의 실물영상이 일치되게 함으로써 시뮬레이션을 통한 가상 체험에서의 이질감을 느끼지 않을 수 있을 뿐만 아니라, 장비 조작 기술 습득 효과를 높일 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 블루스크린을 배경으로 한 실물영상을 HMD의 영상입력장치를 통해서 입력 받고, 실물영상과 가상공간영상을 합성할 때, 블루스크린 밖의 실물영상이 가상공간영상에 합성되는 방지한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템을 제공하는 것을 목적으로 한다.

상기한 바와 같은 목적을 달성하기 위한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 가상공간영상 제작 프로그램에 의해 만들어진 가상공간영상을 이용하여 사용자가 운전 기술을 체험 또는 습득하는 운전 시뮬레이션 시스템에 있어서, 운전에 필요한 조종간, 브레이크 및 가속페달과 계기판을 포함하는 조작수단; 상기 조작수단의 전방에 설치되어 하기 영상입력장치에서 촬영되는 조작수단 실제 동작 과정의 촬영을 위한 배경이 되는 블루스크린; 사용자의 머리에 착용 가능하고, 하기 영상입력장치가 일체로 설치된 HMD; 상기 HMD의 전면에 설치되어 조작수단의 동작상태를 실시간으로 활영하여 실물영상을 획득하는 영상입력장치; 및 상기 영상입력장치에서 촬영된 실물영상 중 블루스크린과 겹쳐지는 영역의 실물영상만을 가상공간영상에 합성하여 사용자에게 제공하는 제어수단을 포함하는 것을 특징으로 한다.

상기 영상입력장치는 영상입력장치로부터의 촬영되는 영상이 실제 사용자의 눈으로 직접 보는 것과 다를 수 있으므로 입력 영상의 크기 및 상하좌우 위치를 조정하는 것이 바람직하고, 조작수단의 일측에 설정된 실물영상기준표식을 촬영의 기준점으로 하여 초점이 조절될 수 있다.

상기 제어수단은 HMD와 일체로 이루어지는 것이 바람직하다.

상술한 바와 같이, 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 사용자가 조작하는 조작수단이 작동하는 동영상 즉, 실물영상을 가상공간영상과 합성하여 사용자에게 제공함으로써, 실물영상과 가상공간영상이 일체화되어, 사용자가 가상현실과의 상호 작용을 극대화시할 수 있는 것이다.

즉, 사용자가 조작수단을 조작하는 실물영상을 가상공간영상에 일체로 결합하여 실시간으로 사용자에게 제공함으로, 사용자는 가상공간 내에 들어가 직접 조작수단을 조작하는 것과 같은 동질감을 느낄 수 있는 것이다.

이렇게 사용자가 조작수단은 조작하는 과정에서 실제 조작되는 조작수단의 움직임과 가상공간이 일체화된 것으로 인식되게 함으로써, 사용자의 가상현실에 대한 몰입을 극대화하여 비행기 조종 시뮬레이션이나 자동차 운전 시뮬레이션 등에서의 장비 조정 기술 습득이 보다 빠르고 정확하게 이루어질 수 있는 효과가 있는 것이다.

도 1은 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템의 블록도
도 2는 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템의 일예의 구성도
도 3은 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 구비된 HMD의 일예의 사시도
도 4는 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에서 구현되는 실물영상과 가상공간영상의 합성 과정도
도 5는 통상적으로 크로마키 기술을 적용할 때 발생될 수 있는 블루스크린 외부의 실물을 포함하는 촬영영역과 블루스크린 및 실물의 배치도
도 6은 도 5의 촬영영역에서 촬영된 실물영상을 적용한 HMD영상
도 7은 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에서 실물영상 촬영영역 설정화면
도 8은 도 7의 실물영상 촬영역역 설정 후 HMD영상
도 9는 HMD에서 영상입력장치에서 촬영된 촬영영역 영상과 가상공간영상을 결합하는 과정도

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 사용자가 조작하는 조작수단의 조작과정의 실물영상과 기 설정된 가상공간영상이 일체화되게 하여 사용자가 기기를 조작할 때 이질감을 느끼지 않게 할 수 있을 뿐만 아니라, 시뮬레이션을 통한 장비 조작 기술 습득 효과를 높일 수 있다.

본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 영상입력장치(40)가 일체로 구비된 HMD(30)를 포함한다.

이러한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 통상의 시뮬레이션 시스템과 동일하게 가상의 환경 영상을 제작하는 가상공간영상제작 프로그램(50p)은 구비하고 있으며, 이 영상제작 프로그램(50p)은 제어수단(50)에 설치되어 상기 영상입력장치(40)에서 촬영된 실시간 조작 영상과 결합된다.

즉, 본 발명의 시뮬레이션시스템은 자동차나 비행기의 운전 또는 공작기계나 의료기계 등과 같은 장치를 조작하는 기술을 익히거나 시험하는 데 사용되는 기술로 다양한 분야에서 사용될 수 있다. 이하에서는 자동차 운전을 시뮬레이션하는 것을 일예로 설명하지만 이에 의해 본 발명의 청구범위를 제한하는 것은 아니다.

이와 같이 소정의 기계나 장치(이하, "장치"라 통칭함)를 조작하기 위해서는 조작수단(10)을 구비하고 있으며, 이 조작수단(10)은 장치의 동작을 제어하는 것이다. 자동차나 비행기의 경우에는 운전에 필요한 조종간, 브레이크 및 가속페달과 계기판을 포함할 수 있다.

이러한 조작수단(10)을 조작할 때, 조작수단이 동작하는 방향이나 정도를 실시간으로 촬영하기 위해 상기한 영상입력장치(40)를 구비하고 있다.

상기 영상입력장치(40)는 도 1 내지 도 3에 도시한 바와 같이 HMD(30)에 일체로 설치되어 HMD를 착용한 상태에서 고개를 돌리면, 사용자의 시야가 향하는 방향에 설치된 조작수단(10)을 촬영하고, 이렇게 촬영된 실시간 영상은 상기 제어수단(50)에 의해 기 생성된 가상공간영상에 합성되어 HMD를 통해 사용자에게 제공된다.

이에 따라 사용자는 자신이 조작하는 조작수단의 조작상태가 가상공간영상에서 어떻게 표시되는 지를 확인할 수 있어 실제 장치를 조작하는 것과 같은 동질감을 느끼게 되는 것이다.

상기 블루스크린(20)은 조작수단(10)의 배경화면 역할을 하는 것으로서, 상기 영상입력장치(40)에 의해 촬영된 실물영상에 배경이 삽입되지 않게 하여, 실물영상이 가상공간영상에 합성되었을 때 두 영상이 조화를 이룰 수 있고, 불필요한 배경 영상에 의해 사용자가 혼란을 일으키지 않게 할 수 있다.

상기 HMD(30)는 전술한 바와 같이, 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치로서 영상입력장치(40)를 구비하고 있다.

상기 영상입력장치(40)는 조작수단(10)을 조작하는 과정을 촬영하기 위한 수단으로, 영상입력장치로부터의 영상이 실제 사용자의 눈으로 직접 보는 것과 다를 수 있으므로 입력 영상의 크기 및 상하좌우 위치를 조정한다.

이러한 영상입력장치(40)는 조작수단(10)의 조작상태를 정확하게 촬영할 수 있도록 조작수단(10)의 일측에 설정된 실물영상기준표식(10p)을 촬영의 기준점으로 하여 초점이 조절되는 것이 바람직하다. 또한, 사용자의 신체구조나 조작수단의 구조에 따라 촬영되는 방향을 조절할 수 있어야함으로 상하, 좌우로 회동 가능하도록 HMD에 설치되는 것이 바람직하며, 이렇게 회동되는 영상입력장치(30)는 상기한 바와 같이 조작수단(10)에 설치된 실물영상기준표식(10p)을 초점으로 자동 정렬이 되게 할 수도 있다.

통상적으로 실물 영역 적용 방법에 있어서, 도 4에 도시한 바와 같이, 블루스크린을 배경으로 한 실물에 대한 HMD에 설치된 영상입력장치(40)의 시야각이 블루스크린을 벗어나는 경우, 즉, 촬영영역(40a)이 블루스크린을 벗어나는 경우 원하지 않는 블루스크린 밖의 불요영역(20o)의 영상이 촬영되고, 이렇게 생성된 실물영상에 크로마키 기술을 적용할 경우 도 6에 도시한 바와 같이 블루스크린 바깥쪽 영상이 HMD영상에 합성될 수 있다.

이러한 단점을 개선하기 위해 본 발명은 도 7에 도시한 바와 같이 가상공간영상과 합성될 수 있는 실물영상영역(10a)을 설정하고, 이 실물영상영역(10a) 내에서 촬영된 실물영상만이 가상공간영상과 결합될 수 있게 하여 도 8에 도시한 바와 같은 HMD영상을 제공할 수 있게 하였다.

즉, 도 7에 도시한 바와 같이, 실물의 특정 부분에 실물영상영역기준표식(10p)를 설치하여 시스템을 시작할 때 HMD(30)가 이를 인식하고, 가상공간영상에서 실물영상영역(10a)의 좌표를 설정할 수 있도록 한다. 실물영상과 가상공간영상을 합성할 때 사전에 설정된 실물영상영역 내의 실물영상만을 합성하여 시야 각이 블루스크린을 벗어나더라도 블루스크린 밖의 실물영상을 합성하지 못하도록 한다. 실물영상영역의 좌표는 실물영상영역기준표식이 인식될 때마다 재설정하여 HMD사용시 누적될 수 있는 위치 오류를 제거하게 하는 것이 바람직하다.

이러한 본 발명에 따른 운전 시뮬레이션시스템에 있어서, 상기한 HMD(30)는 사용자가 바라보는 각도를 측정하는 센서, 일예로 자이로 센서를 구비하여 사용자이 움직임에 반응하여 영상임력장치에서 촬영되는 촬영영역이 달라질 수 있다.

물론, 이러한 HMD(30)는 디스플에이를 구비하여 가상공간영상과 실물영상을 합성한 시뮬레이션 영상을 사용자에게 제공할 수 있다.

상기와 같이 구성된 각각의 구성요소를 제어하기 위한 수단으로 제어수단(50)을 구비하고 있으며, 이 제어수단(50)은 상기 영상입력장치에서 촬영된 실시간 영상을 가상공간영상에 합성하여 HMD(30)을 통해 사용자에게 제공한다.

상기 제어수단(50)에서 영상입력장치에서 촬영된 실시간 실물영상과 가상공간영상을 합성할 때, 상기 영상입력장치(40)의 시각에 들어오는 촬영영역(40v)은 도 7에 도시한 바와 같이 조작수단을 포함하는 일부 주위 사물이지만, 실제로 촬영되어 가상공간영상과 결합될 실물영상은 실물영상역역(10a) 내부의 영상만이 된다.

또한, 사용자가 머리를 움직임에 따라 영상입력장치(40)를 통해 촬영되는 촬영영역(40v)은 변하게 되지만, 기 설정된 실물영상영역(10a) 내부의 영역만이 촬영되어 가상공간영상에 합성되는 것이다. 즉, 영상입력장치의 촬영역역(40v)이 블루스크린과 실물영상영역(10a)을 벗어난 외부영역(20o)을 포함할 경우에는, 외부영역(10o)의 영상을 제거되고, 블루스크린 내부 영역 중 설정된 싱물영상역역(10a)의 영상만을 가상공간영상에 합성하여(도 8 참조), 사용자가 실제로 가상 환경 내에서 조작수단을 조작하는 것과 같은 동질감을 느끼게 할 수 있는 것이다.

상기 제어수단(50)은 도 1 및 도 2에 도시한 바와 별도로 구성될 수 있으나, 바람직하게는 HMD와 일체로 구성하는 것이다.

물론, 상기 제어수단(50)에는 가상의 환경 영상을 제작하는 가상공간영상제작 프로그램(50p)은 구비하고 있고, 영상입력장치에서 촬영된 실시간 영상과 기 제작된 가상공간영상을 합성하기 위한 영상합성부(50m)을 구비하고 있다.

상기 영상제작 프로그램(50p)과 영상합성부(50m)는 모두 프로그램으로 구성된다.

상기와 같이 구성된 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 HMD(30)를 사용자의 머리에 착용하되, 영상입력장치(40)가 사용자 미간의 정중앙에 놓이도록 착용한다. 영상입력장치(40)는 실제 눈으로 보는 영상과 일치하도록 Zoom In/Out의 조정이 가능하고, 초점은 상기한 바와 같이, 합성할 실물인 조작수단(10)의 위치와 일치시킨다.

본 발명에서 사용되는 크로마키(chroma key) 기술은 색상 차이를 이용하여 움직이는 피사체를 다른 화면에 합성하는 동영상 화면 합성 기법으로 일기 예보, 선거 방송 등의 프로그램에서 많이 사용되는 기술로서, 영상입력장치(40)에서 입력되는 실물영상을 RGB 신호를 이용하여 그 색(chroma)의 차이를 키(key)로 하여 빼내고 싶은 외부영역(20o)의 촬영영상을 분리하고, 원하는 실물영상만을 가상공간영상에 합성한다. 이러한 크로마키(chroma key) 기술은 이미 잘 알려진 기술로 이에 대한 상세한 설명은 생략한다.

이하 상기와 같이 구성된 본 발명에 따른 MD와 크로마키 기술을 이용한 운전 시뮬레이션시스템을 이용한 실물영상과 가상공간영상을 합성하는 과정을 도 9을 참조하여 설명한다.

먼저, HMD(30)을 착용한 후 영상입력장치(40)의 초점을 조작수단에 구비된 실물영상기준표식(10p)에 맞추어 세팅한다.

시뮬레이션 과정에서 사용자가 머리를 움직이면 HMD에 구비된 센서에 의해 영상입력장치의 초점도 따라 움직이면서 실시간으로 조작수단의 실제 영상을 촬영하게 된다.

이때 영상입력장치(40)의 촬영영역(40v)은 도 7에 도시한 바와 같이 실물(10)과 블루스크린(20) 및 설정된 실물영상영역(10a)을 벗어날 수 있고, 이 상태에서 촬영된 실물영상은 원하지 않는 외부영역(20o)의 영상을 포함하게 된다.

제어수단은 촬영된 실물영상 중 설정된 실물영상영역(10a)을 벗어난 외부영역(20o)의 영상을 제외한 영상만을 가상공간영상에 결합한다.(도 8 참조)

이에 따라 사용자가 착용한 HMD를 통해 제공되는 영상은 도 8에 도시한 바와 같이, 실물영상영역 내의 실물영상과 가상공간영상이 합성된 영상이 제공되는 것이다.

즉, 실물영상과 가상공간영상을 합성할 때에는, 사전에 설정된 실물영상영역 내의 촬영영역에서 촬영된 실물영상만을 합성함으로써, 시야각이 실물영상영역을 벗어나더라도 외부영역의 실물영상을 가상공간영상에 합성하지 못하게 되는 것이다. 실물영상의 촬영영역 좌표는 실물영상영역기준 표식(10p)이 인식될 때마다 재설정되게 함으로써 HMD 사용 시 누적될 수 있는 위치 오류를 제거할 수 있다.

10: 실물
10v: 합성실물영상 10p: 실물영상기준표식
20: 블루스크린
30: HMD 30v: 가상공간영상
40: 영상입력장치 40v: 촬영영역
50: 제어수단
50m: 영상합성부 50p: 가상영상제작 프로그램

Claims (5)

1. 가상공간영상 제작 프로그램에 의해 만들어진 가상공간영상을 이용하여 사용자가 운전 기술을 체험 또는 습득하는 운전 시뮬레이션 시스템에 있어서,
   운전에 필요한 조종간, 브레이크 및 가속페달과 계기판을 포함하는 조작수단(10);
   상기 조작수단의 전방에 설치되어 하기 영상입력장치에서 촬영되는 조작수단 실제 조작 상황인 실물영상 촬영 영역의 배경을 제공하는 블루스크린(20);
   사용자의 머리에 착용 가능하고, 하기 영상입력장치가 일체로 설치된 HMD(30);
   상기 HMD의 전면에 설치되어 조작수단을 조작하는 과정을 실시간으로 촬영하는 영상입력장치(40); 및
   상기 영상입력장치에서 실시간에 촬영된 실물영상 중 블루스크린과 겹쳐지는 영역의 실물영상만을 가상공간영상에 합성하여 사용자에게 제공하는 제어수단(50)을 포함하는 것을 특징으로 하는 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템.
2. 제1항에 있어서,
   상기 영상입력장치(30)로부터의 촬영되는 영상은 실제 사용자의 눈으로 직접 보는 것과 다를 수 있으므로 촬영된 실물영상의 크기 및 위치를 조정하는 것을 특징으로 하는 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템.
3. 제1항에 있어서,
   상기 영상입력장치(30)는 조작수단(10)의 일측에 설정된 실물영상기준표식(10p)을 촬영의 기준점으로 하여 초점이 조절되는 것을 특징으로 하는 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템.
4. 제1항에 있어서,
   상기 제어수단(50)은 HMD와 일체로 이루어진 것을 특징으로 하는 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템.
5. 제1항에 있어서,
   상기 제어수단(50)은 가상공간영상을 제작하는 가상공간영상 제작 프로그램을 구비한 것을 특징으로 하는 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템.
   

Images