KR101772431B1 - Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템 - Google Patents

Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템 Download PDF

Info

Publication number
KR101772431B1
KR101772431B1 KR1020150019623A KR20150019623A KR101772431B1 KR 101772431 B1 KR101772431 B1 KR 101772431B1 KR 1020150019623 A KR1020150019623 A KR 1020150019623A KR 20150019623 A KR20150019623 A KR 20150019623A KR 101772431 B1 KR101772431 B1 KR 101772431B1
Authority
KR
South Korea
Prior art keywords
image
real
hmd
user
virtual space
Prior art date
Application number
KR1020150019623A
Other languages
English (en)
Other versions
KR20160097658A (ko
Inventor
김용수
Original Assignee
(주)디지털인터랙티브
김용수
주식회사 엑스봇
서용호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)디지털인터랙티브, 김용수, 주식회사 엑스봇, 서용호 filed Critical (주)디지털인터랙티브
Priority to KR1020150019623A priority Critical patent/KR101772431B1/ko
Publication of KR20160097658A publication Critical patent/KR20160097658A/ko
Application granted granted Critical
Publication of KR101772431B1 publication Critical patent/KR101772431B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver

Abstract

본 발명은 운전 시뮬레이션시스템에 관한 것으로서, 상세하게는 가상공간영상과 카메라로 촬영된 사용자가 조작하는 실물영상이 일체화되게 하여 사용자가 기기를 조작할 때 이질감을 느끼지 않게 할 수 있을 뿐만 아니라, 시뮬레이션을 통한 장비 조작 기술 습득 효과를 높일 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 관한 것이다.

Description

HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템{driving simulation systems by HMD and chroma key}
본 발명은 운전 시뮬레이션시스템에 관한 것으로서, 상세하게는 가상공간영상과 영상입력장치에서 촬영된 사용자가 조작하는 실물영상이 일체화되게 하여 사용자가 기기를 조작할 때 이질감을 느끼지 않게 할 수 있을 뿐만 아니라, 시뮬레이션을 통한 장비 조작 기술 습득 효과를 높일 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 관한 것이다.
보다 상세하게 본 발명은 블루스크린을 배경으로 조작수단을 촬영하여 실물영상의 얻되, 블루스크린 내의 영역의 실물영상만을 가상 영상과 결합하여 불필요한 실물영상이 가상공간영상과 합성되지 않게 함으로써 사용자가 시뮬레이션 과정에서 혼란을 일으키지 않고 안정적으로 시뮬레이션에 임할 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 관한 것이다.
시뮬레이션(simulation) 기술은 실제와 같은 모델이나 상태를 만들어 모의적으로 실험하거나 교육을 하는 것으로서, 선박, 항공기 등의 설계, 기업의 경영전략, 각종 경제예측 등에 이용되고 있다.
이러한 시뮬레이션 기술 중 자동차나 비행기의 운전 연습이나 자동차 성능 시험 등을 목적으로 하는 시뮬레이션 기술이 개발되어 사용되고 있고, 그 예로는 특허문헌 1 및 2가 있다.
특허문헌 1은 차량에 탑재되어, 차속, 엔진의 회전수 등의 차량 상태 정보나, 네비게이션 화상 등의 부가 정보를 포함하는 운전 정보를 인패널 화상으로서 표시하는 표시부와, 표시부에 표시하는 인패널 화상의 레이아웃 정보를 작성하는 레이아웃 작성부와, 레이아웃 작성부에 의해 작성된 레이아웃 정보와, 운전 정보에 기초하여 인패널 화상의 레이아웃을 결정하는 정보 처리부를 구비하고, 표시부는, 정보 처리부에 의해 결정된 레이아웃으로 인패널 화상을 표시하므로, 실제의 주행하는 것과 유사한 시뮬레이션을 행할 수 있게 한 것이고,
특허문헌 2는 차량성능 시험운전자의 움직임을 감지하고, 실차환경 차량의 거동을 실시간으로 가상 환경에 적용하는 시뮬레이션부 및 상기 시뮬레이션부와 무선 통신 방식으로, 차량 성능 시험운전자의 거동을 실제 차량에 적용하는 실차환경부로 구성된 차량 시뮬레이션 통합 시스템에 관한 것이다.
이러한 기존의 차량운전 또는 시험을 위한 시뮬레이션 시스템 중에는 HMD(Head mounted display)를 이용한 것이 있고, 이는 사용자가 HMD를 착용한 상태에서 시뮬레이션이 이루어지므로 주변의 다른 사물을 보지 않고 시뮬레이션에만 집중할 수 있는 장점이 있다.
그러나 이러한 기존의 HMD를 이용한 시뮬레이션 시스템은 HMD 영상에서 사용자가 자동차 핸들이나 기어 스틱 등을 조작하는 모습을 보여주지 않거나 보여주더라도 실제 사용자의 행동과는 매우 다르게 디스플레이되어 이질감을 느끼는 문제가 있다. 특히, 자동차 운전 시뮬레이션의 경우 사용자가 HMD를 이용하여 가상 공간을 영상으로 피드백 받는 것만큼 가상공간에서의 자동차 조종 장치와의 상호작용이 이루어져야 하지만, 기존의 시뮬레이션 기술에서는 사용자가 조작하는 핸들이나 기어 등과는 별도로 가상의 핸들이나 기어가 디스플레이됨으로써 사용자가 자동차를 운전할 때 실제 운전하는 것과는 다른 이질감을 느끼게 할 뿐만 아니라, 가상현실에 대한 몰입도를 떨어뜨리는 문제가 있다. 또한 자동차 운전 시뮬레이션의 가장 중요한 목적인 장비 조작 기술의 습득에 대한 효과를 반감시키는 문제가 있다.
1. 대한민국 특허등록 제0842546호 2. 대한민국 특허공개 제2012-0010633호
본 발명은 상기와 같은 문제점을 해소하기 위해 개발된 것으로, 가상현실의 화면과 사용자가 조작하는 기기의 조작 상태의 실물영상이 일치되게 함으로써 시뮬레이션을 통한 가상 체험에서의 이질감을 느끼지 않을 수 있을 뿐만 아니라, 장비 조작 기술 습득 효과를 높일 수 있게 한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 블루스크린을 배경으로 한 실물영상을 HMD의 영상입력장치를 통해서 입력 받고, 실물영상과 가상공간영상을 합성할 때, 블루스크린 밖의 실물영상이 가상공간영상에 합성되는 방지한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 가상공간영상 제작 프로그램에 의해 만들어진 가상공간영상을 이용하여 사용자가 운전 기술을 체험 또는 습득하는 운전 시뮬레이션 시스템에 있어서, 운전에 필요한 조종간, 브레이크 및 가속페달과 계기판을 포함하는 조작수단(10); 상기 조작수단의 전방에 설치되어 하기 영상입력장치에서 촬영되는 조작수단 실제 조작 상황인 실물영상 촬영 영역의 배경을 제공하는 블루스크린(20); 사용자의 머리에 착용 가능하고, 하기 영상입력장치가 일체로 설치된 HMD(30); 상기 HMD의 전면에 설치되어 조작수단을 조작하는 과정을 실시간으로 촬영하고, 촬영된 영상이 실제 사용자의 눈으로 직접 보는 것과 다를 수 있으므로 촬영된 영상의 크기 및 위치를 조정하는 영상입력장치(40); 및 상기 영상입력장치에서 실시간에 촬영되고 조정된 영상을 가상공간영상에 합성하여 사용자에게 제공하는 제어수단(50)을 포함하되,
상기 제어수단에 의해 합성되어 사용자에게 제공되는 영상은 영상입력장치에서 실시간으로 촬영된 실물영상 중 배경영상을 제외한 블루스크린과 겹쳐지는 영역의 실물영상만을 제공함에 의해 실물영상이 가상공간영상에 합성되었을 때 두 영상이 조화를 이룰 수 있고, 불필요한 배경 영상에 의해 사용자가 혼란을 일으키지 않게 한 것이며, 상기 영상입력장치(40)는 조작수단(10)의 일측에 설정된 실물영상기준표식(10p)을 촬영의 기준점으로 하여 초점이 조절되고, 상기 제어수단(50)은 HMD와 일체로 이루어지며, 상기 제어수단(50)은 가상공간영상을 제작하는 가상공간영상 제작 프로그램을 구비하고, 상기 영상입력장치에서 실시간으로 촬영된 실물영상 중 배경영상을 제외한 블루스크린과 겹쳐지는 영역의 좌표는 실물영상영역기준표식이 인식될 때마다 재설정되는 것을 특징으로 한다.
삭제
삭제
상술한 바와 같이, 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 사용자가 조작하는 조작수단이 작동하는 동영상 즉, 실물영상을 가상공간영상과 합성하여 사용자에게 제공함으로써, 실물영상과 가상공간영상이 일체화되어, 사용자가 가상현실과의 상호 작용을 극대화할 수 있는 것이다.
즉, 사용자가 조작수단을 조작하는 실물영상을 가상공간영상에 일체로 결합하여 실시간으로 사용자에게 제공함으로, 사용자는 가상공간 내에 들어가 직접 조작수단을 조작하는 것과 같은 동질감을 느낄 수 있는 것이다.
이렇게 사용자가 조작수단은 조작하는 과정에서 실제 조작되는 조작수단의 움직임과 가상공간이 일체화된 것으로 인식되게 함으로써, 사용자의 가상현실에 대한 몰입을 극대화하여 비행기 조종 시뮬레이션이나 자동차 운전 시뮬레이션 등에서의 장비 조정 기술 습득이 보다 빠르고 정확하게 이루어질 수 있는 효과가 있는 것이다.
도 1은 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템의 블록도
도 2는 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템의 일예의 구성도
도 3은 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에 구비된 HMD의 일예의 사시도
도 4는 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에서 구현되는 실물영상과 가상공간영상의 합성 과정도
도 5는 통상적으로 크로마키 기술을 적용할 때 발생될 수 있는 블루스크린 외부의 실물을 포함하는 촬영영역과 블루스크린 및 실물의 배치도
도 6은 도 5의 촬영영역에서 촬영된 실물영상을 적용한 HMD영상
도 7은 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템에서 실물영상 촬영영역 설정화면
도 8은 도 7의 실물영상 촬영역역 설정 후 HMD영상
도 9는 HMD에서 영상입력장치에서 촬영된 촬영영역 영상과 가상공간영상을 결합하는 과정도
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 사용자가 조작하는 조작수단의 조작과정의 실물영상과 기 설정된 가상공간영상이 일체화되게 하여 사용자가 기기를 조작할 때 이질감을 느끼지 않게 할 수 있을 뿐만 아니라, 시뮬레이션을 통한 장비 조작 기술 습득 효과를 높일 수 있다.
본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 영상입력장치(40)가 일체로 구비된 HMD(30)를 포함한다.
이러한 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 통상의 시뮬레이션 시스템과 동일하게 가상의 환경 영상을 제작하는 가상공간영상제작 프로그램(50p)은 구비하고 있으며, 이 영상제작 프로그램(50p)은 제어수단(50)에 설치되어 상기 영상입력장치(40)에서 촬영된 실시간 조작 영상과 결합된다.
즉, 본 발명의 시뮬레이션시스템은 자동차나 비행기의 운전 또는 공작기계나 의료기계 등과 같은 장치를 조작하는 기술을 익히거나 시험하는 데 사용되는 기술로 다양한 분야에서 사용될 수 있다. 이하에서는 자동차 운전을 시뮬레이션하는 것을 일예로 설명하지만 이에 의해 본 발명의 청구범위를 제한하는 것은 아니다.
이와 같이 소정의 기계나 장치(이하, "장치"라 통칭함)를 조작하기 위해서는 조작수단(10)을 구비하고 있으며, 이 조작수단(10)은 장치의 동작을 제어하는 것이다. 자동차나 비행기의 경우에는 운전에 필요한 조종간, 브레이크 및 가속페달과 계기판을 포함할 수 있다.
이러한 조작수단(10)을 조작할 때, 조작수단이 동작하는 방향이나 정도를 실시간으로 촬영하기 위해 상기한 영상입력장치(40)를 구비하고 있다.
상기 영상입력장치(40)는 도 1 내지 도 3에 도시한 바와 같이 HMD(30)에 일체로 설치되어 HMD를 착용한 상태에서 고개를 돌리면, 사용자의 시야가 향하는 방향에 설치된 조작수단(10)을 촬영하고, 이렇게 촬영된 실시간 영상은 상기 제어수단(50)에 의해 기 생성된 가상공간영상에 합성되어 HMD를 통해 사용자에게 제공된다.
이에 따라 사용자는 자신이 조작하는 조작수단의 조작상태가 가상공간영상에서 어떻게 표시되는 지를 확인할 수 있어 실제 장치를 조작하는 것과 같은 동질감을 느끼게 되는 것이다.
상기 블루스크린(20)은 조작수단(10)의 배경화면 역할을 하는 것으로서, 상기 영상입력장치(40)에 의해 촬영된 실물영상에 배경이 삽입되지 않게 하여, 실물영상이 가상공간영상에 합성되었을 때 두 영상이 조화를 이룰 수 있고, 불필요한 배경 영상에 의해 사용자가 혼란을 일으키지 않게 할 수 있다.
상기 HMD(30)는 전술한 바와 같이, 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치로서 영상입력장치(40)를 구비하고 있다.
상기 영상입력장치(40)는 조작수단(10)을 조작하는 과정을 촬영하기 위한 수단으로, 영상입력장치로부터의 영상이 실제 사용자의 눈으로 직접 보는 것과 다를 수 있으므로 입력 영상의 크기 및 상하좌우 위치를 조정한다.
이러한 영상입력장치(40)는 조작수단(10)의 조작상태를 정확하게 촬영할 수 있도록 조작수단(10)의 일측에 설정된 실물영상기준표식(10p)을 촬영의 기준점으로 하여 초점이 조절되는 것이 바람직하다. 또한, 사용자의 신체구조나 조작수단의 구조에 따라 촬영되는 방향을 조절할 수 있어야함으로 상하, 좌우로 회동 가능하도록 HMD에 설치되는 것이 바람직하며, 이렇게 회동되는 영상입력장치(40)는 상기한 바와 같이 조작수단(10)에 설치된 실물영상기준표식(10p)을 초점으로 자동 정렬이 되게 할 수도 있다.
통상적으로 실물 영역 적용 방법에 있어서, 도 4에 도시한 바와 같이, 블루스크린을 배경으로 한 실물에 대한 HMD에 설치된 영상입력장치(40)의 시야각이 블루스크린을 벗어나는 경우, 즉, 촬영영역(40a)이 블루스크린을 벗어나는 경우 원하지 않는 블루스크린 밖의 불요영역(20o)의 영상이 촬영되고, 이렇게 생성된 실물영상에 크로마키 기술을 적용할 경우 도 6에 도시한 바와 같이 블루스크린 바깥쪽 영상이 HMD영상에 합성될 수 있다.
이러한 단점을 개선하기 위해 본 발명은 도 7에 도시한 바와 같이 가상공간영상과 합성될 수 있는 실물영상영역(10a)을 설정하고, 이 실물영상영역(10a) 내에서 촬영된 실물영상만이 가상공간영상과 결합될 수 있게 하여 도 8에 도시한 바와 같은 HMD영상을 제공할 수 있게 하였다.
즉, 도 7에 도시한 바와 같이, 실물의 특정 부분에 실물영상영역기준표식(10p)를 설치하여 시스템을 시작할 때 HMD(30)가 이를 인식하고, 가상공간영상에서 실물영상영역(10a)의 좌표를 설정할 수 있도록 한다. 실물영상과 가상공간영상을 합성할 때 사전에 설정된 실물영상영역 내의 실물영상만을 합성하여 시야 각이 블루스크린을 벗어나더라도 블루스크린 밖의 실물영상을 합성하지 못하도록 한다. 실물영상영역의 좌표는 실물영상영역기준표식이 인식될 때마다 재설정하여 HMD사용시 누적될 수 있는 위치 오류를 제거하게 하는 것이 바람직하다.
이러한 본 발명에 따른 운전 시뮬레이션시스템에 있어서, 상기한 HMD(30)는 사용자가 바라보는 각도를 측정하는 센서, 일예로 자이로 센서를 구비하여 사용자이 움직임에 반응하여 영상임력장치에서 촬영되는 촬영영역이 달라질 수 있다.
물론, 이러한 HMD(30)는 디스플에이를 구비하여 가상공간영상과 실물영상을 합성한 시뮬레이션 영상을 사용자에게 제공할 수 있다.
상기와 같이 구성된 각각의 구성요소를 제어하기 위한 수단으로 제어수단(50)을 구비하고 있으며, 이 제어수단(50)은 상기 영상입력장치에서 촬영된 실시간 영상을 가상공간영상에 합성하여 HMD(30)을 통해 사용자에게 제공한다.
상기 제어수단(50)에서 영상입력장치에서 촬영된 실시간 실물영상과 가상공간영상을 합성할 때, 상기 영상입력장치(40)의 시각에 들어오는 촬영영역(40v)은 도 7에 도시한 바와 같이 조작수단을 포함하는 일부 주위 사물이지만, 실제로 촬영되어 가상공간영상과 결합될 실물영상은 실물영상역역(10a) 내부의 영상만이 된다.
또한, 사용자가 머리를 움직임에 따라 영상입력장치(40)를 통해 촬영되는 촬영영역(40v)은 변하게 되지만, 기 설정된 실물영상영역(10a) 내부의 영역만이 촬영되어 가상공간영상에 합성되는 것이다. 즉, 영상입력장치의 촬영역역(40v)이 블루스크린과 실물영상영역(10a)을 벗어난 외부영역(20o)을 포함할 경우에는, 외부영역(10o)의 영상을 제거되고, 블루스크린 내부 영역 중 설정된 싱물영상역역(10a)의 영상만을 가상공간영상에 합성하여(도 8 참조), 사용자가 실제로 가상 환경 내에서 조작수단을 조작하는 것과 같은 동질감을 느끼게 할 수 있는 것이다.
상기 제어수단(50)은 도 1 및 도 2에 도시한 바와 별도로 구성될 수 있으나, 바람직하게는 HMD와 일체로 구성하는 것이다.
물론, 상기 제어수단(50)에는 가상의 환경 영상을 제작하는 가상공간영상제작 프로그램(50p)은 구비하고 있고, 영상입력장치에서 촬영된 실시간 영상과 기 제작된 가상공간영상을 합성하기 위한 영상합성부(50m)을 구비하고 있다.
상기 영상제작 프로그램(50p)과 영상합성부(50m)는 모두 프로그램으로 구성된다.
상기와 같이 구성된 본 발명에 따른 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템은 HMD(30)를 사용자의 머리에 착용하되, 영상입력장치(40)가 사용자 미간의 정중앙에 놓이도록 착용한다. 영상입력장치(40)는 실제 눈으로 보는 영상과 일치하도록 Zoom In/Out의 조정이 가능하고, 초점은 상기한 바와 같이, 합성할 실물인 조작수단(10)의 위치와 일치시킨다.
본 발명에서 사용되는 크로마키(chroma key) 기술은 색상 차이를 이용하여 움직이는 피사체를 다른 화면에 합성하는 동영상 화면 합성 기법으로 일기 예보, 선거 방송 등의 프로그램에서 많이 사용되는 기술로서, 영상입력장치(40)에서 입력되는 실물영상을 RGB 신호를 이용하여 그 색(chroma)의 차이를 키(key)로 하여 빼내고 싶은 외부영역(20o)의 촬영영상을 분리하고, 원하는 실물영상만을 가상공간영상에 합성한다. 이러한 크로마키(chroma key) 기술은 이미 잘 알려진 기술로 이에 대한 상세한 설명은 생략한다.
이하 상기와 같이 구성된 본 발명에 따른 MD와 크로마키 기술을 이용한 운전 시뮬레이션시스템을 이용한 실물영상과 가상공간영상을 합성하는 과정을 도 9을 참조하여 설명한다.
먼저, HMD(30)을 착용한 후 영상입력장치(40)의 초점을 조작수단에 구비된 실물영상기준표식(10p)에 맞추어 세팅한다.
시뮬레이션 과정에서 사용자가 머리를 움직이면 HMD에 구비된 센서에 의해 영상입력장치의 초점도 따라 움직이면서 실시간으로 조작수단의 실제 영상을 촬영하게 된다.
이때 영상입력장치(40)의 촬영영역(40v)은 도 7에 도시한 바와 같이 실물(10)과 블루스크린(20) 및 설정된 실물영상영역(10a)을 벗어날 수 있고, 이 상태에서 촬영된 실물영상은 원하지 않는 외부영역(20o)의 영상을 포함하게 된다.
제어수단은 촬영된 실물영상 중 설정된 실물영상영역(10a)을 벗어난 외부영역(20o)의 영상을 제외한 영상만을 가상공간영상에 결합한다.(도 8 참조)
이에 따라 사용자가 착용한 HMD를 통해 제공되는 영상은 도 8에 도시한 바와 같이, 실물영상영역 내의 실물영상과 가상공간영상이 합성된 영상이 제공되는 것이다.
즉, 실물영상과 가상공간영상을 합성할 때에는, 사전에 설정된 실물영상영역 내의 촬영영역에서 촬영된 실물영상만을 합성함으로써, 시야각이 실물영상영역을 벗어나더라도 외부영역의 실물영상을 가상공간영상에 합성하지 못하게 되는 것이다. 실물영상의 촬영영역 좌표는 실물영상영역기준 표식(10p)이 인식될 때마다 재설정되게 함으로써 HMD 사용 시 누적될 수 있는 위치 오류를 제거할 수 있다.
10: 실물
10v: 합성실물영상 10p: 실물영상기준표식
20: 블루스크린
30: HMD 30v: 가상공간영상
40: 영상입력장치 40v: 촬영영역
50: 제어수단
50m: 영상합성부 50p: 가상영상제작 프로그램

Claims (5)

  1. 가상공간영상 제작 프로그램에 의해 만들어진 가상공간영상을 이용하여 사용자가 운전 기술을 체험 또는 습득하는 운전 시뮬레이션 시스템에 있어서,
    운전에 필요한 조종간, 브레이크 및 가속페달과 계기판을 포함하는 조작수단(10);
    상기 조작수단의 전방에 설치되어 하기 영상입력장치에서 촬영되는 조작수단 실제 조작 상황인 실물영상 촬영 영역의 배경을 제공하는 블루스크린(20);
    사용자의 머리에 착용 가능하고, 하기 영상입력장치가 일체로 설치된 HMD(30);
    상기 HMD의 전면에 설치되어 조작수단을 조작하는 과정을 실시간으로 촬영하고, 촬영된 영상이 실제 사용자의 눈으로 직접 보는 것과 다를 수 있으므로 촬영된 영상의 크기 및 위치를 조정하는 영상입력장치(40); 및
    상기 영상입력장치에서 실시간에 촬영되고 조정된 영상을 가상공간영상에 합성하여 사용자에게 제공하는 제어수단(50)을 포함하되,
    상기 제어수단에 의해 합성되어 사용자에게 제공되는 영상은 영상입력장치에서 실시간으로 촬영된 실물영상 중 배경영상을 제외한 블루스크린과 겹쳐지는 영역의 실물영상만을 제공함에 의해 실물영상이 가상공간영상에 합성되었을 때 두 영상이 조화를 이룰 수 있고, 불필요한 배경 영상에 의해 사용자가 혼란을 일으키지 않게 한 것이며,
    상기 영상입력장치(40)는 조작수단(10)의 일측에 설정된 실물영상기준표식(10p)을 촬영의 기준점으로 하여 초점이 조절되고,
    상기 제어수단(50)은 HMD와 일체로 이루어지며,
    상기 제어수단(50)은 가상공간영상을 제작하는 가상공간영상 제작 프로그램을 구비하고,
    상기 영상입력장치에서 실시간으로 촬영된 실물영상 중 배경영상을 제외한 블루스크린과 겹쳐지는 영역의 좌표는 실물영상영역기준표식이 인식될 때마다 재설정되는 것을 특징으로 하는 HMD와 크로마키 기술을 이용한 운전 시뮬레이션시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020150019623A 2015-02-09 2015-02-09 Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템 KR101772431B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150019623A KR101772431B1 (ko) 2015-02-09 2015-02-09 Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150019623A KR101772431B1 (ko) 2015-02-09 2015-02-09 Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템

Publications (2)

Publication Number Publication Date
KR20160097658A KR20160097658A (ko) 2016-08-18
KR101772431B1 true KR101772431B1 (ko) 2017-08-30

Family

ID=56874162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150019623A KR101772431B1 (ko) 2015-02-09 2015-02-09 Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템

Country Status (1)

Country Link
KR (1) KR101772431B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205273A (zh) * 2016-09-20 2016-12-07 山西省交通科学研究院 一种基于vr模拟技术的汽车驾驶模拟系统及方法
KR102269100B1 (ko) * 2021-04-02 2021-06-23 이영훈 가상현실을 이용한 러시아어 운전 면허 시험용 운전교육 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400969B2 (ja) * 2000-02-25 2003-04-28 川崎重工業株式会社 4輪車運転シミュレータ
JP2007102079A (ja) * 2005-10-07 2007-04-19 Nikon Corp 映像表示システム
KR101279869B1 (ko) * 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070294073A1 (en) 2004-08-24 2007-12-20 Sharp Kabushiki Kaisha Simulation Device, Simulation Program, and Simulation Method
KR20120010633A (ko) 2010-07-22 2012-02-06 자동차부품연구원 차량 시뮬레이션 통합 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400969B2 (ja) * 2000-02-25 2003-04-28 川崎重工業株式会社 4輪車運転シミュレータ
JP2007102079A (ja) * 2005-10-07 2007-04-19 Nikon Corp 映像表示システム
KR101279869B1 (ko) * 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법

Also Published As

Publication number Publication date
KR20160097658A (ko) 2016-08-18

Similar Documents

Publication Publication Date Title
US10081370B2 (en) System for a vehicle
KR101544524B1 (ko) 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US10096166B2 (en) Apparatus and method for selectively displaying an operational environment
US20130162639A1 (en) Method And System For Generating Augmented Reality With A Display Of A Motor Vehicle
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
RU2019131365A (ru) Система и способ управления дополненными аттракционами для катания
KR101850028B1 (ko) 가상 여행 체험 장치 및 그 방법
WO2014198552A1 (de) System und verfahren zum überwachen und/oder bedienen einer technischen anlage, insbesondere eines fahrzeugs
KR102188313B1 (ko) Vr을 이용한 다기종 비행 훈련 시뮬레이터
US7782320B2 (en) Information processing method and information processing apparatus
CN107850944A (zh) 在机动车辆中运行数据眼镜的方法以及带有数据眼镜的系统
CN107615759B (zh) 头戴式显示器、显示控制方法以及程序
US20190156586A1 (en) Virtual reality system using mixed reality and implementation method thereof
US20180182261A1 (en) Real Time Car Driving Simulator
KR20170005971A (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
EP2631728A2 (en) Methods and apparatus for dynamically simulating a remote audiovisual environment
DE102016120999B4 (de) Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug
WO2019042778A1 (de) Augmented-reality-brille, verfahren zum bestimmen einer pose einer augmented-reality-brille, zur nutzung der augmented-reality-brille oder des verfahrens geeignetes kraftfahrzeug
KR101772431B1 (ko) Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템
CN116110270A (zh) 一种基于混合现实的多自由度驾驶模拟器
KR102605318B1 (ko) 머리에 착용될 수 있는 전자 디스플레이 장치를 작동하기 위한 방법, 및 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템
KR101892238B1 (ko) Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법
CN110796116A (zh) 多面板显示系统、具有多面板显示系统的车辆及显示方法
KR20200058872A (ko) Hmd 기반의 크로마키 기술을 적용한 몰입형 비행전술 시뮬레이터 영상시스템

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant