KR20160095614A - Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법 - Google Patents

Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR20160095614A
KR20160095614A KR1020160007600A KR20160007600A KR20160095614A KR 20160095614 A KR20160095614 A KR 20160095614A KR 1020160007600 A KR1020160007600 A KR 1020160007600A KR 20160007600 A KR20160007600 A KR 20160007600A KR 20160095614 A KR20160095614 A KR 20160095614A
Authority
KR
South Korea
Prior art keywords
image
user
hand
panel
virtual
Prior art date
Application number
KR1020160007600A
Other languages
English (en)
Other versions
KR101892238B1 (ko
Inventor
이지선
류제규
Original Assignee
(주)이노시뮬레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이노시뮬레이션 filed Critical (주)이노시뮬레이션
Publication of KR20160095614A publication Critical patent/KR20160095614A/ko
Application granted granted Critical
Publication of KR101892238B1 publication Critical patent/KR101892238B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 HMD를 이용한 시뮬레이션 시스템 및 그 제어방법에 관한 것으로서, 가상의 조작 패널이 포함된 가상 환경 영상을 표시하는 영상 표시부를 포함하는 헤드 마운드 디스플레이(HMD); 블루 스크린상에서 수행되는 사용자의 손동작을 촬영하는 카메라; 상기 카메라로 촬영된 영상에서 상기 사용자의 손동작을 인식하여 상기 가상의 조작 패널에 대해 상기 사용자 손의 위치와 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 촬영 영상 분석부; 상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하고 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하는 가상환경 영상 생성부; 및 상기 카메라로 입력된 상기 사용자의 손동작에 따라, 상기 사용자의 손 영상이 합성된 패널 영상과 상기 사용자의 손동작에 따라 시뮬레이션된 상기 주행 영상을 생성하여 상기 헤드 마운트 디스플레이에 상기 가상 환경 영상이 표시되도록 제어하는 제어부를 포함한다. 이에 의해, HDM를 이용한 시뮬레이션 시스템 및 그 제어방법에 따르면, 운전자의 시야를 가리는 HMD를 이용하여도 조작 패널에 접근하여 시뮬레이션 환경을 구현할 수 있다.

Description

HMD를 이용한 시뮬레이션 시스템 및 그 제어방법{SYSTEM AND METHOD FOR REMOTE SIMULATING VEHICLES USING HEAD MOUNTED DISPLA}
본 발명은 헤드 마운티드 디스플레이(HMD : Head Mounted Display)를 이용한 시뮬레이션 시스템 및 그 제어방법에 관한 것으로서, 보다 상세하게는, 사용자의 시선에 따른 주행 배경 시뮬레이션 화면 및 제어 패널 화면을 실제 주행환경에 최대한 가깝게 시뮬레이션시킬 수 있는 HMD를 이용한 시뮬레이션 시스템 및 그 제어방법에 관한 것이다.
통상적으로 자동차, 비행기 및 열차와 같은 교통수단의 발전으로 인하여 사용자 편의성이 매우 증가하고 있으나, 이들 교통수단을 운전 또는 운행하기 위해서는 일정한 테스트를 거치는 운전자를 훈련시켜야 한다.
특히 비행기나 열차의 경우 탑승객을 대량으로 운송시킬 수 있는데, 숙련되지 않은 경우 사고가 발생하면 대량의 인명피해가 발생할 수 있으므로 운전자 훈련은 일반 자동차의 경우보다 더 고도의 훈련이 필요하게 된다.
이에 따라, 비숙련된 운전 교육생을 훈련시키기 위한 다양한 교육 프로그램을 구비하고 있으며, 실제 자동차, 비행기 및 열차에 탑승하지 않고도 이들 운전 환경을 최대한 모사하여 실습할 수 있는 시뮬레이션 장치가 많이 제시되고 있다.
이러한 시뮬레이션 장치는 실제 운행환경을 최대한 모사할 수 있기 때문에 운전 교육생에 대한 교육효과가 뛰어나 최근에는 점점 다양한 분야에서 시뮬레이션 장치가 보급되고 있다.
도 1은 종래 시뮬레이션 시스템을 나타낸 도면이다.
도 1을 참조하면, 종래 시뮬레이션 시스템(10)은 운행시 전방 및 배경 화면이 디스플레이되는 디스플레이부(1) 및 운전자가 운행 및 차량운행 조건을 제어하는 조작 패널(계기판)(5)이 구비된다.
조작 패널(5)에는 실제 시뮬레이션 대상인 자동차, 열차 또는 비행기의 조작 패널과 동일한 환경이 조성되어, 실제 운행제어를 위한 조작을 연습할 수 있게 한다.
디스플레이부(1)에는 실제 운행 시 운전자에게 보여지는 주변 환경이 표시된다.
시뮬레이션 시스템(10)에서 운전자가 디스플레이부(1)에 표시된 주변 환경에 대응하여 조작 패널(5)을 조작하면, 시뮬레이션 시스템(10)은 변경된 운행 조건에 따라 주변 환경의 변화를 시뮬레이션하여 디스플레이부(1)에 표시한다. 이에, 사용자는 디스플레이부(10)에 표시되는 화면의 속도감 및 거리감의 변화를 통해 실제 운행중인 것과 유사한 경험을 얻을 수 있다.
이러한 종래 시뮬레이션 시스템(10)은 실제 상황과 근접한 운전 환경을 구현하기 위해 하나의 디스플레이부(1)에 일 방향의 환경 변화만을 표시한다. 따라서, 운전자의 넓은 시야각을 확보할 수 있는 시뮬레이션 환경을 구현하는 데에 한계가 있다.
이에, 복수개의 디스플레이 혹은 프로젝션을 설치하여 여러 방향의 시야를 표시하는 경우도 있으나, 디스플레이의 개수가 증가하는 경우 시뮬레이션 시스템의 제작비 및 유지관리비가 증가하고 구비된 디스플레이만큼의 설치 공간도 확보해야 하는 문제점이 있다.
또한, 복수의 디스플레이부를 이용하는 경우, 각 디스플레이부 간 베젤로 에 의한 자연스런 영상 구현이 어려울 뿐만 아니라, 디스플레이부(1)에 레스터라이징되어서 출력되는 영상이 입체감이 없어서 속도감 및 거리감이 현실과 많이 다르다는 문제점이 있다.
이러한 문제를 해결하기 위하여, 사용자가 고글처럼 착용할 수 있는 HMD(Head Mounted Display)를 이용한 시뮬레이션 시스템이 제안된 바 있다.
그러나, HMD를 이용한 시뮬레이션 시스템은 가상 환경을 보기 위해 HMD를 착용하는 경우 사용자의 시야를 모두 가리게 되므로 조작 패널을 확인할 수 없다는 문제점이 있다.
한국 등록특허 제10-1279869호: 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 운전자의 시야를 가리는 HMD를 이용하여도 조작 패널에 접근하여 시뮬레이션 환경을 구현할 수 있는 HMD를 이용한 시뮬레이션 시스템 및 그 제어방법을 제공하는데 그 기술적 과제가 있다.
상술한 과제를 해결하기 위한 본 발명에 따르면, 가상의 조작 패널이 포함된 가상 환경 영상을 표시하는 영상 표시부를 포함하는 헤드 마운드 디스플레이(HMD); 특정색의 스크린상에서 수행되는 사용자의 손동작을 촬영하는 카메라; 상기 카메라로 촬영된 영상에서 상기 사용자의 손동작을 인식하여 상기 가상의 조작 패널에 대해 상기 사용자 손의 위치와 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 촬영 영상 분석부; 상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하고 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하는 가상환경 영상 생성부; 및 상기 카메라로 입력된 상기 사용자의 손동작에 따라, 상기 사용자의 손 영상이 합성된 패널 영상과 상기 사용자의 손동작에 따라 시뮬레이션된 상기 주행 영상을 생성하여 상기 헤드 마운트 디스플레이에 상기 가상 환경 영상이 표시되도록 제어하는 제어부;를 포함하는 HMD를 이용한 시뮬레이션 시스템이 제공된다.
여기서, 상기 HMD는 상기 사용자의 움직임을 감지하는 사용자 감지센서를 포함하고, 상기 제어부는 상기 사용자 감지센서의 감지 결과에 따라 상기 사용자의 시서선에 대응되는 상기 가상환경 영상을 제공할 수 있다.
그리고, 상기 촬영 영상 분석부는, 상기 사용자 손의 위치와 상기 사용자의 손동작에 의해 상기 가상의 조작 패널 상에서 선택된 버튼 또는 레버를 판단하여 상기 가상의 조작 패널에 대한 사용자 입력을 판단할 수 있다.
그리고, 상기 가상환경 영상 생성부는, 상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하는 패널 영상 생성부; 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하는 주행 영상 생성부; 및 상기 패널 영상과 상기 주행 영상을 합성하여 가상 환경 영상을 생성하는 영상 합성부; 를 포함할 수 있다.
여기서, 상기 영상 합성부는, 상기 HMD의 영상 표시부의 상단에 상기 주행 영상이 표시되고 하단에 상기 패널 영상이 표시되도록 상기 가상 환경 영상을 생성할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따르면, 헤드 마운드 디스플레이(HMD)에 가상의 조작 패널이 포함된 가상 환경 영상을 표시하는 단계; 특정색의 스크린상에서 상기 가상의 조작 패널에 대해 수행되는 사용자의 손동작을 촬영하는 단계; 상기 카메라로 촬영된 영상에서 상기 사용자의 손동작을 인식하여 상기 가상의 조작 패널에 대해 상기 사용자 손의 위치와 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 단계; 상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하고 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하여 가상 환경 영상을 생성하는 단계; 및 상기 가상 환경 영상을 상기 HMD에 표시하는 단계;를 포함하는 HMD를 이용한 시뮬레이션 시스템의 제어방법이 제공된다.
여기서, 상기 사용자의 움직임을 감지하는 단계를 더 포함하고; 상기 가상 환경 영상을 상기 HMD에 표시하는 단계는, 상기 사용자의 움직임에 따라 상기 사용자의 시선에 대응되는 가상 환경 영상을 표시하는 단계를 포함할 수 있다.
그리고, 상기 카메라로 촬영된 영상에서 상기 사용자의 손동작을 인식하여 상기 가상의 조작 패널에 대해 상기 사용자 손의 위치와 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 단계는, 상기 사용자 손의 위치와 상기 사용자의 손동작에 의해 상기 가상의 조작 패널 상에서 선택된 버튼 또는 레버를 판단하여 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 단계를 포함할 수 있다.
그리고, 상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하고 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하여 가상 환경 영상을 생성하는 단계는, 상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하는 단계; 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하는 단계; 및 상기 패널 영상과 상기 주행 영상을 합성하여 가상 환경 영상을 생성하는 단계를 포함할 수 있다.
여기서, 상기 패널 영상과 상기 주행 영상을 합성하여 가상 환경 영상을 생성하는 단계는, 상기 HMD의 영상 표시부의 상단에 상기 주행 영상이 표시되고 하단에 상기 패널 영상이 표시되도록 상기 가상 환경 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 HDM를 이용한 시뮬레이션 시스템 및 그 제어방법에 따르면, 운전자의 시야를 가리는 HMD를 이용하여도 조작 패널에 접근하여 시뮬레이션 환경을 구현할 수 있다.
도 1은 종래 시뮬레이션 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 HMD를 이용한 시뮬레이션 시스템의 사용 상태도이다.
도 3은 본 발명의 실시예에 따른 HMD를 이용한 시뮬레이션 시스템의 제어 블럭도이다.
도 4는 도 3의 가상환경 영상 생성부의 제어 블럭도이다.
도 5는 본 발명의 실시예에 따른 HMD를 이용한 시뮬레이션 시스템의 제어 흐름도이다.
도 6 내지 도 8은 본 발명의 시뮬레이션 화면을 예시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 2는 본 발명의 실시예에 따른 HMD(Head Mounted Display)를 이용한 시뮬레이션 시스템(100)의 사용 상태도이다.
본 발명의 HMD를 이용한 시뮬레이션 시스템(100)은 운행 시의 주행 영상과 운전 조작을 위한 패널 영상이 디스플레이되는 HMD(150) 및 운행 조건을 제어하는 사용자의 손동작을 촬영하는 카메라(130)를 포함하며, 손동작의 인식도를 높이기 위한 특정색의 스크린(120)을 포함할 수 있다.
두 개의 영상을 합성하는 기술로서 크로마 키(Chroma Key)라는 기술이 사용되는데 두 개의 영상이 있으면 어느 하나의 영상으로부터 좁은 범위의 색을 제거하거나 투명하게 만들어서 뒤의 영상이 비치게 할 수 있는데, 이러한 기술을 컬러 키, 색 분리 오버레이, 그린 스크린 또는 블루 스크린이라고도 한다.
이하에서는, 크로마 키 기술을 이용하여 영상을 합성할 때 사용하는 것을 블루 스크린으로 하여 설명한다.
블루 스크린(120)은 가상의 조작 패널을 구현하기 위한 것으로서, 사용자가 착석하기 위한 착석부가 설치되는 본체(B)에 사용자가 손으로 제어하는 경험을 할 수 있는 위치에 설치된다. 즉, 사용자가 손으로 시뮬레이션 대상인 자동차, 열차 또는 비행기의 실제 조작 패널이 설치되는 위치에 설치되어, 사용자가 손을 뻗거나 회동시켜 조작 패널의 여러 조작 버튼 또는 레버를 작동시키는 조작 패널과 동일한 위치에 설치된다.
카메라(130)는 본체(B) 또는 HMD(150)에 설치되어 블루 스크린(120) 영역을 촬영한다. 이에, 블루 스크린(120) 상에서 사용자가 마치 조작 패널을 제어하기 위하여 손을 움직이거나 이동시키는 손동작을 촬영할 수 있다.
HMD(150)는 사용자의 두부에 장착되어 가상 환경 영상을 디스플레이한다. 가상 환격 영상은 가상 패널의 영상과 운행 시의 주행 영상을 포함한다. 여기서, 패널 영상에는 카메라(130)로 촬영된 사용자의 손의 영상이 반영되어 사용자는 실제 조작 패널을 조작하는 것과 같은 현실감을 느낄 수 있다.
이러한 구성에 따라, 본 발명의 HMD(150)를 이용한 시뮬레이션 시스템(100)은 HMD(150)를 통해 제공되는 패널 영상을 보고 블루 스크린(120)상에서 조작 동작을 수행하는 사용자의 손동작을 카메라(130)로 촬영하여 HMD(150)에 패널을 조작하는 사용자의 손 영상을 제공함으로써, 실제 패널을 조작하고 있는 것과 같은 현실감을 제공할 수 있다. 또한, 촬영된 사용자의 손동작을 인식하여 사용자가 선택한 패널의 입력을 판단하고, 사용자의 패널 입력에 따라 시뮬레이션한 주행 영상을 HMD(150)를 통해 사용자에게 피드백할 수 있다.
도 3은 본 발명의 실시예에 따른 HMD를 이용한 시뮬레이션 시스템(100)의 제어 블럭도이다.
HMD를 이용한 시뮬레이션 시스템(100)은, 블루 스크린(120) 상에서 수행되는 사용자의 손동작을 촬영하는 카메라(130), HMD(150)에 구비되어 사용자의 움직임을 감지하는 사용자 감지센서(151), 촬영된 영상에서 사용자의 손동작을 인식하여 사용자 입력을 판단하는 촬영 영상 분석부(170), 사용자의 손 영상이 합성된 패널 영상과 사용자 입력에 따른 주행 영상을 포함하는 가상환경 영상을 생성하는 가상환경 영상 생성부(200), HMD(150)에 구비되어 가상 환경 영상을 디스플레이하는 영상 표시부(152)를 포함한다.
카메라(130)는 본체(B) 또는 HMD(150)에 설치되어 블루 스크린(120) 영역을 촬영하고 촬영된 영상을 제어부(110)에 전달한다. 카메라(130)는 블루 스크린(120) 상에서 사용자가 마치 조작 패널을 제어하기 위하여 손을 움직이거나 이동시키는 손동작을 촬영할 수 있다.
HMD(150)에 구비된 사용자 감지센서(151)는 사용자 움직임을 감지한다. 사용자 감지센서(151)는 HMD(150)를 착용한 사용자 두부의 위치, 방향, 회전, 기울임, 움직임 속도, 사용자의 시선 방향 등을 감지할 수 있다. 이에, 제어부(110)는 사용자의 움직임에 따라 양안에 맞춰 영상을 표시할 수 있다.
HMD(150)에 구비된 영상 표시부(152)는 제어부(110)가 제공하는 가상 환경 영상을 표시한다. 이러한 영상 표시부(152)로는, LED 디스플레이나 LCD 디스플레이 등이 적용될 수 있으며, 보다 바람직하게는 입체적인 영상을 표현할 수 있도록 스테레오 타입으로 하여 디스플레이하는 것도 바람직하다.
촬영 영상 분석부(170)는 카메라(130)를 통해 촬영된 사용자의 손동작 영상을 분석하여 손의 위치와 동작을 인식한다. 촬영 영상 분석부(170)는 촬상된 영상으로부터 사용자 손을 인식하여 가상의 조작 패널 상에서의 사용자의 손의 위치 및 동작을 판단한다. 촬영 영상 분석부(170)는 분석 결과에 따라 사용자의 손의 위치 및 동작에 의해 선택된 패널의 버튼이나 레버를 판단하여 판단 결과를 제어부(110)에 전달한다.
가상 환경 영상 생성부(200)는 촬영 영상 분석부(170)에서 판단된 사용자의 손의 위치와 사용자의 패널 입력을 반영하여 가상 환경 영상을 생성하고, 생성된 가상 환경 영상을 HMD(150)의 영상 표시부(152)로 제공한다. 가상 환경 영상 생성부(200)는 촬영 영상 분석부(170)의 판단 결과에 따라 가상의 조작 패널 상에 사용자의 손의 위치 및 동작을 반영하여 조작 패널을 조작하는 사용자의 손 영상을 제공한다. 또한, 가상 환경 영상 생성부(200)는 사용자 동작에 의해 선택된 패널 입력에 따라 시뮬레이션하여 주행 영상을 생성한다. 이러한 가상 환경 영상 생성부(200)의 구성을 도 4를 참조하여 상세히 설명한다.
도 4를 참조하면, 가상 환경 영상 생성부(200)는, 가상의 조작 패널 영상을 생성하는 패널 영상 생성부(210), 주행 영상을 생성하는 주행 영상 생성부(220), 패널 영상과 주행 영상을 합성하여 가상 환경 영상을 생성하는 영상 합성부(230) 및 생성된 가상 환경 영상을 영상 표시부(152)에 표시 가능한 영상 신호로 처리하는 영상신호 처리부(240)를 포함한다.
패널 영상 생성부(210)는 사용자가 시뮬레이션 중인 가상의 조작 패널에 카메라(130)로 촬영된 사용자의 손 영상을 실시간으로 합성하여 패널을 조작중인 사용자의 손 영상을 생성한다.
주행 영상 생성부(220)는 운행 조건에 따라 주변 환경의 변화를 시뮬레이션하여 주행 영상을 생성한다. 주행 영상 생성부(220)는 사용자의 손 영상 분석 결과에 따라 선택된 패널 입력을 시뮬레이션하여 주행 영상을 생성한다.
영상 합성부(230)는 패널 영상과 주행 영상을 합성하여 실제 운행환경을 최대한 모사할 수 있는 가상 환경 영상을 생성한다. 이에, 사용자는 가상 환경 영상에 기초하여 운행 조건을 조작하고 주행 영상의 속도감 및 거리감의 변화를 통해 실제 운행중인 것과 유사한 경험을 얻을 수 있다.
영상신호 처리부(240)는 영상 합성부(230)에서 합성된 가상 환경 영상을 영상 표시부(152)에 표시가능한 디지털 신호로 변환하여 영상신호를 생성한다.
제어부(110)는 가상 환경 영상 생성부(200)에서 생성된 영상신호를 HMD(150)의 영상 표시부(152)에 제공하여 시뮬레이션 화면을 제공한다.
도 5는 본 발명의 실시예에 따른 HMD(150)를 이용한 시뮬레이션 시스템(100)의 제어 흐름도이다.
사용자는 HMD(150)를 두부에 장착하고 본체(B)에 설치된 착석부에 착석하여 시뮬레이션 시스템(100)을 이용할 수 있다. 시뮬레이션 시스템(100)이 구동하여 시뮬레이션이 시작되면(S110), 제어부(110)는 HMD(150)의 영상 표시부(152)에 도 6에 도시된 바와 같이 가상 환경 영상이 표시되도록 제어한다(S120). 사용자가 고개를 돌려 옆을 보게 되면 사용자 감지센서(151)가 이를 감지하여 사용자의 시선 방향을 판단하고, 제어부(110)는 가상 환경 영상 생성부(200)를 통해 사용자의 시선 방향에 대응되는 가상 환경 영상을 생성하여 영상 표시부(152)에 표시할 수 있다. 도 6을 참조하면, 가상 환경 영상은 가상의 조작 패널(VP)의 영상과 운행 시의 주행 영상(SD)을 포함할 수 있다. 가상의 조작 패널(VP)은 시뮬레이션 대상인 자동차, 열차 또는 비행기의 실제 조작 패널과 동일하게 표시될 수 있다. 이에, 사용자는 블루 스크린(120)상에서 가상의 조작 패널(VP)을 조작하는 손동작을 수행할 수 있다.
제어부(110)는 카메라(130)를 제어하여 블루 스크린(120) 상에서 사용자가 조작 패널(VP)을 제어하기 위하여 손을 움직이거나 이동시키는 손동작을 촬영한다(S130).
제어부(110)는 카메라(130)에서 촬영된 사용자의 손의 영상을 촬영 영상 분석부(170)에 제공하여 사용자의 손동작을 인식한다(S140). 촬영 영상 분석부(170)는 촬상된 영상으로부터 사용자 손을 인식하여 가상의 조작 패널(VP) 상에서의 사용자의 손의 동작을 판단하여 제어부(110)에 전달한다.
제어부(110)는 가상 환경 영상 생성부(200)를 통해 사용자의 손의 영상을 가상의 조작 패널(VP)의 영상에 합성하여 영상 표시부(152)에 표시한다(S150). 이에, 사용자는 실제 패널을 조작하고 있는 것과 같은 현실감을 느낄 수 있다.
사용자가 패널 조작을 위한 손동작을 취하는 경우 촬영 영상 분석부(170)는 가상의 조작 패널(VP) 상에서의 사용자의 손의 위치 및 동작에 의해 선택된 패널의 버튼이나 레버를 판단하고 판단 결과를 제어부(110)에 전달한다. 이에, 제어부(110)는 사용자의 패널 입력을 인식할 수 있다(S160).
제어부(110)는 사용자의 패널 입력에 따라 가상 환경 영상 생성부(200)를 통해 주행 영상을 시뮬레이션하고(S170), 시뮬레이션 결과를 영상 표시부(152)에 표시한다(S180).
이러한 구성에 따라, 본 발명의 HMD(150)를 이용한 시뮬레이션 시스템(100)은 HMD(150)를 통해 제공되는 패널 영상을 보고 블루 스크린(120)상에서 조작 동작을 수행하는 사용자의 손동작을 카메라(130)로 촬영하여 HMD(150)에 패널을 조작하는 사용자의 손 영상을 제공함으로써, 실제 패널을 조작하고 있는 것과 같은 현실감을 제공할 수 있다. 또한, 촬영된 사용자의 손동작을 인식하여 사용자가 선택한 패널의 입력을 판단하고, 사용자의 패널 입력에 따라 시뮬레이션한 주행 영상을 HMD(150)를 통해 사용자에게 피드백할 수 있다.
도 7은 본 발명의 시뮬레이션 화면을 예시한 도면으로서, 사용자의 손 영상을 패널 영상과 합성하여 표시하는 S150 단계에서 표시되는 화면을 예시한 것이다.
사용자는 HMD(150)를 통해 제공되는 패널 영상을 보고 블루 스크린(120)상에서 조작 동작을 수행할 수 있다. 이에, 카메라(130)는 블루 스크린(120) 상에서 사용자가 마치 조작 패널을 제어하기 위하여 손을 움직이거나 이동시키는 손동작을 촬영할 수 있다.
가상 환경 영상 생성부(200)는 촬영된 사용자의 손동작 영상을 가상의 조작 패널(VP)의 영상에 실시간으로 합성하여 표시한다. 이에, HMD(150)에 표시되는 조작 패널(VP)의 영상에는 카메라(130)로 촬영된 사용자의 손의 영상이 반영되어 사용자는 실제 조작 패널을 조작하는 것과 같은 현실감을 느낄 수 있다.
도 8은 본 발명의 시뮬레이션 화면을 예시한 도면으로서 사용자의 조작에 따른 HMD(150)에 표시되는 시뮬레이션 화면을 예시한 것이다.
HMD(150)의 영상 표시부(152)에는 사용자의 시선 방향에 대응되는 주행 화면(SD)과 가상의 조작 패널(VP)이 표시될 수 있다. 가상의 조작 패널(VP)은 시뮬레이션 대상인 자동차, 열차 또는 비행기의 실제 조작 패널과 동일하게 표시될 수 있다. 이에, 사용자는 블루 스크린(120)상에서 가상의 조작 패널(VP)을 조작하는 손동작을 수행할 수 있다.
사용자가 가상의 조작 패널(VP)을 이용하여 블루 스크린(120)상에서 조작 동작을 수행하면, 사용자의 손동작을 카메라(130)로 촬영하여 HMD(150)에 패널을 조작하는 사용자의 손 영상이 실시간으로 제공된다.
또한, 촬영된 사용자의 손동작을 인식하여 사용자가 선택한 패널의 입력을 판단하고, 사용자의 패널 입력에 따라 시뮬레이션한 주행 화면(SD)을 HMD(150)를 통해 사용자에게 피드백할 수 있다.
이에, 사용자는 조작 패널을 조작하는 자신의 손을 가상의 조작 패널(VP) 위에서 실시간으로 파악하고, 패널 조작에 따른 주행 화면(SD)을 시각적으로 확인함으로써 실제 패널을 조작하고 있는 것과 같은 현실감을 느낄 수 있다.
이상의, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 시뮬레이션 시스템 110 : 제어부
120 : 블루 스크린 130 : 카메라
150 : HMD(Head Mounted Display) 151 : 사용자 감지센서
152 : 영상 표시부 170 : 촬영 영상 분석부
200 : 가상 환경 영상 생성부 210 : 패널 영상 생성부
220 : 주행 영상 생성부 230 : 영상 합성부
240 : 영상신호 처리부

Claims (10)

  1. 가상의 조작 패널이 포함된 가상 환경 영상을 표시하는 영상 표시부를 포함하는 헤드 마운드 디스플레이(HMD);
    특정색의 스크린상에서 수행되는 사용자의 손동작을 촬영하는 카메라;
    상기 카메라로 촬영된 영상에서 상기 사용자의 손동작을 인식하여 상기 가상의 조작 패널에 대해 상기 사용자 손의 위치와 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 촬영 영상 분석부;
    상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하고 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하는 가상환경 영상 생성부; 및
    상기 카메라로 입력된 상기 사용자의 손동작에 따라, 상기 사용자의 손 영상이 합성된 패널 영상과 상기 사용자의 손동작에 따라 시뮬레이션된 상기 주행 영상을 생성하여 상기 헤드 마운트 디스플레이에 상기 가상 환경 영상이 표시되도록 제어하는 제어부;
    를 포함하는 HMD를 이용한 시뮬레이션 시스템.
  2. 제1항에 있어서,
    상기 HMD는 상기 사용자의 움직임을 감지하는 사용자 감지센서를 포함하고,
    상기 제어부는 상기 사용자 감지센서의 감지 결과에 따라 상기 사용자의 시선에 대응되는 상기 가상환경 영상을 제공하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템.
  3. 제1항에 있어서,
    상기 촬영 영상 분석부는,
    상기 사용자 손의 위치와 상기 사용자의 손동작에 의해 상기 가상의 조작 패널 상에서 선택된 버튼 또는 레버를 판단하여 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템.
  4. 제1항에 있어서,
    상기 가상환경 영상 생성부는,
    상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하는 패널 영상 생성부;
    상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하는 주행 영상 생성부; 및
    상기 패널 영상과 상기 주행 영상을 합성하여 가상 환경 영상을 생성하는 영상 합성부;
    를 포함하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템.
  5. 제4항에 있어서,
    상기 영상 합성부는,
    상기 HMD의 영상 표시부의 상단에 상기 주행 영상이 표시되고 하단에 상기 패널 영상이 표시되도록 상기 가상 환경 영상을 생성하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템.
  6. 헤드 마운드 디스플레이(HMD)에 가상의 조작 패널이 포함된 가상 환경 영상을 표시하는 단계;
    특정색의 스크린상에서 상기 가상의 조작 패널에 대해 수행되는 사용자의 손동작을 촬영하는 단계;
    상기 카메라로 촬영된 영상에서 상기 사용자의 손동작을 인식하여 상기 가상의 조작 패널에 대해 상기 사용자 손의 위치와 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 단계;
    상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하고 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하여 가상 환경 영상을 생성하는 단계; 및
    상기 가상 환경 영상을 상기 HMD에 표시하는 단계;
    를 포함하는 HMD를 이용한 시뮬레이션 시스템의 제어방법.
  7. 제6항에 있어서,
    상기 사용자의 움직임을 감지하는 단계를 더 포함하고;
    상기 가상 환경 영상을 상기 HMD에 표시하는 단계는,
    상기 사용자의 움직임에 따라 상기 사용자의 시선에 대응되는 가상 환경 영상을 표시하는 단계를 포함하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템의 제어방법.
  8. 제6항에 있어서,
    상기 카메라로 촬영된 영상에서 상기 사용자의 손동작을 인식하여 상기 가상의 조작 패널에 대해 상기 사용자 손의 위치와 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 단계는,
    상기 사용자 손의 위치와 상기 사용자의 손동작에 의해 상기 가상의 조작 패널 상에서 선택된 버튼 또는 레버를 판단하여 상기 가상의 조작 패널에 대한 사용자 입력을 판단하는 단계를 포함하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템의 제어방법.
  9. 제6항에 있어서,
    상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하고 상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하여 가상 환경 영상을 생성하는 단계는,
    상기 가상의 조작 패널의 영상에 상기 사용자의 손 영상을 합성하여 패널 영상을 생성하는 단계;
    상기 사용자 입력에 따라 시뮬레이션하여 주행 영상을 생성하는 단계; 및
    상기 패널 영상과 상기 주행 영상을 합성하여 가상 환경 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템의 제어방법.
  10. 제9항에 있어서,
    상기 패널 영상과 상기 주행 영상을 합성하여 가상 환경 영상을 생성하는 단계는,
    상기 HMD의 영상 표시부의 상단에 상기 주행 영상이 표시되고 하단에 상기 패널 영상이 표시되도록 상기 가상 환경 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 HMD를 이용한 시뮬레이션 시스템의 제어방법.
KR1020160007600A 2015-02-03 2016-01-21 Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법 KR101892238B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150016860 2015-02-03
KR20150016860 2015-02-03

Publications (2)

Publication Number Publication Date
KR20160095614A true KR20160095614A (ko) 2016-08-11
KR101892238B1 KR101892238B1 (ko) 2018-09-28

Family

ID=56714252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160007600A KR101892238B1 (ko) 2015-02-03 2016-01-21 Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101892238B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064153A (ko) * 2016-12-05 2018-06-14 주식회사 포스코 고로 공정 가상 현실 교육 시스템
WO2021132906A1 (ko) * 2019-12-24 2021-07-01 (주)제이티시스템 차량 모의 조종 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279869B1 (ko) 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000002856A (ja) * 1998-02-25 2000-01-07 Semiconductor Energy Lab Co Ltd 情報処理装置
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279869B1 (ko) 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180064153A (ko) * 2016-12-05 2018-06-14 주식회사 포스코 고로 공정 가상 현실 교육 시스템
WO2021132906A1 (ko) * 2019-12-24 2021-07-01 (주)제이티시스템 차량 모의 조종 장치

Also Published As

Publication number Publication date
KR101892238B1 (ko) 2018-09-28

Similar Documents

Publication Publication Date Title
US20200201041A1 (en) Method for operating a mobile virtual reality system in a motor vehicle, and mobile virtual reality system
JP4356763B2 (ja) 操作装置
CN101379455B (zh) 输入装置及其方法
KR101279869B1 (ko) 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
KR102097180B1 (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
KR20120044461A (ko) 융합 현실을 이용한 가상 훈련 장치 및 방법
CN103217792A (zh) 用于机动车辆的人机接口
US20130050065A1 (en) Head-mounted display, and display control method
KR102188313B1 (ko) Vr을 이용한 다기종 비행 훈련 시뮬레이터
JPH07311857A (ja) 画像合成表示装置およびシミュレーションシステム
CN109643219A (zh) 用于与在车辆中的显示设备上呈现的图像内容进行交互的方法
WO2018100377A1 (en) Multi-dimensional display
GB2532464A (en) Apparatus and method for selectively displaying an operational environment
US20150378155A1 (en) Method for operating virtual reality glasses and system with virtual reality glasses
KR101892238B1 (ko) Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법
Bolder et al. Comparison of the usability of a car infotainment system in a mixed reality environment and in a real car
JP2017081456A (ja) 表示装置及び表示方法
KR20150007023A (ko) 운송장치 시뮬레이션 시스템 및 그 제어방법
JP2015018074A (ja) 乗り物の運転シミュレーション装置
Lauber et al. In-your-face, yet unseen? Improving head-stabilized warnings to reduce reaction time
US10565799B2 (en) Automatic cockpit identification and augmented image placement
KR20200058872A (ko) Hmd 기반의 크로마키 기술을 적용한 몰입형 비행전술 시뮬레이터 영상시스템
KR101772431B1 (ko) Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템
KR20210008503A (ko) 증강 현실 카메라를 사용한 후방 시야 방법 및 장치
JP6719119B2 (ja) 画像表示装置、および、コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant