KR20170088664A - 개인형 가상현실 체험장치 및 그 방법 - Google Patents

개인형 가상현실 체험장치 및 그 방법 Download PDF

Info

Publication number
KR20170088664A
KR20170088664A KR1020160008846A KR20160008846A KR20170088664A KR 20170088664 A KR20170088664 A KR 20170088664A KR 1020160008846 A KR1020160008846 A KR 1020160008846A KR 20160008846 A KR20160008846 A KR 20160008846A KR 20170088664 A KR20170088664 A KR 20170088664A
Authority
KR
South Korea
Prior art keywords
camera
virtual reality
personal
image
animal
Prior art date
Application number
KR1020160008846A
Other languages
English (en)
Other versions
KR102657318B1 (ko
Inventor
김도형
박성진
박일규
배성준
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160008846A priority Critical patent/KR102657318B1/ko
Publication of KR20170088664A publication Critical patent/KR20170088664A/ko
Application granted granted Critical
Publication of KR102657318B1 publication Critical patent/KR102657318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04N13/02—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개인형 가상현실 체험장치 및 그 방법이 개시된다. 일 실시 예에 따른 개인형 가상현실 체험장치는, 동물에 장착되어 촬영하는 카메라와, 영상을 출력하는 개인형 몰입장치와, 카메라의 위치를 원격제어하여 카메라를 통해 동물이 바라보는 실제환경 영상을 획득하고 획득된 영상을 개인형 몰입장치에 제공하는 제어장치를 포함한다.

Description

개인형 가상현실 체험장치 및 그 방법 {Personalized apparatus for virtual reality based on remote experience and method for providing virtual reality experience}
본 발명은 디지털 콘텐츠 제공기술에 관한 것으로, 보다 상세하게는 가상현실 제공기술에 관한 것이다.
가상현실(Virtual Reality)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 의미한다.
일 실시 예에 따라, 체험자에게 동물이 바라보는 실제환경을 실감나게 체험할 수 있는 개인형 가상현실 체험장치 및 그 방법을 제안한다.
일 실시 예에 따른 개인형 가상현실 체험장치는, 동물에 장착되어 촬영하는 카메라와, 영상을 출력하는 개인형 몰입장치와, 카메라의 위치를 원격제어하여 카메라를 통해 동물이 바라보는 실제환경 영상을 획득하고 획득된 영상을 개인형 몰입장치에 제공하는 제어장치를 포함한다.
카메라는 입체 카메라와, 입체 카메라의 패닝 및 틸팅을 제어하는 팬 틸팅 모듈을 포함할 수 있다. 카메라는 360도 파노라마 영상을 촬영하는 광각 카메라일 수 있다. 카메라는 체험자의 동작 또는 시선을 반영하여 동작할 수 있다.
제어장치는 체험자의 동작 또는 시선을 반영하여 카메라를 원격제어할 수 있다. 일 실시 예에 따른 제어장치는, 체험자의 동작 또는 시선을 인식하는 인식부와, 인식부를 통해 인식된 체험자의 동작 또는 시선에 맞게 카메라의 위치를 조정하는 카메라 제어부와, 카메라를 통해 촬영되는 영상 중에서 체험자의 동작 또는 시선에 맞는 영상을 개인형 몰입장치에 제공하는 영상 처리부를 포함한다. 영상 처리부는 카메라를 통해 촬영되는 동물 입장에서의 실제환경 영상을, 실제환경 영상이 투영될 영역을 포함하는 가상환경 영상과 맵핑하여 가상현실 영상을 생성하고 생성된 가상현실 영상을 개인형 몰입장치에 제공할 수 있다.
일 실시 예에 따른 제어장치는 카메라를 통해 동물 입장에서 촬영된 실제환경 영상을 획득하여 영상 처리하고 이를 개인형 몰입장치에 전송하여 개인형 몰입장치를 통해 출력하게 하고, 개인형 몰입장치로부터 체험자의 동작 또는 시선정보를 수신하면 카메라를 통해 촬영되는 실제환경 영상 중에 체험자의 동작 또는 시선정보에 맞는 실제환경 영상을 선택하여 처리하고 이를 개인형 몰입장치에 재전송하여 개인형 몰입장치를 통해 출력한다.
개인형 몰입장치는 체험자의 머리에 착용하는 헤드 마운트 디스플레이(HMD, Head Mounted Display) 또는 안경 형태의 웨어러블 디바이스(wearable device)일 수 잇다.
개인형 가상현실 체험장치는 체험자의 동작 또는 시선을 감지하는 센서를 더 포함할 수 있다. 센서는 개인형 몰입장치에 장착될 수 있다. 개인형 가상현실 체험장치는 동물의 형상에 따른 구조를 가지며 카메라를 동물에 장착시키는 장착 모듈을 더 포함할 수 있다. 장착 모듈은 동물의 복부 또는 머리에 장착될 수 있다. 개인형 가상현실 체험장치는 카메라와 제어장치를 연결하는 미니 PC를 더 포함할 수 있다. 미니 PC는 동물에 장착될 수 있다. 동물은 동물원 내 육상동물이거나 수족관 내 수중동물일 수 있다.
다른 실시 예에 따른 개인형 가상현실 체험 제공방법은, 제어장치에 의해 동물에 장착되는 카메라의 위치를 원격제어하는 단계와, 원격제어되는 카메라를 통해 동물이 바라보는 실제환경 영상을 획득하고 획득된 영상을 개인형 몰입장치를 통해 출력하는 단계를 포함한다.
카메라는 입체 카메라와 입체카메라의 패닝 및 틸팅을 제어하는 팬 틸팅 모듈로 구성되는 팬틸팅용 카메라이거나, 360도 파노라마 영상을 촬영하는 광각 카메라일 수 있다.
원격제어하는 단계에서, 제어장치가 체험자의 동작 또는 시선을 반영하여 카메라를 원격제어할 수 있다.
출력하는 단계는, 카메라가 동물 입장에서의 실제환경 영상을 촬영하여 촬영된 실제환경 영상을 제어장치에 전송하는 단계와, 제어장치가 실제환경 영상을 처리하고 개인형 몰입장치에 전송하여 개인형 몰입장치를 통해 출력하는 단계와, 개인형 몰입장치가 체험자의 동작 또는 시선을 감지하여 감지된 동작 또는 시선정보를 제어장치에 전송하는 단계와, 제어장치가 카메라를 통해 촬영되는 실제환경 영상 중에 체험자의 동작 또는 시선정보에 맞는 실제환경 영상을 선택하여 처리하고 이를 개인형 몰입장치에 재전송하여 개인형 몰입장치를 통해 출력하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 동물을 보호 거리만큼 떨어져서 지켜봐야만 하는 것이 아니라, 체험자가 실제 동물이 된 것과 같이 실감나는 체험을 할 수 있다. 예를 들어, 동물원이나 수족관에서 체험자가 직접 실제의 육상동물이나 물고기가 된 것과 같은 경험을 할 수 있다. 나아가, 동물이 바라보는 실제환경에 체험자의 동작이나 시선을 반영됨에 따라 보다 실감나는 체험을 할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 개인형 가상현실 체험장치의 구성도,
도 2는 본 발명의 다른 실시 예에 따른 개인형 가상현실 체험장치의 구성도,
도 3은 본 발명의 일 실시 예에 따른 제어장치의 세부 구성도,
도 4는 본 발명의 일 실시 예에 따른 장착 모듈을 도시한 참조도,
도 5는 본 발명의 일 실시 예에 따른 개인형 가상현실 체험 제공방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 체험자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 개인형 가상현실 체험장치의 구성도이다.
도 1을 참조하면, 개인형 가상현실 체험장치는 팬틸트용 카메라(10), 제어장치(16) 및 개인형 몰입장치(18)를 포함하며, 미니 PC(14) 및 센서(19)를 더 포함할 수 있다.
팬틸트용 카메라(10)와 미니 PC(14)는 원격에 위치하는데, 예를 들어 육상동물이 있는 동물원이나 물고기와 같은 수중동물이 있는 수족관에 위치한다. 제어장치(16)와 개인형 몰입장치(18)는 체험자 측에 위치하여, 체험자가 제어장치(16)를 통해 팬틸트용 카메라(10)와 미니 PC(14)를 원격제어할 수 있다.
체험자는 동물에 장착되는 팬틸트용 카메라(10)를 통해 촬영되는 영상을 실시간으로 개인형 몰입장치(18)를 통해 볼 수 있다. 팬틸트용 카메라(10)를 통해 촬영되는 영상은 동물이 실제로 바라보는 실제환경으로서, 체험자는 마치 자신이 동물원 내 육상동물들이나 수족관 내 물고기가 된 것처럼 실감나는 체험을 할 수 있고, 자유로운 시점 영상을 체험할 수 있다.
팬틸트용 카메라(10)는 동물에 장착될 수 있다. 일 실시 예에 따른 팬틸트용 카메라(10)는 입체 카메라(100)와 팬 틸팅 모듈(102)을 포함한다. 입체 카메라(100)는 카메라 전면부의 좌/우측에 각각 설치되어, 동물이 바라본 현실환경 영상을 그대로 촬영할 수 있다. 팬 틸팅 모듈(102)은 입체 카메라(100)의 패닝(panning) 및 틸팅(tilting)을 제어한다. 예를 들어, 팬 틸팅 모듈(102)은 제어장치(16)의 원격제어에 의해 수평 방향으로 회전되는 패닝 동작과, 수직 방향으로 회전되는 틸팅 동작에 의해 입체 카메라(100)의 촬영영역을 다른 방향으로 변경시킬 수 있다. 입체 카메라(100)는 팬 틸팅 모듈(102)의 조작에 따라 움직여 실제 환경을 촬영하며, 촬영된 영상을 원격지에 위치한 개인형 몰입장치(18)로 출력하게 한다. 제어장치(16)는 체험자의 동작 또는 시선을 반영하여 팬 틸팅 모듈(102)에 제어신호를 전송하고, 팬 틸팅 모듈(102)은 제어신호에 따라 입체 카메라(100)에 대한 패닝 동작과 틸팅 동작을 수행할 수 있다.
개인형 몰입장치(18)는 입체 카메라(100)에 의해 촬영된 영상을 화면을 통해 출력한다. 개인형 몰입장치(18)는 예를 들어, 체험자의 머리에 착용하는 헤드 마운트 디스플레이(Head Mounted Display: HMD, 이하 HMD라 칭함) 또는 안경 형태의 웨어러블 디바이스(wearable device)일 수 있다. HMD의 예로는 오큘러스 리프트, 구글의 카드 보드 소니의 PS VR, 삼성전자의 기어 VR 등이 있다.
개인형 몰입장치(18)의 화면을 통해 가상체험하는 체험자는 제어장치(16)를 이용하여 팬틸트용 카메라(10)의 팬 틸팅 모듈(102)을 원격 조정할 수 있다. 제어장치(16)는 체험자의 동작 또는 시선을 반영하여 팬틸트용 카메라(10)를 원격제어할 수 있다. 예를 들어, 제어장치(16)는 팬틸트용 카메라(10)를 통해 동물 입장에서 촬영된 실제환경 영상을 획득하여 영상 처리하고 이를 개인형 몰입장치(18)에 전송하여 개인형 몰입장치(18)를 통해 출력하게 한다. 이후, 개인형 몰입장치(18)로부터 체험자의 동작 또는 시선정보를 수신하면 팬틸트용 카메라(10)를 통해 촬영되는 실제환경 영상 중에 체험자의 동작 또는 시선정보에 맞는 실제환경 영상을 선택하여 처리하고 이를 개인형 몰입장치(18)에 재전송하여 개인형 몰입장치(18)를 통해 출력하게 한다.
센서(19)는 체험자에 대한 동작정보 또는 시선정보를 감지하여 이를 제어장치(16)에 전송한다. 제어장치(16)는 센서(19)를 통해 감지된 동작정보 또는 시선정보를 통해 체험자의 동작이나 시선을 인식한다. 센서(19)는 개인형 몰입장치(18)에 장착될 수 있고, 도 1에 도시된 바와 같이 개인형 몰입장치(18)와 분리되어 위치할 수 있다. 센서(19)는 3차원 인식용 카메라일 수 있다. 센서(19)는 체험자의 눈의 이동방향을 감지하여 체험자의 시선을 인식하고 이를 제어장치(16)에 전송할 수 있다. 다른 예로, 센서(19)가 체험자의 움직임을 인식할 때, 인식범위 안에 있는 공간을 향해 움직이는 체험자의 손동작은 3차원 공간에서 X, Y, Z 축 값으로 분할 인식하여 그 변화 값을 이용하여 이동성 및 속도를 감지하여 이를 제어장치(16)에 전송할 수 있다.
미니 PC(14)는 제어장치(16)와 유무선 네트워크를 통해 연결되며, 미니 PC(14)는 임베디드 보드로 대체될 수 있다. 미니 PC(14) 또는 임베디드 보드는 팬 틸팅 모듈(102)과 유무선으로 연결될 수 있다. 미니 PC(14)는 동물에 장착될 수 있다.
도 2는 본 발명의 다른 실시 예에 따른 개인형 가상현실 체험장치의 구성도이다.
도 2를 참조하면, 개인형 가상현실 체험장치는 광각 카메라(20), 제어장치(16) 및 개인형 몰입장치(18)를 포함하며, 미니 PC(14) 및 센서(19)를 더 포함할 수 있다.
광각 카메라(20)와 미니 PC(14)는 원격에 위치하는데, 예를 들어 육상동물이 있는 동물원이나 물고기와 같은 수중동물이 있는 수족관에 위치한다. 제어장치(16)와 개인형 몰입장치(18)는 체험자 측에 위치하여, 체험자가 제어장치(16)를 통해 광각 카메라(20)와 미니 PC(14)를 원격제어할 수 있다.
체험자는 동물에 장착되는 광각 카메라(20)를 통해 촬영되는 영상을 실시간으로 개인형 몰입장치(18)를 통해 볼 수 있다. 광각 카메라(20)를 통해 촬영되는 영상은 동물이 실제로 바라보는 실제환경으로서, 체험자는 마치 자신이 동물원 내 육상동물들이나 수족관 내 물고기가 된 것처럼 실감나는 체험을 할 수 있고, 자유로운 시점 영상을 체험할 수 있다.
광각 카메라(20)는 동물에 장착될 수 있다. 광각 카메라(20)는 넓은 각, 예를 들어 360도 내에서 파노라마 영상을 촬영할 수 있다. 광각 카메라(20)는 제어장치(16)의 조작에 따라 움직여 실제 환경을 촬영하며, 촬영된 영상을 원격지에 위치한 개인형 몰입장치(18)로 출력하게 한다. 제어장치(16)는 체험자의 동작 또는 시선을 반영하여 광각 카메라(20)에 제어신호를 전송하고, 광각 카메라(20)는 제어신호에 따라 동작할 수 있다.
개인형 몰입장치(18)는 광각 카메라(20)에 의해 촬영된 영상을 화면을 통해 출력한다. 개인형 몰입장치(18)는 예를 들어, 체험자의 머리에 착용하는 HMD 또는 안경 형태의 웨어러블 디바이스일 수 있다. HMD의 예로는 오큘러스 리프트, 구글의 카드 보드 소니의 PS VR, 삼성전자의 기어 VR 등이 있다.
개인형 몰입장치(18)의 화면을 통해 가상체험하는 체험자는 제어장치(16)를 이용하여 광각 카메라(20)를 원격 조정한다. 제어장치(16)는 체험자의 동작 또는 시선을 반영하여 광각 카메라(20)를 원격제어할 수 있다. 예를 들어, 제어장치(16)는 광각 카메라(20)를 통해 동물 입장에서 촬영된 실제환경 영상을 획득하여 영상 처리하고 이를 개인형 몰입장치(18)에 전송하여 개인형 몰입장치(18)를 통해 출력하게 한다. 이후, 개인형 몰입장치(18)로부터 체험자의 동작 또는 시선정보를 수신하면 광각 카메라(20)를 통해 촬영되는 실제환경 영상 중에 체험자의 동작 또는 시선정보에 맞는 실제환경 영상을 선택하여 처리하고 이를 개인형 몰입장치(18)에 재전송하여 개인형 몰입장치(18)를 통해 출력하게 한다.
센서(19)는 체험자에 대한 동작정보 또는 시선정보를 감지하여 이를 제어장치(16)에 전송한다. 제어장치(16)는 센서(19)를 통해 감지된 동작정보 또는 시선정보를 통해 체험자의 동작이나 시선을 인식한다. 센서(19)는 개인형 몰입장치(18)에 장착될 수 있고, 도 1에 도시된 바와 같이 개인형 몰입장치(18)와 분리되어 위치할 수 있다. 센서(19)는 3차원 인식용 카메라일 수 있다. 센서(19)는 체험자의 눈의 이동방향을 감지하여 체험자의 시선을 인식하고 이를 제어장치(16)에 전송할 수 있다. 다른 예로, 센서(19)가 체험자의 움직임을 인식할 때, 인식범위 안에 있는 공간을 향해 움직이는 체험자의 손동작은 3차원 공간에서 X, Y, Z 축 값으로 분할 인식하여 그 변화 값을 이용하여 이동성 및 속도를 감지하여 이를 제어장치(16)에 전송할 수 있다.
미니 PC(14)는 제어장치(16)와 유무선 네트워크를 통해 연결되며, 미니 PC(14)는 임베디드 보드로 대체될 수 있다. 미니 PC(14) 또는 임베디드 보드는 팬 틸팅 모듈(102)과 유무선으로 연결될 수 있다. 미니 PC(14)는 동물에 장착될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 제어장치의 세부 구성도이다.
도 3을 참조하면, 제어장치(16)는 인식부(160), 제어부(162) 및 영상 처리부(164)를 포함한다. 제어부(162)는 카메라 제어부(1620)를 포함할 수 있다.
인식부(160)는 체험자의 동작 또는 시선을 인식한다. 예를 들어, HMD 또는 웨어러블 디바이스 등과 같은 개인형 몰입장치를 통해 체험자의 머리 위치 또는 안구 방향을 추적한다.
제어부(162)는 제어장치(16)의 전체적인 동작을 제어한다. 제어부(162)의 카메라 제어부(1620)는 인식부(160)를 통해 인식된 체험자의 동작 또는 시선에 맞게 카메라의 위치를 조정한다.
영상 처리부(164)는 카메라를 통해 촬영되는 영상 중에서 체험자의 동작 또는 시선에 맞는 영상을 개인형 몰입장치에 제공한다. 영상 처리부(164)는 인식부(160)의 추적 방향에 맞는 영상을 생성하여 체험자에게 입체감을 제공할 수 있다. 이를 위해, 영상 처리부(164)는 카메라를 통해 촬영된 영상을 처리하여 개인형 몰입장치에 전송하되, 체험자의 동작 또는 시선정보를 이용하여 체험자의 시선에 맞는 영상을 개인형 몰입장치에 제공한다.
일 실시 예에 따른 영상 처리부(164)는 카메라로부터 입력되는 실제 영상을 처리하여 현실환경 영상을 생성한다. 이때, 카메라는 도 1에 도시된 바와 같이 좌측 및 우측의 실제 영상을 촬영하는 입체 카메라일 수 있고, 도 2에 도시된 바와 같이 넓은 각도 내에서 촬영하는 광각 카메라일 수 있다.
일 실시 예에 따른 영상 처리부(164)는 카메라를 통해 촬영되는 동물 입장에서의 실제환경 영상을, 실제환경 영상이 투영될 영역을 포함하는 가상환경 영상과 맵핑하여 가상현실 영상을 생성하고 생성된 가상현실 영상을 개인형 몰입장치에 제공한다.
도 4는 본 발명의 일 실시 예에 따른 장착 모듈을 도시한 참조도이다.
도 4를 참조하면, 장착 모듈(40)은 동물의 종류별로 형상에 맞는 구조를 가진다. 예를 들어, 도 4에 도시된 바와 같이 물고기의 형상에 맞게 물고기에 장착될 수 있다. 장착 모듈(40)에는 팬 틸트 카메라 또는 광각 카메라가 장착될 수 있다. 장착 모듈(40)의 예로는 벨트, 끈, 와이어, 모자 구조, 안경 구조 등 다양할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 개인형 가상현실 체험 제공방법을 도시한 흐름도이다.
체험자에게 실감나는 영상을 제공하기 위해, 동물에 카메라(30)가 장착되고, 제어장치(16)는 동물에 장착되는 카메라(30)의 위치를 원격제어한다. 그리고 제어장치(16)에 의해 원격제어되는 카메라(30)를 통해 동물이 바라보는 실제환경 영상을 획득하고 획득된 영상을 개인형 몰입장치(18)를 통해 출력한다. 원격제어 시에 제어장치(16)는 체험자의 동작 또는 시선을 반영하여 카메라(30)를 원격제어할 수 있다.
일 실시 예에 따른 카메라(30)는 입체 카메라와 입체카메라의 패닝 및 틸팅을 제어하는 팬 틸팅 모듈로 구성되는 팬틸팅용 카메라일 수 있다. 다른 예로 카메라(30)는 360도 파노라마 영상을 촬영하는 광각 카메라일 수 있다.
이하, 도 5를 참조로 하여 개인형 가상현실 체험 제공방법에 대해 설명하면, 카메라(30)가 동물 입장에서의 실제환경 영상을 촬영(500)하여 촬영된 실제환경 영상을 제어장치(16)에 전송한다(510). 제어장치(16)는 실제환경 영상을 처리한다(520). 예를 들어, 실제환경 영상을 단순 영상처리할 수 있고, 다른 예로 실제환경 영상을, 실제환경 영상이 투영될 영역을 포함하는 가상환경 영상과 맵핑하여 가상현실 영상을 생성할 수도 있다. 제어장치(16)는 영상 처리된 영상을 개인형 몰입장치(18)에 전송(530)하고, 개인형 몰입장치(18)는 영상을 출력한다(540).
한편, 개인형 몰입장치(18)가 체험자의 동작 또는 시선을 감지(550)하여 감지된 동작 또는 시선정보를 제어장치(16)에 전송한다(560). 제어장치(16)는 카메라(30)를 통해 촬영되는 실제환경 영상들 중에 체험자의 동작 또는 시선정보에 맞는 실제환경 영상을 선택하여 처리(570)하고 이를 개인형 몰입장치에 재전송(580)하여 개인형 몰입장치(18)를 통해 출력한다(590).
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 팬틸트용 카메라 14: 미니 PC
16: 제어장치 18: 개인형 몰입장치
19: 센서 20: 광각 카메라
30: 카메라 100: 입체 카메라
102: 팬 틸팅 모듈 160: 인식부
162: 제어부 164: 영상 처리부
1620: 카메라 제어부

Claims (20)

  1. 동물에 장착되어 촬영하는 카메라;
    영상을 출력하는 개인형 몰입장치; 및
    상기 카메라의 위치를 원격제어하여 상기 카메라를 통해 동물이 바라보는 실제환경 영상을 획득하고 획득된 영상을 상기 개인형 몰입장치에 제공하는 제어장치;
    를 포함하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  2. 제 1 항에 있어서, 상기 카메라는
    입체 카메라; 및
    상기 입체 카메라의 패닝 및 틸팅을 제어하는 팬 틸팅 모듈;
    을 포함하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  3. 제 1 항에 있어서, 상기 카메라는
    360도 파노라마 영상을 촬영하는 광각 카메라인 것을 특징으로 하는 개인형 가상현실 체험장치.
  4. 제 1 항에 있어서, 상기 카메라는
    체험자의 동작 또는 시선을 반영하여 동작하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  5. 제 1 항에 있어서, 상기 제어장치는
    체험자의 동작 또는 시선을 반영하여 상기 카메라를 원격제어하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  6. 제 1 항에 있어서, 상기 제어장치는
    체험자의 동작 또는 시선을 인식하는 인식부;
    상기 인식부를 통해 인식된 체험자의 동작 또는 시선에 맞게 상기 카메라의 위치를 조정하는 카메라 제어부; 및
    상기 카메라를 통해 촬영되는 영상 중에서 체험자의 동작 또는 시선에 맞는 영상을 상기 개인형 몰입장치에 제공하는 영상 처리부;
    를 포함하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  7. 제 6 항에 있어서, 상기 영상 처리부는
    상기 카메라를 통해 촬영되는 동물 입장에서의 실제환경 영상을, 실제환경 영상이 투영될 영역을 포함하는 가상환경 영상과 맵핑하여 가상현실 영상을 생성하고 생성된 가상현실 영상을 상기 개인형 몰입장치에 제공하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  8. 제 1 항에 있어서, 상기 제어장치는
    카메라를 통해 동물 입장에서 촬영된 실제환경 영상을 획득하여 영상 처리하고 이를 개인형 몰입장치에 전송하여 개인형 몰입장치를 통해 출력하게 하고, 개인형 몰입장치로부터 체험자의 동작 또는 시선정보를 수신하면 카메라를 통해 촬영되는 실제환경 영상 중에 체험자의 동작 또는 시선정보에 맞는 실제환경 영상을 선택하여 처리하고 이를 개인형 몰입장치에 재전송하여 개인형 몰입장치를 통해 출력하게 하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  9. 제 1 항에 있어서, 상기 개인형 몰입장치는
    체험자의 머리에 착용하는 헤드 마운트 디스플레이(HMD, Head Mounted Display) 또는 안경 형태의 웨어러블 디바이스(wearable device)인 것을 특징으로 하는 개인형 가상현실 체험장치.
  10. 제 1 항에 있어서, 상기 개인형 가상현실 체험장치는
    체험자의 동작 또는 시선을 감지하는 센서;
    를 더 포함하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  11. 제 10 항에 있어서, 상기 센서는
    상기 개인형 몰입장치에 장착되는 것을 특징으로 하는 개인형 가상현실 체험장치.
  12. 제 1 항에 있어서, 상기 개인형 가상현실 체험장치는
    동물의 형상에 따른 구조를 가지며 상기 카메라를 동물에 장착시키는 장착 모듈;
    을 더 포함하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  13. 제 11 항에 있어서, 상기 장착 모듈은
    동물의 복부 또는 머리에 장착되는 것을 특징으로 하는 개인형 가상현실 체험장치.
  14. 제 1 항에 있어서, 상기 개인형 가상현실 체험장치는
    상기 카메라와 상기 제어장치를 연결하는 미니 PC;
    를 더 포함하는 것을 특징으로 하는 개인형 가상현실 체험장치.
  15. 제 14 항에 있어서, 상기 미니 PC는
    동물에 장착되는 것을 특징으로 하는 개인형 가상현실 체험장치.
  16. 제 1 항에 있어서,
    상기 동물은 동물원 내 육상동물이거나 수족관 내 수중동물인 것을 특징으로 하는 개인형 가상현실 체험장치.
  17. 제어장치에 의해 동물에 장착되는 카메라의 위치를 원격제어하는 단계; 및
    상기 원격제어되는 카메라를 통해 동물이 바라보는 실제환경 영상을 획득하고 획득된 영상을 개인형 몰입장치를 통해 출력하는 단계;
    를 포함하는 것을 특징으로 하는 개인형 가상현실 체험 제공방법.
  18. 제 17 항에 있어서, 상기 카메라는
    입체 카메라와 입체카메라의 패닝 및 틸팅을 제어하는 팬 틸팅 모듈로 구성되는 팬틸팅용 카메라이거나, 360도 파노라마 영상을 촬영하는 광각 카메라인 것을 특징으로 하는 개인형 가상현실 체험 제공방법.
  19. 제 17 항에 있어서, 상기 원격제어하는 단계는
    제어장치가 체험자의 동작 또는 시선을 반영하여 상기 카메라를 원격제어하는 것을 특징으로 하는 개인형 가상현실 체험 제공방법.
  20. 제 17 항에 있어서, 상기 출력하는 단계는
    카메라가 동물 입장에서의 실제환경 영상을 촬영하여 촬영된 실제환경 영상을 제어장치에 전송하는 단계;
    제어장치가 실제환경 영상을 처리하고 개인형 몰입장치에 전송하여 개인형 몰입장치를 통해 출력하는 단계;
    개인형 몰입장치가 체험자의 동작 또는 시선을 감지하여 감지된 동작 또는 시선정보를 제어장치에 전송하는 단계; 및
    제어장치가 카메라를 통해 촬영되는 실제환경 영상 중에 체험자의 동작 또는 시선정보에 맞는 실제환경 영상을 선택하여 처리하고 이를 개인형 몰입장치에 재전송하여 개인형 몰입장치를 통해 출력하는 단계;
    를 포함하는 것을 특징으로 하는 개인형 가상현실 체험 제공방법.
KR1020160008846A 2016-01-25 2016-01-25 개인형 가상현실 체험장치 및 그 방법 KR102657318B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160008846A KR102657318B1 (ko) 2016-01-25 2016-01-25 개인형 가상현실 체험장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160008846A KR102657318B1 (ko) 2016-01-25 2016-01-25 개인형 가상현실 체험장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170088664A true KR20170088664A (ko) 2017-08-02
KR102657318B1 KR102657318B1 (ko) 2024-04-15

Family

ID=59651927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160008846A KR102657318B1 (ko) 2016-01-25 2016-01-25 개인형 가상현실 체험장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102657318B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102065753B1 (ko) * 2019-11-27 2020-01-13 주식회사 지오스토리 해양공간 가상체험 서비스 개발을 위한 해저로드맵 제작시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004065811A (ja) * 2002-08-09 2004-03-04 Konami Co Ltd ゲーム画面表示プログラム、ゲーム画面表示方法及びビデオゲーム装置
JP2004361522A (ja) 2003-06-02 2004-12-24 Casio Comput Co Ltd 撮像装置及び撮像装置付首輪
WO2014115393A1 (ja) * 2013-01-24 2014-07-31 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
JP2014174510A (ja) 2013-03-13 2014-09-22 Panasonic Corp ヘッドマウントディスプレイ装置
WO2014194135A1 (en) * 2013-05-30 2014-12-04 Oculus VR, Inc. Perception based predictive tracking for head mounted displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004065811A (ja) * 2002-08-09 2004-03-04 Konami Co Ltd ゲーム画面表示プログラム、ゲーム画面表示方法及びビデオゲーム装置
JP2004361522A (ja) 2003-06-02 2004-12-24 Casio Comput Co Ltd 撮像装置及び撮像装置付首輪
WO2014115393A1 (ja) * 2013-01-24 2014-07-31 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
JP2014174510A (ja) 2013-03-13 2014-09-22 Panasonic Corp ヘッドマウントディスプレイ装置
WO2014194135A1 (en) * 2013-05-30 2014-12-04 Oculus VR, Inc. Perception based predictive tracking for head mounted displays

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"[테크＆가젯] 360도 카메라, 가상현실의 고프로들" 머니투데이 테크엠 (테크M) 2015년 9월호 기사. 2015년09월14일.
"[테크＆가젯] 360도 카메라, 가상현실의 고프로들" 머니투데이 테크엠(테크M) 2015년 9월호 기사. 2015년09월14일. 1부.* *
김재승 외 5인. HMD를 이용한 사용자 자세 기반 항공 촬영용 쿼드로터 시스템 제어 인터페이스 개발. 대한전기학회, 전기학회논문지 Vol. 64, No. 7, 1056-1063 페이지. 2015년7월. 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102065753B1 (ko) * 2019-11-27 2020-01-13 주식회사 지오스토리 해양공간 가상체험 서비스 개발을 위한 해저로드맵 제작시스템

Also Published As

Publication number Publication date
KR102657318B1 (ko) 2024-04-15

Similar Documents

Publication Publication Date Title
US20230141039A1 (en) Immersive displays
EP3379525B1 (en) Image processing device and image generation method
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
WO2016017245A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US20180246331A1 (en) Helmet-mounted display, visual field calibration method thereof, and mixed reality display system
JP2020024417A (ja) 情報処理装置
KR20170044451A (ko) 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
KR20150058848A (ko) 원격 현장감 생성 장치 및 방법
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
CN114371779B (zh) 一种视线深度引导的视觉增强方法
JP6649010B2 (ja) 情報処理装置
WO2020017435A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CA3086502A1 (en) System and method for corrected video-see-through for head mounted displays
KR20170088664A (ko) 개인형 가상현실 체험장치 및 그 방법
JP7203157B2 (ja) 映像処理装置およびプログラム
JP7247371B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
WO2017092369A1 (zh) 一种头戴设备、三维视频通话系统和三维视频通话实现方法
KR102044003B1 (ko) 영상 회의를 위한 전자 장치 및 그의 동작 방법
WO2016185634A1 (ja) 情報処理装置
JP2020160226A (ja) 画像処理システム、及び画像処理方法
JP6705929B2 (ja) 表示制御装置及び表示制御方法
US11405548B1 (en) Camera system for a remotely operated vehicle

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant