KR20190126990A - 시청자 모션 반응형 vr 시스템 - Google Patents

시청자 모션 반응형 vr 시스템 Download PDF

Info

Publication number
KR20190126990A
KR20190126990A KR1020180050992A KR20180050992A KR20190126990A KR 20190126990 A KR20190126990 A KR 20190126990A KR 1020180050992 A KR1020180050992 A KR 1020180050992A KR 20180050992 A KR20180050992 A KR 20180050992A KR 20190126990 A KR20190126990 A KR 20190126990A
Authority
KR
South Korea
Prior art keywords
image
viewer
hmd
motion
camera
Prior art date
Application number
KR1020180050992A
Other languages
English (en)
Inventor
한동혁
Original Assignee
디트레인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디트레인 주식회사 filed Critical 디트레인 주식회사
Priority to KR1020180050992A priority Critical patent/KR20190126990A/ko
Publication of KR20190126990A publication Critical patent/KR20190126990A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 VR 시스템에 관한 것으로서, 보다 구체적으로는 촬영된 가상현실 컨텐츠를 시청할 시에 시청자가 보는 시점을 직접 조종하거나 이동 가능하도록 하기 위한 시청자 모션 반응형 VR 시스템에 관한 것이다.
이를 위해 본 발명은, 길이방향을 따라 배치되는 복수개의 카메라와; 복수개의 카메라가 촬영한 각각의 영상에 대해 중첩되는 면적을 제거한 다음 연결하여 1개 영상으로 변환하기 위한 영상 변환기와; 자체 화각(畵角) 범위에 따라 영상 변환기가 제공하는 1개 영상의 전체 화면 중 일부분을 시청 가능하게 하고, 시청자의 모션에 대응하여 1개 영상의 다른 부분 시청을 가능하게 하는 HMD(Head Mount Display);를 포함하여 이루어지는 것을 특징으로 한다.

Description

시청자 모션 반응형 VR 시스템{VIEWER MOTION RESPONSIVE VR SYSTEM}
본 발명은 VR 시스템에 관한 것으로서, 보다 구체적으로는 촬영된 가상현실 컨텐츠를 시청할 시에 시청자가 보는 시점을 직접 조종하거나 이동 가능하도록 하기 위한 시청자 모션 반응형 VR 시스템에 관한 것이다.
일반적으로 기존 촬영 기반의 가상 현실 시스템은 시점이 정해진 고정 위치에서 시청자가 둘러보기만 하거나 시청자 의도와 상관없이 촬영자의 의도대로 이동하는 화면을 시청해야 하기 때문에, 개인별로는 차이가 있으나 시청자의 구토나 어지러움을 유발하기도 하고 고정된 시점으로 인해 시청하는 흥미가 반감되기도 하며 콘텐츠 제작 방법과 내용이 제한되는 문제점이 있다.
이러한 문제점을 보완하기 위해 조이스틱과 같은 별도의 조종장치를 추가하여 가상 현실을 즐기도록 유도하고 있으나 게임에 익숙하지 않은 사람들에게는 조종법을 따로 배워야 하는 부담감이 있다.
또 한편으로는, 관성 에너지를 느낄 수 있는 시뮬레이터를 도입하는 곳도 있지만 이러한 관성 운동을 재현하기 위한 시뮬레이터들은 개인이 구입하기 어려운 고가의 장비이기도 하고 주로 3D 그래픽 엔진을 사용하는 게임 분야에만 국한되어져 사용되고 있는 상황임에 따라, 아직까지는 실제 세상을 촬영한 가상현실 콘텐츠에는 적용되지 못하고 있는 실정이다.
대한민국 등록특허공보 제10-1029634호 대한민국 등록특허공보 제10-1696102호
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 가상 현실 컨텐츠 시청 시에 시청자가 보는 위치를 스스로 이동하여 결정하거나 별도의 동작으로 조종할 수 있게 함으로써 가상 현실 컨텐츠를 즐기는데 있어서 나타나는 어지러움증과 같은 생리적 부작용을 획기적으로 감소시키고 고정된 시점을 벗어나 가상현실 컨텐츠의 제작 한계를 극복 가능하도록 하기 위한 시청자 모션 반응형 VR 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명은, 길이방향을 따라 배치되는 복수개의 카메라와; 복수개의 카메라가 촬영한 각각의 영상에 대해 중첩되는 면적을 제거한 다음 연결하여 1개 영상으로 변환하기 위한 영상 변환기와; 자체 화각(畵角) 범위에 따라 영상 변환기가 제공하는 1개 영상의 전체 화면 중 일부분을 시청 가능하게 하고, 시청자의 모션에 대응하여 1개 영상의 다른 부분 시청을 가능하게 하는 HMD(Head Mount Display);를 포함하여 이루어지는 것을 특징으로 한다.
여기서, 상기 HMD는 시청자가 정면을 주시하면서 옆으로 이동하거나 시청 위치를 옆으로 이동시킬 경우에 대응하여 1개 영상의 전체 화면 중 수평으로 이동된 부분의 시청을 가능하게 하거나, 시청자가 제자리를 기준으로 고개를 돌리거나 회전할 경우에 대응하여 자체 화각 범위 내에서 1개 영상의 전체 화면 중 일부분을 시청 가능하게 하는 것을 특징으로 한다.
또한, 상기 HMD는 시청자의 움직임을 감지하기 위한 모션센서 및 시청자의 손짓 제스처를 인식하기 위한 후면 카메라를 갖는 스마트폰과, 상기 스마트폰의 고정이 가능한 보호커버를 포함하여 이루어지며, 상기 보호커버에는 손짓 제스처를 인식하기 위한 센싱모듈이 더 구비되는 것을 특징으로 한다.
그리고, 상기 후면 카메라 및 센싱모듈 중 적어도 어느 하나 이상이 손짓 제스처를 용이하게 인식하도록 하기 위한 감지 보조용 장갑을 더 포함하는 한편, 상기 영상 변환기는 HMD의 자체 화각 범위에 대응하는 1개 영상의 일부분만을 실시간으로 HMD에 전송 가능한 것을 특징으로 한다.
추가로, 복수개의 카메라를 배치하기 위한 경로를 제공하는 레일 트랙과, 상기 카메라를 레일 트랙에 고정시키기 위한 레일 커넥터와, 상기 카메라 및 레일 커넥터 사이에 개재되고 높이 조절이 가능한 높이조절수단으로 이루어진 카메라 어레이 장치를 더 포함하는 것을 특징으로 한다.
상기 영상 변환기는 복수개의 카메라가 촬영한 각각의 영상이 최초로 입력되었을 경우 정합선 추출, 컬러 매칭 테이블 추출 및 카메라 정렬 체크 후의 이미지 디스토션 테이블 추출 중 적어도 어느 하나 이상에 의해 중첩되는 면적을 제거한 다음 연결하여 1개 영상으로 변환하며, 복수개의 카메라 배열 데이터에 기초하여 이미지 프로젝션 데이터를 생성하는 것을 특징으로 한다.
이상과 같은 본 발명에 따른 시청자 모션 반응형 VR 시스템은 시청자가 자신이 보는 위치를 직접 조종하도록 함으로써 어지러움증, 구토와 같은 가상 현실 컨텐츠 시청에 따른 생리적 부작용을 최소화할 수 있다.
또한, 시청자가 직접 자신의 위치를 바꾸어가면서 가상 현실을 시청하도록 함으로써 컨텐츠에 대한 흥미를 지속적으로 유발시켜 재미와 호응도를 높일 수 있다.
그리고, 기존 가상 현실 시청에서 불가능했던 장면의 확대나 축소와 같은 시청상의 부가적인 기능도 구현할 수 있다.
추가로, 가상 현실 컨텐츠 제작 측면에서 그동안 불가능하였거나 시도하지 못했던 역동적인 다큐멘터리, 전시, 공연 컨텐츠 제작을 위한 환경을 제공할 수 있다.
도 1은 본 발명에 따른 시청자 모션 반응형 VR 시스템을 개략적으로 도시한 도면.
도 2는 본 발명에 따른 촬영 방식 및 VR 영상을 제작하는 원리를 도시한 도면.
도 3은 본 발명에 따른 시청자 모션 반응형 VR 시스템 중 HMD 착용 후 시청자가 정면을 주시할 때의 시청범위를 도시한 도면.
도 4는 본 발명에 따른 시청자 모션 반응형 VR 시스템 중 HMD 착용 후 시청자가 정면을 주시하면서 옆으로 이동할 때 시청범위를 도시한 도면이다.
도 5는 본 발명에 따른 시청자 모션 반응형 VR 시스템 중 HMD 착용 후 시청자가 제자리에서 고개를 돌릴 때 시청범위를 도시한 도면이다.
도 6은 본 발명에 따른 시청자 모션 반응형 VR 시스템 중 영상 변환기의 카메라 영상 처리과정을 도시한 흐름도.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조로 하여 본 발명에 따른 시청자 모션 반응형 VR 시스템을 설명하기로 한다.
도 1은 본 발명에 따른 시청자 모션 반응형 VR 시스템을 개략적으로 도시한 도면이다.
본 발명은 기본적으로 카메라와, 영상 변환기와, HMD(Head Mount Display)를포함하여 구성된다.
보다 구체적으로, 본 발명은 길이방향을 따라 배치되는 복수개의 카메라와, 복수개의 카메라가 촬영한 각각의 영상에 대해 중첩되는 면적을 제거한 다음 연결하여 1개 영상으로 변환하기 위한 영상 변환기와, 자체 화각(畵角) 범위에 따라 영상 변환기가 제공하는 1개 영상의 전체 화면 중 일부분을 시청 가능하게 하고 시청자의 모션에 대응하여 1개 영상의 다른 부분 시청을 가능하게 하는 HMD를 포함하여 이루어진다.
도 2는 본 발명에 따른 촬영 방식 및 VR 영상을 제작하는 원리를 도시한 도면이다.
상기 카메라(CAM)는 복수개가 길이방향을 따라 배치되어 대상물을 촬영하기 위한 것으로, 각각이 서로 다른 촬영 범위를 가질 수도 있으나 바람직하게는 동일한 촬영 범위를 갖도록 하고 일정 간격으로 카메라들이 배치되도록 하여 카메라간 영상의 중첩되는 부분 또한 균일하도록 함으로써 영상 변환기에서 중첩되는 영역 제거를 위한 프로세스가 카메라의 일정 간격 및 범위를 반영하여 용이하게 진행되도록 할 수 있다.
예로써, 동일한 촬영범위를 갖는 n개의 카메라들(1번 CAM, 2번 CAM, 3번 CAM, 4번 CAM)이 길이방향을 따라 일부 중첩된 촬영 영역을 갖도록 일정 간격으로 배치되어져 스테이지(STAGE)의 각기 다른 대상을 촬영하게 된다.
상기 카메라(CAM)는 카메라 어레이 장치를 통해 길이방향으로 배치될 수 있는데, 이러한 카메라 어레이 장치는 복수개의 카메라를 배치하기 위한 경로를 제공하는 레일 트랙과, 카메라를 레일 트랙에 고정시키기 위한 레일 커넥터와, 카메라 및 레일 커넥터 사이에 개재되고 높이 조절이 가능한 높이조절수단으로 이루어질 수 있다.
이러한 상기 카메라 어레이 장치에 따르면, 레일 트랙상에 복수개의 카메라를 간격을 두어 레일 커넥터로 고정시키고 높이조절수단으로 촬영 대상 높이를 조절하게 되는 과정을 통해 대상물 촬영을 위한 카메라 위치를 손쉽게 설정할 수 있게 되며, 레일 트랙, 레일 커넥터, 높이조절수단의 구조는 종래 공지된 다양한 것들이 적용될 수 있다.
상기 영상 변환기는 복수개의 카메라가 촬영한 각각의 영상에 대해 중첩되는 부분을 제거한 다음 연결하여 1개 영상으로 변환하는 기능을 수행하는 것으로, 예를 들어 도 1에서와 같이 1번 CAM, 2번 CAM, 3번 CAM 및 4번 CAM 각각이 촬영한 영상에서 중첩 영역을 제거한 후에 연결하게 된다.
여기서, 상기 영상 변환기는 HMD의 자체 화각 범위에 대응하는 1개 영상의 일부만을 실시간으로 HMD에 전송할 수 있으며 이러한 영상 변환기 전송 기능에 대한 사항은 다음과 같다.
1) 영상 변환기를 통해 제작된 1개 영상은 단일한 파일 사이즈로 보면 상당히 대용량일 수 있기 때문에 대용량의 영상을 모두 전송받아 HMD로 시청한다면 시청 환경이 매우 열악해 질 수 있기도 하고 시청자가 대용량 영상을 한꺼번에 모두 시청할 필요가 없으므로 원활한 컨텐츠 시청을 위해 전체 영상이 아닌 시청자가 보고 있는 화각 부분의 영상만 신속하게 전송할 수 있는 파일 접근 방식 적용(영상 변환기와 HMD가 직접 통신)
2) 인터넷과 같은 온라인 네트워크를 통해 영상 변환기를 거쳐 제작된 1개 영상을 HMD로 시청할 때 거대한 파일 전체를 송출하는 것이 아니라 시청자의 시점에서 필요한 영상 부분만 전송하는 미디어 스트리밍 방식 적용(영상 변환기와 HMD가 네트워크를 통해 간접적으로 유선 또는 무선으로 통신하며, 무선 통신 방식으로는 Wifi, Zigbee, Bluetooth를 포함한 무선 근거리 통신과 CDMA, WCDMA, LTE, 5G 등의 네트워크 방식을 포함한 무선 원거리 통신 등이 채택될 수 있음)
위에서 언급하는 온라인 네트워크라 함은 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 주고 받을 수 있는 데이터 통신망을 포괄적으로 의미하는 것이다.
도 6은 본 발명에 따른 시청자 모션 반응형 VR 시스템 중 영상변환기의 카메라 영상 처리과정을 도시한 흐름도이다.
상기 영상 변환기는 복수개의 카메라가 촬영한 각각의 영상이 최초로 입력되었을 경우 정합선 추출, 컬러 매칭 테이블 추출, 카메라 정렬 체크 후의 이미지 디스토션 테이블 추출 등에 의해 중첩되는 면적을 제거한 다음 연결하여 1개 영상으로 변환하게 되며, 또한 복수개의 카메라 배열 데이터에 기초하여 이미지 프로젝션 데이터를 저장하게 된다.
이하에서는 도 6을 참조로 하여 상기 영상 변환기가 복수개의 카메라 영상에서 중첩되는 영상을 제거한 다음으로 1개 영상으로 변환하는 과정에 대해 살펴보기로 한다.
1) n개 카메라 각각이 영상 촬영
2) 영상 변환기에 n개 카메라의 영상 입력
3) n개 카메라의 영상이 최초 입력인지 여부를 판단
4) n개 카메라의 영상이 최초 입력일 경우 정합선 추출, 컬러 매칭 테이블 추출, 카메라 정렬 체크 후의 이미지 디스토션 테이블 추출 등을 통해 영상의 중첩되는 부분 제거 후 이미지 프로세싱을 통해 완전한 1개 영상으로 변환하는 한편, 카메라가 배열 데이터에 대응하는 이미지 프로젝션 데이터를 생성
5) n개 카메라의 영상이 최초 입력이 아닐 경우 이미지 프로세싱 과정, 예로써 미리 만들어진 데이터(정합선, 컬러 테이블, 디스토션 테이블)를 이용해서 간단한 필터링과 MUX(=영상 파일을 잘라내고 합치는) 과정을 거쳐서 미리 저장된(혹은 저장되고 있는) 영상을 불러 하나의 VR 영상으로 빠르게 전환하여 저장
상기 영상 변환기가 위와 같은 과정에 따라 영상을 변환하는데 사용되는 용어의 세부적인 의미는 아래와 같다.
* 정합선 추출: 서로 다른 카메라가 만든 영상을 하나로 합치기 위해 겹치는 면적과 각각의 영상을 잘라낼 때 사용하는 경계선을 추출
* 컬러 매칭 테이블 추출: 설치된 위치와 각도가 다른 카메라는 카메라간에 컬러가 일치되지 않을 수 있음에 따라, 서로 겹치는 면적을 이용해 영상 차이를 확인하고 한 카메라의 컬러에 다른 카메라 영상의 데이터를 일치시키기 위한 컬러 매칭 테이블을 미리 추출
* 카메라 정렬 체크 후의 이미지 디스토션 테이블 추출: 복수개의 카메라가 양호하게 설치되었을지라도 상호간에 위치가 미세하게 빗나가 있을 수 있는데, 이 정렬을 체크를 해서 촬영된 영상을 이상적인 위치의 영상으로 이동시키는 디스토션 테이블을 미리 생성
* 카메라가 배열 데이터에 대응하는 이미지 프로젝션 데이터 생성: 카메라의 배열에 맞추어 시청자의 시점이 이동 가능한 범위를 설정하고 사방을 둘러보게 되는 프로젝션 형태를 정의하는 데이터를 생성
(일반적인 VR은 한점에 고정된 시점을 기준으로 완벽한 구에 따른 형태로 영상이 프로젝션되지만, 본 발명은 시청자가 움직이는 동선을 따라 카메라가 배열 및 설치되고 이 카메라들 배치에 따라 시청자의 이동이 가능한 범위와 시청자가 둘러보게 되는 영상 프로젝션 형태가 달라지며, 이를 정의하는 데이터를 생성해서 저장해두었다가 시청할 때 이용)
* 이미지 프로세싱: 다음의 두 과정을 합쳐서 지칭함
1) 필터링 - 카메라간의 컬러를 일치시키기 위한 컬러 변환 필터링과, 미세하게 흐트러진 카메라를 바로 잡는 이미지 디스토션 필터링
2) MUX - 영상을 경계에 맞추어 잘라내고 영상들을 합치는 과정으로, 최초 영상 입력시에 미리 계산되어 추출된 정합선을 이용하여 영상을 잘라냄
참고로, 기존의 VR 촬영은 기준점을 중심으로 원을 그리면서 대상을 촬영하는 방식에 따르지만, 본 발명에서는 촬영 대상 스테이지를 향해 공간을 모두 커버할 수 있는 화각을 갖도록 여러 대의 카메라를 설치하게 되고 각 카메라의 개별 화면은 중첩되는 면적을 제거하는 과정을 거쳐 1개의 영상으로 합쳐지게 되며, 결국 스테이지를 전부 커버하도록 카메라가 설치되면 그 넓이에 대응하는 비율의 영상 제작 및 가상 현실 시청이 가능해진다.
도 3은 본 발명에 따른 시청자 모션 반응형 VR 시스템 중 HMD 착용 후 시청자가 정면을 주시할 때의 시청범위를 도시한 도면이고, 도 4는 HMD 착용 후 시청자가 정면을 주시하면서 옆으로 이동할 때 시청범위를 도시한 도면이며, 도 5는 HMD 착용 후 시청자가 제자리에서 고개를 돌릴 때 시청범위를 도시한 도면이다.
상기 HMD는 영상 변환기에 의해 변환된 1개 영상을 시청하기 위해 시청자가 머리에 착용하는 기기로, HMD에서 보이는 화면은 1개 영상의 전체가 아니라 HMD 자체에서 제공하는 화각에 부합하는 부분, 즉 전체 화면에서 일부분만이 보여지게 된다.
여기서, 상기 HMD는 도 4에서와 같이 시청자가 정면을 주시하면서 옆으로 이동하거나 시청 위치를 옆으로 이동시킬 경우에 대응하여 1개 영상 전체 중 수평으로 이동된 부분의 시청을 가능하게 하며, 또 한편으로는 도 5에서와 같이 시청자가 제자리를 기준으로 고개를 돌리거나 회전할 경우에 대응하여 자체 화각 범위 내에서 1개 영상 전체 중 일부분을 시청 가능하게 할 수 있다.
추가로, 복수개의 카메라를 촬영 대상을 기준으로 전방과 후방에 설치하여 영상 변환기로 1개 영상으로 제작하게 되면 시청자가 영상을 좌우로 이동하면서 볼 수 있음과 동시에 제자리에서 고개를 돌리거나 회전할 시에는 360°시청 또한 가능할 수 있다.
이러한 상기 HMD는 영상 변환기를 거쳐 제공되는 가상 현실 영상의 시청을 위한 전용기기로 제작될 수도 있고 종래 스마트폰을 활용하여 가상 현실 영상 시청이 가능할 수 있는데, 후자의 경우는 시청자의 움직임을 감지하기 위한 모션센서 및 시청자의 손짓 제스처를 인식하기 위한 후면 카메라를 갖는 통상의 스마트폰과, 이러한 스마트폰의 고정이 가능한 보호커버를 포함하여 이루어질 수 있다.
그리고, 상기 보호커버에는 후면 카메라와는 별개로 손짓 제스처를 인식하기 위한 센싱모듈이 더 구비될 수 있으며, 센싱모듈은 단독으로 손짓 제시처를 인식하도록 사용되거나 후면 카메라와 함께 손짓 제스처를 인식하는데 상호 보완적으로 기능할 수 있다.
손짓 제스처의 일례로는 가위, 바위, 보와 같은 손 형상을 비롯하여 손가락 두개로 V자를 만들거나, 손가락 하나면 펴는 등 다양한 것들이 있으며 해당 제스처를 HMD가 인식하여 영상 시청을 위해 미리 규정된 기능들(예: 영상 이동, 영상 건너뛰기, 영상 크기 조절 등)이 수행된다.
또한, 전기적 배선 라인을 갖거나 컬러에 의한 색상 식별이 용이한 감지 보조용 장갑을 통해서 후면 카메라, 센싱모듈의 손짓 제스처 인식률을 더욱 향상시킬 수도 있다.
이상에서 첨부된 도면을 참조하여 본원발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 길이방향을 따라 배치되는 복수개의 카메라와;
    복수개의 카메라가 촬영한 각각의 영상에 대해 중첩되는 면적을 제거한 다음 연결하여 1개 영상으로 변환하기 위한 영상 변환기와;
    자체 화각(畵角) 범위에 따라 영상 변환기가 제공하는 1개 영상의 전체 화면 중 일부분을 시청 가능하게 하고, 시청자의 모션에 대응하여 1개 영상의 다른 부분 시청을 가능하게 하는 HMD(Head Mount Display);를 포함하여 이루어지는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  2. 청구항 1에 있어서,
    상기 HMD는 시청자가 정면을 주시하면서 옆으로 이동하거나 시청 위치를 옆으로 이동시킬 경우에 대응하여 1개 영상의 전체 화면 중 수평으로 이동된 부분의 시청을 가능하게 하는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  3. 청구항 1에 있어서,
    상기 HMD는 시청자가 제자리를 기준으로 고개를 돌리거나 회전할 경우에 대응하여 자체 화각 범위 내에서 1개 영상의 전체 화면 중 일부분을 시청 가능하게 하는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  4. 청구항 1에 있어서,
    상기 HMD는 시청자의 움직임을 감지하기 위한 모션센서 및 시청자의 손짓 제스처를 인식하기 위한 후면 카메라를 갖는 스마트폰과, 상기 스마트폰의 고정이 가능한 보호커버를 포함하여 이루어지는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  5. 청구항 4에 있어서,
    상기 보호커버에는 손짓 제스처를 인식하기 위한 센싱모듈이 더 구비되는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  6. 청구항 5에 있어서,
    상기 후면 카메라 및 센싱모듈 중 적어도 어느 하나 이상이 손짓 제스처를 용이하게 인식하도록 하기 위한 감지 보조용 장갑을 더 포함하는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  7. 청구항 1에 있어서,
    상기 영상 변환기는 HMD의 자체 화각 범위에 대응하는 1개 영상 중 일부분만을 실시간으로 HMD에 전송 가능한 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  8. 청구항 1에 있어서,
    복수개의 카메라를 배치하기 위한 경로를 제공하는 레일 트랙과,
    상기 카메라를 레일 트랙에 고정시키기 위한 레일 커넥터와,
    상기 카메라 및 레일 커넥터 사이에 개재되고 높이 조절이 가능한 높이조절수단으로 이루어진 카메라 어레이 장치를 더 포함하는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  9. 청구항 1에 있어서,
    상기 영상 변환기는 복수개의 카메라가 촬영한 각각의 영상이 최초로 입력되었을 경우 정합선 추출, 컬러 매칭 테이블 추출 및 카메라 정렬 체크 후의 이미지 디스토션 테이블 추출 중 적어도 어느 하나 이상에 의해 중첩되는 면적을 제거한 다음 연결하여 1개 영상으로 변환하는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
  10. 청구항 9에 있어서,
    상기 영상 변환기는 복수개의 카메라 배열 데이터에 기초하여 이미지 프로젝션 데이터를 생성하는 것을 특징으로 하는 시청자 모션 반응형 VR 시스템.
KR1020180050992A 2018-05-03 2018-05-03 시청자 모션 반응형 vr 시스템 KR20190126990A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180050992A KR20190126990A (ko) 2018-05-03 2018-05-03 시청자 모션 반응형 vr 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180050992A KR20190126990A (ko) 2018-05-03 2018-05-03 시청자 모션 반응형 vr 시스템

Publications (1)

Publication Number Publication Date
KR20190126990A true KR20190126990A (ko) 2019-11-13

Family

ID=68534720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180050992A KR20190126990A (ko) 2018-05-03 2018-05-03 시청자 모션 반응형 vr 시스템

Country Status (1)

Country Link
KR (1) KR20190126990A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015274A (zh) * 2020-08-26 2020-12-01 深圳市创凯智能股份有限公司 沉浸式虚拟现实系统显示方法、系统及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029634B1 (ko) 2006-02-20 2011-04-15 파나소닉 전공 주식회사 영상 신호 처리 장치 및 가상 현실감 생성 시스템
KR101696102B1 (ko) 2015-11-04 2017-01-13 계명대학교 산학협력단 가상현실 제공 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029634B1 (ko) 2006-02-20 2011-04-15 파나소닉 전공 주식회사 영상 신호 처리 장치 및 가상 현실감 생성 시스템
KR101696102B1 (ko) 2015-11-04 2017-01-13 계명대학교 산학협력단 가상현실 제공 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015274A (zh) * 2020-08-26 2020-12-01 深圳市创凯智能股份有限公司 沉浸式虚拟现实系统显示方法、系统及可读存储介质
CN112015274B (zh) * 2020-08-26 2024-04-26 深圳市创凯智能股份有限公司 沉浸式虚拟现实系统显示方法、系统及可读存储介质

Similar Documents

Publication Publication Date Title
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
EP3198862B1 (en) Image stitching for three-dimensional video
US10382680B2 (en) Methods and systems for generating stitched video content from multiple overlapping and concurrently-generated video instances
US8768141B2 (en) Video camera band and system
US11205305B2 (en) Presentation of three-dimensional video
US11024083B2 (en) Server, user terminal device, and control method therefor
US10686985B2 (en) Moving picture reproducing device, moving picture reproducing method, moving picture reproducing program, moving picture reproducing system, and moving picture transmission device
US10110814B1 (en) Reducing bandwidth for video streaming using de-warping and video analytics
CN110419224B (zh) 消费视频内容的方法、电子设备和服务器
WO2017086263A1 (ja) 情報処理装置および画像生成方法
WO2016021252A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
CN117784938A (zh) 在增强现实和虚拟现实环境之间链接和交互的系统和方法
CN106710002A (zh) 基于观察者视角定位的ar实现方法及其系统
US10096166B2 (en) Apparatus and method for selectively displaying an operational environment
JP6165681B2 (ja) 画像表示装置及び画像表示方法
US20180124374A1 (en) System and Method for Reducing System Requirements for a Virtual Reality 360 Display
CN105791810A (zh) 一种虚拟立体显示的方法及装置
JP5348114B2 (ja) 情報表示システム、装置、方法及びプログラム
KR20190126990A (ko) 시청자 모션 반응형 vr 시스템
JP7110378B2 (ja) 深度データを用いた拡張現実画像提供方法及びプログラム
EP3654099A2 (en) Method for projecting immersive audiovisual content
US9979930B2 (en) Head-wearable apparatus, 3D video call system and method for implementing 3D video call
KR20190053565A (ko) 스티칭 장치를 이용한 생방송 스티칭 방법
KR20190094040A (ko) 사진 촬영 이미지를 생성하기 위한 모바일 단말기 및 사진 촬영 이미지를 생성하는 방법
CN117729320A (zh) 图像显示方法、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right