KR101816208B1 - 멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법 - Google Patents

멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR101816208B1
KR101816208B1 KR1020170039104A KR20170039104A KR101816208B1 KR 101816208 B1 KR101816208 B1 KR 101816208B1 KR 1020170039104 A KR1020170039104 A KR 1020170039104A KR 20170039104 A KR20170039104 A KR 20170039104A KR 101816208 B1 KR101816208 B1 KR 101816208B1
Authority
KR
South Korea
Prior art keywords
screen
main screen
sub
screens
image
Prior art date
Application number
KR1020170039104A
Other languages
English (en)
Inventor
소병택
정승호
Original Assignee
주식회사 오렌지베리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오렌지베리 filed Critical 주식회사 오렌지베리
Priority to KR1020170039104A priority Critical patent/KR101816208B1/ko
Application granted granted Critical
Publication of KR101816208B1 publication Critical patent/KR101816208B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명에 의하면, 적어도 하나의 실시간 영상을 수신하기 위한 통신부, 및 적어도 하나의 실시간 영상을 포함하는 복수의 콘텐츠를 이용하여 멀티 레이어(multi layer) 영상을 생성하기 위한 콘텐츠 처리부를 포함하고, 멀티 레이어 영상은 상기 복수의 콘텐츠를 VR 화면 상에 디스플레이하기 위한 것인, 멀티 앵글 기반 VR 디스플레이 제공 장치가 제공된다.

Description

멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법 {DEVICE AND METHOD FOR VIRTUAL REALITY MIXED DISPLAY BASED ON MULTI ANGLE}
본 발명은 복수의 콘텐츠를 디스플레이하기 위한 멀티 앵글 기반의 가상 현실(Virtual Reality, VR) 디스플레이 장치 및 관련 방법에 관한 것이다. 보다 구체적으로, 적어도 하나의 실시간 영상을 포함하는 복수의 콘텐츠를 멀티 레이어(multi layer) 영상으로 생성하고 이를 VR 화면 상에 디스플레이하기 위한 장치 및 방법에 관한 것이다.
종래의 생중계 콘텐츠 영상은 2D 화면 생중계에 머물러 있어 생중계를 시청하는 사람들은 프로젝션으로 나오는 화면이나 TV 모니터 등을 통해 카메라가 잡는 영상만을 보게 된다. 이에 따라 시청자들에게 보여지는 정보가 한정적이고 메인 프로그램과 관련된 부가 정보나 관련된 다양한 콘텐츠를 동시에 디스플레이하기 힘들뿐만 아니라, 이와 같은 다양한 관련 정보에 접근하기 위한 사용자 편의를 갖춘 인터페이스가 제공되고 있지 않다.
이와 같은 종래의 생중계 콘텐츠 화면은 수동적이고 제한적인 방송 콘텐츠로서의 한계를 가지고 있어, 보다 인터렉티브하고 실시간으로 다양한 정보를 효과적으로 전달가능한 디스플레이 방식 및 인터페이스가 필요한 상황이다.
대한민국 등록특허 제10-1206340호
본 발명은 복수의 콘텐츠를 멀티 레이어 오버레이 기술을 통해 다양한 시야각을 갖도록 동시에 디스플레이함으로써, 멀티 앵글 기반의 VR 영상 디스플레이가 가능한 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 실시간 영상을 포함하는 복수의 콘텐츠를 주 화면과 보조 화면들을 포함하는 VR 화면으로 제공함으로써, 메인 프로그램과 관련된 부가 정보나 관련된 다양한 콘텐츠를 동시에 디스플레이가능한 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 실시간 VR 영상의 다양한 각도에서의 화면 및 관련 정보를 효과적으로 디스플레이하고 사용자가 편리하게 상호작용(interaction)할 수 있는 멀티 앵글 기반 VR 융합 인터페이스를 제공하는 것을 목적으로 한다.
본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에서, 멀티 앵글(multi angle) 기반 가상 현실(VR) 디스플레이 제공 장치에 있어서, 적어도 하나의 실시간 영상을 수신하기 위한 통신부; 및 적어도 하나의 실시간 영상을 포함하는 복수의 콘텐츠를 이용하여 멀티 레이어(multi layer) 영상을 생성하기 위한 콘텐츠 처리부를 포함하고, 상기 멀티 레이어 영상은 상기 복수의 콘텐츠를 VR 화면 상에 디스플레이하기 위한 것인, 멀티 앵글 기반 VR 디스플레이 제공 장치를 제공할 수 있다.
여기서, 상기 멀티 레이어 영상은 VR 영상인 주 화면(main screen) 및 복수의 보조 화면을 포함할 수 있다. 또한, 상기 복수의 보조 화면은 상기 주 화면과 상이한 시야각을 갖도록 구성될 수 있다. 또한, 상기 복수의 보조 화면 중 적어도 하나는 실시간 VR 영상으로 구성될 수 있다. 또한, 상기 복수의 보조 화면은 상기 주 화면의 배경 영역 상에 상기 주 화면과 오버레이되어 디스플레이되도록 구성될 수 있다.
또한, 상기 콘텐츠 처리부는 사용자 입력에 기초하여 선택된 보조 화면을 주 화면으로 변환하고, 기존 주 화면은 보조 화면으로 변환시킬 수 있다. 또한, 상기 사용자 입력은 사용자가 상기 복수의 보조 화면 중 어느 하나의 보조 화면을 응시하며 미리 결정된 기준 시간 내에 눈을 깜빡인 횟수에 기초하여 결정될 수 있다. 또한, 상기 주 화면과 상기 복수의 보조 화면 중 어느 하나의 변환이 미리 결정된 기준에 따라 실시간으로 자동으로 수행되도록 구성될 수 있다.
본 발명의 다른 실시예에서, 멀티 앵글(multi angle) 기반 가상 현실(VR) 디스플레이 제공 방법에 있어서, 적어도 하나의 실시간 영상을 수신하는 단계; 및 적어도 하나의 실시간 영상을 포함하는 복수의 콘텐츠를 멀티 레이어(multi layer) 영상으로 생성하는 단계를 포함하고, 상기 멀티 레이어 영상은 상기 복수의 콘텐츠를 VR 화면 상에 디스플레이하기 위한 것인, 멀티 앵글 기반 VR 디스플레이 제공 방법을 제공할 수 있다.
여기서, 상기 멀티 레이어 영상은 VR 영상인 주 화면(main screen) 및 복수의 보조 화면을 포함할 수 있다. 또한, 상기 복수의 보조 화면은 상기 주 화면과 상이한 시야각을 갖도록 구성될 수 있다. 또한, 상기 복수의 보조 화면은 상기 주 화면의 배경 영역 상에 상기 주 화면과 오버레이되어 디스플레이되도록 구성될 수 있다.
또한, 상기 방법은 사용자가 상기 복수의 보조 화면 중 어느 하나의 보조 화면을 응시하며 미리 결정된 기준 시간 내에 눈을 깜빡인 횟수에 기초하여 응시된 보조 화면을 주 화면으로 변환시키는 단계를 더 포함할 수 있다. 또한, 상기 주 화면과 상기 복수의 보조 화면 중 어느 하나의 변환이 미리 결정된 기준에 따라 실시간으로 자동으로 수행되도록 구성될 수 있다.
본 발명에 의하면, 복수의 콘텐츠를 멀티 레이어 오버레이 기술을 통해 다양한 시야각을 갖도록 동시에 디스플레이함으로써, 멀티 앵글 기반의 VR 영상 디스플레이가 가능한 장치 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 실시간 영상을 포함하는 복수의 콘텐츠를 주 화면과 보조 화면들을 포함하는 VR 화면으로 제공함으로써, 메인 프로그램과 관련된 부가 정보나 관련된 다양한 콘텐츠를 동시에 디스플레이가능한 장치 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 실시간 VR 영상의 다양한 각도에서의 화면 및 관련 정보를 효과적으로 디스플레이하고 사용자가 편리하게 상호작용(interaction)할 수 있는 멀티 앵글 기반 VR 융합 인터페이스를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 멀티 앵글(multi angle) 기반 가상 현실(VR) 디스플레이 제공 장치의 구성을 설명하기 위한 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 멀티 앵글 기반 가상 현실(VR) 디스플레이 제공 장치의 구성을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 멀티 앵글 기반 가상 현실(VR) 디스플레이 제공 시스템의 구성을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 멀티 앵글 기반 가상 현실(VR) 디스플레이 제공 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 병원 수술실 내의 촬영 카메라의 배치를 설명하기 위한 배치도이다.
도 6은 본 발명의 일 실시예에 따른 멀티 앵글 기반의 VR 디스플레이 화면을 시야각으로 한정한 화면이다.
도 7은 본 발명의 일 실시예에 따른 멀티 앵글 기반의 VR 디스플레이 화면의 360도 전체를 나타내는 화면이다.
이하, 첨부된 도면을 참조하여 본 발명에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다(comprises)", "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 이와 같은 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 멀티 앵글(multi angle) 기반 가상 현실(VR) 디스플레이 제공 장치의 구성을 설명하기 위한 개념도이다.
도 1을 참조하면, 멀티 앵글 기반 VR 디스플레이 제공 장치는 통신부(100), 저장부(200), 콘텐츠 처리부(300)를 포함할 수 있으며, 콘텐츠 처리부(300)는 멀티 레이어 영상 생성부(310) 및 음향 처리부(320)를 포함할 수 있다.
통신부(100)는 복수의 카메라들로부터 촬영되는 실시간 영상, VR 영상, 이미지, 관련 데이터 정보 등 다양한 콘텐츠 소스를 수신하는 역할을 수행한다. 통신부(100)는 유선 통신이나 무선 통신 중 적어도 하나를 통한 데이터 송수신을 수행하며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN, Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network)등 다양한 통신망을 지원하도록 구성될 수 있으며, 예컨대 무선 통신 방식의 경우 LTE(long term evolution), LTA-A, WCDMA(wideband code division multiple access), WiFi(wireless fidelity), 블루투스(bluetooth) 및 NFC(near field communications) 중 적어도 하나를 지원하도록 구성될 수 있으며, 이들에 제한되지 않는다.
또한, 통신부(100)는 콘텐츠 처리부(300)에서 생성한 멀티 레이어 영상 등을 별도의 장치로 구성되는 디스플레이 장치에 유무선 통신 등을 이용하여 전송하는 역할도 수행할 수 있다.
저장부(200)는 통신부(100)를 통해 수신된 복수의 콘텐츠 및 콘텐츠와 관련된 정보를 저장하는 메모리로 구성될 수 있다. 또한, 저장부(200)는 콘텐츠 처리를 위해 필요한 프로그램 및 데이터 등을 함께 저장할 수 있다.
콘텐츠 처리부(300)는 멀티 레이어 영상 생성부(310) 및 음향 처리부(320)를 포함하며, 적어도 하나의 실시간 영상을 포함하는 복수의 콘텐츠를 이용하여 멀티 레이어(multi layer) 영상을 생성하는 역할을 수행하며, 이 멀티 레이어 영상은 복수의 콘텐츠를 디스플레이 장치의 VR 화면 상에 디스플레이하도록 구성된다.
멀티 레이어 영상 생성부(310)에서 통신부(100)를 통해 수신한 적어도 하나의 실시간 영상 및 이 영상들과 연관된 데이터, 이미지 등이 포함된 보조 정보가 포함된 복수의 콘텐츠를 오버레이하여 배치함으로써 멀티 레이어 영상을 생성한다. 멀티 레이어 영상은 복수의 콘텐츠를 VR 화면 상에 디스플레이하기 위해 생성된 것으로서, 예컨대 VR 영상인 주 화면 및 복수의 보조 화면들을 포함할 수 있다. 여기서, 복수의 보조 화면들은 주 화면과 상이한 시야각을 갖도록 구성될 수 있으며, 예컨대 주 화면은 사용자의 정면을 중심으로 360도 VR 화면으로 제공되고, 보조 화면은 주 화면 내에서 주요 인물이나, 주요 행위가 일어나지 않는 배경 영역 내에 배치될 수 있으며, 이에 따라 각각의 보조 화면들은 상이한 시야각을 갖도록 오버레이되어 멀티 앵글로 배치될 수 있다.
또한, 멀티 레이어 영상 생성부(310)는 사용자 입력 또는 미리 결정된 기준에 따라 주 화면과 보조 화면들 간의 변환을 수행할 수 있다. 예컨대, 사용자의 선택 입력에 의해 멀티 앵글로 제공되는 보조 화면들 중 하나가 선택되는 경우, 멀티 레이어 영상 생성부(310)에서 이 보조 화면을 주 화면으로 변환하여 360도 전체 화면으로 변경시키고, 기존의 주 화면을 보조 화면으로 변환하여 디스플레이되도록 생성할 수 있다.
음향 처리부(320)는 복수의 콘텐츠와 관련된 각각의 음향을 연관시키고, 멀티 레이어 영상에서 주 화면 및 보조 화면의 변환에 따라 현재 선택된 주 화면과 연관된 음향으로 변경되도록 음향을 처리한다. 또한, 사용자 선택에 따라 주 화면 및 보조 화면의 음향을 동시에 재생(play)하거나, 주 화면의 콘텐츠가 변경됨에 따라 해당 콘텐츠의 음향으로 변경 시에, 일정 시간 동안 무음 처리하거나, 안내 음향을 재생함에 따라 사용자가 주 화면의 콘텐츠가 변경되고 있음을 용이하게 인식하도록 구현가능하다.
도 2는 본 발명의 다른 실시예에 따른 멀티 앵글 기반 가상 현실(VR) 디스플레이 제공 장치의 구성을 설명하기 위한 개념도이다.
도 2에 따른 멀티 앵글 기반 VR 디스플레이 제공 장치는 도 1에서의 실시예에서 개시된 통신부(100), 저장부(200), 콘텐츠 처리부(300)를 포함하며, 추가로 디스플레이부(400), 음향부(500) 및 입력부(600)를 포함할 수 있다. 도 2에 따른 멀티 앵글 기반 VR 디스플레이 제공 장치는 멀티 앵글 VR 콘텐츠를 생성할 뿐만 아니라 직접 디스플레이하고, 음향을 재생하고, 사용자 입력을 수신 및 처리하는 등 하나의 단말에서 처리가능하며, 예컨대 VR 헤드셋, 헤드 마운트 디스플레이(Head mounted Display, HMD), 스마트 글래스 등의 웨어러블 장치 또는 스마트폰, 태블릿, 노트북과 같은 모바일 장치로도 구성될 수 있으며, 이에 한정되지 않는다.
디스플레이부(400)는 콘텐츠 처리부(300)의 멀티 레이어 영상 생성부(310)에서 생성된 멀티 레이어 영상을 출력하여 디스플레이하기 위한 역할을 수행하며, 헤드셋이나 HMD, 스마트 글래스에 일체형으로 구성 가능하며, 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등을 포함할 수 있으며, 이들에 제한되지 않는다.
디스플레이부(400)는 HMD나 VR 헤드셋과 같은 VR 전용 디스플레이 장치로 제공되어 멀티 앵글 기반의 VR 디스플레이 화면을 디스플레이할 수 있으며, 또한 스마트 폰, 태블릿 등과 같은 평면 스크린으로 구성되어, 멀티 앵글 디스플레이 화면을 제공하는 것도 가능하다. 이때 스마트폰 모드에서는 스마트폰의 가로 버전으로 화면이 자동 변환되고, 슬라이드 방식으로 멀티 앵글 기반의 360도 화면을 디스플레이하며, 사용자 터치 동작 등을 통해 시야각 이동이나 선택 입력 등을 수행가능하다.
음향부(500)는 콘텐츠 처리부(300)의 음향 처리부(320)에서 생성된 음향을 출력하는 역할을 수행하며, 복수의 스피커로 구성될 수 있다. 또한, 복수의 스피커를 이용하여 3D 사운드, VR 사운드를 제공함으로써 사용자에게 보다 실감나는 음향을 제공가능하다.
입력부(600)는 사용자 인터페이스를 위해 입력을 수신하는 역할을 수행하며, 터치 패드(touch pad), 터치 패널(touch pad), 키 패드(Key pad), 돔 스위치(dome switch), 물리 버튼, 조그 셔틀(jog shuttle) 및 센서(sensor) 중 적어도 하나로 구성될 수 있으며, 이들에 제한되지 않는다. 입력부(600)는 HMD와 같은 웨어러블 장치 등에서 사용자 입력 인터페이스를 보다 직관적이고 편리하게 제공하기 위해 센서부(610)를 포함할 수 있으며, 센서부(610)는 예컨대 모션 인식 센서, 음향 센서, 가속도계 센서, 자이로 센서 등 다양한 센서를 포함할 수 있으며 사용자의 움직임 또는 소리 등의 변화를 모니터링함으로써 사용자 입력을 수신 및 감지하는 역할을 수행한다.
예컨대, 센서부(610)는 모션 인식 센서를 포함함으로써, 사용자의 눈의 움직임을 모니터링 및 검출 가능하며, 예컨대, 사용자가 디스플레이부(400)에 디스플레이된 멀티 앵글 화면 중 특정 화면을 미리 결정된 시간, 예컨대 2초 내지 3초 이상 응시하는 경우, 이를 검출함으로써 그 응시된 화면을 주 화면으로 변환시킬 수 있다. 또한, 사용자가 멀티 앵글 화면 중 특정 화면을 응시하면서 미리 결정된 기준 시간, 예컨대 0.5초 내지 1초 내에 2번 이상 깜빡이는 행동을 인식함으로써, 그 응시된 보조 화면이 더블 클릭과 같이 선택된 것으로 인식하여 이를 주 화면으로 변환시킬 수 있다. 이와 같이, 사용자 편의성과 직관성을 높인 인터페이스를 제공함으로써 개선된 사용자 인터액션을 통해 복수의 콘텐츠 내의 선택 및 변환을 편리하게 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 멀티 앵글 기반 가상 현실(VR) 디스플레이 제공 시스템의 구성을 설명하기 위한 개념도이다.
제1 카메라(711) 및 제2 카메라(712) 등으로 구성된 복수의 카메라 세트를 포함하는 카메라(710)에서 촬영된 실시간 영상, 라이브 영상 등 다양한 콘텐츠가 유무선 통신 등을 통해 멀티 앵글 기반 VR 디스플레이 제공 장치(730)로 전송된다.
또한, 카메라(710)에서 촬영된 영상과 별도로 영상 관련 데이터 정보나 관련 이미지 등 다른 영상 소스(720)도 유무선 통신 등을 통해 멀티 앵글 기반 VR 디스플레이 제공 장치(730)로 전송될 수 있다.
멀티 앵글 기반 VR 디스플레이 제공 장치(730)는 도 1을 참조하여 전술한 바와 같이 구성될 수 있으며, 이때 멀티 앵글 기반 VR 디스플레이 제공 장치(730)에서 생성된 VR 디스플레이 영상이 VR 디스플레이 장치(740)로 유무선 통신 등을 통해 전송가능하다. 제1 디스플레이 장치(741), 제2 디스플레이 장치(742), 제3 디스플레이 장치(743) 등 복수의 VR 디스플레이 장치에서 VR 디스플레이 영상을 수신한 후, 수신된 영상을 실시간 재생 가능하다.
예컨대, 제1 카메라(711) 및 제2 카메라(712)로 구성된 VR 카메라 세트로 실시간 영상을 촬영하여 관련된 영상 소스(720)를 함께 멀티 앵글 기반 VR 디스플레이 제공 장치(730)로 전달하여 멀티 앵글 기반 VR 디스플레이 영상을 실시간 생성하고, VR 라이브 스트리밍 시스템을 통해 원격지에 위치한 VR 디스플레이 장치(740)를 통해 생중계할 수 있다. 원격지에 위치한 VR 디스플레이 장치(740)는 LTE, WiFi 등의 무선 네트워크 통신을 통해 VR 영상 화면을 라이브로 경험할 수 있다.
도 4는 본 발명의 일 실시예에 따른 멀티 앵글 기반 가상 현실(VR) 디스플레이 제공 방법을 설명하기 위한 흐름도이다.
먼저, 복수의 카메라들에 의해 촬영된 적어도 하나의 실시간 영상을 수신한다.(S410) 적어도 하나의 실시간 영상은 콘서트 현장, 운동 경기 현장, 수술이 진행되는 병원 수술실, 이벤트 현장, 1인 방송 촬영 현장 등 다양한 주제를 갖는 콘텐츠일 수 있으며, 이와 같은 실시간 영상은 360도 VR 영상으로 촬영된 것일 수 있다.
수신한 적어도 하나의 실시간 영상 및 이 영상들과 연관된 데이터, 이미지 등이 포함된 보조 정보가 포함된 복수의 콘텐츠를 오버레이하여 배치함으로써, 멀티 레이어 영상을 생성한다.(S420) 멀티 레이어 영상은 복수의 콘텐츠를 VR 화면 상에 디스플레이하기 위해 생성된 것으로서, 예컨대 VR 영상인 주 화면 및 복수의 보조 화면들을 포함할 수 있다. 여기서, 복수의 보조 화면들은 주 화면과 상이한 시야각을 갖도록 구성될 수 있으며, 예컨대 주 화면은 사용자의 정면을 중심으로 360도 VR 화면으로 제공되고, 보조 화면은 주 화면 내에서 주요 인물이나, 주요 행위가 일어나지 않는 배경 영역 내에 배치될 수 있으며, 이에 따라 각각의 보조 화면들은 상이한 시야각을 갖도록 오버레이되어 멀티 앵글로 배치될 수 있다.
이와 같이 멀티 앵글 기반으로 생성된 VR 화면이 사용자 장치에서 디스플레이된다.(S430) 사용자 시선의 움직임, 사용자 장치의 회전 등을 통해 멀티 앵글 기반의 VR 화면이 상하좌우 등으로 이동되어 제공될 수 있다.
VR 화면 내에 주 화면 및 보조 화면들에 배치되는 복수의 콘텐츠를 디스플레이하기 때문에, 화면의 선택 및 전환 등을 위한 멀티 앵글 기반 사용자 인터페이스가 제공된다.(S440) 예컨대, 사용자가 복수의 보조 화면 중 어느 하나를 미리 결정된 시간, 예컨대 2초 내지 3초 이상 응시하는 경우, 이를 검출함으로써 그 응시된 보조 화면이 선택된 것으로 인식하여 이를 주 화면으로 변환시킬 수 있다. 또는 사용자가 복수의 보조 화면 중 어느 하나의 보조 화면을 응시하면서 미리 결정된 기준 시간, 예컨대 1초 내에 2번 이상 깜빡이는 행동을 인식함으로써, 그 응시된 보조 화면이 선택된 것으로 인식하여 이를 주 화면으로 변환시킬 수 있다. 이와 같이, 사용자 편의성과 직관성을 높인 인터페이스를 제공함으로써 개선된 사용자 인터액션을 통해 복수의 콘텐츠 내의 선택 및 변환을 편리하게 제공할 수 있다.
이와 같은 인터페이스를 통한 사용자 입력에 의해 주 화면/보조 화면 변환이 이루어질 수 있다.(S450) 또한, 사용자의 선택 및 변환 입력 없이, 미리 결정된 기준에 따라 주 화면/보조 화면 변환이 실시간으로 자동 수행되도록 구성될 수 있다. 예컨대, 콘텐츠의 스토리 진행에 따라 시간 흐름에 맞는 주 화면을 자동 변경하여, 사용자의 선택 및 변환 동작 없이도 사용자에게 실시간으로 가장 적합한 콘텐츠를 주 화면으로 제공가능할 것이다.
도 5는 본 발명의 일 실시예에 따른 병원 수술실 내의 촬영 카메라의 배치를 설명하기 위한 배치도이다.
도 5에 도시된 바와 같이, 360도 촬영 카메라 세트가 복수 개의 위치에 설치될 수 있다. 예컨대, 제1 카메라 세트는 수술실 전체를 볼 수 있는 전경 화면을 위한 카메라 세트로 한쪽 벽이나 수술실 문 쪽에 설치할 수 있다. 또한, 2번째 카메라 세트는 수술하는 장면을 촬영하는 카메라로 직접 장기를 수술하는 부분의 바로 위 천장에 설치됨으로써, 집도의의 시선으로 수술 장면을 전체적으로 볼 수 있도록 촬영가능하다.
또한, 카메라 세트 중 1대의 카메라의 신호는 별도로 분리해 수술 장면의 확대용으로 설치함으로써 멀티 앵글의 디스플레이로 구성가능하며, 필요한 부분 및 다양한 각도에서의 촬영을 위해 다수의 카메라를 추가로 설치 가능하다.
도 6은 본 발명의 일 실시예에 따른 멀티 앵글 기반의 VR 디스플레이 화면을 시야각으로 한정한 화면이다.
도 6은 기본 시야각, 예컨대 80도 내지 120도의 시야각 내에 나타나는 멀티 앵글 기반의 VR 디스플레이 화면의 예시를 나타낸다. VR 디스플레이 화면은 크게 주 화면(810)과 보조 화면(820)으로 구분할 수 있으며, 복수의 콘텐츠를 오버레이하여 디스플레이하며, 또한 보조 화면(820)의 경우 주 화면(810)에서 수술이 이루어지는 중요 영역과 겹치지 않도록 정면이 아닌 측면의 특정 시야각 내에 나타나도록 배치가능하다.
도 6을 참조하면, 주 화면(810)은 수술이 이루어지는 위치를 중심으로 수술실 전경을 보여주고 있으며, 보조 화면(820)은 해당 수술과 연관된 각 장기 데이터 및 수술 관련 의료 정보 등을 각각의 해당 모니터의 영상 소스를 전송 받아서 멀티 앵글로 보여주고 있다. 여기서, 주 화면(810)에서 수술이 이루어지는, 의사들이 위치하는 중요 위치를 객체 영역(811)으로 판단할 수 있으며, 의사 등 객체가 존재하지 않는 위치를 배경 영역(812)으로 판단하여, 배경 영역(812) 상에 보조 화면(820)을 배치가능하다. 이와 같은 객체 영역(811)과 배경 영역(812)의 구분은 영상 처리 기술과 딥 러닝을 통한 이미지 분석을 통해 컴퓨터에서 자동으로 수행될 수 있으며, 배경 영역(812) 상의 적절한 위치에 보조 화면(820)이 자동으로 배치될 수 있을 것이다. 또한, 영상을 보면서 작업자가 수동으로 진행하며, 객체 영역(811)과 배경 영역(812)을 구분하고, 배경 영역(812) 상의 적절한 곳에 보조 화면(820)을 배치하는 것도 가능할 것이다.
사용자는 VR 헤드셋과 같은 장치를 통해 멀티 앵글로 디스플레이되는 다양한 콘텐츠 화면 중에 원하는 화면을 선택할 수 있다. 예컨대, 수술 부위 장면, 수술실 전경 장면, 각 신체 정보 모니터 등의 화면을 선택할 수 있다. 선택된 화면은 전면에 주 화면으로서 대형 화면으로 확대되어 나타날 수 있다. 또한, 사용자가 착용한 VR 헤드셋 내의 디스플레이 인터페이스 기술을 통해 눈 앞에 디스플레이되는 주 화면은 수술 부위의 수술 장면이 나오게 되고, 이 화면은 360도 VR 영상으로 펼쳐지며, 이 화면의 배경 영역 중에 양 옆과 뒤 부분은 다중 디스플레이로 멀티 앵글로서 다양한 콘텐츠들이 메뉴처럼 디스플레이될 수 있다.
본 실시예에서는 의료용 병원 수술실 내에 진행되는 수술 진행 영상 및 이와 관련된 각종 의료 데이터 등 정보를 통합하여 멀티 앵글 기반의 VR 화면으로 보여주고 있으나, 중계 내용 또는 교육 내용에 따라 멀티 앵글로 보조 화면에 디스플레이되는 콘텐츠가 다양하게 달라질 수 있다. 예컨대, 어린이 영어 교육 콘텐츠를 제공하는 경우, 메인 교육 프로그램의 장면이 주 화면으로 360도 VR 영상으로 제공되고, 교육 관련 데이터 화면 등이 멀티 앵글로 보조 화면에 배치될 수 있다.
도 7은 본 발명의 일 실시예에 따른 멀티 앵글 기반의 VR 디스플레이 화면의 360도 전체를 나타내는 화면이다.
도 7을 참조하면, 360도 시야각 전체를 나타내는 VR 화면 내에 주 화면(910)과 복수의 보조 화면(921,922,923,924)가 멀티 앵글로 디스플레이되어 있다. 360도 시야각으로 제공되는 VR 화면인 주 화면(910)의 적절한 영역에 복수의 보조 화면(921,922,923,924)이 멀티 레이어로 오버레이되어 배치될 수 있으며, 보조 화면에 제공되는 컨텐츠(921,922,923,924)는 주 화면(910)의 컨텐츠와 연관된 데이터나 정보 또는 또 다른 VR 영상일 수 있다.
예컨대, 수술 교육을 위한 콘텐츠의 경우 도 7에서와 같이, 수술실 전경이 기본으로 360도 VR 화면으로 디스플레이되고, 다른 카메라 세트로 촬영된 영상은 멀티 앵글 메뉴로 조그만 크기의 화면으로 메인 화면 옆 쪽에 배경 영역에 위치할 수 있다. 수술이 시작되면 다른 카메라가 기본 화면으로 전환되어 수술 부위 장면이 디스플레이될 수 있으며, 이때 수술실 전경 화면과 의료 정보 데이터 소스 화면들은 보조 화면으로 오버레이 되어 메뉴처럼 디스플레이될 수 있다.
본 기술은 가상 현실(VR) 디스플레이에 기반하여 주로 설명하였지만, 증강 현실(Augmented Reality, AR) 기술에도 적용가능하며, 증강 현실 기반의 헤드셋 내의 디스플레이 상에서도 멀티앵글 디스플레이 기반으로 다양한 콘텐츠에 기반하여 멀티앵글화면과 데이터의 실시간 중계가 가능할 것이다.
본 발명의 명세서에 개시된 실시예들은 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않는 것이다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
100: 통신부 200: 저장부
300: 콘텐츠 처리부 310: 멀티 레이어 영상 생성부
320: 음향 처리부 400: 디스플레이부
500: 음향부 600: 입력부
610: 센서부 710: 카메라
720: 영상 소스
730: 멀티 앵글 기반 VR 디스플레이 제공 장치
740: VR 디스플레이 장치

Claims (14)

  1. 멀티 앵글(multi angle) 기반 가상 현실(VR) 디스플레이 제공 장치에 있어서,
    적어도 하나의 실시간 영상을 수신하기 위한 통신부; 및
    적어도 하나의 실시간 영상을 포함하는 복수의 콘텐츠를 이용하여 멀티 레이어(multi layer) 영상을 생성하기 위한 콘텐츠 처리부를 포함하고,
    상기 멀티 레이어 영상은 VR 영상인 주 화면(main screen) 및 복수의 보조 화면을 포함하고, 상기 주 화면은 사용자의 정면을 중심으로 360도로 디스플레이되며, 상기 사용자의 시선의 움직임 또는 상기 VR 디스플레이 제공 장치의 회전을 통해 상기 주 화면이 상하좌우로 이동되도록 디스플레이되고,
    상기 멀티 레이어 영상은 상기 복수의 콘텐츠를 VR 화면 상에 디스플레이하기 위한 것이며,
    상기 복수의 보조 화면은 상기 주 화면과 상이한 시야각을 갖도록 구성되는 것이고,
    상기 콘텐츠 처리부는 사용자 입력에 기초하여 선택된 보조 화면을 주 화면으로 변환하고, 기존 주 화면은 보조 화면으로 변환시킬 수 있으며,
    상기 사용자 입력은 사용자가 상기 복수의 보조 화면 중 어느 하나의 보조 화면을 응시하며 미리 결정된 기준 시간 내에 눈을 깜빡인 횟수에 기초하여 결정되는 것인, 멀티 앵글 기반 VR 디스플레이 제공 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 복수의 보조 화면 중 적어도 하나는 실시간 VR 영상으로 구성되는 것인, 멀티 앵글 기반 VR 디스플레이 제공 장치.
  5. 제1항에 있어서, 상기 복수의 보조 화면은 상기 주 화면의 배경 영역 상에 상기 주 화면과 오버레이되어 디스플레이되도록 구성되는 것인, 멀티 앵글 기반 VR 디스플레이 제공 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서, 상기 주 화면과 상기 복수의 보조 화면 중 어느 하나의 변환이 미리 결정된 기준에 따라 실시간으로 자동으로 수행되도록 구성되는 것인, 멀티 앵글 기반 VR 디스플레이 제공 장치.
  9. 멀티 앵글(multi angle) 기반 가상 현실(VR) 디스플레이 제공 방법에 있어서,
    적어도 하나의 실시간 영상을 수신하는 단계;
    적어도 하나의 실시간 영상을 포함하는 복수의 콘텐츠를 멀티 레이어(multi layer) 영상으로 생성하는 단계; 및
    사용자 입력에 기초하여 선택된 보조 화면을 주 화면으로 변환하고, 기존 주 화면은 보조 화면으로 변환시키는 단계
    를 포함하고,
    상기 멀티 레이어 영상은 VR 영상인 주 화면(main screen) 및 복수의 보조 화면을 포함하고, 상기 주 화면은 사용자의 정면을 중심으로 360도로 디스플레이되며, 상기 사용자의 시선의 움직임 또는 VR 디스플레이 제공 장치의 회전을 통해 상기 주 화면이 상하좌우로 이동되도록 디스플레이되고,
    상기 멀티 레이어 영상은 상기 복수의 콘텐츠를 VR 화면 상에 디스플레이하기 위한 것이며,
    상기 복수의 보조 화면은 상기 주 화면과 상이한 시야각을 갖도록 구성되는 것이고,
    상기 사용자 입력은 사용자가 상기 복수의 보조 화면 중 어느 하나의 보조 화면을 응시하며 미리 결정된 기준 시간 내에 눈을 깜빡인 횟수에 기초하여 결정되는 것인, 멀티 앵글 기반 VR 디스플레이 제공 방법.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서, 상기 복수의 보조 화면은 상기 주 화면의 배경 영역 상에 상기 주 화면과 오버레이되어 디스플레이되도록 구성되는 것인, 멀티 앵글 기반 VR 디스플레이 제공 방법.
  13. 삭제
  14. 제9항에 있어서, 상기 주 화면과 상기 복수의 보조 화면 중 어느 하나의 변환이 미리 결정된 기준에 따라 실시간으로 자동으로 수행되도록 구성되는 것인, 멀티 앵글 기반 VR 디스플레이 제공 방법.
KR1020170039104A 2017-03-28 2017-03-28 멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법 KR101816208B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170039104A KR101816208B1 (ko) 2017-03-28 2017-03-28 멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170039104A KR101816208B1 (ko) 2017-03-28 2017-03-28 멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101816208B1 true KR101816208B1 (ko) 2018-01-08

Family

ID=61003608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039104A KR101816208B1 (ko) 2017-03-28 2017-03-28 멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101816208B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059396A (ko) * 2019-11-15 2021-05-25 주식회사 더블유씨지 가상 현실 영상 연출 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059396A (ko) * 2019-11-15 2021-05-25 주식회사 더블유씨지 가상 현실 영상 연출 장치 및 방법
KR102271641B1 (ko) * 2019-11-15 2021-07-02 주식회사 더블유씨지 가상 현실 영상 연출 장치 및 방법

Similar Documents

Publication Publication Date Title
JP6992845B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US10455184B2 (en) Display device and information processing terminal device
CN113330736B (zh) 一种显示器及图像处理方法
US10380800B2 (en) System and method for linking and interacting between augmented reality and virtual reality environments
US9597590B2 (en) Methods and apparatus for accessing peripheral content
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
WO2017043399A1 (ja) 情報処理装置および画像生成方法
WO2017043398A1 (ja) 情報処理装置および画像生成方法
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
US11061466B2 (en) Apparatus and associated methods for presenting sensory scenes
KR102431712B1 (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
US11818454B2 (en) Controller and control method
KR20180051202A (ko) 디스플레이장치 및 그 제어방법
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JPH11298822A (ja) リモートコントロール装置およびリモートコントロールシステム
KR101816208B1 (ko) 멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법
JP2018165985A (ja) 情報処理装置および画像生成方法
CN114286077B (zh) 一种虚拟现实设备及vr场景图像显示方法
JP2004289779A (ja) 移動体撮像方法、移動体撮像システム
KR101805065B1 (ko) 시선 추적을 이용하여 컨텐츠를 선택적으로 제어하기 위한 장치 및 방법
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN113938633A (zh) 一种视频通话处理方法及显示设备
KR102165026B1 (ko) 360도 ar 입체영상 체험 시스템
RU2775153C1 (ru) Гибкий складной телевизор
CN116941234A (zh) 用于运动捕捉的参考系

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant