KR102460478B1 - 인카 클라우드 vr 장치 및 방법 - Google Patents

인카 클라우드 vr 장치 및 방법 Download PDF

Info

Publication number
KR102460478B1
KR102460478B1 KR1020220021599A KR20220021599A KR102460478B1 KR 102460478 B1 KR102460478 B1 KR 102460478B1 KR 1020220021599 A KR1020220021599 A KR 1020220021599A KR 20220021599 A KR20220021599 A KR 20220021599A KR 102460478 B1 KR102460478 B1 KR 102460478B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
fov
information
user
Prior art date
Application number
KR1020220021599A
Other languages
English (en)
Other versions
KR20220030228A (ko
Inventor
한장희
정광일
주재현
임종혁
Original Assignee
(주)이머시브캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이머시브캐스트 filed Critical (주)이머시브캐스트
Priority to KR1020220021599A priority Critical patent/KR102460478B1/ko
Publication of KR20220030228A publication Critical patent/KR20220030228A/ko
Application granted granted Critical
Publication of KR102460478B1 publication Critical patent/KR102460478B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 인카 클라우드 VR 장치 및 방법에 관한 것으로, 상기 장치는 주행중인 차량에 설치된 GPS 센서를 통해 상기 차량의 위치를 검출하고 상기 차량 인근의 GIS 정보를 획득하는 GIS 정보 획득부, 상기 차량에 설치된 적어도 하나의 카메라 센서를 통해 상기 차량 인근의 영상을 수집하고 상기 차량 인근의 주변 사물 정보를 획득하는 사물 정보 획득부, 적어도 하나의 자이로 센서를 통해 상기 차량에 탑승한 사용자의 움직임 정보를 획득하는 움직임 정보 획득부 및 상기 GIS 정보를 기초로 제1 FOV 영상을 결정하고 상기 주변 사물 정보를 기초로 상기 제1 FOV 영상을 갱신하며 상기 사용자의 움직임 정보를 기초로 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 FOV 영상 결정부를 포함한다.

Description

인카 클라우드 VR 장치 및 방법{IN-CAR CLOUD VR DEVICE AND METHOD}
본 발명은 인카 클라우드 VR 기술에 관한 것으로, 보다 상세하게는 주행중인 차량에 탑승한 사용자에게 주행상황에 적응적으로 반응하고 현실감 있는 영상을 제공할 수 있는 인카 클라우드 VR 장치 및 방법에 관한 것이다.
최근 가상현실(Virtual Reality, VR) 기기가 출현하고 있으나, 비싼 가격, 몰입감을 방해하는 저해상도, VR 컨텐츠 부족 등의 문제로 인해 스마트폰처럼 널리 보급되고 있지 않다. 특히, 사용자의 머리 움직임과 눈에 보이는 VR 영상 간의 불일치로 인해 발생할 수 있는 어지러움 등과 같은 신체적 불편의 해소는 필수적으로 해결되어야 하는 문제일 수 있다. 이를 해결하기 위해서는 MTP(Motion-to-Photon) 지연(Redundancy)를 10 ~ 20 ms 이내로 줄여야 하며, 무선 환경(예를 들어, WiFi 또는 모바일 네트워크 등)에서 이를 달성하기 위해서는 기술적 어려움이 존재한다.
한국 등록특허공보 제10-0820132(2008.04.01)호는 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및 시스템에 관한 것으로, 영상 인코딩 또는 디코딩 프로세스에 사용되는 화소 예측 모드를 추정하고, 영상 인코더와 디코더 사이에 화소 예측 모드를 전달하고, 화소의 인트라-예측 모드를 순서화하기 위한 방법 및 시스템을 제공함으로써, 코딩 프로세스의 효율을 개선시킬 수 있는 기술을 개시하고 있다.
한국 등록특허공보 제10-0820132(2008.04.01)호
본 발명의 일 실시예는 주행중인 차량에 탑승한 사용자에게 주행상황에 적응적으로 반응하고 현실감 있는 영상을 제공할 수 있는 인카 클라우드 VR 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 기존 VR 기기의 물리적 공간 상의 한계를 극복하고 차량 주행 상황에서도 효과적인 VR/AR 영상을 제공할 수 있는 인카 클라우드 VR 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 클라우드 서버와 VR 기기 간의 하이브리드 연동을 통해 영상 처리의 실시간성을 제공할 수 있는 인카 클라우드 VR 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 인카(In-Car) 클라우드 VR 장치는 주행중인 차량에 설치된 GPS 센서를 통해 상기 차량의 위치를 검출하고 상기 차량 인근의 GIS 정보를 획득하는 GIS 정보 획득부, 상기 차량에 설치된 적어도 하나의 카메라 센서를 통해 상기 차량 인근의 영상을 수집하고 상기 차량 인근의 주변 사물 정보를 획득하는 사물 정보 획득부, 적어도 하나의 자이로 센서를 통해 상기 차량에 탑승한 사용자의 움직임 정보를 획득하는 움직임 정보 획득부 및 상기 GIS 정보를 기초로 제1 FOV 영상을 결정하고 상기 주변 사물 정보를 기초로 상기 제1 FOV 영상을 갱신하며 상기 사용자의 움직임 정보를 기초로 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 FOV 영상 결정부를 포함한다.
상기 GIS 정보 획득부는 상기 GPS 센서로부터 획득한 GPS 신호를 디지털 맵(Digital Map) 상에서 정의되는 GIS 좌표에 매칭한 후 상기 GIS 정보를 획득할 수 있다.
상기 사물 정보 획득부는 상기 영상을 복수의 프레임들로 분할하고 각 프레임별 이미지 분석을 통해 적어도 하나의 동적 객체를 식별하며 기 구축된 객체 DB로부터 상기 적어도 하나의 동적 객체에 관한 객체 정보를 상기 주변 사물 정보로서 획득할 수 있다.
상기 움직임 정보 획득부는 상기 적어도 하나의 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하고 상기 헤드 움직임에 관한 헤드 좌표 데이터를 생성하여 상기 사용자의 시선방향을 결정할 수 있다.
상기 FOV 영상 결정부는 상기 GIS 정보를 기초로 상기 차량의 위치를 중심으로 형성되는 360도 화각의 입체영상을 상기 제1 FOV 영상으로서 결정하고 상기 입체영상에 상기 주변 사물 정보에 대응하는 가상 그래픽을 합성함으로써 상기 갱신을 수행할 수 있다.
상기 FOV 영상 결정부는 상기 사용자의 헤드 움직임에 대응되는 시선방향에 따라 상기 제2 FOV 영상을 결정하고 만약 시선방향이 일정 시간 이상 유지되는 경우에는 상기 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 제2 FOV 영상에 의해 표출되는 실제 화각의 해상도를 증가시킬 수 있다.
상기 FOV 영상 결정부는 상기 차량 및 상기 사용자의 움직임에 관한 정보를 수신하여 상기 차량의 위치와 상기 사용자의 시선방향에 따른 FOV(Field Of View)를 결정하는 FOV 결정 모듈, 상기 FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈 및 상기 시선영상을 인코딩하여 상기 사용자에게 표출되는 입체영상을 생성하는 영상 인코딩 모듈을 포함할 수 있다.
실시예들 중에서, 인카(In-Car) 클라우드 VR 방법은 주행중인 차량에 설치된 GPS 센서를 통해 상기 차량의 위치를 검출하고 상기 차량 인근의 GIS 정보를 획득하는 단계, 상기 차량에 설치된 적어도 하나의 카메라 센서를 통해 상기 차량 인근의 영상을 수집하고 상기 차량 인근의 주변 사물 정보를 획득하는 단계, 적어도 하나의 자이로 센서를 통해 상기 차량에 탑승한 사용자의 움직임 정보를 획득하는 단계 및 상기 GIS 정보를 기초로 제1 FOV 영상을 결정하고 상기 주변 사물 정보를 기초로 상기 제1 FOV 영상을 갱신하며 상기 사용자의 움직임 정보를 기초로 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 인카 클라우드 VR 장치 및 방법은 기존 VR 기기의 물리적 공간 상의 한계를 극복하고 차량 주행 상황에서도 효과적인 VR/AR 영상을 제공할 수 있다.
본 발명의 일 실시예에 따른 인카 클라우드 VR 장치 및 방법은 클라우드 서버와 VR 기기 간의 하이브리드 연동을 통해 영상 처리의 실시간성을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인카 클라우드 VR 장치를 설명하는 개념도이다.
도 2는 본 발명에 따른 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.
도 3은 도 1의 제2 시스템의 기능적 구성을 설명하는 도면이다.
도 4는 도 1의 제3 시스템의 기능적 구성을 설명하는 도면이다.
도 5는 본 발명에 따른 인카 클라우드 VR 과정을 설명하는 순서도이다.
도 6은 본 발명에 따른 입체 영상 생성 및 복원 과정을 설명하는 순서도이다.
도 7은 도 1의 제1 및 제2 시스템들 간의 동작을 설명하는 개념도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
본 발명에 따른 인카 클라우드 VR 장치(100)는 주행중인 차량 내에 탑승한 사용자에게 실감나는 VR/AR 영상을 제공하면서도 어지러움증을 최소화할 수 있는 장치에 해당할 수 있다. 인카 클라우드 VR 장치(100)는 차량에 설치된 다양한 카메라 및 센서들로부터 획득할 수 있는 풍부한 자이로(Gyro) 정보를 활용하여 주행상황과 동기화된 현실감 있는 영상을 생성하여 사용자에게 제공할 수 있다.
따라서, 인카 클라우드 VR 장치(100)는 차량 탑승객에게 실감나는 영상을 제공하면서도 기존의 VR 기기들이 물리적 공간의 한계로 인해 가지고 있던 문제점을 해소할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인카 클라우드 VR 장치를 설명하는 개념도이고, 도 7은 도 1의 제1 및 제2 시스템들 간의 동작을 설명하는 개념도이다.
도 1 및 7을 참조하면, 인카 클라우드 VR 장치(100)는 제1 시스템(110), 제2 시스템(130) 및 제3 시스템(150)을 포함할 수 있다.
제1 시스템(110)은 내부에 설치된 복수의 카메라들, GPS 센서와 6 DoF 센서를 통해 차량에 관한 영상(Video)과 GIS(Digital Map) 데이터를 수집할 수 있고, 통신 인터페이스(Interface)를 통해 사용자가 착용한 VR 기기에 전송할 수 있다. 한편, 제1 시스템(110)은 (a) 차량 주변에 N개 장착되는 360 카메라, (b) 위치 측정을 위한 GPS 장치, (c) 6 DoF 추적 센서(Tracking Sensor), (d) GIS와 네비게이션 어플리케이션(Application)을 포함할 수 있다. 따라서, 제1 시스템(110)은 360도 전방위 동영상을 촬영하여 실시간으로 제2 시스템(130)에게 전달할 수 있다.
제2 시스템(130)은 대표적으로 VR/AR 글래스에 해당할 수 있고, 사용자는 VR 기기를 직접 착용하여 VR/AR 영상을 감상할 수 있다. 제2 시스템(130)은 GPS 센서와 6 DoF 센서를 자체적으로 포함하여 구현될 수 있고, 로컬 앱(Local Application)을 통해 생성된 영상을 재생(Display)할 수 있다.
제2 시스템(130)은 통상적으로 (a) 렌즈, (b) Display 장치, (c) Interface, (d) 6 DoF sensor, (e) Motion Tracking sensors를 기본 포함하며, 이외에 (f) CPU, (g) GPU, (h) 네트워크 모뎀, (i) 배터리, (j) Interface 장치를 빌트인 또는 외장형으로 포함할 수 있다. 제2 시스템(130)은 상기 (f)부터 (j)을 모두 포함하여 Standalone 또는 All-in-one 형태로 구성할 수 있고, 또는 분리하여 별도의 외장형 기기 형태로 구성할 수 있다.
한편, 제2 시스템(130)에서 동작하는 로컬 앱(2-1)은 다음의 동작을 수행할 수 있다. (a) 로컬 앱 2-1은 360 카메라 1-1의 비디오 신호를 수신하여 이를 재가공한 후 디스플레이 2-2에 송신할 수 있다. (b) 로컬 앱 2-1은 GIS 및 Navigation app 1-2의 데이터 정보를 수신하여 이를 재가공한 후 디스플레이 2-2에 송신할 수 있다. (c) 로컬 앱 2-1은 GPS 2-3과 6 Dof sensor 2-4 데이터 정보를 수신하여 이를 재가공한 후 디스플레이 2-2에 송신할 수 있다. (d) 로컬 앱 2-1은 시스템 3 Cloud VR시스템에서 구동하는 리모트 앱 3-1에 필요한 데이터 정보를 제공한다. (e) 로컬 앱 2-1은 제3 시스템(150) 안에 3-1, 3-2, 3-3 과정을 거쳐서 전달되는 비디오 신호를 수신하여 이를 재가공한 후 디스플레이 2-2에 송신할 수 있다. (f) 로컬 앱 2-1은 상기 (a) 내지 (e) 동작들을 독립적으로, 또는 복합적으로 병행 처리할 수 있다. (g) 로컬 앱 2-1에서 수행되는 재가공 과정은, 칼라 스페이스 변환 (RGB-YUV), 비디오 디코딩, 비즈니스 로직(Business Logic) 처리, 로컬 GPU 기반의 그래픽 렌더링(Local graphics), 그래픽과 비디오 신호 합성, 리모트 GPU 기반의 그래픽 렌더링(Remote graphics) 등을 포함할 수 있다.
제3 시스템(150)은 클라우드 VR 서버에 해당할 수 있다. 제3 시스템(150)은 리모트 앱(Remote Application) 3-1을 통해 사용자 시선방향에 관한 FOV를 결정할 수 있고, FOV를 기초로 영상 렌더링을 수행할 수 있다. 이 후, 제3 시스템(150)은 스크린 캡쳐(Screen Capture) 3-2, 비디오 인코딩(Video Encoding) 3-3을 수행할 수 있다. 제3 시스템(150)은 생성된 영상(Video)을 제2 시스템(130)으로 무선 네트워크를 통해 전송할 수 있다. 무선 네트워크는 LTE, 5G, WiFi 등을 포함할 수 있다.
도 2는 본 발명에 따른 인카 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.
도 2를 참조하면, 인카 클라우드 VR 장치(100)는 GIS 정보 획득부(210), 사물 정보 획득부(230), 움직임 정보 획득부(250), FOV 영상 결정부(270) 및 제어부(290)를 포함할 수 있다.
GIS 정보 획득부(210)는 주행중인 차량에 설치된 GPS 센서를 통해 차량의 위치를 검출하고 차량 인근의 GIS 정보를 획득할 수 있다. 여기에서, 차량은 기본적으로 자동차를 예로 들어 설명하지만, 반드시 이에 한정되지 않고, 보트와 배를 포함하는 선박, 비행기 등을 포함할 수 있으며, 가솔린 기반 동력이나 전기 기반 동력을 갖는 운송수단을 포함할 수 있다. GIS 정보는 데이터베이스 또는 외부 시스템에 접근하여 획득할 수 있으며, GIS 정보 획득부(210)는 GPS 센서를 통해 획득한 GPS 좌표를 기초로 GIS 정보를 획득할 수 있다.
일 실시예에서, GIS 정보 획득부(210)는 GPS 센서로부터 획득한 GPS 신호를 디지털 맵(Digital Map) 상에서 정의되는 GIS 좌표에 매칭한 후 GIS 정보를 획득할 수 있다. GIS 정보는 3차원으로 구축된 디지털 맵에 관한 좌표 정보를 포함할 수 있고, 디지털 맵 상의 특정 위치를 중심으로 주변 360도의 공간 정보를 포함할 수 있다. 즉, GIS 정보 획득부(210)에 의해 획득된 GIS 정보는 차량 내부에 탑승한 탑승객의 시선으로 바라본 차량 인근의 주변 영상을 생성하는데 활용될 수 있다.
사물 정보 획득부(230)는 차량에 설치된 적어도 하나의 카메라 센서를 통해 차량 인근의 영상을 수집하고 차량 인근의 주변 사물 정보를 획득할 수 있다. 즉, 차량의 이동 과정에서 촬영된 영상에 기초하여 차량 주변에서 움직이는 객체, 특히 사람을 인식하고 이를 입체영상에 시각화하여 탑승자가 VR 기기로 시청하는 영상 내에서 차량 움직임에 동기화된 객체의 움직임을 표현하는데 활용될 수 있다.
일 실시예에서, 사물 정보 획득부(230)는 영상을 복수의 프레임들로 분할하고 각 프레임별 이미지 분석을 통해 적어도 하나의 동적 객체를 식별하며 기 구축된 객체 DB로부터 적어도 하나의 동적 객체에 관한 객체 정보를 주변 사물 정보로서 획득할 수 있다. 보다 구체적으로, 사물 정보 획득부(230)는 촬영 영상이나 이미지에 대해 인공지능 학습 알고리즘을 적용하여 움직이는 객체를 식별할 수 있고, 해당 객체들을 유형 별로 분류할 수 있다. 사물 정보 획득부(230)는 객체 DB로부터 유형별 객체 정보를 추출하여 대응하는 객체에 관한 주변 사물 정보로서 획득할 수 있다. 객체 DB는 다양한 객체에 관한 식별 정보, 외형 정보 및 기본 동작 정보를 포함하는 데이터베이스에 해당할 수 있다.
움직임 정보 획득부(250)는 적어도 하나의 자이로 센서를 통해 차량에 탑승한 사용자의 움직임 정보를 획득할 수 있다. 한편, 움직임 정보 획득부(250)는 렌즈, 디스플레이 장치, 인터페이스 모션 트래킹 센서(Motion Tracking Sensor)를 포함하여 구현되고 사용자의 헤드에 장착되어 동작하는 장치로부터 사용자의 움직임 정보를 획득할 수 있다. 이 때, 해당 장치는 필요한 경우 CPU, GPU, 네트워크 모뎀, 배터리(Battery) 및 인터페이스 장치를 빌트인 또는 외장형으로 더 포함할 수 있다. 이 때, 사용자의 움직임 정보는 바디 및 헤드 움직임에 관한 정보를 포함할 수 있으며, 사용자의 바디 움직임은 차량의 움직임으로 대체하여 적용할 수 있다.
일 실시예에서, 움직임 정보 획득부(250)는 적어도 하나의 자이로 센서를 통해 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하고 헤드 움직임에 관한 헤드 좌표 데이터를 생성하여 사용자의 시선방향을 결정할 수 있다. 한편, 움직임 정보 획득부(250)는 GPS 센서로부터 획득한 정보를 추가적으로 활용하여 헤드 움직임에 관한 헤드 좌표 데이터를 생성할 수도 있다.
FOV 영상 결정부(270)는 GIS 정보를 기초로 제1 FOV 영상을 결정하고 주변 사물 정보를 기초로 제1 FOV 영상을 갱신하며 사용자의 움직임 정보를 기초로 제1 FOV 영상 내에서 제2 FOV 영상을 결정할 수 있다. 즉, FOV 영상 결정부(270)는 차량의 움직임에 적응적으로 반응하는 배경영상으로서 제1 FOV 영상을 생성하고, 제1 FOV 영상 내에서 사용자의 움직임에 적응적으로 반응하는 시선영상으로서 제2 FOV 영상을 결정할 수 있다.
일 실시예에서, FOV 영상 결정부(270)는 GIS 정보를 기초로 차량의 위치를 중심으로 형성되는 360도 화각의 입체영상을 제1 FOV 영상으로서 결정하고 입체영상에 주변 사물 정보에 대응하는 가상 그래픽을 합성함으로써 제1 FOV 영상의 갱신을 수행할 수 있다. 이 때, 차량 주변의 입체영상에 대해서는 실제 영상을 배경으로 사용할 수 있으며, 사람이나 동물 등 차량 주변의 움직이는 객체에 대해서는 해당 객체에 대응되는 가상 그래픽을 사용할 수 있다. 즉, 갱신된 제1 FOV 영상은 실제 이미지와 가상 이미지가 통합된 증강현실 이미지로 구현될 수 있다. 한편, 제1 FOV 영상에 추가되는 주변 사물 정보는 이미지 분석을 통해 추출된 실제 움직임에 기반하여 생성될 수도 있으나, 반드시 이에 한정되지 않고, 임의의 설정을 통해 가상으로 생성될 수도 있다.
일 실시예에서, FOV 영상 결정부(270)는 사용자의 헤드 움직임에 대응되는 시선방향에 따라 제2 FOV 영상을 결정하고 만약 시선방향이 일정 시간 이상 유지되는 경우에는 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 제2 FOV 영상에 의해 표출되는 실제 화각의 해상도를 증가시킬 수 있다. 사용자의 시선방향이 일정 시간 이상 유지되는 경우 해당 시선방향의 영상을 사용자가 주시하고 있는 것으로 판단할 수 있고, FOV 영상 결정부(270)는 제1 FOV 영상에 관한 포비티드 렌더링을 수행할 수 있다.
여기에서, 포비티드 렌더링은 사용자의 시선에 따라 사용자가 관심있게 주시하는 영역에 대해서는 고해상도로 처리하고 해당 영역 이외의 부분에 대해서는 저해상도로 처리하는 영상 처리 방법에 해당할 수 있다. FOV 영상 결정부(270)는 사용자의 헤드 방향의 변화 여부를 기초로 사용자의 주시 여부를 결정할 수 있고, 보다 구체적으로, 단위 시간 동안 시선방향의 변화율이 기준 변화율 미만인 상태에서 특정 시간동안 지속되는 경우에는 사용자가 주시하는 것으로 결정할 수 있다.
사용자가 주시하는 것으로 결정된 경우 FOV 영상 결정부(270)는 사용자가 주시하고 있는 주시 영역에 대해서는 고해상도로 렌더링을 수행하고 나머지 영역, 즉 주시 영역 이외의 영역에 대해서는 저해상도로 렌더링을 수행할 수 있다. 결과적으로, FOV 영상 결정부(270)는 여유영상에 대해 실제 화각까지의 실제 영상과 나머지 영상의 해상도를 차별적으로 적용할 수 있고, 실제 영상에 대해서 상대적으로 더 높은 해상도를 적용할 수 있다. 한편, FOV 영상 결정부(270)는 입체영상으로서 양안 영상을 각각 생성할 수 있다.
일 실시예에서, FOV 영상 결정부(270)는 차량 및 사용자의 움직임에 관한 정보를 수신하여 차량의 위치와 사용자의 시선방향에 따른 FOV(Field Of View)를 결정하는 FOV 결정 모듈, FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈 및 시선영상을 인코딩하여 사용자에게 표출되는 입체영상을 생성하는 영상 인코딩 모듈을 포함할 수 있다. 이에 대해서는 도 4에서 보다 자세히 설명한다.
제어부(290) 인카 클라우드 VR 장치(100)의 전체적인 동작을 제어하고, GIS 정보 획득부(210), 사물 정보 획득부(230), 움직임 정보 획득부(250) 및 FOV 영상 결정부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 도 1의 제2 시스템의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 제2 시스템(130)은 헤드 움직임 측정 모듈(310), 입체영상 렌더링 모듈(330), 디스플레이 모듈(350) 및 제1 제어 모듈(370)을 포함할 수 있다. 한편, FOV 영상 결정부(270)는 사용자의 헤드 움직임에 따라 사용자의 시선 방향을 검출하고 해당 시선 방향의 입체영상을 재생할 수 있는 제2 시스템(130)의 일 구성요소로서 스마트폰, VR/AR HMD 등으로 구현될 수 있다.
헤드 움직임 측정 모듈(310)은 자이로 센서로부터 측정된 신호를 기초로 헤드 움직임에 관한 헤드 좌표 데이터를 생성할 수 있다. 헤드 움직임 측정 모듈(310)은 필요한 경우 움직임 정보 획득부(250)로부터 해당 정보를 수신하여 사용할 수 있다. 헤드 좌표 데이터는 헤드 중심, 방향 및 기울기에 관한 데이터를 포함할 수 있다. 헤드 움직임 측정 모듈(310)은 각 센서들로부터 수신된 신호에 관한 유효성 검사를 수행할 수 있으며, 필요에 따라 데이터 정규화 또는 특정 형식으로의 데이터 변환에 관한 전처리를 수행할 수 있다.
입체영상 렌더링 모듈(330)은 헤드 좌표 데이터를 기초로 사용자의 시선방향을 결정하고 해당 시선방향에 따른 제2 FOV 영상을 렌더링할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 필요에 따라 GIS 정보 획득부(210)와 사물 정보 획득부(230) 및 움직임 정보 획득부(250) 각각으로부터 수신한 정보를 함께 사용하여 사용자의 시선방향을 결정할 수 있다. 입체영상 렌더링 모듈(330)은 사용자의 시선방향이 결정된 경우 제2 FOV 영상 생성을 위한 사용자의 화각(Field Of View, FOV)을 결정할 수 있고, 결정된 화각에 따라 제2 FOV 영상을 생성할 수 있다.
일 실시예에서, 입체영상 렌더링 모듈(330)은 사용자의 시선방향이 일정 시간 이상 유지되는 경우에는 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 실제 화각까지의 제2 FOV 영상에 관한 해상도를 증가시킬 수 있다. 사용자의 시선방향이 일정 시간 이상 유지되는 경우 해당 시선방향의 영상을 사용자가 주시하고 있는 것으로 판단할 수 있고, 입체영상 렌더링 모듈(330)은 제1 FOV 영상에 관한 포비티드 렌더링을 수행할 수 있다.
디스플레이 모듈(350)은 제2 FOV 영상을 디스플레이할 수 있다. 예를 들어, 디스플레이 모듈(350)은 영상 재생을 위한 디스플레이 패널을 포함하여 구현될 수 있고, 입체영상 렌더링 모듈(330)에 의해 생성된 입체영상을 실시간으로 재생할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 제3 시스템(150)으로부터 갱신된 제1 FOV 영상을 수신할 수 있고, 디스플레이 모듈(350)은 해당 영상을 전달받아 재생할 수 있다.
제1 제어 모듈(370)은 제2 시스템(130)의 전체적인 동작을 제어하고, 헤드 움직임 측정 모듈(310), 입체영상 렌더링 모듈(330) 및 디스플레이 모듈(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 도 1의 제3 시스템의 기능적 구성을 설명하는 도면이다.
도 4를 참조하면, 제3 시스템(150)은 FOV 결정 모듈(410), 시선영상 캡쳐 모듈(430), 영상 인코딩 모듈(450) 및 제2 제어 모듈(470)을 포함할 수 있다.
FOV 결정 모듈(410)은 제2 시스템(130)으로부터 GIS 정보, 주변 사물 정보 및 사용자의 움직임 정보를 수신하여 차량의 위치와 사용자의 시선방향에 따른 FOV(Field Of View)를 결정할 수 있다. FOV 결정 모듈(410)은 사용자의 헤드 방향에 기초하여 적응적으로 사용자의 화각(Field Of View, FOV)을 결정할 수 있다. 제3 시스템(150)은 FOV 결정 모듈(410)에 의해 결정된 화각을 기초로 입체영상을 갱신할 수 있다.
보다 구체적으로, FOV 결정 모듈(410)은 차량의 움직임 및 사용자의 헤드 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 FOV를 결정할 수 있다. 이 때, 차량의 움직임은 중심축의 변화에 대응될 수 있다.
예를 들어, FOV 결정 모듈(410)은 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도를 설정할 수 있다. FOV 결정 모듈(410)은 수평 화각(HFOV)을 210도에서 360도 사이에서 조절할 수 있고, 수직 화각(VFOV)을 130도에서 180도 사이에서 조절할 수 있다. 이러한 화각 조절은 헤드 움직임의 가속(Acceleration of head movement) 및 차량 움직임(Movement of vehicle)의 가속을 기초로 각각 결정될 수 있다.
시선영상 캡쳐 모듈(430)은 FOV에 관한 시선영상을 캡쳐(Capture)할 수 있다. 즉, FOV 결정 모듈(410)에 의해 결정된 FOV에 해당하는 영역을 시선영상에서 캡쳐할 수 있다. 한편, 시선영상 캡쳐 모듈(430)은 입체영상을 구성하는 양안 영상을 시선영상으로서 생성할 수 있다.
영상 인코딩 모듈(450)은 시선영상을 인코딩하여 제1 FOV 영상으로서 제2 시스템(130)에게 전달할 수 있다. 보다 구체적으로, 영상 인코딩 모듈(450)은 크게 3가지 인코딩을 수행할 수 있다. 영상 인코딩 모듈(450)은 표준 AVC(Advanced Video Coding) 인코딩을 수행할 수 있고, 타일 기반의 고효율 비디오 코딩(High Efficiency Video Cdoing) 인코딩을 수행할 수 있으며, 입체 영상에 관한 리던던시(Redundancy)가 제거된 인코딩을 수행할 수 있다. 영상 인코딩 모듈(450)은 사용자 주변의 360도 영상 전체를 인코딩하지 않고 사용자의 차량 및 헤드 움직임에 기초하여 동적으로 결정되는 FOV에 따라 해당 FOV를 포함하는 영상만을 인코딩함으로써 무선 네트워크를 통해 전송되는 데이터량을 줄일 수 있다.
제2 제어 모듈(470)은 제3 시스템(150)의 전체적인 동작을 제어하고, FOV 결정 모듈(410), 시선영상 캡쳐 모듈(430) 및 영상 인코딩 모듈(450) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 5는 본 발명에 따른 인카 클라우드 VR 과정을 설명하는 순서도이다.
도 5를 참조하면, 인카 클라우드 VR 장치(100)는 GIS 정보 획득부(210)를 통해 주행중인 차량에 설치된 GPS 센서를 통해 차량의 위치를 검출하고 차량 인근의 GIS 정보를 획득할 수 있다(단계 S510). 인카 클라우드 VR 장치(100)는 사물 정보 획득부(230)를 통해 차량에 설치된 적어도 하나의 카메라 센서를 통해 차량 인근의 영상을 수집하고 차량 인근의 주변 사물 정보를 획득할 수 있다(단계 S530).
또한, 인카 클라우드 VR 장치(100)는 움직임 정보 획득부(250)를 통해 적어도 하나의 자이로 센서를 통해 차량에 탑승한 사용자의 움직임 정보를 획득할 수 있다(단계 S550). 인카 클라우드 VR 장치(100)는 FOV 영상 결정부(270)를 통해 GIS 정보를 기초로 제1 FOV 영상을 결정하고 주변 사물 정보를 기초로 제1 FOV 영상을 갱신하며 사용자의 움직임 정보를 기초로 제1 FOV 영상 내에서 제2 FOV 영상을 결정할 수 있다(단계 S570).
도 6은 본 발명에 따른 입체 영상 생성 및 복원 과정을 설명하는 순서도이다.
도 6을 참조하면, HMD 기기 또는 차량 디바이스로부터 영상 생성을 위한 기초 신호가 생성될 수 있고, 제3 시스템(150)은 이를 수신하여 사용자의 헤드 및 차량의 움직임에 관한 가속을 산출할 수 있다. 이 때, 차량 디바이스는 차량에 설치된 네비게이션 또는 블랙박스에 해당할 수 있다. 즉, 제3 시스템(150)은 차량 디바이스로부터 수신되는 차량 움직임에 관한 정보를 기초로 해당 차량 인근의 GIS 정보를 획득할 수 있다.
제3 시스템(150)은 FOV 결정 모듈(410)을 통해 사용자의 헤드 및 차량의 움직임에 관한 가속을 기초로 동적으로 사용자의 FOV를 산출할 수 있다. 또한, 제3 시스템(150)은 산출된 FOV를 기초로 입체영상 생성을 위한 그래픽 렌더링(Graphics rendering)을 수행할 수 있다.
일 실시예에서, 그래픽 렌더링은 적응적 화각 선택(Adaptive FOV Selection) 단계와 포비티드 렌더링(Foveated Rendering) 단계로 구성될 수 있다. 적응적 화각 선택 단계는 기본 설정각을 기준으로 특정 범위 내에서 헤드 움직임 가속과 차량 움직임 가속에 기초하여 동적으로 화각을 결정할 수 있다. 포비티드 렌더링(Foveated Rendering) 단계는 사용자의 화각을 기준으로 사용자가 주시하는 영역은 고해상도로, 그 외의 영역은 저해상도로 영상 처리를 수행할 수 있다.
또한, 제3 시스템(150)은 렌더링된 영상을 캡쳐하는 이미지 캡쳐(Image capturing)를 수행할 수 있다. 제3 시스템(150)은 비디오 인코딩(Video encoding)을 통해 무선 전송될 영상 데이터를 생성할 수 있다. 비디오 인코딩은 입체영상 생성을 위하여 기존의 표준 고급 비디오 부호화(Advanced Video Coding) 또는 고효율 비디오 코딩(High Efficiency Video Coding)에 따라 수행될 수 있다. 제3 시스템(150)에 의해 생성된 인코딩 데이터는 무선 통신을 통해 제2 시스템(130)으로 전송될 수 있다.
제2 시스템(130)은 제3 시스템(150)으로부터 수신된 인코딩 데이터를 이용하여 비디오 디코딩(Video decoding)을 수행할 수 있다. 제2 시스템(130)은 비디오 디코딩을 통해 인코딩된 영상을 복원할 수 있다. 여기에서, 비디오 디코딩은 비디오 인코딩과 유사한 방식으로 수행될 수 있고, 제2 시스템(130)에 의해 복원된 입체 영상은 HMD 기기를 통해 재생될 수 있다. 일 실시예에서, 제2 시스템(130)은 사용자의 헤드 및 차량의 움직임을 기초로 결정된 FOV에 따라 입체 영상을 생성하여 재생할 수 있다. 예를 들어, 제2 시스템(130)은 디스플레이되는 사용자의 화각에 적합하도록 이미지를 확장하거나 잘라낸 후 HMD 기기를 통해 재생할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 인카 클라우드 VR 장치
110: 제1 시스템 130: 제2 시스템
150: 제3 시스템
210: GIS 정보 획득부 230: 사물 정보 획득부
250: 움직임 정보 획득부 270: FOV 영상 결정부
290: 제어부
310: 헤드 움직임 측정 모듈 330: 입체영상 렌더링 모듈
350: 디스플레이 모듈 370: 제1 제어 모듈
410: FOV 결정 모듈 430: 시선영상 캡쳐 모듈
450: 영상 인코딩 모듈 470: 제2 제어 모듈

Claims (2)

  1. 주행중인 차량에 설치된 GPS 센서를 통해 획득한 GPS 신호를 디지털 맵(Digital Map) 상에서 정의되는 GIS 좌표에 매칭한 후 상기 차량의 위치를 검출하고 상기 차량 인근의 GIS 정보를 획득하는 GIS 정보 획득부;
    상기 차량에 설치된 적어도 하나의 카메라 센서를 통해 상기 차량 인근의 영상을 수집하고 상기 차량 인근의 주변 사물 정보를 획득하는 사물 정보 획득부;
    적어도 하나의 자이로 센서를 통해 상기 차량에 탑승한 사용자의 움직임 정보를 획득하는 움직임 정보 획득부; 및
    상기 GIS 정보를 기초로 상기 차량의 위치를 중심으로 형성되는 360도 화각의 입체영상을 제1 FOV 영상으로서 결정하고 상기 입체영상에 상기 주변 사물 정보에 대응하는 가상 그래픽을 합성하여 상기 제1 FOV 영상을 갱신하며 상기 사용자의 헤드 움직임에 대응되는 시선방향에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하고, 만약 시선방향이 일정 시간 이상 유지되는 경우에는 상기 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 제2 FOV 영상에 의해 표출되는 실제 화각의 해상도를 증가시키는 FOV 영상 결정부를 포함하되,
    상기 GIS 정보 획득부 및 상기 사물 정보 획득부는 상기 차량에 설치되는 제1 시스템에 포함되어 구현되고, 상기 움직임 정보 획득부는 상기 제1 시스템으로부터 영상 및 상기 GIS 정보를 수신하고 상기 차량에 탑승한 사용자의 신체에 장착된 상태에서 동작하도록 구현되는 제2 시스템에 포함되어 구현되며, 상기 FOV 영상 결정부는 상기 제2 시스템으로부터 상기 GIS 정보와 상기 사용자의 움직임 정보를 수신하여 FOV 영상을 상기 제2 시스템에게 송신하고 상기 차량의 외부에 독립적으로 구현된 상태에서 상기 제2 시스템과 연동하도록 구현되는 제3 시스템에 포함되어 구현되고, 상기 제2 시스템은 상기 제1 시스템으로부터 수신한 상기 영상 및 상기 GIS 정보와 상기 사용자의 움직임 정보를 무선 네트워크(wireless network)를 통해 상기 제3 시스템에게 전송하며,
    상기 사물 정보 획득부는 상기 영상을 복수의 프레임들로 분할하고 각 프레임별 이미지 분석을 통해 적어도 하나의 동적 객체를 식별하며 기 구축된 객체 DB로부터 상기 적어도 하나의 동적 객체에 관한 객체 정보를 상기 주변 사물 정보로서 획득하고,
    상기 움직임 정보 획득부는 렌즈, 디스플레이 장치 및 인터페이스 모션 트래킹 센서(Motion Tracking Sensor)를 포함하여 구현되고 상기 차량에 탑승한 사용자의 헤드에 장착되어 동작하는 장치로부터 상기 사용자의 움직임 정보를 획득하며, 상기 적어도 하나의 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하고 상기 헤드 움직임에 관한 헤드 좌표 데이터를 생성하여 상기 사용자의 시선방향을 결정하며, 상기 사용자의 움직임 정보는 바디 및 헤드 움직임에 관한 정보를 포함하고 상기 사용자의 바디 움직임은 상기 차량의 움직임으로 대체하여 적용되며,
    상기 FOV 영상 결정부는 상기 차량 및 상기 사용자의 움직임에 관한 정보를 수신하여 상기 차량의 위치와 상기 사용자의 시선방향에 따른 FOV(Field Of View)를 결정하는 FOV 결정 모듈; 상기 FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈; 및 상기 시선영상을 인코딩하여 상기 사용자에게 표출되는 입체영상을 생성하는 영상 인코딩 모듈을 포함하고,
    상기 FOV 결정 모듈은 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도를 설정하고 수평 화각(HFOV)을 210도에서 360도 사이에서 조절하며 수직 화각(VFOV)을 130도에서 180도 사이에서 조절하고, 화각 조절은 헤드 움직임의 가속(Acceleration of head movement) 및 차량 움직임(Movement of vehicle)의 가속을 기초로 각각 결정되는 것을 특징으로 하는 인카(In-Car) 클라우드 VR 장치.
  2. GIS 정보 획득부, 사물 정보 획득부, 움직임 정보 획득부 및 FOV 영상 결정부를 포함하는 인카(In-Car) 클라우드 VR 장치에서 수행되는 인카 클라우드 VR 방법에 있어서,
    상기 GIS 정보 획득부를 통해, 주행중인 차량에 설치된 GPS 센서를 통해 획득한 GPS 신호를 디지털 맵(Digital Map) 상에서 정의되는 GIS 좌표에 매칭한 후 상기 차량의 위치를 검출하고 상기 차량 인근의 GIS 정보를 획득하는 단계;
    상기 사물 정보 획득부를 통해, 상기 차량에 설치된 적어도 하나의 카메라 센서를 통해 상기 차량 인근의 영상을 수집하고 상기 차량 인근의 주변 사물 정보를 획득하는 단계;
    상기 움직임 정보 획득부를 통해, 적어도 하나의 자이로 센서를 통해 상기 차량에 탑승한 사용자의 움직임 정보를 획득하는 단계; 및
    상기 FOV 영상 결정부를 통해, 상기 GIS 정보를 기초로 상기 차량의 위치를 중심으로 형성되는 360도 화각의 입체영상을 제1 FOV 영상으로서 결정하고 상기 입체영상에 상기 주변 사물 정보에 대응하는 가상 그래픽을 합성하여 상기 제1 FOV 영상을 갱신하며 상기 사용자의 헤드 움직임에 대응되는 시선방향에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하고, 만약 시선방향이 일정 시간 이상 유지되는 경우에는 상기 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 제2 FOV 영상에 의해 표출되는 실제 화각의 해상도를 증가시키는 단계를 포함하되,
    상기 GIS 정보 획득부 및 상기 사물 정보 획득부는 상기 차량에 설치되는 제1 시스템에 포함되어 구현되고, 상기 움직임 정보 획득부는 상기 제1 시스템으로부터 영상 및 상기 GIS 정보를 수신하고 상기 차량에 탑승한 사용자의 신체에 장착된 상태에서 동작하도록 구현되는 제2 시스템에 포함되어 구현되며, 상기 FOV 영상 결정부는 상기 제2 시스템으로부터 상기 GIS 정보와 상기 사용자의 움직임 정보를 수신하여 FOV 영상을 상기 제2 시스템에게 송신하고 상기 차량의 외부에 독립적으로 구현된 상태에서 상기 제2 시스템과 연동하도록 구현되는 제3 시스템에 포함되어 구현되고, 상기 제2 시스템은 상기 제1 시스템으로부터 수신한 상기 영상 및 상기 GIS 정보와 상기 사용자의 움직임 정보를 무선 네트워크(wireless network)를 통해 상기 제3 시스템에게 전송하며,
    상기 주변 사물 정보를 획득하는 단계는 상기 영상을 복수의 프레임들로 분할하고 각 프레임별 이미지 분석을 통해 적어도 하나의 동적 객체를 식별하며 기 구축된 객체 DB로부터 상기 적어도 하나의 동적 객체에 관한 객체 정보를 상기 주변 사물 정보로서 획득하는 단계를 포함하고,
    상기 움직임 정보를 획득하는 단계는 렌즈, 디스플레이 장치 및 인터페이스 모션 트래킹 센서(Motion Tracking Sensor)를 포함하여 구현되고 상기 차량에 탑승한 사용자의 헤드에 장착되어 동작하는 장치로부터 상기 사용자의 움직임 정보를 획득하는 단계와 상기 적어도 하나의 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하고 상기 헤드 움직임에 관한 헤드 좌표 데이터를 생성하여 상기 사용자의 시선방향을 결정하는 단계를 포함하고, 상기 사용자의 움직임 정보는 바디 및 헤드 움직임에 관한 정보를 포함하고 상기 사용자의 바디 움직임은 상기 차량의 움직임으로 대체하여 적용되며,
    상기 FOV 영상 결정부는 상기 차량 및 상기 사용자의 움직임에 관한 정보를 수신하여 상기 차량의 위치와 상기 사용자의 시선방향에 따른 FOV(Field Of View)를 결정하는 FOV 결정 모듈; 상기 FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈; 및 상기 시선영상을 인코딩하여 상기 사용자에게 표출되는 입체영상을 생성하는 영상 인코딩 모듈을 포함하고,
    상기 FOV 결정 모듈은 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도를 설정하고 수평 화각(HFOV)을 210도에서 360도 사이에서 조절하며 수직 화각(VFOV)을 130도에서 180도 사이에서 조절하고, 화각 조절은 헤드 움직임의 가속(Acceleration of head movement) 및 차량 움직임(Movement of vehicle)의 가속을 기초로 각각 결정되는 것을 특징으로 하는 인카(In-Car) 클라우드 VR 방법.
KR1020220021599A 2020-05-25 2022-02-18 인카 클라우드 vr 장치 및 방법 KR102460478B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220021599A KR102460478B1 (ko) 2020-05-25 2022-02-18 인카 클라우드 vr 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200062429A KR20210145485A (ko) 2020-05-25 2020-05-25 인카 클라우드 vr 장치 및 방법
KR1020220021599A KR102460478B1 (ko) 2020-05-25 2022-02-18 인카 클라우드 vr 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200062429A Division KR20210145485A (ko) 2020-05-25 2020-05-25 인카 클라우드 vr 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220030228A KR20220030228A (ko) 2022-03-10
KR102460478B1 true KR102460478B1 (ko) 2022-10-31

Family

ID=78607945

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200062429A KR20210145485A (ko) 2020-05-25 2020-05-25 인카 클라우드 vr 장치 및 방법
KR1020220021599A KR102460478B1 (ko) 2020-05-25 2022-02-18 인카 클라우드 vr 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200062429A KR20210145485A (ko) 2020-05-25 2020-05-25 인카 클라우드 vr 장치 및 방법

Country Status (2)

Country Link
US (1) US11403828B2 (ko)
KR (2) KR20210145485A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101931295B1 (ko) * 2018-09-06 2018-12-20 김주원 원격지 영상 재생 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2788534T3 (es) 2002-05-28 2020-10-21 Dolby Int Ab Método y sistemas para la estimación, comunicación y organización de modos de intra-predicción de imágenes
JP4961984B2 (ja) * 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
KR101515484B1 (ko) * 2013-05-31 2015-04-29 전자부품연구원 증강현실정보 제공 장치 및 그 방법
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
EP3475785A4 (en) * 2016-04-22 2020-05-13 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR PROCESSING IMAGE DATA BASED ON A USER'S INTEREST
WO2017209313A1 (ko) 2016-05-30 2017-12-07 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
WO2018043770A1 (ko) 2016-08-30 2018-03-08 전자부품연구원 사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101931295B1 (ko) * 2018-09-06 2018-12-20 김주원 원격지 영상 재생 장치

Also Published As

Publication number Publication date
US11403828B2 (en) 2022-08-02
KR20220030228A (ko) 2022-03-10
KR20210145485A (ko) 2021-12-02
US20210366194A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US10440398B2 (en) Probabilistic model to compress images for three-dimensional video
US11024083B2 (en) Server, user terminal device, and control method therefor
KR20190008193A (ko) 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
US11356652B2 (en) Stereoscopic image generating apparatus, stereoscopic image reconstructing apparatus and stereoscopic image playing system including same
JP7176520B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102437276B1 (ko) 바디 움직임 기반의 클라우드 vr 장치 및 방법
JP6743893B2 (ja) 画像処理装置および画像処理方法
US20210233303A1 (en) Image processing apparatus and image processing method
KR20190034525A (ko) 화상 처리 장치 및 화상 처리 방법
JP6930541B2 (ja) 画像処理装置および画像処理方法
US11430178B2 (en) Three-dimensional video processing
JP6743894B2 (ja) 画像処理装置および画像処理方法
US10540809B2 (en) Methods and apparatus for tracking a light source in an environment surrounding a device
US20230316810A1 (en) Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems
KR102460478B1 (ko) 인카 클라우드 vr 장치 및 방법
US20230091348A1 (en) Method and device for transmitting image content using edge computing service
KR20200003291A (ko) 서버, 사용자 단말 장치 및 그 제어 방법
JP6977725B2 (ja) 画像処理装置および画像処理方法
CN111108751B (zh) 适应于全向视频的运动矢量预测量的方法和装置
US20190052868A1 (en) Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor
US20240104766A1 (en) Method and Device for Generating Metadata Estimations based on Metadata Subdivisions
US20240107086A1 (en) Multi-layer Foveated Streaming
WO2022230253A1 (ja) 情報処理装置及び情報処理方法
US20240114107A1 (en) Electronic apparatus and method thereof
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant