KR101931295B1 - 원격지 영상 재생 장치 - Google Patents

원격지 영상 재생 장치 Download PDF

Info

Publication number
KR101931295B1
KR101931295B1 KR1020180106502A KR20180106502A KR101931295B1 KR 101931295 B1 KR101931295 B1 KR 101931295B1 KR 1020180106502 A KR1020180106502 A KR 1020180106502A KR 20180106502 A KR20180106502 A KR 20180106502A KR 101931295 B1 KR101931295 B1 KR 101931295B1
Authority
KR
South Korea
Prior art keywords
image
user
viewing angle
gaze
sight
Prior art date
Application number
KR1020180106502A
Other languages
English (en)
Inventor
김주원
이상원
Original Assignee
김주원
이상원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김주원, 이상원 filed Critical 김주원
Priority to KR1020180106502A priority Critical patent/KR101931295B1/ko
Application granted granted Critical
Publication of KR101931295B1 publication Critical patent/KR101931295B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 원격지 영상 재생에 관한 것으로, 사용자의 시선 방향을 검출하여 적어도 하나의 360도 카메라 각각에서 제공할 360도 영상에 관한 특정 시야각을 결정하는 시야각 결정부, 상기 특정 시야각에 있는 시선 방향 영상을 수신하는 영상 처리부 및 상기 시선 방향이 특정 시간 동안 일정 범위 내에서 고정되면 상기 사용자의 시선을 검출하여 상기 시선 방향 영상에 관한 영상 포비션(image foveation)을 수행하는 영상 포비션 수행부를 포함한다. 따라서, 본 발명은 원격지에서 촬영된 360도 영상을 사용자의 시선에 맞춰 실시간으로 재생할 수 있다.

Description

원격지 영상 재생 장치{REMOTE IMAGE PLAYBACK APPARATUS}
본 발명은 원격지 영상 재생 기술에 관한 것으로, 보다 상세하게는 원격지에서 촬영된 360도 영상을 사용자의 시선에 맞춰 실시간으로 재생할 수 있는 원격지 영상 재생 장치에 관한 것이다.
VR은 인간의 모든 감각을 사용하여, 실제처럼 느낄 수 있는 통합된 경험을 의미할 수 있다. VR은 구현 기술에 따라 VE(Virtual Environment), AR(Augmented Reality), AV(Augmented Virtuality), SR(Substitutional Reality) 및 MR(Mixed Reality) 등으로 구분될 수 있다. VE는 일반적으로 VR이라는 용어로 통용되는 기술에 해당할 수 있고, VR 카메라로 촬영되거나 CG(Computer Graphic)로 제작된 가상현실을 HMD(Head Mounted Display)를 착용하여 경험하는 것을 의미할 수 있다.
한국공개특허 제10-2017-0106814(2017.09.22)호는 디스플레이 장치 및 VR 영상 제공 방법에 관한 것으로, 서로 이격 배치된 좌측, 우측 디스플레이; 상기 좌측, 우측 디스플레이 각각의 후방에 위치한 좌측, 우측 광학계(lens group); 상기 좌측, 우측 디스플레이 및 상기 좌측, 우측 광학계를 감싸도록 구성된 좌측, 우측 디스플레이 하우징; 상기 좌측, 우측 디스플레이 하우징의 사이에 배치되는 메인 프레임; 외부 전자 장치에 전기적으로 연결되는 커넥터 및 상기 메인 프레임에 대해 각도 조절이 가능한 연결 구조물; 및 상기 메인 프레임의 내부에 배치되는 전자 부품들을 포함한다.
한국등록특허 제10-1671641(2016.10.26)호는 VR 기기를 이용한 원격 제어 시스템 및 방법에 관한 것으로, 원격 조종체의 카메라와 마이크로부터 수신되는 멀티미디어 데이터에 대하여 압축하고, 상기 압축된 멀티미디어 데이터를 디코딩함으로써 VR 영상을 출력하는 단계; 상기 VR 영상을 기반으로 조종사로부터 원격 조종이 수행됨에 따라 상기 원격 조종을 수행하는 명령에 따른 상기 원격 조종체를 제어하는 단계; 및 상기 원격 조종체에 비정상적인 작동이 감지됨에 따라 기설정된 원격 제어 상황에 기반하여 상기 원격 조종체를 동작시키는 단계를 포함할 수 있다.
한국공개특허 제10-2017-0106814(2017.09.22)호 한국등록특허 제10-1671641(2016.10.26)호
본 발명의 일 실시예는 원격지에서 촬영된 360도 영상을 사용자의 시선에 맞춰 실시간으로 재생할 수 있는 원격지 영상 재생 장치를 제공하고자 한다.
본 발명의 일 실시예는 사용자의 시선 방향에 맞춰 시선 방향 영상을 수신하고 영상 포비션을 수행하여 통신 부하를 줄임으로써 영상 재생의 실시간성을 제공할 수 있는 원격지 영상 재생 장치를 제공하고자 한다.
본 발명의 일 실시예는 카메라와의 통신 속도를 기초로 사용자의 시선 방향 결정에 영향을 미치는 사용자 헤드의 움직임 각도를 동적으로 결정할 수 있는 원격지 영상 재생 장치를 제공하고자 한다.
본 발명의 일 실시예는 사용자 시선 방향의 동요를 고려하여 사용자 단말의 디스플레이를 통해 재생하는 영상의 해상도를 조절함으로써 영상 처리에 소요되는 부하를 줄일 수 있는 원격지 영상 재생 장치를 제공하고자 한다.
실시예들 중에서, 원격지 영상 재생 장치는 사용자의 시선 방향을 검출하여 적어도 하나의 360도 카메라 각각에서 제공할 360도 영상에 관한 특정 시야각을 결정하는 시야각 결정부, 상기 특정 시야각에 있는 시선 방향 영상을 수신하는 영상 처리부 및 상기 시선 방향이 특정 시간 동안 일정 범위 내에서 고정되면 상기 사용자의 시선을 검출하여 상기 시선 방향 영상에 관한 영상 포비션(image foveation)을 수행하는 영상 포비션 수행부를 포함한다.
상기 시야각 결정부는 일정 각도 이상을 가지는 상기 사용자의 헤드 움직임을 기초로 상기 시선 방향을 결정할 수 있다.
상기 시야각 결정부는 상기 적어도 하나의 360도 카메라와의 통신 속도를 기초로 상기 일정 각도를 동적으로 결정하여 상기 사용자의 영상 끊김을 최소화할 수 있다.
상기 시야각 결정부는 상기 적어도 하나의 360도 카메라의 개수가 복수에 해당하는 경우에는 각각을 상기 사용자의 양안에 대응하도록 설정하여 좌측 영상과 우측 영상을 통해 상기 특정 시야각을 결정할 수 있다.
상기 영상 처리부는 상기 시선 방향 영상의 수신 과정에서 전체 영상에서 해당 영상의 방향을 표시할 수 있는 시선방향 표시자를 오버레이되게 제공하고 상기 사용자의 전후 이동을 감지하여 상기 시선방향 표시자의 중심을 이동시키고 상기 시선 방향 영상의 확대 또는 축소를 수행할 수 있다.
상기 영상 포비션 수행부는 상기 사용자의 눈 움직임을 기초로 상기 시선을 결정하고 상기 결정된 시선의 중심을 기초로 점차적으로 감소되는 해상도를 가지도록 상기 시선 방향 영상에 대한 영상 포비션을 수행할 수 있다.
상기 영상 포비션 수행부는 상기 시선 방향의 동요(fluctuation)가 특정 기준 이상으로 발생되면 상기 시선 방향 영상의 해상도를 균일하게 최소화시킬 수 있다.
상기 영상 포비션 수행부는 상기 시선 방향의 동요가 중단되면 상기 시선 방향 영상에서 상기 시선을 중심에서 바깥 방향으로 점진적으로 퍼지도록 해상도를 증가시킬 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 원격지 영상 재생 장치는 사용자의 시선 방향에 맞춰 시선 방향 영상을 수신하고 영상 포비션을 수행하여 통신 부하를 줄임으로써 영상 재생의 실시간성을 제공할 수 있다.
본 발명의 일 실시예에 따른 원격지 영상 재생 장치는 카메라와의 통신 속도를 기초로 사용자의 시선 방향 결정에 영향을 미치는 사용자 헤드의 움직임 각도를 동적으로 결정할 수 있다.
본 발명의 일 실시예에 따른 원격지 영상 재생 장치는 사용자 시선 방향의 동요를 고려하여 사용자 단말의 디스플레이를 통해 재생하는 영상의 해상도를 조절함으로써 영상 처리에 소요되는 부하를 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 원격지 영상 재생 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 원격지 영상 재생 장치를 설명하는 블록도이다.
도 3은 도 1에 있는 원격지 영상 재생 장치에서 수행되는 원격지 영상 재생 과정을 설명하는 순서도이다.
도 4는 도 1에 있는 원격지 영상 재생 장치에서 360도 영상에서 시선 방향 영상을 결정하는 과정을 설명하는 예시도이다.
도 5는 도 2에 있는 시야각 결정부에서 사용자의 시선 방향에 따른 시야각을 결정하는 과정을 설명하는 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 원격지 영상 재생 시스템을 설명하는 도면이다.
도 1을 참조하면, 원격지 영상 재생 시스템(100)은 영상 촬영 장치(110), 원격지 영상 재생 장치(130), 데이터베이스(150) 및 사용자 단말(170)을 포함할 수 있다.
영상 촬영 장치(110)는 특정 장소에서 특정 객체 또는 공간을 촬영할 수 있는 장치에 해당할 수 있다. 예를 들어, 영상 촬영 장치(110)는 특정 장소에서 360도 영상을 촬영할 수 있는 360도 카메라를 포함하여 구현될 수 있다. 360도 카메라는 360도 영상을 촬영할 수 있는 복수의 카메라와 각 카메라로부터 촬영된 영상을 결합하기 위한 스티칭 장치를 포함할 수 있다.
일 실시예에서, 영상 촬영 장치(110)는 복수의 360도 카메라들을 포함하여 구현될 수 있고, 각 360도 카메라들에 의해 촬영된 영상을 하나로 통합하여 하나의 360도 영상을 생성할 수 있다. 영상 촬영 장치(110)는 원격지 영상 재생 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 영상 촬영 장치(110)들은 원격지 영상 재생 장치(130)와 동시에 연결될 수 있다.
원격지 영상 재생 장치(130)는 영상 촬영 장치(110)와 통신하여 원격지에서 촬영된 360도 영상을 실시간으로 수신하고 사용자 단말(170)에 제공할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 원격지 영상 재생 장치(130)는 영상 촬영 장치(110) 및 사용자 단말(170)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 유선 또는 무선 네트워크를 통해 영상 촬영 장치(110) 및 사용자 단말(170)과 통신을 수행할 수 있다.
일 실시예에서, 원격지 영상 재생 장치(130)는 데이터베이스(150)와 연동하여 영상 촬영 장치(110)로부터 수신한 360도 영상 및 사용자 시선에 맞춰 가공된 영상을 저장할 수 있다. 한편, 원격지 영상 재생 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다.
일 실시예에서, 원격지 영상 재생 장치(130)는 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있다. 프로세서는 영상 촬영 장치(110)로부터 수신한 영상을 기초로 원격지 영상 재생을 수행하기 위한 각 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리를 관리할 수 있다. 프로세서는 원격지 영상 재생 장치(130)의 동작 전반을 제어할 수 있고, 메모리, 사용자 입출력부 및 네트워크 입출력부와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서는 원격지 영상 재생 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
또한, 메모리는 원격지 영상 재생 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치 또는 주기억장치를 포함할 수 있다. 사용자 입출력부는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 일 실시예에서, 사용자 입출력부는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 원격지 영상 재생 장치(130)는 서버로서 수행될 수 있다. 네트워크 입출력부은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN, MAN, WAN 및 VAN 등의 통신을 위한 어댑터를 포함할 수 있다.
데이터베이스(150)는 원격지 영상 재생 장치(130)가 360도 영상에 대해 사용자의 시선에 따라 영상 포비션을 수행하여 사용자 단말(170)에 제공하는 과정에서 필요한 다양한 정보들을 저장할 수 있다. 예를 들어, 데이터베이스(150)는 영상 촬영 장치(110)로부터 수신한 360도 영상을 저장할 수 있고, 사용자 시선을 검출하고 시선 방향에 따른 영상 포비션을 통해 생성된 시선 방향 영상을 저장할 수 있으며, 반드시 이에 한정되지 않고, 360도 영상에 대한 시선 방향 영상을 수신하고 영상 포비션을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
데이터베이스(150)는 특정 범위에 속하는 정보들을 저장하는 적어도 하나의 독립된 서브-데이터베이스들로 구성될 수 있고, 적어도 하나의 독립된 서브-데이터베이스들이 하나로 통합된 통합 데이터베이스로 구성될 수 있다. 적어도 하나의 독립된 서브-데이터베이스들로 구성되는 경우에는 각각의 서브-데이터베이스들은 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 상호 간의 데이터를 주고 받을 수 있다. 데이터베이스(150)는 통합 데이터베이스로 구성되는 경우 각각의 서브-데이터베이스들을 하나로 통합하고 상호 간의 데이터 교환 및 제어 흐름을 관리하는 제어부를 포함할 수 있다.
사용자 단말(170)은 360도 영상을 수신하여 실시간으로 재생할 수 있는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(170)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC, VR 기기 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(170)은 원격지 영상 재생 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(170)들은 원격지 영상 재생 장치(130)와 동시에 연결될 수 있다.
도 2는 도 1에 있는 원격지 영상 재생 장치를 설명하는 블록도이다.
도 2를 참조하면, 원격지 영상 재생 장치(130)는 시야각 결정부(210), 영상 처리부(230), 영상 포비션 수행부(250) 및 제어부(270)를 포함할 수 있다.
시야각 결정부(210)는 사용자의 시선 방향을 검출하여 적어도 하나의 360도 카메라 각각에서 제공할 360도 영상에 관한 특정 시야각을 결정할 수 있다. 사용자의 시선 방향은 사용자가 바라보는 전방 방향으로서 사용자가 인지할 수 있는 가시 영역의 중심 방향에 해당할 수 있다. 시야각 결정부(210)는 사용자의 눈과 사용자 단말(170) 상의 디스플레이 간의 거리를 고려하여 사용자 시선 방향을 기준으로 사용자의 눈의 위치에서의 일정 범위의 각도로 정의되는 특정 시야각을 결정할 수 있다. 결과적으로, 360도 영상 중에서 특정 시야각에 의해 형성되는 일정 영역이 실제 사용자 단말(170)의 디스플레이를 통해 재생될 수 있다.
일 실시예에서, 시야각 결정부(210)는 일정 각도 이상을 가지는 사용자의 헤드 움직임을 기초로 시선 방향을 결정할 수 있다. 예를 들어, 사용자 단말(170)이 HMD(Head Mounted Display)인 경우 시야각 결정부(210)는 HMD에 포함된 동작 감지 센서를 통해 사용자의 헤드 움직임을 검출할 수 있다. 동작 감지 센서는 모션 센서에 해당하고 물체의 움직임과 위치를 인식하여 입력하는 센서에 해당할 수 있으며, 방향을 감지하는 센서, 움직임을 감지하는 센서 및 속도를 측정하는 센서 등을 포함할 수 있다.
시야각 결정부(210)는 사용자의 헤드 움직임의 변화가 일정 각도 이상인 경우에 사용자의 시선 방향이 변경된 것으로 결정할 수 있고, 이에 따라 변경된 사용자의 시선 방향을 새롭게 결정할 수 있다. 사용자의 헤드 움직임은 사용자가 인지하지 못한 상태에서도 일정 범위 내에서 미세하게 흔들릴 수 있기 때문에 시야각 결정부(210)는 사용자의 헤드 움직임의 변화가 일정 각도 미만인 경우에는 사용자의 정상적인 범위 내에서의 헤드 움직임으로 판단하여 사용자의 시선 방향의 변화가 없는 것으로 처리할 수 있다.
시야각 결정부(210)는 사용자의 헤드 움직임의 변화를 수직 방향 또는 수평 방향으로 각각 나누어 검출할 수 있고, 수직 방향 또는 수평 방향으로의 움직임은 평행 이동과 회전 이동을 포함할 수 있다. 따라서, 시야각 결정부(210)는 사용자의 헤드 움직임이 수직 방향으로 일정 각도 이상 변화되거나 또는 수평 방향으로 일정 각도 이상 변화된 경우 사용자의 헤드 움직임이 변화된 것으로 검출할 수 있다. 또한, 시야각 결정부(210)는 평행 이동에 의하여 사용자의 헤드가 일정 거리만큼 움직이거나 또는 회전 이동에 의하여 사용자의 헤드가 일정 각도만큼 회전한 경우 사용자의 헤드 움직임이 변화된 것으로 검출할 수 있다.
일 실시예에서, 시야각 결정부(210)는 적어도 하나의 360도 카메라와의 통신 속도를 기초로 일정 각도를 동적으로 결정하여 사용자의 영상 끊김을 최소화할 수 있다. 원격지 영상 재생 장치(130)는 원격지에서 360도 영상을 촬영하는 영상 촬영 장치(110)와 무선으로 통신하여 영상 데이터를 수신하기 때문에, 통신 속도가 실시간 영상 재생에 필요한 만큼 빠르지 않은 경우 사용자 단말(170)에서의 영상 재생이 원활하지 않을 수 있다.
따라서, 시야각 결정부(210)는 영상 촬영 장치(110)에 포함된 360도 카메라와의 통신 속도를 기초로 일정 각도를 동적으로 결정함으로써 사용자의 헤드 움직임 변화를 줄여 사용자의 시선 방향 검출과 시야각의 결정에 소요되는 연산량을 줄일 수 있다. 예를 들어, 시야각 결정부(210)는 통신 속도가 빠른 경우 일정 각도를 작게 결정할 수 있고, 통신 속도가 느린 경우 일정 각도를 크게 결정할 수 있다. 일정 각도가 작을수록 사용자의 헤드 움직임에 따른 시선 방향의 변화 검출 빈도가 증가할 수 있고, 시선 방향의 변화에 따라 새로운 시야각에 따른 영상 처리가 필요하기 때문에 360도 카메라와의 데이터 통신량이 증가할 수 있다. 이와 반대로, 일정 각도가 클수록 시선 방향의 변화 검출 빈도는 감소할 수 있고, 360도 카메라와의 데이터 통신량도 감소할 수 있다.
일 실시예에서, 시야각 결정부(210)는 시선 방향의 중심에서 사용자의 양안을 통한 시야각보다 크도록 특정 시야각을 결정할 수 있다. 여기에서, 사용자의 양안을 통한 시야각은 사용자의 양안 각각에 대한 시야각을 하나로 통합한 시야각에 해당할 수 있고, 사용자가 두 눈을 통해 인지할 수 있는 영역에 대응될 수 있으며, 수직 방향 및 수평 방향의 시야각을 포함할 수 있다. 시야각 결정부(210)는 특정 시야각을 사용자의 양안을 통한 시야각보다 더 크게 설정함으로써 사용자가 볼 수 있는 영역보다 확장된 영역에 대한 영상을 수신할 수 있고, 이를 통해 원격지 영상 재생 장치(130)는 사용자의 시선 방향에 대한 검출 오차에도 불구하고 사용자가 바라보는 영역의 영상을 무리없이 재생할 수 있다.
일 실시예에서, 시야각 결정부(210)는 적어도 하나의 360도 카메라의 개수가 복수에 해당하는 경우에는 각각을 사용자의 양안에 대응하도록 설정하여 좌측 영상과 우측 영상을 통해 특정 시야각을 결정할 수 있다. 영상 촬영 장치(110)를 구성하는 360도 카메라는 하나의 카메라로 구성되거나 또는 복수의 카메라들로 구성될 수 있다. 만약 영상 촬영 장치(110)가 복수의 360도 카메라들로 구성된 경우, 시야각 결정부(210)는 카메라 각각을 사용자의 양안에 대응하도록 설정할 수 있다.
예를 들어, 시야각 결정부(210)는 360도 카메라가 2개인 경우 일방의 360도 카메라를 사용자의 좌안에 매칭시키고, 타방의 360도 카메라를 사용자의 우안에 매칭시킬 수 있다. 시야각 결정부(210)는 사용자의 양안에 각각 매칭된 360도 카메라에 의해 생성된 영상을 각각 좌측 영상과 우측 영상으로 결정할 수 있고, 좌측 영상과 우측 영상 각각에 대한 시야각을 설정함으로써 영상 촬영 장치(110)로부터 수신되는 360도 영상에 관한 특정 시야각을 결정할 수 있다. 이 경우 360도 영상에 관한 특정 시야각은 좌측 영상에 설정된 시야각과 우측 영상에 설정된 시야각의 결합에 의해 형성되는 시야각에 해당할 수 있다.
결과적으로, 시야각 결정부(210)는 영상 촬영 장치(110)로부터 수신되는 하나의 360도 영상에 관한 하나의 특정 시야각을 직접적으로 결정하거나 또는 360도 영상을 구성하는 복수의 360도 영상들 각각에 대한 시야각을 독립적으로 결정함으로써 복수의 360도 영상들 각각에 대한 시야각들로 구성되는 하나의 특정 시야각을 간접적으로 결정할 수 있다.
영상 처리부(230)는 특정 시야각에 있는 시선 방향 영상을 수신할 수 있다. 시선 방향 영상은 360도 영상 중에서 사용자의 시선 방향에 대응되는 특정 영역의 영상에 해당할 수 있고, 특정 시야각은 특정 영역의 경계와 사용자의 눈의 위치가 이루는 각도에 해당할 수 있다. 따라서, 시선 방향 영상은 사용자의 시선 방향을 기초로 사용자 단말(170)의 디스플레이를 통해 재생되는 실제 영상에 해당할 수 있고, 360도 영상 중에서 사용자의 눈의 위치를 기준으로 특정 시야각을 가지고 형성되는 영역에 대한 영상에 해당할 수 있다. 영상 처리부(230)는 시야각 결정부(210)에 의해 결정된 특정 시야각을 기초로 360도 영상 중에서 시선 방향 영상에 해당하는 부분만을 수신할 수 있다.
결과적으로, 원격지 영상 재생 장치(130)는 영상 촬영 장치(110)로부터 360도 영상 전체를 수신하는 대신 영상 처리부(230)를 통해 사용자가 실제로 바라보는 영역에 대한 영상만을 선택적으로 수신함으로써 영상 촬영 장치(110)와의 데이터 통신량을 최적화할 수 있고, 사용자 단말(170)에서의 영상 재생에 있어서 실시간성을 제공할 수 있다.
일 실시예에서, 영상 처리부(230)는 시선 방향 영상의 수신 과정에서 전체 영상에서 해당 영상의 방향을 표시할 수 있는 시선방향 표시자를 오버레이되게 제공하고 사용자의 전후 이동을 감지하여 시선방향 표시자의 중심을 이동시키고 시선 방향 영상의 확대 또는 축소를 수행할 수 있다. 시선방향 표시자는 사용자의 시선방향을 표시하는 방향 지시자에 해당할 수 있고, 다양한 형태로 디자인되어 구현될 수 있다. 예를 들어, 시선방향 표시자는 360도 전체 영상에 대응되는 작은 구형 객체 상에서 시선 방향 영상에 해당하는 영역을 하이라이팅하는 형태로 구현될 수 있다. 이 경우 사용자의 위치는 구형 객체의 중심에 해당할 수 있다.
영상 처리부(230)는 시선 방향 영상 수신 과정에서 시선방향 표시자를 시선 방향 영상 위에 오버레이(overlay)되게 제공할 수 있다. 또한, 영상 처리부(230)는 사용자 단말(170)과의 통신을 통해 사용자의 전후 이동을 감지할 수 있다. 보다 구체적으로, 영상 처리부(230)는 사용자 단말(170)에 포함된 동작 감지 센서를 통해 사용자의 움직임에 대한 센싱 정보를 수신할 수 있고, 센싱 정보를 분석하여 사용자의 전후 이동을 감지할 수 있다. 사용자의 전후 이동은 수평방향의 평행 이동에 해당할 수 있고, 영상 처리부(230)는 사용자의 전후 이동에 따라 시선방향 표시자의 중심을 이동시킬 수 있고 시선 방향 영상의 확대 또는 축소를 수행할 수 있다.
즉, 영상 처리부(230)는 사용자가 전방으로 이동하는 경우 시선 방향 영상의 확대를 수행하고 사용자가 후방으로 이동하는 경우 시선 방향 영상의 축소를 수행할 수 있다. 영상 처리부(230)는 사용자의 이동 거리에 따라 확대 또는 축소 비율을 자동으로 결정하거나 또는 미리 설정된 비율에 따라 시선 방향 영상의 확대 또는 축소를 수행할 수 있다. 원격지 영상 재생 장치(130)는 시선 방향 영상의 확대 또는 축소 비율에 관한 정보를 사전에 설정할 수 있고, 데이터베이스(150)에 저장하여 활용할 수 있다.
영상 포비션 수행부(250)는 시선 방향이 특정 시간 동안 일정 범위 내에서 고정되면 사용자의 시선을 검출하여 시선 방향 영상에 관한 영상 포비션을 수행할 수 있다. 영상 포비션(image foveation)은 사용자의 시선에 따라 필요한 영역만 최대 화질을 유지하고 나머지 영역은 자연스럽게 저화질로 표현함으로써 그래픽 연산 부하를 최소화하는 연산에 해당할 수 있다. 영상 포비션 수행부(250)는 사용자의 시선 방향이 특정 시간 동안 일정 범위 내에서 고정된 경우라면 사용자가 특정 방향을 주시하는 것으로 결정할 수 있고, 영상 처리부(230)에 의해 수신된 시선 방향 영상에 대해 영상 포비션을 수행할 수 있다.
영상 포비션 수행부(250)는 사용자의 시선이 자연스럽게 흔들리는 것을 고려하여 시선 변동에 관한 기준 범위를 결정할 수 있고, 사용자의 시선 방향이 해당 기준 범위 내에서 특정 시간 이상 지속되는 경우 사용자가 해당 방향을 주시하고 있는 것으로 결정할 수 있다. 영상 포비션 수행부(250)는 사용자의 시선을 검출하여 시선 방향 영상을 중심 영역과 주변 영역으로 구분할 수 있다. 중심 영역은 사용자가 주시하고 있는 영역에 해당할 수 있고 주변 영역은 중심 영역에 비해 사용자의 관심도가 상대적으로 적은 영역에 해당할 수 있다.
영상 포비션 수행부(250)는 중심 영역과 주변 영역에 대해 각기 다른 해상도를 적용하여 영상 포비션을 수행할 수 있다. 예를 들어, 영상 포비션 수행부(250)는 중심 영역에 대해 상대적으로 높은 해상도를 적용할 수 있고, 주변 영역에 대해 중심 영역의 해상도보다 낮은 해상도를 적용할 수 있다. 원격지 영상 재생 장치(130)는 영상 포비션 수행부(250)를 통해 사용자 단말(170)에 제공되는 영상에 대해 포비션을 수행함으로써 사용자 단말(170)에 제공되는 데이터량을 조절할 수 있고, 사용자 단말(170)에서 재생되는 영상의 실시간성을 보장할 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 사용자의 눈 움직임을 기초로 시선을 결정할 수 있다. 영상 포비션 수행부(250)는 아이 트래킹(eye tracking) 기술을 이용하여 사용자의 눈 움직임을 추적할 수 있고, 이를 기초로 사용자의 시선을 결정할 수 있다. 사용자의 시선은 사용자의 시선 방향보다 더 세밀한 표현에 해당할 수 있고, 예를 들어, 사용자의 시선은 사용자의 시선 방향을 구성하는 복수의 벡터들 중에서 하나 또는 일부에 해당할 수 있다. 사용자의 시선 방향에 대응되는 영역이 시선 방향 영상에 해당한다면 사용자의 시선에 대응되는 영역은 시선 방향 영상 중 일부 영역에 해당할 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 사용자의 양안의 움직임에 기초하여 사용자의 시선 방향의 특정 지점을 사용자의 시선으로서 결정할 수 있다. 예를 들어, 영상 포비션 수행부(250)는 사용자의 양안 각각에 대응되는 시선 방향과 해당 시선 방향을 기초로 360도 영상에서 대응되는 시선 방향 영역을 결정할 수 있고, 사용자의 양안 각각에 대응되는 시선 방향 영역 간의 중첩 영역의 중심을 사용자의 시선으로서 결정할 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 결정된 시선의 중심을 기초로 점차적으로 감소되는 해상도를 가지도록 시선 방향 영상에 대한 영상 포비션을 수행할 수 있다. 영상 포비션 수행부(250)는 사용자의 눈 움직임을 기초로 사용자의 시선을 결정할 수 있고, 사용자의 시선에 대응되는 시선 방향 영상의 특정 지점을 중심으로 하여 거리가 멀어짐에 따라 해상도가 점차적으로 감소하도록 영상 포비션을 수행할 수 있다. 다른 실시예에서, 영상 포비션 수행부(250)는 사용자의 시선을 중심으로 하여 거리가 멀어짐에 따라 일정 간격으로 해상도가 점차 감소하도록 영상 포비션을 수행할 수 있다. 결과적으로, 영상 포비션 수행부(250)는 사용자의 시선에 해당하는 지점을 중심으로 높은 해상도로 표현함으로써 사용자가 실제 눈으로 보는 것과 동일한 현실감을 제공할 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 시선 방향의 동요(fluctuation)가 특정 기준 이상으로 발생되면 시선 방향 영상의 해상도를 균일하게 최소화시킬 수 있다. 시선 방향의 동요(fluctuation)는 사용자의 시선 방향의 흔들림에 해당할 수 있고, 특히 일정 범위 내에서 반복적으로 시선 방향이 변화하는 경우에 해당할 수 있다. 영상 포비션 수행부(250)는 시선 방향의 동요가 특정 기준 이상으로 발생되는 경우 사용자의 움직임이 활발하여 사용자가 시선 방향 영상을 정확히 인지하기 어렵다는 점을 고려하여 시선 방향 영상의 해상도를 강제적으로 낮춤으로써 영상 처리에 소요되는 연산량을 조절할 수 있다.
영상 포비션 수행부(250)는 시선 방향 영상의 해상도의 최소화를 위한 특정 기준으로서 시선 방향의 동요(fluctuation)가 발생하는 범위 및 시간 중 적어도 하나를 설정할 수 있다. 예를 들어, 영상 포비션 수행부(250)는 시선 방향의 동요가 발생하는 범위를 해당 시선 방향을 모두 포함하는 원형 영역으로 결정하고 해당 원형 영역의 크기를 특정 기준으로서 설정할 수 있고 시선 방향의 동요가 발생하는 시간을 특정 기준으로서 설정할 수 있다.
영상 포비션 수행부(250)는 시선 방향의 동요가 발생하는 시선 방향을 모두 포함하는 원형 영역의 지름이 특정 길이를 초과하거나 또는 시선 방향의 동요가 발생하는 시간이 특정 시간을 초과하는 경우 시선 방향 영상의 해상도를 균일하게 최소화시킬 수 있다. 원격지 영상 재생 장치(130)는 시선 방향 영상의 해상도의 최소화를 위한 특정 기준을 사전에 결정할 수 있고, 데이터베이스(150)에 저장하여 활용할 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 시선 방향의 동요(fluctuation)가 중단되면 시선 방향 영상에서 시선을 중심에서 바깥 방향으로 점진적으로 퍼지도록 해상도를 증가시킬 수 있다. 영상 포비션 수행부(250)는 시선 방향의 동요가 특정 기준 이상으로 발생되어 시선 방향 영상의 해상도가 최소화된 경우에 있어서, 시선 방향의 동요가 중간되면 최소화되었던 시선 방향 영상의 해상도를 원래대로 복구시킬 수 있다.
보다 구체적으로, 영상 포비션 수행부(250)는 시선 방향의 동요(fluctuation)가 중단되면 시선 방향 영상의 중심에서 바깥 방향으로 점진적으로 퍼지도록 해상도를 증가시킬 수 있다. 이 경우 영상 포비션 수행부(250)는 미리 설정된 기준 해상도에 맞춰 시선 방향 영상의 해상도를 균일하게 증가시킬 수 있다. 다른 실시예에서, 영상 포비션 수행부(250)는 시선 방향 영상의 중심에서 바깥 방향으로 일정 간격으로 구분되는 영역에 대해 차례대로 기준 해상도에 맞춰 해상도를 증가시킬 수 있다. 또한, 영상 포비션 수행부(250)는 시선 방향 영상의 중심을 기초로 일정 각도에 의해 구분되는 영역에 대해 시계 방향 순서대로 기준 해상도에 맞춰 해상도를 증가시킬 수 있다.
제어부(270)는 원격지 영상 재생 장치(130)의 전체적인 동작을 제어하고, 시야각 결정부(210), 영상 처리부(230) 및 영상 포비션 수행부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 도 1에 있는 원격지 영상 재생 장치에서 수행되는 원격지 영상 재생 과정을 설명하는 순서도이다.
도 3을 참조하면, 원격지 영상 재생 장치(130)는 시야각 결정부(210)를 통해 사용자의 시선 방향을 검출하여 적어도 하나의 360도 카메라 각각에서 제공할 360도 영상에 관한 특정 시야각을 결정할 수 있다(단계 S310). 시야각 결정부(210)는 일정 각도 이상을 가지는 사용자의 헤드 움직임을 기초로 사용자의 시선 방향을 결정할 수 있고, 적어도 하나의 360도 카메라와의 통신 속도를 기초로 일정 각도를 동적으로 결정하여 사용자의 영상 끊김을 최소화할 수 있다. 또한, 시야각 결정부(210)는 시선 방향의 중심에서 사용자의 양안을 통한 시야각보다 크도록 특정 시야각을 결정할 수 있고, 적어도 하나의 360도 카메라의 개수가 복수에 해당하는 경우에는 각각을 사용자의 양안에 대응하도록 설정하여 좌측 영상과 우측 영상을 통해 특정 시야각을 결정할 수 있다.
일 실시예에서, 시야각 결정부(210)는 적어도 하나의 360도 카메라와의 통신 속도를 기초로 다음의 수학식 1을 통해 일정 각도를 동적으로 결정할 수 있다.
[수학식 1]
Figure 112018088732562-pat00001
여기에서, A는 일정 각도를, k는 비례 상수를, N은 360도 카메라의 수를, R은 360도 영상의 해상도를, Vmin은 적어도 하나의 360도 카메라와의 통신 속도의 최소값을 의미할 수 있다. 일정 각도 A는 360도 영상을 촬영하는 360도 카메라의 수가 많을수록, 360도 영상의 해상도가 클수록, 360도 카메라와의 통신 속도의 최소값이 작을수록 증가할 수 있다. 또한, 일정 각도 A는 수직 방향 및 수평 방향의 회전 각도에 해당할 수 있다.
일 실시예에서, 시야각 결정부(210)는 적어도 하나의 360도 카메라와의 통신 속도를 기초로 상기의 수학식 1을 통해 동적으로 결정되는 일정 각도를 특정 범위 내로 제한할 수 있다. 예를 들어, 시야각 결정부(210)는 상기의 수학식 1을 통해 산출된 일정 각도 A가 특정 범위를 초과하는 경우 일정 각도 A를 특정 범위의 경계값인 최소값 Amin 및 최대값 Amax 중 어느 하나로 결정함으로써 일정 각도 A의 값을 특정 범위 내로 제한할 수 있다. 이 경우 A에 대한 특정 범위는 최소값 Amin ~ 최대값 Amax에 해당할 수 있다.
원격지 영상 재생 장치(130)는 영상 처리부(230)를 통해 특정 시야각에 있는 시선 방향 영상을 수신할 수 있다(단계 S330). 영상 처리부(230)는 시선 방향 영상의 수신 과정에서 전체 영상에서 해당 영상의 방향을 표시할 수 있는 시선방향 표시자를 오버레이되게 제공하고 사용자의 전후 이동을 감지하여 시선방향 표시자의 중심을 이동시키고 시선 방향 영상의 확대 또는 축소를 수행할 수 있다.
일 실시예에서, 영상 처리부(230)는 시선 방향 영상 위에 표시되는 시선방향 표시자의 투명도를 조절할 수 있다. 영상 처리부(230)는 시선방향 표시자의 투명도를 조절하여 시선 방향 영상 위에 오버레이되게 표시됨으로써 시선방향 표시자에 의해 가려지는 시선 방향 영상을 효과적으로 확인할 수 있도록 할 수 있다.
일 실시예에서, 영상 처리부(230)는 시선 방향 영상 위에 표시되는 시선방향 표시자의 투명도를 다음의 수학식 2를 통해 산출할 수 있다.
[수학식 2]
Figure 112018088732562-pat00002
여기에서, I는 투명도를, k는 비례 상수를, T는 사용자의 시선이 시선방향 표시자 영역에 머무른 시간을, N은 초당 눈 깜박임 수를, A는 사용자의 시선 방향과 사용자의 시선이 형성하는 각도를 의미할 수 있다. 투명도 I는 1부터 100까지의 값을 가질 수 있고, 투명도 I = 100인 경우 투명한 상태에 해당할 수 있다. 시선방향 표시자 영역은 시선방향 표시자가 시선 방향 영상 위에 표시된 영역에 해당할 수 있고, 시선방향 표시자의 외곽 경계를 포함하는 최소 사각형 형태의 영역에 해당할 수 있다. 눈 깜박임 수는 사용자가 눈을 깜박이는 횟수에 해당할 수 있고, 사용자의 양안 각각의 초당 깜박임 수를 합하여 산출할 수 있다.
사용자의 시선 방향과 사용자의 시선은 동일할 수도 있지만 사용자의 눈동자 움직임에 따라 사용자의 시선이 사용자의 시선 방향과 다를 수 있으며, 이 경우 사용자 시선 방향과 사용자의 시선이 형성하는 각도를 이용하여 시선방향 표시자의 투명도를 산출할 수 있다. 시선방향 표시자의 투명도 I는 T는 사용자의 시선이 시선방향 표시자 영역에 머무른 시간 T가 클수록, 초당 눈 깜박임 수 N이 클수록, 사용자의 시선 방향과 사용자의 시선이 형성하는 각도 A가 클수록 높은 값을 가질 수 있다.
일 실시예에서, 영상 처리부(230)는 사용자의 시선 방향이 특정 시간 동안 시선방향 표시자가 표시된 일정 범위 내에서 고정되면 시선방향 표시자의 투명도를 조절하여 시선방향 표시자가 시선 방향 영상 위에서 사라지도록 할 수 있다. 사용자의 시선 방향이 특정 시간 동안 시선방향 표시자가 표시된 일정 범위 내에 고정된 경우라면 사용자가 해당 영역에 관심있을 확률이 높으므로 사용자가 해당 시선 방향 영상을 정확히 확인할 수 있도록 시선방향 표시자를 시선 방향 영상에서 사라지도록 할 수 있다.
일 실시예에서, 영상 처리부(230)는 사용자의 시선 방향이 특정 시간 동안 시선방향 표시자가 표시된 일정 범위 내에서 고정되면 시선방향 표시자의 위치를 변경할 수 있다. 영상 처리부(230)는 사용자의 관심 영역에 대한 확인뿐만 아니라 시선방향 표시자로 하여금 360도 영상에서 현재 사용자가 바라보고 있는 영역을 동시에 확인할 수 있도록 시선방향 표시자를 시선 방향 영상 위의 다른 곳으로 이동시켜 표시할 수 있다.
원격지 영상 재생 장치(130)는 영상 포비션 수행부(250)를 통해 시선 방향이 특정 시간 동안 일정 범위 내에서 고정되면 사용자의 시선을 검출하여 시선 방향 영상에 관한 영상 포비션을 수행할 수 있다(단계 S350). 영상 포비션 수행부(250)는 사용자의 눈 움직임을 기초로 사용자의 시선을 결정할 수 있고, 결정된 시선의 중심을 기초로 점차적으로 감소되는 해상도를 가지도록 시선 방향 영상에 대한 영상 포비션을 수행할 수 있다. 또한, 영상 포비션 수행부(250)는 시선 방향의 동요(fluctuation)가 특정 기준 이상으로 발생되면 시선 방향 영상의 해상도를 균일하게 최소화시킬 수 있고, 시선 방향의 동요가 중단되면 시선 방향 영상에서 사용자의 시선을 중심에서 바깥 방향으로 점진적으로 퍼지도록 해상도를 증가시킬 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 사용자의 시선의 중심을 기초로 시선 방향 영상을 중심 영역과 주변 영역으로 구분할 수 있고 중심 영역과 주변 영역의 해상도를 차별적으로 적용하여 시선 방향 영상에 대한 영상 포비션을 수행할 수 있다. 영상 포비션 수행부(250)는 시선의 중심을 기초로 특정 거리 이내의 원형 영역으로 형성되는 중심 영역과 시선 방향 영상에서 해당 원형 영역을 제외한 나머지 영역에 해당하는 주변 영역으로 구분할 수 있다.
또한, 영상 포비션 수행부(250)는 시선의 중심을 기초로 특정 거리만큼 떨어진 직선들에 의해 형성되는 사각형 영역에 해당하는 중심 영역과 해당 사각형 영역을 제외한 나머지 영역에 해당하는 주변 영역으로 구분할 수 있고, 반드시 이에 한정되지 않고, 시선의 중심을 기초로 일정한 규칙에 의해 형성되는 중심 영역과 해당 중심 영역을 제외한 나머지 영역에 해당하는 주변 영역으로 구분할 수 있다. 영상 포비션 수행부(250)는 중심 영역의 해상도를 주변 영역의 해상도보다 높도록 영상 포비션을 수행할 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 중심 영역의 해상도는 균일하게 적용하고 주변 영역의 해상도는 시선의 중심으로부터의 거리가 멀어짐에 따라 해상도를 감소시킴으로써 영상 포비션을 수행할 수 있다. 시선 방향 영상 중 사용자가 현재 관심있는 영역은 중심 영역에 한정되고 주변 영역은 사용자에 의해 인지되기 어렵기 때문에 영상 포비션 수행부(250)는 중심 영역보다 해상도를 낮춤으로써 영상 처리의 부하를 줄일 수 있고, 특히 주변 영역의 해상도는 시선의 중심으로부터의 거리를 기준으로 점점 감소시킴으로써 영상 처리의 부하를 효과적으로 줄일 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 시선 방향이 일정 범위 내에서 고정된 시간 및 눈깜박임 수 중 적어도 하나를 기초로 시선 방향 영상에 대한 확대를 수행할 수 있다. 예를 들어, 영상 포비션 수행부(250)는 시선 방향이 일정 범위 내에서 고정된 시간이 특정 시간을 초과하여 계속 증가할수록 시선 방향 영상을 점점 확대시킬 수 있다.
또한, 영상 포비션 수행부(250)는 시선 방향이 일정 범위 내에서 고정됨과 동시에 사용자의 눈깜박임이 특정 시간 동안 검출되지 않는 경우 시선 방향 영상을 확대시킬 수 있다. 예를 들어, 영상 포비션 수행부(250)는 시선 방향이 일정 범위 내에서 고정되고 사용자가 눈을 뜬 상태를 일정 시간 동안 지속하는 경우 시선 방향 영상을 확대시킬 수 있다. 이와 반대로, 영상 포비션 수행부(250)는 시선 방향이 일정 범위 내에서 고정되고 사용자가 눈을 감은 상태를 일정 시간 동안 지속하는 경우 시선 방향 영상을 축소시킬 수 있다.
일 실시예에서, 영상 포비션 수행부(250)는 시선 방향이 일정 범위 내에서 고정된 시간 및 눈깜박임 수 중 적어도 하나를 기초로 다음의 수학식 3을 통해 산출된 비율에 따라 시선 방향 영상에 대한 확대를 수행할 수 있다.
[수학식 3]
Figure 112018088732562-pat00003
여기에서, R은 시선 방향 영상에 대한 확대 비율을, k는 비례 상수를, T는 사용자의 시선 방향이 일정 범위 내에서 고정된 시간을, N은 시간 T 동안의 눈깜박임 수를, E는 일정 범위의 넓이를, S는 시선 방향 영상의 대각선 길이를 의미할 수 있다. 시선 방향 영상에 대한 확대 비율 R은 일정 범위의 넓이 E와 시선 방향 영상의 대각선 길이 S의 합에 대한 로그값에 반비례할 수 있고, 사용자의 시선 방향이 일정 범위 내에서 고정된 시간 T와 시간 T 동안의 눈깜박임 수의 곱에 비례할 수 있다.
따라서, 영상 포비션 수행부(250)는 사용자의 시선 방향이 일정 범위 내에서 고정된 상태에서 사용자의 눈깜박임 수가 많을수록 시선 방향 영상에 대해 높은 비율로 확대를 수행할 수 있고, 사용자의 시선이 고정되는 일정 범위의 넓이가 크고 시선 방향 영상의 대각선 방향의 길이가 길수록 시선 방향 영상에 대해 낮은 비율로 확대를 수행할 수 있다.
도 4는 도 1에 있는 원격지 영상 재생 장치에서 360도 영상에서 시선 방향 영상을 결정하는 과정을 설명하는 예시도이다.
도 4를 참조하면, 원격지 영상 재생 장치(130)는 시야각 결정부(210)를 통해 영상 촬영 장치(110)에 의해 촬영된 360도 영상(410)에 관한 특정 시야각(430)을 결정할 수 있다. 시야각 결정부(210)는 사용자의 헤드 움직임을 기초로 사용자의 시선 방향(470)을 결정할 수 있다. 사용자의 시선 방향(470)은 사용자가 바라보는 전방 방향으로서 사용자가 인지할 수 있는 가시 영역의 중심 방향에 해당할 수 있다. 도 4에서, 사용자의 시선 방향(470)은 사용자의 눈의 위치로부터 시선 방향 영상(450)의 중앙을 통과하는 직선의 진행 방향에 해당할 수 있다.
영상 촬영 장치(110)가 HMD인 경우 시야각 결정부(210)는 HMD에 포함된 동작 감지 센서를 통해 사용자의 헤드 움직임을 감지할 수 있고, 사용자의 헤드 움직임에 기초하여 사용자의 시선 방향(470)을 결정할 수 있다. 시야각 결정부(210)는 사용자의 시선 방향(470)을 기초로 360도 영상(410)에 관한 특정 시야각(430)을 결정할 수 있고, 영상 처리부(230)는 특정 시야각(430)에 의해 결정되는 360도 영상(410)에서의 일부 영역을 시선 방향 영상(450)으로서 결정할 수 있다.
이 경우 시야각 결정부(210)에 의해 결정되는 특정 시야각은 수평 방향의 수평 시야각과 수직 방향의 수직 시야각을 포함할 수 있다. 또한, 시선 방향 영상(450)은 사용자의 시선 방향(470)을 중심으로 하여 수직 방향의 수직 시야각과 수평 방향의 수평 시야각에 의해 360도 영상(410)에 형성되는 사각형 영역에 해당할 수 있다. 원격지 영상 재생 장치(130)는 영상 처리부(230)를 통해 특정 시야각(430)에 있는 시선 방향 영상(450)을 수신할 수 있고, 영상 포비션 수행부(250)를 통해 시선 방향 영상에 관한 영상 포비션을 수행한 결과를 사용자 단말(170)에 최종적인 원격지 영상으로서 제공할 수 있다.
도 5는 도 2에 있는 시야각 결정부에서 사용자의 시선 방향에 따른 시야각을 결정하는 과정을 설명하는 예시도이다.
도 5를 참조하면, 원격지 영상 재생 장치(130)는 시야각 결정부(210)를 통해 사용자의 시선 방향을 검출하고 적어도 하나의 360도 카메라 각각에서 제공할 360도 영상에 관한 특정 시야각을 결정할 수 있다. 일 실시예에서, 시야각 결정부(210)는 사용자의 눈과 사용자 단말(170) 상의 디스플레이 간의 거리를 고려하여 사용자 시선 방향을 기준으로 사용자의 눈의 위치에서의 일정 범위의 각도로 정의되는 특정 시야각을 결정할 수 있다.
도 5의 그림 (a)에서, 시야각 결정부(210)는 사용자 단말(170) 상의 디스플레이를 통해 재생되는 시선 방향 영상(510)의 크기를 고려하여 수평 방향으로의 수평 시야각(530)을 결정할 수 있다. 도 5의 그림 (b)에서, 시야각 결정부(210)는 시선 방향 영상(510)의 크기를 고려하여 수직 방향으로의 수직 시야각(550)을 결정할 수 있다. 결과적으로, 영상 촬영 장치(110)를 통해 촬영된 360도 영상 중에서 시야각 결정부(210)에 의해 결정된 특정 시야각에 의해 형성되는 일정 영역이 실제 사용자 단말(170)의 디스플레이를 통해 재생될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 원격지 영상 재생 시스템
110: 사용자 단말 130: 원격지 영상 재생 장치
150: 데이터베이스
210: 시야각 결정부 230: 영상 처리부
250: 영상 포비션 수행부 270: 제어부
410: 360도 영상 430: 특정 시야각
450: 시선 방향 영상 470: 시선 방향
510: 시선 방향 영상 530: 수평 시야각
550: 수직 시야각

Claims (8)

  1. 사용자의 시선 방향을 검출하여 적어도 하나의 360도 카메라 각각에서 제공할 360도 영상에 관한 특정 시야각을 결정하는 시야각 결정부;
    상기 특정 시야각에 있는 시선 방향 영상을 수신하는 영상 처리부; 및
    상기 시선 방향이 특정 시간 동안 일정 범위 내에서 고정되면 상기 사용자의 시선을 검출하여 상기 시선 방향 영상에 관한 영상 포비션(image foveation)을 수행하는 영상 포비션 수행부를 포함하되,
    상기 영상 처리부는
    상기 시선 방향 영상의 수신 과정에서 전체 영상에서 해당 영상의 방향을 표시할 수 있는 시선방향 표시자를 오버레이되게 제공하고 상기 사용자의 전후 이동을 감지하여 상기 시선방향 표시자의 중심을 이동시키고 상기 시선 방향 영상의 확대 또는 축소를 수행하는 것을 특징으로 하는 원격지 영상 재생 장치.
  2. 제1항에 있어서, 상기 시야각 결정부는
    일정 각도 이상을 가지는 상기 사용자의 헤드 움직임을 기초로 상기 시선 방향을 결정하는 것을 특징으로 하는 원격지 영상 재생 장치.
  3. 제2항에 있어서, 상기 시야각 결정부는
    상기 적어도 하나의 360도 카메라와의 통신 속도를 기초로 상기 일정 각도를 동적으로 결정하여 상기 사용자의 영상 끊김을 최소화하는 것을 특징으로 하는 원격지 영상 재생 장치.
  4. 제1항에 있어서, 상기 시야각 결정부는
    상기 적어도 하나의 360도 카메라의 개수가 복수에 해당하는 경우에는 각각을 상기 사용자의 양안에 대응하도록 설정하여 좌측 영상과 우측 영상을 통해 상기 특정 시야각을 결정하는 것을 특징으로 하는 원격지 영상 재생 장치.
  5. 삭제
  6. 제1항에 있어서, 상기 영상 포비션 수행부는
    상기 사용자의 눈 움직임을 기초로 상기 시선을 결정하고 상기 결정된 시선의 중심을 기초로 점차적으로 감소되는 해상도를 가지도록 상기 시선 방향 영상에 대한 영상 포비션을 수행하는 것을 특징으로 하는 원격지 영상 재생 장치.
  7. 제1항에 있어서, 상기 영상 포비션 수행부는
    상기 시선 방향의 동요(fluctuation)가 특정 기준 이상으로 발생되면 상기 시선 방향 영상의 해상도를 균일하게 최소화시키는 것을 특징으로 하는 원격지 영상 재생 장치.
  8. 제7항에 있어서, 상기 영상 포비션 수행부는
    상기 시선 방향의 동요가 중단되면 상기 시선 방향 영상에서 상기 시선을 중심에서 바깥 방향으로 점진적으로 퍼지도록 해상도를 증가시키는 것을 특징으로 하는 원격지 영상 재생 장치.

KR1020180106502A 2018-09-06 2018-09-06 원격지 영상 재생 장치 KR101931295B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180106502A KR101931295B1 (ko) 2018-09-06 2018-09-06 원격지 영상 재생 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180106502A KR101931295B1 (ko) 2018-09-06 2018-09-06 원격지 영상 재생 장치

Publications (1)

Publication Number Publication Date
KR101931295B1 true KR101931295B1 (ko) 2018-12-20

Family

ID=64952664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106502A KR101931295B1 (ko) 2018-09-06 2018-09-06 원격지 영상 재생 장치

Country Status (1)

Country Link
KR (1) KR101931295B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030228A (ko) * 2020-05-25 2022-03-10 (주)이머시브캐스트 인카 클라우드 vr 장치 및 방법
CN115134528A (zh) * 2022-06-30 2022-09-30 中国银行股份有限公司 一种影像展示方法及相关装置、服务器、智能眼镜

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008746A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008746A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030228A (ko) * 2020-05-25 2022-03-10 (주)이머시브캐스트 인카 클라우드 vr 장치 및 방법
US11403828B2 (en) 2020-05-25 2022-08-02 Immersivecast Co., Ltd. In-car cloud VR device and method
KR102460478B1 (ko) * 2020-05-25 2022-10-31 (주)이머시브캐스트 인카 클라우드 vr 장치 및 방법
CN115134528A (zh) * 2022-06-30 2022-09-30 中国银行股份有限公司 一种影像展示方法及相关装置、服务器、智能眼镜
CN115134528B (zh) * 2022-06-30 2024-02-20 中国银行股份有限公司 一种影像展示方法及相关装置、服务器、智能眼镜

Similar Documents

Publication Publication Date Title
US10643307B2 (en) Super-resolution based foveated rendering
US9858643B2 (en) Image generating device, image generating method, and program
WO2016157677A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11107436B2 (en) Image processing device and image processing method
US11375170B2 (en) Methods, systems, and media for rendering immersive video content with foveated meshes
JP6359572B2 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
US11716539B2 (en) Image processing device and electronic device
US20180249075A1 (en) Display method and electronic device
KR101931295B1 (ko) 원격지 영상 재생 장치
US20220239888A1 (en) Video distribution system, video distribution method, and display terminal
US11706378B2 (en) Electronic device and method of controlling electronic device
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021079592A1 (ja) 情報処理装置、３ｄデータの生成方法及びプログラム
US11287881B2 (en) Presenting images on a display device
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3702008A1 (en) Displaying a viewport of a virtual space
KR20190129982A (ko) 전자기기 및 그 제어 방법
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
CN117730298A (zh) 使用eog坐标的屏幕交互
WO2024078686A1 (en) A computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved human perception in xr systems
EP3553629A1 (en) Rendering a message within a volumetric data
CN115373517A (zh) 一种基于注视点的智能眼镜宽视角调节方法
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
KR20170114822A (ko) 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant