KR20200095004A - 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치 - Google Patents

복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치 Download PDF

Info

Publication number
KR20200095004A
KR20200095004A KR1020190012523A KR20190012523A KR20200095004A KR 20200095004 A KR20200095004 A KR 20200095004A KR 1020190012523 A KR1020190012523 A KR 1020190012523A KR 20190012523 A KR20190012523 A KR 20190012523A KR 20200095004 A KR20200095004 A KR 20200095004A
Authority
KR
South Korea
Prior art keywords
image
fov
view
field
divided
Prior art date
Application number
KR1020190012523A
Other languages
English (en)
Other versions
KR102174794B1 (ko
Inventor
정태식
차동우
Original Assignee
주식회사 알파서클
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알파서클 filed Critical 주식회사 알파서클
Priority to KR1020190012523A priority Critical patent/KR102174794B1/ko
Priority to CN202080011327.2A priority patent/CN113383539B/zh
Priority to PCT/KR2020/001513 priority patent/WO2020159301A1/ko
Publication of KR20200095004A publication Critical patent/KR20200095004A/ko
Application granted granted Critical
Publication of KR102174794B1 publication Critical patent/KR102174794B1/ko
Priority to US17/388,041 priority patent/US11321845B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 원본영상을 N개의 영역으로 분할하는 임시분할영상에서, 임시분할영상이 커버하는 임시시야(Temporary Field of View: FOV)에 보호시야(Guard FOV)를 추가하여 분할영상의 재생시야(Play FOV)을 결정하는 단계, 헤드마운트디스플레이장치의 디바이스시야(Device FOV) 보다 소정의 추가시야(Additional FOV)만큼 넓은 가상디바이스시야(Virtual Device FOV)를 결정하는 단계, 및 가상디바이스시야(Virtual Device FOV) 및 재생 중인 분할영상의 재생시야(Play FOV)를 이용하여 연산되는 소정의 전환기준이 만족될 때 복수의 분할영상 중 재생되는 분할영상의 전환절차를 시작하는 단계를 포함하는 것을 특징으로 하는, 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법을 제공한다.

Description

복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치 {METHOD AND DEVICE FOR CONTROLLING TRANSIT TIME OF VIRTUAL REALITY VIDEO}
본 발명은 가상현실 분할영상의 전환방법 및 가상현실 영상재생장치에 관한 것이다.
가상현실(Virtual Reality)을 구현하는 원본영상이 360°를 커버하는 영상이라고 할 때, 사용자의 시선이 도달하지 않는 부분의 영상을 재생하는 것은 불필요한 일이 된다.
따라서 원본영상을 소정의 구획으로 나누어 복수의 분할영상으로 분리한 후, 사용자의 시선이 도달하는 부분에 해당되는 분할영상만을 재생하는 것이 하드웨어를 효율적으로 사용하는데 도움이 된다.
그런데 이와 같이 분할영상을 재생하면, 사용자의 시선이 옮겨감에 따라 재생되는 분할영상을 전환해주어야 하는데, 전환시점이 너무 늦게 되면 화면이 끊기는 문제가 발생하게 된다.
또한, 전환 전 분할영상과 전환 후 분할영상의 프레임을 동기화하지 않으면 이미 재생된 과거의 영상이 다시 나오거나 재생되어야할 장면을 건너뛰게되는 문제가 발생하게 된다.
이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위해 복수의 분할영상 중 재생되는 분할영상의 전환시점을 제어하여 화면이 끊기지 않도록 하는 가상현실 분할영상 전환방법 및 이를 이용한 가상현실 영상재생장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 전환 전 분할영상과 전환 후 분할영상의 프레임을 동기화하는 가상현실 분할영상 전환방법 및 이를 이용한 가상현실 영상재생장치를 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일 국면은 (a) 원본영상을 N개의 영역으로 분할하는 임시분할영상에서, 임시분할영상이 커버하는 임시시야(Temporary Field of View: FOV)에 보호시야(Guard FOV)를 추가하여 분할영상의 재생시야(Play FOV)을 결정하는 단계;
(b) 헤드마운트디스플레이장치의 디바이스시야(Device FOV) 보다 소정의 추가시야(Additional FOV)만큼 넓은 가상디바이스시야(Virtual Device FOV)를 결정하는 단계; 및
(c) 가상디바이스시야(Virtual Device FOV) 및 재생 중인 분할영상의 재생시야(Play FOV)를 이용하여 연산되는 소정의 전환기준이 만족될 때 복수의 분할영상 중 재생되는 분할영상의 전환절차를 시작하는 단계를 포함하는 것을 특징으로 하는, 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법을 제공한다.
바람직한 실시예에서 상기 (c) 단계의 상기 전환기준은
가상디바이스시야(Virtual Device FOV)의 일단이 재생시야(Play FOV)에 포함된 보호시야(Guard FOV) 내의 특정지점에 도달할 때 복수의 분할영상 중 재생되는 분할영상이 전환되도록 결정되는 것이 좋다.
바람직한 실시예에서 상기 (c) 단계의 상기 전환기준은 아래 수식에 의해 결정되는 가상디바이스시야(Virtual Device FOV)의 기준각도(θL)를 이용하여 재생되는 분할영상의 전환을 결정하는 것이고,
θL(k)∈[-(k+1/2)θN+Δθθ-(k-1/2)θN+θθ]
단 N은 분할영상의 개수, k=N-1, Δθ = θf - θg, θN = 원본영상의 시야/N, θg는 보호시야, θf는 가상디바이스시야, θm은 오브젝트를 사용자의 시선의 중심에 놓기 위해 추가되는 각도인 것이 좋다.
바람직한 실시예에서 상기 (a) 단계에서 보호시야(Guard FOV)는
헤드마운트디스플레이장치의 디바이스시야(Device FOV)의 1/2 이상으로 설정되는 것이 좋다.
바람직한 실시예에서 (d) 분할영상의 전환절차가 시작되면, 분할영상의 키프레임(key frame)에서만 분할영상의 전환이 실행되도록 하여 전환 전후의 분할영상 사이에 프레임 동기화를 구현하는 단계를 더 포함하는 것이 좋다.
본 발명의 제2국면은 가상현실을 구현하기 위한 원본영상을 중 일부를 표현하는 분할영상을 재생하는 영상재생부;
헤드마운트디스플레이장치의 디바이스시야(Device FOV) 보다 소정의 추가시야(Additional FOV)만큼 넓은 가상디바이스시야(Virtual Device FOV)를 생성하는 가상시야생성부; 및
가상디바이스시야(Virtual Device FOV)의 일단이 재생시야(Play FOV)에 포함된 보호시야(Guard FOV) 내의 변화지점에 도달할 때 복수의 분할영상 중 재생되는 분할영상의 전환을 결정하는 재생영상전환부를 포함하고,
분할영상의 재생시야(Play FOV)는 원본영상을 N개의 영역으로 분할하는 임시분할영상이 커버하는 임시시야(Temporary FOV)에 보호시야(Guard FOV)를 추가하여 생성되는 것을 특징으로 하는, 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 영상재생장치를 제공한다.
본 발명은 위해 복수의 분할영상 중 재생되는 분할영상의 전환시점을 제어함으로써, 화면이 끊기지 않고 재생되도록 하는 효과가 있다.
또한, 본 발명은 전환 전 분할영상과 전환 후 분할영상의 프레임을 동기화함으로써, 이미 재생된 과거의 영상이 다시 나오거나 재생되어야할 장면을 건너뛰게되는 문제를 방지하는 효과가 있다..
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 재생시야 및 가상디바이스시야를 설명하기 위한 도면이다.
도 2는 본 발명의 가상현실 분할영상 전환방법의 바람직한 실시예를 설명하기 위한 도면이다.
도 3은 본 발명에서 분할영상의 전환시점을 제어하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명에서 전환 전과 후 분할영상의 프레임을 동기화하는 방법을 설명하기 위한 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도 1은 본 발명의 재생시야 및 가상디바이스시야를 설명하기 위한 도면이다.
도 1 (a)에서 알 수 있듯이, 임시분할영상은 원본영상을 n개로 나눌 때 영상이다. 임시시야(Temporary FOV)는 임시분할영상이 커버하는 시야이다. 임시분할영상은 서로 중첩되는 영역이 없다.
도 1 (b)에서 알 수 있듯이, 보호시야(Guard FOV)는 임시시야를 확장하기 위해 임시시야의 양측에 추가되는 시야를 말한다. 재생시야(Play FOV)는 분할영상이 커버하는 시야이며, 임시시야 및 보호시야를 더한 값이다. 복수의 분할영상은 확장된 보호시야만큼 서로 중첩된다.
도 1 (c)에서 알 수 있듯이, 디바이스시야(Device FOV)는 헤드마운트디스플레이(HMD)와 같은 디바이스가 하드웨어적으로 커버할 수 있는 고유한 시야를 말한다. 추가시야(Additional FOV)는 디바이스시야에 더해지는 값이다. 가상디바이스시야(Virtual Device FOV)는 디바이스시야 및 추가시야의 합이며, 디바이스시야 보다 넓은 가상의 디바이스의 시야를 의미한다.
도 2는 본 발명의 가상현실 분할영상 전환방법의 바람직한 실시예를 설명하기 위한 도면이다. 본 발명의 가상현실 분할영상 전환방법은 분할영상 생성장치에서 실시될 수 있다. 분할영상 생성장치는 컴퓨터장치이며 가상현실 영상재생장치와 동일한 장치이거나 별도의 장치일 수 있다.
도 2에서 알 수 있듯이, 원본영상을 몇 개(N)의 임시분할영상으로 나눌지 결정하여 임시분할영상이 커버하는 시야인 임시시야(Temporary FOV)를 계산한다(S1100). 원본영상이 360°이고 N이 4이면, 임시시야는 90°가 된다.
임시시야를 확장하기 위한 보호시야의 크기를 결정한다(S1200). 보호시야를 임시시야의 양측에 추가하여 재생시야를 결정한다(S1300). 재생시야만큼의 영역을 커버하도록 분할영상을 생성한다(S1400). 이와 같이 분할영상을 생성하면 복수의 분할영상은 확장된 보호시야만큼 서로 중첩된다. 바람직한 실시예에 있어서 보호시야는 헤드마운트디스플레이장치의 디바이스시야(Device FOV)의 1/2 이상으로 설정한다.
헤드마운트디스플레이(HMD)와 같은 디바이스의 고유한 시야인 디바이스시야(Device FOV)를 결정한다(S2100). 디바이스시야를 확장하기 위한 추가시야(Additional FOV)를 결정한다(S2200). 디바이스시야에 추가시야를 더해 가상디바이스시야(Virtual Device FOV)를 결정한다(S2300).
사용자의 시선에 따라 변화되는 가상디바이스시야와 재생 중인 분할영상의 재생시야를 비교한다(S3100).
가상디바이스시야 및 재생 중인 분할영상의 재생시야를 이용하여 연산되는 소정의 전환기준이 만족되면 분할영상의 전환절차를 시작한다(S3200).
분할영상의 전환절차가 시작되면, 분할영상의 키프레임(key frame)에서만 분할영상의 전환이 실행되도록 하여 전환 전후의 분할영상 사이에 프레임 동기화를 구현하는 단계를 더 포함할 수 있다.
바람직한 실시예에서 전환기준은 가상디바이스시야(Virtual Device FOV)의 일단이 재생시야(Play FOV)에 포함된 보호시야(Guard FOV) 내의 특정지점에 도달할 때 복수의 분할영상 중 재생되는 분할영상이 전환되도록 결정될 수 있다. 위 특정지점은 보호시야의 범위 내에서 결정된다.
다른 실시예에서 전환기준은 가상디바이스시야(Virtual Device FOV)의 기준각도(θL)를 이용하여 재생되는 분할영상이 전환되도록 결정될 수 있다. 기준각도에 대해서는 도 3에서 자세히 설명한다.
도 3은 본 발명에서 분할영상의 전환시점을 제어하는 방법을 설명하기 위한 도면이다.
도 3에서 알 수 있듯이, 바람직한 실시예에서 가상디바이스시야(Virtual Device FOV)의 기준각도(θL)는 아래 수식과 같이 정의된다. 기준각도(θL)는 가상디바이스시야의 좌측단이다. 각도는 반시계방향을 양의 값으로 한다.
θL(k)∈[-(k+1/2)θN+Δθθm, -(k-1/2)θN+θg+θm]
N은 분할영상의 개수, k=0 ~ N-1 정수, Δθ = θf - θg, θN = 원본영상의 시야/N, θg는 보호시야, θf는 가상디바이스시야, θm은 오브젝트를 사용자의 시선의 중심에 놓기 위해 추가되는 각도, θc는 사용자 시선의 중심이다.
본 발명의 일 실시예는 위 수식에 의해 결정되는 가상디바이스시야(Virtual Device FOV)의 기준각도(θL)를 이용하여, 기준각도가 속하는 분할영상이 어떤 분?l영상인지를 판단하고, 기준각도가 속하는 분할영상이 변경되었다고 판단되면 재생되는 분할영상을 전환한다.
복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 영상재생장치는 위 방법을 이용하여 분할영상을 재생한다. 바람직한 실시예에서 가상현실 영상재생장치는 영상재생부, 가상시야생성부, 재생영상전환부를 포함할 수 있다.
영상재생부는 가상현실을 구현하기 위한 원본영상을 중 일부를 표현하는 분할영상을 재생한다. 가상시야생성부는 헤드마운트디스플레이장치의 디바이스시야(Device FOV) 보다 소정의 추가시야(Additional FOV)만큼 넓은 가상디바이스시야(Virtual Device FOV)를 생성한다. 재생영상전환부는 가상디바이스시야(Virtual Device FOV)의 일단이 재생시야(Play FOV)에 포함된 보호시야(Guard FOV) 내의 변화지점에 도달할 때 복수의 분할영상 중 재생되는 분할영상의 전환을 결정한다. 분할영상의 재생시야(Play FOV)는 원본영상을 N개의 영역으로 분할하는 임시분할영상이 커버하는 임시시야(Temporary FOV)에 보호시야(Guard FOV)를 추가하여 생성되는 것은 앞서 설명한 바와 같다.
[전환 전후 분할영상의 프레임 동기화]
화상집합(Group of Picture: GOP)은 MPEG 화상처리에서 적어도 1장 이상의 I프레임을 포함하는 집합을 의미한다. 프레임에는 I(Intra-coded), P(Predictive-coded), B(Bidirectional-coded) 프레임이 존재한다. I 프레임은 키프레임으로, 다른 프레임의 참조없이 부호화된다. 따라서, I 프레임은 다른 프레임을 참조하지 않고 독립적으로 디코딩할 수 있다.
P 프레임은 이전의 I 프레임 및 P 프레임을 참조하여 부호화된다. B 프레임은 이전, 이후의 I 프레임과 P 프레임을 모두 사용하여 부호화된다. 따라서, B프레임을 복호화하는데는 상당한 시간이 소요된다.
따라서, 전환 후 재생되는 분할영상의 프레임이 B 프레임인 경우 이를 복호화하는데 소요되는 시간이 크게 증가할 수 있고, 이는 자칫 동기화의 실패로 이어질 우려가 있다.
이에 본 발명은 키프레임에서만 분할영상 간 전환이 이루어지도록 하여 복호화에 필요한 시간을 예측가능한 범위 내로 유지한다.
이를 위해 본 발명의 바람직한 실시예는 분할영상의 키프레임거리(key frame distance:KFD)을 소정의 방법을 이용하여 단축시킨다. 그리고, 사용자의 시선이 변화됨에 따라 재생되는 분할영상을 전환할 때, 분할영상을 구성하는 프레임 중 키프레임(key frame)에서만 분할영상의 전환이 실행되도록 하여 전환 전후의 분할영상 사이에 프레임 동기화를 구현한다.
일 실시예에 있어서, 키프레임거리는 화상집합에 B 프레임이 포함되지 않도록 하는 방법을 통해 단축될 수 있다. B 프레임은 복호화를 위해 필요한 시간이 상당하기 때문이다.
한편, 즉시 전환을 하는 것이 아니라 키프레임에서만 전환을 하기 위해서는 소정의 지연시간을 확보해야한다. 바꾸어말하면 소정의 지연시간만큼 늦게 전환을 해야하고, 지연시간 동안 재생되는 화면이 끊기거나 하는 문제가 없도록 만들어야 한다. 이를 위해 본 발명은 지연시간을 아래에서 설명하는 방법으로 확보한다.
도 4는 본 발명에서 전환 전과 후 분할영상의 프레임을 동기화하는 방법을 설명하기 위한 도면이다. 도 4는 분할영상 Vi에서 Vj로 전환하는 경우를 예로 들어 설명하고 있다. Tf,m은 m번째 키프레임의 시간이고, Tf,m+1은 m+1번째 키프레임의 시간이다. Tss, 1은 전환이 시작되는 시간이다. Δtseek은 탐색시간으로, 다음 키프레임을 찾는데 소요되는 시간이다. Δtwait는 대기시간으로, 전환절차를 시작한 후 전환 전 분할영상을 계속 재생하는 시간이다. 분할영상은 앞서 설명한 바와 같이 소정의 영역만큼 중복되어 있기 때문에 어느 정도까지는 전환 전 분할영상을 계속 재생하더라도 화면이 끊기지 않는다. Δt는 지연시간으로 Δtwait와 Δttransit를 합한 시간이다. Δttransit는 전환시간으로, 프레임을 전환하는데 소요되는 시간이다. 예를들어, 비디오 파일을 읽고, 프레임을 디코딩하고, 디스플레이를 준비하는 물리적 시간을 포함할 수 있다.
지연시간 Δt는 키프레임에서만 재생되는 분할영상을 전환하기 위해 확보해야하는 시간이다. 지연시간은 아래와 같은 범위를 갖도록 설정한다.
T_GOP > Δt = Δtwait + Δttransit > Δtseek
즉, 지연시간은 재생 후 분할영상의 다음 키프레임을 찾는 시간보다 커야한다. 키프레임을 찾지 못했는데 전환이되면 안되기 때문이다. 또한 지연시간은 T_GOP (GOP 시간) 보다는 작아야한다.
또한 지연시간은 아래와 같은 범위를 만족하도록 설정된다.
T_overlap > Δt
T_overlap은 오버랩시간으로, 보호시야 및 가상디바이스시야를 통해 확보한 시간이다. 지연시간은 오버랩시간 보다는 작아야 한다. 만약 오버랩시간이 지연시간보다 작게 되면 비디오 sync를 잃어버리게 되기 때문이다
오버랩시간은 아래와 같이 설정된다.
T_overlap = T_by_guard_FOV + T_by_virtual_FOV
T_by_guard_FOV는 보호시야로 인해 확보되는 시간이고, T_by_virtual_FOV는 가상디바이스시야로 인해 확보되는 시간이다.
T_overlap를 각도와 머리 회전 속도로 표현을 하면　아래와 같다.
T_overlap = (2*θoverlap+Δθdev)/head_angular_speed
머리 회전 속도는 미리 설정할 수 있는 것이 아니다. 우리가 알 수 있는 것은 최대 머리 회전속도이다.　
최대 머리 회전속도(omega) < (2*theta_overlap + dtheta_dev)/{Max(t_seek)+dt_transit)}를 만족하면 안정적인 지연시간을 확보할 수 있다. 통상 사람의 머리 회전 속도를 통계적으로 측정하여 각 설정들을 확보할 수 있다.
본 발명의 가상현실을 표현하는 분할영상 사이의 전환시점을 제어하여 프레임 동기화를 구현하는 가상현실 영상재생장치는 위와 같은 방법을 통해 프레임 동기화를 구현한다. 바람직한 실시예에서 가상현실 영상재생장치는 영상재생부, 분할영상동기화부를 포함할 수 있다. 영상재생부는 가상현실을 구현하기 위한 원본영상을 중 일부를 표현하는 분할영상을 재생한다. 분할영상동기화부는 사용자의 시선이 변화됨에 따라 재생되는 분할영상을 전환할 때, 전환 전후 분할영상의 프레임을 동기화하기 위해 분할영상의 전환시점을 제어한다. 분할영상동기화부는 분할영상의 키프레임(key frame)에서만 분할영상의 전환이 실행되도록 하여 전환 전후 분할영상 사이에 프레임 동기화를 구현하는 것을 특징으로 한다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (6)

  1. (a) 원본영상을 N개의 영역으로 분할하는 임시분할영상에서, 임시분할영상이 커버하는 임시시야(Temporary Field of View: FOV)에 보호시야(Guard FOV)를 추가하여 분할영상의 재생시야(Play FOV)을 결정하는 단계;
    (b) 헤드마운트디스플레이장치의 디바이스시야(Device FOV) 보다 소정의 추가시야(Additional FOV)만큼 넓은 가상디바이스시야(Virtual Device FOV)를 결정하는 단계; 및
    (c) 가상디바이스시야(Virtual Device FOV) 및 재생 중인 분할영상의 재생시야(Play FOV)를 이용하여 연산되는 소정의 전환기준이 만족될 때 복수의 분할영상 중 재생되는 분할영상의 전환절차를 시작하는 단계를 포함하는 것을 특징으로 하는,
    복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법.
  2. 청구항 1에 있어서,
    상기 (c) 단계의 상기 전환기준은
    가상디바이스시야(Virtual Device FOV)의 일단이 재생시야(Play FOV)에 포함된 보호시야(Guard FOV) 내의 특정지점에 도달할 때 복수의 분할영상 중 재생되는 분할영상이 전환되도록 결정되는 것인,
    복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법.
  3. 청구항 1에 있어서,
    상기 (c) 단계의 상기 전환기준은
    아래 수식에 의해 결정되는 가상디바이스시야(Virtual Device FOV)의 기준각도(θL)를 이용하여 재생되는 분할영상의 전환을 결정하는 것인,
    θL(k)∈[-(k+1/2)θN+Δθθm, -(k-1/2)θN+θg+θm]
    단 N은 분할영상의 개수, k=0 ~ N-1 정수, Δθ = θf - θg, θN = 원본영상의 시야/N, θg는 보호시야, θf는 가상디바이스시야, θm은 오브젝트를 사용자의 시선의 중심에 놓기 위해 추가되는 각도인 것인,
    복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법.
  4. 청구항 1에 있어서,
    상기 (a) 단계에서 보호시야(Guard FOV)는
    헤드마운트디스플레이장치의 디바이스시야(Device FOV)의 1/2 이상으로 설정되는 것인,
    복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법.
  5. 청구항 1에 있어서,
    (d) 분할영상의 전환절차가 시작되면, 분할영상의 키프레임(key frame)에서만 분할영상의 전환이 실행되도록 하여 전환 전후의 분할영상 사이에 프레임 동기화를 구현하는 단계를 더 포함하는 것인,
    복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법.
  6. 가상현실을 구현하기 위한 원본영상을 중 일부를 표현하는 분할영상을 재생하는 영상재생부;
    헤드마운트디스플레이장치의 디바이스시야(Device FOV) 보다 소정의 추가시야(Additional FOV)만큼 넓은 가상디바이스시야(Virtual Device FOV)를 생성하는 가상시야생성부; 및
    가상디바이스시야(Virtual Device FOV)의 일단이 재생시야(Play FOV)에 포함된 보호시야(Guard FOV) 내의 변화지점에 도달할 때 복수의 분할영상 중 재생되는 분할영상의 전환을 결정하는 재생영상전환부를 포함하고,
    분할영상의 재생시야(Play FOV)는 원본영상을 N개의 영역으로 분할하는 임시분할영상이 커버하는 임시시야(Temporary FOV)에 보호시야(Guard FOV)를 추가하여 생성되는 것을 특징으로 하는,
    복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 영상재생장치.
KR1020190012523A 2019-01-31 2019-01-31 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치 KR102174794B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190012523A KR102174794B1 (ko) 2019-01-31 2019-01-31 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
CN202080011327.2A CN113383539B (zh) 2019-01-31 2020-01-31 虚拟现实分割影像切换方法及虚拟现实影像再生装置
PCT/KR2020/001513 WO2020159301A1 (ko) 2019-01-31 2020-01-31 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
US17/388,041 US11321845B2 (en) 2019-01-31 2021-07-29 Method and device for controlling transit time of reproduced image among a plurality of segmented images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190012523A KR102174794B1 (ko) 2019-01-31 2019-01-31 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치

Publications (2)

Publication Number Publication Date
KR20200095004A true KR20200095004A (ko) 2020-08-10
KR102174794B1 KR102174794B1 (ko) 2020-11-05

Family

ID=71841221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190012523A KR102174794B1 (ko) 2019-01-31 2019-01-31 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치

Country Status (4)

Country Link
US (1) US11321845B2 (ko)
KR (1) KR102174794B1 (ko)
CN (1) CN113383539B (ko)
WO (1) WO2020159301A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11765333B1 (en) * 2020-12-16 2023-09-19 Apple Inc. Systems and methods for improved transitions in immersive media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
JP2018525852A (ja) * 2015-05-27 2018-09-06 グーグル エルエルシー 球面ビデオのストリーミング

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054578A1 (en) * 2008-08-26 2010-03-04 Frank Edughom Ekpar Method and apparatus for interactive visualization and distribution of very large image data sets
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9723223B1 (en) * 2011-12-02 2017-08-01 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with directional audio
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US20160086372A1 (en) 2014-09-22 2016-03-24 Huntington Ingalls Incorporated Three Dimensional Targeting Structure for Augmented Reality Applications
US9646421B2 (en) 2015-04-14 2017-05-09 International Business Machines Corporation Synchronizing an augmented reality video stream with a displayed video stream
US20160314624A1 (en) 2015-04-24 2016-10-27 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
KR102349716B1 (ko) * 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10317989B2 (en) 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
US10436975B2 (en) 2016-04-21 2019-10-08 Facebook Technologies, Llc Segmented backlight for liquid crystal display
KR101837282B1 (ko) * 2016-04-25 2018-03-09 한국과학기술원 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템
KR102228025B1 (ko) * 2016-09-09 2021-03-16 주식회사 케이티 고화질의 vr 컨텐츠의 스트리밍 제공 방법, 단말 및 서버
KR101888364B1 (ko) * 2017-06-02 2018-08-14 주식회사 비주얼캠프 콘텐츠 표시 방법 및 이를 수행하기 위한 장치
CN107301801B (zh) * 2017-07-14 2020-06-09 深圳国泰安教育技术有限公司 一种vr模拟驾驶的操作方法、装置、vr头盔和存储介质
WO2019061202A1 (en) * 2017-09-28 2019-04-04 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR PROCESSING COLON IMAGE DATA
KR102073230B1 (ko) * 2018-06-28 2020-02-04 주식회사 알파서클 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525852A (ja) * 2015-05-27 2018-09-06 グーグル エルエルシー 球面ビデオのストリーミング
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템

Also Published As

Publication number Publication date
CN113383539B (zh) 2022-08-02
US11321845B2 (en) 2022-05-03
CN113383539A (zh) 2021-09-10
KR102174794B1 (ko) 2020-11-05
WO2020159301A1 (ko) 2020-08-06
US20210358131A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
JP4408845B2 (ja) 映像合成装置及びプログラム
US6441813B1 (en) Computer system, and video decoder used in the system
US6363207B1 (en) Method and apparatus for a virtual system time clock for digital audio/video processor
US7647557B2 (en) Techniques for shuffling video information
JP2005341132A (ja) 映像データ処理装置及び処理方法
JPH10145773A (ja) 動画像データの暗号化方法およびその方法が適用されるコンピュータシステム並びに動画像データ符号化／復号化装置
US11412199B2 (en) Method and device for implementing frame synchronization by controlling transit time
US10928892B2 (en) Optical engine time warp for augmented or mixed reality environment
JP5473233B2 (ja) 表示制御装置、及び方法、プログラム
KR102174794B1 (ko) 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
JPH10143437A (ja) コンピュータシステムおよび動画像転送方法
JP3874730B2 (ja) 動画像再生装置
JP2012023648A (ja) 再生装置、再生方法、およびプログラム
JP3284080B2 (ja) コンピュータシステムおよびそのシステムで用いられるビデオデコーダ
US20190230409A1 (en) Picture-in-picture base video streaming for mobile devices
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
JP4964319B2 (ja) 映像合成装置、プログラム及び記録媒体
JP4101902B2 (ja) コンピュータシステムおよび表示制御方法
KR101634558B1 (ko) 멀티앵글영상 재생방법 및 장치
JP5148651B2 (ja) 記録媒体及び表示用データのデータ生成装置
JP4964318B2 (ja) 記録媒体及び表示用データのデータ生成装置
JP4964320B2 (ja) 映像合成装置及び記録媒体
JP2009016896A (ja) 動画像再生装置及び輝度制御方法
JP2001309369A (ja) 動画合成表示システム及び方法並びに記憶媒体

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right