KR20210045871A - 뷰포트(Viewport) 추출 방법 및 장치 - Google Patents

뷰포트(Viewport) 추출 방법 및 장치 Download PDF

Info

Publication number
KR20210045871A
KR20210045871A KR1020190129415A KR20190129415A KR20210045871A KR 20210045871 A KR20210045871 A KR 20210045871A KR 1020190129415 A KR1020190129415 A KR 1020190129415A KR 20190129415 A KR20190129415 A KR 20190129415A KR 20210045871 A KR20210045871 A KR 20210045871A
Authority
KR
South Korea
Prior art keywords
region
coordinates
viewport
area
sphere
Prior art date
Application number
KR1020190129415A
Other languages
English (en)
Other versions
KR102281037B1 (ko
Inventor
한종기
이건원
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020190129415A priority Critical patent/KR102281037B1/ko
Publication of KR20210045871A publication Critical patent/KR20210045871A/ko
Application granted granted Critical
Publication of KR102281037B1 publication Critical patent/KR102281037B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 뷰포트 추출 방법은, 뷰포트(viewport)영역의 화소의 위치에 대한 좌표를 UV영역의 좌표로 변환하고, 변환된 UV영역 좌표에 대응하는 구 표면 좌표를 산출하며, 산출된 구 표면 좌표에 해당하는 영상 정보를 추출할 수 있다.

Description

뷰포트(Viewport) 추출 방법 및 장치{A METHOD AND AN APPARATUS FOR EXTRACTING VIEWPORT}
본 발명은 뷰포트(Viewport) 추출 방법 및 장치에 관한 것이다.
카메라의 성능이 좋아지고, 네트워크 대역폭이 증가함에 따라, 고해상도와 높은 대역폭을 요구하는 360 VR 영상의 수요 또한 늘고 있다. 360 VR 영상 시청을 위해서, 360 전체 영상의 일부분만을 선택적으로 출력하는 viewport가 필요하다. 360 VR 영상 정보는 3차원 공간상의 단위구 표면에 저장된다. 원하는 시점의 영상만을 viewport를 통하여 시청할 때, 원하는 시점, 원하는 시야각 (FOV; Field of view)을 설정 후 이에 맞게 단위 구 표면의 영상 정보를 구에 인접해 있는 평면에 투영하여 viewport로 영상정보 추출한다.
통상적으로 사용하는 기존의 viewport 추출방법인 rectilinear 투영법은 평면을 이용하기에 viewport의 FOV가 커질수록 큰 시각적인 왜곡을 야기한다.
본 발명은 곡면을 이용한 viewport 추출 방법을 사용하여 종래기술의 문제점을 해결하는 것에 목적이 있다.
본 발명은 뷰포트 추출에 있어서 영상 정보의 밀도가 고르게 분포하도록 좌표를 보정하는 것에 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 viewport 추출 방법 및 장치는, 뷰포트(viewport)영역의 화소의 위치에 대한 좌표를 UV영역의 좌표로 변환하고, 상기 변환된 UV영역 좌표에 대응하는 상기 구 표면 좌표를 산출하며, 상기 산출된 구 표면 좌표에 해당하는 영상 정보를 추출할 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 UV영역은 영상 정보를 담고 있는 구 표면 좌표의 산출 시 이용되는 영역일 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 UV영역은, 평면 또는 곡면일 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 곡면은, 상기 영상 정보를 담고 있는 구에 외접한 외부 구의 일부이고, 상기 외부 구의 반지름은, 상기 영상 정보를 담고 있는 구의 반지름 보다 크거나 같을 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 변환은, 상기 UV영역의 가로 및 세로 길이를 고려하지 않고, 상기 뷰포트 영역에서의 가로 방향 및 세로 방향의 화소의 개수만 고려하여 수행되고, 상기 UV영역의 가로 및 세로 길이는 상기 뷰포트 영역의 FOV(Field of view)를 고려하여 결정될 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 변환단계는, 상기 변환된 좌표를 보정하는 보정단계를 포함할 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 보정단계는, 상기 UV영역을 적어도 2개의 영역으로 세분화하고, 상기 제1 세분화 영역의 좌표 간 거리를 상기 제2 세분화 영역의 좌표 간 거리보다 작도록 상기 제1 세분화 영역 또는 상기 제2 세분화 영역 중 적어도 하나의 좌표를 보정할 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 보정단계는 3차원 함수를 이용하여 수행되고, 상기 3차원 함수는, 상기 제1 세분화 영역에 적용되는 범위 내에서 상기 함수의 기울기는 1보다 작고, 상기 제2 세분화 영역에 적용되는 범위 내에서 상기 함수의 기울기는 1보다 클 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 보정단계는, 상기 뷰포트 영역 또는 상기 UV영역의 크기가 문턱크기 이하인 경우, 상기 세분화된 영역들 중 적어도 일부 영역의 보정단계를 스킵할 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 보정단계는, 가중치 및 오프셋 값을 적용하여 수행되고, 상기 가중치 및 상기 오프셋 값은, 상기 세분화된 영역 별로 같거나 다를 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 제1 영역은, 상기 UV영역의 중심을 기준으로 하는 원 또는 사각형의 형태일 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 산출단계는, 상기 변환된 UV영역을 상기 구 표면의 중심으로 정사영시키고, 상기 정사영된 UV영역의 좌표에 대응하는 상기 구 표면의 좌표를 산출할 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 화소의 위치는, 상기 화소들로 구성된 화소 그룹의 위치를 포함할 수 있다.
본 발명에 따른 viewport 추출 방법 및 장치에 있어서, 상기 화소 그룹의 위치는, 상기 화소 그룹 내 포함된 어느 한 화소의 위치 또는 상기 화소 그룹 내 포함된 복수개의 화소들의 평균값을 포함할 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 의하면, 곡면을 이용한 viewport 추출하여, FOV가 커질수록 커지는 시각적 왜곡을 줄일 수 있다.
본 발명에 의하면, 좌표를 보정하여, 추가적으로 남아있는 상기 시각적 왜곡을 줄일 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 Viewport 추출 방법의 순서도를 도시한 도면이다.
도 2은 Rectilinear 투영법을 이용한 평면에의 2D 투영 방법을 나타낸 도면이다.
도 3은 Stereographic 투영법을 이용한 평면에의 2D 투영 방법을 나타낸 도면이다.
도 4는 곡면을 사용하는 viewport 추출 방법의 모델을 나타내는 도면이다.
도 5는 곡면을 사용하는 viewport 추출 방법의 모델(도 4)의 단면을 나타내는 도면이다.
도 6는 보정단계에서 적용되는 정의역과 치역이 [0, 1]범위인 3차 함수를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는'이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다 거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
사람의 시야각은 대략 120도 정도로 한정되어 있기 때문에, 사용자가 파노라믹 영상 또는 360도 영상 전체를 한번에 볼 수는 없다. 제한된 시야각으로 인해, 사용자는 파노라믹 영상 또는 360도 영상의 부분 영상만을 시청하게 된다. 파노라믹 영상 또는 360도 영상의 전체 영역 중 사용자의 시청 영역에 대응하는 부분 영상을 뷰 포트(View port)라 정의할 수 있다.
뷰 포트는 유동성에 따라, 정적 뷰 포트(Static View port) 및 동적 뷰 포트(Dynamic View port)로 분류될 수 있다. 정적 뷰 포트는 위치 변화가 없는 뷰 포트를 의미하고, 동적 뷰 포트는 사용자의 시선이 변화함에 따라 위치가 변하는 뷰 포트를 의미한다. 360도 영상의 전체에 대해 정적 뷰 포트를 사용하는 경우는 드물고, 대부분 사용자의 시선 움직임에 따라 위치가 변화하는 동적 뷰 포트를 사용한다.
파노라믹 영상은 복수의 영상을 스티칭하여 생성된 영상일 수 있다. 상기 복수의 영상은 복수의 카메라로 각각 촬영된 영상일 수 있다. 카메라로 촬영된 영상은 카메라의 화각에 따라 시야가 제한되기 때문이다.
360도 영상은 상기 파노라믹 영상 중 소정의 중심축을 기준으로 회전 자유도(Degree of Freedom)를 갖는 영상일 수 있다. 예컨대, 360도 영상은 Yaw, Roll, Pitch 중 적어도 하나에 대한 회전 자유도를 갖는 영상일 수 있다.
후술되는 실시예는, 360도 영상을 중심으로 설명할 것이나, 360도 영상이 아닌 파노라믹 영상에도 후술되는 실시예를 적용하는 것은 본 발명의 기술적 범주에 포함된다 할 것이다.
도 1은 Viewport 추출 방법의 순서도를 도시한 도면이다.
도 1을 참조하면, viewport 추출 방법은 뷰포트(viewport)영역의 화소의 위치에 대한 좌표를 UV영역의 좌표로 변환하는 변환단계(S100); 상기 변환된 UV영역의 좌표에 대응하는 구 표면 좌표를 산출하는 산출단계(S101); 및 상기 산출된 구 표면 좌표에 해당하는 영상 정보를 추출하는 추출단계(S102) 중 적어도 하나를 포함할 수 있다.
상기 뷰포트 추출 방법은, 영상의 부호화/복호화 장치에 적용될 경우, 360도 영상의 투영 및 역투영 과정을 모두 거쳐 복호화된 구의 형태의 360도 영상으로부터 뷰포트 영상을 추출하는데 적용될 수 있다.
이하, 뷰포트(viewport) 영역의 화소의 위치에 대한 좌표를 UV영역의 좌표로 변환하는 변환단계(S100)를 설명한다.
상기 좌표는 2D의 직교 좌표계일 수 있다.
상기 화소의 위치에 대한 좌표는 하나의 화소에 대한 좌표 또는 화소 그룹의 좌표를 포함한다. 상기 화소 그룹의 좌표는 해당 화소 그룹의 화소들 중 최 좌/우/상/하측, 좌상단에 위치한 화소, 우하단에 위치한 화소, 중앙에 위치한 화소의 좌표, 또는 화소 그룹 내의 화소 좌표들의 평균값 등을 포함할 수 있다. 상기 평균값은 동일한 가중치 기반의 평균값으로 계산된 값이거나 화소 별 상이한 가중치 기반의 평균값으로 계산된 값일 수 있다. 여기서, 상이한 가중치는, 화소 거리/위치를 고려하여 결정될 수 있다. 또한, 상기 화소 위치에 대한 좌표는 하나의 좌표를 기준으로 하는 벡터 좌표일 수 있다.
일 예로, 뷰포트 영역 내 9개의 화소가 정사각형 모양으로 하나의 그룹을 이루거나, 뷰포트 영역 내 5개의 화소가 마름모 모양으로 하나의 그룹을 이루고 있는 경우, 상기 그룹 내 가운데 화소의 좌표가 화소 그룹의 좌표가 될 수 있다.
일 예로, 뷰포트 영역의 하나의 행 또는 열이 하나의 그룹을 이루고 있는 경우, 상기 그룹의 최 좌/우측 또는 중앙에 있는 화소의 좌표가 상기 그룹의 좌표가 될 수 있다. 또한, 상기 행 또는 열의 화소들의 좌표에 거리에 따른 가중치를 곱한 후 평균값으로 계산된 좌표가 상기 그룹의 좌표가 될 수 있다.
상기 UV영역은 영상 정보가 담긴 구 표면을 투영하기 위한 별도의 영역일 수 있다. 상기 영역은 곡면 또는 평면의 형태를 가질 수 있다. 상기 평면 또는 곡면은 삼각형, 사각형 등의 다각형 또는 원의 모양을 가질 수 있다. 또한, 상기 다각형의 적어도 하나의 선이 곡선인 모양을 가질 수 있다. 구체적으로, 곡면 형태의 경우, 상기 모양들은 영상 정보가 담긴 구의 방향 또는 그 반대 방향으로 휘어진 형태를 가질 수 있다. 또한, 평면 형태의 경우, 상기 모양들은 어느 방향으로도 휘어지지 않은 펼쳐진 형태를 가질 수 있다.
구체적으로, 상기 곡면은 영상 정보를 포함하는 구의 외부 구의 일부일 수 있다. 이 경우, 외부 구의 반지름은 r로 영상 정보를 포함하는 구의 반지름보다 크거나 같을 수 있다. 예를 들어, 영상 정보를 포함하는 구가 단위 구인 경우 상기 r은 1보다 크거나 같을 수 있다.
상기 UV영역은 영상 정보를 포함하는 구 표면에 외접하거나 소정의 거리만큼 떨어져 있을 수 있다. 상기 소정의 거리는 영상 정보를 포함하는 구의 반지름의 n배의 거리에 해당할 수 있으며, 상기 n은 1,2,3, 또는 그 이상의 자연수를 포함할 수 있다.
일 예로, 도 2, 3을 참조하면, UV영역은 사각형 모양을 가지는 평면의 형태이고, 영상 정보를 포함하는 구 표면에 외접하고 있다.
일 예로, 도 4를 참조하면, UV영역은 사각형 모양을 가지는 곡면의 형태이고, 영상 정보를 포함하는 구 표면에 외접하고 있으며, 상기 영상 정보를 포함하는 구의 반지름 보다 큰 외부 구의 일부를 구성하고 있다. 여기서, 외부 구의 r은 1보다 크다.
상기 UV영역의 형태, 모양, 위치, 또는 크기는 기-약속된 고정된 형태, 모양, 위치, 또는 크기일 수 있다. 또한, 상기 영역의 형태, 모양, 위치, 또는 크기는 UV영역에 관련된 정보로부터 가변적으로 결정될 수 있다. 상기 UV영역에 관련된 정보는 가로 또는 세로 방향의 FOV(Field of View), 뷰포트 영역의 크기 또는 형태, 뷰포트 영역의 화소 또는 화소 그룹의 개수, 영상 정보의 종류, 영상 정보의 데이터의 양 또는 밀도, 후술할 viewport 투영 기법 등을 포함할 수 있다. 여기서, 상기 크기는 너비, 높이, 또는 너비와 높이의 비율을 포함할 수 있다. 상기 UV영역에 관련된 정보 전부 또는 일부는 영상 부호화 장치에서 부호화되어 시그날링되거나, 사용자 입력에 의해 결정될 수도 있다.
예를 들면, UV영역의 크기는 뷰포트 영역의 크기와 같을 수 있다. 이와 달리, UV영역의 크기는 뷰포트 영역의 크기와 다를 수도 있다. 상기 크기가 서로 다른 경우, UV영역의 크기는 뷰포트 영역의 너비 및 높이의 비율과 같은 비율 가지는 크기로 설정될 수 있다.
예를 들면, 상기 가로 또는 세로 방향의 FOV가 서로 같은 경우, UV영역의 모양은 정다면체 또는 원의 모양을 가질 수 있다. 구체적으로, 상기 다각형이 사각형인 경우, UV영역의 모양은 정사각형의 모양을 가질 수 있다. 이와 달리, 가로 또는 세로 방향의 FOV가 서로 다른 경우, UV영역의 모양은 상기 FOV 비율에 따른 모양을 가질 수 있다. 구체적으로, 상기 다각형이 사각형인 경우, UV영역의 모양은 FOV 비율과 같은 너비 및 높이의 비율을 가지는 직사각형의 모양을 가질 수 있다.
좌표의 변환은, UV영역이 평면인 경우 제1 수학식에 의해 계산되고, UV영역이 곡면인 경우 제2 수학식에 의해 계산되는 것을 포함할 수 있다. 다만, 이에 한정되지 않으며, 곡면의 경우도 제1 수학식에 의해 계산될 수 있고, 평면의 경우도 제2 수학식에 의해 계산될 수 있다. 또는, UV영역의 일부는 제1 수학식에 의해 계산되고, 다른 일부는 제2 수학식에 의해 계산될 수도 있다. 예를 들어, 제1 수학식과 제2 수학식은 다음 수학식 1과 수학식 2와 같이 정의될 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
여기서,
Figure pat00005
,
Figure pat00006
는 UV영역의 가로, 세로 길이이며,
Figure pat00007
,
Figure pat00008
는 뷰포트 영역의 가로방향, 세로방향 화소의 개수이다. (u,v)는 UV영역의 좌표, (m,n)은 뷰포트 영역의 좌표이다.
상기 수학식 1의
Figure pat00009
,
Figure pat00010
는 투영 기법에 따라 다른 값을 가질 수 있다.
일 예로, 도 2는 Rectilinear 투영법이 이용되는 경우로,
Figure pat00011
,
Figure pat00012
는 아래 수학식 3에 의해 정의될 수 있다.
Figure pat00013
여기서,
Figure pat00014
와
Figure pat00015
는 각각 viewport의 가로방향, 세로방향에 대한 FOV(Field of view)이다.
일 예로, 도 3은 Stereographic 투영법이 이용되는 경우로,
Figure pat00016
,
Figure pat00017
는 아래 수학식 4에 의해 정의될 수 있다.
Figure pat00018
여기서,
Figure pat00019
와
Figure pat00020
는 각각 viewport의 가로방향, 세로방향에 대한 FOV(Field of view)이다.
이하, 상기 변환된 UV영역 좌표에 대응하는 구 표면 좌표를 산출하는 산출단계(S101)를 설명한다.
상기 구 표면 좌표는 3D XYZ 좌표계의 좌표일 수 있다. 3D XYZ 좌표계는 X, Y, Z축과 반지름 길이가 1인 단위 구로 구성될 수 있다. 여기서, 단위 구는 해당 표면에 360도 영상 정보를 포함할 수 있다.
상기 단위 구 표면 한 점은 경도(φ)와 위도(θ)로 표현될 수 있다. 상기 경도(φ)는 X축을 기준으로 반시계 방향으로의 각도를 표현할 수 있고, 그 범위는 [-π, π]일 수 있다. 상기 위도(θ)는 적도에서 Y축을 향한 각도를 표현할 수 있고, 그 범위는 [-π/2, π/2]일 수 있다. 3D XYZ 좌표계의 단위 구 표면위의 한 점의 좌표 (X, Y, Z)와 (φ, θ)는 아래 수학식 5과 같은 관계를 갖는다.
Figure pat00021
Figure pat00022
게다가, (X, Y, Z) 좌표는 뷰포트 영역의 중심이 되는 시점의 위도 및 경도(
Figure pat00023
,
Figure pat00024
)에 따라 전환될 수 있다. 구체적으로, 상기 전환은 아래 수학식 6에 의해 수행될 수 있다.
Figure pat00025
Figure pat00026
여기서, (X', Y', Z')는 (X, Y, Z)가 전환된 좌표이다.
상기 구 표면의 좌표 산출은, 상기 구 표면을 UV영역에 투영하여 상기 UV영역 좌표에 대응하는 투영된 구 표면의 좌표를 얻는 것을 포함할 수 있다.
상기 투영은, Rectilinear 투영법 또는 Stereographic 투영법을 포함할 수 있다.
상기 투영 기법의 결정은 기-약속된 고정된 기법에 의해 결정되거나, 투영 관련 정보에 의해 가변적으로 결정될 수 있다. 상기 투영 관련 정보는 전술한 파라미터 중 적어도 하나에 기초하여 결정될 수 있다. 전술한 파라미터는, 가로 방향 또는 세로방향의 FOV(Field of View), 뷰포트 영역의 크기 또는 형태, 뷰포트 영역의 화소 또는 화소 그룹의 개수, UV영역의 형태, 모양, 위치, 또는 크기, 영상 정보의 종류, 영상 정보의 데이터의 양 또는 밀도 중 적어도 하나를 포함할 수 있다.
도 2는 Rectilinear 투영법을 이용한 평면에의 2D 투영 방법을 나타낸 도면이다.
Rectilinear 투영법은 구의 점을 2D 영역에 수선의 발을 내려 정사영시켜 투영하는 방법이다. 상기 방법에 따라, 2D 영역의 좌표 (u, v)와 3D 구의 좌표 (X, Y, Z)는 아래 수학식 7와 같은 관계를 가질 수 있다.
Figure pat00027
Figure pat00028
여기서,
Figure pat00029
,
Figure pat00030
는 UV영역의 가로, 세로 길이이고, 앞서 설명한 수학식 3에 의해 계산될 수 있다. 또한,
Figure pat00031
,
Figure pat00032
는 뷰포트 영역의 가로방향, 세로방향 화소의 개수이다.
도 3은 Stereographic 투영법을 이용한 평면에의 2D 투영 방법을 나타낸 도면이다.
Stereographic 투영법은 2D 영역의 좌표 (u, v)와 3D 구의 좌표 (X, Y, Z)가 아래의 수학식 8과 같은 관계를 가지는 것을 말한다.
Figure pat00033
Figure pat00034
여기서,
Figure pat00035
,
Figure pat00036
는 UV영역의 가로, 세로 길이이고, 앞서 설명한 수학식 4에 의해 계산될 수 있다.
도 4는 곡면을 사용하는 viewport 추출 방법의 모델이고, 도 5는 곡면을 사용하는 viewport 추출 방법의 모델(도 4)의 단면을 나타내는 도면이다.
도 4, 5를 참조하여, 이하, Rectilinear 투영법을 이용한 곡면에의 2D 투영 방법을 설명한다.
먼저, 도 4를 참조하면, 곡면 ABCD는 단위 구와 외접해 있는 외부 구의 일부이고, 외부 구의 반지름은 r이며, 외부 구의 중심은 Z축을 따라 r만큼 떨어져 있는 O'이다. 또한, 외부 구는 수학식 9와 같은 방정식으로 표현된다.
Figure pat00037
도 5를 참조하면, Rectilinear 투영법을 이용한 곡면에의 2D 투영 방법은 2D 영역의 좌표 (u, v)와 3D 구의 좌표 (X, Y, Z)가 아래의 수학식 10와 같은 관계를 가질 수 있다.
Figure pat00038
Figure pat00039
여기서,
Figure pat00040
,
Figure pat00041
는 아래의 수학식 11에 의해 정의될 수 있다.
Figure pat00042
Figure pat00043
여기서,
Figure pat00044
는 Viewport의 세로방향 FOV이고,
Figure pat00045
은 외부 구의 중점 O'을 기준으로 하는 세로방향 각도이다.
상기 산출된 구 표면 좌표에 해당하는 영상 정보를 추출하는 추출단계(S102)는 뷰포트 영역에 해당 뷰포트 영역 좌표 각각에 매칭되는 구 표면 영상 정보를 불러오는 것을 말한다.
상기 변환단계(S100)는, 변환된 좌표를 보정하는 보정단계를 더 포함할 수 있다.
보정단계는, 전술한 파라미터 중 적어도 하나에 기초하여 선택적으로 수행될 수 있다. 예를 들어, 뷰포트 영역(또는 UV영역)의 크기가 소정의 문턱크기 이하인 경우에는 보정단계를 스킵하고, 그렇지 않은 경우에는 보정단계를 수행할 수 있다. 상기 문턱크기는 영상 부호화/복호화 장치에 기-정의된 값일 수도 있고, 영상 부호화 장치는 최적의 문턱크기를 결정하고, 이를 부호화할 수 있다. 부호화된 문턱크기는 좌표 보정이 허용되는 최소/최대 크기를 의미할 수 있다. 또는, UV영역의 타입이 평면인 경우에는 보정단계를 스킵하고, UV영역의 타입이 곡면인 경우에는 보정단계를 수행할 수 있다.
UV영역의 전부에 대해서 보정단계가 수행될 수도 있고, UV영역의 일부에 대해서만 보정단계가 수행될 수도 있다. 여기서, 일부는, UV영역의 중심 영역 또는 UV영역 내 가장자리 영역을 의미할 수 있다. 또는, 일부는, UV영역의 좌/우측 가장자리 영역으로 한정될 수도 있고, 상/하단 가장자리 영역으로 한정될 수도 있다. 또는, 일부는, UV영역의 각 코너 영역(예를 들어, 좌상단, 좌하단, 우상단, 우하단) 중 적어도 하나로 한정될 수도 있다. 상기 가장자리 영역은, UV영역의 경계로부터 T개의 화소 라인을 포함하며, T는 1, 2, 3, 4, 5 또는 그 이상의 정수일 수 있다. 가장자리의 위치에 따라, 가장자리 영역에 속한 화소 라인의 개수가 상이할 수도 있다. 예를 들어, 보정단계가 수행되는 좌/우측 가장자리 영역이 상/하단 가장자리 영역보다 더 많은 화소 라인을 포함할 수 있다.
보정을 위해, UV영역은 크게 중심 영역과 가장자리 영역으로 구분될 수 있다. 또는, UV영역은 중심 영역, 가장자리 영역(코너 영역 제외) 및 코너 영역으로 구분될 수도 있다. 다만, 이는 구분되는 영역의 개수와 위치를 한정하는 것은 아니며, UV영역은 4개 이상의 세분화된 영역으로 구분될 수도 있다.
예를 들어, 상기 보정 단계는, 상기 UV영역을 제1 영역 및 제2 영역으로 나누고, 상기 제1 영역의 좌표 간의 거리를 상기 제 2영역의 좌표 간의 거리보다 작도록 상기 제1 영역 또는 상기 제2 영역 중 적어도 하나의 좌표를 보정하는 것을 포함할 수 있다.
상기 제1 영역은 UV영역의 중심점을 중심으로 하는 다각형 또는 원의 모양을 가질 수 있다. 이 경우, 상기 제2 영역은 UV영역에 있어서 상기 제1 영역을 제외한 나머지 영역의 전부 또는 일부를 포함할 수 있다.
본 발명에 따른 보정은, UV영역 내의 화소 위치(x,y)를 (x',y')로 변환하는 과정을 포함할 수 있다. 화소 위치의 x 좌표와 y 좌표 각각에 소정의 가중치(w)와 오프셋(o)를 적용하여 보정된 위치 x'와 y'를 획득할 수 있다. 여기서, 가중치(w)와 오프셋(o)는 0을 포함한 정수일 수 있다.
x 좌표를 위한 가중치(wx)는 wx1, wx2 또는 wx3 중 적어도 하나를 포함할 수 있다. y 좌표를 위한 가중치(wy)는 wy1, wy2 또는 wy3 중 적어도 하나를 포함할 수 있다. 예를 들어, 보정은, 다음 수학식 12와 같이 수행될 수 있다.
Figure pat00046
상기 3차 방정식과 달리, 1차, 2차, 4차, 5차, 또는 그 이상의 차수 방정식도 적용될 수 있다.
영상 부호화/복호화 장치는, 보정을 위한 복수의 수학식을 정의할 수 있다. 복수의 수학식 중 어느 하나를 선택하여 보정을 수행할 수도 있다. 여기서, 선택은, 뷰포트 영역의 크기/형태, UV영역의 크기/형태, UV영역의 타입(예를 들어, 평면, 곡면 등), 영상 정보를 담고 있는 구 또는 외접하는 외부 구 중 적어도 하나의 크기(예를 들어, 반지름), 상기 구와 외부 구 간의 크기 비율 등과 같은 정보를 고려하여 수행될 수 있다. 이를 위해, 상기 정보가 메타데이터의 형태로 부호화되어 영상 복호화 장치로 전송될 수 있다.
또한, UV영역이 전술한 것과 같이 세분화된 경우, 각 영역에 대해서 동일한 수학식이 적용될 수도 있고, 영역의 위치에 따라 상이한 수학식이 적용될 수도 있다. 상이한 수학식이라 함은, 차수, 가중치 또는 오프셋 중 적어도 하나가 상이한 수학식을 의미할 수 있다. 일 예로, UV영역이, 중심 영역, 가장자리(코너 포함) 영역, 및 중심 영역의 경계로부터 가장자리의 경계까지의 경계영역으로 세분화된 경우, 상기 중심 영역 또는 상기 가장자리 영역 중 적어도 하나는 제1 수학식이 적용되나, 상기 경계 영역은 제2 수학식이 적용될 수 있다.
가중치(w) 및 오프셋(o)는 기-정의된 고정된 값이거나 전술한 파라미터 중 적어도 하나에 의해 가변적으로 결정될 수 있다.
가중치(w) 또는 오프셋(o)는 뷰포트 영역(또는 UV영역)의 크기에 비례 또는 반비례하여 가중치 또는 오프셋이 증가 또는 감소할 수 있다. 여기서, 상기 증가 또는 감소는 뷰포트 영역(또는 UV영역)의 크기에 따라 연속적으로 증가 또는 감소하는 것을 포함할 수 있다. 또는, 상기 크기를 구간으로 나누고, 가중치(w) 또는 오프셋(o)을 상기 크기가 포함된 구간의 대표값으로 설정하는 계단식으로 증가 또는 감소하는 것을 포함할 수 있다.
또한, 상기 증가 또는 감소는 상한 또는 하한을 가질 수 있다 예를 들어, 뷰포트 영역(또는 UV영역) 크기가 소정의 문턱값보다 작아지거나 커지더라도, 더 이상 가중치 또는 오프셋이 변하지 않고 일정한 가중치 또는 오프셋을 가질 수 있다.
상기 가중치 및 오프셋 값은 뷰포트 영역(또는 UV영역) 전술한 세분화된 영역에 따라 다를 수 있다.
일 예로, 가중치(w) 또는 오프셋(o)는 세분화된 영역의 위치에 따라 결정될 수 있다. 구체적으로, UV영역이 중심영역, 가장자리 영역, 코너 영역으로 세분화된 경우, 상기 영역들 간 가중치(w) 또는 오프셋(o)은 같거나 다를 수 있다.
다른 예로, 가중치(w) 또는 오프셋(o)는 세분화된 영역의 형태에 따라 결정될 수 있다. 구체적으로, UV영역이 평면의 형태인 경우 가중치(w) 또는 오프셋(o)은 다른 세분화된 영역과 같은 값을 가질 수 있으나, 곡면의 형태인 경우 가중치(w) 또는 오프셋(o)은 다른 세분화된 영역과 다른 값을 가질 수 있다.
도 6은 보정단계에서 적용되는 정의역과 치역이 [0, 1]범위인 3차 함수를 나타내는 도면이다.
상기 보정은 도 6와 같은 곡률을 가지는 3차 함수를 통해 이루어 질 수 있다. 도 6의 u'=g(u)에 있어서, 정의역(u)와 치역(g(u))는 정규화된 값으로 각각 [0, 1]의 범위를 가진다. 도 6의 그래프는 u=0.5 근처에서는 기울기가 1보다 작고, u=1 또는 0 근처에서는 기울기가 1보다 크다.
상기 곡률과 같은 함수를 가지는 아래의 수학식 13를 UV영역에 적용하여 보정할 수 있다.
Figure pat00047
상기 UV영역의 중심부 위치(u=0.5) 근처에서의 변환된 화소의 좌표 간의 간격은 물리적으로 더 가까워지고, UV영역의 외곽부 위치(u=0 또는 1) 근처에서의 변환된 화소의 좌표 간의 간격은 물리적으로 더 멀어지게 될 수 있다. 상기 보정을 통해 UV영역의 외곽부와 중심부의 영상 정보 밀도가 유사해지고, 투영 과정에서 발생하는 왜곡을 줄일 수 있다.

Claims (11)

  1. 뷰포트(viewport)영역의 화소의 위치에 대한 좌표를 UV영역의 좌표로 변환하는 변환단계; 여기서, 상기 UV영역은 영상 정보를 담고 있는 구 표면 좌표의 산출시 이용되는 영역임.
    상기 변환된 UV영역 좌표에 대응하는 상기 구 표면 좌표를 산출하는 산출단계; 및
    상기 산출된 구 표면 좌표에 해당하는 영상 정보를 추출하는 추출단계를 포함하고,
    상기 UV영역은, 곡면인 것을 특징으로 하는, viewport 추출 방법.
  2. 제 1항에 있어서,
    상기 곡면은, 상기 영상 정보를 담고 있는 구에 외접한 외부 구의 일부이고,
    상기 외부 구의 반지름은, 상기 영상 정보를 담고 있는 구의 반지름 보다 크거나 같은 것을 특징으로 하는, viewport 추출 방법.
  3. 제1 항에 있어서,
    상기 변환은, 상기 UV영역의 가로 및 세로 길이를 고려하지 않고, 상기 뷰포트 영역에서의 가로 방향 및 세로 방향의 화소의 개수만 고려하여 수행되고,
    상기 UV영역의 가로 및 세로 길이는 상기 뷰포트 영역의 FOV(Field of view)를 고려하여 결정되는 것을 특징으로 하는, viewport 추출 방법.
  4. 제1항에 있어서,
    상기 변환단계는, 상기 변환된 좌표를 보정하는 보정단계를 포함하고,
    상기 보정단계는, 상기 UV영역을 적어도 2개의 영역으로 세분화하고,
    상기 제1 세분화 영역의 좌표 간의 거리를 상기 제2 세분화 영역의 좌표 간의 거리보다 작도록 상기 제1 세분화 영역 또는 상기 제2 세분화 영역 중 적어도 하나의 좌표를 보정하는 것을 특징으로 하는, viewport 추출 방법.
  5. 제4 항에 있어서,
    상기 보정단계는 3차원 함수를 이용하여 수행되고,
    상기 3차원 함수는, 상기 제1 세분화 영역에 적용되는 범위 내에서 상기 함수의 기울기는 1보다 작고, 상기 제2 세분화 영역에 적용되는 범위 내에서 상기 함수의 기울기는 1보다 큰 것을 특징으로 하는, viewport 추출 방법.
  6. 제4 항에 있어서,
    상기 보정단계는, 상기 뷰포트 영역 또는 상기 UV영역의 크기가 문턱크기 이하인 경우, 상기 세분화된 영역들 중 적어도 일부 영역의 보정을 스킵하는 것을 특징으로 하는, viewport 추출 방법.
  7. 제4항에 있어서,
    상기 보정단계는, 가중치 및 오프셋 값을 적용하여 수행되고,
    상기 가중치 및 상기 오프셋 값은, 상기 세분화된 영역 별로 같거나 다른 것을 특징으로 하는, viewport 추출 방법.
  8. 제4 항에 있어서,
    상기 제1 영역은, 상기 UV영역의 중심을 기준으로 하는 원 또는 사각형의 형태인 것을 특징으로 하는, viewport 추출 방법.
  9. 제 1항에 있어서,
    상기 산출단계는, 상기 변환된 UV영역을 상기 구 표면의 중심으로 정사영시키고, 상기 정사영된 UV영역의 좌표에 대응하는 상기 구 표면의 좌표를 산출하는 것을 특징으로 하는, viewport 추출 방법.
  10. 제 1항에 있어서,
    상기 화소의 위치는, 상기 화소들로 구성된 화소 그룹의 위치를 포함하는 것을 특징으로 하는, viewport 추출 방법.
  11. 제 10항에 있어서,
    상기 화소 그룹의 위치는, 상기 화소 그룹 내 포함된 어느 한 화소의 위치 또는 상기 화소 그룹 내 포함된 복수개의 화소들의 평균값을 포함하는 것을 특징으로 하는, viewport 추출 방법.
KR1020190129415A 2019-10-17 2019-10-17 뷰포트(Viewport) 추출 방법 및 장치 KR102281037B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190129415A KR102281037B1 (ko) 2019-10-17 2019-10-17 뷰포트(Viewport) 추출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190129415A KR102281037B1 (ko) 2019-10-17 2019-10-17 뷰포트(Viewport) 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210045871A true KR20210045871A (ko) 2021-04-27
KR102281037B1 KR102281037B1 (ko) 2021-07-22

Family

ID=75725716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190129415A KR102281037B1 (ko) 2019-10-17 2019-10-17 뷰포트(Viewport) 추출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102281037B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040507A (ko) 2016-10-12 2018-04-20 삼성전자주식회사 가상 현실 영상을 처리하는 방법 및 장치
KR20180107007A (ko) * 2017-03-21 2018-10-01 주식회사 케이티 비디오 신호 처리 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040507A (ko) 2016-10-12 2018-04-20 삼성전자주식회사 가상 현실 영상을 처리하는 방법 및 장치
KR20180107007A (ko) * 2017-03-21 2018-10-01 주식회사 케이티 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
KR102281037B1 (ko) 2021-07-22

Similar Documents

Publication Publication Date Title
CN110956583B (zh) 球面图像处理方法、装置及服务器
US10165258B2 (en) Efficient determination of optical flow between images
CN107924556B (zh) 图像生成装置和图像显示控制装置
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN104994367A (zh) 一种图像矫正方法以及摄像头
KR20200031678A (ko) 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법
CN106162140A (zh) 一种全景视频的压缩方法及装置
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
CN106127681B (zh) 一种图像采集方法、虚拟现实图像传输方法及显示方法
CN111418213B (zh) 用于沉浸式视频编解码的信令语法的方法以及装置
US10699372B2 (en) Image generation apparatus and image display control apparatus
CN109166178B (zh) 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统
US11528412B2 (en) Apparatus and method for stitching together multiple images
KR20170142089A (ko) 다면 영상 프로젝션을 위한 텍스처 맵핑 보정 방법 및 장치
JP2006350852A (ja) 画像生成システム
JP6851089B2 (ja) 適応的三次元空間生成方法及びそのシステム
KR102281037B1 (ko) 뷰포트(Viewport) 추출 방법 및 장치
US20120050304A1 (en) Image processing apparatus, method, and program
JP4722055B2 (ja) ３次元モデルを縮尺変更する方法及び縮尺変更ユニット
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
CN110264406A (zh) 图像处理装置及图像处理的方法
CN117635875B (zh) 一种三维重建方法、装置及终端
WO2024004134A1 (ja) 画像送信装置および画像送信方法
US20220122216A1 (en) Generating and processing an image property pixel structure
US20230351695A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant