KR20180136891A - 전방향 비디오에 관한 영상 처리 방법 및 장치 - Google Patents

전방향 비디오에 관한 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20180136891A
KR20180136891A KR1020180065860A KR20180065860A KR20180136891A KR 20180136891 A KR20180136891 A KR 20180136891A KR 1020180065860 A KR1020180065860 A KR 1020180065860A KR 20180065860 A KR20180065860 A KR 20180065860A KR 20180136891 A KR20180136891 A KR 20180136891A
Authority
KR
South Korea
Prior art keywords
image
hmd
movement
output
cameras
Prior art date
Application number
KR1020180065860A
Other languages
English (en)
Inventor
이광순
곽상운
윤국진
윤정일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20180136891A publication Critical patent/KR20180136891A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Abstract

전방향 비디오에 관한 영상 처리 장치 및 방법이 제공된다. 본 개시의 영상 처리 방법은 전방향 카메라로부터 입력 영상을 획득하는 단계, 상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하는 단계, 상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 단계 및 상기 결정된 출력 영상을 사용자에게 제공하는 단계를 포함한다.

Description

전방향 비디오에 관한 영상 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPRATUS FOR OMNI-DIRECTIONAL VIDEO}
본 개시는 전방향 비디오에 관한 영상 처리 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 시청자의 회전 및 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법에 관한 것이다.
가상현실(virtual reality) 서비스는 전방위 360도 비디오(또는 전방향 비디오)를 실사 혹은 CG(Computer Graphics) 형태로 생성하여 개인형 단말인 HMD(Head Mounted Display)에 재생함으로써 몰입감과 현장감을 극대화할 수 있는 방향으로 진화하고 있다. 360도 비디오(또는 전방향 비디오)는 2차원 비디오의 고정된 시점을 벗어나 비디오 시청 시 사용자가 원하는 방향의 시점에서 비디오를 볼 수 있는 비디오이다.
도 1은 본 개시의 일 실시 예에 따른 360도 비디오를 획득하기 위한 카메라 구조 및 재생영상 포맷을 설명하기 위한 도면이다. 360도 비디오를 획득하기 위한 전방향 카메라는 일반 카메라와 다르게 전방위의 피사체로부터 반사되는 빛을 획득하기 위해 카메라의 중심점(110)을 기준으로 전방위 방향을 향하도록 배치될 수 있다. 전방향 카메라를 구성하는 각 카메라로부터 획득된 영상들은 영상 스티칭(stitching) 단계를 거쳐 HMD에 재생될 수 있다. 스티칭 영상(120)을 구성하는 C1, C2, C3, ... 등의 영상들은 전방향 카메라를 구성하는 각각의 카메라로부터 획득된 영상을 의미할 수 있다.
종래의 360도 카메라로 획득된 영상을 HMD를 통해 시청할 때, 시청자의 응시 방향은 카메라들이 직시하는 방향과 일치하며, 시청자가 360도 회전할 때만 해당 방향의 영상을 시청할 수 있다. 또한, 시청자의 방향과 카메라의 방향은 상호 일치해야 하기 때문에, 시청자가 좌우 혹은 상하 방향으로 움직일 때 시청자가 시청하는 영상의 변화는 없게 된다.
한편, 실감 디스플레이에서 몰입감과 자연스러운 영상을 시청자에게 제공하기 위해서는 사용자의 동작에 따라 또는 눈이 주시하는 위치에 따라 패럴렉스(parallax) 및 초점을 변화시키기 위한 방법이 필요하다. 도 2는 본 개시의 일 실시 예에 따른 HMD에서 6-자유도(DoF, Degrees of Freedom)를 설명하기 위한 도면이다. 제1 움직임(210)은 HMD를 착용한 시청자를 중심으로 수평축 좌우 왕복운동(move side to side), 제2 움직임(220)은 수평축 회전운동(look up and down), 제3 움직임(230)은 상하축 위아래 왕복운동(move up and down), 제4 움직임(240)은 상하축 회전운동(look side to side), 제5 움직임(250)은 전후축 앞뒤 왕복운동(move front to back) 및 제6 움직임(260)은 전후축 회전운동(tilt head side to side)을 각각 의미할 수 있다. 일반적으로 넓은 범위의 패럴렉스를 제공하기 위해서는 도 2에서 view축 방향의 값이 커야 한다. 또한, 연속적으로 초점을 변화시키기 위해서는 좁은 시점간격의 영상들이 필요하며, 이를 위해 많은 데이터량 또는 많은 연산량이 필요하므로 디스플레이에 효과적으로 시점영상을 재현하기 위한 방법이 요구된다.
한편, HMD에서 자연스럽고 몰입감이 높은 360도 비디오를 재생하기 위해 6-자유도를 재현해야 한다. 즉, 좌우 이동, 상하 회전, 상하 이동, 좌우 회전 등의 6가지 방향으로의 시청자의 이동에 대응하여 응시되는 영상을 HMD 화면을 통해 재생해야 하는 것이다. 현재까지 실사 영상을 재생하는 HMD는 상하 회전 및 좌우 회전 위주로의 움직임을 감지하여 영상을 재생하고 있으며, 시청자의 좌우 이동 및 상하 이동에 대한 응시영상을 제공하는 데에는 그 한계가 있다.
본 개시의 기술적 과제는, 전방향 비디오에 관한 영상 처리 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 시청자의 회전 및 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 360도 카메라 구조를 제공하는 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 영상 포맷을 제공하는 장치 및 방법을 제공하는 것이다.
본 개시의 일 양상에 따르면, 전방향 카메라로부터 입력 영상을 획득하는 단계; 상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하는 단계; 상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 단계; 및 상기 결정된 출력 영상을 사용자에게 제공하는 단계를 포함하는 영상 처리 방법이 제공될 수 있다.
본 개시의 다른 양상에 따르면, 전방향 카메라로부터 입력 영상을 획득하는 영상 수신부; 상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하고, 상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 제어부; 및 상기 결정된 출력 영상을 사용자에게 제공하는 출력부를 포함하는 영상 처리 장치가 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 전방향 비디오에 관한 영상 처리 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 시청자의 상하/좌우 회전 및 상하/좌우 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 360도 카메라 구조를 제공하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 영상 포맷을 제공하는 장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 360도 비디오를 획득하기 위한 카메라 구조 및 재생영상 포맷을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 HMD에서 6-자유도를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 360도 카메라 구조를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 영상 포맷을 생성하고, 생성된 영상 포맷을 HMD에 재생하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 시청자의 회전 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 시청자의 이동 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 3은 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 360도 카메라 구조를 설명하기 위한 도면이다.
본 개시의 6-자유도를 지원하는 360도 카메라 구조(또는 전방향 카메라 구조)는 좌우 또는 상하 방향으로 이동(translation)할 때의 시차(disparity)를 획득할 수 있도록 카메라 평면(camera plane, 310)이 종래의 카메라 평면에 비해 보다 더 큰 반경을 가지도록 구성될 수 있다. 또한, 카메라 평면(310)은 다각형(예를 들어, 5각형, 6각형, 8각형 등) 구조가 되도록 구성될 수 있다. 카메라 평면(310)의 각 변마다 배열된 카메라들은 다시점 카메라(예를 들어, 수평축 또는 2D camera array)와 유사한 구조를 가질 수 있고, 또한 상기 카메라들을 이용하여 3차원 공간상에서 피사체를 촬영할 때 운동 시차(motion parallax) 정보를 획득할 수 있다. 또한, 카메라 평면(310)을 구성하는 변들 중에서 같은 변에 위치한 카메라들은 평행축(parallel camera) 또는 교차축(toe-in, convergence camera)으로 배치되어 (+) 또는 (-) 깊이감을 조절할 수 있다. 예컨대, 도 3을 참조하면, 8각형 구조인 카메라 평면(310)의 어느 한 변(312)에 위치한 A1, A2, A3 카메라들은 광축의 방향이 각각 서로 cross 되는 형태가 되도록 배치될 수 있으며, 그 외의 변들 각각에 위치한 카메라들도 상기의 cross 형태와 유사하게 배치될 수 있다. 또한, A1, A2, A3, B1, B2, ... 등의 카메라들 각각은 프로젝션 평면(302)에 대해 각각의 카메라에 대응하는 화각(FoV, Field of View)을 가질 수 있다.
본 개시에 따를 때, 시청자의 회전 운동(rotation)은 카메라 평면(310)을 구성하는 변들(A, B, C, ...) 각각에서 선택된 카메라의 조합에 의해 표현될 수 있다. 예컨대, 도 3을 참조하면, 본 개시의 전방향 비디오 처리 장치는 카메라 평면(310)을 구성하는 A변에서 선택된 A1, B변에서 선택된 B1, C변에서 선택된 C1 등의 카메라들로부터 획득된 영상들을 스티칭함으로써 시청자의 회전 운동(320)이 반영된 영상을 제공할 수 있다. 또한, 시청자의 이동 운동(transition)은 카메라 평면(310)을 구성하는 변들 중 어느 하나에 포함된 카메라들의 이동에 의해 표현될 수 있다. 예컨대, 도 3을 참조하면, 본 개시의 전방향 비디오 처리 장치는 카메라 평면(310)을 구성하는 변들 중 B변에 포함된 B1, B2, B3, ... 등의 카메라들로 획득된 영상들을 스티칭함으로써 시청자의 이동 운동(330)이 반영된 영상을 제공할 수 있다.
한편, 이미지 스티칭 과정에서 스티칭 영상간 경계 부분에서 시차에 의한 왜곡이 발생할 수 있는데, 본 개시의 전방향 비디오 처리 장치는 같은 변에서 서로 이웃하는 카메라를 이용하여 상기 왜곡을 보정할 수 있다. 예컨대, 도 3을 참조하면, 시청자의 회전 운동이 있는 경우, A1, B1, C1 카메라 영상들을 스티칭할 때, 경계 부분의 시차에 의한 왜곡을 보정하기 위해 A3, B3, C3 카메라 영상 정보들이 이용될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 영상 포맷을 생성하고, 생성된 영상 포맷을 HMD에 재생하는 과정을 설명하기 위한 도면이다.
영상 수신부(410)는 6-자유도를 지원하는 360도 카메라로부터 획득된 영상들을 수신할 수 있다. 예컨대, 6-자유도를 지원하는 360도 카메라 구조는 도 3의 카메라 구조일 수 있다.
제어부(420)는 영상 수신부(410)에서 수신된 영상을 이용하여 6-자유도 영상을 2차원 배열 형태의 영상 포맷으로 재구성할 수 있다. 예컨대, 본 개시의 6-자유도를 지원하는 360도 영상 포맷(440)은 2차원 배열 형태로 구성될 수 있고, 수평축(442) 및 수직축(444)은 각각 카메라 평면을 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 스티칭한 영상 및 카메라 평면을 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 스티칭한 영상일 수 있다.
예컨대, 도 3 및 4를 참조하면, 수평축(442)에는 카메라 평면(310)을 구성하는 변들(A, B, C, ...) 각각에서 선택된 A1, B1, C1, ... 등의 카메라로부터 획득된 영상들을 스티칭한 영상(A1-B1-C1-D1-...)이 표현될 수 있다. 또한, 수직축(444)에는 카메라 평면(310)은 구성하는 변들 중 A변에 포함된 A1, A2, A3, ... 등의 카메라들로부터 획득된 영상들에 대해 어느 한 방향으로 이동하면서 스티칭한 영상(A1-A2-A3-...)이 표현될 수 있다. 따라서, 본 개시의 전방향 비디오 처리 장치는 6-자유도를 지원하는 360도 카메라로부터 획득된 영상들을 수평축(442) 및 수직축(444)의 두 축의 영상들로 구성된 2차원 배열 형태의 영상으로 재구성할 수 있다.
한편, 카메라 평면의 한 변당 카메라의 개수는 시점수를 결정할 수 있는데, 상기 한 변당 카메라의 개수는 물리적 한계에 의해 제한될 수 있다. 따라서, 제어부(420)는 시점 보간(view interpolation)을 수행하여 시점 영상을 합성할 수 있으며, 합성된 시점 영상에 의해 시점간 간격은 줄고 시점수는 증가될 수 있다. 예컨대, 도 4를 참조하면, 본 개시의 전방향 비디오 처리 장치는 제1 스티칭 영상(A1-B1-C1-D1-...,450) 및 제2 스티칭 영상(A2-B2-C2-D2-...,452) 사이에 제1 시점 보간 영상(456)을 생성할 수 있다. 또한, 본 개시의 전방향 비디오 처리 장치는 제2 스티칭 영상(A2-B2-C2-D2-...,452) 및 제3 스티칭 영상(A3-B3-C3-D3-...,454) 사이에 제2 시점 보간 영상(458)을 생성할 수 있다. 한편, 상기 시점 보간 방법은 시점 보간을 위한 일반적인 영상 처리 기법을 포함할 수 있으며, 실시 환경을 고려하여 적절한 수의 보간 영상들이 생성될 수 있다.
출력부(430)는 제어부(420)로부터 수신된 2차원 배열 형태의 영상 포맷에 대해 시청자의 움직임에 기초하여 상기 움직임에 부합되는 영상을 HMD 화면에 출력할 수 있다. 즉, 출력부(430)는 Left HMD 영상 및 Right HMD 영상을 사용자에게 제공할 수 있으며, Left HMD 영상 및 Right HMD 영상은 양안 시차, 시청자의 움직임 등을 고려하여 스티칭 영상 또는 시점 보간 영상일 수 있다. 한편, 시청자의 움직임은 좌우(상하) 이동 또는 좌우(상하) 회전을 포함할 수 있다.
상기 실시예들은 출력부(430) 및 제어부(420)에서 같은 방법으로 수행될 수 있다.
도 5는 본 개시의 일 실시 예에 따른 시청자의 회전 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.
HMD를 통해 360도 영상을 시청하는 시청자가 좌우 또는 상하의 회전 운동을 하는 경우, 본 개시의 전방향 비디오 처리 장치는 2차원 배열 형태로 재구성된 영상에서 HMD 재현 영상(즉, Left HMD 및 Right HMD)을 수평축 방향(즉, stitched image)으로 이동시킬 수 있다. 도 5를 참조하면, 시청자의 회전 운동이 있기 전 시청자에게 제공되는 영상은 제1 Left HMD 영상(510) 및 제1 Right HMD 영상(512)이라고 하자. 여기서, Left HMD 및 Right HMD는 스티칭된 360도 영상 중에서 좌우 HMD에 각각 출력되는 일부 영상을 의미할 수 있다. 여기서 좌측(Left) HMD와 우측(Right) HMD는 양안 시차에 의해 입체감을 제공하기 위한 것으로서, 카메라 조합에 의해 획득된 스티칭 영상들 중에서 인간의 눈 간격만큼 떨어진 간격에 해당하는 영상이 출력되도록 영상 포맷의 수직방향으로 서로 떨어져 있는 영상들이 선택될 수 있다. 제1 Left HMD 영상(510)은 시점 보간에 의해 합성된 영상이고, 제1 Right HMD 영상(512)은 A2-B2-C2-... 등의 카메라 조합에 의해 스티칭된 영상일 수 있으나, 이에 제한되지 않는다. 사용자의 회전 운동(530)이 발생하면, 본 개시의 전방향 비디오 처리 장치는 제1 Left HMD 영상(510) 및 제1 Right HMD 영상(512)을 각각 일정한 간격을 유지하면서 수평축 방향으로 이동시켜 제2 Left HMD 영상(520) 및 제2 Right HMD 영상(522)을 시청자에게 제공할 수 있다. 상기 수평 이동된 영상을 제공함으로써 시청자 관점에서는 시청자가 응시하고 있는 영상이 회전하는 것과 유사한 효과를 얻을 수 있다. 한편, 본 개시의 전방향 비디오 처리 장치는 사용자의 회전 운동에 대해 제1 Left HMD 영상(510) 및 제1 Right HMD 영상(512)을 일정한 간격을 유지하면서 각각 수직 방향으로 이동할 수도 있다.
도 6은 본 개시의 일 실시 예에 따른 시청자의 이동 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.
HMD를 통해 360도 영상을 시청하는 시청자가 좌우 또는 상하의 이동 운동을 하는 경우, 본 개시의 전방향 비디오 처리 장치는 2차원 배열 형태로 재구성된 영상에서 HMD 재현 영상(즉, Left HMD 및 Right HMD)을 수직축 방향(즉, views)으로 이동시킬 수 있다. 도 6을 참조하면, 시청자의 이동 운동이 있기 전 시청자에게 제공되는 영상은 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)이라고 하자. 제1 Left HMD 영상(610)은 A1-B1-C1-... 등의 카메라 조합에 의해 스티칭된 영상이고, 제1 Right HMD 영상(612)은 시점 보간에 의해 합성된 영상일 수 있으나, 이에 제한되지 않는다. 사용자의 이동운동(640)이 발생하면, 본 개시의 전방향 비디오 처리 장치는 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)을 각각 일정한 간격을 유지하면서 수직축 방향으로 이동시켜 제2 Left HMD 영상(620) 및 제2 Right HMD 영상(622)을 시청자에게 제공할 수 있다. 이때, 제2 Left HMD 영상(620)은 시점 보간에 의해 합성된 영상이고, 제2 Right HMD 영상(622)은 A3-B3-C3-... 등의 카메라 조합에 의해 스티칭된 영상일 수 있으나, 이에 제한되지 않는다. 상기 수직 이동된 영상을 제공함으로써 시청자 관점에서는 시청자가 응시하고 있는 영상이 좌우 또는 상하로 이동하는 것과 유사한 효과를 얻을 수 있다.
한편, 2차원 배열 구성 영상에서 HMD 재현 영상을 대각선 방향으로 이동하여 HMD에 재현시키면 회전과 이동 효과가 동시에 반영된 영상이 제공될 수 있다. 도 6을 참조하면, 시청자의 이동 운동이 있기 전 시청자에게 제공되는 영상은 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)이라고 하자. 제1 Left HMD 영상(610)은 A1-B1-C1-... 등의 카메라 조합에 의해 스티칭된 영상이고, 제1 Right HMD 영상(612)은 시점 보간에 의해 합성된 영상일 수 있으나, 이에 제한되지 않는다. 사용자의 이동운동(650)이 발생하면, 본 개시의 전방향 비디오 처리 장치는 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)을 각각 일정한 간격을 유지하면서 수평축 및 수직축 방향으로 이동시켜 제3 Left HMD 영상(630) 및 제3 Right HMD 영상(632)을 시청자에게 제공할 수 있다. 이때, 제3 Left HMD 영상(630)은 시점 보간에 의해 합성된 영상이고, 제3 Right HMD 영상(632)은 A3-B3-C3-... 등의 카메라 조합에 의해 스티칭된 영상일 수 있으나, 이에 제한되지 않는다.
한편, 본 개시의 카메라 구조 및 영상 포맷은 수평면 방향에 배치된 카메라 및 포맷에 대해서 설명하였지만, 이에 제한되지 않으며, 수직면 방향으로 독립적으로 확장시킬 수 있다. 상기와 같이 확장시키면, 3차원 다각형 형태가 6-자유도를 지원하는 전방위 360도 영상의 획득 및 재생이 가능할 수 있다.
본 개시에 따르면, 전방향 비디오에 관한 영상 처리 장치 및 방법이 제공될 수 있다.
본 개시에 따르면 완전 입체 360도 비디오 획득 및 재생을 위한 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 시청자의 상하/좌우 회전 및 상하/좌우 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 360도 카메라 구조를 제공하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 영상 포맷을 제공하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 종래의 상하/좌우 회전운동뿐만 아니라 HMD를 착용한 시청자가 상하/좌우 이동 운동을 할 때 이에 대응되는 영상을 제공함으로써, 가상현실 장치를 통해 완전하고 자연스러운 입체 영상이 제공될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 전방향 카메라로부터 입력 영상을 획득하는 단계;
    상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하는 단계;
    상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 단계; 및
    상기 결정된 출력 영상을 사용자에게 제공하는 단계를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 전방향 카메라의 구조는,
    상기 전방향 카메라를 구성하는 복수의 단일 카메라들이 다각형 형태의 구조로 배치되고, 상기 다각형 형태에서 같은 변에 위치한 단일 카메라들은 평행축(parallel camera) 또는 교차축(toe-in, convergence camera)으로 배치된 영상 처리 방법.
  3. 제2항에 있어서,
    상기 2차원 영상 배열은, 수평 방향 및 수직 방향을 따라 상기 획득된 입력 영상에 대한 스티칭 영상들이 각각 배치된 영상 처리 방법.
  4. 제3항에 있어서,
    상기 수평 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상이고,
    상기 수직 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상인 영상 처리 방법.
  5. 제4항에 있어서,
    상기 획득된 입력 영상을 2차원 영상 배열로 구성하는 단계는,
    상기 스티칭 영상들을 이용하여 보간 영상을 생성하는 단계를 더 포함하는 영상 처리 방법.
  6. 제5항에 있어서,
    헤드 마운티드 디스플레이(head mounted display, HMD)를 통해 상기 사용자에게 상기 출력 영상이 제공되고,
    상기 출력 영상은, 상기 사용자의 양안 시차가 반영된 좌측 HMD 영상 및 우측 HMD 영상을 포함하고,
    상기 좌측 HMD 영상 및 우측 HMD 영상은 각각 상기 2차원 영상 배열의 일부 스티칭 영상인 영상 처리 방법.
  7. 제6항에 있어서,
    상기 사용자의 움직임이 좌우 회전 또는 상하 회전 운동인 경우,
    상기 출력 영상을 결정하는 단계는,
    상기 좌측 HMD 영상 및 우측 HMD 영상을 수평 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 단계를 포함하는 영상 처리 방법.
  8. 제6항에 있어서,
    상기 사용자의 움직임이 좌우 이동 또는 상하 이동 운동인 경우,
    상기 출력 영상을 결정하는 단계는,
    상기 좌측 HMD 영상 및 우측 HMD 영상을 수직 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 단계를 포함하는 영상 처리 방법.
  9. 제6항에 있어서,
    상기 사용자의 움직임이 좌우 이동 및 회전 운동 또는 상하 이동 및 회전 운동인 경우,
    상기 출력 영상을 결정하는 단계는,
    상기 좌측 HMD 영상 및 우측 HMD 영상을 대각 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 단계를 포함하는 영상 처리 방법.
  10. 전방향 카메라로부터 입력 영상을 획득하는 영상 수신부;
    상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하고, 상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 제어부; 및
    상기 결정된 출력 영상을 사용자에게 제공하는 출력부를 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 전방향 카메라의 구조는,
    상기 전방향 카메라를 구성하는 복수의 단일 카메라들이 다각형 형태의 구조로 배치되고, 상기 다각형 형태에서 같은 변에 위치한 단일 카메라들은 평행축(parallel camera) 또는 교차축(toe-in, convergence camera)으로 배치된 영상 처리 장치.
  12. 제11항에 있어서,
    상기 2차원 영상 배열은, 수평 방향 및 수직 방향을 따라 상기 획득된 입력 영상에 대한 스티칭 영상들이 각각 배치된 영상 처리 장치.
  13. 제12항에 있어서,
    상기 수평 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상이고,
    상기 수직 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상인 영상 처리 장치.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 스티칭 영상들을 이용하여 보간 영상을 생성하는 영상 처리 장치.
  15. 제14항에 있어서,
    헤드 마운티드 디스플레이(head mounted display, HMD)를 통해 상기 사용자에게 상기 출력 영상이 제공되고,
    상기 출력 영상은, 상기 사용자의 양안 시차가 반영된 좌측 HMD 영상 및 우측 HMD 영상을 포함하고,
    상기 좌측 HMD 영상 및 우측 HMD 영상은 각각 상기 2차원 영상 배열의 일부 스티칭 영상인 영상 처리 장치.
  16. 제15항에 있어서,
    상기 사용자의 움직임이 좌우 회전 또는 상하 회전 운동인 경우,
    상기 제어부는,
    상기 좌측 HMD 영상 및 우측 HMD 영상을 수평 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 사용자의 움직임이 좌우 이동 또는 상하 이동 운동인 경우,
    상기 제어부는,
    상기 좌측 HMD 영상 및 우측 HMD 영상을 수직 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 영상 처리 장치.
  18. 제17항에 있어서,
    상기 사용자의 움직임이 좌우 이동 및 회전 운동 또는 상하 이동 및 회전 운동인 경우,
    상기 제어부는,
    상기 좌측 HMD 영상 및 우측 HMD 영상을 대각 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 영상 처리 장치.
  19. 360도 비디오를 제공하기 위한 전방향 카메라 구조물로서,
    상기 전방향 카메라를 구성하는 복수의 단일 카메라들이 다각형 형태의 구조로 배치되고, 상기 다각형 형태에서 같은 변에 위치한 단일 카메라들은 교차축(toe-in, convergence camera)으로 배치된 구조물.
  20. 제19항에 있어서,
    상기 복수의 단일 카메라들은, 사용자의 회전 운동이 있는 경우 상기 다각형 형태를 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 이용하여 출력 영상을 제공하도록 배치되고, 상기 사용자의 이동 운동이 있는 경우 상기 다각형 형태를 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 이용하여 출력 영상을 제공하도록 배치된 구조물.
KR1020180065860A 2017-06-15 2018-06-08 전방향 비디오에 관한 영상 처리 방법 및 장치 KR20180136891A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170075803 2017-06-15
KR20170075803 2017-06-15

Publications (1)

Publication Number Publication Date
KR20180136891A true KR20180136891A (ko) 2018-12-26

Family

ID=64802076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180065860A KR20180136891A (ko) 2017-06-15 2018-06-08 전방향 비디오에 관한 영상 처리 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20180136891A (ko)
CN (1) CN109151441A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092209A (ko) * 2019-01-24 2020-08-03 주식회사 케이티 멀티 mla 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치및 그 방법
KR102242710B1 (ko) * 2019-12-31 2021-04-22 서울과학기술대학교 산학협력단 반자유 시점 영상을 제공하는 장치
KR102393309B1 (ko) * 2022-01-10 2022-04-29 정장수 3d 체험교육용 vr 제작방법
CN114830676A (zh) * 2019-12-24 2022-07-29 皇家Kpn公司 视频处理设备和用于视频流式传输的清单文件

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
EP3204824A4 (en) * 2014-10-07 2018-06-20 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging
US10244226B2 (en) * 2015-05-27 2019-03-26 Google Llc Camera rig and stereoscopic image capture
EP3151554A1 (en) * 2015-09-30 2017-04-05 Calay Venture S.a.r.l. Presence camera

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092209A (ko) * 2019-01-24 2020-08-03 주식회사 케이티 멀티 mla 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치및 그 방법
CN114830676A (zh) * 2019-12-24 2022-07-29 皇家Kpn公司 视频处理设备和用于视频流式传输的清单文件
KR102242710B1 (ko) * 2019-12-31 2021-04-22 서울과학기술대학교 산학협력단 반자유 시점 영상을 제공하는 장치
KR102393309B1 (ko) * 2022-01-10 2022-04-29 정장수 3d 체험교육용 vr 제작방법

Also Published As

Publication number Publication date
CN109151441A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
JP6208455B2 (ja) ３ｄディスプレイ装置およびその映像処理方法
US8750599B2 (en) Stereoscopic image processing method and apparatus
CN108141578B (zh) 呈现相机
US20180192033A1 (en) Multi-view scene flow stitching
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
KR20180136891A (ko) 전방향 비디오에 관한 영상 처리 방법 및 장치
JP2019511024A (ja) パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング
JP6126821B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
CN108693970B (zh) 用于调适可穿戴装置的视频图像的方法和设备
JP2014093779A (ja) 映像処理方法及び映像処理装置
US20120194514A1 (en) Image processing apparatus and method, and program
JP2003284093A (ja) 立体画像処理方法および装置
US11436698B2 (en) Method of playing back image on display device and display device
KR101198557B1 (ko) 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법
KR20190011224A (ko) 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치
Naimark Elements of real-space imaging: a proposed taxonomy
KR20200013607A (ko) 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with focus cues
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP2003284095A (ja) 立体画像処理方法および装置
JP4184690B2 (ja) 画像形成方法、画像形成プログラム及び画像形成装置
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
KR20210036795A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
JP2003284094A (ja) 立体画像処理方法および装置