KR102454161B1 - 전방향 이미지를 프로세싱하기 위한 방법 및 장치 - Google Patents

전방향 이미지를 프로세싱하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102454161B1
KR102454161B1 KR1020180003502A KR20180003502A KR102454161B1 KR 102454161 B1 KR102454161 B1 KR 102454161B1 KR 1020180003502 A KR1020180003502 A KR 1020180003502A KR 20180003502 A KR20180003502 A KR 20180003502A KR 102454161 B1 KR102454161 B1 KR 102454161B1
Authority
KR
South Korea
Prior art keywords
image
omnidirectional image
omnidirectional
coordinate
location
Prior art date
Application number
KR1020180003502A
Other languages
English (en)
Other versions
KR20180136873A (ko
Inventor
우지환
최병두
에릭 입
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/007,608 priority Critical patent/US10664948B2/en
Priority to CN201880028827.XA priority patent/CN110574370B/zh
Priority to EP18817691.1A priority patent/EP3590090A4/en
Priority to PCT/KR2018/006723 priority patent/WO2018230971A1/en
Publication of KR20180136873A publication Critical patent/KR20180136873A/ko
Application granted granted Critical
Publication of KR102454161B1 publication Critical patent/KR102454161B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 방법이 제공된다. 상기 방법은 제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 제 1 전방향 이미지 상의 점들을 제 1 극(pole) 및 제 2 극으로 설정하여, 상기 제1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하는 과정, 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 2 전방향 이미지 상의 점들을 제 3 극 및 제 4 극으로 설정하여, 상기 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하는 과정, 및 상기 제 1 2D 이미지 및 상기 제 2 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하는 과정을 포함한다.

Description

전방향 이미지를 프로세싱하기 위한 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING OMNIDIRECTIONAL IMAGE}
본 발명은 전방향 이미지를 프로세싱하기 위한 방법 및 장치에 관한 것으로서, 특히 상이한 중심들을 갖는 전방향 이미지들로부터 새로운 중심을 갖는 전방향 이미지를 획득하기 위한 방법 및 장치에 관한 것이다.
가상 현실(virtual reality: VR) 또는 증강 현실(augmented reality: AR)과 관련된 기술의 발달에 따라, VR 또는 AR을 제공할 수 있는 디바이스에서 디스플레이하기 위한 전방향(omnidirectional) 이미지(또는 3-D (3-dimensitonal) 이미지)의 프로세싱 및 전송과 관련된 기술들 또한 향상되고 있다.
전방향 이미지는 전방향 카메라에 의해 획득된 이미지 또는 복수의 통상적인 2D 카메라들로부터 획득된 복수의 이미지들로부터 생성될 수 있다. VR 디바이스의 사용자의 가상 현실 내에서의 이동에 대응하여, 실감나는 체험을 사용자에게 제공하기 위해, 상이한 중심들을 갖는 복수의 전방향 이미지들이 준비되고, 사용자의 이동에 대응하여 복수의 전방향 이미지들 중 선택된 전방향 이미지가 제공될 수 있다.
가능한 모든 위치들에서 카메라를 이용하여 전방향 이미지들을 획득하는 것은 현실적으로 불가능하다. 따라서, 카메라들이 배치된 위치들이 아닌 영역을 중심으로 갖는 전방향 이미지는 카메라를 통하여 직접적으로 획득하는 것이 불가능하다. 그럼에도 불구하고, 사용자에게 보다 실감나는 가상 현실의 체험을 제공하기 위해, 이미 보유하고 있는 전방향 이미지들에 기초하여, 보유하고 있는 전방향 이미지들의 중심들과 상이한 중심을 갖는 전방향 이미지를 생성할 필요가 있다.
이에 본 발명이 해결하고자 하는 과제는, 보유하고 있는 전방향 이미지들의 중심들과 상이한 중심을 갖는 전방향 이미지를 생성하기 위한 방법 및 장치를 제공하고자 하는 것이다.
본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 방법은 제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 제 1 전방향 이미지 상의 점들을 제 1 극(pole) 및 제 2 극으로 설정하여, 상기 제1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하는 과정, 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 2 전방향 이미지 상의 점들을 제 3 극 및 제 4 극으로 설정하여, 상기 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하는 과정, 및 상기 제 1 2D 이미지 및 상기 제 2 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하는 과정을 포함한다.
본 발명의 다른 실시예에 따른 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 장치는, 통신 인터페이스, 및 상기 통신 인터페이스에 연결된 프로세서를 포함하고, 상기 프로세서는, 제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 제 1 전방향 이미지 상의 점들을 제 1 극(pole) 및 제 2 극으로 설정하여, 상기 제1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하고, 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 2 전방향 이미지 상의 점들을 제 3 극 및 제 4 극으로 설정하여, 상기 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하고, 그리고 상기 제 1 2D 이미지 및 상기 제 2 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하도록 구성된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
즉, 보유하고 있는 전방향 이미지들의 중심들과 상이한 중심을 갖는 전방향 이미지를 생성하기 위한 방법 및 장치를 제공할 수 있다.
또한, 전방향 이미지를 프로세싱하기 위한 장치의 연산 부담을 감소시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 카메라들 및 카메라들에 대응하는 전방향 이미지들을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 특정한 지점이 제 1 전방향 이미지 및 제 2 전방향 이미지 상에 표시되는 위치들을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 제 1 전방향 이미지 및 제 2 전방향 이미지로부터 ERP(equirectangular projection) 방식에 의해 프로젝션된 제 1 및 제 2 2D 이미지들을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 제 1 및 제 2 2D 이미지들에 기초하여 제 3 2D 이미지를 생성하기 위한 방법을 나타낸다.
도 5는 본 발명의 다른 실시예에 따른 제 1 및 제 2 2D 이미지들에 기초하여 제 3 2D 이미지를 생성하기 위한 방법을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 제 3 전방향 이미지의 중심을 설정하기 위한 방법을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 전방향 이미지를 프로세싱하기 위한 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 전방향 이미지를 프로세싱하기 위한 장치를 나타낸 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 전방향 이미지를 프로세싱하기 위한 장치를 나타낸 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 카메라들 및 카메라들에 대응하는 전방향 이미지들을 나타낸다. 제 1 카메라(C1) 및 제 2 카메라(C2) 각각은 하나의 전방향 카메라 또는 복수의 카메라들의 집합일 수 있다. 제 1 카메라(C1)에 의해 제 1 전방향 이미지(O1)가 캡처 및 생성될 수 있다. 제 2 카메라(C2)에 의해 제 2 전방향 이미지(O2)가 캡처 및 생성될 수 있다. 제 1 전방향 이미지(O1) 및 제 2 전방향 이미지(O2) 각각은 구의 형상으로 렌더링될(rendered) 수 있다. 제 1 전방향 이미지(O1)의 중심(L1)은 제 1 카메라(C1)의 위치에 대응할 수 있다. 제 2 전방향 이미지(O2)의 중심(L2)은 제 2 카메라(C2)의 위치에 대응할 수 있다.
제 1 전방향 이미지(O1)의 중심과 제 2 전방향 이미지(O2)의 중심(L2)을 통과하는 직선과 제 1 전방향 이미지(O1)의 및 제 2 전방향 이미지(O2)가 교차하는 점들은 에피폴(epipole)들(e1, e2, e3, e4)로 지칭될 수 있다.
제 1 전방향 이미지(O1)에 관한 데이터 및 제 2 전방향 이미지(O2)에 관한 데이터에 기초하여 제 3 전방향 이미지(O3)에 대한 데이터가 생성될 수 있다. 제 3 전방향 이미지(O3)는 제 3 카메라(C3)에 의해 획득된 이미지에 대응될 수 있다. 제 3 카메라(C3)는 가상의(virtual) 카메라일 수 있다. 제 3 전방향 이미지(O3)의 중심(L3)은 제 3 카메라의 위치에 대응할 수 있다. 제 3 전방향 이미지(O3)의 중심(L3)은 제 1 전방향 이미지(O1)의 중심과 제 2 전방향 이미지(O2)의 중심(L2)을 통과하는 직선 상에서, 제 1 전방향 이미지(O1)의 중심과 제 2 전방향 이미지(O2)의 중심(L2) 사이에 위치할 수 있다.
제 1 전방향 이미지(O1)의 북극(N1)과 남극(S1)을 통과하는 축과 제 2 전방향 이미지(O2)의 북극(N2)과 남극(S2)을 통과하는 축은 서로 평행하지 않을 수 있다. 이러한 경우, 제 1 전방향 이미지(O1)의 북극(N1)과 남극(S1)을 기준으로 ERP(equirectangular projection) 방식으로 제 1 전방향 이미지(O1)로부터 프로젝션된 2D 이미지와, 제 2 전방향 이미지(O2)의 북극(N2)과 남극(S2)을 기준으로 ERP 방식으로 제 2 전방향 이미지(O2)로부터 프로젝션된 2D 이미지는 서로 정렬(align)되지 않을 수 있다. 정렬되지 않은 2D 이미지들로부터 제 3 전방향 이미지(O3)에 관한 데이터를 생성하는 것은, 프로세싱의 복잡도를 증가시켜, 시스템의 부하를 증가시키며, 전력 소비를 증가시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 특정한 지점이 제 1 전방향 이미지 및 제 2 전방향 이미지 상에 표시되는 위치들을 나타낸다. 도 2에 도시된 바와 같이, 전방향 이미지들(O1, O2)의 북극들(N1, N2) 및 남극들(S1, S2)은 에피폴들(e1, e2, 23, e4)의 위치로 재설정될 수 있다. 구체적으로, 제 1 전방향 이미지(O1)의 북극(N1) 및 남극(S1)은 각각 제 1 에피폴(e1) 및 제 2 에피폴(e2)로 설정되고, 제 2 전방향 이미지(O2)의 북극(N2) 및 남극(S2)은 각각 제 3 에피폴(e3) 및 제 4 에피폴(e4)로 설정될 수 있다.
공간 상의 제 1 지점(P1)은 제 1 전방향 이미지(O1)의 제 1 위치(p11) 및 제 2 전방향 이미지(O2)의 제 2 위치(p12)에 표시될 수 있다. 전방향 이미지들(O1, O2)의 재설정된 북극들(N1, N2) 및 남극들(S1, S2)에 기초하면, 제 1 위치(p11)의 경도와 제 2 위치(p22)의 경도(longitude)는 동일하다. 제 1 지점(P1) 뿐만 아니라, 공간 상의 임의의 지점이 제 1 전방향 이미지(O1) 상에 표시되는 위치의 경도와 제 2 전방향 이미지(O2) 상에 표시되는 위치의 경도는 동일하다.
전방향 이미지들(O1, O2)의 재설정된 북극들(N1, N2) 및 남극들(S1, S2)을 기준들로 하여, 전방향 이미지들(O1, O2) 각각에 대하여 ERP 방식의 프로젝션이 수행될 수 있다. 이에 대하여, 도 3을 참고하여 보다 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 제 1 전방향 이미지 및 제 2 전방향 이미지로부터 ERP 방식에 의해 프로젝션된 제 1 및 제 2 2D 이미지들을 나타낸다. 제 1 2D 이미지(E1) 및 제 2 2D 이미지는 각각 제 1 전방향 이미지(O1) 및 제 2 전방향 이미지(O2)로부터 EPR 방식에 의해 프로젝션되어 생성될 수 있다. 제 1 2D 이미지(E1)의 좌측 변 및 우측 변은 각각 제 1 에피폴(e1) 및 제 2 에피폴(e2)에 대응할 수 있다. 도 2에 도시된 것과 같은 ERP 방식의 프로젝션에서, 2D 이미지의 특정한 위치의 y 좌표는 전방향 이미지의 대응하는 위치의 경도에 대응할 수 있다. 2D 이미지의 특정한 위치의 x 좌표는 전방향 이미지의 대응하는 위치와 북극(즉, 에피폴)사이의 전방향 이미지의 중심을 기준으로 하는 각도에 대응할 수 있다. 따라서, 제 1 2D 이미지(E1) 상의 제 1 위치(p11)의 y 좌표와, 제 2 2D 이미지(E2) 상의 제 2 위치(p12)의 y 좌표는 동일할 수 있다. 마찬가지로, 제 1 2D 이미지(E1) 상의 임의의 위치와 제 2 2D 이미지(E2) 상의 대응하는 위치의 y 좌표들은 동일할 수 있다. 즉, 도 2 및 도 3에서 설명한 본 발명의 실시예에 의하면, 2D 이미지들(E1, E2) 상에서 대응하는 위치들이 동일한 y 좌표 상에서 정렬되므로, 2D 이미지들(E1, E2)에 기초하여 제 3 전방향 이미지(O3)에 대한 데이터를 생성하기 위한 프로세스가 간편해질 수 있다.
도 4는 본 발명의 일 실시예에 따른 제 1 및 제 2 2D 이미지들에 기초하여 제 3 2D 이미지를 생성하기 위한 방법을 나타낸다. 공간 상의 임의의 제 2 지점(P2)은 제 1 2D 이미지(E1) 상의 제 3 위치(p21) 및 제 2 2D 이미지(E2) 상의 제 4 위치(p22) 상에 표시될 수 있다. 제 3 2D 이미지(E3)는 제 3 전방향 이미지(O3)로부터 ERP 방식에 의해 프로젝션된 이미지에 대응할 수 있다. 제 2 지점(P2)은 제 3 2D 이미지(E3) 상의 제 5 위치(p23) 상에 표시될 수 있다.
제 3 위치(p21), 제 4 위치(p22) 및 제 5 위치(p23)의 좌표들의 y값들은 앞서 도 2 및 도 3에서 설명한 바와 같이 동일할 수 있다.
제 3 위치(p21)의 x 좌표의 값과 제 4 위치(p22)의 x 좌표의 값의 차이 값(disparity value)은 λ로 표시될 수 있다. 즉, 제 3 위치(p21)의 x 좌표의 값을 x1, 제 4 위치(p22)의 x 좌표의 값을 x2라 할 때, λ = x1 - x2 이다. 제 5 위치(p23)의 x 좌표의 값을 x3라고 하면, x3 = x1 - a × λ 로 표현될 수 있다. 여기서, a는 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2) 사이의 거리에 대한 제 1 전방향 이미지(O1)의 중심(L1)과 제 3 전방향 이미지(O3)의 중심(L3) 사이의 거리의 비이다. 이러한 방식을 통해, 공간 상의 지점들에 대응하는 제 3 2D 이미지(E3) 상의 위치들을 식별함으로써, 제 3 2D 이미지(E3)를 생성할 수 있다. 제 3 2D 이미지(E3)는, 도 1에서 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지의 중심(L2)를 통과하는 직선과 교차하는 제 3 전방향 이미지(O3) 상의 점들(e5, e6)(즉, 에피폴들)을 각각 북극 및 남극으로 설정하여 제 3 전방향 이미지(O3)를 ERP 방식에 의해 프로젝션하여 생성된 2D 이미지에 대응할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 제 1 및 제 2 2D 이미지들에 기초하여 제 3 2D 이미지를 생성하기 위한 방법을 나타낸다. 공간 상의 제 3 지점(P3)은 제 1 전방향 이미지(O1) 상의 제 6 위치(p31), 제 2 전방향 이미지(O2) 상의 제 7 위치(p32) 및 제 3 전방향 이미지(O3) 상의 제 8 위치(p33)에 표시될 수 있다. 전방향 이미지 상의 특정한 위치에 대응하는 ERP 프로젝션된 2D 이미지 상의 위치의 x 좌표는 전방향 이미지의 북극(즉, 에피폴)과 전방향 이미지 상의 특정한 위치 사이의 전방향 이미지의 중심을 기준으로 하는 각도에 대응할 수 있다. 따라서, 제 6 위치(p31)의 제 1 2D 이미지(E1) 상의 x 좌표는 θL에 대응할 수 있다. 제 7 위치(p32)의 제 2 2D 이미지(E2) 상의 x 좌표는 θR에 대응할 수 있다. 제 6 위치(p31)의 제 1 2D 이미지(E1) 상의 x 좌표와 제 7 위치(p32)의 제 2 2D 이미지(E2) 상의 x 좌표의 차이 값(disparity value)는 θL - θR로 표현될 수 있으며, 이는 α + β와 동일하다.
제 8 위치(p33)의 제 3 전방향 이미지(O3)로부터 ERP 방식으로 프로젝션된 2D 이미지 상의 x 좌표는 θC에 대응할 수 있다. θC = θL - α 이다. 여기서 α는 수학식 1에 의해 획득될 수 있다.
Figure 112018003194617-pat00001
제 6 위치(p31), 제 7 위치(p32) 및 제 8 위치(p33)의 2D 이미지 상의 y 좌표들은 서로 동일할 수 있다.
이러한 방식을 통해, 공간 상의 지점들에 대응하는 제 3 전방향 이미지(O3)로부터 ERP 방식으로 프로젝션된 2D 이미지 상의 위치들을 식별함으로써, 제 3 전방향 이미지(O3)로부터 에피폴들(e5, e6)을 각각 북극 및 남극으로 설정하여 ERP 방식으로 프로젝션된 2D 이미지를 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제 3 전방향 이미지의 중심을 설정하기 위한 방법을 나타낸다. 제 3 전방향 이미지(O3)의 중심(L3)은 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2)을 통과하는 직선 상의 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2)을 사이의 양자화된(quantized) 위치들(A1, A2, A3) 중에서 선택될 수 있다. 도 6에는 예시적으로 3 개의 양자화된 위치들(A1, A2, A3)이 도시되어 있으나, 양자화된 위치들의 개수는 실시예들에 따라 상이하게 설정될 수 있다. 제 1 전방향 이미지(O1)의 중심(L1), 제 2 전방향 이미지(O2)의 중심(L2) 및 복수의 양자화된 위치들(A1, A2, A3) 사이의 간격은 균일하게 설정될 수 있지만, 반드시 이에 한정되는 것은 아니다.
몇몇 실시예에서, 복수의 양자화된 위치들(A1, A2, A3) 중 전방향 이미지를 디스플레이하기 위한 디바이스(D) 또는 디바이스(D)의 사용자와 가장 근접한 위치가 제 3 전방향 이미지(O3)의 중심(L3)으로서 설정될 수 있다. 도 6의 예시에서는, 제 2 양자화된 위치(A2)가 제 3 전방향 이미지(O3)의 중심으로서 설정될 수 있다. 복수의 양자화된 위치들(A1, A2, A3)과 전방향 이미지를 디스플레이하기 위한 디바이스(D) 또는 디바이스(D)의 사용자의 거리들 각각이 제 1 전방향 이미지(O1)의 중심(L1)과 전방향 이미지를 디스플레이하기 위한 디바이스(D) 또는 디바이스(D)의 사용자와의 거리보다 클 경우, 전방향 이미지를 디스플레이하기 위한 디바이스(D)에서 제 1 전방향 이미지(O1)에 대응하는 이미지가 디스플레이될 수 있다. 이러한 경우 제 3 전방향 이미지(O3)는 생성되지 않거나, 또는 전방향 이미지를 디스플레이하기 위한 디바이스(D)로 전달되지 않을 수 있다.
몇몇 실시예들에서, 디바이스(D) 또는 디바이스(D)의 사용자가 이동 중인 경우, 현재 디바이스(D)에서 디스플레이되고 있는 전방향 이미지의 중심과 디바이스(D)와의 거리에 대한, 복수의 양자화된 위치들(A1, A2, A3)중 인접한 양자화된 위치와 디바이스(D)와의 거리의 비가 임계치 미만이 되거나 또는 임계치 이하가 되는 경우, 디바이스(D)는 인접한 양자화된 위치를 중심으로 하는 전"??? 이미지를 디스플레이할 수 있다. 이를 위해, 전방향 이미지에 대한 데이터를 전송하기 위한 장치(예를 들어, 서버)는 인접한 양자화된 위치를 중심으로 하는 전방향 이미지에 관한 데이터를 생성하고, 그리고 디바이스(D)로 전송할 수 있다. 도 6의 예시에서, 현재 디바이스(D)에서 제 1 양자화된 위치(A1)를 중심으로 하는 전방향 이미지가 디스플레이되고 있는 경우, 디바이스(D)와 제 1 양자화된 위치(A1) 사이의 거리(d1)에 대한 디바이스(D)와 제 2 양자화된 위치(A2) 사이의 거리(d2)의 비가 임계치 이하가 되거나 도는 임계치 미만이 되는 경우, 디바이스(D)는 제 2 양자화된 위치(A2)를 중심으로 하는 전방향 이미지를 디스플레이할 수 있다.
몇몇 실시예들에서, 전방향 이미지에 대한 데이터를 전송하기 위한 장치는 복수의 양자화된 위치들(A1, A2, A3) 각각을 중심으로 하는 전방향 이미지에 관한 데이터를 미리 생성하여 저장할 수 있다. 전방향 이미지에 대한 데이터를 전송하기 위한 장치는 미리 생성되어 저장된 복수의 전방향 이미지들에 대한 데이터 중, 필요에 의해 선택된 전방향 이미지에 대한 데이터를 디바이스(D)로 전송할 수 있다.
몇몇 실시예들에서, 디바이스(D)는 복수의 복수의 양자화된 위치들(A1, A2, A3) 각각을 중심으로 하는 전방향 이미지에 대한 데이터를 저장할 수 있다. 디바이스(D)는 저장된 복수의 전방향 이미지들에 대한 데이터 중, 필요에 의해 선택된 전방향 이미지에 대한 데이터를 리트리브하여, 선택된 전방향 이미지를 디스플레이할 수 있다.
도 7은 본 발명의 일 실시예에 따른 전방향 이미지를 프로세싱하기 위한 방법을 나타낸 순서도이다. 단계(710)에서, 제 1 전방향 이미지의 에피폴들을 극들로 설정하여, 제 1 전방향 이미지를 제 1 2D 이미지로 프로젝션하고, 그리고 제 2 전방향 이미지의 에피폴들을 극들로 설정하여, 제 2 전방향 이미지를 2D 이미지로 프로젝션할 수 있다. 단계(710)의 구체적인 동작들은 도 2 및 도 3에서 설명된 바와 같다.
단계(720)에서, 제 1 2D 이미지 및 제 2 2D 이미지로부터 제 3 전방향 이미지에 대응하는 제 3 2D 이미지가 생성될 수 있다. 단계(720)의 구체적인 동작들은 도 4에서 설명된 동작들 또는 도 5에서 설명된 동작들일 수 있다.
도 7에서 설명된 단계들(710, 720)은 전방향 이미지에 대한 데이터를 전송하기 위한 장치(예를 들어, 서버)에서 수행될 수 있다. 몇몇 실시예들에서, 도 7에서 설명된 단계들(710, 720)이 전방향 이미지에 대한 데이터를 디스플레이하기 위한 장치(예를 들어, VR 디바이스)에서 수행될 수 있다.
도 8은 본 발명의 일 실시예에 따른 전방향 이미지를 프로세싱하기 위한 장치를 나타낸 블록도이다. 도 8의 전방향 이미지를 프로세싱하기 위한 장치(800)는 전방향 이미지에 관한 데이터를 전송하기 위한 장치(예를 들어, 서버)일 수 있다. 장치(800)는 앞서 설명된 방법들에 의해 제 3 전방향 이미지(O3)에 대한 데이터를 생성하고, 생성된 데이터를 전송할 수 있다. 제 3 전방향(O3)에 대한 데이터는 제 3 전방향 이미지(O3)를 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지에 기초할 수 있다. 장치(800)는 제 3 전방향 이미지(O3)를 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지에 관한 데이터를 MPEG(Moving Picture Experts Group)과 같은 프로토콜을 이용하여 전송할 수 있다. 몇몇 실시예들에서, 수신 측의 디스플레이의 용이성을 위해, 장치(800)는 생성된 2D 이미지를 제 3 전방향 이미지(O3)의 상이한 극들에 기초하여 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지로 변환할 수 있다. 2D 이미지에 관한 데이터의 전송은 변환된 2D 이미지에 기초할 수 있다. 몇몇 실시예들에서, 2D 이미지에 영역별(region-wise) 패킹이 수행될 수 있다. 영역별 패킹은 2D 이미지를 복수의 영역들로 구분하여, 복수의 영역들 각각에 대하여 변형, 회전, 재샘플링 또는 재배치를 수행하는 것을 의미한다.
장치(800)는 프로세서(810), 메모리(820), 및 통신 인터페이스(830)를 포함할 수 있다. 프로세서(810)는 장치(800)에서 수행되는 동작들을 실질적으로 수행하고 그리고 제어할 수 있다. 프로세서(810)는 메모리(820) 및 통신 인터페이스(830)와 전기적으로 통신 가능하게 연결될 수 있으며, 메모리(820) 및 통신 인터페이스(830)의 동작을 제어할 수 있다. 따라서, 메모리(820) 또는 통신 인터페이스(830)에 의해 직접적으로 수행되는 동작들은 실질적으로, 프로세서(810)에 의해 수행되는 것으로 해석될 수 있다. 메모리(820)는 장치(800)의 동작 또는 프로세서(810)에 필요한 일시적 또는 비일시적 데이터를 저장할 수 있다. 메모리(820)는 프로세서(810)에서 수행될 수 있는 명령들 또는 코드들을 저장할 수 있다. 통신 인터페이스(830)는 데이터의 송신 및/또는 수신을 수행하도록 구성될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 전방향 이미지를 프로세싱하기 위한 장치를 나타낸 블록도이다. 도 9에서 장치(900)는 전방향 이미지를 디스플레이하기 위한 장치(예를 들어, VR 디바이스)일 수 있다. 장치(900)는 전방향 이미지에 관한 데이터를 수신하고 이를 디스플레이할 수 있다. 예를 들어, 장치는 앞서 설명된 방법들에 의해 생성된 제 3 전방향 이미지(O3)로부터 ERP 방식으로 프로젝션된 이미지에 대응하는 이미지에 기초하는 제 3 전방향 이미지(O3)에 관한 데이터를 수신하고, 수신된 데이터에 기초하여 제 3 전방향 이미지(O3)의 적어도 일부를 디스플레이할 수 있다.
몇몇 실시예들에서, 장치(900)는 제 1 전방향 이미지(O1)에 관한 데이터 및 제 2 전방향 이미지(O2)에 관한 데이터를 수신할 수 있다. 제 1 전방향 이미지(O1)에 관한 데이터는 제 1 2D 이미지(E1)에 대한 데이터일 수 있고, 그리고 제 2 전방향 이미지(O2)에 관한 데이터는 제 2 2D 이미지(E2)에 대한 데이터일 수 있다. 장치(900)는 제 1 2D 이미지(E1)에 대한 데이터 및 제 2 2D 이미지(E2)에 대한 데이터에 기초하여, 앞서 설명된 방법들에 따라 제 3 전방향 이미지(O3)로부터 ERP 방식에 의해 프로젝션된 이미지에 대응하는 2D 이미지에 관한 데이터를 생성할 수 있다. 장치(900)는 생성된 2D 이미지에 관한 데이터에 기초하여 제 3 전방향 이미지(O3)의 적어도 일부를 디스플레이할 수 있다.
장치(900)는 프로세서(910), 메모리(920), 통신 인터페이스(930) 및 디스플레이(940)를 포함할 수 있다. 프로세서(910), 메모리(920) 및 통신 인터페이스(930)에 대한 설명은 도 8의 장치(800)의 프로세서(810), 메모리(920) 및 통신 인터페이스(830)에 대한 설명과 각각 실질적으로 동일하다. 디스플레이(940)는 프로세서(910)의 제어에 기초하여 이미지를 디스플레이할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 방법으로서,
    제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 상기 제 1 전방향 이미지 상의 점들을 제 1 극(pole) 및 제 2 극으로 설정하여, 상기 제 1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하는 과정;
    상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 2 전방향 이미지 상의 점들을 제 3 극 및 제 4 극으로 설정하여, 상기 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하는 과정; 및
    상기 제 1 2D 이미지 및 상기 제 2 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하는 과정을 포함하고,
    상기 제 1 2D 이미지, 및 상기 제 2 2D 이미지는 상기 제 1 전방향 이미지 및 상기 제 2 전방향 이미지로부터 각각 ERP(eqirectangular projection) 방식에 의해 프로젝션되고,
    상기 제 3 2D 이미지는 상기 제 3 전방향 이미지로부터 상기 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여, 상기 제 3 전방향 이미지로부터 상기 ERP 방식에 의해 프로젝션된 2D 이미지에 대응하는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 제 3 2D 이미지를 생성하는 과정은,
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하는 과정을 포함하고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값들은 동일하고,
    θC = θL - α 이고,
    Figure 112022023441035-pat00013
    이며,
    θC는 상기 제 3 좌표의 x 값이고,
    θL은 상기 제 1 좌표의 x 값이고,
    θR은 상기 제 2 좌표의 x 값이고,
    a는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 제 3 2D 이미지를 생성하는 과정은,
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하는 과정을 포함하고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값은 동일하고,
    x3 = x1 - a * (x1- x2), 이고
    x1은 상기 제 1 좌표의 x 값이고,
    x2는 상기 제 2 좌표의 x 값이고,
    x3은 상기 제 3 좌표의 x 값이고,
    a는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 제 3 2D 이미지를 제 4 2D 이미지로 변환하는 과정을 더 포함하고,
    상기 제 3 2D 이미지는 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여 프로젝션된 2D 이미지에 대응하고,
    상기 제 4 2D 이미지는 상기 제 5 극 및 상기 제 6극과 상이한 극들에 기초하여 상기 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 제 3 2D 이미지에 기초하는 상기 제 3 전방향 이미지에 관한 정보를 전송하는 과정을 더 포함하는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 제 1 전방향 이미지, 상기 제 2 전방향 이미지 및 상기 제 3 전방향 이미지 각각은 구의 형상으로 렌더링되는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 제 1 전방향 이미지는 상기 제 1 위치에 위치하는 제 1 카메라에 의해 획득되고,
    상기 제 2 전방향 이미지는 상기 제 2 위치에 위치하는 제 2 카메라에 의해 획득되는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 제 3 위치는 상기 제 1 위치와 상기 제 2 위치 사이의 상기 직선 상의 복수의 양자화된(quantized) 위치들 중 하나인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 제 3 위치는 상기 복수의 양자화된 위치들 중, 상기 제 3 전방향 이미지를 디스플레이하기 위한 장치와 가장 근접한 위치인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 방법.
  10. 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 장치로서,
    통신 인터페이스; 및
    상기 통신 인터페이스에 연결된 프로세서를 포함하고,
    상기 프로세서는:
    제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 상기 제 1 전방향 이미지 상의 점들을 제 1 극(pole) 및 제 2 극으로 설정하여, 상기 제 1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하고;
    상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 2 전방향 이미지 상의 점들을 제 3 극 및 제 4 극으로 설정하여, 상기 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하고; 그리고
    상기 제 1 2D 이미지 및 상기 제 2 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하도록 구성되고,
    상기 제 1 2D 이미지, 및 상기 제 2 2D 이미지는 상기 제 1 전방향 이미지 및 상기 제 2 전방향 이미지로부터 각각 ERP(eqirectangular projection) 방식에 의해 프로젝션되고,
    상기 제 3 2D 이미지는 상기 제 3 전방향 이미지로부터 상기 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여, 상기 제 3 전방향 이미지로부터 상기 ERP 방식에 의해 프로젝션된 2D 이미지에 대응하는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  11. 제 10 항에 있어서,
    상기 프로세서는:
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하도록 추가로 구성되고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값들은 동일하고,
    θC = θL - α 이고,
    Figure 112022023441035-pat00014
    이며,
    θC는 상기 제 3 좌표의 x 값이고,
    θL은 상기 제 1 좌표의 x 값이고,
    θR은 상기 제 2 좌표의 x 값이고,
    a는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  12. 제 10 항에 있어서,
    상기 프로세서는,
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하도록 추가로 구성되고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값은 동일하고,
    x3 = x1 - a * (x1- x2), 이고
    x1은 상기 제 1 좌표의 x 값이고,
    x2는 상기 제 2 좌표의 x 값이고,
    x3은 상기 제 3 좌표의 x 값이고,
    a는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  13. 제 10 항에 있어서,
    상기 프로세서는 상기 제 3 2D 이미지를 제 4 2D 이미지로 변환하도록 추가로 구성되고,
    상기 제 3 2D 이미지는 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여 프로젝션된 2D 이미지에 대응하고,
    상기 제 4 2D 이미지는 상기 제 5 극 및 상기 제 6극과 상이한 극들에 기초하여 상기 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  14. 제 10 항에 있어서,
    상기 프로세서는 상기 제 3 2D 이미지에 기초하는 상기 제 3 전방향 이미지에 관한 정보를 전송하도록 추가로 구성되는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  15. 제 10 항에 있어서,
    상기 제 1 전방향 이미지, 상기 제 2 전방향 이미지 및 상기 제 3 전방향 이미지 각각은 구의 형상으로 렌더링되는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  16. 제 10 항에 있어서,
    상기 제 1 전방향 이미지는 상기 제 1 위치에 위치하는 제 1 카메라에 의해 획득되고,
    상기 제 2 전방향 이미지는 상기 제 2 위치에 위치하는 제 2 카메라에 의해 획득되는,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  17. 제 10 항에 있어서,
    상기 제 3 위치는 상기 제 1 위치와 상기 제 2 위치 사이의 상기 직선 상의 복수의 양자화된(quantized) 위치들 중 하나인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  18. 제 17 항에 있어서,
    상기 제 3 위치는 상기 복수의 양자화된 위치들 중, 상기 제 3 전방향 이미지를 디스플레이하기 위한 장치와 가장 근접한 위치인,
    전방향 이미지에 관한 정보를 프로세싱하기 위한 장치.
  19. 삭제
  20. 삭제
KR1020180003502A 2017-06-15 2018-01-10 전방향 이미지를 프로세싱하기 위한 방법 및 장치 KR102454161B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/007,608 US10664948B2 (en) 2017-06-15 2018-06-13 Method and apparatus for processing omni-directional image
CN201880028827.XA CN110574370B (zh) 2017-06-15 2018-06-14 用于处理全向图像的方法和装置
EP18817691.1A EP3590090A4 (en) 2017-06-15 2018-06-14 OMNIDIRECTIONAL IMAGE PROCESSING METHOD AND APPARATUS
PCT/KR2018/006723 WO2018230971A1 (en) 2017-06-15 2018-06-14 Method and apparatus for processing omni-directional image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762520192P 2017-06-15 2017-06-15
US62/520,192 2017-06-15

Publications (2)

Publication Number Publication Date
KR20180136873A KR20180136873A (ko) 2018-12-26
KR102454161B1 true KR102454161B1 (ko) 2022-10-14

Family

ID=65006543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180003502A KR102454161B1 (ko) 2017-06-15 2018-01-10 전방향 이미지를 프로세싱하기 위한 방법 및 장치

Country Status (3)

Country Link
EP (1) EP3590090A4 (ko)
KR (1) KR102454161B1 (ko)
CN (1) CN110574370B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102491939B1 (ko) 2018-08-24 2023-01-26 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
KR102310958B1 (ko) * 2020-08-20 2021-10-12 (주)아고스비전 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
WO2022039404A1 (ko) * 2020-08-20 2022-02-24 (주)아고스비전 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
KR102430273B1 (ko) * 2021-02-22 2022-08-09 (주)아고스비전 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법
KR102430274B1 (ko) * 2021-02-22 2022-08-09 (주)아고스비전 광시야각의 스테레오 카메라 기반 사람 추종 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204491A1 (ko) * 2016-05-26 2017-11-30 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4945578B2 (ja) * 2007-01-04 2012-06-06 肇 鳴川 情報処理方法
CN102812497B (zh) * 2011-03-03 2016-06-08 松下知识产权经营株式会社 能够提供随后体验影像的影像提供装置、影像提供方法
US9335560B2 (en) * 2014-01-30 2016-05-10 Hoya Corporation Imaging apparatus
KR20170063689A (ko) * 2014-09-18 2017-06-08 주식회사바텍 X 선 영상 형성 장치 및 방법
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204491A1 (ko) * 2016-05-26 2017-11-30 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Also Published As

Publication number Publication date
CN110574370B (zh) 2021-08-24
EP3590090A1 (en) 2020-01-08
EP3590090A4 (en) 2020-01-08
CN110574370A (zh) 2019-12-13
KR20180136873A (ko) 2018-12-26

Similar Documents

Publication Publication Date Title
KR102454161B1 (ko) 전방향 이미지를 프로세싱하기 위한 방법 및 장치
US11394950B2 (en) Augmented reality-based remote guidance method and apparatus, terminal, and storage medium
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
KR100755450B1 (ko) 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
KR20180058762A (ko) 삼차원 이미지에 대한 삼각형 메시의 생성
KR20170086077A (ko) 증강 현실 장면에서의 드로잉을 위한 깊이 정보의 사용
US10769811B2 (en) Space coordinate converting server and method thereof
CN111402374A (zh) 多路视频与三维模型融合方法及其装置、设备和存储介质
CN110945868B (zh) 用于生成场景的平铺三维图像表示的装置和方法
EP3594907B1 (en) Method and apparatus for augmenting reality
EP3629585A1 (en) Image synthesis
KR101835974B1 (ko) 가상현실환경에서 사용자 단말들의 시점 동기화 장치 및 방법
KR102072796B1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN114998559A (zh) 混合现实双目立体视觉图像实时远程渲染方法
KR20210087511A (ko) 광각 이미지로부터의 디스패리티 추정
US10664948B2 (en) Method and apparatus for processing omni-directional image
KR20170073937A (ko) 영상 데이터 전송 방법 및 장치, 및 3차원 영상 생성 방법 및 장치
US10827160B2 (en) Method for transmitting data relating to three-dimensional image
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
US11516448B2 (en) Method and apparatus for compensating projection images
RU2817803C2 (ru) Сигнал изображения, представляющий сцену
US20220174259A1 (en) Image signal representing a scene
KR102491939B1 (ko) 전방향 이미지를 프로세싱하기 위한 방법 및 장치
CN117710259A (zh) 一种图像处理方法、装置、设备及存储介质
CN113706681A (zh) 图像处理方法及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right