KR20190026876A - 구면 파노라마 영상에 매핑을 수행하는 방법 및 장치 - Google Patents

구면 파노라마 영상에 매핑을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR20190026876A
KR20190026876A KR1020197003875A KR20197003875A KR20190026876A KR 20190026876 A KR20190026876 A KR 20190026876A KR 1020197003875 A KR1020197003875 A KR 1020197003875A KR 20197003875 A KR20197003875 A KR 20197003875A KR 20190026876 A KR20190026876 A KR 20190026876A
Authority
KR
South Korea
Prior art keywords
image
spherical
pasted
coordinate
coordinate system
Prior art date
Application number
KR1020197003875A
Other languages
English (en)
Other versions
KR102183050B1 (ko
Inventor
지아단 주
Original Assignee
베이징 치이 센츄리 사이언스 앤드 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 치이 센츄리 사이언스 앤드 테크놀로지 코., 엘티디. filed Critical 베이징 치이 센츄리 사이언스 앤드 테크놀로지 코., 엘티디.
Publication of KR20190026876A publication Critical patent/KR20190026876A/ko
Application granted granted Critical
Publication of KR102183050B1 publication Critical patent/KR102183050B1/ko

Links

Images

Classifications

    • G06T3/14—
    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/005—Geometric image transformation in the plane of the image for projecting an image on a non-planar surface, e.g. a geodetic screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

본 발명은 구면 파노라마 영상에 영상 붙여넣기를 위한 방법 및 장치를 개시한다. 상기 방법은, 제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하고; 상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하고; 사용자에 의한 선택에 따라 상기 구면 투사 영상 내에 제 1 영상 붙여넣기 영역을 결정하고, 대응하는 영상을 평면 영상으로 변환하며; 붙여넣기 하려는 상기 영상을 상기 평면 영상의 형태로 변환하고; 붙여넣기 하려는 상기 변환된 영상을 상기 구면 좌표계에 매핑하고; 상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키고; 변환된 후에 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하고; 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하며; 상기 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하는 과정을 포함할 수 있다. 본 발명의 실시예들을 적용함으로써, 구면 파노라마 영상에 대한 왜곡없는 영상 붙여넣기가 달성된다.

Description

구면 파노라마 영상에 매핑을 수행하는 방법 및 장치
본 발명은 파노라마 영상 처리 분야에 관한 것으로, 특히 구면 파노라마 영상에 영상 붙여넣기를 위한 방법 및 장치에 관한 것이다.
사회의 발전에 따라, 사람들은 어떤 사진의 주어진 위치 상에 또는 사진에 표시된 특정 평면 상에 영상들을 붙여넣기(paste) 하려고 요구하게 되었다.
현존하는 영상 붙여넣기 기법은 단안 영상 원리(monocular image principle)에 따르는 2D 영상들(평면 영상들)에 영상들을 매핑한다.
파노라마 영상 수집가 및 파노라마 영상 접합(splicing) 기술의 발달과 함께, 현재 파노라마 영상들이 쉽게 획득될 수 있으며, 특히 수평 방향으로 360도 및 수직 방향으로 90도를 포섭하는 구면 파노라마 영상들이 가상 현실 분야에서 널리 사용되고 있다. 그러나, 구면 파노라마 영상은 더 이상 단안 영상 원리에 부합하지 않으며, 그로 인해 종래의 기술에서 구면 파노라마 영상에 대한 영상 붙여넣기는 영상 왜곡을 야기할 것이다.
따라서, 구면 파노라마 영상에 대한 왜곡없는 영상 붙어넣기를 구현하는 것이 해결하여야 할 시급한 문제이다.
본 발명의 실시예들의 목적은 구면 파노라마 영상에 대한 왜곡없는 영상 붙여넣기를 달성하기 위해 구면 파노라마 영상에 영상 붙여넣기를 위한 방법 및 장치를 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명의 일 실시예는 구면 파노라마 영상에 영상 붙여넣기를 위한 방법을 개시한다. 상기 방법은:
제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하는 단계;
상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하는 단계;
상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하는 단계;
상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하는 단계;
붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하는 단계;
붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하는 단계;
상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키는 단계;
상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하는 단계;
상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하는 단계; 및
상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하는(interpolating) 단계;를 포함한다.
바람직하게, 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하는 단계는:
상기 제 1 영상 붙여넣기 영역의 중심점 좌표를 결정하는 단계;
상기 중심점 좌표에 따라 상기 구면 투사 영상을 회전하되, 상기 좌표를 경도 및 위도로 나타내는 경우 상기 회전된 구면 투사 영상 내의 상기 중심점 좌표는 (0,0)인 단계;
상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 다음의 수학식에 따라 상기 평면 영상으로 변환하는 단계:
Figure pct00001
를 포함할 수 있고,
(λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
Figure pct00002
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
바람직하게, 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하는 단계는:
상기 평면 영상에 따른 호모그래피 행렬 및 붙여넣기 하려는 상기 영상을 결정하는 단계; 및
상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환을 수행하는 단계;를 포함할 수 있다.
바람직하게, 붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계로 매핑하는 단계는:
붙여넣기 하려는 상기 형태-변환된 영상을 다음의 수학식에 따라 상기 구면 좌표계로 매핑하는 단계:
Figure pct00003
를 포함할 수 있고,
(u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고;
Figure pct00004
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
바람직하게, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하는 단계는,
상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 다음의 수학식에 따라 상기 제 2 구면 파노라마 영상으로 변환하는 단계:
Figure pct00005
를 포함할 수 있고,
(λ',Φ')는 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비이다.
상기 목적을 달성하기 위해, 본 발명의 실시예들은 또한 구면 파노라마 영상에 영상 붙여넣기를 위한 장치를 제공한다. 상기 장치는: 설정 모듈, 제 1 매핑 모듈, 제 1 결정 모듈, 제 1 변환 모듈, 제 2 변환 모듈, 제 2 매핑 모듈, a 회전 모듈, 제 3 변환 모듈, 제 2 결정 모듈, 및 보간 모듈을 포함할 수 있고,
상기 설정 모듈은 제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하도록 사용되고;
상기 제 1 매핑 모듈은 상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하도록 사용되고;
상기 제 1 결정 모듈은 상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하도록 사용되고;
상기 제 1 변환 모듈은 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하도록 사용되고;
상기 제 2 변환 모듈은 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하도록 사용되고;
상기 제 2 매핑 모듈은 붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하도록 사용되고;
상기 회전 모듈은 상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키도록 사용되고;
상기 제 3 변환 모듈은 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하도록 사용되고;
상기 제 2 결정 모듈은 상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하도록 사용되며;
상기 보간 모듈은 상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하도록 사용된다.
바람직하게, 상기 제 1 변환 모듈은 구체적으로:
상기 제 1 영상 붙여넣기 영역의 중심점 좌표를 결정하고;
상기 중심점 좌표에 따라 상기 구면 투사 영상을 회전하되, 상기 좌표를 경도 및 위도로 나타내는 경우 상기 회전된 구면 투사 영상 내의 상기 중심점 좌표는 (0,0)이고;
상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 다음의 수학식에 따라 상기 평면 영상으로 변환하도록 사용될 수 있으며:
Figure pct00006
,
(λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
Figure pct00007
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
바람직하게, 상기 제 2 변환 모듈은 구체적으로:
상기 평면 영상에 따른 호모그래피 행렬 및 붙여넣기 하려는 상기 영상을 결정하고;
상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환을 수행하도록 사용될 수 있다.
바람직하게, 상기 제 2 매핑 모듈은 구체적으로:
붙여넣기 하려는 상기 형태-변환된 영상을 다음의 수학식에 따라 상기 구면 좌표계로 매핑하도록 사용될 수 있으며:
Figure pct00008
,
(u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고;
Figure pct00009
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
바람직하게, 상기 제 3 변환 모듈은 구체적으로:
상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 다음의 수학식에 따라 상기 제 2 구면 파노라마 영상으로 변환하도록 사용될 수 있으며:
Figure pct00010
,
(λ',Φ')는 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비이다.
상기 목적을 달성하기 위해, 본 발명의 실시예들은 또한 전자 장치를 개시한다. 상기 전자 장치는, 프로세서, 통신 인터페이스, 메모리 및 통신 버스를 포함하되, 상기 프로세서, 상기 통신 인터페이스, 및 상기 메모리는 상기 통신 버스를 통해 서로 통신할 수 있고;
상기 메모리는 컴퓨터 프로그램을 저장하도록 사용되며;
상기 프로세서는 상기 메모리에 저장된 상기 프로그램을 실행함으로써 청구항 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 구현하도록 사용된다.
상기 목적을 달성하기 위해, 본 발명의 실시예들은 또한 컴퓨터로 읽을 수 있는 저장 매체를 개시한다. 상기 컴퓨터로 읽을 수 있는 저장 매체는 컴퓨터 프로그램을 저장하고, 프로세서에 의해 실행될 때, 상기 컴퓨터 프로그램은 구면 파노라마 영상에 영상 붙여넣기를 위한 상기 방법들 중 어느 하나를 구현할 수 있다.
상기 목적을 달성하기 위해, 본 발명의 실시예들은 또한 컴퓨터 프로그램을 개시한다. 상기 컴퓨터 프로그램은, 실행될 때, 구면 파노라마 영상에 영상 붙여넣기를 위한 상기 방법들 중 어느 하나를 구현할 수 있다.
본 발명은 구면 파노라마 영상에 영상 붙여넣기를 위한 방법을 제공하고, 상기 방법은: 제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하는 단계; 상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하는 단계; 상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하는 단계; 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하는 단계; 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하는 단계; 붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하는 단계; 상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키는 단계; 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하는 단계; 상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하는 단계; 및 상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하는 단계;를 포함한다.
본 발명의 실시예에서, 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상은 평면 영상으로 변환되고, 이는 단안 투시 영상 원리에 따르는 평면 영상이다. 따라서, 상기 평면 영상에 따라 형태-변환된 후에 붙여넣기 하려는 상기 영상 또한 상기 단안 투시 영상 원리에 따른다. 즉, 그 형태가 상기 구면 좌표계로 변환된 붙여넣기 하려는 상기 영상을 매핑한 후에는, 매핑된 후의 붙여넣기 하려는 상기 영상에 아무런 왜곡이 없으며, 그로 인해 구면 파노라마 영상에 왜곡없는 영상 붙여넣기를 구현할 수 있다.
물론, 본 발명을 구현하는 어떠한 제품 또는 방법은 반드시 상기 모든 장점을 동시에 달성하기 위해 요구되는 것은 아니다.
본 발명의 실시예들 또는 종래의 기술에서 기술적 해법을 보다 명확하게 보여주기 위해, 상기 실시예들의 상세한 설명 또는 종래의 기술에서 사용되는 다음의 도면들이 아래와 같이 간략하게 기술된다.
도 1은 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에 영상 붙여넣기를 위한 방법의 흐름도이다;
도 2a는 본 발명의 일 실시예가 제공하는 제 1 구면 파노라마 영상의 개략도이다;
도 2b는 본 발명의 일 실시예가 제공하는 붙여넣기 하려는 영상의 개략도이다;
도 2c는 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에 붙여넣기 하려는 영상을 매핑한 제 1 결과의 개략도이다;
도 2d는 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에 붙여넣기 하려는 영상을 매핑한 제 2 결과의 개략도이다;
도 3은 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에 영상 붙여넣기를 위한 장치의 개략 구조도이다;
도 4는 본 발명의 일 실시예가 제공하는 전자 장치의 개략 구조도이다.
이하에서는 본 발명의 실시예들에 수반하는 도면들을 참조하여 본 발명의 실시예들의 기술적 해법들이 서술될 것이다.
도 1은 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에 영상 붙여넣기를 위한 방법의 개략 흐름도로서, 다음의 단계를 포함할 수 있다:
S101: 제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정한다.
구체적으로, 상기 제 1 구면 파노라마 영상 A에 대해 구면 좌표계 M이 설정된다. 여기서, 상기 제 1 구면 파노라마 영상 A는 수평 방향에서 360도 시야를 포섭하고(cover) 수직 방향에서 180도 시야를 포섭하며, 그 영상비(aspect ratio)는 2: 1이다.
예시로, 도 2a는 본 발명의 일 실시예가 제공하는 제 1 구면 파노라마 영상의 개략도이다.
일반적으로, 구면 파노라마 영상은 등장방형(equirectangular) 영상으로도 불린다.
S102: 상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑한다.
구체적으로, 상기 제 1 구면 파노라마 영상 A의 좌표 및 상기 구면 좌표계 M 내의 좌표 간에 일-대-일 대응이 존재하고, 따라서 상기 제 1 구면 파노라마 영상 A가 상기 구면 좌표계 M의 상기 구면 표면 상에 투사되면, 상기 구면 파노라마 영상 A에 대응하는 상기 구면 투사 영상 B가 획득된다.
본 발명의 실시예들에서, 구면 파노라마 영상은 평면 영상(단안 영상 원리에 따르는 2D 영상)으로서 이해될 수 있다. 이러한 구면 파노라마 영상은 너비 및 높이를 가지며, 상기 구면 파노라마 영상의 좌표계는 xy 좌표계일 수 있다. 또한, 구면 투사 영상은, 포지티브(positive) 구면 커브드(curved) 표면 영상, 또는 타원형의 커브드 표면 영상과 같은, 커브드 영상으로서 이해될 수 있다. 상기 구면 투사 영상은 반지름을 가질 수 있으며, 상기 구면 투사 영상의 좌표계는 위도 및 경도 좌표계일 수 있다.
구체적으로, 상기 제 1 구면 파노라마 영상 A는 다음의 수학식에 따라 상기 구면 좌표계 M에서 구면 표면에 매핑될 수 있다:
Figure pct00011
,
여기서, (x,y)는 상기 제 1 구면 파노라마 영상 A에 점의 좌표이고; (λ,Φ)는 좌표 (x,y), 즉 상기 구면 좌표계 M에 매핑된, 좌표에 대한 상기 점의 좌표이며, λ, Φ는 각각 상기 구면 좌표계 M의 구면 표면 상에 상기 점의 경도 및 위도이고;
Figure pct00012
, 및 r은 상기 구면 투사 영상의 반지름이며, N은 상기 제 1 구면 파노라마 영상의 너비이다.
S103: 상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정한다.
붙여넣기 하려는 상기 영상은 미리 획득된 것일 수 있다. 구체적으로, 붙여넣기 하려는 상기 영상은 사용자에 의해 지정될 수 있거나, 또는 다른 장치들에 의해 전송될 수 있다. 예를 들어, 붙여넣기 하려는 상기 영상은 도 2b에 도시된 바와 같은 것일 수 있다.
사용자에 의해 선택된 영상 붙여넣기 영역이 도 2a에 대응하는 상기 구면 투사 영상 내의 광고판이라고 가정하면, 상기 제 1 영상 붙여넣기 영역은 상기 광고판에 기초하여 결정될 수 있다. 일반적으로, 사용자는 희망하는 영상 붙여넣기 영역의 꼭짓점들(vertices)에 기초하여 상기 제 1 영상 붙여넣기 영역을 결정하고 싶어한다. 복수 개의 꼭짓점들이 상기 사용자에 의해 선택될 수 있고, 이러한 꼭짓점들로 구성되는 상기 제 1 영상 붙여넣기 영역은 상기 선택된 꼭짓점들에 기초하여 결정될 수 있음을 이해할 필요가 있다.
실질적인 적용에 있어서, 사용자는 또한 상기 구면 투사 영상 B 상에 점을 선택할 수 있고, 그러면 상기 제 1 영상 붙여넣기 영역이 상기 점에 기초하여 결정될 수 있다. 예를 들어, 사용자에 의해 선택된 상기 점은 점들의 화소값들이 서로 유사한 영역 내의 점이고, 상기 영역이 상기 제 1 영상 붙여넣기 영역으로서 획득되는 방식 등이 활용될 수 있으며, 특정 방식에 제한되지 않는다.
S104: 상기 평면 영상의 형태를 획득하기 위해 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환한다.
상기된 설명에 따라, 상기 구면 투사 영상은 커브드 표면 영상이고, 상기 제 1 영상 붙여넣기 영역은 상기 구면 투사 영상 내의 영역이다. 따라서, 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 또한 커브드 표면 영상이고, 상기 제 1 영상 붙여넣기 영역에 대응하는 커브드 표면 영상이 S104에서 평면 영상으로 변환된다.
상기 평면 영상은 상기 구면 투사 영상에서 부분 영역(제 1 영상 붙여넣기 영역) 내에서 상기 영상을 변환함으로써 획득되고, 따라서 상기 평면 영상은 보통의 크기의 완전한 영상이 아니다. 예를 들어, 상기 구면 투사 영상은 광고판을 포함할 수 있고, 상기 광고판이 위치해 있는 영역 내에서 상기 영상이 평면 영상으로 변환된 후에, 가까운 것은 크고 먼 것은 작게 되는 영상 원리로 인해, 상기 평면 영상은 사다리꼴, 또는 다른 비(non)-직사각형 형태가 될 수 있다.
구체적으로, 상기 제 1 영상 붙여넣기 영역의 중심점 좌표가 결정될 수 있고; 상기 구면 투사 영상은 상기 중심점 좌표에 따라 회전될 수 있다. 상기 좌표가 경도 및 위도로 표현되는 경우, 상기 회전된 구면 투사 영상 내에서 상기 중심점 좌표의 상기 좌표는 (0,0)이고; 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상은 다음의 수학식에 따라 평면 영상으로 변환된다:
Figure pct00013
,
여기서, (λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
Figure pct00014
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
실질적인 적용에 있어서, 상기 제 1 영상 붙여넣기 영역의 중심점은 다음의 수학식에 따라 결정될 수 있다:
Figure pct00015
,
여기서, λ0, Φ0는 각각 상기 구면 좌표계 M에서 상기 제 1 영상 붙여넣기 영역의 중심점의 경도 및 위도이고; s는 사용자에 의해 선택된 점들의 개수이며; λi, Φi는 각각 상기 제 1 영상 붙여넣기 영역에서 선택된 점들 중에서 i-번째 점의 경도 및 위도이다.
상기 구면 투사 영상 B는 상기 중심점의 결정된 좌표 (λ0,Φ0)에 따라 회전하고, 상기 좌표를 경도 및 위도로 나타내는 경우, 좌표 (λ0,Φ0)에 대해 상기 중심점의 상기 회전된 구면 투사 영상 내에서의 좌표는 (0,0)이다.
스테레오(stereo)-직교 좌표계에서, 상기 구면 투사 영상 B가 회전된 후에 획득된 상기 제 1 영상 붙여넣기 영역 내에서의 점의 좌표는 다음의 수학식에 따라 결정된다:
Figure pct00016
,
여기서, x, y, z는 각각 스테레오-직교 좌표계의 x 축, y 축 및 z 축 상에서 상기 제 1 영상 붙여넣기 영역 내의 점들의 좌표값이고; (λ0,Φ0)는 상기 제 1 영상 붙여넣기 영역의 중심점의 좌표이고; λ0, Φ0는 상기 제 1 영상 붙여넣기 영역의 중심점의 위도 및 경도이며; λ, Φ는 상기 제 1 영상 붙여넣기 영역 내에서 상기 점에 대응하는 경도 및 위도이다.
x, y, z에 따라, 상기 구면 좌표계 M에서 상기 제 1 영상 붙여넣기 영역 내의 점들의 좌표는 다음의 수학식으로 결정된다:
Figure pct00017
,
여기서, (x,y)는 x 축의 값 및 y 축의 값으로 표현되는 상기 제 1 영상 붙여넣기 영역 내에서의 점의 좌표이고; x, y는 각각 x 축 및 y 축 상에서 상기 제 1 영상 붙여넣기 영역 내의 점의 값들이고; (λ',Φ')는 상기 구면 좌표계 M에서 상기 제 1 영상 붙여넣기 영역 내에서의 점의 좌표이며; λ', Φ'는 각각 상기 제 1 영상 붙여넣기 영역 내에서의 상기 점의 경도 및 위도이다.
상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상은 다음의 수학식에 따라 평면 영상으로 변환된다:
Figure pct00018
,
여기서, (λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 평면-직교 좌표계 내에서 좌표가 (λ',Φ')인 점에 대응하는 대응하는 좌표이고;
Figure pct00019
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
S105: 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환한다.
상기된 설명에 따라, 상기 제 1 영상 붙여넣기 영역 내의 영상이 평면 영상으로 변환되는 경우, 가까운 것은 크고 먼 것은 작게 되는 영상 원리로 인해, 상기 평면 영상은 사다리꼴, 또는 다른 비-직사각형 형태가 될 수 있다. 여기서, 상기 평면 영상의 형태가 사다리꼴이라고 가정하자. 도 2b에 도시된 바와 같이, 상기 붙여넣기 하려는 상기 영상의 형태가 직사각형이면, 상기 직사각형은 사다리꼴로 변환될 수 있다.
구체적으로, 상기 평면 영상 및 붙여넣기 하려는 상기 영상에 따라 호모그래피 행렬(homography matrix)이 결정될 수 있고; 상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환(plane perspective transformation)이 수행된다.
실질적인 적용에 있어서, 결정된 제 1 영상 붙여넣기 영역이 C라고 가정하면, S104에서 C에 따라 획득된 평면 영상은 D이다. 상기 호모그래피 행렬 H는 상기 평면 영상 D의 꼭짓점들 및 붙여넣기 하려는 상기 영상 P의 꼭짓점들 간의 유사성에 따라 결정된다. 그러면, H 및 수학식
Figure pct00020
에 따라, 붙여넣기 하려는 상기 영상 P는, 붙여넣기 하려는 변환된 영상 P'를 획득하기 위해 붙여넣기 하려는 상기 영상 P를 상기 평면 영상의 형태 D로 변환하도록 평면 투시 변환된다.
S103에서 사용자가 상기 구면 투사 영상 B 상의 점을 선택하는 경우, 상기 평면 영상 D 및 붙여넣기 하려는 상기 영상 P 간의 상기 호모그래피 행렬 H는
Figure pct00021
이고, 그러면
Figure pct00022
에 따라 붙여넣기 하려는 상기 영상 P에 평면 투시 변환이 수행된다. 일반적으로, 행렬
Figure pct00023
및 붙여넣기 하려는 상기 영상 P에 대해 붙여넣기 하려는 상기 영상 P 상에 평면 투시 변환이 수행된 후에 획득된 상기 영상의 형태에는 아무런 변화가 없다.
S106: 붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑한다.
구체적으로, 붙여넣기 하려는 상기 형태-변환된 영상은 다음의 수학식에 따라 상기 구면 좌표계로 매핑될 수 있다:
Figure pct00024
,
여기서, (u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고;
Figure pct00025
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
일반적으로, 붙여넣기 하려는 상기 형태-변환된 영상은 할당된 시야각(시야각이 모두 0인 중심점의 경도 및 위도)에서 상기 구면 좌표계에 매핑된다.
S107: 상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시킨다.
붙여넣기 하려는 상기 영상은 미리 획득된 것이며, 붙여넣기 하려는 상기 영상을 상기 구면 좌표계에 매핑시킨 후, 붙여넣기 하려는 상기 영상 및 상기 구면 투사 영상 간의 위치상의 관계는 고정되지 않음을 이해할 필요가 있다. 따라서, 상기 구면 투사 영상이 상기 제 1 영상 붙여넣기 영역과 일치하는 위치로 붙여넣기 하려는 상기 영상을 회전시킬 필요가 있다.
구체적으로, 상기 구면 좌표계 M으로 매핑된 붙여넣기 하려는 상기 영상을 P"라고 가정하면, 붙여넣기 하려는 상기 영상 P"는 상기 제 1 영상 붙여넣기 영역과 일치하는 위치로 회전된다.
실질적인 적용에 있어서, 스테레오-직교 좌표계에서, 회전된 후, 붙여넣기 하려는 상기 영상 P" 내의 점의 좌표는 다음의 수학식에 따라 결정된다:
Figure pct00026
,
여기서, x', y', z'는 각각, 스테레오-직교 좌표계에서, 회전된 후, 붙여넣기 하려는 상기 영상 P" 내의 점들의 x 축, y 축 및 z 축의 대응하는 값들이고; λ0, Φ0는 각각 상기 제 1 영상 붙여넣기 영역의 중심점의 위도 및 경도이며; λ, Φ는 회전된 후, 붙여넣기 하려는 상기 영상 P" 내의 점에 대응하는 경도 및 위도이다.
x', y', z'에 따라, 상기 구면 좌표계 M에서, 회전된 후 붙여넣기 하려는 상기 영상 P" 내의 점들의 좌표는 다음의 수학식으로 결정된다:
Figure pct00027
,
여기서, (x',y')는 회전된 후 붙여넣기 하려는 상기 영상 P" 내에서 x축의 값 및 y축의 값으로 표현되는 점의 좌표이고; x', y'는 각각 회전된 후 붙여넣기 하려는 상기 영상 P" 내에서 x축 및 y축 상의 점의 값이며; (λ',Φ')는 상기 구면 좌표계 M에서 좌표가 (x',y')인 점의 좌표이며; λ', Φ'는 각각 회전된 후 붙여넣기 하려는 상기 영상 P" 내에서 상기 점의 경도 및 위도이다.
S108: 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환한다.
상기된 설명에 따라, 상기 구면 파노라마 영상은 평면 영상(단안 영상 원리에 따르는 2D 영상)으로서 이해될 수 있다. 상기 구면 파노라마 영상은 너비 및 높이를 가지고, 상기 구면 파노라마 영상의 좌표계는 xy 좌표계일 수 있다. 반면, 여기서 붙여넣기 하려는 상기 영상은 S106에서 매핑된 후에 커브드 표면 영상으로 변환된다. S108에서, 커브드 표면 영상으로 변환된 붙여넣기 하려는 상기 영상을 다시 평면 영상(제 2 구면 파노라마 영상)으로 변환할 필요가 있다.
구체적으로, 붙여넣기 하려는 상기 영상, 즉 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된 영상은 다음의 수학식에 따라 제 2 구면 파노라마 영상으로 변환될 수 있다;
Figure pct00028
,
여기서, (λ',Φ')는 붙여넣기 하려는 상기 영상, 즉 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 붙여넣기 하려는 상기 영상, 즉 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비이다.
실질적인 적용에 있어서, S107에서, 상기 제 1 영상 붙여넣기 영역과 일치하는 위치로 회전되는 붙여넣기 하려는 상기 영상 내의 점의 좌표 (λ',Φ')에 따라, 회전된 후 붙여넣기 하려는 상기 영상 P"는 다음의 수학식에 따라 제 2 구면 파노라마 영상으로 변환된다:
Figure pct00029
,
여기서, (λ',Φ')는 회전된 후 붙여넣기 하려는 상기 영상 P" 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 회전된 후 붙여넣기 하려는 상기 영상 P" 내의 점의 경도 및 위도이고; (x,y)는 좌표가 (λ',Φ')인 점의 평면-직교 좌표계에서의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 길이 및 너비이다.
S109: 상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정한다.
구체적으로, 상기 제 1 구면 파노라마 영상 A 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정한다.
상기된 설명을 구별하기 위해, 여기서는 상기 제 1 구면 파노라마 영상 내의 영상 붙여넣기 영역을 상기 제 2 영상 붙여넣기 영역이라고 지칭하고, 상기 구면 투사 영상 내의 영상 붙여넣기 영역을 상기 제 1 영상 붙여넣기 영역이라고 지칭한다.
S1010: 상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기(complete) 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간한다(interpolating).
구체적으로, 상기 제 2 구면 파노라마 영상은 붙여넣기 하려는 상기 영상을 상기 제 1 파노라마 영상에 매핑하는 것을 완료하기 위해 S109에서 결정된 상기 제 2 영상 붙여넣기 영역에 기초하여 상기 제 2 영상 붙여넣기 영역으로 보간된다. 여기서 상기 제 2 구면 파노라마 영상은 붙여넣기 하려는 상기 영상으로부터 변환되고, 붙여넣기 하려는 상기 영상을 상기 제 1 구면 파노라마 영상에 매핑하는 것은 상기 제 2 구면 파노라마 영상을 상기 제 1 구면 파노라마 영상 내에서 상기 영상 붙여넣기 영역(제 2 영상 붙여넣기 영역)으로 보간함으로써 완료됨을 이해할 필요가 있다.
상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하는 것은 종래의 기술이며 여기서 설명되지 않을 것임에 주의하여야 한다.
사용자가 상기 구면 투사 영상 내에서 점을 선택하는 경우, 예시로, 도 2c는 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에서 붙여넣기 하려는 영상을 매핑한 결과의 개략도이다.
사용자가 상기 구면 투사 영상 내의 광고판의 4개의 꼭짓점들을 선택한 경우, 예시로, 도 2d는 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에서 붙여넣기 하려는 영상을 매핑한 결과의 개략도이다.
본 발명의 실시예를 구현함에 있어서, 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상은 단안 투시 영상 원리에 따르는 평면 영상으로 변환된다. 따라서, 상기 평면 영상에 기초하여 그 형태가 변환된 후, 즉, 그 형태가 변환된 붙여넣기 하려는 상기 영상을 상기 구면 좌표계에 매핑한 후에 붙여넣기 하려는 상기 영상 또한 단안 투시 영상 원리에 따른다. 매핑된 후에 붙여넣기 하려는 상기 영상에 아무런 왜곡이 없으므로, 구면 파노라마 영상에 대한 왜곡없는 영상 붙여넣기를 구현할 수 있다.
도 1에 도시된 방법 실시예들에 대응하여, 도 3은 본 발명의 일 실시예가 제공하는 구면 파노라마 영상에 영상 붙여넣기를 위한 장치의 개략 구조도이고, 설정 모듈(301), 제 1 매핑 모듈(302), 제 1 결정 모듈(303), 제 1 변환 모듈(304), 제 2 변환 모듈(305), 제 2 매핑 모듈(306), 회전 모듈(307), 제 3 변환 모듈(308), 제 2 결정 모듈(309), 및 보간 모듈(3010)을 포함할 수 있으며,
상기 설정 모듈(301)은 제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하도록 사용되고;
상기 제 1 매핑 모듈(302)은 상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하도록 사용되고;
상기 제 1 결정 모듈(303)은 상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하도록 사용되고;
상기 제 1 변환 모듈(304)은 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하도록 사용된다.
구체적으로, 상기 제 1 변환 모듈(304)은 구체적으로:
상기 제 1 영상 붙여넣기 영역의 중심점 좌표를 결정하고;
상기 중심점 좌표에 따라 상기 구면 투사 영상을 회전하되, 상기 좌표를 경도 및 위도로 나타내는 경우 상기 회전된 구면 투사 영상 내의 상기 중심점 좌표는 (0,0)이고;
상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 다음의 수학식에 따라 상기 평면 영상으로 변환하도록 사용될 수 있으며:
Figure pct00030
,
여기서, (λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
Figure pct00031
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
상기 제 2 변환 모듈(305)은 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하도록 사용된다.
구체적으로, 상기 제 2 변환 모듈(305)은 구체적으로:
상기 평면 영상에 따른 호모그래피 행렬 및 붙여넣기 하려는 상기 영상을 결정하고;
상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환을 수행하도록 사용된다.
상기 제 2 매핑 모듈(306)은 붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하도록 사용된다.
구체적으로, 상기 제 2 매핑 모듈(306)은 구체적으로:
붙여넣기 하려는 상기 형태-변환된 영상을 다음의 수학식에 따라 상기 구면 좌표계로 매핑하도록 사용되며:
Figure pct00032
,
여기서, (u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고;
Figure pct00033
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
상기 회전 모듈(307)은 상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키도록 사용된다.
상기 제 3 변환 모듈(308)은 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하도록 사용된다.
구체적으로, 상기 제 3 변환 모듈(308)은 구체적으로:
붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 영상을 다음의 수학식에 따라 상기 제 2 구면 파노라마 영상으로 변환하도록 사용되며:
Figure pct00034
,
여기서, (λ',Φ')는 붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비이다.
상기 제 2 결정 모듈(309)은 상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하도록 사용된다.
상기 보간 모듈(3010)은 상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 매핑을 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하도록 사용된다.
본 발명의 실시예들에서, 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상은 단안 투시 영상 원리에 따른 평면 영상으로 변환된다. 따라서, 상기 평면 영상에 따라 그 형태가 변환된 후의 붙여넣기 하려는 상기 영상 또한 상기 단안 투시 영상 원리에 따른다. 즉, 그 형태가 상기 구면 좌표계로 변환된 붙여넣기 하려는 상기 영상을 매핑한 후, 매핑된 후의 붙여넣기 하려는 상기 영상에는 아무런 왜곡이 존재하지 않으므로, 구면 파노라마 영상에 대해 왜곡없는 영상 붙여넣기를 구현할 수 있다.
본 실시예는 또한, 도 4에 도시된 바와 같이, 프로세서(401), 통신 인터페이스(402), 메모리(403), 및 통신 버스(404)를 포함하고, 상기 프로세서(401), 상기 통신 인터페이스(402), 및 상기 메모리(403) 간의 상호 통신이 상기 통신 버스(404)를 통해 달성되는 전자 장치를 제공하며,
상기 메모리(403)는 컴퓨터 프로그램을 저장하도록 사용되고;
상기 프로세서(401)는 상기 메모리(403)에 저장된 상기 프로그램이 실행될 때 다음의 단계들을 구현하도록 사용된다:
제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하는 단계;
상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하는 단계;
상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하는 단계;
상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하는 단계;
붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하는 단계;
붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하는 단계;
상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키는 단계;
상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하는 단계;
상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하는 단계; 및
상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하는 단계.
일 구현예에서, 상기 프로세서(401)는 또한 상기 메모리(403)에 저장된 상기 프로그램이 실행될 때 다음의 단계들을 구현하도록 사용된다:
상기 제 1 영상 붙여넣기 영역의 중심점 좌표를 결정하는 단계;
상기 중심점 좌표에 따라 상기 구면 투사 영상을 회전하되, 상기 좌표를 경도 및 위도로 나타내는 경우 상기 회전된 구면 투사 영상 내의 상기 중심점 좌표는 (0,0)인 단계;
상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 다음의 수학식에 따라 상기 평면 영상으로 변환하는 단계:
Figure pct00035
,
여기서, (λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
Figure pct00036
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
일 구현예에서, 상기 프로세서(401)는 또한 상기 메모리(403)에 저장된 상기 프로그램이 실행될 때 다음의 단계들을 구현하도록 사용된다:
상기 평면 영상에 따른 호모그래피 행렬 및 붙여넣기 하려는 상기 영상을 결정하는 단계; 및
상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환을 수행하는 단계.
일 구현예에서, 상기 프로세서(401)는 또한 상기 메모리(403)에 저장된 상기 프로그램이 실행될 때 다음의 단계들을 구현하도록 사용된다:
붙여넣기 하려는 상기 형태-변환된 영상을 다음의 수학식에 따라 상기 구면 좌표계로 매핑하는 단계:
Figure pct00037
,
여기서, (u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고; , r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
일 구현예에서, 상기 프로세서(401)는 또한 상기 메모리(403)에 저장된 상기 프로그램이 실행될 때 다음의 단계들을 구현하도록 사용된다:
붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 영상을 다음의 수학식에 따라 상기 제 2 구면 파노라마 영상으로 변환하는 단계:
Figure pct00039
,
여기서, (λ',Φ')는 붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비이다.
상기된 전자 장치에 의해 언급된 상기 통신 버스는 Peripheral Component Interconnect (PCI) 버스 또는 Extended Industry Standard Architecture (EISA) 버스 등이 될 수 있다. 상기 통신 버스는 주소 버스, 데이터 버스, 제어 버스 등으로 분할될 수 있다. 표현의 편의를 위해, 상기 도면은 단지 하나의 굵은 선만으로 표현되었으나, 단지 하나의 버스 또는 한 종류의 버스만이 존재하는 것을 나타내는 것은 아니다.
상기 통신 인터페이스는 상기된 전자 장치 및 다른 장치들 간의 통신을 위해 사용된다.
상기 메모리는 Random Access Memory (RAM)를 포함할 수도 있고, 또는 적어도 하나의 디스크 메모리와 같은 비-휘발성 메모리 (NVM)를 포함할 수도 있다. 선택적으로, 상기 메모리는 또한 전술한 프로세서로부터 원격에 위치한 적어도 하나의 저장 장치일 수도 있다.
상기된 프로세서는, 중앙 처리 장치(CPU), 네트워크 프로세서(NP) 등을 포함하는 범용 프로세서일 수 있고; 또한 디지털 신호 처리기(DSP), Application Specific Integrated Circuit (ASIC), Field- Programmable Gate Array (FPGA) 또는 다른 프로그램 가능한 논리 장치, 이산 게이트(discrete gate) 또는 트랜지스터 논리(transistor logic) 장치, 이산 하드웨어 부품일 수 있다.
도 4에 도시된 바와 같이 본 발명의 실시예의 구현에 있어서, 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상은 단안 투시 영상 원리에 따른 평면 영상으로 변환된다. 따라서, 상기 평면 영상에 따라 그 형태가 변환된 후의 붙여넣기 하려는 상기 영상 또한 상기 단안 투시 영상 원리에 따른다. 즉, 그 형태가 변환된 붙여넣기 하려는 상기 영상을 상기 구면 좌표계에 매핑한 후, 매핑된 후의 붙여넣기 하려는 상기 영상에 아무런 왜곡이 존재하지 않으므로, 구면 파노라마 영상에 대한 왜곡없는 영상 붙여넣기를 구현할 수 있다.
본 발명의 실시예는 또한 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체를 제공하며, 프로세서에 의해 실행될 때, 상기 컴퓨터 프로그램은 다음의 단계들을 구현할 수 있다:
제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하는 단계;
상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하는 단계;
상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하는 단계;
상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하는 단계;
붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하는 단계;
붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하는 단계;
상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키는 단계;
상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하는 단계;
상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하는 단계; 및
상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하는 단계.
일 구현예에서, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 때 다음의 단계들이 구현될 수 있다:
상기 제 1 영상 붙여넣기 영역의 중심점 좌표를 결정하는 단계;
상기 중심점 좌표에 따라 상기 구면 투사 영상을 회전하되, 상기 좌표를 경도 및 위도로 나타내는 경우 상기 회전된 구면 투사 영상 내의 상기 중심점 좌표는 (0,0)인 단계;
상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 다음의 수학식에 따라 상기 평면 영상으로 변환하는 단계:
Figure pct00040
,
여기서, (λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
Figure pct00041
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
일 구현예에서, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 때 다음의 단계들이 구현될 수 있다:
상기 평면 영상에 따른 호모그래피 행렬 및 붙여넣기 하려는 상기 영상을 결정하는 단계; 및
상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환을 수행하는 단계.
일 구현예에서, 상기 프로세서(401)는 또한 상기 메모리(403)에 저장된 상기 프로그램이 실행될 때 다음의 단계들을 구현하도록 사용된다:
붙여넣기 하려는 상기 형태-변환된 영상을 다음의 수학식에 따라 상기 구면 좌표계로 매핑하는 단계:
Figure pct00042
,
여기서, (u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고;
Figure pct00043
, r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비이다.
일 구현예에서, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 때 다음의 단계들이 구현될 수 있다:
붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 영상을 다음의 수학식에 따라 상기 제 2 구면 파노라마 영상으로 변환하는 단계:
Figure pct00044
,
여기서, (λ',Φ')는 붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 붙여넣기 하려는 상기 영상, 즉, 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비이다.
본 발명의 실시예는, 실행될 때 구면 파노라마 영상에 영상 붙여넣기를 위한 상기된 방법들 중 어느 하나를 구현할 수 있는 컴퓨터 프로그램을 또한 제공한다.
상기된 실시예들에서, 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 어떠한 결합에 의해 전체로서 또는 일부로서 구현될 수 있다. 소프트웨어를 사용하여 구현되는 경우, 컴퓨터 프로그램 제품의 형태 전체로서 또는 일부로서 구현될 수 있다. 상기 컴퓨터 프로그램 제품은 하나 또는 그 이상의 컴퓨터 명령들을 포함한다. 상기 컴퓨터 프로그램 명령들이 컴퓨터 내에 업로드되고 실행되는 경우, 본 발명의 실시예들에서 기술된 단계 또는 기능이 전체로서 또는 일부로서 생성된다. 상기 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그램 가능한 장치들이 될 수 있다. 상기 컴퓨터 명령들은 컴퓨터로 읽을 수 있는 저장 매체 내에 저장되거나 또는 컴퓨터로 읽을 수 있는 저장 매체로부터 또 다른 컴퓨터로 읽을 수 있는 저장 매체로 전송될 수 있다. 예를 들어, 상기 컴퓨터 명령들은, 유선 방식(예를 들어, 통축 케이블, 광 섬유, 디지털 가입자 회선(DSL)) 또는 무선 방식(예를 들어, 적외선, 무선, 마이크로파 등)으로, 웹사이트, 컴퓨터, 서버 또는 데이터 센터로부터 또 다른 웹사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 상기 컴퓨터로 읽을 수 있는 저장 매체는 컴퓨터, 또는 하나 또는 그 이상의 가용(available) 매체 통합을 포함하는 서버, 데이터 센터 등과 같은 데이터 저장 장치에 의해 접근 가능한 어떠한 가용 매체일 수 있다. 상기 가용 매체는 자기 매체(예를 들어, 소프트 디스크, 하드 디스크, 자기 테이프), 광학 매체(예를 들어, DVD) 또는 반도체 매체(예를 들어, Solid State Disk (SSD)) 등이 될 수 있다.
여기에서 "제 1", "제 2" 등과 같은 관계 용어는 단지 하나의 개체 또는 동작을 다른 개체 또는 동작과 구분하기 위해 사용된 것이며, 이러한 개체들 또는 동작들 간의 실질적인 관계 또는 순서를 필연적으로 요구하거나 암시하는 것이 아님에 주의하여야 한다. 또한, "구성하다", "포함하다" 또는 다른 변형의 용어들은 비-배타적인 포함을 의도한 것으로서, 일련의 요소들을 포함하는 절차, 방법, 물건, 또는 장치들은 열거된 이러한 요소들뿐만 아니라 구체적으로 열거되지 않은 요소들 또는 이러한 절차, 방법, 물건, 또는 장치들에 본질적인 요소들을 포함한다. 다른 제한 없이, "구성하다"의 문장들에 의해 제한되는 요소들은 열거된 요소들을 포함하는 절차, 방법, 물건, 또는 장치 내에 추가적인 동일 요소들이 존재한다는 사실을 배제하는 것이 아니다.
본 상세한 설명 내에서 다양한 실시예들이 연관된 방식으로 기술되었고, 다양한 실시예들 내의 동일 또는 유사한 부분들이 서로 참고될 수 있으며, 각각의 실시예들에 대한 상세한 설명은 모두 다른 실시예들과의 차이점에 집중하였다. 특히, 장치 실시예들, 장비 실시예들, 컴퓨터로 읽을 수 있는 매체 실시예들, 컴퓨터 프로그램 실시예들은, 방법 실시예들과 대체로 유사하므로, 상세한 설명을 간단하게 기술하였으며, 연관된 구성들은 방법 실시예들의 설명 부분을 참고할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는, 상기 기술된 방법 실시예들을 구현하는데 있어서 상기 단계들의 전부 또는 일부를 구현하는 것이 연관된 하드웨어에 명령을 내리는 프로그램 수단에 의해 달성될 수 있으며, 상기 프로그램은 컴퓨터로 읽을 수 있는 저장 매체에 저장되고, 여기서 상기 저장 매체는, 예를 들어 ROM / RAM, 디스크, CD 등을 나타내는 것임을 이해할 수 있을 것이다.
상기된 상세한 설명은 단지 본 발명의 바람직한 실시예들일 뿐이며 본 발명을 제헌하고자 하는 의도가 아니다. 본 발명의 사상 및 원리 내에서 어떠한 변형, 균등한 치환, 개선 등을 본 발명의 범위 내에 포함하고자 하였다.

Claims (13)

  1. 구면(spherical) 파노라마 영상에 영상 붙여넣기(pasting)를 수행하는 방법에 있어서,
    제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하는 단계;
    상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하는 단계;
    상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하는 단계;
    상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하는 단계;
    붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하는 단계;
    붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하는 단계;
    상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키는 단계;
    상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하는 단계;
    상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하는 단계; 및
    상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하는(interpolating) 단계;를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하는 단계는,
    상기 제 1 영상 붙여넣기 영역의 중심점 좌표를 결정하는 단계;
    상기 중심점 좌표에 따라 상기 구면 투사 영상을 회전하되, 상기 좌표를 경도 및 위도로 나타내는 경우 상기 회전된 구면 투사 영상 내의 상기 중심점 좌표는 (0,0)인 단계;
    상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 다음의 수학식에 따라 상기 평면 영상으로 변환하는 단계:
    Figure pct00045
    를 포함하고,
    (λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
    Figure pct00046
    , r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비인, 방법.
  3. 제 1 항에 있어서,
    붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하는 단계는,
    상기 평면 영상에 따른 호모그래피 행렬 및 붙여넣기 하려는 상기 영상을 결정하는 단계; 및
    상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환을 수행하는 단계;를 포함하는, 방법.
  4. 제 1 항에 있어서,
    붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계로 매핑하는 단계는,
    붙여넣기 하려는 상기 형태-변환된 영상을 다음의 수학식에 따라 상기 구면 좌표계로 매핑하는 단계:
    Figure pct00047
    를 포함하고,
    (u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고;
    Figure pct00048
    , r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비인, 방법.
  5. 제 1 항에 있어서,
    상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하는 단계는,
    상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 다음의 수학식에 따라 상기 제 2 구면 파노라마 영상으로 변환하는 단계:
    Figure pct00049
    를 포함하고,
    (λ',Φ')는 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비인, 방법.
  6. 구면 파노라마 영상에 영상 붙여넣기를 수행하는 장치에 있어서,
    상기 장치는, 설정 모듈, 제 1 매핑 모듈, 제 1 결정 모듈, 제 1 변환 모듈, 제 2 변환 모듈, 제 2 매핑 모듈, a 회전 모듈, 제 3 변환 모듈, 제 2 결정 모듈, 및 보간 모듈을 포함하고,
    상기 설정 모듈은 제 1 구면 파노라마 영상에 대해 구면 좌표계를 설정하도록 사용되고;
    상기 제 1 매핑 모듈은 상기 제 1 구면 파노라마 영상의 구면 투사 영상을 획득하기 위해 상기 구면 좌표계에 대응하는 구면 표면에 상기 제 1 구면 파노라마 영상을 매핑하도록 사용되고;
    상기 제 1 결정 모듈은 상기 구면 투사 영상에 대해 사용자에 의한 선택 작업에 따라 상기 구면 투사 영상 내에 붙여넣기 하려는 영상의 제 1 영상 붙여넣기 영역을 결정하도록 사용되고;
    상기 제 1 변환 모듈은 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 평면 영상으로 변환하도록 사용되고;
    상기 제 2 변환 모듈은 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하도록 사용되고;
    상기 제 2 매핑 모듈은 붙여넣기 하려는 상기 형태-변환된 영상을 상기 구면 좌표계에 매핑하도록 사용되고;
    상기 회전 모듈은 상기 구면 좌표계에 매핑된 붙여넣기 하려는 상기 영상을 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전시키도록 사용되고;
    상기 제 3 변환 모듈은 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 제 2 구면 파노라마 영상으로 변환하도록 사용되고;
    상기 제 2 결정 모듈은 상기 제 1 구면 파노라마 영상 내에 상기 제 1 영상 붙여넣기 영역에 대응하는 제 2 영상 붙여넣기 영역을 결정하도록 사용되며;
    상기 보간 모듈은 상기 제 1 구면 파노라마 영상에 붙여넣기 하려는 상기 영상의 붙여넣기를 완료하기 위해 상기 제 2 구면 파노라마 영상을 상기 제 2 영상 붙여넣기 영역으로 보간하도록 사용되는, 장치.
  7. 제 6 항에 있어서,
    상기 제 1 변환 모듈은 구체적으로:
    상기 제 1 영상 붙여넣기 영역의 중심점 좌표를 결정하고;
    상기 중심점 좌표에 따라 상기 구면 투사 영상을 회전하되, 상기 좌표를 경도 및 위도로 나타내는 경우 상기 회전된 구면 투사 영상 내의 상기 중심점 좌표는 (0,0)이고;
    상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상을 다음의 수학식에 따라 상기 평면 영상으로 변환하도록 사용되며:
    Figure pct00050
    ,
    (λ',Φ')는 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 회전된 구면 투사 영상에서 상기 제 1 영상 붙여넣기 영역에 대응하는 상기 영상 내의 점의 위도 및 경도이고; (u,v)는 좌표 (λ',Φ')에 대해 상기 점의 평면-직교 좌표계 내에서 대응하는 좌표이고;
    Figure pct00051
    , r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비인, 장치.
  8. 제 6 항에 있어서,
    상기 제 2 변환 모듈은 구체적으로:
    상기 평면 영상에 따른 호모그래피 행렬 및 붙여넣기 하려는 상기 영상을 결정하고;
    상기 붙여넣기 하려는 상기 영상의 형태를 상기 평면 영상의 형태로 변환하기 위해 상기 호모그래피 행렬에 따라 붙여넣기 하려는 상기 영상에 평면 투시 변환을 수행하도록 사용되는, 장치.
  9. 제 6 항에 있어서,
    상기 제 2 매핑 모듈은 구체적으로:
    붙여넣기 하려는 상기 형태-변환된 영상을 다음의 수학식에 따라 상기 구면 좌표계로 매핑하도록 사용되며:
    Figure pct00052
    ,
    (u,v)는 붙여넣기 하려는 상기 형태-변환된 영상 내에서 점의 평면 좌표계 내의 좌표이고; (λ,Φ)는 상기 구면 좌표계에 매핑되는 좌표 (u,v)에 대한 상기 점의 좌표이고;
    Figure pct00053
    , r은 상기 구면 투사 영상의 반지름이며, n은 상기 제 1 구면 파노라마 영상의 너비인, 장치.
  10. 제 6 항에 있어서,
    상기 제 3 변환 모듈은 구체적으로:
    상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전된, 붙여넣기 하려는 상기 영상을 다음의 수학식에 따라 상기 제 2 구면 파노라마 영상으로 변환하도록 사용되며:
    Figure pct00054
    ,
    (λ',Φ')는 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내에서 점의 상기 구면 좌표계에서의 좌표이고; λ', Φ'는 각각 상기 제 1 영상 붙여넣기 영역이 상기 영상에 겹쳐지는 위치로 회전되는, 붙여넣기 하려는 상기 영상 내의 점의 경도 및 위도이고; (x,y)는 상기 평면 좌표계로 매핑되는 좌표 (λ',Φ')에 대한 점의 좌표이며; m 및 n은 각각 상기 제 1 구면 파노라마 영상의 높이 및 너비인, 장치.
  11. 프로세서, 통신 인터페이스, 메모리 및 통신 버스를 포함하되, 상기 프로세서, 상기 통신 인터페이스, 및 상기 메모리는 상기 통신 버스를 통해 서로 통신하고;
    상기 메모리는 컴퓨터 프로그램을 저장하도록 사용되며;
    상기 프로세서는 상기 메모리에 저장된 상기 프로그램을 실행함으로써 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 구현하도록 사용되는, 전자 장치.
  12. 컴퓨터 프로그램을 저장하고, 프로세서에 의해 실행될 때, 상기 컴퓨터 프로그램이 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 구현할 수 있는, 컴퓨터로 읽을 수 있는 저장 매체.
  13. 실행될 때, 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 구현할 수 있는, 컴퓨터 프로그램.
KR1020197003875A 2016-09-29 2017-08-15 구면 파노라마 영상에 매핑을 수행하는 방법 및 장치 KR102183050B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610868060.4 2016-09-29
CN201610868060.4A CN106548446B (zh) 2016-09-29 2016-09-29 一种在球面全景图像上贴图的方法及装置
PCT/CN2017/097489 WO2018059146A1 (zh) 2016-09-29 2017-08-15 一种在球面全景图像上贴图的方法及装置

Publications (2)

Publication Number Publication Date
KR20190026876A true KR20190026876A (ko) 2019-03-13
KR102183050B1 KR102183050B1 (ko) 2020-11-26

Family

ID=58368209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197003875A KR102183050B1 (ko) 2016-09-29 2017-08-15 구면 파노라마 영상에 매핑을 수행하는 방법 및 장치

Country Status (12)

Country Link
US (1) US10789672B2 (ko)
EP (1) EP3522105B1 (ko)
JP (1) JP6771106B2 (ko)
KR (1) KR102183050B1 (ko)
CN (1) CN106548446B (ko)
AU (1) AU2017333469B2 (ko)
CA (1) CA3029590C (ko)
ES (1) ES2967429T3 (ko)
MY (1) MY201247A (ko)
SG (1) SG11201900009RA (ko)
TW (1) TWI647656B (ko)
WO (1) WO2018059146A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN110574069B (zh) * 2017-04-27 2023-02-03 联发科技股份有限公司 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置
CN107133918B (zh) * 2017-05-05 2020-06-12 陈健 一种在三维场景中任意位置生成全景图的方法
CN109472736A (zh) * 2017-09-07 2019-03-15 微鲸科技有限公司 图像处理方法及设备
CN108122283B (zh) * 2017-12-20 2021-05-11 成都索贝数码科技股份有限公司 一种利用坐标变换编辑vr影像的方法
CN108681987A (zh) * 2018-05-10 2018-10-19 广州腾讯科技有限公司 生成全景切片图的方法和装置
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
CN109829851B (zh) * 2019-01-17 2020-09-18 厦门大学 一种基于球面对齐估计的全景图像拼接方法及存储设备
CN111080523B (zh) * 2019-12-17 2023-10-24 天津津航技术物理研究所 红外周视搜索系统及基于角度信息的红外周视图像拼接方法
CN111429529B (zh) * 2020-04-10 2024-02-20 浙江大华技术股份有限公司 一种坐标转换的标定方法、电子设备以及计算机存储介质
CN111582080B (zh) * 2020-04-24 2023-08-08 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN112308986B (zh) * 2020-11-03 2024-04-12 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
CN112915534B (zh) * 2021-02-24 2021-09-07 武汉欢乐泡泡信息技术有限公司 游戏的图像计算方法及装置
US11623150B2 (en) 2021-06-24 2023-04-11 Compal Electronics, Inc Rendering method for drone game
CN114168101A (zh) * 2021-12-01 2022-03-11 北京凯视达科技股份有限公司 一种将球形全景视频贴到立方体屏幕上显示的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060015223A (ko) * 2004-08-13 2006-02-16 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
KR20090012290A (ko) * 2007-07-29 2009-02-03 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
JP2012080433A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
JP4052357B2 (ja) * 1999-02-23 2008-02-27 松下電工株式会社 仮想環境体験表示装置
JP2007233996A (ja) * 2006-02-06 2007-09-13 Olympus Imaging Corp 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US9151679B2 (en) * 2008-06-30 2015-10-06 Intel Corporation Temperature measurement in electronic devices
US20100250120A1 (en) * 2009-03-31 2010-09-30 Microsoft Corporation Managing storage and delivery of navigation images
TWM396430U (en) 2010-09-09 2011-01-11 Tlj Intertech Inc Multi-view-angle-range 3D jigsaw puzzle system
JP2012256274A (ja) * 2011-06-10 2012-12-27 Panasonic Corp 画像生成装置、画像生成方法、及びコンピュータプログラム
JP5906745B2 (ja) * 2012-01-12 2016-04-20 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
TWI528328B (zh) 2012-04-20 2016-04-01 財團法人資訊工業策進會 依據貼圖影像內容決定選擇細節層次之三維貼圖處理方法、裝置以及儲存其之電腦可讀取記錄媒體
US9330501B2 (en) * 2012-08-20 2016-05-03 Autodesk, Inc. Systems and methods for augmenting panoramic image data with performance related data for a building
CN102915526B (zh) * 2012-09-18 2014-12-17 合肥工业大学 基于互补场景模型的球面全景图缺失信息修复方法
CN103017653B (zh) * 2012-11-27 2015-06-24 武汉海达数云技术有限公司 一种球面全景影像与三维激光扫描点云的配准及测量方法
CN103092612B (zh) 2012-12-31 2016-12-28 深圳天珑无线科技有限公司 实现安卓操作系统3d桌面贴图的方法及电子装置
CN105144229B (zh) * 2013-04-30 2019-07-05 索尼公司 图像处理装置、图像处理方法和程序
CN105205853A (zh) * 2014-06-20 2015-12-30 西安英诺视通信息技术有限公司 一种用于全景视图管理的3d图像拼接合成方法
TWI549478B (zh) 2014-09-04 2016-09-11 宏碁股份有限公司 產生三維影像的方法及其電子裝置
CN104183006A (zh) 2014-09-05 2014-12-03 国家电网公司 一种基于Web3D模型的动态贴图方法
JP2016062486A (ja) 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR102533555B1 (ko) * 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
CN105654538A (zh) 2015-12-24 2016-06-08 成都君乾信息技术有限公司 一种用于3d模型的贴图数据重构处理系统及处理方法
CN105957008B (zh) * 2016-05-10 2019-08-16 厦门美图之家科技有限公司 基于移动终端的全景图像实时拼接方法及系统
CN105872386A (zh) * 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060015223A (ko) * 2004-08-13 2006-02-16 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
KR20090012290A (ko) * 2007-07-29 2009-02-03 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP2012080433A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法

Also Published As

Publication number Publication date
US10789672B2 (en) 2020-09-29
EP3522105A1 (en) 2019-08-07
TWI647656B (zh) 2019-01-11
US20190311459A1 (en) 2019-10-10
CN106548446B (zh) 2019-08-09
CA3029590A1 (en) 2018-04-05
CN106548446A (zh) 2017-03-29
AU2017333469B2 (en) 2019-10-31
WO2018059146A1 (zh) 2018-04-05
AU2017333469A1 (en) 2019-01-24
EP3522105B1 (en) 2023-10-04
MY201247A (en) 2024-02-13
JP2019526874A (ja) 2019-09-19
ES2967429T3 (es) 2024-04-30
KR102183050B1 (ko) 2020-11-26
SG11201900009RA (en) 2019-04-29
CA3029590C (en) 2022-05-03
EP3522105A4 (en) 2019-09-25
TW201814656A (zh) 2018-04-16
JP6771106B2 (ja) 2020-10-21

Similar Documents

Publication Publication Date Title
KR20190026876A (ko) 구면 파노라마 영상에 매핑을 수행하는 방법 및 장치
EP3664443B1 (en) Panoramic image generation method and device
JP6819801B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム。
JP4629131B2 (ja) 画像変換装置
CN108470379B (zh) 三维图像融合方法和装置
CN108537721B (zh) 全景图像的处理方法、装置及电子设备
WO2019192358A1 (zh) 一种全景视频合成方法、装置及电子设备
JP2020034554A (ja) インテリジェント路側ユニットの標定方法、装置および機器
EP3120327A1 (en) Information processing method, information processing device, and program
JP6310320B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JPH0771936A (ja) 画像処理装置及びその方法
US20140169699A1 (en) Panoramic image viewer
JP2019164782A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2022507714A (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
US8532432B2 (en) Mobile communication terminal having image conversion function and method
US10701286B2 (en) Image processing device, image processing system, and non-transitory storage medium
JP2019164783A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2005063141A (ja) 画像変換システム及び画像変換方法
JP2011210232A (ja) 画像変換装置、画像生成システム、画像変換方法及び画像生成方法
CN117315035B (zh) 一种车辆朝向的处理方法、装置以及处理设备
CN113763530B (zh) 图像处理方法、装置、计算设备及存储介质
US20220116581A1 (en) Information processing apparatus, information processing method, and program
CN110264524B (zh) 一种标定方法、装置、系统及存储介质
WO2018168506A1 (ja) 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体
JP2023174456A (ja) イメージ内の座標間の実際距離を算出する方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant