KR20180101165A - 파노라마 프레임으로의 프레임 스티칭 - Google Patents
파노라마 프레임으로의 프레임 스티칭 Download PDFInfo
- Publication number
- KR20180101165A KR20180101165A KR1020177032907A KR20177032907A KR20180101165A KR 20180101165 A KR20180101165 A KR 20180101165A KR 1020177032907 A KR1020177032907 A KR 1020177032907A KR 20177032907 A KR20177032907 A KR 20177032907A KR 20180101165 A KR20180101165 A KR 20180101165A
- Authority
- KR
- South Korea
- Prior art keywords
- frames
- frame
- imagers
- common center
- pair
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000001364 causal effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 240000000136 Scabiosa atropurpurea Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T3/0018—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
다수의 시야각에서 캡쳐 된 프레임들을 스티칭 (stitching)하는 방법으로서, 이미 저들에 의해 캡쳐 된 프레임들의 세트를 수신하는 단계, 인접한 각각의 프레임들의 쌍을 식별하는 단계를 포함하며 각각의 이웃하는 프레임은 중첩되는 시야를 갖는 다른 이미저로부터 거의 동일한 시간에 캡처된다. 중첩 영역 각각에 대해, 각각의 이웃하는 프레임들의 쌍들의 중심들 사이를 연결하는 중심 연결 축이 식별되고, 한 쌍의 이웃하는 프레임들의 각 프레임에 대한 모션 그래디언트가 계산되고, 상기 적어도 하나의 중첩 영역 내의 상기 이웃하는 프레임들의 쌍의 픽셀들은 상기 중앙 연결 축을 따른 상기 모션 그래디언트로부터의 대응하는 값들에 기초하여 조정되며, 상기 조정된 이웃하는 프레임들의 쌍은 상기 공통 중심을 둘러싸는 환경을 적어도 부분적으로 이미지화하는 파노라마 프레임으로 스티칭된다.
Description
본 발명은, 그 일부 실시예에서, 이미지 처리에 관련되며, 보다 상세하게는, 한정적이지 않게, 프레임 스티칭에 관한 것이다.
VR(Virtual Reality)은 특수한 유형의 이미지 또는 영상 컨텐츠이다. VR은 그 이름에서 알 수 있듯이 시청자에게 비디오 및 오디오를 포함한 녹화된 콘텐츠를 몰입감 있게 경험하도록 현실을 대체하도록 설계되었다. 뷰어(viewer)는 일반적으로 VR 헤드셋, VR 고글 또는 VR 안경이라고 하는 특수 유형의 디스플레이 안경을 사용한다. VR 헤드셋은 시청자의 자연적인 시야를 효과적으로 차단하고 녹화 또는 라이브 방송 콘텐츠로 대체한다.
VR컨텐츠는 자연적인 시야를 대체하기 위해 설계 되었기 때문에 평면 스크린에 표시되도록 설계된 표준 디지털 컨텐츠와 다르다. VR은 입체적 시야(streo vision)를 제공하면서 동시에 넓은 시야(FOV)를 제공하도록 설계되었다.
본 발명의 일부 실시예의 한 측면은 공통 중심 영역(본 명세서상에서 간략하게 공통 중심으로 언급될 수 있음) 주위를 둘러싼 환경과 선택적으로 공통 중심 영역의 주변을 묘사하는 파노라마 프레임 또는 파노라마 프레임 이미지로 배열된 다수의 이미저(예를 들어, 카메라, 이미지 센서)에 의하여 다중 시야각에서 캡쳐 된 프레임 또는 이미지(간략하게, 본 명세서에서 상호 교환적으로 사용됨)를 스티칭하기 위한 시스템 및 / 또는 방법 (예를 들어, 컴퓨터 장치의 프로세서에 의해 실행되는 코드)과 관한 것이다.
본 발명의 일부 실시예에 따르면, 공통 중심 주변에 장착된 복수의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화한 파노라마 프레임으로 스티칭하는 방법이 제공된다. 상기 방법은 공통 중심 영역 주변에 장착되어 상기 공통 중심을 둘러싼 환경을 이미지화하는 복수개의 이미저에 의하여 다중 시야각에서 캡처된 복수개의 프레임 세트를 수신하는 단계, 상기 복수개의 프레임들로부터 복수의 쌍의 이웃하는 프레임들에서 적어도 하나의 중첩 영역을 식별하는 단계에서, 상기 복수의 쌍의 이웃하는 프레임은 상기 복수개의 이미저에서 두개의 이미저에 의하여 거의 동일한 시간에 캡처된 프레임들을 각각 포함하고, 상기 두개의 이미저는 중첩되는 시야를 가지며, 상기 적어도 하나의 중첩 영역은: 상기 한 쌍의 이웃하는 프레임 각각의 중심을 연결하는 중심 연결 축을 식별하는 단계; 상기 한 쌍의 이웃하는 프레임들의 각각의 프레임에 대한 모션 그래디언트를 계산하고, 상기 모션 그래디언트의 값들은 각각의 상기 프레임의 측면 에지를 향해 증가하는 단계; 상기 중앙 연결 축을 따라 상기 모션 그래디언트로부터의 대응하는 값에 기초하여 상기 한쌍의 이웃하는 프레임들의 픽셀들을 상기 적어도 하나의 중첩 영역에 조정시키는 단계; 및
상기 한 쌍의 조정된 이웃한 프레임들을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화 한 파노라마 프레임으로 스티칭하는 단계를 포함한다.
선택적으로, 상기 파노라마 프레임은 좌안 파노라마 프레임이고, 상기 복수개의 이미저는 우안 파노라마 프레임에 결합된 복수개의 추가 프레임을 캡처하는 복수개의 추가 이미저와 서로 얽혀 있다.
선택적으로, 상기 우안 파노라마 프레임과 상기 좌안 파노라마 프레임을 합성하여 입체 프레임을 생성하는 단계를 더 포함한다.
선택적으로, 상기 복수의 이미저 및 상기 복수의 추가 프레임 멤버는 상기 공통 중심을 둘러싸는 가상 원을 따라 교대로 배치된다.
선택적으로, 상기 파노라마 프레임은 우안 파노라마 프레임이고, 상기 복수개의 이미저는 좌안 파노라마 프레임에 결합된 복수개의 추가 프레임을 캡처하는 복수개의 추가 이미저와 서로 얽혀 있으며; 상기 좌안 파노라마 프레임과 상기 우안 파노라마 프레임을 합성하여 입체 프레임을 생성하는 단계를 더 포함한다.
선택적으로, 상기 복수의 이미저들은 상기 공통 중심을 둘러싸는 가상 원을 따라 배치되고, 상기 복수의 이미저 각각은 그 광축이 상기 공통 중심 및 각각의 상기 이미저의 시야의 원점의 접선을 지나는 축에 대하여 기울어 지도록 장착된다.
선택적으로, 상기 파노라마 프레임은 상기 공통 중심 주위의 상기 환경을 이미지화하는 360도 구형 파노라마 프레임이다.
선택적으로, 상기 파노라마 프레임은 입체 프레임을 포함하는 두 개의 프레임 중 하나의 프레임으로 사용된다.
선택적으로, 상기 방법은 상기 적어도 하나의 중첩 영역 각각을 복수의 순차적으로 캡처된 세트들 각각의 프레임에 조정시키기 위해 반복된다.
선택적으로, 구형 골격 상에 상기 복수의 프레임들의 시각적 표현의 투영을 추정하는 단계를 더 포함한다.
선택적으로, 상기 적어도 하나의 중첩 영역은 상기 복수의 이미저 중 적어도 하나에 대해 정의된 적어도 하나의 교정 모델로부터의 파라미터를 이용하여 식별된다.
선택적으로, 상기 적어도 하나의 교정 모델은 주 포인트 파라미터, 초점 거리 파라미터 및 어안(fisheye) 왜곡 파라미터로 구성된 그룹 중 적어도 하나의 멤버에 따라 상기 다수의 이미저 각각에 대해 정의된다.
선택적으로, 상기 적어도 하나의 교정 모델은 상기 각각의 이미저의 이미지 평면의 대칭축에 따라 정의된 정정된 좌표로 픽셀의 좌표를 맵핑하는 어안 교정 매트릭스 및 외부 카메라 교정 매트릭스를 포함한다.
선택적으로, 상기 복수의 프레임들 각각에서, 상기 적어도 하나의 중첩 영역은 상기 어안 교정 매트릭스에 따라 생성된 결합 매트릭스에 기초하여 계산되고, 상기 외부 카메라 교정 매트릭스는 자신을 구체에 투영함으로써 각각의 픽셀이 3차원 벡터가 되는 각각의 인과적인 2개의 프레임 사이를 중첩하는 상기 적어도 하나의 중첩 영역을 계산하고, 상기 3차원 벡터를 상기 결합된 전체 교정 매트릭스에 따라 정정하기 위한 결합 매트릭스에 결합된다.
선택적으로, 상기 복수의 이미저 각각은 어안 렌즈를 포함한다.
선택적으로, 상기 복수의 이미저들 각각은 카메라-리그 교정(Camera-Rig Calibration)을 이용하여 교정된다.
선택적으로, 상기 조정시키는 단계는 상기 중첩 영역에 위치한 픽셀들을 상기 각각의 상기 축을 따라 상기 측면 에지쪽으로 이동시키는 단계를 포함한다.
선택적으로, 상기 이동에 따른 결과로 형성된 복수의 빈 픽셀을 보간으로 정정하는 단계를 더 포함한다.
본 발명의 일부 실시예에 따르면, 공통 중심 주변에 장착된 복수의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화한 파노라마 프레임으로 스티칭하는 시스템이 제공된다. 상기 시스템은 공통 중심 영역 주변에 장착되어 상기 공통 중심을 둘러싼 환경을 시각화하는 복수개의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임 세트를 수신하는 인터페이스; 코드를 저장하는 코드 저장소; 상기 코드를 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 각각의 복수개의 프레임들로부터 복수의 쌍의 이웃하는 프레임들에서 적어도 하나의 중첩 영역을 식별하는 단계에서, 상기 복수의 쌍의 이웃하는 프레임은 상기 복수개의 이미저에서 두개의 이미저에 의하여 거의 동일한 시간에 캡쳐된 프레임들을 각각 포함하고, 상기 두개의 이미저는 중첩 되는 시야를 가지며, 상기 적어도 하나의 중첩 영역은: 상기 한 쌍의 이웃하는 프레임 각각의 중심을 연결하는 중심 연결 축을 식별하는 단계; 상기 한 쌍의 이웃하는 프레임들의 각각의 프레임에 대한 모션 그래디언트를 계산하고, 상기 모션 그래디언트의 값들은 각각의 상기 프레임의 측면 에지를 향해 증가하는 단계; 상기 중앙 연결 축을 따라 상기 모션 그래디언트로부터의 대응하는 값에 기초하여 상기 한쌍의 이웃하는 프레임들의 픽셀들을 상기 적어도 하나의 중첩 영역에 조정시키는 단계; 및 상기 한 쌍의 조정된 이웃한 프레임들을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화 한 파노라마 프레임으로 스티칭하는 단계를 수행한다.
다르게 정의되지 않는다면, 여기에 사용되는 모든 기술 및/또는 과학 용어들은 본 발명이 속하는 기술 분야의 숙련자들에게 전형적으로 이해되어지는 것과 동일한 의미를 가진다. 여기에 기술된 것들과 유사하거나 균등한 방법 및 구성요소들이 본 발명의 실시예들에 대한 실시나 테스트에 사용될 수 있겠지만, 본보기적 방법 및/또는 구성요소들이 이하에 기술된다. 분쟁이 있을 경우, 규정들을 포함하는 특허 명세서가 관리될 것이다. 또한, 구성요소, 방법, 및 예들은 다만 예시적인 것으로서 반드시 한정하는 것만은 아니다.
본 발명의 실시예에 따르면, 파노라마 스티칭 이음새의 시인성을 감소시키고, 캡처된 주변 환경과 더 유사하도록 개선된 파노라마 프레임 시청 경험을 사용자에게 제공할 수 있다.
본 발명의 일부 실시예들은 여기에서 첨부된 도면을 참조하여 예로서 기술된다. 상세한 도면들에 대한 구체적인 참조를 통해, 보여진 세부 사항들은 예이며 본 발명의 실시예들에 대한 예시적 논의를 목적으로 한 것임이 강조된다. 이와 관련하여, 도면과 함께 취해진 설명은 당업자가 본 발명의 실시예들이 어떻게 실시될 수 있는지를 명확히 알 수 있게 한다.
도면들에서:
도 1은 본 발명의 일부 실시예에 따라, 공통 중심 영역 주변의 다중 시야각에서 캡처된 프레임을 파노라마 프레임으로 스티칭하는 방법의 흐름도이고,
도 2는 본 발명의 일부 실시예에 따라 다수의 시야각에서 캡처된 프레임을 파노라마 프레임으로 스티칭하는 시스템 구성 요소의 블록도이고,
도 3A는 본 발명의 일부 실시예에 따라, 본 명세서에 기재된 시스템 및 / 또는 방법을 사용하여 파노라마 프레임으로 스티칭되는 프레임을 다중 시야각에서 캡처하는 이미저의 예시적인 배치의 개략도이고,
도 3B는 본 발명의 일부 실시예에 따라, 다수의 시야각에서 프레임을 캡처하기 위한 이미저 배열을 가지며, 여기에 기술된 방법을 사용하여 캡처된 프레임을 파노라마 프레임으로 스티칭하기 위한 가상 현실(VR) 이미징 장치의 개략적인 측면도이고,
도 3C 및 3D는 본 발명의 일부 에 따라, 이미저의 장착 지점을 경유하는 가상 원의 반경에 대해 경사진 광축 및 비 경사진 광축을 각각 갖는 이미 저의 시야 사이의 중첩 영역의 개략도이고,
도4는 본 발명의 일부 에 따라, 스티칭을 위하여 조정된 프레임을 획득한 이웃한 이미저의 두 중심 사이에서 연장되는 추정 중첩 영역 및 축을 이미징하는 개략도이고, 그리고
도 5a 내지도 5c는 본 발명의 일부 에 따라, 다수의 시야각에서 캡처된 프레임을 획득하는 프로세스, 프레임들을 조정하는 단계, 그리고 생성된 파노라마 프레임을 이미징화 한 도면이다.
도면들에서:
도 1은 본 발명의 일부 실시예에 따라, 공통 중심 영역 주변의 다중 시야각에서 캡처된 프레임을 파노라마 프레임으로 스티칭하는 방법의 흐름도이고,
도 2는 본 발명의 일부 실시예에 따라 다수의 시야각에서 캡처된 프레임을 파노라마 프레임으로 스티칭하는 시스템 구성 요소의 블록도이고,
도 3A는 본 발명의 일부 실시예에 따라, 본 명세서에 기재된 시스템 및 / 또는 방법을 사용하여 파노라마 프레임으로 스티칭되는 프레임을 다중 시야각에서 캡처하는 이미저의 예시적인 배치의 개략도이고,
도 3B는 본 발명의 일부 실시예에 따라, 다수의 시야각에서 프레임을 캡처하기 위한 이미저 배열을 가지며, 여기에 기술된 방법을 사용하여 캡처된 프레임을 파노라마 프레임으로 스티칭하기 위한 가상 현실(VR) 이미징 장치의 개략적인 측면도이고,
도 3C 및 3D는 본 발명의 일부 에 따라, 이미저의 장착 지점을 경유하는 가상 원의 반경에 대해 경사진 광축 및 비 경사진 광축을 각각 갖는 이미 저의 시야 사이의 중첩 영역의 개략도이고,
도4는 본 발명의 일부 에 따라, 스티칭을 위하여 조정된 프레임을 획득한 이웃한 이미저의 두 중심 사이에서 연장되는 추정 중첩 영역 및 축을 이미징하는 개략도이고, 그리고
도 5a 내지도 5c는 본 발명의 일부 에 따라, 다수의 시야각에서 캡처된 프레임을 획득하는 프로세스, 프레임들을 조정하는 단계, 그리고 생성된 파노라마 프레임을 이미징화 한 도면이다.
본 발명의 실시예들은 이미지 프로세싱, 더욱 상세하게는, 그러나 한정되지는 않게, 프레임 스티칭에 관한 것이다.
본 발명의 일부 실시예의 한 측면은 공통 중심 영역(본 명세서상에서 간략하게 공통 중심으로 언급될 수 있음) 주위를 둘러싼 환경과 선택적으로 공통 중심 영역의 주변을 묘사하는 파노라마 프레임 또는 파노라마 프레임 이미지로 배열된 다수의 이미저(예를 들어, 카메라, 이미지 센서)에 의하여 다중 시야각에서 캡쳐 된 프레임 또는 이미지(간략하게, 본 명세서에서 상호 교환적으로 사용됨)를 스티칭하기 위한 시스템 및 / 또는 방법 (예를 들어, 컴퓨터 장치의 프로세서에 의해 실행되는 코드)과 관한 것이다. 스티칭은 스티칭 이음새의 시인성을 감소시키고, 캡처된 주변 환경과 더 유사하도록 개선된 파노라마 프레임 시청 경험을 사용자에게 제공한다. 본 발명의 실시예에 따라 스티칭 될 프레임은 정렬 및 등록을 위한 전처리(즉, 스티칭 이전에)가 수행될 수 있다. 본 명세서에서 이웃하는 이미저라 언급되며, 주변의 공통 부분을 이미징하는 시야를 가짐으로써 캡처된 두 개의 인과적인 프레임들 사이의 중첩 영역이 식별된다. 중첩 영역은 시야에서 겹치는 영역 분석으로 식별될 필요는 없지만 외부 방법을 사용하여 추정된다.
선택적으로, 상기 중첩 영역은 가상의 구형 골격 모델 상에 상기 프레임들의 시각적 표현을 투영함으로써 추정된다. 선택적 또는 추가적으로, 상기 중첩 영역은 상기 중첩 프레임을 캡처하는 하나 또는 두개의 이미저에 대하여 정의되는 교정 모델(예를 들면 수학적 모델)에 기초하여 추정된다. 상기 교정 모델은 주 포인트 파라미터(들), 초점 거리 파라미터 및 / 또는 어안(fish eye) 왜곡 파라미터(들)에 기초하여 정의될 수 있다.
중첩 영역 내에서 정렬 및 레지스트레이션의 미세한 보정이 수행된다. 이웃한 이미저에 의해 캡처된 이웃하는 프레임 쌍의 중심을 연결하는 축이 식별된다. 각 연결 축은 식별 된 중첩 영역 각각을 통과한다. 각각의 중첩 영역에 대한 모션 그래디언트가 계산됨으로써, 상기 모션값은 상기 중첩 영역의 프레임 각각의 측면 에지를 향하여 증가된다(그리고 시야, 선택적으로 어안의 시야, 의 중심으로부터 멀어 지도록). 모션 그래디언트는 적어도 중첩 영역 또는 그 일부분에서 픽셀의 광학적 흐름(optical flow) 분석에 의해 선택적으로 연산된다.
각각의 중첩 영역 내의 각 프레임의 영역(들)은 조정된 프레임들의 세트를 생성하기 위해 각각의 축을 따른 모션 그래디언트에 따라 조정된다. 상기 영역들은 각각의 축을 따라 각각의 프레임의 측 방향 에지를 향하여 픽셀을 이동시킴으로써 조정될 수 있으며, 여기서 이동 강도는 모션 그래디언트에 따라 결정된다(픽셀이 에지에 가까울수록 이동 강도가 강하다. 이동에 따른 결과로 형성된 빈 픽셀은 선택적으로 그 값들의 보간에 의해, 예를 들어 이웃 픽셀들에 기초하여 채워질 수 있다. 조정된 프레임들은 파노라마 프레임으로 스티칭된다.
본 명세서에서 설명된 시스템 및 / 또는 방법은 다수의 시야각으로 캡쳐 된 프레임을 결합함으로써 파노라마 프레임이 생성될 때 공통 중심을 둘러싼 환경을 묘사하는 파노라마 프레임에서 이음매의 시인성을 감소시키는 방법에 대한 기술적인 해결책을 제공한다. 스티칭 된 프레임은 VR 파일의 프레임 일 수 있다. 이러한 VR 파일은 예를 들어 VR 비디오를 시청하기 위한 VR 헤드셋 내의 사용자에게 제공되는 가상 현실 시스템에서 사용될 수 있다. 서로 스티칭 되기 위해 획득된 프레임은 포커스, 노출, 화이트 밸런스와 같은 다른 시각 및 / 또는 다른 특성을 갖는 다른 카메라에 의해 캡처된다. 이미저가 사용하는 렌즈(예: 와이드 및 / 또는 어안 렌즈)는 배럴(barrel), 핀쿠션(pincushion) 및 비네트(vignette)와 같은 시각적 왜곡을 유발하여 프레임을 스티칭 할 때 추가 문제를 일으킬 수 있다. 이차적 기술 문제는 이음매의 시인성을 감소 시키거나 제거하는 방식으로 상이한 특성 및 방향 변경성(예를 들어, 고정 또는 조정 가능한 카메라의 작은 움직임)을 갖는 상이한 카메라에 의해 캡처된 프레임의 스티칭 일 수 있다. 눈에 보이는 이음매는 VR 비디오가 제공 할 수있는 자연스러운 느낌이나 실제 느낌을 감소시킵니다. 시청자의 불편함 및 어지러움을 유발하는 불일치, 비 수평시차(non-horizontal parallax) 의 제거 또는 감소에 의한 스티칭 왜곡(예를 들면, 왼쪽 및 오른쪽 파노라마 프레임에서 각각 왼쪽 눈과 오른쪽 눈으로 볼 수 있도록 설계됨) 및/또는 다른 아티팩트의 감소 또는 제거는 VR비디오를 향상시킨다.
여기에 기술된 시스템 및 방법은 수학적 연산(예를 들면, 프레임 중첩 영역의 추정, 모션 그래디언트(들)의 연산 및 프레임 스티칭)을 디지털 이미지를 처리하기 위한 프로세서의 어빌리티(예를 들면, 공통 중심 주위의 다중 시야각에서 획득되는 프레임을 파노라마 프레임으로 스티칭하는 것)에 결부시킨다.
여기에 기술된 시스템 및 방법은 공통 중심 주위에 장착된 이미저들에 의한 다중 시야각에서 획득되는 프레임의 처리와 관련된다. 새 데이터는 획득된 프레임을 함께 스티칭하여 파노라마 프레임의 형태로 생성된다. 파노라마 프레임은 메모리 장치에 저장될 수 있고, 선택적으로, 예를 들어 VT 헤드 기어를 장착한 사용자에게 재생될 수 있다. 파노라마 프레임은 다수의 인과적인 파노라마 프레임을 포함하는 비디오에 통합될 수 있다.
본 명세서에 설명된 시스템 및 / 또는 방법은, 예를 들어, 개선된 디지털 이미지를 생성하는데 더 적은 메모리 및 / 또는 연산 시간 개선을 통하여 컴퓨터의 성능을 향상시킨다.
따라서, 본 명세서에 설명된 시스템 및/또는 방법은 디지털 이미지 프로세싱에서 발생하는 실제 기술적 문제를 극복하기 위해 필연적으로 컴퓨터 기술에 뿌리를 두고 있다.
본 발명의 적어도 하나의 를 상세히 설명하기 전에, 본 발명은 그 응용에서 이하의 설명 및 / 또는 설명에 기재된 구성 요소 및 / 또는 방법의 구성 및 배열의 세부 사항 및 / 또는 도시된 도면으로 반드시 제한되지 않는다는 것을 이해하여야 한다. 본 발명은 다른 가 가능하거나 다양한 방법으로 실시되거나 수행될 수 있다.
본 발명은 시스템, 방법 및 / 또는 컴퓨터 프로그램 제품 일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 발명의 실시예들을 수행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령어들을 갖는 컴퓨터 판독 가능 저장 매체 (또는 매체)를 포함할 수 있다.
컴퓨터 판독 가능 저장 매체는 명령 실행 장치에 의한 동작을 위하여 명령을 보유하고 저장할 수 있는 유형의 장치 일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자 저장 장치, 자기 저장 장치, 광학 저장 장치, 전자기 저장 장치, 반도체 저장 장치 또는 이들의 임의의 적절한 조합 일 수 있다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예에 대한 한정적이지 않은 리스트는 휴대용 컴퓨터 디스켓, 하드 디스크, RAM, ROM(EPROM 또는 플래시 메모리), SRAM(Static Random Access Memory) CD-ROM, DVD, 메모리 스틱, 플로피 디스크 및 전술 한 것들의 적절한 조합일 수 있다. 본 명세서에서 사용된 컴퓨터 판독 가능 저장 매체는 그 자체가 전파 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파하는 전자기파(예를 들어, 광섬유 케이블을 통과하는 광 펄스) 또는 와이어를 통해 전송되는 전기 신호와 같은 일시적인 신호로 해석되어서는 안된다.본 명세서에 설명된 컴퓨터 판독 가능 프로그램 명령어는 네트워크, 인터넷, 근거리 통신망, 광역 통신망 및 / 또는 무선 네트워크와 같은 네트워크를 통해 컴퓨터 판독 가능 저장 매체 또는 외부 컴퓨터 또는 외부 저장 장치로부터의 컴퓨팅 / 처리 장치에 다운로드 될 수 있다. 네트워크는 구리 전송 케이블, 광전송 광섬유, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및 / 또는 에지 서버를 포함할 수 있다. 각각의 컴퓨팅 / 처리 장치 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고 각각의 컴퓨팅 / 프로세싱 장치 내의 컴퓨터 판독 가능 저장 매체에 저장하기 위해 컴퓨터 판독 가능 프로그램 명령을 전송한다.본 발명의 동작을 수행하기 위한 컴퓨터 판독 가능 프로그램 명령어는 어셈블러 명령어, 명령어 세트 아키텍처 (ISA) 명령어, 머신 명령어, 머신 의존 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 소스 코드 또는 객체 Smalltalk, C ++ 등과 같은 객체 지향 프로그래밍 언어 및 "C"프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차 형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 코드를 포함할 수 있다. 컴퓨터 판독 가능 프로그램 명령어는 부분적으로는 사용자의 컴퓨터상에서, 독립형 소프트웨어 패키지로서 부분적으로는 사용자의 컴퓨터상에서, 그리고 부분적으로는 원격 컴퓨터상에서 또는 전체적으로 원격 컴퓨터 또는 서버상에서 사용자의 컴퓨터상에서 전체적으로 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망 (LAN) 또는 광역 네트워크 (WAN), 또는 외부 컴퓨터와의 연결(예를 들어, 예를 들어, 인터넷 서비스 제공자를 사용하는 인터넷을 통해)을 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있다. 일부 에서, 예를 들어, 프로그램 가능 논리 회로, 필드 프로그래머블 게이트 어레이 (FPGA) 또는 프로그램 가능 논리 어레이 (PLA)를 포함하는 전자 회로는 본 발명의 실시예들을 수행하기 위하여 전자 회로를 개인화하기 위한 컴퓨터 판독 가능 프로그램 명령들의 상태 정보를 이용함으로써 컴퓨터 판독 가능 프로그램 명령들을 실행할 수 있다. 본 발명의 실시예들은 본 발명에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 / 또는 블록도를 참조하여 여기에서 설명된다. 흐름도 및 / 또는 블록도의 각 블록, 및 흐름도 및 / 또는 블록도의 블록들의 조합은 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음을 이해하여야 한다.
이들 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공되어 머신(machine)을 생성함으로써, 상기 명령어는 컴퓨터의 프로세서 또는 다른 프로그램 가능한 데이터 처리를 통해 실행되는 명령 흐름도 및 / 또는 블록도, 블록 또는 블록들에서 특정된 기능들/행위들을 구현하기 위한 수단을 생성한다. 이들 컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터, 프로그램 가능 데이터 처리 장치 및 / 또는 다른 장치가 특정 방식으로 기능하도록 지시 할 수 있는 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 흐름도 및 / 또는 블록도 블록 또는 블록들에서 특정된 기능/작용의 양상들을 구현하는 명령들을 구비한 제조 물품을 포함하는 컴퓨터 판독 가능 저장 매체는 그 안에 명령어를 저장한다.
컴퓨터 판독 가능 프로그램 명령은 또한 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 일련의 동작 단계가 수행되어 컴퓨터를 구동하는 다른 장치, 다른 프로그램 가능한 장치 또는 컴퓨터 구현 프로세스를 수행하는 다른 장치상에 로딩되어 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 실행되는 명령들이 흐름도 및 / 또는 블록도 블록 또는 블록들에서 특정된 기능들 / 행위들을 구현할 수 있다. 도면의 흐름도 및 블록도는 본 발명의 다양한 에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록 도의 각 블록은 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령어를 포함하는 모듈, 세그먼트 또는 명령어 부분을 나타낼 수 있다. 일부 다른 구현 예에서, 블록에서 언급된 기능은 도면에서 언급된 순서를 벗어나 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 상황에 따라 블록이 역순으로 실행될 수 있다. 또한, 블록도 및 / 또는 흐름도의 각 블록, 및 블록도 및 / 또는 흐름도의 블록의 조합은 특정 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있다는 것을 유의해야 한다.
이제 도 1을 참조하면, 도 1은 본 발명의 일실시예에 따라 다수의 시야각에서 캡처된 프레임을 파노라마 프레임으로 스티칭하는 방법의 흐름도이다. 이 방법은 최종 파노라마 프레임에서 스티칭 이음매의 가시성을 감소시키기 위해 모션 그라디언트의 값에 따라 프레임의 중첩 영역을 조정한다. 도 2를 참조하면, 도 2는 각각 공통 중심 영역 주위에서 다른 각도를 향하는 복수의 뷰잉 이미저(viewing imagers)를 사용하여 사용자가 공통의 중앙 영역을(적어도 부분적으로) 둘러싼 환경의 파노라마 프레임 또는 일련의 파노라마 프레임을 캡처 할 수 있게 하는 시스템 (200)의 구성 요소의 블록도이다. 사용자는 VR 헤드셋을 사용시 가상 현실 설정에서 재생할 비디오를 녹화할 수 있다. 청구항 1의 방법은 도 2의 시스템(200)에 의해 구현될 수 있다.
시스템 (200)은 예를 들면, 여기서 VR촬상 장치(예를 들어, VR 촬상 장치의 예시적인 하우징인 도3b 참조)로 언급되는 커스텀 디자인 유닛과 같은 이미저(212)에 의하여 하우징되는 컴퓨팅 유닛(202) 또는 하우징으로부터 분리된 이미저(212)를 포함하는 퍼스널 컴퓨터, 서버, 모바일 장치, 웨어러블 컴퓨터, 또는 다른 구현예시들을 포함한다. 컴퓨팅 유닛 (202)은 하나 이상의 프로세서(들)(204) 및 프로세서(들)(204)에 의하여 실행되는 코드 명령들을 저장하는 프로그램 저장부(206)를 포함한다. 명령들은 선택적으로 도 1에 기술된 방법을 구현한다. 프로세서(들)(204)은 예를들면, 프로세싱 유닛(들)(CPU) 하나 이상의 그래픽 처리 유닛(들)(GPU) FPGA(field programmable gate array), 디지털 신호 프로세서 및 ASIC(application specific integrated circuit)일 수 있다. 프로세서(들)는 병렬 처리, 클러스터 및 / 또는 하나 이상의 멀티 코어 처리 장치로 배열된 다중 프로세서(동종 또는 이종)를 포함하는 처리 장치의 일부일 수 있다.
프로그램 저장부(206)는 프로세서(204)에 의하여 실행되는 코드 명령들을 저장하며, 예를 들어, RAM, ROM, 및/또는 비 휘발성 메모리와 같은 저장 장치, 자기 매체, 반도체 메모리 장치, 하드 드라이브, 착탈식 저장 장치 및 광 미디어 (예 : DVD, CD-ROM)일 수 있다.
컴퓨팅 유닛(202)은 데이터 저장소(208)를 포함하거나 또는 데이터 저장소(208)와 연통되며, 예를들어 메모리, 저장 유닛, 하드 드라이브, 광디스크, 원격 저장 서버 및 / 또는 클라우드 서버(예를 들어, 네트워크 연결)일 수 있다. 데이터 저장소(208)는 미가공 수집 프레임을 저장 예를 들어, 미가공 프레임 저장소(208A)에 저장하거나, 여기에 설명된 시스템 및 / 또는 방법에 의해 조정된 프레임을 예를 들어, 조정 프레임 저장소(208B)에 저장하거나, 및/또는 생성된 파노라마 프레임을 예를 들어, 파노라마 프레임 저장소(208C)에 저장할 수 있다.
컴퓨팅 유닛(202)은 다수의 이미저들(212)(예를 들어, 디지털 카메라들) 각각으로부터 획득된 프레임들을 수신하기 위한 데이터 인터페이스(210)(예를 들어, 물리적, 가상 및 / 또는 소프트웨어 인터페이스)를 포함한다.
이미저(212)(예를 들어, 적색, 녹색, 청색(RGB) 이미저)는 주변을 묘사하는 복수개의 프레임 세트를 획득하기 위하여 배열되고, 선택적으로, 공통 중심 영역 주위로 선택적으로 적어도 180도, 360도(수평 및/또는 수직)를 나타내는 프레임 세트를 획득하도록 배열된다. 그 상세한 설명은 예를 들면, 도3a에 도시되어있다.
선택적으로, 이미저들(212)은, 예를 들어 VT 헤드셋을 사용시에 다른 눈에 제공될 수 있는 좌안 또는 우안용 프레임을 포착하도록 쌍을 이룬다. 이러한 실시예에서, 이미저들은 2 개의 그룹, 좌안 그룹 및 우안 그룹으로 분할될 수 있다. 좌안 그룹의 멤버는 짝수 번째 장소에 있고 우안 그룹의 멤버는 홀수 번째 장소에 있거나 또는 그 반대일 수 있다(장소가 공통 중심 지역을 둘러싼 원 안에 순차적으로 분산되어 있다고 가정함). 이러한 실시예에서, 좌안 그룹의 이미저에 의해 캡처된 프레임은 좌안 파노라마 이미지를 형성하도록 스티칭되고, 우안 그룹의 이미저에 의해 캡처된 프레임은 우안 파노라마 이미지를 형성하도록 스티칭된다. 좌안 파노라마 이미지 및 우안 파노라마 이미지 각각의 스티칭은, 예를 들어, 아래에 설명 된 바와 같이(중첩 영역은 그룹 멤버들에 의해 캡처된 프레임들 사이에 있음) 개별적으로 이루어진다. 좌안 파노라마 이미지와 우안 파노라마 이미지는 결합되어 입체 파노라마 이미지를 생성한다. 예를 들어, 도3a의 장치(304, 306)에서, 파선이 있는 직사각형은 좌안 그룹의 멤버 일 수 있고, 파선이 없는 직사각형은 우안 그룹의 멤버일 수 있다.
대안적 또는 추가적으로, 이미저(212)는 예를 들어 180도 극장 내에 투영되어 양 눈에 동시에 디스플레이되는 프레임들을 캡처한다.
이미저(212) 각각은 넓은 시야를 포착하도록 설계된 광각 렌즈, 예를 들어 어안(fish eye) 렌즈를 가질 수있다. 예시적인 이미저(212)는 수평으로 약 120도 및 수직으로 약 175도 또는 다른 시야각에 따라 캡처하는 초광각 및 / 또는 수직각 렌즈를 갖는 카메라이다.
이미저(212)의 개수는 설계된 환경(입체 파노라마 프레임이 생성되는 들에서 두 번)을 커버하도록 선택되고, 카메라들의 렌즈들에 의해 캡처 될 수 있는 시야에 기초하여, 4개 또는 8 개의 이미저, 10 개의 이미저, 16 개의 이미저 및 / 또는 임의의 중간 또는 다수의 이미저를 포함 할 수 있다.
이제 도3a를 참조하면, 도3a는 본 발명의 일실시예에 따라 이미저 (312)의 배열(예를 들어, 도 2를 참조하여 설명된 이미저(212)에 대응됨)에 대한 구현 예를 도시한다. 이미저(312)는 공통 중심(302) 주위에 장착된다. 이미저(312)는 다중 시야각에서 프레임을 획득하도록 배열된다. 프레임은 공통 센터(302)를 둘러싼 주변을 묘사하는 파노라마 프레임(여기에 설명 된 시스템 및 / 또는 방법을 사용하여 생성됨)으로 스티칭된다.
각각의 이미저 배열(304, 306)은 공통 중심(302) 주변의 360도를 커버하도록 배열된 8 개의 이미저(312)를 포함한다. 배열에 대한 구현예(304)는 사각형(또는 직사각형) 형태로 배열되며, 사각형(308)의 측면별로 좌안과 우안의 프레임을 포착하도록 쌍을 이루는 2 개의 이미저(312)를 포함한다. 또한, 도3b를 참조하면, 4쌍의 측면 이미지(1312)를 포함하는 커스텀 디자인 형태에서 모서리 부분이 생략된 예시적인 2차 하우징의 측면도이다. 커스텀 디자인 형태에서 각각의 이미저 쌍은 예시적인 2차 하우징의 또 다른 생략된 모서리에 배치된다. 배열에 대한 구현 예(306)은 원(310)(또는 타원) 형태에서 원주를 따라 이격 배열되는 이미저를 포함한다. 이미저(312)는 좌안 및 우안용 프레임을 캡처할 수 있다. 이와는 다른 배열 형태들이 사용될 수 있음은 본 발명의 기술사상에 포함된다 할 것이다.
본 발명의 일부 실시예에 따르면, 이미저들은 쌍으로 분할되며, 각각의 이미저 쌍은 입체 프레임을 포착하도록 설계된다. 이러한 에서, 파노라마 이미지를 생성하기 위하여 입체 프레임 쌍에서 중첩 영역이 식별되고 사용된다. 간략하게, 본 명세서에서 입체 프레임은 프레임으로 지칭되고, 입체 프레임을 캡처하도록 설계된 한 쌍의 이미저는 본 명세서에서 이미저라 칭한다. 예를 들어, 입체 프레임 캡처를 위한 이미저 쌍 배열을 가지는 VR촬상 장치가 사용되는데, 그 시야는 도3c에 도시된 바와 같다. 선택적으로, 한 쌍의 이미저 내의 각각의 이미저는 한 쌍의 이미저 중 다른 이미저 방향으로 기울어져 있으며, 예를 들어 그 다른 이미저의 광축을 향하여 기울어져있다. 예를 들어, 도3c 및 3d를 참조하면, 선택적으로, 광축의 타일링(tiling)은 공통 중심을 통과하는 축과 모든 이미저 시야의 모든 원점을 통과하는 가상 원상에서 각각의 이미저 시야의 원점의 각각의 접선을 통과하는 축과 관계가 있다. 선택적으로, 기울기는 20에서 30도 사이, 예를 들어 도3c에서 22도로 도시되어 있다. 이미저의 기울기는 시야 사이에서 중첩 영역을 감소시킨다. 이는 각각의 이미저가 쌍을 이루는 이미저를 향해 기울어진 배열을 도시한 도3c의 배열과, 각각의 이미저의 광축이 모든 이미저의 장착점(예를 들면 이미저 광축의 원점)을 거쳐 가상원의 반경이 연속하여 이어지도록 배열된 도3d의 다른 배열을 비교하면 알 수 있다. 도3c와 도3d를 비교하면, 이미저 시야의 교차점인 더 어두운 영역은 이미저의 광축이 앞서 설명한 바와 같이 기울어 져있을 때 더 크다는 것을 알 수 있다.구현 예(304, 306)는 이미저(312)가 평면을 따라 배열되는 실질적인 디스크 형상을 가질 수 있다. 다른 구현 에로는, 예를 들어 구 또는 반구 형태가 사용될 수 있다.
추가의 이미저(312)는 위 또는 아래를 향하도록 배치 될 수 있다(미도시).
컴퓨팅 유닛(202) 및 이미저(312)는 구현 예(304 및 / 또는 306)를 기초로 하는 케이스내에, 예를 들어 집에서 소비자가 사용할 수 있는 독립형 휴대 유닛으로서 하우징 될 수 있다.
이제 다시 도 2를 참조하면, 컴퓨팅 유닛(202)은 하나 이상의 외부 장치와 통신하고, 생성된 파노라마 프레임을 저장하거나 제공하기 위한(예: 비디오) 통신 인터페이스(214)(예를 들어, 물리적, 소프트웨어 및 / 또는 가상으로), 예를 들어 Wi-Fi ™ 모듈 또는 Bluetooth ™ 모듈을 포함한다. 예시적인 외부 장치는 개인용 디스플레이 장치(216)(예를 들어, VR 헤드셋), 향후 재생을 위해 비디오를 저장하는 저장 장치(218), 그리고 네트워크(222)를 통해 통신 될 수 있는 서버(220)(예를 들어, 웹 서버, 저장 서버, 비디오 서버)를 포함한다. 기록된 비디오는 예를 들어 프로젝터(미도시)에 의해 극장, 실내 또는 가정의 파노라마 스크린 상에 투영되거나 공개적으로 재생 될 수 있다.컴퓨팅 유닛(202)은(컴퓨팅 유닛(202)을 포함하는 하우징 내에 집적될 수 있고, 클라이언트 단말 상에 소프트웨어로서 구현 및 / 또는 파노라마 프레임을 디스플레이하는 디스플레이 장치의 일부로서 구현될 수 있는) 사용자 인터페이스(224), 예를 들어 터치 스크린, 키보드, 마우스 및 스피커 및 마이크를 사용하는 음성 활성화 소프트웨어가 포함된다. 사용자 인터페이스(224)는 사용자 입력에 기초하여 파노라마 프레임의 생성을 커스터마이징하기 위해 코드(예를 들어, 클라이언트 단말 및 / 또는 컴퓨팅 유닛(202)에 저장된)에 액세스할 수 있다. 본 발명의 일부 실시예에 따라, 이미저는 시차 왜곡(parallax distortion)의 감소뿐 아니라 이미지 정렬을 위한 카메라 교정 모델을 연산하기 위해 교정된다. 선택적으로, 카메라 교정 모델은 각각의 이미 저의 고유 파라미터, 예를 들어 주요 포인트 파라미터, 초점 거리 파라미터 및 / 또는 어안 왜곡 파라미터, 그리고 선택적으로 외부 파라미터에 기초하여 계산된다. 예를 들어, 고유 파라미터에는 어안 왜곡 파라미터가 포함될 수 있다.
사용함에 있어서, VR 촬상 장치가 회전되고 프레임 시퀀스를 캡처하는 동안 VR 촬상 장치의 이미저를 체스보드(chessboard) 패턴 앞에 위치시킴으로써 파라미터가 연산 될 수 있다.
프로세서(들)(204)를 사용하여 선택적으로 실행되는 카메라 교정 모델의 연산 동안, 예를 들어 패턴의 선형 최소 사모(linear least squares homography)를 검출함으로써 체스 보드 타일 패턴의 모서리가 검출된다. Gauss-Newton 방법은 위에서 설명한 이미저 파라미터와 체스보드의 여러 시야에 대해 감지된 동위상(homographies)을 산출하는 이미저의 회전 및 변환을 찾기 위해 적용될 수 있다. 자코비안(Jacobian) 매트릭스가 계산되고 평균 제곱 오차 법(a mean square error method)에 기초하여 품질 기준이 계산된다. 이를 통해 카메라 교정 모델을 연산하기 위한 각 장치의 외부 파라미터를 교정하고, 원거리 물체를 촬영하는 프레임에서 번들 조정 수단을 통해 상호 회전을 할 수 있다. 예를 들어, 외부 파라미터는 3D 공간(예를 들어, 기울기, 팬 및 롤)에서 각 이미저의 회전 각(예를 들어 광축 각)이다. 원거리 콘텐츠는 수평 방향으로 이격(스테레오 쌍)하여 동일한 방향을 지향하는 각각의 두 이미저 사이의 광학 흐름을 연산하여 감지 할 수 있다. 원거리 컨텐츠를 포함하는 프레임 쌍은 매우 낮은 시차를 가져야 한다. 동위상은 SIFT(scale-invariant feature transform) 프로세스 또는 SURF(fasted up robust feature) 프로세스를 사용하여 특징점을 매칭시킴으로써 검출 될 수 있다. 회전은 Levenerg-Macart 방법으로 찾을 수 있다. 자코비안 행렬은 수치적으로 근사화된다. 고유 파라미터는이 단계에서 변경되지 않을 수 있다. 교정은 이미저당 체스보드 패턴의 20 프레임을 사용하여 초기에 실행될 수 있다. 선택적으로, 저픽셀 재투영 에러를 보장하기 위해, 보정 모서리의 고픽셀 재투영 에러를 갖는 불명확한 프레임이 제거되어, 임계치를 초과하는 품질을 갖는 프레임만이 교정에 사용되도록 보장한다. 위에 설명한 바와 같이, 보정은 체커 보드 패턴 항목의 모서리에서 이루어진다. 선택적으로 보드가 움직이지 않는다고 가정한다면, (0, 0, 0)에서 시작하는 사각형이 있는 세계 좌표계(X-Y 평면)에서 고정 좌표로 유지된다. 번들 조정 알고리즘이 적용될 수 있다. 선택적으로 다음 의사 코드는 고유 파라미터를 연산하기 위해 반복적으로 프레임을 수집한다:
For each frame: when a chessboard is detected in the frame:
[RMS, K, DistortionCoeffs, rotation_vectors_of_cameras, translation_vectors_of_cameras]
= calibrate(board squares world-coordinates, board squares image coordinates in ALL image that were collected so far, fix the skew to 0)
if (calibration succeeded) AND (RMS < 3pix OR this is a first frame to image a chessboard) than update images collection with the current image
Finally, return the solution that comes out from all frames captured so far.
선택적으로 다음의 의사 코드가 외부 매개 변수를 계산하는 데 사용된다:
BEGIN
For each original distorted image:
1. Find distorted features.
2. For each feature (e.g. corners of the chess board) undistorted location is calculated using the distortion coefficients (from the intrinsic parameters).
3. Match all features (with undistorted feature point locations).
4. Solve extrinsic orientation using bundle adjustment on the match received from step 3.
5. Calculate root mean square (RMS) of a received solution to step 4 (optionally, a frame is added only when the RMS is above a threshold).
6. Rotate imagers so that a desired 'forward camera' rotation matrix is I3x3.
END
선택적으로, 2-5는 표준 컴퓨터 비전 루틴(standard computer vision routines)을 사용하여 교정 프로세스 중 연산된 각 이미저의 고유 매개 변수를 사용하여 실행된다.
선택적으로 이미저가 쌍으로 배열되면 각각의 이미저는 개별적으로 교정된다. 예를 들어, 8개의 이미저를 사용하는 경우 보정 프로세스는 4 개의 짝수(왼쪽) 이미저에서 실행된 다음 4개의 홀수(오른쪽) 이미저에서 실행된다. 0번째 이미저는 교정을 위해 홀수 이미저에 인위적이면서도 일시적으로 추가될 수 있다. 이러한 방식으로, 짝수 및 홀수 이미저는 공통된 시야를 가지게 된다.
이제 다시 도 1을 참조한다. 이 도면은 순차적으로 프레임들의 세트들을 반복하여 수신하는 프로세스를 설명한다. 각각의 프레임 세트는 예를 들어 도2에 도시 된 시스템 및 선택적으로 도3b에 도시된 배열 중 어느 하나를 사용하여, 선택적으로 공통 중심 주위에 장착된 복수의 이미 저에 의해 동시에 또는 실질적으로 동시(예를 들면, 사소한 기술적 시간 편차)에 캡처된 프레임을 포함한다. 이것은 사진으로 촬영한 파노라마 사진을 만들고 볼 수 있으며, 여러 시야각에서 찍은 이미지를 통해 물체를 탐색할 수 있는 복수의 순차적인 파노라마 프레임을 갖는 VR 파일을 생성하는 것을 허용한다. 파노라마 프레임 또는 이미지(상호교환적으로 사용됨)는 중심 영역을 둘러싼 환경을 문서화하여 시야(내부, 외부) 주위의 환경을 모방하고 장소 감각을 창출하며 시간에 따라 장소를 선택적으로 변경하는 VR 파노라마 프레임일 수 있다.
각각의 반복에서, 도면 부호 102로 도시된 바와 같이, 예를 들어 상술 한 바와 같이, 도 2에 도시된 바와 같은 시스템 및 / 또는 도3a에 도시된 배열을 사용하여, 다수의 시야각에서 한 세트의 프레임이 동시에 캡처된다(본 명세서에서 실질적으로 동시에 설명하기 위해 사용되는 용어는, 예를 들어, 1초 미만의 짧은 시간 편차임). 도면 부호 104에 도시 된 바와 같이, 각 프레임은 전처리 될 수 있다.
도면 부호 106에 도시된 바와 같이, 추정 중첩 영역은 이웃한 이미저에 의해 캡처된 프레임의 각 쌍에 대해 식별된다.
예를 들어 1에서 8의 이미저가 원 주위에 배치된 경우 이미저 1과 2에 의해 동시에 캡처된 한 쌍의 프레임, 이미저 1 및 2에 의해 동시에 캡처된 한 쌍의 프레임, 이미저 2 및 3에 의해 동시에 캡처된 한 쌍의 프레임, 이미저 3 및 4에 의해 동시에 캡처된 한 쌍의 프레임, 이미저 4 및 5에 의해 동시에 캡처된 한 쌍의 프레임들, 이미저 5 및 6에 의해 동시에 캡처된 한 쌍의 프레임, 이미저에 의해 동시에 캡처된 한 쌍의 프레임, 이미저 6 및 7에 의해 동시에 캡처된 한 쌍의 프레임, 이미저 7 및 8에 의해 동시에 캡처된 한 쌍의 프레임, 그리고 이미저 8 및 1에 의해 동시에 캡처된 한 쌍의 프레임에 대해 추정 중첩 영역이 식별된다. 추정 중첩 영역은 중심 영역을 둘러싸는 주변의 일부, 예를 들어 다른 이미저에 의해 동시에 캡처된 하나 이상의 다른 프레임에서 묘사된 상술한 중심 영역을 나타낸다. 선택적으로, 중첩 영역은 상술한 카메라 교정 모델을 사용하여 연산된다. 선택적으로 이웃한 이미저(예: VR 촬상 장치의 다른 이미저와 쌍을 이루는 VR 촬상 장치의 이미저는 다른 이미저보다 시계 방향 또는 반시계 방향으로 더 가까이 위치함)를 사용하여 캡처된 한 쌍의 프레임 사이의 중첩 영역의 가장자리 좌표는 다음과 같다.
1. 각각의 이미저의 고유 파라미터(예를 들어, 상술한 바와 같이 연산됨)에 기초하여 어안 정정 매트릭스(예를 들어, 모든 픽셀의 정정된 좌표를 명시한 룩업 테이블)를 연산한다.
2. 외부 파라미터(예를 들어, 상술한 바와 같이 연산됨)에 기초하여 이미 저의 팬(요우), 틸트(피치) 및 롤각(roll angle)에 따라 보정된 좌표로 프레임의 픽셀(하나 이상의 픽셀은 본 명세서에서 프레임 영역으로 언급됨)을 매핑하는 외부 카메라 교정 매트릭스를 계산한다.
3. 결합 매트릭스(예를 들어, 룩업 테이블)의 연산은 어안 교정 매트릭스 및 외부 카메라 교정 매트릭스를 결합함으로써 연산된다. 결합된 교정매트릭스는 어안 보정 및 원근 보정에 사용되며, 선택적으로 각 픽셀에 대한 위치 이동을 정의한다.
4. 각 픽셀이 광선 (예를 들어, 구형 반경) 및 / 또는 3D 벡터로 중심 영역에 연결되도록 한 쌍의 프레임을 구형에 투영한다.
5. 결합된 교정 매트릭스에 따라 광선 및 / 또는 3D 벡터를 보정한다.
6. 보정된 광선 및 / 또는 3D 벡터에 기초하여 중첩 영역을 식별함에 있어서, 한 쌍의 프레임의 보정된 광선이 비교되고 유사한 값을 갖는 광선(대략 "같은 방향의 점")이 중첩 영역을 정의한다.
도면 부호 108에 도시 된 바와 같이, 중첩 영역이 연산된 각 쌍 프레임의 중심 사이에서 시프트축, 예를 들어 각 쌍의 프레임의 중심을 가로 지르는 직선이 식별된다. 각 중심의 좌표는 선택적으로 각 프레임의 X 축의 중간 및 Y 축의 중간이 되도록 계산된다.
이제, 도면 부호 110에 도시 된 바와 같이, 각 시프트축을 따라 각각의 중첩 영역에 대한 모션 그래디언트가 계산된다. 모션 그래디언트는 연산된 전역적 및 / 또는 국부적 모션을 기반으로 픽셀 (들)값 이동에 부여된 가중치를 정의할 수있게 한다. 모션 그래디언트의 값은 중첩 영역의 측면 에지로부터의 거리 함수로 정의된다. 픽셀 또는 중첩 영역의 픽셀 클러스터가 중첩 영역의 측면 에지에 가까울수록 작은 동작을 나타내는 값이 할당됩니다. 이러한 방식으로, 모션 그래디언트값에 기초한 시프트 함수가 픽셀 (또는 중첩 영역의 에지 근처의 픽셀 클러스터)에 적용될 때, 해당 픽셀은 중첩 영역의 중심 또는 중첩 영역의 중심에보다 근접하여 위치한 다른 픽셀(또는 픽셀들의 다른 클러스터)보다 적게 시프트된다. 예를 들어, 최대 시프트(예를 들어, 중첩 영역의 중심으로부터 가장 먼 위치에 있는 픽셀)는 1 / n로 정의될 수 있는데, 여기서 n은 선택값에 대응되는 사용자 입력(예: 1과 100 사이)에 따라 선택된다. 예를 들어, n은 1과 100 사이에서 정의되어 100개의 프레임을 생성하고 사용자는 원하는 n 값을 선택할 수 있도록 각 프레임에 대해 투표한다. 이제, 도면부호 112에 도시된 바와 같이, 프레임 내의 중첩 영역이 각각의 모션 그래디언트에 기초하여 처리된다.
예를 들어 도 4를 참조하면, 도 4는 본 발명의 일부 실시예에 따라 스티칭을 위해 조정되는 이웃한 프레임(408A, 408B)을 획득한 이웃한 이미저의 두 개의 중심 (406) 사이에서 연장되는 추정 중첩 영역(402) 및 축(404)을 도식화 한 것이다.
도 4에서 중첩 영역 내에 있는 프레임 1(왼쪽의 408A)의 픽셀은 다음과 같이 모션 그라디언트를 사용하여 이동 시프트된다:
-
겹치는 영역의 왼쪽 경계선에 위치한 가장 왼쪽의 픽셀은 위치를 그대로 유지한다.
-
더 멀리있는 픽셀은 예를 들면, "n"값에 따라 가장 왼쪽 가장자리에서부터 더 멀리 이동할 수 있도록 이동된다.
프레임 2(오른쪽의 408B)의 픽셀은 중첩 영역의 에지로부터의 거리에 대한 유사한 의존성을 이용하여 반대 방향으로 시프트된다(본 실시예에서는 가장 오른쪽 에지). 이제, 도면부호 114에 도시된 바와 같이, 중첩 영역은 후처리(post-processed)된다. 선택적으로, 시프팅에 의해 형성된 홀(holes)은 예를들어, 이웃 픽셀의 규칙적인 보간에 기반하여 처리된다.
도면부호 116에서, 조정된 프레임은 적어도 부분적으로 공통 중심을 둘러싸는 환경을 묘사하는 파노라마 프레임으로 스티칭된다. 스티칭은 조정된 중첩 영역을 기반으로 한다. 파노라마 프레임은 공통 센터 주위의 환경을 묘사하는 구형(spherical) 파노라마 프레임 일 수 있다. 스티칭은 동일 발명자의 "파노라마 프레임을 생성하는 과정에서 프레임의 조정형 스티칭(adaptive stitching of frames in the process of creating a panoramic frame)"으로 공동 출원된 발명에 기술된 바와 같이 선택적으로 수행된다.
도면부호 118 및 120에 도시된 바와 같이, 도면부호 102 내지 116은 VR 파일을 생성하기 위하여, 순차적으로 캡처된 복수의 프레임 세트 각각의 프레임 쌍들의 상기 적어도 하나의 추정 중첩 영역들을 각각 조정하기 위하여 반복된다. 도면부호 122에 도시된 바와 같이, 이는 VR 파일을 출력하게 한다.
이제 도 5a 내지 도 5c를 참조하면, 도 5a 내지 도 5c는 도 1에 도시된 방법과 시스템(200)에 따라 다수의 시야각에서 이미저에 의해 캡처된 프레임이 파노라마 프레임 생성을 위해 스티칭되는 프로세스를 도식화한 예시적인 프레임이다. 도 5a는 이미저들(212)에 의해 획득된 예시적인 프레임들의 세트이다. 4개의 개별 프레임은 도3a의 구현예(304)에 묘사된 바와 같이 배치된 4 개의 다른 이미저(212)에 의해 획득된다. 네 개의 프레임(각 이미저의 대응되는 쌍의 다른 이미저 세트에 의하여 캡처됨)은 좌안 또는 우안에 사용될 수 있다. 도 5b는 도 1의 블록(104-114)을 참조하여 도 5a에 도시된 대응하는 프레임을 조정함으로써 생성된 조정 프레임을 도시한다. 도 5c는 도 1의 블록(116)을 참조하여 도 5b의 조정된 프레임을 스티칭(stitching)함으로써 생성된 파노라마 프레임을 도시한다.
본 발명의 다양한 실시예에 대한 설명은 설명의 목적으로 제공되었지만, 개시된 실시예에 한정적이거나 제한하려는 것은 아니다. 기술된 실시예의 범위 및 사상을 벗어나지 않고 당업자에게 많은 변형 및 변화가 가능함은 명백할 것이다. 여기에 사용된 용어는 실시예들의 원리, 시장에서 발견된 기술에 대한 실제 적용 또는 기술적 개선을 가장 잘 설명하거나 당업자가 여기에 개시된 를 이해할 수 있도록 선택되었다.
본 출원으로부터 특허 지속 기간 동안 많은 관련 이미저가 개발 될 것이며 프레임이라는 용어의 범위는 그러한 모든 신기술을 선험적으로 포함하려는 의도가 포함되어 있다.
여기에 사용된 바와 같이 "약(about)"이라는 말은 ±10%를 지칭한다.
"구비한다", "구비하는", "포함한다", "포함하는", "가진다"라는 용어들 및 그 활용어들은 "포함하지만 거기에 국한되지 않는다"는 것을 의미한다. 그 용어는 "~으로 이뤄진다" 및 "실질적으로 ~으로 이뤄진다"는 말을 포괄한다.
"실질적으로 ~으로 이뤄진다"는 말은 조성이나 방법이 추가 성분 및/또는 단계를 포함할 수 있다는 것이나, 그 추가되는 성분 및/또는 단계가 실질적으로 청구된 조성이나 방법의 기본적인 신규한 특징을 바꾸지 않을 때에만 그러하다.
여기 사용된 바와 같이, 단수형 표현은 관련 문맥이 명백히 다른 것을 지시하지 않는 한 복수형 표현들을 포함한다. 예를 들어 "화합물"이나 "적어도 한 개의 화합물"이라는 표현은 그들의 혼합물을 포함하는 복수의 화합물을 포함할 수 있다.
"전형적인"이라는 말은 여기에서 "예, 경우, 또는 예시로서 기능한다"는 것을 의미하기 위해 사용된다. "전형적"이라고 기술된 어떤 실시예가 반드시, 다른 실시예들에 비해 선호되거나 바람직한 것으로 해석되거나 다른 실시예들로부터 나온 특징의 병합을 배제하는 것은 아니다.
"선택적으로"라는 말은 여기서 "어떤 실시예들에서는 제공되지만 다른 실시예들에서는 제공되지 않는다"는 것을 의미하기 위해 사용된다. 본 발명의 어떤 특정 실시예는 복수의 "선택적인" 특징들이 저촉되지 않는 이상 그러한 특징들을 포함할 수 있다.
이 출원서 전체를 통해 본 발명의 다양한 실시예들은 범위의 형식으로 표현될 수 있다. 범위의 형식으로 된 서술은 단지 편의 및 간결함을 위한 것일 뿐 본 발명의 범위에 대한 융통성 없는 한계사항으로서 해석되어서는 안 될 것임을 알아야 한다. 따라서, 범위에 대한 서술은 모든 가능한 종속 범위들뿐 아니라 그 범위 안의 개별적 수치들까지 구체적으로 개시한 것으로 간주되어야 한다. 예를 들어, 1부터 6까지와 같은 범위에 대한 서술은 1부터 3까지, 1부터 4까지, 1부터 5까지, 2부터 4까지, 2부터 6까지, 3부터 6까지 등과 같은 종속 범위들뿐 아니라 그 범위 안의 개별 숫자들, 예컨대 1, 2, 3, 4, 5, 및 6을 특정하게 개시한 것으로 간주되어야 한다. 이것은 범위의 폭과 관계없이 적용된다.
여기에서 수적인 범위가 지시될 때마다, 그것은 지시된 범위 안의 어떤 인용된 수(분수나 정수)를 포함하는 것으로 되어 있다. "제1지시 수 및 제2지시 수 사이의 영역/범위" 및 "제1지시 수로부터" 제2지시 수까지의 영역/범위"라는 말은 여기에서 서로 바꿔 사용될 수 있으며, 제1 및 제2지시 수들을 포함하고 그 사이의 모든 분수 및 정수들을 포함하는 것으로 되어 있다.
명료성을 위해 별개의 실시예들과 관련해 기술된 본 발명의 소정 특징들은 한 개의 실시예에서 조합되어 제공될 수도 있다는 것을 예상할 수 있다. 반대로, 간결성을 위해 한 개의 실시예와 관련해 기술된 본 발명의 여러 특징들은 따로따로, 혹은 어떤 적절한 하위 조합을 통해서, 혹은 본 발명의 어떤 다른 기술된 실시예를 통해 적절하게 제공될 수도 있다. 여러 실시예들과 관련하여 기술된 소정 특징들은 그 실시예가 그 요소들 없이는 작동이 불가한 경우가 아니라면 그 실시예들의 필수적인 특징들로 간주되어서는 안 된다. 본 발명은 그에 대한 특정 실시예들과 함께 기술되었으나, 많은 치환, 수정 및 변경이 당업자에게 자명할 것이라는 것은 명백하다. 따라서, 첨부된 청구범위의 개념과 범위 안에 들어오는 그러한 모든 변형, 수정 및 변경들을 포괄하도록 의도된다.
각각의 개별 간행물, 특허 또는 특허 출원이 여기에 참조로서 포함되는 것으로 명시적이며 개별적으로 표시된 것과 같은 마찬가지로, 이 명세서에 언급된 모든 간행물, 특허 및 특허 출원은 그 전체가 참조로서 이 명세서 안에 포함된다. 또한, 본 출원의 어떤 참조에 대한 인용이나 식별은 그러한 참조가 본 발명의 선행 기술로서 이용 가능한 것이라는 것을 인정하는 것으로 해석되지 않아야 한다. 단락의 제목들이 사용되고 있는 한에 있어서는, 그들이 반드시 한정하는 것으로서 해석되지 않아야 한다.
202: 컴퓨팅 유닛
204: 프로세서
206: 프로그램 저장부
208: 데이터 저장소
208A: 미가공 프레임 저장소
208B: 조정 프레임 저장소
208C: 파노라마 프레임 저장소
210: 데이터 인터페이스
212: 이미저
214: 통신 인터페이스
216: 디스플레이 장치
218: 저장 장치
220: 서버
222: 네트워크
224: 사용자 인터페이스
204: 프로세서
206: 프로그램 저장부
208: 데이터 저장소
208A: 미가공 프레임 저장소
208B: 조정 프레임 저장소
208C: 파노라마 프레임 저장소
210: 데이터 인터페이스
212: 이미저
214: 통신 인터페이스
216: 디스플레이 장치
218: 저장 장치
220: 서버
222: 네트워크
224: 사용자 인터페이스
Claims (20)
- 공통 중심 주변에 장착된 복수의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화한 파노라마 프레임으로 스티칭하는 방법에 있어서,
공통 중심 영역 주변에 장착되어 상기 공통 중심을 둘러싼 환경을 이미지화하는 복수개의 이미저에 의하여 다중 시야각에서 캡처된 복수개의 프레임 세트를 수신하는 단계,
상기 복수개의 프레임들로부터 복수의 쌍의 이웃하는 프레임들에서 적어도 하나의 중첩 영역을 식별하는 단계에서, 상기 복수의 쌍의 이웃하는 프레임은 상기 복수개의 이미저에서 두개의 이미저에 의하여 거의 동일한 시간에 캡처된 프레임들을 각각 포함하고, 상기 두개의 이미저는 중첩되는 시야를 가지며, 상기 적어도 하나의 중첩 영역은:
상기 한 쌍의 이웃하는 프레임 각각의 중심을 연결하는 중심 연결 축을 식별하는 단계;
상기 한 쌍의 이웃하는 프레임들의 각각의 프레임에 대한 모션 그래디언트를 계산하고, 상기 모션 그래디언트의 값들은 각각의 상기 프레임의 측면 에지를 향해 증가하는 단계;
상기 중앙 연결 축을 따라 상기 모션 그래디언트로부터의 대응하는 값에 기초하여 상기 한쌍의 이웃하는 프레임들의 픽셀들을 상기 적어도 하나의 중첩 영역에 조정시키는 단계; 및
상기 한 쌍의 조정된 이웃한 프레임들을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화 한 파노라마 프레임으로 스티칭하는 단계를 포함하는 방법.
- 제1항에 있어서, 상기 파노라마 프레임은 좌안 파노라마 프레임이고, 상기 복수개의 이미저는 우안 파노라마 프레임에 결합된 복수개의 추가 프레임을 캡처하는 복수개의 추가 이미저와 서로 얽혀 있으며,
상기 우안 파노라마 프레임과 상기 좌안 파노라마 프레임을 합성하여 입체 프레임을 생성하는 단계를 더 포함하는 방법.
- 제2항에 있어서, 상기 복수의 이미저 및 상기 복수의 추가 프레임 멤버는 상기 공통 중심을 둘러싸는 가상 원을 따라 교대로 배치되는 방법.
- 제1항에 있어서, 상기 파노라마 프레임은 우안 파노라마 프레임이고, 상기 복수개의 이미저는 좌안 파노라마 프레임에 결합된 복수개의 추가 프레임을 캡처하는 복수개의 추가 이미저와 서로 얽혀 있으며;
상기 좌안 파노라마 프레임과 상기 우안 파노라마 프레임을 합성하여 입체 프레임을 생성하는 단계를 더 포함하는 방법.
- 제1항에 있어서, 상기 복수의 이미저들은 상기 공통 중심을 둘러싸는 가상 원을 따라 배치되고, 상기 복수의 이미저 각각은 그 광축이 상기 공통 중심 및 각각의 상기 이미저의 시야의 원점의 접선을 지나는 축에 대하여 기울어 지도록 장착되는 방법.
- 제1항에 있어서, 상기 파노라마 프레임은 상기 공통 중심 주위의 상기 환경을 이미지화하는 360도 구형 파노라마 프레임인 방법.
- 제6항에 있어서, 상기 파노라마 프레임은 입체 프레임을 포함하는 두 개의 프레임 중 하나의 프레임으로 사용되는 방법.
- 제1항에 있어서, 상기 방법은 상기 적어도 하나의 중첩 영역 각각을 복수의 순차적으로 캡처된 세트들 각각의 프레임에 조정시키기 위해 반복되는 방법.
- 제1항에있어서, 구형 골격 상에 상기 복수의 프레임들의 시각적 표현의 투영을 추정하는 단계를 더 포함하는 방법.
- 제1항에 있어서, 상기 적어도 하나의 중첩 영역은 상기 복수의 이미저 중 적어도 하나에 대해 정의된 적어도 하나의 교정 모델로부터의 파라미터를 이용하여 식별되는 방법.
- 제10항에 있어서, 상기 적어도 하나의 교정 모델은 주 포인트 파라미터, 초점 거리 파라미터 및 어안(fisheye) 왜곡 파라미터로 구성된 그룹 중 적어도 하나의 멤버에 따라 상기 다수의 이미저 각각에 대해 정의되는 방법.
- 제10항에 있어서, 상기 적어도 하나의 교정 모델은 상기 각각의 이미저의 이미지 평면의 대칭축에 따라 정의된 정정된 좌표로 픽셀의 좌표를 맵핑하는 어안 교정 매트릭스 및 외부 카메라 교정 매트릭스를 포함하는 방법.
- 제12항에 있어서, 상기 복수의 프레임들 각각에서, 상기 적어도 하나의 중첩 영역은 상기 어안 교정 매트릭스에 따라 생성 된 결합 매트릭스에 기초하여 계산되고, 상기 외부 카메라 교정 매트릭스는 자신을 구체에 투영함으로써 각각의 픽셀이 3차원 벡터가 되는 각각의 인과적인 2개의 프레임 사이를 중첩하는 상기 적어도 하나의 중첩 영역을 계산하고, 상기 3차원 벡터를 상기 결합된 전체 교정 매트릭스에 따라 정정하기 위한 결합 매트릭스에 결합되는 방법.
- 제1항에 있어서, 상기 복수의 이미저 각각은 어안 렌즈를 포함하는 카메라인 방법.
- 제1항에 있어서, 상기 복수의 이미저들 각각은 카메라-리그 교정(Camera-Rig Calibration)을 이용하여 교정되는 방법.
- 제1항에 있어서, 상기 조정시키는 단계는 상기 중첩 영역에 위치한 픽셀들을 상기 각각의 상기 축을 따라 상기 측면 에지쪽으로 이동시키는 단계를 포함하는 방법.
- 제 16 항에 있어서, 상기 이동에 따른 결과로 형성된 복수의 빈 픽셀을 보간으로 정정하는 단계를 더 포함하는 방법.
- 공통 중심 주변에 장착된 복수의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화한 파노라마 프레임으로 스티칭하는 시스템에 있어서,
공통 중심 영역 주변에 장착되어 상기 공통 중심을 둘러싼 환경을 시각화하는 복수개의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임 세트를 수신하는 인터페이스;
코드를 저장하는 코드 저장소;
상기 코드를 실행하는 프로세서는,
상기 각각의 복수개의 프레임들로부터 복수의 쌍의 이웃하는 프레임들에서 적어도 하나의 중첩 영역을 식별하는 단계에서, 상기 복수의 쌍의 이웃하는 프레임은 상기 복수개의 이미저에서 두개의 이미저에 의하여 거의 동일한 시간에 캡쳐된 프레임들을 각각 포함하고, 상기 두개의 이미저는 중첩 되는 시야를 가지며,
상기 적어도 하나의 중첩 영역은:
상기 한 쌍의 이웃하는 프레임 각각의 중심을 연결하는 중심 연결 축을 식별하는 단계;
상기 한 쌍의 이웃하는 프레임들의 각각의 프레임에 대한 모션 그래디언트를 계산하고, 상기 모션 그래디언트의 값들은 각각의 상기 프레임의 측면 에지를 향해 증가하는 단계;
상기 중앙 연결 축을 따라 상기 모션 그래디언트로부터의 대응하는 값에 기초하여 상기 한쌍의 이웃하는 프레임들의 픽셀들을 상기 적어도 하나의 중첩 영역에 조정시키는 단계; 및
상기 한 쌍의 조정된 이웃한 프레임들을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화 한 파노라마 프레임으로 스티칭하는 단계를 수행하는 시스템.
- 제18항에 있어서, 상기 복수의 이미저들은 가상 현실 영상 장치의 하우징의 측면에 장착되는 시스템.
- 공통 중심 주변에 장착된 복수의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 이미지화한 파노라마 프레임으로 스티칭하는 소프트웨어 프로그램 제품에 있어서,
비일시적인 컴퓨터 판독 가능 저장 매체;
공통 중심 영역 주변에 장착되어 상기 공통 중심을 둘러싼 환경을 시각화하는 복수개의 이미저에 의하여 다중 시야각에서 캡쳐된 복수개의 프레임 세트를 수신하는 제1프로그램 명령들;
상기 각각의 복수개의 프레임들로부터 복수의 쌍의 이웃하는 프레임들에서 적어도 하나의 중첩 영역을 식별하는 제2프로그램 명령들, 상기 복수의 쌍의 이웃하는 프레임은 상기 복수개의 이미저에서 두개의 이미저에 의하여 거의 동일한 시간에 캡쳐된 프레임들을 각각 포함하고, 상기 두개의 이미저는 중첩되는 시야를 가지며,
상기 적어도 하나의 중첩 영역 각각에 대해 다음을 수행하는 제3프로그램 명령들 :
상기 한 쌍의 이웃하는 프레임 각각의 중심을 연결하는 중심 연결 축을 식별하는 단계;
상기 한 쌍의 이웃하는 프레임들의 각각의 프레임에 대한 모션 그래디언트를 계산하고, 상기 모션 그래디언트의 값들은 각각의 상기 프레임의 측면 에지를 향해 증가하는 단계;
상기 중앙 연결 축을 따라 상기 모션 그래디언트로부터의 대응하는 값에 기초하여 상기 한쌍의 이웃하는 프레임들의 픽셀들을 상기 적어도 하나의 오버랩 영역에 조정시키는 단계; 및
상기 한 쌍의 조정된 이웃한 프레임들을 적어도 부분적으로 상기 공통 중심을 둘러싼 환경을 시각화 한 파노라마 프레임으로 스티칭하는 단계,
상기 제1, 제2 및 제3프로그램 명령들은 상기 비일시적인 컴퓨터 판독 가능 저장 매체로부터의 적어도 하나의 컴퓨터화 된 프로세서에 의해 실행되는 소프트웨어 프로그램 제품.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662274317P | 2016-01-03 | 2016-01-03 | |
| US201662274321P | 2016-01-03 | 2016-01-03 | |
| US62/274,321 | 2016-01-03 | ||
| US62/274,317 | 2016-01-03 | ||
| PCT/IL2016/051329 WO2017115349A1 (en) | 2016-01-03 | 2016-12-12 | Stitching frames into a panoramic frame |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180101165A true KR20180101165A (ko) | 2018-09-12 |
Family
ID=59224696
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187020220A KR20180111798A (ko) | 2016-01-03 | 2016-12-12 | 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭 |
| KR1020177032907A KR20180101165A (ko) | 2016-01-03 | 2016-12-12 | 파노라마 프레임으로의 프레임 스티칭 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187020220A KR20180111798A (ko) | 2016-01-03 | 2016-12-12 | 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10460459B2 (ko) |
| EP (2) | EP3398016A4 (ko) |
| JP (2) | JP2019511016A (ko) |
| KR (2) | KR20180111798A (ko) |
| CN (2) | CN107960121A (ko) |
| WO (2) | WO2017115349A1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200073989A (ko) * | 2018-12-14 | 2020-06-24 | 엑시스 에이비 | 파노라마 이미지화를 위한 시스템 |
| KR20200145643A (ko) * | 2019-06-21 | 2020-12-30 | 주식회사 쓰리아이 | 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 |
| WO2020256517A3 (ko) * | 2019-06-21 | 2021-05-20 | 주식회사 쓰리아이 | 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 |
| KR20210082027A (ko) * | 2019-12-24 | 2021-07-02 | 주식회사 쓰리아이 | 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 |
| US11715178B2 (en) | 2020-08-24 | 2023-08-01 | Samsung Electronics Co., Ltd. | Method and apparatus for generating image |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019511016A (ja) | 2016-01-03 | 2019-04-18 | ヒューマンアイズ テクノロジーズ リミテッド | フレームのパノラマフレームへのステッチング |
| EP3403403B1 (en) * | 2016-01-12 | 2023-06-07 | Shanghaitech University | Calibration method and apparatus for panoramic stereo video system |
| JP6545229B2 (ja) * | 2017-08-23 | 2019-07-17 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
| US11748952B2 (en) * | 2017-09-27 | 2023-09-05 | Intel Corporation | Apparatus and method for optimized image stitching based on optical flow |
| JP2019080174A (ja) * | 2017-10-25 | 2019-05-23 | 株式会社リコー | 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム |
| KR102025735B1 (ko) * | 2017-11-23 | 2019-09-26 | 전자부품연구원 | 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법 |
| GB2572956B (en) * | 2018-04-16 | 2021-09-08 | Sony Interactive Entertainment Inc | Calibration system and method |
| TWI678920B (zh) * | 2018-05-23 | 2019-12-01 | 宏碁股份有限公司 | 影片處理裝置、其影片處理方法及電腦程式產品 |
| CN108900817A (zh) * | 2018-08-23 | 2018-11-27 | 重庆加河科技有限公司 | 一种基于vr的教育实时监测系统 |
| KR20200081527A (ko) * | 2018-12-19 | 2020-07-08 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US10832377B2 (en) * | 2019-01-04 | 2020-11-10 | Aspeed Technology Inc. | Spherical coordinates calibration method for linking spherical coordinates to texture coordinates |
| CN211019015U (zh) * | 2019-03-25 | 2020-07-14 | 人眼科技有限公司 | 具有非共面传感器的成像装置 |
| US20220180491A1 (en) * | 2019-05-15 | 2022-06-09 | Ntt Docomo, Inc. | Image processing apparatus |
| CN112099616A (zh) * | 2019-06-17 | 2020-12-18 | 深圳市黑电科技有限公司 | 一种体控ar眼镜360度全视角实现方法、系统及ar眼镜 |
| CN114287126A (zh) * | 2019-08-22 | 2022-04-05 | 深圳市铂岩科技有限公司 | 视频处理方法和装置、存储介质和电子设备 |
| CN112927238B (zh) * | 2019-12-06 | 2022-07-01 | 四川大学 | 结合光流与分水岭分割的岩心序列图像标注方法 |
| GB2591278A (en) * | 2020-01-24 | 2021-07-28 | Bombardier Transp Gmbh | A monitoring system of a rail vehicle, a method for monitoring and a rail vehicle |
| CN111476716B (zh) * | 2020-04-03 | 2023-09-26 | 深圳力维智联技术有限公司 | 一种实时视频拼接方法和装置 |
| CN111738923B (zh) * | 2020-06-19 | 2024-05-10 | 京东方科技集团股份有限公司 | 图像处理方法、设备及存储介质 |
| CN112085814B (zh) * | 2020-09-07 | 2024-05-14 | 北京百度网讯科技有限公司 | 电子地图显示方法、装置、设备及可读存储介质 |
| CN112102307B (zh) * | 2020-09-25 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 全局区域的热度数据确定方法、装置及存储介质 |
| WO2022076934A1 (en) * | 2020-10-09 | 2022-04-14 | Arizona Board Of Regents On Behalf Of Arizona State University | Anti-tamper protection using dendrites |
| US20220253988A1 (en) * | 2021-02-05 | 2022-08-11 | Motorola Solutions, Inc. | Device, method and system for identifying objects in warped images from a fisheye camera |
| KR102431955B1 (ko) * | 2021-02-09 | 2022-08-18 | 브라이튼코퍼레이션 주식회사 | 비주얼콘텐츠 제작관리를 위한 비주얼콘텐츠 리뷰기능 제공방법 및 제공장치 |
| WO2024090674A1 (en) * | 2022-10-29 | 2024-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus for stitching frames of image comprising moving objects |
| CN116563186B (zh) * | 2023-05-12 | 2024-07-12 | 中山大学 | 一种基于专用ai感知芯片的实时全景感知系统及方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7259784B2 (en) * | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
| CA2531126A1 (en) * | 2003-06-16 | 2004-12-23 | Dynapix Intelligence Imaging Inc. | Segmentation and data mining for gel electrophoresis images |
| US7730406B2 (en) * | 2004-10-20 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Image processing system and method |
| WO2009013744A2 (en) * | 2007-07-23 | 2009-01-29 | Humaneyes Technologies Ltd. | Multi view displays and methods for producing the same |
| US10080006B2 (en) * | 2009-12-11 | 2018-09-18 | Fotonation Limited | Stereoscopic (3D) panorama creation on handheld device |
| WO2012052936A1 (en) | 2010-10-19 | 2012-04-26 | Humaneyes Technologies Ltd. | Methods and systems of generating an interlaced composite image |
| US9361717B2 (en) | 2010-10-19 | 2016-06-07 | Humaneyes Technologies Ltd. | Methods and systems of generating an interlaced composite image |
| US8818132B2 (en) * | 2010-11-29 | 2014-08-26 | Microsoft Corporation | Camera calibration with lens distortion from low-rank textures |
| US8581961B2 (en) * | 2011-03-31 | 2013-11-12 | Vangogh Imaging, Inc. | Stereoscopic panoramic video capture system using surface identification and distance registration technique |
| EP2695385B8 (en) * | 2011-04-08 | 2016-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Capturing panoramic or semi-panoramic 3d scenes |
| US10284776B2 (en) * | 2011-11-07 | 2019-05-07 | Sony Interactive Entertainment Inc. | Image generation apparatus and image generation method |
| JP2015156523A (ja) * | 2012-06-06 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| EP2860957B1 (en) * | 2012-06-11 | 2020-11-18 | Sony Interactive Entertainment Inc. | Image capturing device, image capturing method and computer-readable recording medium |
| CN104350734B (zh) | 2012-06-11 | 2017-12-12 | 索尼电脑娱乐公司 | 图像生成设备以及图像生成方法 |
| US9413930B2 (en) | 2013-03-14 | 2016-08-09 | Joergen Geerds | Camera system |
| US9451162B2 (en) * | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
| CN203632790U (zh) * | 2013-10-18 | 2014-06-04 | 中国民用航空总局第二研究所 | 一种可同时进行全景显示与局部查看的分布式联动系统 |
| EP3080986A4 (en) * | 2013-12-13 | 2017-11-22 | 8702209 Canada Inc. | Systems and methods for producing panoramic and stereoscopic videos |
| JP6224251B2 (ja) * | 2013-12-19 | 2017-11-01 | インテル コーポレイション | ボウル形状イメージングシステム |
| WO2015127535A1 (en) * | 2014-02-26 | 2015-09-03 | Searidge Technologies Inc. | Image stitching and automatic-color correction |
| US9196039B2 (en) | 2014-04-01 | 2015-11-24 | Gopro, Inc. | Image sensor read window adjustment for multi-camera array tolerance |
| JP2019511016A (ja) | 2016-01-03 | 2019-04-18 | ヒューマンアイズ テクノロジーズ リミテッド | フレームのパノラマフレームへのステッチング |
-
2016
- 2016-12-12 JP JP2017549069A patent/JP2019511016A/ja active Pending
- 2016-12-12 KR KR1020187020220A patent/KR20180111798A/ko unknown
- 2016-12-12 WO PCT/IL2016/051329 patent/WO2017115349A1/en active Application Filing
- 2016-12-12 EP EP16881395.4A patent/EP3398016A4/en not_active Withdrawn
- 2016-12-12 WO PCT/IL2016/051328 patent/WO2017115348A1/en active Application Filing
- 2016-12-12 CN CN201680023730.0A patent/CN107960121A/zh active Pending
- 2016-12-12 EP EP16881396.2A patent/EP3398163A4/en not_active Withdrawn
- 2016-12-12 US US15/560,495 patent/US10460459B2/en not_active Expired - Fee Related
- 2016-12-12 US US16/067,832 patent/US20190019299A1/en not_active Abandoned
- 2016-12-12 JP JP2018534905A patent/JP2019511024A/ja active Pending
- 2016-12-12 CN CN201680081415.3A patent/CN108700798A/zh active Pending
- 2016-12-12 KR KR1020177032907A patent/KR20180101165A/ko unknown
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200073989A (ko) * | 2018-12-14 | 2020-06-24 | 엑시스 에이비 | 파노라마 이미지화를 위한 시스템 |
| KR20200145643A (ko) * | 2019-06-21 | 2020-12-30 | 주식회사 쓰리아이 | 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 |
| WO2020256517A3 (ko) * | 2019-06-21 | 2021-05-20 | 주식회사 쓰리아이 | 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 |
| US12002260B2 (en) | 2019-06-21 | 2024-06-04 | 3I Inc. | Automatic topology mapping processing method and system based on omnidirectional image information |
| KR20210082027A (ko) * | 2019-12-24 | 2021-07-02 | 주식회사 쓰리아이 | 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 |
| US11715178B2 (en) | 2020-08-24 | 2023-08-01 | Samsung Electronics Co., Ltd. | Method and apparatus for generating image |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3398163A4 (en) | 2019-10-16 |
| EP3398163A1 (en) | 2018-11-07 |
| CN108700798A (zh) | 2018-10-23 |
| US20180063513A1 (en) | 2018-03-01 |
| JP2019511016A (ja) | 2019-04-18 |
| KR20180111798A (ko) | 2018-10-11 |
| EP3398016A4 (en) | 2019-08-28 |
| CN107960121A (zh) | 2018-04-24 |
| JP2019511024A (ja) | 2019-04-18 |
| WO2017115349A1 (en) | 2017-07-06 |
| US20190019299A1 (en) | 2019-01-17 |
| EP3398016A1 (en) | 2018-11-07 |
| US10460459B2 (en) | 2019-10-29 |
| WO2017115348A1 (en) | 2017-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180101165A (ko) | 파노라마 프레임으로의 프레임 스티칭 | |
| KR101944050B1 (ko) | 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링 | |
| KR102023587B1 (ko) | 카메라 리그 및 입체 이미지 캡쳐 | |
| JP6021541B2 (ja) | 画像処理装置及び方法 | |
| JP5456020B2 (ja) | 情報処理装置および方法 | |
| JP3944188B2 (ja) | 立体画像表示方法、立体画像撮像方法及び立体画像表示装置 | |
| RU2016141397A (ru) | Стерео-просмотр | |
| KR101912396B1 (ko) | 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법 | |
| JP4764624B2 (ja) | 立体視表示装置及び立体視用画像生成方法 | |
| EP2820593A1 (en) | Method and system for adaptive perspective correction of ultra wide-angle lens images | |
| US10631008B2 (en) | Multi-camera image coding | |
| RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
| US11812009B2 (en) | Generating virtual reality content via light fields | |
| CN105324791A (zh) | 坐标计算装置和方法、以及图像处理装置和方法 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| WO2018079283A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| US10122990B2 (en) | Imaging system and method of producing context and focus images | |
| WO2012176526A1 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
| JP7014175B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
| JP2012191380A (ja) | カメラ、画像変換装置、及び画像変換方法 | |
| KR101947799B1 (ko) | 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법 | |
| US20220122216A1 (en) | Generating and processing an image property pixel structure | |
| Ramachandrappa | Panoramic 360◦ videos in virtual reality using two lenses and a mobile phone |