KR102312471B1 - 입체 이미지 캡처 - Google Patents
입체 이미지 캡처 Download PDFInfo
- Publication number
- KR102312471B1 KR102312471B1 KR1020187037043A KR20187037043A KR102312471B1 KR 102312471 B1 KR102312471 B1 KR 102312471B1 KR 1020187037043 A KR1020187037043 A KR 1020187037043A KR 20187037043 A KR20187037043 A KR 20187037043A KR 102312471 B1 KR102312471 B1 KR 102312471B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- capture device
- image capture
- additional
- captured
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 49
- 238000013519 translation Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 6
- 230000014616 translation Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H04N5/23238—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
Abstract
어셈블리는 장면의 360도 입체 큐브맵 표현 이미지를 캡처하는 한 쌍의 이미지 캡처 장치를 포함한다. 컨트롤러는 어셈블리 내의 서로에 대한 이미지 캡처 장치의 배치에 의해 야기된 오류를 보정함으로써 장면의 표현을 생성한다. 컨트롤러는 이미지 캡처 장치로부터의 이미지를 회전시켜 이미지 내의 객체를 추가 이미지 캡처 장치로부터의 이미지 내의 객체와 정렬시킨다. 나아가, 컨트롤러는 추가 이미지 캡처 장치를 포함하는 이미지 캡처 장치로부터의 이미지의 일부를 추가 이미지 캡처 장치로부터의 이미지의 일부로 대체한다. 나아가, 컨트롤러는 이미지 캡처 장치 및 추가 이미지 캡처 장치가 캡처한 이미지 간의 수평 불일치 및 수직 불일치를 제거하기 위하여 광학 흐름을 사용한다.
Description
본 명세서는 일반적으로 가상 현실 시스템에 관한 것이고, 보다 구체적으로 가상 현실 시스템에 의한 표시를 위해 완전 스테레오 360도 이미지를 캡처하는 것에 관한 것이다.
가상 현실 시스템과 같이 완전 구면 360 x 180도 컨텐츠를 볼 수 있게 하는 장치의 수가 늘어나고 있다. 하지만, 이후의 표시를 위해 완전 입체(“스테레오”) 360 x 180도 비디오를 캡처하는 것은 여전히 어렵다. 완전 스테레오 360도 비디오를 캡처하기 위한 기존의 발표된 장치와 기술은 막대한 하드웨어 비용과 프로세스 시간을 가져서, 많은 애플리케이션을 위한 전체 스테레오 비디오 캡처를 비현실적으로 만든다.
본 발명의 내용 중에 포함되어 있다.
어셈블리는 각각 이미지 캡처 장치를 둘러싼 장면의 360도 스테레오 큐브맵 표현으로 표현되는 완전 구형 이미지를 캡처하도록 구성된 한 쌍의 이미지 캡처 장치를 포함한다. 이미지 캡처 장치 각각은 이미지 캡처 장치 각각에 의해 캡처되는 이미지를 수신하는 컨트롤러에 연결된다. 컨트롤러는 어셈블리에서 서로에 대한 이미지 캡처 장치의 배치로부터의 오류를 보정함으로써 장면의 표현을 생성한다. 컨트롤러는 이미지의 객체를 쌍 중 다른 이미지 캡처 장치로부터의 이미지의 객체와 정렬시키기 위하여 이미지 캡처 장치로부터의 이미지를 회전시킨다. 나아가, 컨트롤러는 쌍 중 다른 이미지 캡처 장치에 의하여 가려진 이미지 캡처 장치로부터의 장면의 이미지의 부분을 식별하고 식별된 부분을 다른 이미지 캡처 장치로부터 캡처된 장면의 이미지의 일부로 대체한다. 다양한 실시예에서, 컨트롤러는 광학 흐름을 사용하여 이미지 캡처 장치 각각에 의해 캡처된 이미지 간의 수평 불일치와 수직 불일치를 제거한다. 대안적으로, 이미지 캡처 장치 각각에 의해 캡처된 이미지는 횡등장방형(transverse equrect) 포맷 또는 큐브맵 표현으로 변환되어 상이한 이미지 캡처 장치에 의해 캡처된 이미지 간의 수평 및 수직 불일치를 제거한다.
본 발명에 따른 실시예들은 특히 시스템 및 방법에 관한 첨부된 청구항들에 개시되며, 가령 시스템과 같은 하나의 청구항 카테고리에 언급되는 임의의 특징은 또한 가령 방법, 저장 매체나 컴퓨터 프로그램 제품과 같은 다른 청구항 카테고리로 청구될 수 있다. 첨부된 청구항의 인용 또는 참조는 형식상의 이유를 위해 선택되었을 뿐이다. 하지만 임의의 선행 청구항으로의 의도적인 참조(특히 다중 인용)에서 야기되는 임의의 주제 또한 청구될 수 있어, 청구항 및 그 특징의 임의의 조합이 첨부된 청구항에서 선택된 인용에 관계 없이 개시되고 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구항에 나타난 바와 같은 특징의 조합뿐만 아니라 청구항의 특징의 다른 임의의 조합을 포함하는데, 청구항에 언급된 각 특징은 청구항의 임의의 다른 특징 또는 다른 특징의 조합과 조합될 수 있다. 나아가, 임의의 실시예와 본 명세서에 서술되거나 도시된 특징은 별개의 청구항 및/또는 임의의 실시예나 본 명세서에 서술되거나 도시된 특징과의 또는 첨부된 청구항의 임의의 특징과의 조합에 청구될 수 있다.
본 발명에 따른 일실시예에서, 시스템은:
연결 부재에 연결된 제1 이미지 캡처 장치;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치가 연결 부재와 평행한 동일 면에 있도록 연결 부재에 연결된 제2 이미지 캡처 장치; 및
이미지 캡처 장치 및 제2 이미지 캡처 장치에 연결된 컨트롤러를 포함하고,
제1 이미지 캡처 장치는 제1 이미지 캡처 장치 주위의 360도 시야의 이미지를 캡처하도록 구성되고,
제2 이미지 캡처 장치는 제2 이미지 캡처 장치 주위의 360도 시야의 이미지를 캡처하도록 구성되고,
컨트롤러는:
제1 이미지 캡처 장치가 캡처한 이미지를 수신하고;
제2 이미지 캡처 장치가 캡처한 추가 이미지를 수신하고;
제1 이미지 캡처 장치가 캡처한 이미지를 제2 이미지 캡처 장치가 캡처한 추가 이미지와 정렬시키고;
제1 이미지 캡처 장치가 캡처한 정렬된 이미지 및 제2 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하고;
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하도록 구성된다.
제1 이미지 캡처 장치가 캡처한 이미지를 제2 이미지 캡처 장치가 캡처한 추가 이미지와 정렬시키는 것은:
이미지가 제2 이미지 캡처 장치가 캡처한 추가 이미지와 평행한 좌표계에 있도록 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 것; 및
추가 이미지에 회전을 적용함으로써 추가 이미지의 회전된 버전이 이미지와 평행한 좌표계에 있도록 추가 이미지를 회전시키는 것을 포함할 수 있다.
제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 것은:
이미지를 큐브맵에 매핑하는 것;
추가 이미지를 추가 큐브맵에 매핑하는 것;
큐브맵 내의 특징 및 식별된 특징 각각에 대응하는 큐브맵 내의 위치를 식별하는 것;
큐브맵 내의 식별된 특징 각각에 대응하는 추가 큐브맵의 위치를 결정하는 것; 및
큐브맵 내의 특징의 위치 및 추가 큐브맵 내의 그 대응하는 위치의 최대량을 설명하는 변환을 결정하는 것을 포함할 수 있다.
변환은 회전 및 병진을 포함하고, 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 것은:
변환으로부터 회전을 추출하고 변환의 병진을 폐기하는 것을 더 포함할 수 있다.
제1 이미지 캡처 장치가 캡처한 이미지를 제2 이미지 캡처 장치가 캡처한 추가 이미지와 정렬시키는 것은:
로우 패스 필터로 이미지 및 추가 이미지의 회전된 버전을 블러하는 것을 더 포함할 수 있다.
제1 이미지 캡처 장치가 캡처한 이미지 및 제2 이미지 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하는 것은:
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치의 제1 이미지 캡처 장치가 캡처한 이미지를 식별하는 것;
참조면 뒤의 위치의 제2 이미지 캡처 장치가 캡처한 추가 이미지를 식별하는 것; 및
이미지와 추가 이미지를 교환하는 것을 포함할 수 있다.
제1 이미지 캡처 장치가 캡처한 이미지 및 제2 이미지 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하는 것은:
제1 이미지 캡처 장치가 캡처한 하나 이상의 이미지로부터 제2 이미지 캡처 장치가 캡처한 하나 이상의 추가 이미지로 및 제2 이미지 캡처 장치가 캡처한 하나 이상의 추가 이미지로부터 제1 캡처 장치가 캡처한 하나 이상의 이미지로의 밀도 광학 흐름을 계산하는 것; 및
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 것을 포함할 수 있다.
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 것은:
상수의 제1 이미지 캡처 장치에 대한 특정 깊이에서 상이한 위치에 대하여 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인의 절대값에 대한 비율인 인자만큼 이미지 및 추가 이미지 간의 수평 불일치를 증가시키기 위하여 계산된 밀도 광학 흐름에 기반하여 제1 이미지 캡처 장치가 캡처한 이미지를 흐르게 하는 것;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치에 대응하는 이미지의 일부를 참조면 뒤의 위치에 대응하는 추가 이미지의 일부와 교환하는 것을 포함할 수 있다.
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 것은:
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것을 포함할 수 있다.
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것은:
제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각의 특정 범위 내의 이미지의 위치에 대응하는 제1 이미지 캡처 장치가 캡처한 추가 이미지 내의 시작 위치를 식별하는 것;
추가 이미지 내의 시작 위치에 대응하는 제1 이미지 캡처 장치가 캡처한 이미지 내의 위치를 결정하는 것;
특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지 내의 종료 위치를 결정하는 것; 및
이미지 내의 위치 및 이미지 내의 종료 위치 사이의 픽셀을 재샘플링하고 재샘플링에 기반하여 위치 및 종료 위치 사이의 이미지 내의 선을 따라 픽셀을 채움으로써 이미지를 수정하는 것을 포함할 수 있다.
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것은:
특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지의 일부를 특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 추가 이미지의 일부로 대체하는 것을 포함할 수 있다.
본 발명에 따른 일실시예에서, 방법은:
연결 부재에 연결된 제1 이미지 캡처 장치로부터 이미지를 수신하는 단계;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치가 연결 부재와 평행한 동일 면에 있도록 연결 부재에 연결된 제2 이미지 캡처 장치로부터 추가 이미지를 수신하는 단계;
제1 이미지 캡처 장치로부터 수신한 이미지를 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 정렬시키는 단계;
제1 이미지 캡처 장치로부터 수신한 정렬된 이미지 및 제2 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계;
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 단계를 포함하고,
이미지는 제1 이미지 캡처 장치 주위의 360도 시야를 설명하고,
추가 이미지는 제2 이미지 캡처 장치 주위의 360도 시야를 설명한다.
제1 이미지 캡처 장치로부터 수신한 이미지를 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 정렬시키는 단계는:
이미지가 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 평행한 좌표계에 있도록 제1 이미지 캡처 장치로부터 수신한 이미지에 적용되는 회전을 결정하는 단계; 및
추가 이미지에 회전을 적용함으로써 추가 이미지의 회전된 버전이 이미지와 평행한 좌표계에 있도록 추가 이미지를 회전시키는 단계를 포함할 수 있다.
제1 이미지 캡처 장치로부터 수신한 이미지에 적용되는 회전을 결정하는 단계는:
이미지를 큐브맵에 매핑하는 단계;
추가 이미지를 추가 큐브맵에 매핑하는 단계;
큐브맵 내의 특징 및 식별된 특징 각각에 대응하는 큐브맵 내의 위치를 식별하는 단계;
큐브맵 내의 식별된 특징 각각에 대응하는 추가 큐브맵의 위치를 결정하는 단계; 및
큐브맵 내의 특징의 위치 및 추가 큐브맵 내의 그 대응하는 위치의 최대량을 설명하는 변환을 결정하는 단계를 포함할 수 있다.
변환은 회전 및 병진을 포함할 수 있고, 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 단계는:
변환으로부터 회전을 추출하고 변환의 병진을 폐기하는 단계를 더 포함할 수 있다.
제1 이미지 캡처 장치로부터 수신한 이미지를 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 정렬시키는 단계는:
로우 패스 필터로 이미지 및 추가 이미지의 회전된 버전을 블러하는 단계를 더 포함할 수 있다.
제1 이미지 캡처 장치로부터 수신한 이미지 및 제2 이미지 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계는:
제1 이미지 캡처 장치로부터 수신한 제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 이미지를 식별하는 단계;
제2 이미지 캡처 장치로부터 수신한 참조면 뒤의 위치의 추가 이미지를 식별하는 단계; 및
이미지와 추가 이미지를 교환하는 단계를 포함할 수 있다.
제1 이미지 캡처 장치로부터 수신한 이미지 및 제2 이미지 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계는:
제1 이미지 캡처 장치로부터 수신한 하나 이상의 이미지로부터 제2 이미지 캡처 장치로부터 수신한 하나 이상의 추가 이미지로 및 제2 이미지 캡처 장치로부터 수신한 하나 이상의 추가 이미지로부터 제1 캡처 장치로부터 수신한 하나 이상의 이미지로의 밀도 광학 흐름을 계산하는 단계; 및
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 단계를 포함할 수 있다.
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 단계는:
이미지 및 추가 이미지 간의 수평 불일치를 증가시키기 위하여 상수의 이미지 캡처 장치에 대한 특정 깊이에서 상이한 위치에 대하여 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인의 절대값에 대한 비율인 인자만큼 계산된 밀도 광학 흐름에 기반하여 제1 이미지 캡처 장치로부터 수신한 이미지를 흐르게 하는 단계;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치에 대응하는 이미지의 일부를 참조면 뒤의 위치에 대응하는 추가 이미지의 일부와 교환하는 단계를 포함할 수 있다.
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 단계는:
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 단계를 포함할 수 있다.
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 단계는:
특정 범위 내의 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지의 일부를 특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 추가 이미지의 일부로 대체하는 단계를 포함할 수 있다.
본 발명에 따른 실시예로, 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체는 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 실행시 동작가능한 소프트웨어를 포함할 수 있다.
본 발명에 따른 실시예로, 시스템은 하나 이상의 프로세서; 및 프로세서에 결합되며 프로세서에 의해 실행가능한 명령어들을 포함하는 적어도 하나의 메모리를 포함할 수 있으며, 상기 프로세서는 명령어들을 실행시 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 동작가능하다.
본 발명에 따른 실시예로, 바람직하게는 컴퓨터-판독가능한 비-일시적 저장 매체를 포함하는 컴퓨터 프로그램 제품이 데이터 처리 시스템에서 실행시 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 동작가능할 수 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일실시예에 따른 스테레오 이미지를 캡처하는 시스템의 예시이다.
도 2는 일실시예에 따른 이미지 캡처 장치와 추가 이미지 캡처 장치 간의 오정렬의 예시를 도시한다.
도 3은 일실시예에 따른 지면 상의 원을 따르는 점의 이미징 기하 구조의 예시를 도시한다.
도 4는 일실시예에 따른 이미지 캡처 장치와 추가 이미지 캡처 장치를 포함하는 수평면으로부터 특정 아래쪽 각도의 면을 따르는 수평 불일치의 변화와 수직 불일치의 변화를 도시한다.
도 5는 일실시예에 따른 이미지 캡처 장치에 의해 캡처된 이미지가 추가 아미지 캡처 장치를 포함할 때 수평 방위각의 범위를 도시한다.
도 6은 일실시예에 따른 수정된 이미지를 생성하기 위하여 이미지 캡처 장치에 의해 캡처된 이미지로부터 수평 불일치를 보정하는 개념도이다.
도면들은 단지 예로서 본 발명의 다양한 실시예들을 도시한다. 통상의 기술자는 후술할 설명으로부터 본 명세서에 설명되는 구조 및 방법의 대안적인 실시예가 본 명세서에 설명되는 발명의 원리로부터 벗어나지 않고 채용될 수 있음을 용이하게 인식할 것이다.
도 2는 일실시예에 따른 이미지 캡처 장치와 추가 이미지 캡처 장치 간의 오정렬의 예시를 도시한다.
도 3은 일실시예에 따른 지면 상의 원을 따르는 점의 이미징 기하 구조의 예시를 도시한다.
도 4는 일실시예에 따른 이미지 캡처 장치와 추가 이미지 캡처 장치를 포함하는 수평면으로부터 특정 아래쪽 각도의 면을 따르는 수평 불일치의 변화와 수직 불일치의 변화를 도시한다.
도 5는 일실시예에 따른 이미지 캡처 장치에 의해 캡처된 이미지가 추가 아미지 캡처 장치를 포함할 때 수평 방위각의 범위를 도시한다.
도 6은 일실시예에 따른 수정된 이미지를 생성하기 위하여 이미지 캡처 장치에 의해 캡처된 이미지로부터 수평 불일치를 보정하는 개념도이다.
도면들은 단지 예로서 본 발명의 다양한 실시예들을 도시한다. 통상의 기술자는 후술할 설명으로부터 본 명세서에 설명되는 구조 및 방법의 대안적인 실시예가 본 명세서에 설명되는 발명의 원리로부터 벗어나지 않고 채용될 수 있음을 용이하게 인식할 것이다.
시스템 구조
도 1은 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)를 포함하는 시스템(100)의 예시를 도시한다. 다양한 실시예에서, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)는 카메라, 비디오 카메라 또는 이미지 데이터를 캡처하도록 구성된 다른 장치이다. 도 1이 두 이미지 캡처 장치를 포함하는 시스템(100)을 도시하지만, 시스템(100)은 더 많은 수의 이미지 캡처 장치를 포함할 수 있다(예컨대, 4개의 이미지 캡처 장치, 8개의 이미지 캡처 장치 등).
도 1에 도시된 실시예에서, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)는 각각 연결 부재(130)에 연결되어 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)는 연결 부재(130)에 평행한 공통면에 있다. 하지만, 다른 실시예에서, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)는 임의의 적절한 배향 또는 구성을 사용하여 공통면에 있도록 구성된다. 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120) 모두 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)의 완전 360도 시야를 함께 커버하는 다수의 광각 또는 어안 렌즈를 포함한다.
이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)에 의해 캡처된 이미지는 이미지 캡처 장치(110)로부터의 이미지 및 추가 이미지 캡처 장치(120)로부터의 추가 이미지를 등장방형(equirectangular) 이미지로 조합하는 컨트롤러(140)로 통신된다. 보다 자세히 후술되는 바와 같이, 컨트롤러(140)은 또한 이미지 캡처 장치(110)로부터의 이미지를 추가 이미지 캡처 장치(120)로부터의 이미지와 조합할 때 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)로부터의 이미지를 프로세스하도록 구성될 수 있다. 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)로부터의 이미지의 컨트롤러(140)에 의한 프로세스는 기하학적 및 광도적으로 이미지 및 추가 이미지 정렬하기, 이미지 및 추가 이미지 간의 수직 불일치 제거하기 및 이미지 및 추가 이미지 간의 수평 불일치 평준화하기 중 하나 이상을 포함할 수 있다. 나아가, 컨트롤러(140)에 의한 프로세스는 이미지 및 추가 이미지의 영역을 교환할 수 있는데, 예컨대 뒤를 볼 때 사용자의 눈의 역전을 고려하거나 추가 이미지 및 이미지로부터 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)를 각각 제거하기 위함이다.
기하학적 정렬
이미지 캡처 장치(110) 또는 추가 이미지 캡처 장치(120)가 상이한 면에 있는 오정렬(예컨대, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)를 연결 부재(130)에 연결하는데 있어 오정렬) 또는 이미지 캡처 장치(110) 또는 추가 이미지 캡처 장치(120) 자체의 오정렬은 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)에 의해 캡처된 이미지의 스테레오 보기를 상이하게 만든다. 이미지 캡처 장치(110) 또는 추가 이미지 캡처 장치(120)의 상대적으로 작은 오정렬은 이미지 캡처 장치(110)로부터의 이미지 및 추가 이미지 캡처 장치(120)로부터의 추가 이미지의 스테레오 보기를 상이하게 만든다. 도 2는 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120) 간의 오정렬의 예시를 도시한다. 도 2의 예시에서, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120) 간의 오정렬은 이미지 캡처 장치(110)에 의해 캡처된 이미지의 객체(220)의 위치(210A)가 추가 이미지 캡처 장치(120)에 의해 캡처된 추가 이미지의 객체(220)의 위치(210B)와 상이하도록 야기한다. 이 오정렬을 보상하기 위하여, 컨트롤러(140)는 이미지 캡처 장치(110)에 의해 캡처된 이미지의 회전된 버전이 추가 이미지 캡처 장치(120)에 의해 캡처된 추가 이미지와 평행 좌표계에 있도록 이미지 캡처 장치(110)에 의해 캡처된 이미지에 적용할 회전을 결정한다. 예를 들어, 만약 이미지 캡처 장치(110)가 연결 부재(130)의 좌측에 위치한 카메라이고 추가 이미지 캡처 장치(120)가 연결 부재(130)의 우측에 위치한 추가 카메라이면, 컨트롤러(140)는 연결 부재(130)의 좌측에 위치한 카메라(즉, 이미지 캡처 장치(110))에 의해 캡처된 이미지가 연결 부재(130)의 우측에 위치한 카메라(즉, 추가 이미지 캡처 장치(120))에 의해 캡처된 이미지와 평행 좌표계에 있도록 연결 부재(130)의 좌측에 위치한 카메라에 의해 캡처된 이미지에 적용할 회전을 결정한다. 다른 실시예에서, 컨트롤러(140)는 추가 이미지 캡처 장치(120)에 의해 캡처된 추가 이미지에 적용할 회전을 결정하고, 추가 이미지의 회전된 버전이 이미지 캡처 장치(110)에 의해 캡처된 이미지와 평형 좌표계에 있도록 추가 이미지를 회전한다.
이미지(또는 추가 이미지)에 적용될 회전을 결정하기 위하여, 컨트롤러(140)는 이미지를 큐브맵에 매핑하고 추가 이미지를 추가 큐브맵에 매핑한다. 예를 들어, 이미지 및 추가 이미지가 등장방형 이미지이고, 컨트롤러(140)는 등장방형 이미지를 큐브맵에 매핑하고 등장방형 추가 이미지를 추가 큐브맵에 매핑한다. 이미지 및 추가 이미지를 큐브맵 및 추가 큐브맵에 각각 매핑하는 것은 로컬 왜곡을 감소시킨다.
컨트롤러(140)는 이어서 해리스 코너와 같은 특징을 이미지 캡처 장치(110)로부터의 이미지에 대응하는 큐브맵으로부터 식별하고, 추가 이미지 캡처 장치(120)로부터의 추가 이미지에 대응하는 추가 큐브맵에서 큐브맵으로부터 식별된 특징에 대응하는 위치를 결정한다. 예를 들어, 컨트롤러(140)는 코스 투 파인(coarse to fine) 루카스-카나데 검색을 수행함으로써 또는 임의의 다른 적절한 검색을 수행함으로써 큐브맵으로부터 식별된 특징의 큐브맵에서의 위치의 임계 거리 내의 추가 큐브맵에서의 위치를 식별한다. 큐브맵에서 식별된 특징의 위치 및 추가 큐브맵의 대응하는 위치(임의의 적절한 검색을 사용하여 결정됨)에 기반하여, 컨트롤러(140)는 변환을 결정하는데, 회전 및 병진 중 하나 이상을 포함하고, 식별된 큐브맵의 위치 및 추가 큐브맵의 그 대응하는 위치의 최대량(예컨대, 최대 수, 최대 퍼센티지)을 설명한다. 예를 들어, 컨트롤러(140)는 RANSAC를 사용하여 식별된 큐브맵에서 특징의 위치 및 추가 큐브맵에서 그 대응하는 위치의 최대량을 설명하는 변환을 식별한다. 식별된 변환이 병진을 포함할 때, 컨트롤러(140)는 식별된 변환으로부터 병진을 제거하고 식별된 변환으로부터의 회전을 이미지 캡처 장치(110)로부터의 이미지에 적용하여, 이미지 캡처 장치(110)로부터의 회전된 이미지가 추가 이미지 캡처 장치(120)로부터의 추가 이미지와 정렬되도록 한다. 다른 실시예에서, 컨트롤러(140)는 단순히 이미지에 적용되는 것이 아니고 추가 이미지에 적용되는 병진 및/또는 회전을 결정한다.
광도적
정렬
이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)에 의한 노출 차이 또는 불균등한 반응은 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)가 상이한 노출이나 게인을 가지는 장면의 이미지와 장면의 추가 이미지를 각각 캡처하게 야기한다. 상술한 이미지와 추가 이미지의 기하학적 정렬 후, 컨트롤러(140)는 이미지와 추가 이미지를 불일치 및 잔류한 기하학적 오정렬로부터의 작은 효과를 완화하는 255픽셀 폭 로우 패스 필터와 같은 로우 패스 필터로 흐리게 한다. 컨트롤러(140)는 그 후 각 픽셀의 각 색상 채널을 필터링된 추가 이미지에서 동일 색상 채널에 대한 필터링된 이미지에서 그 색상 채널의 비율로 곱함으로써 이미지 캡처 장치(110)가 캡처한 이미지의 각 색상 채널을 수정한다. 컨트롤러(140)가 이미지가 아닌 추가 이미지를 회전시키는 실시예에서, 컨트롤러(140)는 색상 채널의 각 픽셀을 색상 채널에서 필터링된 이미지에 대한 색상 채널에서 필터링된 추가 이미지의 비율로 곱함으로써 추가 이미지 캡처 장치(120)가 캡처한 추가 이미지의 각 색상 채널을 수정한다.
수평 및 수직 불일치 수정
이미지 캡처 장치(110)로부터의 이미지 및 추가 이미지 캡처 장치(120)로부터의 추가 이미지를 기하학적으로 정렬한 후, 수평 및 수직 불일치는 이미지와 추가 이미지 간에 잔류하는데 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120) 간의 오프셋 때문이다. 이미지와 추가 이미지 간의 수평 또는 수직 불일치는 이미지 캡처 장치(110) 또는 추가 이미지 캡처 장치(120)로부터 이미지 캡처 장치(110) 또는 추가 이미지 캡처 장치(120)에 의해 이미징된 장면의 점까지의 거리 및 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 간의 명백한 양안간 거리와 반비례한다. 명백한 양안간 거리는 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120) 간의 선의 법선으로부터 수평 방위각의 코사인으로 변화한다. 명백한 양안간 거리도 수평선 위 또는 아래의 수직 고도각에 따라 변한다.
도 3은 지면 상의 원(300)을 따르는 점의 이미징 기하 구조의 예시를 도시한다. 도 3에 도시된 바와 같이, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120) 바로 앞의 점(305)의 이미지는 수직 불일치를 가지지 않는데, 이미지 캡처 장치(110)의 초점 거리가 점(305)에 대한 추가 이미지 캡처 장치(120)의 초점 거리와 동일하기 때문이다. 하지만, 도 3의 예시는 이미지 캡처 장치(110)의 초점 거리와 추가 이미지 캡처 장치(120)의 초점 거리가 다를 때 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)와 연결된 선을 통해 수직면에 놓인 90도의 수직 방위각(315)에서 원(300) 상의 점(310)을 보여준다. 나아가, 도 3은 45도의 수직 방위각에서, 만약 원(300)의 반경(325)이 원(300)을 포함하는 지면 위의 이미지 캡처 장치(110)의 높이 및 추가 이미지 캡처 장치(120)의 높이와 동일하다면, 이미지 캡처 장치(110)의 수직 고도각(320A)과 수직 고도각(320B)은 1도보다 약간 크게 달라서, 사용자의 눈이 정렬할 수 없는 이미지 및 추가 이미지 간의 수직 불일치를 야기한다.
도 4는 이미지 캡처 장치(110)를 포함하는 수평면으로부터 특정 하향각에서 면을 따르는 이미지 캡처 장치(110)의 수평 불일치(410)의 변화, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)를 포함하는 수평면으로부터 특정 하향각에서 면을 따르는 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)의 수평 불일치(420) 및 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)를 포함하는 수평면으로부터 특정 하향각에서 면을 따르는 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)의 수직 불일치(430)를 도시한다. 고정된 깊이에서 일정 값으로 유지되는 수평 불일치를 가지는 것은 사용자가 수평 불일치로부터 더 쉽게 깊이 큐를 획득할 수 있게 한다. 도 4에 도시된 바와 같이, 특정 고도각에 대해, 수평 불일치는 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120) 바로 앞의 점에서 소정의 값(415)을 가지고, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)의 좌측 및 우측으로 90도에서 0으로 떨어지고, 이미지 캡처 장치(110) 및 추가 이미지 캡처 장치(120)의 참조면 바로 뒤의 점에서 소정의 값(415)의 역(417)을 가진다.
이미지 캡처 장치(110)의 뒤 및 추가 이미지 캡처 장치(120)의 뒤의 위치에 대한 수평 불일치의 소정의 값(415)을 가지기 위하여, 컨트롤러(140)는 이미지 캡처 장치(110)가 캡처한 이미지의 일부와 추가 이미지 캡처 장치(120)가 캡처한 추가 이미지의 일부를 교환한다. 도 4에 도시된 바와 같이, 이미지 캡처 장치(110) 뒤의 위치에 대하여, 수평 불일치는 이미지 캡처 장치(110)에 대한 소정의 값(415)의 역(417)이다. 추가 이미지 캡처 장치(120)의 참조면 앞의 위치의 이미지의 수평 불일치도 추가 이미지 캡처 장치(120)에 대한 소정의 값의 역이다. 따라서, 추가 이미지 캡처 장치(120)의 참조면 뒤의 위치의 이미지의 수평 불일치는 이미지 캡처 장치(110)의 수평 불일치의 소정의 값(415)을 가져서, 이미지 캡처 장치(110)의 참조면 뒤의 위치의 이미지를 추가 이미지 캡처 장치(120)의 참조면 뒤의 위치의 추가 이미지와 교환하는 것은 이미지 캡처 장치(110)의 참조면 뒤의 위치의 이미지가 이미지 캡처 장치(110)에 대한 수평 불일치의 소정의 값(415)을 가지거나, 이미지 캡처 장치(110)의 수평 불일치의 소정의 값을 더 가까이 근사하도록 야기한다. 앞선 교환도 추가 이미지 캡처 장치(120)의 참조면 뒤의 위치의 이미지가 추가 이미지 캡처 장치(120)에 대한 수평 불일치의 소정의 값을 가지거나, 추가 이미지 캡처 장치(120)에 대한 수평 불일치의 소정의 값을 더 가까이 근사하도록 한다.
컨트롤러(140)는 이미지로부터 추가 이미지로 및 추가 이미지로부터 이미지로의 밀도 광학 흐름을 계산함으로써 이미지 캡처 장치(110)로부터의 이미지와 추가 이미지 캡처 장치(120)로부터의 이미지 간의 수평 및 수직 불일치를 더 보정할 수 있다. 간격을 남기지 않고 이미지 및 추가 이미지를 흐르게 하기 위하여, 컨트롤러(140)는 반복적으로 이미지 및 추가 이미지의 각 픽셀로의 흐름 벡터를 검색한다(즉, 목적지로부터 소스의 흐름 매핑 수행). 다양한 실시예에서, 광학 흐름은 이미지 및 추가 이미지에 대해 결정되고, 따라서 각 픽셀을 얼마나 멀리 흐르게 하는지 결정한 후, 컨트롤러(140)는 절반 길이의 흐름을 사용하여 이미지 및 추가 이미지를 수정한다.
이미지 캡처 장치(110)로부터의 이미지 및 추가 이미지 캡처 장치(120)로부터의 추가 이미지 간의 수평 불일치를 더 보정하기 위하여, 특정 깊이에 대하여, 컨트롤러(140)는 초기에 특정 깊이에서 다른 위치에 대한 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인의 절대값에 대한 상수의 비율인 인자만큼 수평 불일치를 증가시키기 위하여 이미지를 흐르게 한다. 예를 들어, 만약 θ가 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각을 나타낸다면, 컨트롤러(140)는 이미지와 추가 이미지 간의 수평 불일치를 1/|cos(θ)|의 인자만큼 증가시키기 위하여 이미지를 흐르게 한다. 수평 불일치를 증가시킨 후, 컨트롤러(140)는 이미지 캡처 장치(110)의 참조면 뒤의 위치에 대응하는 이미지의 일부를 추가 이미지 캡처 장치(120)의 참조면 뒤의 위치에 대응하는 추가 이미지의 일부와 교환한다. 컨트롤러(140)는 이미지와 추가 이미지 간의 불일치를 보정하기 위하여 추가 이미지에 유사한 작업을 수행할 수 있다.
이미지 및 추가 이미지 간의 수직 왜곡을 상쇄하기 위하여, 컨트롤러(140)는 이미지 및 추가 이미지에 대한 광학 흐름 맵의 수직 컴포넌트를 반으로 나눈다. 컨트롤러(140)는 이미지의 픽셀로의 흐름 벡터를 검색할 때 이미지에 대한 광학 흐름 맵의 절반을 사용한다. 유사하게, 컨트롤러(140)는 추가 이미지의 픽셀로의 흐름 벡터를 검색할 때 추가 이미지에 대한 광학 흐름 맵의 절반의 역을 사용한다. 수직 왜곡에 대한 이러한 보상은 이어서 컨텐츠의 땅을 볼 때 이미지 및 추가 이미지로부터의 입체 컨텐츠를 시청하는 사용자의 눈의 부담을 감소시키며 더 작은 수직 불일치를 가지는 지평선 가까이의 입체 컨텐츠의 영역을 시청하기 쉽게 만든다.
이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 약 90도 또는 -90도일 때, 이미지 캡처 장치(110)가 캡처한 이미지는 추가 이미지 캡처 장치(120)를 포함하거나 추가 이미지 캡처 장치(120)가 캡처한 이미지는 이미지 캡처 장치(110)를 포함한다. 나아가, 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 약 90도 또는 -90도인 영역에서, 수평 불일치는 0으로 떨어진다(비록 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인에 대한 상수의 비율에 기반한 인자가 수평 불일치의 감소를 보상하기 위해 무한대로 향하는 경향이 있지만). 도 5는 이미지 캡처 장치(110)가 캡처한 이미지가 추가 이미지 캡처 장치(120)를 포함할 때 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 범위(510)를 도시한다. 유사하게, 도 5는 추가 이미지 캡처 장치(120)가 캡처한 이미지가 이미지 캡처 장치(110)를 포함할 때 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 추가 범위(520)도 도시한다.
상기 둘 모두 보상하기 위하여, 컨트롤러(140)는 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 범위 내에 있는 영역에 대해 추가 이미지 캡처 장치(120)가 캡처한 이미지 데이터를 이미지 캡처 장치(110)가 캡처한 이미지 데이터로 대체한다. 예를 들어, 컨트롤러(140)는 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 -100도보다 크고 -80도보다 작을 때 추가 이미지 캡처 장치(120)가 캡처한 이미지 데이터를 이미지 캡처 장치(110)가 캡처한 이미지 데이터로 대체한다. 유사하게, 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 대안적인 범위 내에 있는 영역에 대하여, 컨트롤러(140)는 이미지 캡처 장치(110)가 캡처한 이미지 데이터를 추가 이미지 캡처 장치(120)가 캡처한 이미지 데이터로 대체한다. 예를 들어, 컨트롤러(140)는 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 80도보다 크고 100도보다 작을 때 이미지 캡처 장치(110)가 캡처한 이미지 데이터를 추가 이미지 캡처 장치(120)가 캡처한 이미지 데이터로 대체한다. 나아가, 컨트롤러(140)는 수평 방위각이 범위 밖의 임계량인 위치(예컨대, 임계량만큼 -100도보다 작고 임계량만큼 -80보다 큰)에서 수평 불일치의 값을 샘플링함으로써 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 범위(예컨대 -100도보다 크고 -80도보다 작은) 내에 있는 영역에 걸친 수평 불일치를 선형으로 보간할 수 있다. 유사하게, 컨트롤러(140)는 수평 방위각이 범위 밖의 임계량인 위치(예컨대, 임계량만큼 80도보다 작고 임계량만큼 100보다 큰)에서 수평 불일치의 값을 샘플링함으로써 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각이 대안적인 범위(예컨대 80도보다 크고 100도보다 작은) 내에 있는 영역에 걸친 수평 불일치를 선형으로 보간한다.
도 6은 수정된 이미지(630)를 생성하기 위하여 수평 불일치를 보정하고 이미지 캡처 장치(110)가 캡처한 이미지(610)로부터 추가 이미지 캡처 장치(120)를 제거하는 개념도이다. 도 6의 예시에서, 수정된 이미지(630)의 영역(615)은 -80도와 -100도 사이의 이미지 캡처 장치(110)와 추가 이미지 캡처 장치(120) 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 범위에 대응하여, 컨트롤러(140)는 -80도와 -100도 사이의 수평 방위각에 대한 추가 이미지 캡처 장치(120)가 캡처한 이미지 데이터를 이미지 캡처 장치(110)가 캡처한 이미지 데이터로 대체함으로써 수정된 이미지(630)를 생성한다.
수정된 이미지를 생성하기 위하여, 컨트롤러(140)는 그 위치에서 대응하는 흐름을 찾기 위해 전술한 불일치 매핑을 반전시킴으로써 추가 이미지 캡처 장치(120)가 캡처한 추가 이미지(620)에서 -100도보다 작은 지정된 양의 수평 방위각을 가지는 수정된 이미지(630)의 위치에 대응하는 시작 위치를 식별한다. 컨트롤러(140)는 그 후 상술한 바와 같은 추가 이미지(620)로부터 이미지(610)로의 광학 흐름 맵을 사용하여 이미지(610)에서 추가 이미지(620)의 식별된 위치에 대응하는 위치를 결정한다. 나아가, 컨트롤러(140)는 전술한 불일치 매핑을 반전시킴으로써 이미지(610)에서 -80도보다 큰 지정된 양의 수평 방위각을 가지는 수정된 이미지(630)의 추가 위치에 대응하는 종료 위치를 식별한다. 컨트롤러(140)는 이어서 추가 이미지(620)에서 식별된 위치에 대응하는 이미지(610)의 위치 및 이미지(610)의 종료 위치 간의 픽셀을 재샘플링하고 수정된 이미지(630) 내의 위치 및 수정된 이미지(630) 내의 추가 위치 사이의 선을 따라 수정된 이미지(630)에 픽셀을 채운다.
다른 실시예에서, 컨트롤러(140)는 깊이에 기반하여 픽셀이 이미지 및 추가 이미지 사이에 얼마나 이동하는지를 가리키는 에피폴라 곡선이 매핑되어 수평선을 형성할 때 이미지 캡처 장치(110)로부터의 이미지 및 추가 이미지 캡처 장치(120)로부터의 추가 이미지를 “횡등장방형” 포맷으로 변환함으로써 수평 및 수직 불일치를 보상한다. 횡장방형 포맷에서, 컨트롤러(140)는 하나 이상의 스테레오 매칭 방법을 이미지 및 추가 이미지에 적용한다. 일부 실시예에서, 컨트롤러(140)는 가중치가 스테레오 매칭 신뢰도와 동일하여, 역 깊이를 야기하는 가중화된 푸시-풀 알고리즘도 적용한다. 대안적으로, 컨트롤러(140)는 등장방형 포맷으로 이미지 및 추가 이미지를 수신하고 이미지 및 추가 이미지를 큐브맵 표현으로 변환한다.
개요
본 발명의 실시예들에 대한 상기 설명은 설명의 목적으로 제공되고, 배타적이거나 개시된 정확한 형태들로 특허권을 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.
본 명세서의 일부는 실시예들을 정보에 대한 동작의 알고리즘 및 기호적 표현으로 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.
본 명세서에 설명된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
또한, 본 발명의 실시예들은 본 명세서의 동작들을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형(tangible)의 컴퓨터 판독가능한 저장 매체나 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
또한, 본 발명의 실시예들은 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생산된 제품에 관한 것일 수 있다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 발명의 요지를 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 특허권의 범위는 본 상세한 설명에 의해서가 아니라, 이에 근거하여 본 출원이 제출하는 임의의 청구범위에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 설명은 이전 개시에 기반한 출원에 연유한 청구범위에 의해 식별된 특허권의 범위의 예시가 되지만, 이에 제한되지는 않아야 한다.
Claims (35)
- 연결 부재에 연결된 제1 이미지 캡처 장치;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치가 연결 부재와 평행한 동일 면(common plane)에 있도록 연결 부재에 연결된 제2 이미지 캡처 장치; 및
이미지 캡처 장치 및 제2 이미지 캡처 장치에 연결된 컨트롤러를 포함하고,
제1 이미지 캡처 장치는 제1 이미지 캡처 장치 주위의 360도 시야의 이미지를 캡처하도록 구성되고,
제2 이미지 캡처 장치는 제2 이미지 캡처 장치 주위의 360도 시야의 이미지를 캡처하도록 구성되고,
컨트롤러는:
제1 이미지 캡처 장치가 캡처한 이미지를 수신하고;
제2 이미지 캡처 장치가 캡처한 추가 이미지를 수신하고;
제1 이미지 캡처 장치가 캡처한 이미지를 제2 이미지 캡처 장치가 캡처한 추가 이미지와 정렬시키고;
제1 이미지 캡처 장치가 캡처한 정렬된 이미지 및 제2 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하고;
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하도록 구성되고,
이미지를 정렬시키는 것은:
이미지가 제2 이미지 캡처 장치가 캡처한 추가 이미지와 평행한 좌표계에 있도록 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 것; 및
추가 이미지에 회전을 적용함으로써 추가 이미지의 회전된 버전이 이미지와 평행한 좌표계에 있도록 추가 이미지를 회전시키는 것을 포함하고,
적용되는 회전을 결정하는 것은:
이미지를 큐브맵에 매핑하는 것;
추가 이미지를 추가 큐브맵에 매핑하는 것;
큐브맵 내의 특징 및 식별된 특징 각각에 대응하는 큐브맵 내의 위치를 식별하는 것;
큐브맵 내의 식별된 특징 각각에 대응하는 추가 큐브맵의 위치를 결정하는 것; 및
큐브맵 내의 특징의 위치 및 추가 큐브맵 내의 그 대응하는 위치의 최대량을 설명하는 변환을 결정하는 것을 포함하는 시스템. - 삭제
- 삭제
- 청구항 1에 있어서,
변환은 회전 및 병진을 포함하고, 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 것은:
변환으로부터 회전을 추출하고 변환의 병진을 폐기하는 것을 더 포함하는 시스템. - 청구항 1에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지를 제2 이미지 캡처 장치가 캡처한 추가 이미지와 정렬시키는 것은:
로우 패스 필터로 이미지 및 추가 이미지의 회전된 버전을 블러하는 것을 더 포함하는 시스템. - 청구항 1에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지 및 제2 이미지 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하는 것은:
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치의 제1 이미지 캡처 장치가 캡처한 이미지를 식별하는 것;
참조면 뒤의 위치의 제2 이미지 캡처 장치가 캡처한 추가 이미지를 식별하는 것; 및
이미지와 추가 이미지를 교환하는 것을 포함하는 시스템. - 청구항 1에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지 및 제2 이미지 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하는 것은:
제1 이미지 캡처 장치가 캡처한 하나 이상의 이미지로부터 제2 이미지 캡처 장치가 캡처한 하나 이상의 추가 이미지로 및 제2 이미지 캡처 장치가 캡처한 하나 이상의 추가 이미지로부터 제1 캡처 장치가 캡처한 하나 이상의 이미지로의 밀도 광학 흐름을 계산하는 것; 및
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 것을 포함하는 시스템. - 청구항 7에 있어서,
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 것은:
상수의 제1 이미지 캡처 장치에 대한 특정 깊이에서 상이한 위치에 대하여 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인의 절대값에 대한 비율인 인자만큼 이미지 및 추가 이미지 간의 수평 불일치를 증가시키기 위하여 계산된 밀도 광학 흐름에 기반하여 제1 이미지 캡처 장치가 캡처한 이미지를 흐르게 하는 것;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치에 대응하는 이미지의 일부를 참조면 뒤의 위치에 대응하는 추가 이미지의 일부와 교환하는 것을 포함하는 시스템. - 청구항 1에 있어서,
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 것은:
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것을 포함하는 시스템. - 청구항 9에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것은:
제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각의 특정 범위 내의 이미지의 위치에 대응하는 제1 이미지 캡처 장치가 캡처한 추가 이미지 내의 시작 위치를 식별하는 것
추가 이미지 내의 시작 위치에 대응하는 제1 이미지 캡처 장치가 캡처한 이미지 내의 위치를 결정하는 것;
특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지 내의 종료 위치를 결정하는 것; 및
이미지 내의 위치 및 이미지 내의 종료 위치 사이의 픽셀을 재샘플링하고 재샘플링에 기반하여 위치 및 종료 위치 사이의 이미지 내의 선을 따라 픽셀을 채움으로써 이미지를 수정하는 것을 포함하는 시스템. - 청구항 9에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것은:
특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지의 일부를 특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 추가 이미지의 일부로 대체하는 것을 포함하는 시스템. - 연결 부재에 연결된 제1 이미지 캡처 장치로부터 이미지를 수신하는 단계;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치가 연결 부재와 평행한 동일 면에 있도록 연결 부재에 연결된 제2 이미지 캡처 장치로부터 추가 이미지를 수신하는 단계;
제1 이미지 캡처 장치로부터 수신한 이미지를 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 정렬시키는 단계;
제1 이미지 캡처 장치로부터 수신한 정렬된 이미지 및 제2 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계;
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 단계를 포함하고,
이미지는 제1 이미지 캡처 장치 주위의 360도 시야를 설명하고,
추가 이미지는 제2 이미지 캡처 장치 주위의 360도 시야를 설명하고,
이미지를 정렬시키는 단계는:
이미지가 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 평행한 좌표계에 있도록 제1 이미지 캡처 장치로부터 수신한 이미지에 적용되는 회전을 결정하는 단계; 및
추가 이미지에 회전을 적용함으로써 추가 이미지의 회전된 버전이 이미지와 평행한 좌표계에 있도록 추가 이미지를 회전시키는 단계를 포함하고,
적용되는 회전을 결정하는 단계는:
이미지를 큐브맵에 매핑하는 단계;
추가 이미지를 추가 큐브맵에 매핑하는 단계;
큐브맵 내의 특징 및 식별된 특징 각각에 대응하는 큐브맵 내의 위치를 식별하는 단계;
큐브맵 내의 식별된 특징 각각에 대응하는 추가 큐브맵의 위치를 결정하는 단계; 및
큐브맵 내의 특징의 위치 및 추가 큐브맵 내의 그 대응하는 위치의 최대량을 설명하는 변환을 결정하는 단계를 포함하는 방법. - 삭제
- 삭제
- 청구항 12에 있어서,
변환은 회전 및 병진을 포함하고, 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 단계는:
변환으로부터 회전을 추출하고 변환의 병진을 폐기하는 단계를 더 포함하는 방법. - 청구항 12에 있어서,
제1 이미지 캡처 장치로부터 수신한 이미지를 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 정렬시키는 단계는:
로우 패스 필터로 이미지 및 추가 이미지의 회전된 버전을 블러하는 단계를 더 포함하는 방법. - 청구항 12에 있어서,
제1 이미지 캡처 장치로부터 수신한 이미지 및 제2 이미지 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계는:
제1 이미지 캡처 장치로부터 수신한 제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치의 이미지를 식별하는 단계;
제2 이미지 캡처 장치로부터 수신한 참조면 뒤의 위치의 추가 이미지를 식별하는 단계; 및
이미지와 추가 이미지를 교환하는 단계를 포함하는 방법. - 청구항 12에 있어서,
제1 이미지 캡처 장치로부터 수신한 이미지 및 제2 이미지 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계는:
제1 이미지 캡처 장치로부터 수신한 하나 이상의 이미지로부터 제2 이미지 캡처 장치로부터 수신한 하나 이상의 추가 이미지로 및 제2 이미지 캡처 장치로부터 수신한 하나 이상의 추가 이미지로부터 제1 캡처 장치로부터 수신한 하나 이상의 이미지로의 밀도 광학 흐름을 계산하는 단계; 및
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 단계를 포함하는 방법. - 청구항 18에 있어서,
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 단계는:
상수의 이미지 캡처 장치에 대한 특정 깊이에서 상이한 위치에 대하여 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인의 절대값에 대한 비율인 인자만큼 이미지 및 추가 이미지 간의 수평 불일치를 증가시키기 위하여 계산된 밀도 광학 흐름에 기반하여 제1 이미지 캡처 장치로부터 수신한 이미지를 흐르게 하는 단계;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치에 대응하는 이미지의 일부를 참조면 뒤의 위치에 대응하는 추가 이미지의 일부와 교환하는 단계를 포함하는 방법. - 청구항 12에 있어서,
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 단계는:
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 단계를 포함하는 방법. - 청구항 20에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 단계는:
특정 범위 내의 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지의 일부를 특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 추가 이미지의 일부로 대체하는 단계를 포함하는 방법. - 연결 부재에 연결된 제1 이미지 캡처 장치;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치가 연결 부재와 평행한 동일 면에 있도록 연결 부재에 연결된 제2 이미지 캡처 장치; 및
이미지 캡처 장치 및 제2 이미지 캡처 장치에 연결된 컨트롤러를 포함하고,
제1 이미지 캡처 장치는 제1 이미지 캡처 장치 주위의 360도 시야의 이미지를 캡처하도록 구성되고,
제2 이미지 캡처 장치는 제2 이미지 캡처 장치 주위의 360도 시야의 이미지를 캡처하도록 구성되고,
컨트롤러는:
제1 이미지 캡처 장치가 캡처한 이미지를 수신하고;
제2 이미지 캡처 장치가 캡처한 추가 이미지를 수신하고;
제1 이미지 캡처 장치가 캡처한 이미지를 제2 이미지 캡처 장치가 캡처한 추가 이미지와 정렬시키고;
제1 이미지 캡처 장치가 캡처한 정렬된 이미지 및 제2 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하고;
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하도록 구성되고,
이미지를 정렬시키는 것은:
이미지가 제2 이미지 캡처 장치가 캡처한 추가 이미지와 평행한 좌표계에 있도록 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 것; 및
추가 이미지에 회전을 적용함으로써 추가 이미지의 회전된 버전이 이미지와 평행한 좌표계에 있도록 추가 이미지를 회전시키는 것을 포함하고,
적용되는 회전을 결정하는 것은:
이미지를 큐브맵에 매핑하는 것;
추가 이미지를 추가 큐브맵에 매핑하는 것;
큐브맵 내의 특징 및 식별된 특징 각각에 대응하는 큐브맵 내의 위치를 식별하는 것;
큐브맵 내의 식별된 특징 각각에 대응하는 추가 큐브맵의 위치를 결정하는 것; 및
큐브맵 내의 특징의 위치 및 추가 큐브맵 내의 그 대응하는 위치의 최대량을 설명하는 변환을 결정하는 것을 포함하고,
선택적으로 변환은 회전 및 병진을 포함하고, 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 것은:
변환으로부터 회전을 추출하고 변환의 병진을 폐기하는 것을 더 포함하는 시스템. - 삭제
- 삭제
- 청구항 22에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지를 제2 이미지 캡처 장치가 캡처한 추가 이미지와 정렬시키는 것은:
로우 패스 필터로 이미지 및 추가 이미지의 회전된 버전을 블러하는 것을 더 포함하는 시스템. - 청구항 22 또는 청구항 25에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지 및 제2 이미지 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하는 것은:
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치의 제1 이미지 캡처 장치가 캡처한 이미지를 식별하는 것;
참조면 뒤의 위치의 제2 이미지 캡처 장치가 캡처한 추가 이미지를 식별하는 것; 및
이미지와 추가 이미지를 교환하는 것을 포함하는 시스템. - 청구항 22 또는 청구항 25에 있어서,
제1 이미지 캡처 장치가 캡처한 이미지 및 제2 이미지 캡처 장치가 캡처한 추가 이미지 간의 수평 불일치를 균등화하는 것은:
제1 이미지 캡처 장치가 캡처한 하나 이상의 이미지로부터 제2 이미지 캡처 장치가 캡처한 하나 이상의 추가 이미지로 및 제2 이미지 캡처 장치가 캡처한 하나 이상의 추가 이미지로부터 제1 캡처 장치가 캡처한 하나 이상의 이미지로의 밀도 광학 흐름을 계산하는 것; 및
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 것을 포함하고,
선택적으로 계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 것은:
이미지 및 추가 이미지 간의 수평 불일치를 증가시키기 위하여 상수의 제1 이미지 캡처 장치에 대한 특정 깊이에서 상이한 위치에 대하여 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인의 절대값에 대한 비율인 인자만큼 계산된 밀도 광학 흐름에 기반하여 제1 이미지 캡처 장치가 캡처한 이미지를 흐르게 하는 것;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치에 대응하는 이미지의 일부를 참조면 뒤의 위치에 대응하는 추가 이미지의 일부와 교환하는 것을 포함하는 시스템. - 청구항 22 또는 청구항 25에 있어서,
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 것은:
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것을 포함하고,
선택적으로 제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것은:
제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각의 특정 범위 내의 이미지의 위치에 대응하는 제1 이미지 캡처 장치가 캡처한 추가 이미지 내의 시작 위치를 식별하는 것
추가 이미지 내의 시작 위치에 대응하는 제1 이미지 캡처 장치가 캡처한 이미지 내의 위치를 결정하는 것;
특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지 내의 종료 위치를 식별하는 것; 및
이미지 내의 위치 및 이미지 내의 종료 위치 사이의 픽셀을 재샘플링하고 재샘플링에 기반하여 위치 및 종료 위치 사이의 이미지 내의 선을 따라 픽셀을 채움으로써 이미지를 수정하는 것을 포함하고; 및/또는
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 것은:
특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지의 일부를 특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 추가 이미지의 일부로 대체하는 것을 포함하는 시스템. - 연결 부재에 연결된 제1 이미지 캡처 장치로부터 이미지를 수신하는 단계;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치가 연결 부재와 평행한 동일 면에 있도록 연결 부재에 연결된 제2 이미지 캡처 장치로부터 추가 이미지를 수신하는 단계;
제1 이미지 캡처 장치로부터 수신한 이미지를 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 정렬시키는 단계;
제1 이미지 캡처 장치로부터 수신한 정렬된 이미지 및 제2 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계;
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 단계를 포함하고,
이미지는 제1 이미지 캡처 장치 주위의 360도 시야를 설명하고,
추가 이미지는 제2 이미지 캡처 장치 주위의 360도 시야를 설명하고,
이미지를 정렬시키는 단계는:
이미지가 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 평행한 좌표계에 있도록 제1 이미지 캡처 장치로부터 수신한 이미지에 적용되는 회전을 결정하는 단계; 및
추가 이미지에 회전을 적용함으로써 추가 이미지의 회전된 버전이 이미지와 평행한 좌표계에 있도록 추가 이미지를 회전시키는 단계를 포함하고,
적용되는 회전을 결정하는 단계는:
이미지를 큐브맵에 매핑하는 단계;
추가 이미지를 추가 큐브맵에 매핑하는 단계;
큐브맵 내의 특징 및 식별된 특징 각각에 대응하는 큐브맵 내의 위치를 식별하는 단계;
큐브맵 내의 식별된 특징 각각에 대응하는 추가 큐브맵의 위치를 결정하는 단계; 및
큐브맵 내의 특징의 위치 및 추가 큐브맵 내의 그 대응하는 위치의 최대량을 설명하는 변환을 결정하는 단계를 포함하고,
선택적으로 변환은 회전 및 병진을 포함하고, 제1 이미지 캡처 장치가 캡처한 이미지에 적용되는 회전을 결정하는 단계는:
변환으로부터 회전을 추출하고 변환의 병진을 폐기하는 단계를 더 포함하는 방법. - 삭제
- 삭제
- 청구항 29에 있어서,
제1 이미지 캡처 장치로부터 수신한 이미지를 제2 이미지 캡처 장치로부터 수신한 추가 이미지와 정렬시키는 단계는:
로우 패스 필터로 이미지 및 추가 이미지의 회전된 버전을 블러하는 단계를 더 포함하는 방법. - 청구항 29 또는 청구항 32에 있어서,
제1 이미지 캡처 장치로부터 수신한 이미지 및 제2 이미지 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계는:
제1 이미지 캡처 장치로부터 수신한 제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치의 이미지를 식별하는 단계;
제2 이미지 캡처 장치로부터 수신한 참조면 뒤의 위치의 추가 이미지를 식별하는 단계; 및
이미지와 추가 이미지를 교환하는 단계를 포함하는 방법. - 청구항 29 또는 청구항 32에 있어서,
제1 이미지 캡처 장치로부터 수신한 이미지 및 제2 이미지 캡처 장치로부터 수신한 추가 이미지 간의 수평 불일치를 균등화하는 단계는:
제1 이미지 캡처 장치로부터 수신한 하나 이상의 이미지로부터 제2 이미지 캡처 장치로부터 수신한 하나 이상의 추가 이미지로 및 제2 이미지 캡처 장치로부터 수신한 하나 이상의 추가 이미지로부터 제1 캡처 장치로부터 수신한 하나 이상의 이미지로의 밀도 광학 흐름을 계산하는 단계; 및
계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 단계를 포함하고,
선택적으로 계산된 밀도 광학 흐름에 기반하여 하나 이상의 이미지 및 하나 이상의 추가 이미지를 수정하는 단계는:
이미지 및 추가 이미지 간의 수평 불일치를 증가시키기 위하여 상수의 이미지 캡처 장치에 대한 특정 깊이에서 상이한 위치에 대하여 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이의 선에 대한 법선으로부터 멀어지는 수평 방위각의 코사인의 절대값에 대한 비율인 인자만큼 계산된 밀도 광학 흐름에 기반하여 제1 이미지 캡처 장치로부터 수신한 이미지를 흐르게 하는 단계;
제1 이미지 캡처 장치 및 제2 이미지 캡처 장치를 포함하는 참조면 뒤의 위치에 대응하는 이미지의 일부를 참조면 뒤의 위치에 대응하는 추가 이미지의 일부와 교환하는 단계를 포함하는 방법. - 청구항 29 또는 청구항 32에 있어서,
균등화되고 정렬된 이미지 및 균등화되고 정렬된 추가 이미지를 조합함으로써 하나 이상의 등장방형 이미지를 생성하는 단계는:
제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 단계를 포함하고,
선택적으로 제1 이미지 캡처 장치가 캡처한 이미지로부터 제2 이미지 캡처 장치를 제거하는 단계는:
특정 범위 내의 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 제1 이미지 캡처 장치가 캡처한 이미지의 일부를 특정 범위 내의 제1 이미지 캡처 장치와 제2 이미지 캡처 장치 사이 및 제1 이미지 캡처 장치와 제2 이미지 캡처 장치에 수직한 선에 대한 법선으로부터 멀어지는 수평 방위각을 가지는 추가 이미지의 일부로 대체하는 단계를 포함하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662357918P | 2016-07-01 | 2016-07-01 | |
| US62/357,918 | 2016-07-01 | ||
| PCT/US2017/040266 WO2018005953A1 (en) | 2016-07-01 | 2017-06-30 | Stereoscopic image capture |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190051901A KR20190051901A (ko) | 2019-05-16 |
| KR102312471B1 true KR102312471B1 (ko) | 2021-10-14 |
Family
ID=60786700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187037043A KR102312471B1 (ko) | 2016-07-01 | 2017-06-30 | 입체 이미지 캡처 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US20180007344A1 (ko) |
| EP (1) | EP3318059B1 (ko) |
| JP (1) | JP7133478B2 (ko) |
| KR (1) | KR102312471B1 (ko) |
| CN (1) | CN109328460A (ko) |
| AU (1) | AU2017290388A1 (ko) |
| BR (1) | BR112018077346A2 (ko) |
| CA (1) | CA3025180A1 (ko) |
| IL (1) | IL263926A (ko) |
| MX (1) | MX2018015636A (ko) |
| WO (1) | WO2018005953A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10979633B1 (en) | 2019-12-17 | 2021-04-13 | Suometry, Inc. | Wide view registered image and depth information acquisition |
| CN111432117B (zh) * | 2020-03-23 | 2021-08-10 | 北京迈格威科技有限公司 | 图像矫正方法、装置和电子系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120154548A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Left/right image generation for 360-degree stereoscopic video |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6677982B1 (en) * | 2000-10-11 | 2004-01-13 | Eastman Kodak Company | Method for three dimensional spatial panorama formation |
| GB2372659A (en) * | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
| JPWO2004004363A1 (ja) | 2002-06-28 | 2005-11-04 | シャープ株式会社 | 画像符号化装置、画像送信装置および画像撮影装置 |
| US8004558B2 (en) * | 2005-04-07 | 2011-08-23 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
| GB2438449C (en) * | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
| US20080212840A1 (en) * | 2006-09-12 | 2008-09-04 | Tamir Shalom | Imaging system, method, and accessory therefor |
| KR20090038843A (ko) * | 2008-11-25 | 2009-04-21 | 스비아토슬라브 이바노비치 아르세니치 | 입체 투사 시스템 |
| JP2010256296A (ja) | 2009-04-28 | 2010-11-11 | Nippon Computer:Kk | 全方位３次元空間認識入力装置 |
| CN101729918A (zh) * | 2009-10-30 | 2010-06-09 | 无锡景象数字技术有限公司 | 一种实现双目立体图像校正和显示优化的方法 |
| US20120105574A1 (en) * | 2010-10-28 | 2012-05-03 | Henry Harlyn Baker | Panoramic stereoscopic camera |
| CN102289145A (zh) * | 2011-06-30 | 2011-12-21 | 浙江工业大学 | 基于3d全景视觉的智能三维立体摄像设备 |
| JP6126821B2 (ja) | 2012-11-09 | 2017-05-10 | 任天堂株式会社 | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
| CA2938159C (en) | 2013-02-04 | 2021-07-27 | Valorisation-Recherche, Limited Partnership | Omnistereo imaging |
| GB2526263B (en) | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
| US10027948B2 (en) * | 2014-05-20 | 2018-07-17 | Nextvr Inc. | Methods and apparatus including or for use with one or more cameras |
| US9420176B2 (en) | 2014-06-19 | 2016-08-16 | Omnivision Technologies, Inc. | 360 degree multi-camera system |
| US9704250B1 (en) * | 2014-10-30 | 2017-07-11 | Amazon Technologies, Inc. | Image optimization techniques using depth planes |
| JP6205069B2 (ja) | 2014-12-04 | 2017-09-27 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像化システム及び方法 |
| US9369689B1 (en) * | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
| US9930315B2 (en) * | 2015-04-29 | 2018-03-27 | Lucid VR, Inc. | Stereoscopic 3D camera for virtual reality experience |
| US9877016B2 (en) * | 2015-05-27 | 2018-01-23 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
| CN105611128A (zh) * | 2015-12-28 | 2016-05-25 | 上海集成电路研发中心有限公司 | 一种全景摄像机 |
| CN205320214U (zh) * | 2016-01-28 | 2016-06-15 | 北京极图科技有限公司 | 3dvr 全景视频成像装置 |
| US10165258B2 (en) * | 2016-04-06 | 2018-12-25 | Facebook, Inc. | Efficient determination of optical flow between images |
| US10249019B2 (en) * | 2016-05-06 | 2019-04-02 | Mediatek Inc. | Method and apparatus for mapping omnidirectional image to a layout output format |
| WO2017218834A1 (en) * | 2016-06-17 | 2017-12-21 | Kerstein Dustin | System and method for capturing and viewing panoramic images having motion parralax depth perception without images stitching |
-
2017
- 2017-06-30 JP JP2018567280A patent/JP7133478B2/ja active Active
- 2017-06-30 EP EP17821348.4A patent/EP3318059B1/en active Active
- 2017-06-30 CN CN201780038514.8A patent/CN109328460A/zh active Pending
- 2017-06-30 US US15/639,030 patent/US20180007344A1/en not_active Abandoned
- 2017-06-30 MX MX2018015636A patent/MX2018015636A/es unknown
- 2017-06-30 BR BR112018077346A patent/BR112018077346A2/pt not_active Application Discontinuation
- 2017-06-30 KR KR1020187037043A patent/KR102312471B1/ko active IP Right Grant
- 2017-06-30 CA CA3025180A patent/CA3025180A1/en not_active Abandoned
- 2017-06-30 AU AU2017290388A patent/AU2017290388A1/en not_active Abandoned
- 2017-06-30 WO PCT/US2017/040266 patent/WO2018005953A1/en active Application Filing
-
2018
- 2018-12-24 IL IL263926A patent/IL263926A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120154548A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Left/right image generation for 360-degree stereoscopic video |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3318059B1 (en) | 2023-04-12 |
| KR20190051901A (ko) | 2019-05-16 |
| AU2017290388A1 (en) | 2018-12-13 |
| MX2018015636A (es) | 2019-04-11 |
| CA3025180A1 (en) | 2018-04-01 |
| BR112018077346A2 (pt) | 2019-04-02 |
| JP2019527495A (ja) | 2019-09-26 |
| EP3318059A4 (en) | 2019-04-24 |
| IL263926A (en) | 2019-01-31 |
| JP7133478B2 (ja) | 2022-09-08 |
| US20180007344A1 (en) | 2018-01-04 |
| WO2018005953A1 (en) | 2018-01-04 |
| EP3318059A1 (en) | 2018-05-09 |
| CN109328460A (zh) | 2019-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9686479B2 (en) | Method for combining multiple image fields | |
| US9094672B2 (en) | Stereo picture generating device, and stereo picture generating method | |
| US20180240265A1 (en) | Systems and Methods for Depth-Assisted Perspective Distortion Correction | |
| US20210082086A1 (en) | Depth-based image stitching for handling parallax | |
| CN101673395B (zh) | 图像拼接方法及装置 | |
| US11282232B2 (en) | Camera calibration using depth data | |
| CN107749069B (zh) | 图像处理方法、电子设备和图像处理系统 | |
| WO2020117285A1 (en) | A multicamera system for autonamous driving vehicles | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN112015170A (zh) | 运动物体检测及智能驾驶控制方法、装置、介质及设备 | |
| Zilly et al. | Joint estimation of epipolar geometry and rectification parameters using point correspondences for stereoscopic TV sequences | |
| KR102312471B1 (ko) | 입체 이미지 캡처 | |
| CN113496503B (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
| BR112021008558A2 (pt) | aparelho, método de estimativa de disparidade, e produto de programa de computador | |
| US10721419B2 (en) | Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image | |
| Lin et al. | Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras | |
| KR20140077315A (ko) | 3차원 모델뷰 기반의 멀티카메라 모니터링 시스템 및 방법 | |
| Wang et al. | A practical distortion correcting method from fisheye image to perspective projection image | |
| Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
| KR101293263B1 (ko) | 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 | |
| CN112422848A (zh) | 一种基于深度图和彩色图的视频拼接方法 | |
| Meuel et al. | In-loop radial distortion compensation for long-term mosaicing of aerial videos | |
| Rebiere et al. | Image mosaicing using local optical flow registration | |
| Michaelsen | Stitching large maps from videos taken by a camera moving close over a plane using homography decomposition | |
| WO2023194203A1 (en) | A computer implemented method for adjusting an orientation and/or a position of a virtual representation of a first electronic device in a virtual space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |