KR20130103527A - 핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성 - Google Patents

Abstract

입체적인 파노라마 이미지를 생성하는 기술은 휴대용 카메라 기기를 패닝하고, 그리고 다중의 이미지 프레임들을 획득하는 것을 포함한다. 적어도 부분적으로 겹친 다중의 이미지 프레임들은 씬 (scene)의 부분들에서 획득된다. 상기 방법은 이미지 프레임들을 정합하는 것을 포함하며, 이는 이미지 프레임들을 획득하는 사이에 이미징 기기의 변위를 결정하는 것을 포함한다. 다중의 파노라마 이미지들이 생성되며, 공간 관계에 따라서 상기 씬의 이미지 프레임들을 연결하고 그리고 다중의 파노라마 이미지들 사이의 입체적 대응 관계들을 결정하는 것을 포함한다. 상기 다중의 파노라마 이미지들은 입체적 대응 관계들을 기반으로 하여 프로세싱되어 입체적 파노라마 이미지를 형성한다.

Description

핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성{Stereoscopic (3D) panorama creation on handheld device}

우선권

본 출원은 2010.9.9.에 출원된 미국 특허 출원 번호 12/879,003에 대한 우선권을 향유한다.

기술분야

본 발명은 휴대용 그리고/또는 헨드헬드 카메라들, 디지털 스틸 카메라들, 그리고 카메라-전화기들 그리고 다른 헨드헬드 기기와 같은 다른 카메라-가능 기기, 그리고 이미지 획득 기능들을 구비한 프로세서-기반의 휴대용 기기를 이용한 입체적인 (3D) 파노라마 이미징에 관련된다.

파노라마 사진은 유별나게 넓은 시야, 과도한 외관 비율 또는 둘 모두를 가진 사진이다. 예를 들면, 수평 파노라마 사진은 세워져 있을 때보다 훨씬 더 폭이 클 수 있을 것이며, 그리고 그 사진의 수직 시야각에 비해서 큰 수평 시야각을 가질 수 있을 것이다. 수직의 파노라마 사진은 눕혀 있을 때보다 아주 더 클 것이며, 그리고 그 사진의 수평 시야각보다는 큰 수직 시야각을 가질 것이다. 때로는 간단하게 "파노라마"로 또한 불리는 파노라마 사진 또는 파노라마 이미지는 씬 (scene)의 훌륭한 그리고 때로는 인상적인 모습을 제공할 수 있다.

파노라마 이미징은 확장된 수평 씬의 일련의 이미지들을 취하고 그리고 그것들은 단일의 확장된 이미지를 혼합하는 것을 포함한다. 이는 보통은 야외의 "파노라마" 씬이 제한된 시야 범위의 보통의 광학 시스템인 표준의 카메라를 이용하여 캡쳐되는 것을 가능하게 한다.

대안의 접근 방식은 170도까지의 향상된 시야 범위를 가진 어안 (fish-eye)으로 알려진 전문적인 광학 렌즈를 이용하여 씬을 캡쳐하는 것이다. 그런 전문적인 렌즈는 비싼 제작비 그리고 렌즈 요소들의 정밀한 기계 가공을 필요로 한다. 디지털 카메라에서 파노라마 이미징을 구현하는 것은 비용을 줄이는 유사한 결과들을 가능하게 한다.

역사적으로, 파노라마 사진들은 특별하게 제조된 카메라들을 이용하여 촬영되었다. 한 가지 유형의 파노라마 카메라는 렌즈 뒤에서 좁은 노출 슬릿을 지나서 필름을 이동시키면서, 큰 시야 범위를 가로질러 스윕 (sweep)하기 위해서 회전하는 렌즈와 바디를 이용한다. 이런 유형의 회전하는 카메라는, 때로는 초기 상업적인 모델 이후에 "서컷-유형 (Cirkut-type)" 카메라로 불리는데, 360도 또는 그 이상의 시야 범위를 가지는 사진을 찍을 수 있다. 스윙-렌즈 (swing-lens) 카메라는 유사한 원칙에 따라서 동작하지만, 고정된 바디 및 필름에 관하여 자신의 렌즈와 노출 슬릿을 회전시킨다. 스윙-렌즈 카메라는 180도보다 다소 작은 시야 범위를 가진 사진을 찍을 수 있다.

파노라마 사진을 만드는 다른 방법은 각각이 약 3:2의 외관 비율을 가지거나 또는 그렇지 않다면 파노라마 시진에 있어서 필요로 하는 것보다 더 작은 외관 비율을 가진 여러 개의 겹쳐진 표준의 또는 통상적인 사진들을 찍고 그리고 그것들을 같이 단일의 더 큰 사진으로 연결 (join)하는 것을 포함할 수 있을 것이다. 그 연결하는 것은 컴포넌트 (component) 사진들, 예를 들면, 디지털 카메라로 찍은 사진들의 디지털적인 표현 상에서 동작하는 컴퓨터를 이용하여 보통은 실행될 수 있을 것이다. 디지털 이미지들을 더 큰 사진으로 결합하는 프로세스는 "스티칭 (stitching)" 또는 "모자이크로 만들기 (mosaicing)"로 종종 불린다. 원칙적으로, 임의 개수의 컴포넌트 이미지들이 스티치될 수 있으며, 그 결과인 파노라마는 360도 또는 그 이상까지의 시야 범위를 커버할 수 있다.

스티칭은 컴퓨터 사용 집약적일 수 있다. 예를 들면, 이미지 스티칭을 수행하는 소프트웨어는 컴포넌트 이미지들을 같이 스티치하기 이전에 그 컴포넌트 이미지들 내에 존재할 수도 있을 렌즈 왜곡 그리고 원근 왜곡과 같은 왜곡들을 교정할 수 있을 것이다. 추가로, 컴포넌트 이미지들 사이의 적절한 정렬 및 색상이나 색조 균형을 찾는 것은 이미지 세그먼트들 사이의 정렬의 "양호함 (goodness)"을 반영하는 상관 계수들의 다중의 계산들을 포함할 수 있을 것이다. 시야 각도 및 렌즈 비네팅 (vignetting)에서의 변화들과 같은 효과들에 의해서 초래된 색조에서의 변이들은 교정될 수 있을 것이며, 교정되지 않는다면 조정될 수 있을 것이다. 스티칭을 수행하기 위해서 필요한 시간은 컴포넌트 이미지들의 증가된 크기 또는 해상도에 따라 극적으로 증가한다.

몇몇의 현대의 디지털 카메라들은 나중에 파노라마 사진으로 스티치하기 위해서 한 세트의 컴포넌트 사진들을 찍는데 있어서 카메라 사용자를 돕는 모드를 제공한다. 예를 들면, 파노라마 모드는 상기 세트 내 이전 사진과의 적절한 겹침을 위해서 각 컴포넌트 사진을 프레임을 잡는데 있어서 사용자를 돕기 위해서 카메라 상의 디스플레이 스크린을 이용할 수 있을 것이며, 그리고 한 세트 내 모든 컴포넌트 사진들을 위한 일관된 노출 세팅들을 보장할 수 있을 것이다.

디지털 카메라의 적어도 하나의 현존 모델은 저-해상도 "스크린 네일 (screen nail)" 이미지들의 세트 상에서 스티칭을 수행할 수 있어서, 사진을 찍는 사람이 컴포넌트 이미지들에서의 불충분한 겹침과 같은 특정 문제점들을 탐지할 수 있도록 한다. "스크린 네일"은 "섬네일 (thumbnail)" 이미지와 유사한 디지털 이미지의 작은 저-해상도 사본을 포함할 수 있을 것이며, 그리고 카메라 상의 디스플레이에 맞도록 크기 조절된다. 전형적인 스크린 네일 이미지는, 예를 들면, 대략 320 x 240 픽셀일 수 있다. 이 용량은 미국 특허 출원 20060182437 (Hewlett-Packard)에서 설명된다.

그러나, 디지털 카메라들에서 사용된 상대적으로 작은 프로세서들이 계산-집약적인 스티칭 알고리즘들을 만족할만한 사용자 경험을 제공하기에 충분히 빠르게 수행할 수 없었기 때문에, 이전의 디지털 카메라들은 고 해상도 또는 풀-해상도 이미지들의 스티칭을 실시간으로 실행하지 않았다. 예전에, 고-해상도 컴포넌트 이미지들을 파노라마로 스티치하기를 원했던 카메라 사용자는 그 컴포넌트 이미지를 외부의 컴퓨터로 업로드하고 그리고 스티칭을 수행하기 위해서 그 컴퓨터 상에서 동작하는 소프트웨어를 사용해야만 했다. 컴퓨터 사용을 수반하는 이 종래의 방법은 아마도 컴퓨터 상에 추가적인 소프트웨어를 설치하는 것을 포함하며, 그리고 사용자가 그 파노라마를 즉시 인쇄하거나 또는 공유하는 것을 하지 못하게 했다.

파노라마 이미지들을 디지털 카메라 상에서 또는 카메라-전화기 또는 스마트폰과 같은 핸드헬드 이미징 기기에서 직접 생성하는 여러 기술들은 더욱 최근에 설명되었다.

예를 들어, Sorek 등의 US20090022422 (Hewlett-Packard)는 프레임들의 콘텐트를 기반으로 하여 첫 번째 이미지 프레임 및 두 번째 이미지 프레임을 결합하고 그리고 합성 이미지를 형성하기 위해서 결정된 정렬을 기반으로 하여 이 프레임들을 변환된 도메인에서 결합하는 방법을 설명한다. 이 방법은 각 이미지 내 흥미 대상의 공통적인 특징들을 채택하고 그리고 두 이미지들 사이의 수평 및 수직의 정렬을 결정하기 위해서 이 특징들을 이용한다. 상기 이미지들을 결합하는 것은 여분의 시프트들이 수행되는 곳인 이미지 도메인 내에서 부분적으로 수행될 수 있을 것이며 그리고 블록 시프트들이 수행될 수 있을 변환 도메인 내에서 부분적으로 수행될 수 있을 것이다.

카메라 또는 카메라-전화기 내에서 파노라마 이미지를 생성하는 다른 방법은 Linder 등의 US20090021576 (삼성)에서 설명된다 (또한 US20090022422 참조). 이 방법은 파노라마 이미지를 구축하기 위한 기반으로서 비디오 스트림을 이용하며, 이 비디오 스트림은 많은 종래 기술에서의 카메라들에서 획득될 수 있는 것이다. 이 방법은 먼저 복수의 비디오 프레이들을 획득하고, 이어서 그 이미지/비디오 시퀀스로부터 초기 프레임에 대한 선택을 한다. 상기 방법은 원형 (original) 비디오 시퀀스에 증정하기 위해서 추가의 스틸 (still) 이미지들을 획득하는 것을 허용한다. 그 추가의 비디오 및 스틸 이미지들은 원형 이미지와 함께 스티치될 수 있을 것이며 그리고 스티칭 프로세스를 향상시키기 위해서 오버레이 정렬 및/또는 움직임 탐지가 사용될 수 있을 것이다. 상기 방법은 추가의 이미지들을 획득하기 위해서 카메라 또는 카메라-전화기 사용자에게 그 기기를 움직이게 하라고 지시하는 것에 의존한다. 이 미국 공개 특허 출원은 관련된 문헌에 대한 매우 상세한 검토를 또한 포함한다는 것에 유의한다.

다른 접근 방법은 US20060268130에서 설명되며, 이는 씬의 상대적으로 저-해상도 이미지들로부터 파노라마 이미지를 "실시간"으로 생성하고, 사용자 승인을 위해서 그 파노라마 이미지를 디스플레이하고 그러면서 더 고해상도의 이미지들의 대응 시퀀스를 동시에 프로세싱하여 일단 사용자가 상기 저 해상도 버전을 승인하면 고-해상도 파노라마 이미지가 저장을 위해서 이용 가능하도록 하는 방법을 기술한다. 이 기술은 사용자의 제어 하에서 이미지들에 대한 사용자 수정 및/또는 다시 캡쳐하기 또는 추가하기를 가능하게 한다는 점에서 US20090021576과 유사하다는 점에 유의한다. 두 출원들은 사용자 인터페이스들에 대해 아주 상세한 내용들을 제시한다.

종래 기술의 이미징 기기들은 현재 60 fps 의 프레임 레이트에서 720p 및 고해상도 HD 비디오 및 3000 x 2000 픽셀 크기의 스틸 이미지들을 캡쳐할 수 있다.

그런 매우 큰 이미지들에 필요한 프로세싱 요구 사항들, 그리고 보기 싫은 "이음자국 (seam)들"이 파노라마 이미지에서 나타나지 않도록 하기 위해서 이미지들을 정렬하는 것에 포함된 증가된 정밀도는, 특히 만족스러운 이미지들을 사용자의 개입이 없이 그리고 "실시간"으로 신뢰성있게 생성하는 것이 소망되는 경우에, 파노라마 이미지 생성에 대한 새로운 도전들이다. 새로운 도전은 핸드헬드 기기들 상에서 입체적인 (3D) 파노라마 이미지들을 생성하기 위한 소망에 의해서도 또한 존재한다.

미국 출원 공개 US20060182437 미국 출원 공개 US20090022422 미국 출원 공개 US20090021576 미국 출원 공개 US20060268130 미국 출원 공개 US2008/0309769 미국 출원 공개 US20060171464 미국 출원 공개 US20080309769 미국 출원 공개 US2008/0219581 USSN 12/485,316 미국 특허 7,606,417 미국 특허 7,460,695 미국 특허 7,469,055 미국 특허 7,460,694 미국 특허 7,403,643 미국 특허 7,315,631 미국 출원 공개 US20090273685 미국 출원 공개 US20060285754 미국 출원 공개 US20090263022 미국 출원 공개 US20070269108 미국 출원 공개 US20090003652 미국 출원 공개 US20090080713 미국 특허 출원 12/479,593 (2009년 6월 5일) 미국 특허 출원 12/572,930 (2009년 10월 2일) 미국 특허 출원 12/512,843 미국 특허 출원 12/512,819 미국 특허 출원 12/512,716 미국 특허 7,469,071 미국 특허 7,606,417 미국 출원 공개 2009/0273685 미국 출원 공개 2006/0285754 미국 출원 공개 2007/0147820 미국 출원 공개 2009/0040342 미국 출원 공개 2007/0269108 미국 특허 7,565,030 미국 출원 공개 2009/0179998 미국 출원 공개 2008/0013798 미국 출원 공개 2008/0292193 미국 출원 공개 2008/0175481 미국 출원 공개 2008/0266419 미국 출원 공개 2009/0196466 미국 출원 공개 2009/0244296 미국 출원 공개 2009/0190803 미국 출원 공개 2008/0205712 미국 출원 공개 2008/0219517 미국 출원 공개 2009/0185753 PCT 출원 공개 WO2007/142621 미국 출원 공개 2006/0062487 미국 출원 공개 2006/0018547 미국 출원 공개 2005/0200706 미국 출원 공개 2005/0008254 미국 출원 공개 2004/0130626 미국 출원 공개 20070201724 미국 출원 공개 20070201725 미국 출원 공개 20070201726 미국 출원 공개 20090190803 미국 출원 공개 2008061328

Sethian 등의 A Fast Marching Level Set Method for Monotonically Advancing Fronts, Proceedings from the National Academy of Sciences, 1995.10.20. Dijkstra, E. W. (1959). "A note on two problems in connexion with graphs". Numerische Mathematik 1 : 269-271, http://www-m3.ma.tum.de/twiki/pub/MN0506/WebHome/dijkstra.pdf Sniedovich, M. (2006). "Dijkstra's algorithm revisited: the dynamic programming connexion" (PDF). Journal of Control and Cybernetics 35 (3): 599-620, http://matwbn.icm.edu.pl/ksiazki/cc/cc35/cc3536.pdf Richard Szeliski 의 "Image Alignment and Stitching: A Tutorial" (Preliminary draft, Sep. 27, 2004, Technical Report, MSR-TR-2004-92. pages 8-10)

본 발명은 크기가 큰 이미지들을 사용자가 개입하지 않으면서도 핸드헬드 기기에서 실시간으로 양호한 품질로 파노라마 이미지를 생성하고 그리고 입체적인 파노라마 이미지를 생성할 수 있는 방안을 제공하려고 한다.

입체 (3D) 파노라마 이미지들을 생성하는 방법이 제공된다. 휴대용 이미징 기기를 이용하여 이미지들의 파노라마 스윕 (sweep) 시퀀스를 획득하기 위한 노출 레벨이 고정된다. 상기 이미징 기기는 씬 (scene)을 가로질러서 패닝 (panning)된다. 상기 휴대용 이미징 기기의 렌즈 (optic) 및 이미징 센서를 이용하여 상기 씬의 일부들의 적어도 부분적으로 겹친 다중의 이미지 프레임들이 획득된다. 이미지 프레임들을 획득한 것들 사이에 상기 이미징 기기의 변위 (displacement)들을 결정하는 것을 포함하여, 상기 이미지 프레임들이 정합 (register)된다. 공간적인 관계들에 따라서 상기 씬의 이미지 프레임들을 연결하고 그리고 상기 다중의 파노라마 이미지들 사이의 입체적 대응 (counterpart) 관계들을 결정하는 것을 포함하여 다중의 파노라마 이미지들이 생성된다. 입체 파노라마 이미지를 형성하기 위해서 상기 입체적 대응 관계들을 기반으로 하여 상기 다중의 파노라마 이미지들이 프로세싱된다. 상기 입체 파노라마 이미지는 저장, 전송 그리고/또는 디스플레이된다.

변위들을 결정하는 것은 그 변위들을 측정하는 것을 포함한다. 상기 변위들은 깊이 차원에 직교하는 하나 또는 두 개의 차원들 그리고 상기 직교 차원 그 자체를 포함하는 하나, 둘 또는 세 개의 차원들에서의 변위들을 포함할 수 있을 것이다.

입체적 대응 관계들을 결정하는 것은 상대적인 변위들을 구비한 이미지 프레임들을, 선택된 입체 효과를 제공하도록 구성된 제1의 미리 결정된 범위 내에서 페어링 (paring)하고, 컴포넌트 (component) 입체 이미지들을 형성하기 위해서 페어링된 이미지 프레임들을 결합하고, 그리고 인접한 페어링된 이미지 프레임들과 겹친 페어링된 이미지 프레임들을 제2의 미리 정해진 범위 내에서 유지하는 것을 포함할 수 있을 것이다. 상기 제1의 미리 정해진 범위는 5 - 7.5 cm일 수 있다.

상기 부분적으로 겹친 것은 10% 내지 50% 사이에서 겹쳐질 수 있을 것이다. 상기 방법은 이미지 프레임들의 쌍들을 연결하는 것을 다음 이미지 프레임들을 획득하거나 생성하거나 또는 둘 모두를 하는 것과 인터리빙 (interleaving)하는 것을 더 포함할 수 있을 것이다. 상기 첫 번째 미리 정해진 범위는 상기 이미징 기기의 패닝 반경의 15%보다 더 크지 않을 수 있다.

특정 실시예들에 따라서, 디지털 이미징 기기가 파노라마 씬을 가로지르는 단일 스윕 (sweep) 동안에, 다중의 겹쳐진 이미지들의 단일 세트가 캡쳐된다. 이 다중 이미지들 각각 사이에서 프레임-대-프레임 픽셀 변위들 (displacements)은 이 스윕 동안에 결정된다. 이것들은 미리 정해진 측정을 통해서 카메라의 실제적인 물리적 변위에 관련될 수 있을 것이다; 몇몇의 실시예들에서 상기 카메라는 프레임-대-프레임 픽셀 변위들을 측정하는 것의 대안으로서 채택될 수 있을 움직임 탐지 서브시스템들을 통합할 수 있을 것이다. 이 스윕으로부터의 초기 이미지는 키-프레임 (key-frame) 또는 기초 이미지 (foundation image)로서 사용될 수 있을 것이다.

스윕된 씬의 첫 번째 파노라마 이미지는 추가의 이미지들을 이 기초 이미지에 연결시켜서 생성될 수 있을 것이다. 그러면 두 번째 키-프레임 이미지가 결정되며, 이는 상기 첫 번째 키 프레임 이미지로부터의 상대적인 물리적 변위를 가진다. 일 실시예에서, 비록 입체적인 효과를 제공하기에 다른 거리들도 또한 충분하지만, 상기 변위는 5 - 7.5 cm 사이의 범위에 있을 수 있으며, 이는 사람의 눈들 사이의 거리의 차수 상에 있는 것이다.

다른 변위 거리들에 결부된 실시예들은 도 14a 내지 도 17을 참조하여 아래에서 설명된다.

상대적인 물리적 변위는 상대적인 프레임-대-프레임 픽셀 변위로부터, 또는 카메라가 움직임 감지 서브시스템들이나 그것들의 몇몇의 결합된 것을 통합한다면 그 카메라의 상대적인 움직임을 판별함으로써 결정될 수 있을 것이다. 첫 번째 이미지에 상대적인 이 두 번째 기초 이미지의 수직 픽셀 변위 또한 결정되고 그리고 기록될 수 있을 것이다. 이는 핸드헬드 기기에서 두 번째 파노라마 이미지를 첫 번째 파노라마 이미지와 수직으로 정렬하기 위해서 필요하다. 동일한 스윕된 씬의 이격된 파노라마 이미지가 생성될 수 있을 것이다. 상기 두 개의 파노라마 이미지들은 수직으로 정렬되고 그리고 겹쳐지지 않은 영역들을 제거하기 위해서 크롭 (crop)된다. 그것들은 그러면 표준의 입체 이미지 포맷으로 변환될 수 있을 것이며 그리고 옵션으로는 압축될 수 있을 것이다. 그 결과인 입체적 파노라마 이미지는 저장되고, 전송되고 그리고/또는 디스플레이된다.

휴대용 이미징 기기를 이용하여 파노라마 이미지를 획득하는 추가의 방법들이 여기에서 제공된다. 한 방법에서, 상기 휴대용 이미징 기기로 파노라마 이미지를 획득하기 위해서 노출 레벨이 고정된다. 상기 이미징 기기는 파노라마 씬을 가로질러서 패닝된다. 상기 파노라마 씬의 겹치는 부분들의 적어도 두 개의 상대적인 저-해상도 이미지 프레임들이 획득되고 프로세싱된다. 그 프로세싱은 상대적으로 낮은 해상도 이미지 프레임들의 세트를 소팅하고 유지하는 것을 포함한다. 상대적으로 낮은 해상도의 이미지 프레임들의 세트의 각 이미지 사이의 상대적인 변위가 결정된다. 상기 상대적으로 낮은 해상도 이미지 프레임들 중의 이미지들의 각 쌍 사이에서 대략적인 최적 스티치 라인이 또한 결정된다. 상기 방법은 상대적으로 낮은 해상도 이미지 프레임들의 세트에 대응하는 메인 이미지 프레임들의 세트를 획득하고 저장하는 것을 또한 포함한다. 상기 메인 이미지 프레임들은 상대적으로 낮은 해상도 이미지들의 상기 세트의 대응하는 이미지들의 상대적인 변위를 기반으로 하여 정합되거나 또는 정렬되거나 또는 둘 모두가 수행된다. 저-해상도 이미지 쌍들을 위해서 결정된 하나 또는 그 이상의 대략적으로 최적의 스티치 라인들은 메인 파노라마 이미지를 형성하기 위해서 연결된, 정합 (registration) 그리고/또는 정렬된 이미지 프레임들의 하나 또는 그 이상의 대응 쌍들로 매핑된다.

대략적으로 최적인 스티치 라인을 결정하는 것은 상기 대략적으로 최적인 스티치 라인 부근에 알파 블렌딩 (alpha blending map) 맵을 결정하는 것을 포함할 수 있을 것이다. 상기 대략적으로 최적인 스티치 라인을 고 해상도 이미지들로 매핑하는 것은 상기 블렌딩 맵을 매핑하는 것을 더 포함할 수 있을 것이며, 이 경우에 상기 고 해상도 이미지들을 연결하는 것은 상기 알파 블렌딩 맵의 매핑을 기반으로 하여 상기 이미지들을 블렌딩하는 것을 포함한다. 상기 연결하는 것은 메인 이미지 프레임들의 세트를 블렌딩하는 것을 포함할 수 있을 것이며, 일련의 상기 상대적으로 낮은 해상도 이미지 프레임들에 대한 알파-블렌딩 맵을 이미지 프레임들의 메인 시리즈로 매핑하는 것을 포함한다.

파노라마 이미지를 형성하기 위해서 연결된 컴포넌트 이미지 프레임들 중의 하나 또는 그 이상의 컴포넌트 이미지 프레임들이 크롭될 수 있을 것이다. 둘, 셋 또는 그 이상의 저 해상도 이미지 프레임들의 세트가 상기 씬의 컴포넌트 부분들에서 획득될 수 있을 것이다. 연속 이미지들 사이의 수평 겹침이 미리 정해진 범위 외부에 있게 되면 사용자에게 통지가 되거나 그리고/또는 이미지가 폐기될 수 있을 것이다.

상기 상대적으로 낮은 해상도 시리즈들을 위한 알파-블렌딩 맵을 상기 메인 시리즈로 매핑하는데 있어서 픽셀 오프셋들을 방지하기 위해서 상기 방법은 상기 상대적으로 낮은 해상도 이미지들 상에 서브-픽셀 이미지 정합 (image registration)을 수행하는 것을 또한 포함할 수 있을 것이다. 상기 메인 시리즈의 디지털 이미지들의 쌍들을 상기 연결하는 것은 상대적으로 낮은 해상도 이미지들의 서브-픽셀 정합과 그리고/또는 상대적으로 낮은 해상도 이미지들의 대응 쌍들을 획득하는 것과 그리고/또는 생성하는 것과, 그리고/또는 연결하는 것과 인터리브 (interleave)될 수 있을 것이다.

휴대용 이미징 기기를 이용하여 파노라마 이미지를 생성하는 추가의 방법은 상기 휴대용 이미징 기기를 이용하여 파노라마 이미지를 획득하기 위한 노출 레젤을 고정하고, 그리고 그 이미징 기기를 파노라마 씬을 가로질러서 패닝하는 것을 포함한다.

상기 휴대용 이미징 기기의 렌즈 (optic) 그리고 이미징 센서를 이용하여, 상기 파노라마 이미지의 겹치는 부분들의 적어도 두 개의 이미지 프레임들의 세트가 획득되며 그리고 프로세싱된다. 상기 프로세싱은 이미지 프레임들의 하나 또는 그 이상의 겹치는 쌍들을 포함하는 이미지 프레임들의 세트를 소팅하고 유지하는 것을 포함한다. 겹치는 이미지 프레임들의 세트의 각각 사이에서 상대적인 변위가 결정되며, 각 이미지 쌍에 대해서 겹쳐진 영역을 결정하는 것을 포함한다. 상기 세트의 이미지들은 상기 상대적인 변위들을 기반으로 하여 정합되며 그리고/또는 정렬된다. 겹쳐진 이미지 프레임들의 각 쌍에 대해서 알파 블렌딩 맵 그리고/또는 최적 스티치 라인이 결정된다. 이미지 프레임들의 하나 또는 그 이상의 쌍들은 연결되어 파노라마 이미지를 형성하고, 이는 저장되고, 전송되고 그리고/또는 디스플레이된다.

상대적인 변위를 결정하는 것은 겹치는 이미지 프레임들의 셋트의 이미지들의 쌍 사이의 상대적인 수평 변위를 결정하는 것을 포함할 수 있을 것이다. 이미지 열들 (columns) 내의 픽셀 값들은 첫 번째 및 두 번째 이미지들의 각각을 가로질러 합산되어 각 이미지에 대한 수평 이미지 프로파일을 결정하도록 할 수 있을 것이다. 열 차이 (column profile) 프로파일이 이미지들 각각을 가로질러 결정될 수 있을 것이다. 이미지 열 차이 프로파일들에 따라서 이미지들의 쌍 사이에서 상대적인 오차 함수가 결정될 수 있을 것이다. 상대적인 오차 함수의 최소는 이미지들의 쌍 사이의 수평 변위의 픽셀 열들의 상대적인 개수를 표시한다.

상대적인 변위를 결정하는 것은 겹친 이미지 프레임들의 세트의 이미지들의 쌍 사이의 상대적인 수직 변위를 결정하는 것을 또한 포함할 수 있을 것이다. 이미지 행들 (rows) 내 픽셀 값들은 첫 번째 및 두 번째 이미지들 각각을 가로질러서 합산되어 각 이미지에 대한 수직 이미지 프로파일을 결정할 수 있도록 한다. 행 차이 프로파일은 이미지들 각각을 가로질러 결정될 수 있을 것이다. 이미지 행 차이 프로파일들에 따라서 이미지들의 쌍 사이에서 상대적인 오차 함수가 결정될 수 있을 것이다. 상기 오차 함수의 최소는 수직 변위의 픽셀 행들의 상대적인 개수가 이미지들의 쌍 사이에서 존재한다는 것을 나타낸다.

이미지들의 쌍 사이의 상대적인 오류 함수를 계산하기 이전에 각 이미지의 열 및/또는 행 차이 프로파일들에 평탄화 함수 (smoothing function)가 적용될 수 있을 것이다.

상기 연결하는 것은 알파 블렌딩 맵 또는 최적 스티치 라인 또는 둘 모두를 이용하여 수행된다.

상기 연결하는 것은 상기 대략적인 최적 스티치 라인 그리고 상기 알파 블렌딩 맵 둘 모두를 결정한 것을 기반으로 할 수 있을 것이다. 상기 대략적으로 최적인 스티치 라인은 이미지들의 쌍의 겹쳐진 픽셀들 사이에서 약 50%의 블렌딩 비율을 포함할 수 있을 것이며, 그리고 상기 맵은 겹쳐진 픽셀들에 대한 블렌딩 비율을 상기 대략적으로 최적인 스티치 라인의 부근에서의 이미지들의 쌍으로부터 제공할 수 있을 것이다.

상기 방법은 이미지 프레임들의 쌍들을 연결하는 것을 다음의 이미지 프레임들을 획득하고 그리고/또는 생성하는 것과 인터리빙 (interleaving)하는 것을 또한 포함할 수 있을 것이다. 상기 파노라마 이미지는 균일한 수직 높이로 또한 크롭될 수 있을 것이다.

렌즈 (optic), 이미지 센서 및 프로세서를 포함하는 휴대용 이미징 기기를 사용하여 파노라마 이미지를 생성하기 위해서 슈퍼-해상도 방법이 제공된다. 상기 휴대용 이미징 기기로 파노라마 이미지를 획득하기 위해서 노출 레벨이 고정된다. 상기 이미징 기기는 파노라마 씬을 가로질러서 패닝된다. 이미지들의 둘 또는 그 이상의 세트들이 획득되고 프로세싱되며, 그 각각은 파노라마 씬의 부분들의 적어도 두 개의 이미지 프레이들을 포함한다. 상기 방법은 상기 둘 또는 그 이상의 세트들의 다중 이미지들을 소팅하고 유지하는 것을 포함한다. 이미지 프레임들의 상기 둘 또는 그 이상의 세트들 각각 내에 있는 이웃하는 프레임들의 각 쌍 사이에서 상대적인 변위가 결정된다. 상기 방법은 서로에게 상대적인 각 이미지 세트들 내 이미지들을 정합하는 것을 또한 포함한다. 상기 둘 또는 그 이상의 세트들 각각은, 둘 또는 그 이상의 실질적으로 겹친 파노라마 이미지들을 형성하기 위해서 연결된다. 이것들은 실질적으로 동일한 씬의 고 해상도의 파노라마 이미지를 형성하기 위해서 결합되며, 그리고 저장되고, 전송되고 그리고/또는 디스플레이된다.

둘 또는 그 이상의 실질적으로 겹친 파노라마 이미지들을 결합하는 것은 슈퍼-해상도 기술을 적용하는 것을 포함할 수 있을 것이다. 고 해상도 파노라마 이미지를 크롭하는 것은 하나 또는 그 이상의 컴포넌트 파노라마 이미지들로부터 하나 또는 그 이상의 겹치지 않은 영역들을 제거하는 것을 포함할 수 있을 것이다.

상기 방법은 첫 번째 또는 첫 번째가 아니라면 이미지 프레임들의 상기 둘 또는 그 이상의 세트들 각각의 대응 획득 프레임 사이의 상대적인 변위를 결정하는 것을 또한 포함할 수 있을 것이다. 상기 둘 또는 그 이상의 세트들의 각각의 이미지들로부터 유도된 결합된 파노라마 이미지는 정합될 수 있을 것이다.

상기 방법은 이미지 프레임들의 쌍들을 연결하는 것을 다음 이미지 프레임들을 획득하고 그리고/또는 생성하는 것과 인터리빙하는 것을 포함할 수 있을 것이다.

파노라마 이미지를 생성하는 다른 방법이 제공되며, 디지털 이미지들을 획득하도록 구성된 프로세서-기반의 기기를 이용하여 씬을 가로질러서 패닝하는 것을 포함한다. 상기 패닝 동안에, 상기 기기를 이용하여 다중의 메인 시리즈 이미지들이 획득된다. 상기 다중 이미지들 각각은 파노라마 씬의 서로 다른 각도 범위를 포함한다. 또한, 상기 패닝 동안에, 상기 다중 메인 시리즈 이미지들에 대응하는 상대적으로 낮은 해상도 이미지들이 획득되며 그리고/또는 상기 메인 시리즈 이미지들은 서브샘플링되어 상기 상대적으로 낮은 해상도 이미지들을 생성한다. 상기 상대적으로 낮은 해상도 이미지들은 연결되어 저-해상도 파노라마를 형성하고, 이것이 디스플레이된다. 상기 다중 메인 시리즈 이미지들은 상기 상대적으로 낮은 해상도 이미지들을 연결한 것을 기반으로 하여 상기 기기 상에서 실시간으로 합성되어 메인 시리즈 파노라마 이미지를 형성하도록 한다.

상기 연결하는 것은 노출, 색상 밸런스 또는 휘도나 그것들의 조합들을 스티치하고 그리고/또는 매칭하고, 이미지들의 에지 (edge) 영역들을 정렬하고 그리고/또는 정합하며, 그리고 매칭된, 정렬된 이미지들을 블렌딩하는 것을 포함할 수 있을 것이다. 상기 블렌딩은 상기 파노라마 이미지의 인전한 컴포넌트 이미지들 사이에서 생성된 이음자국 라인 (seam line)을 흐릿하게 하는 것 (블러잉; blurring)을 포함할 수 있을 것이다.

상기 휴대용 이미징 기기로 파노라마 이미지를 획득하기 위해서 노출 레벨이 고정될 수 있을 것이다. 상기 연결하는 것은 이미지들의 에지 영역들을 정렬하고 그리고/또는 정합하는 것, 그리고 매칭된, 정렬된 이미지들을 블렌딩하는 것을 포함할 수 있을 것이다. 상기 블렌딩은 상기 파노라마 이미지의 인전합 컴포넌트 이미지들 사이에서 생성된 이음자국 라인을 흐릿하게 하는 것을 포함할 수 있을 것이다.

상기 합성하는 것은 상기 패닝의 전체적인 움직임을 추정하고 그리고 그 전체적인 움직임이 충분한가의 여부를 판별하는 것을 포함할 수 있을 것이다.

상기 합성하는 것은 상대적인 씬 변위를 추정하고 그리고 그 상대적인 씬 변위가 충분하기의 여부를 판별하는 것을 포함할 수 있을 것이다. 상기 방법은 상기 상대적인 씬 변위가 불충분한 것으로 판별되면 사용자에게 통보하거나, 하나 또는 그 이상의 이미지들을 폐기하거나 그리고/또는 상기 방법을 중단시키는 것을 포함할 수 있을 것이다. 상기 상대적인 씬 변위는 프레임 대 프레임 겹침이 10% 내지 40%의 범위, 또는 20% 내지 30% 범위를 포함하면 충분한 것으로 판별될 수 있을 것이며, 또는 10 - 40%, 20-30% 또는 그 외와 같이 미리 정해진 범위 밖에 있으면 불충분한 것으로 판별될 수 있을 것이다. 상대적인 변위를 추정하는 것은 다중 이미지 쌍들에 대해 다차원적인 움직임 추정을 하는 것을 포함할 수 있을 것이다.

상기 방법은 사용자가 개입하여 또는 개입하지 않고 수행될 수 있을 것이며, 그리고 기기 움직임 측정을 하여 또는 기기 움직임 측정을 하지 않고 수행될 수 있을 것이다. 상기 파노라마 이미지는 저장하기 이전에 압축될 수 있을 것이다.

상기 상대적으로 낮은 해상도 이미지들을 연결하는 것은 알파 블렌딩 맵을 생성하는 것을 포함할 수 있을 것이며, 그리고 상기 알파 블렌딩 맵은 상기 메인 시리즈 이미지들을 연결하는데 있어서 사용될 수 있을 것이다.

파노라마 이미지를 생성하기 위한 추가의 방법이 제공된다. 상기 방법은 파노라마 씬의 디지털 이미지들의 메인 시리즈를 획득하고 그리고 그 메인 시리즈에 대응하는 상대적으로 낮은 해상도 이미지들의 시리즈를 획득하는 두 가지 모두를 하도록 구성된 프로세서-기반의 이미지 획득 기기를 이용하는 것을 포함한다. 상기 기기는 파노라마 씬을 가로질러서 패닝된다. 이 패닝 동안에, 디지털 이미지들의 상기 메인 시리즈는 상기 기기를 이용하여 획득된다. 디지털 이미지들의 상기 메인 시리지 각각은 상기 파노라마 씬의 상이한 각도 범위를 포함한다. 상기 메인 시리즈의 디지털 이미지와 같은 종류의 파노라마 씬에 실질적으로 대응하는 상대적으로 낮은 해상도 이미지들의 상기 시리즈가 획득되고 그리고/또는 생성된다. 상대적으로 낮은 해상도 이미지들의 상기 시리즈를 연결하는 맵이 생성된다. 디지털 이미지들의 상기 시리즈는 상기 맵을 기반으로 하여 연결되어 메인 파노라마 이미지를 형성하며, 이는 디스플레이되고, 저장되고, 추가로 프로세싱되고 그리고/또는 전송된다.

상기 방법은 상기 패닝 동안에 상대적인 씬 변위를 추정하는 것을 또한 포함할 수 있을 것이다. 상기 파노라마 씬의 부분들은 상기 상대적인 씬 변위에 대한 추정을 적어도 부분적으로 기반으로 하여 상기 패닝 동안에 선택적으로 캡쳐될 수 있을 것이다. 상기 방법은 상기 상대적인 씬이 불충분하다고 판별되면, 예를 들면, 프레임 대 프레임 겹침이 10% 내지 40% 사이 또는 20% 내지 30% 사이의 범위 또는 다른 세트나 선택된 범위의 밖에 있는 것으로 판별되면, 사용자에게 통지하고, 하나 또는 그 이상의 이미지들을 폐기하고 그리고/또는 상기 방법을 중단시키는 것을 포함할 수 있을 것이다.

상대적인 씬 변위를 추정하는 것은 다중의 이미지 쌍들에 대한 다중-차원 변위 추정을 포함할 수 있을 것이다. 수평 (긴 파노라마 이미지 차원) 및 수직 오프셋들은 상기 상대적인 씬 변위에 대한 추정을 기판으로 하여 상기 시리즈 내 연속적인 이미지들 사이에서 결정될 수 있을 것이다. 상기 시리즈 중 어떤 이미지는 그 이미지가 상기 시리즈의 이전 이미지보다 더 작은 문턱값 수평 오프셋을 가지면 폐기될 수 있을 것이다. 상기 기기의 패닝이 문턱값 움직임을 초과하지 않을 때에 사용자는 통보받을 수 있을 것이다. 수직 오프셋이 그 시리즈의 다른 이미지의 문턱값 오프셋을 초과할 때에 상기 사용자는 또한 통보받을 수 있을 것이며, 그리고/또는 그 시리즈의 이미지는 폐기될 수 있을 것이다.

메인 시리즈 그리고 상대적으로 낮은 해상도 이미지들을 연결하는 것은 스티칭을 포함할 수 있을 것이다. 상기 스티칭은 이미지들의 에지 영역들을 정렬하고 그리고/또는 정합시키며, 그리고 매칭된, 정렬된 이미지들을 블렌딩하는 것을 포함할 수 있을 것이다. 상기 휴대용 이미징 기기로 파노라마 이미지를 획득하기 위해서 노출 레벨이 우선일 수 있으며, 그리고/또는 상기 연결하는 것은 노출, 색상 균형 및/또는 휘도를 매칭시키는 것을 포함할 수 있을 것이다. 상기 블렌딩은 상기 파노라마 이미지의 인접한 컴포넌트 이미지들 사이에서 생성된 이음자국 라인을 흐릿하게 하는 것을 포함할 수 있을 것이다.

상기 맵은 상기 상대적으로 낮은 해상도 이미지들을 연결하는 것으로부터 결정된 이음자국들에 대한 대략적인 최적 스티칭에 관한 정보를 포함할 수 있을 것이다. 상기 메인 시리즈를 연결하는 것은 상기 낮은 해상도 시리즈에 대한 알파-블렌딩 맵을 상기 메인 시리즈로 매핑하는 것을 포함할 수 있을 것이다. 상기 방법은 상기 낮은 해상도 시리즈를 위한 알파-블렌딩 맵을 상기 메인 시리즈로 매핑하는 동안에 픽셀 오프셋들이 발생하는 것을 방지하기 위해서 상기 상대적으로 낮은 해상도 이미지들의 서브-픽셀 이미지를 정합하는 것을 포함할 수 있을 것이다. 상기 상대적으로 낮은 해상도 이미지들의 시리즈 그리고/또는 상기 메인 시리즈를 연결하는 것은 상기 상대적인 씬 변위를 추정한 것을 부분적으로 기반으로 할 수 있을 것이다.

파노라마 이미지를 카메라 내부에서 생성할 수 있는 휴대용 카메라 기능이 있는 기기가 또한 제공되며, 이 기기는 렌즈, 이미지 센서, 프로세서 및 여기에서 설명된 파노라마 이미지 생성 방법을 수행하도록 상기 프로세서를 프로그래밍하기 위한 내장된 코드를 구비한 프로세서 독출 가능 매체를 포함한다.

여기에서 설명된 파노라마 이미지 생성 방법들 중 어느 하나를 수행하기 위해서 프로세서를 프로그래밍하기 위한 내장된 코드를 구비한 컴퓨터-독출가능 저장 매체가 또한 제공된다.

HD 비디오 또는 고 해상도 스틸 이미지들 중 어느 하나를 캡쳐할 수 있는 디지털 이미징 기기 내에서 고 해상도 파노라마 이미지를 생성하는 방법이 제공된다. 상기 방법은 사용자 개입 없이 그리고 상기 이미징 기기의 움직임을 외부에서 측정할 필요도 없이 수행된다. 또한 상기 방법은 "실-시간"으로 그리고 작은 개수의 고 해상도 비디오 프레임들 또는 스틸 이미지들을 보통 한 번에 저장할 수 있는 그런 기기들 상에서 제한된 메모리 자원들에 대한 고려를 하면서 수행된다.

상기 방법은 파노라마 이미지가 캡처될 것으로 소망되는 씬을 가로질러서 사용자가 상기 기기를 자연스러운 속도로 패닝하는 것을 포함한다. 상기 기기는 사용자가 씬을 가로질러서 패닝할 때에, 보통의 비디오 시퀀스를 캡쳐할 때에 했던 것과 동일한 방식으로 그 씬을 디스플레이한다.

상기 방법은 메인의 고-해상도 비디오나 스틸 이미지들보다 더 낮은 해상도의 이미지들의 시퀀스를 캡쳐하거나 생성하는 것을 포함한다. 카메라 기능이 있는 기기는 이미징 센서에 의해서 캡처된 데이터의 실시간 디스플레이를 제공하기 위해서 보통 사용되는 저 해상도 이미지들의 시퀀스인 "미리 보기 스트림"을 생성하는 하드웨어를 통합할 수 있을 것이다.

그런 미리 보기 스트림이 이용 가능하지 않을 경우에 기기는, 풀 이미지 또는 비디오 프레임의 더 낮은 해상도 버전을 거의 즉시로 생성할 수 있는 "이미지 서브샘플링 유닛"을 여전히 구비할 수 있을 것이다.

본 발명의 효과는 본 명세서의 해당되는 부분들에 개별적으로 명시되어 있다.

도 1은 특정 실시예들에 따라 메인 이미지 획득 및 프로세싱 체인으로부터 풀 해상도 메인 이미지들 및 서브샘플링된 또는 크기 조절된 이미지들을 생성하도록 구성된 디지털 이미징 기기의 특징들 도시한다.
도 2는 두 개의 이미지 프레임들에 대한 수평의 이미지 프로파일들의 예시의 곡선들을 보여주며, 이는 상기 두 개의 이미지 프레임들 각각에 대해서 각 행에 대한 열들의 합들을 그린 것을 포함하며, 이 경우에 도시된 곡선들은 실질적으로 겹쳐진다.
도 3은 도 2의 프로파일의 예시의 곡선들로서, 상기 프로파일들을 따라서 차이들을 계산한 이후의 것이며, 또한 이 경우 도시된 곡선들은 실질적으로 겹쳐진 것이다.
도 4는 도 2 및 도 3의 두 개의 이미지 프레임들 사이에서 움직임 추정을 도시한 곡선을 보여준다.
도 5는 비디오 또는 연속하는 이미지 프레임들로부터 측정된 수평의 카메라 움직임에 대해 픽셀 시프트 대 프레임 개수의 곡선을 보여준다.
도 6은 비디오 또는 연속 이미지 프레임들로부터 측정된 수직의 카메라 움직임에 대해 픽셀 시프트 대 프레임 개수의 곡선을 보여준다.
도 7a는 프레임들 사이에서 실질적으로 수평으로 움직이고 그리고 수직으로는 약간 움직이는 카메라로 찍은 연속 이미지들로부터 같이 스티치된 세 개의 이미지들을 도시하며, 이 경우 상기 세 이미지들 각각은 하나 또는 두 인접한 이미지들과 수평으로는 약간 그리고 수직으로는 실질적으로 겹친다.
도 7b는 도 7a에서 같이 스티치된 세 개의 이미지들 중 둘 또는 그 이상을 수직 방향에서 크롭하여 생성된 파노라마 이미지를 도시한다.
도 8은 레퍼런스 프로파일을 특정 실시예에 따라서 시프트된 프로파일의 보간된 값들과 비교하는 것을 도시한 곡선이다.
도 9는 특정 실시예들에 따른 서브-픽셀 시프트에 관하여 프로파일들 사이의 오차의 변화들을 도시한 곡선이다.
도 10은 특정 실시예들에 따른 프로세스의 일부로서, 겹치는 영역을 가로질러 서로에게 향하여 전파되는 두 개의 윤곽 (contour)들의 전개를 도시한다.
도 11은 특정 실시예들에 따른 프로세스에 의해서 두 개의 이미지들로부터 생성되고 블렌딩된 파노라마 이미지를 보여준다.
도 12는 도 11에서 도시된 파노라마 이미지의 생성에 있어서 사용된 블렌드 마스크를 도시한다.
도 13은 특정 실시예에 따른 이미지 블렌딩 프로세스를 도시한다.
도 14a 및 도 14b는 입체적인 파노라마 이미지를 생성하기 위해서, 3차원 컴포넌트 이미지를 생성하고 그리고 추가의 3차원 컴포넌트 이미지들과 결합하기 위해서 사용될 수 있을 이미지 캡쳐들 사이에 몇 센티미터만큼 이격된 디지털 카메라에 의한 두 개 이미지들 캡쳐를 도시한다.
도 15는 도 14a 및 도 14b의 디지털 카메라의 상대적 수평의 공간 변위들을 보여주는 파노라마 스윕 시퀀스로부터의 이미지 프레임들을 도시하며, 이 경우 이미지들의 쌍들이 병합되어 입체적인 파노라마 이미지들을 형성한다.
도 16a 및 도 16b는 입체적인 파노라마 이미지들을 형성하기 위해서 병합될 이미지 쌍들의 캡쳐 사이의 디지털 카메라 변위의 멀리 있는 더 짧은 거리와 파노라마 스윕 반경 사이의 관계를 도시한다.
도 17은 왼쪽 크롭 및 오른쪽 크롭을 이용하여 개별 키 프레임들로부터 입체적 (3D) 파노라마 이미지를 생성하기 위한 기술을 도시한다.

도 1은 메인 이미지 획득과 프로세싱 체인으로부터 풀 해상도 메인 이미지들을 생성하고 그리고 서브샘플링된 (크기 조절된) 이미지들을 캡쳐하도록 구성된 디지털 이미징 기기를 도시한다. 센서 (102)는 풀-해상도 이미지를 캡쳐하고, 그리고 그 이미지 데이터는 센서 프로세싱 (104) 및 이미징 파이프라인 (106)에 인가된다. 이미지 서브샘플러 (108)는, 예를 들면, 상기 풀-해상도 이미지 데이터 내 전반적인 픽셀들의 1/n 부분만을 선택하여 또는 그렇지 않다면 서브샘플링된 이미지를 제공하여 풀-해상도 이미지 데이터로부터 서브샘플링된 이미지들을 생성하며, 예를 들면, 이 경우 상기 서브샘플링된 이미지의 각 픽셀은 고-해상도 이미지의 n 개 픽셀들을 나타낸다. 상기 고 해상도 이미지들은 참조번호 110에서 JPEG 압축될 수 있을 것이다. 그 압축된 풀-사이즈 이미지들 (111)은 임시 이미지 저장부 (112)일 수 있는 메모리 (112) 내에 서브샘플링된 이미지들 (114)과 함께 저장될 수 있을 것이다. 저-해상도 파노라마 이미지 (116)가 생성되며, 그리고 둘 또는 그 이상의 서브샘플링된 이미지들 (114)을 연결시켜서 상기 이미지 저장부 (112)에 임시로 저장될 수 있을 것이다. 상기 저-해상도 파노라마 이미지 (116)는 디스플레이될 수도 있고 또는 디스플레이 되지 않을 수도 있을 것이다. 이미지 포스트-프로세서 (118)는 저-해상도 파노라마 이미지 (116)를 생성하는데 있어서 모인 정보를 기반으로 하여 고-해상도 파노라마 이미지 (120)를 생성하며, 그럼으로써 컴퓨팅 자원들을 유리하게도 절약시킨다. 상기 고-해상도 파노라마 이미지 (120)는 SD 카드 또는 유사한 것과 같은 이미지 저장부 (122)에 풀-사이즈 이미지들 (111)과 함께 저장될 수 있을 것이다.

상기 저-해상도 이미지들 (또는 lo-res 이미지들)은 다음과 같은 다른 실시예에 따라서 프로세싱될 수 있을 것이다. 우선, 초기 저-해상도 이미지 또는 비디오 프레임이 첫 번째 레퍼런스 프레임으로서 획득되어 사용될 수 있을 것이다. 대응 고-해상도 이미지가 저장된다. 다음에, 추가의 저-해상도 이미지들이 특정 실시예들에서 획득될 수 있을 것이며, 그리고, 예를 들면, 미국 공개 특허 2008/0309769에서 설명된 것과 같은 전체적인 움직임 추정의 옵션의 방법이 레퍼런스 프레임과 추가의 각 이미지 프레임 사이에 적용되어 그것들의 수평 오프셋 및 수직 오프셋을 결정하도록 할 수 있을 것이다. 상기 수평 오프셋이 미리 정해진 범위보다 더 작으면, 그러면 저-해상도 프레임이 대응하는 고-해상도 이미지와 함께 폐기될 수 있을 것이다. 특정 실시예들에서 (예를 들면, 스틸 카메라), 상기 대응 고-해상도 이미지를 획득하는 것은 아직 완료되지 않을 수 있을 것이다. 그런 경우들에서, 고-해상도 이미지 캡쳐는 간단하게 취소되고 그리고 새로운 획득이 개시될 수 있을 것이다.

충분한 수평 방향으로의 움직임이 특정 시간 프레임 내에 달성되지 않을 때에, 상기 프로세스는 중단되고 그리고/또는, 예를 들면, "사용자가 카메라를 패닝하지 않았다"와 같은 오류 메시지가 디스플레이될 수 있을 것이다. 대안으로, 경고하는 비프음이 더 빠르게 패닝할 것을 사용자에게 표시할 수 있을 것이다. 상기 수직 오프셋이 미리 정해진 문턱값을 초과하면, 오류 표시가 제공되어 그것들이 "표류하고" 있다고 사용자에게 경고할 수 있을 것이다. 특정 실시예들에서, 파노라마 프로세스에서 적당한 속도로 사용자가 그 기기를 씬을 가로질러서 패닝하면서도, 어떤 사용자 방향도 결부되지 않는다.

일단 미리 정해진 수평 오프셋이 달성되면, 예를 들어, 일 실시예에서 상기 프레임-대-프레임 겹침이, 예를 들어 10-30% 및 20-40% 사이에 또는 20%와 30% 사이에서 세팅될 수 있을 것이며, 그러면 그 프레임은 유지되고 그리고 대응하는 고-해상도 이미지는 저장된다. 이 유지된 프레임은 다음 레퍼런스 이미지가 되며 그리고 상기 프로세서는 반복된다.

충분한 개수의 겹친 프레임들이 사용자 선택, 이미 정의된 한계의 어느 하나를 기반으로 하여, 또는 상기 기기 메모리의 한계로 인해서 결정된 이후에, 상기 획득 프로세서는 중단된다. 상기 저-해상도 이미지들은 낮은-자원이 내장된 기기들에 대해서 특히 유효한 방법을 사용하여 다음에 "연결"된다. 그 결과인 저 해상도 이미지는 그러면 크롭되며 그리고 사용자 수락을 위해서 옵션으로 디스플레이 된다.

저-해상도 파노라마를 형성하기 위해서 상기 저-해상도 이미지들을 연결하는 프로세스의 끝에서, 상기 파노라마 내 저-해상도 또는 레퍼런스 이미지 프레임들의 인접한 쌍들 사이에서 겹치는 구역들을 연결하기 위해서 알파-블렌딩 맵 (alpha-blending map)이 생성될 수 있을 것이다. 이 동일한 맵은 그러면 고-해상도 파노라마 이미지를 생성하려고, 대응하는 고-해상도 이미지들을 연결하기 위해서 유리하게 사용될 수 있을 것이다. 이 알파-블렌딩 맵을 사용하는 것은 상기 고-해상도 이미지들에 대해서는, 연결 알고리즘들이 반복될 필요가 없다는 것을 의미하며, 그렇지 않다면 상기 연결 알고리즘들은 자원 집약적일 수 있을 것이며, 이는 각 이미지 쌍 사이의 "최적의 이음자국 (seam)"은 상기 저-해상도 이미지들을 연결하는 것으로부터 이미 유리하게 결정되었기 때문이다.

알파-블렌딩 맵을 저-해상도 이미지 쌍으로부터 고-해상도 이미지 쌍으로 매핑할 때에 픽셀 오프셋이 발생하지 않는다는 것을 보장하기 위해서, 저-해상도 이미지들 상에서 서브-픽셀 이미지 정합 (image registration)을 수행하는 방법이 특정 실시예에서 또한 제공된다. 상기 고-해상도 파노라마 이미지는 그러면 JPEG으로 압축되어 저장된다.

특정 실시예들에서, 저-해상도 쌍들을 연결하는 것은 새로운 저-해상도 이미지 프레임들을 획득하는 것과 인터리빙될 수 있을 것이다. 다른 실시예들에서, 상기 이미지 획득 체인 내에서 충분한 하드웨어 지원이 제공되는 경우에, 상기 고-해상도 이미지들의 부분들을 연결하고 그리고 JPEG 압축하는 것 또한 저-해상도 이미지들을 획득하고, 정합하며 그리고 연결하는 것과 인터리빙될 수 있을 것이다.

이미지 스티칭 (IMAGE STITCHING)

특정 실시예들에 따라서 파노라마 이미지의 생성에 적용되는 것과 같은 이미지 스티칭은 다음의 단계들 중 어느 하나 또는 모두를 포함할 수 있을 것이다:

1. 이미지 캘리브레이션 (calibration)으로, 원근 교정, 비네팅 교정 및/또는 색수차 교정을 포함하며, 이 경우 이미지들은 결과들을 개선하기 위해서 이 옵션의 단계에서 프로세싱될 수 있을 것이다.

2. 이미지 정합 (image registration)으로, 변환, 회전 및/또는 초점 길이에 대한 분석을 포함하며, 이 경우 직접의 또는 특징-기반의 정렬 방법들이 사용될 수 있을 것이다. 직접 정렬 방법들은 겹친 픽셀들 사이의 차이들의 절대값의 합을 최소화하는 이미지 방위 (image orientation)들을 찾을 수 있을 것이다. 특징-기반의 방법들은 다중의 이미지들에서 나타나고 그리고 그 이미지들을 겹치게 하는 특징들을 식별함으로써 적절한 이미지 방위들을 결정한다.

3. 이미지 블렌딩 (image blending), 또는 그렇지 않다면 섹션들을 결합하는 것으로, 다음의 것들 중 어느 하나 또는 모두를 포함할 수 있을 것이다: 색상 교정으로서, 이음자국들이 눈에 보이는 것을 피하기 위해서 색상, 대비 및/또는 밝기에 대해 컴포넌트 이미지들의 인접하는 영역들을 매칭하는 것을 포함한다; 그리고/또는 움직이는 물체들에 대해서 보상하기 위한 움직임 보상, 디고스팅 (deghosting) 및/또는 디블러링 (deblurring).

특정 실시예들에 따른 기술들은 단계 1을 포함하지 않으며, 대신에 파노라마 이미지로 프로세싱될 이미지 시퀀스를 획득하기 이전에 카메라 노출을 고정한다. 추가로, 이미지 정합은 특정 실시예들에서, 각 인접 이미지의 픽셀들에 대해서 취해질 계산을 포함할 수 있을 국지적인 픽셀 단위 (pixel-by-pixel) 분석을 기반으로 하기보다는, 이미지 행들 및 열들에 대한 전체적인 이미지 분석을 기반으로 하여 이미지들의 상대적인 변위들을 결정하는 것을 포함할 수 있을 것이다.

단계 3에서, 단일의 동작에서 알파 블렌딩 맵 그리고/또는 이미지 이음자국을 결정하는 것을 포함하는 실시예들에서 국지적인 대비 및/또는 밝기 레벨들에 대한 분석 및/또는 색상 교정은 삭제될 수 있을 것이다.

유리하게도, 특정 실시예들에 따른 기술들은 통상적인 이미지 스티칭 알고리즘들에서 사용된 특정의 그렇지 않다면 표준의 단계들 없이도 수행될 수 있을 것이며, 그리고/또는, 그러면서도, 상대적으로 낮은 시스템 메모리 그리고/또는 계산 자원들을 구비할 수 있을 내장된 컴퓨팅 시스템에서의 구현에 특히 적합한 방법을 제공하기 위해서 특정 단계들을 간략화시킨다. 그처럼, 특정 실시예에 따른 "스티칭" 기술은 통상적인 스티칭 알고리즘들과는 아주 많이 다르기 때문에 "연결하기 (joining)"로서 언급될 수 있을 것이다.

자동적인 파노라마 이미징 (AUTOMATIC PANORAMA IMAGING)

사용자로부터의 입력을 거의 또는 아예 필요로 하지 않는 자동적인 파노라마 이미지를 생성하기 위해서, 특정 실시예들에 따라서 다음의 것들이 채택될 수 있을 것이다. 먼저, 모든 획득된 이미지들이 프레임 간 색상 또는 색조 조절들에 대한 필요 없이도 결합될 수 있는 것을 확실하게 하기 위해서, 프로세싱될 이미지들의 메인 세트를 획득하기 이전에 상기 이미징 기기 상에서 노출 레벨이 고정된다. 그 레벨은 파노라마 시퀀스의 초기 프레임의 획득에 적합한 레벨에서 간단하게 고정될 수 있을 것이다. 다른 실시예들에서, 사용자는 그 노출 레벨을 수동으로 증가시키거나 또는 감소시키도록 허용될 수 있을 것이다. 대안의 실시예에서, 상기 사용자는 전체 씬에 걸친 평균 노출 레벨이 결정될 수 있도록 하기 위해서 상기 파노라마 씬에 대한 선 스캔 (prescan)을 수행할 것을 촉구받을 수 있을 것이다. 이 "선 스캔"은 메인 획득 스윕 이전에 상기 파노라마 씬을 가로질러서 카메라-전화기를 스윕하는 것을 포함할 수 있을 것이다.

특정 실시예들에 따른 파노라마 생성의 두 번째 단계는 파노라마 이미지를 캡쳐할 것이 요망되는 씬을 가로질러서 사용자가 자연스러운 속도로 기기를 스윕하거나 또는 패닝하는 것을 포함한다. 상기 기기는 사용자가 상기 씬을 가로질러서 패닝할 때에, 보통의 비디오 시퀀스를 캡쳐할 때 도는 스틸 이미지를 구성할 때에 그러는 것과 동일한 방식으로 그 씬을 옵션으로 실시간 디스플레이할 수 있을 것이다. 이 스위핑 또는 패닝의 끝 부분에서, 상기 획득 프로세스는, (i) 다음의 이미지 프레임들 사이에 어떤 변화 (또는 어떤 문턱값보다 작은 변화)도 존재하지 않는다는 것을 탐지하여 (사용자는 카메라를 고정된 위치에 유지한다) ; (ii) 다음의 이미지들 사이에 어떤 유사성 (또는 어떤 문턱값보다 작은 변화)도 존재하지 않는다는 것을 탐지하여 (사용자는 카메라를 상이한 시야 범위로 매우 빠르게 움직인다); (iii) (모션 센서를 구비한 카메라들에 대해) 카메라의 돌발적인 움직임을 탐지하여; (iv) 눌러진 스위치 또는 릴리즈 된 "데드-맨" 스위치 ("dead-man" switch)를 탐지하여; (v) 시간 구간이 경과된 것을 탐지하여; (vi) 획득된 메인 이미지 프레임들의 문턱값 개수 또는 상기 기기의 메모리 용량의 포화를 탐지하여, 또는 상기 이벤트들의 다양한 조합들을 탐지하는 여러 방식들 중 어느 하나의 방식으로 종결될 수 있을 것이다

카메라-전화기가 파노라마 스윕 동안에 이미지들을 획득하고 있을 때에, 풀 파노라마 이미지가 실시간으로 획득될 수 있도록 하기 위해서 이 이미지들을 계속해서 프로세싱할 수 있을 것이다. 이 프로세싱 동안에, 획득된 이미지들에서 최종 파노라마에 관련된 이미지들은 유지되는 반면에, 많은 이미지들이 특정 실시예들에 따른 소팅 프로세스에서 폐기될 수 있을 것이다. 더욱이 이 이미지들은 실시간으로 정합될 수 있을 것이다. 그 정합된 이미지들 상에 블렌딩 동작이 수행될 수 있을 것이다.

특정 실시예들에서, 메인의 획득 이미지들 또는 비디오 프레임들의 서브샘플링된 버전들 상에서 상기 소팅, 적합 그리고 초기 블렌딩이 수행될 수 있을 것이다.

상기 소팅 프로세스는 대응하는 메인 이미지 프레임들이 유지되거나 또는 즉각 폐기되는 것을 가능하게 하여, 풀 사이즈 이미지들 중 작은 개수의 이미지들이 상기 파노라마 스윕 동안에 저장되도록 한다.

상기 정합 및 블렌딩 프로세스는 저-해상도 이미지들 사이에서 저-해상도 이미지들 사이에서 최적의 "이음자국 라인"이 획득된 이미지들로서 결정되는 것을 가능하게 할 수 있을 것이다. 파노라마 스윕이 종결되자마자, 유지된 풀-해상도 이미지들은 대응하는 저-해상도 이미지 또는 미리 보기 이미지들로부터의 정합 및 최적 이음자국 정보를 이용하여 어떤 지연도 없이 같이 연결될 수 있을 것이다.

결과인 고-해상도 파노라마 이미지는 그러면 JPEG 포맷으로 압축되고 그리고 저장될 수 있을 것이다.

특정 실시예들에서, 저-해상도 쌍들을 연결하는 것은 새로운 저-해상도 프레임들을 획득하는 것과 인터리빙된다.

다른 실시예들에서, 이미지 획득 체인 내에서 충분한 하드웨어 지원이 제공되는 경우, 상기 고-해상도 이미지들의 부분들을 연결하고 그리고/또는 JPEG 압축하는 것의 하나 또는 그 이상의 세그먼트는 저-해상도 이미지들의 획득, 소팅, 정합 그리고/또는 블렌딩과 또한 인터리빙될 수 있을 것이다.

이미지 정합 (IMAGE REGISTRATION)

특정 실시예들에서, 한 이미지 프레임의 x 및 y 픽셀 변위들이 다음에 관련하여 결정된다. 이 변위 정보는 그러면 파노라마 이미지를 생성하는데 있어서 사용될 이미지 프레임들을 선택하기 위해서 사용될 수 있다. 이 맥락에서, US20060171464 및 US20080309769에서 설명된 실시예들이 사용될 수 있을 것이다. 비디오 안정화 방법이 이미지-프로세싱 기술들을 이용하여 설명된다. 특정 실시예들에 따른 기술들은 이미지 프레임들의 하나 또는 그 이상의 쌍들 (또는 시퀀스)의 프레임 간 (inter-frame) 수평 및 수직 변위들을 추정하는 것을 포함한다.

이미지 프레임 변위 정보는 소망되는 개수의 픽셀들만큼 이전의 이미지 프레임에 겹칠 이미지 프레임을 선택하기 위해서 사용될 수 있다. 특정 실시예들에서, 새로운 풀-해상도 이미지들을 획득하도록 (또는 완전한 획득을) 카메라에게 지시하는 것이 대안으로 사용될 수 있을 것이다.

프레임 간 변위 측정에 대한 더욱 깊숙한 설명이 아래에서 제시된다. 이 설명에서, 프레임 간 X, Y 변위들을 결정하기 위해서 두 번째 이미지 프레임 (이미지 2)이 첫 번째 이미지 프레임 (이미지 1)과 비교된다.

x-방향에서의 (수평에서의) 변위를 측정하기 위해서, 이미지 1 및 이미지 2 내 열들 (columns)이 합산되며, 그 프로세싱은 다음과 같이 설명된다.

이미지 1 및 이미지 2의 프로파일들은 합산되며 그리고 예시적인 실시예에서 길이의 길이 15의 동작하는 평균 커널을 이용하여 평탄하게 (smooth)된다. 예를 들면, 프로파일들을 더 평탄하게 하기 위해서 증가될 수 있도록 그 길이는 가변일 수 있다. 상기 이미지 픽셀 값들은 열들을 따라서 합산되며 그리고 그 열들로부터의 합들은 벡터를 형성하며, 이 벡터는 예시의 실시예에 따라서 여기에서는 프로파일로서 언급될 수 있을 것이다. 간략함을 위해서, RGB 이미지인 경우에는 G 채널만이 사용되며 그리고 YUV 이미지의 경우에는 Y 채널만이 사용된다. 이미지의 상세한 내용에 관한 충분한 정보를 포함하는 임의의 색상 채널은 그 경우에 사용될 수 있다. 정합된 이미지들 둘 모두로부터의 프로파일들은 이미지 크기와 잡음의 양에 적응된 길이의 컨벌루션 커널을 이용하여 평탄하게 되고 미분된다. 특정 실시예들에서 길이는 가변이며, 그리고 증가되거나 감소될 수 있다.

이는 작은 특징들 및 잡음을 필터링해서 걸러내는 효과를 가진다. 그런 방식에서, 움직임 추정은 영화 시퀀스에서 강한 에지들을 기반으로 한다. 이는 X, Y 변위가 노출에 있어서의 변화에 더 강건하다는 것을 또한 의미한다. 이 추정 접근 방식은 노출 레벨, 잡음 레벨 및 해상도가 변하는, 광범위하게 넓은 이미지 씬들에 대해서 극히 잘 동작한다.

수평 (X) 변위 추정은 모든 열들을 합산하고 그리고 수직 (Y) 변위 추정은 상기 이미지의 열들을 따라서 합산한다. 그 후에 움직임 추정의 프로세스는 동일하며, 그러므로 수평 변위의 열들만이 아래에서 약술된다. 초기에 각 행의 열들 모두는 이미지 1 및 이미지 2에 대해서 합산된다. 이는 변위 추정으로부터 이미지 프로파일들을 생성할 것이다.

% Sum Images

horl = sum(iml); %수평 프로파일들을 생성하기 위해서 열들을 따라서 합산

hor2 = sum(im2);

MATLAB에서의 상기 프로세스는 아래의 식과 등가이다.

horl= y=ly=niml(x,y)

이 경우 n은 열들의 개수이다. 이는 열들의 합산 값들 대 행 번호들로서의 수평 이미지 프로파일들의 도 2에서 아래에 도시된 것과 같은 곡선을 생성한다. 도 2는 열들이 합산될 때에 그리고 차이들이 계산된 이후에 이미지 프로파일들을 도시한다.

다음의 단계는 상기 프로파일들을 미분하고 평탄하게 하는 것이다. 이는 이미지들 사이의 강도 (intensity) 차이들에 불변인 변위 추정을 만드는 효과를 구비한다.

프로파일 차이들 (Profile Differences)

horl=diff (horl); %이미지 1 및 이미지2에 대한 프로파일들을 따라서 차이들을 취한다

hor2=diff (hor2);

이는 아래의 등식과 등가이다.

horli=xi-xi+l for i=l:m-l,

이 경우, m은 행들의 개수이다.

도 3은 차이들이 계산된 이후의 이미지 프로파일들을 도시한다. 도 3은 수평 이미지 프로파일들의 곡선들을 열들의 합산 값들 대 행 번호들로서 보여준다.

그러면 프로파일들은 다음의 MATLAB 코드를 이용하여 잡음의 영향들을 축소키기 위해서 평탄하게 된다. MATLAB에서 컨벌루션 함수가 사용되며, 이는 아래에서 보이는 것과 같이 평균 필터를 동작시키는 것과 동등하다.

xi=xii-15ixi

% 길이 15의 커널을 이용한 평탄화 (Smooth) 프로파일들 - 이 길이는 가변이라는 것에 유의한다

% 프로파일의 잡음/평탄 (smoothness)에 종속됨

kernel=15; % 평균 커널 동작 길이 설정

avg=ones(1, kernel )./kernel; %평균 커널 동작

horl = conv(horl, avg); %평균 커널 동작을 이용하여 프로파일들 평탄화

horl = horl(kernel/2:end-kernel/2 ); %커널에 의해서 생성된 크롭 프로파일 종단들

hor2 = con(hor2, avg);

hor2 = hor2(kernel/2: end-kernel/2 );

wl=length(horl); %수평 프로파일들의 길이

herr=zeros (1,2*radius+l); %herr를 수평 프로파일의 calc meanSq 오차로 초기화

그러면, 하나의 이미지 프로파일이 다른 것에 상대적으로 1 픽셀 시프트들에서 시프트된다. 각 시프트에서, 차이들의 절대값의 합산이 계산되어 상기 차이들을 최소화하는 시프트를 찾도록 한다.

herr(i+radius+1 -imx)=sum(abs(hor 1 -hor2))/w1;

이는 다음의 식과 동등하다.

herri=i-30i+3Ohor1-hor2(i)w1

상기의 연산의 결과는 오차 함수의 곡선이며, 이것으로부터 수평 방향에서 이미지 1과 이미지 2 사이의 프레임-대-프레임 변위의 양을 제공하는 최소의 위치를 발견한다. 예를 들면, 도 4에서, 측정된 변위는 -1 픽셀이다.

도 4는 프로파일들 대 픽셀 시프트를 시프트하여 발견된 차이들의 절대값의 합을 곡선으로 그림에 의한 움직임 추정을 도시한다. 도 4는 차이들이 계산된 이후에 이미지 프로파일들을 도시한다. 도 4에서 최소의 위치는 프로파일들 사이의 변위들을 표시한다.

진술된 것처럼 동일한 프로세스가 수직 변위 추정에 대해서 수행된다. x 및 y 움직임 추정들이 전체 값에 대해서 그리고 상기에서 설명된 4개의 서브-구역들에 대해서 계산된다. 씬 내에서 피사체 움직임으로 인한 오차들을 필터링하여 걸러내기 위해서 사용되는 방법은 아래에서 설명된다. 이 부분에서 논리 동작들만을 설명하기 위해서는 어떤 계산도 존재하지 않는다.

도 5에 도시된 곡선은 누적 x-시프트를 이미지 프레임 개수와 함께 수평 방향을 따라서 픽셀들로 도시한 것이다. 도 5는 카메라의 전체 수평 움직임을 프레임 개수에 대한 픽셀 시프트로서 보여주는 누적 곡선을 도시한다.

동일한 프로세스가 수직 변위들에 대해서 반복된다. 상기 첫 번째 이미지 프레임에 대한 수직 변위의 예가 도 6에 도시된다. 도 6은 카메라의 전체 수직 움직임을 프레임 개수에 대한 픽셀 시프트로서 보여주는 누적 곡선을 도시한다.

US 20080309769에서 설명된 원래의 변위 추정 알고리즘은 프레임으로부터 프레임으로가 아니라 첫 번째 프레임에 대한 xy-시프트들을 추적하기 위해서 설계되었다.

이미지들이 유지되어야만 하는 소팅 메커니즘을 또한 제공하기 위해서 이 변위 추정 기술을 확장하기 위해 모든 더 이전의 이미지 프레임들로부터의 변위 정보를 유지하며 그리고 연속한 이미지들에 대한 검색 영역을 조절하기 위해서 이것들을 이용한다. 그래서 프레임 1 및 프레임 2로부터의 정보는 이미지 1 및 이미지 3에 대한 검색 영역을 조절하기 위해서 사용된다.

이는 이미지 1로부터 이미지 1+n으로의 전체 x-시프트가 주어진 개수의 픽셀들을 초과할 때까지 행해진다. 이 포인트에서, 이미지 1+n은 새로운 레퍼런스 프레임이 되며 그리고 이어지는 시프트들이 그것에 대해서 정합된다. 모든 중간의 프레임들 프레임 2, 프레임 3 ..., 프레임 n은 누락될 수 있을 것이며, 프레임 1 및 프레임 1+n만이 유지된다. 이 프로세스는 어떤 이벤트가 상기 파노라마 획득 프로세스를 종결시킬때까지 반복된다.

상기 소팅 프로세스에 대한 변위 값은 같이 연결될 이미지들 사이에 충분한 겹침이 존재한다는 것을 보장하기 위해서 선택된다. 그것은 이미지 프레임들 상에 렌즈 또는 광학적 왜곡들을 설명하기 위해서 또한 변경될 수 있을 것이다. 그래서 상당한 에지 왜곡이 존재하는 경우 이미지 프레임들 사이에 더 큰 겹침이 요청될 수 있을 것이다.

예들로서, 낮은 왜곡 렌즈 및 480x640의 저-해상도 비디오 프레임에 대해서, 수평 방향에서의 140개 픽셀들이 겹치는 것이 적절할 수 있을 것이며; 더 높은 왜곡 렌즈에 대해서는 250개 이상의 픽셀들이 필요할 수 있을 것이다. 후자의 경우에, 이미지들에 대한 연이은 블렌딩은 풀 이미지 프레임들을 사용할 수 없을 수 있을 것이며 - 블렌딩 프로세스에서 사용하기에는 너무 왜곡되었기 때문에 각 이미지의 각 끝 부분에서 25% (150개 픽셀들)까지 폐기될 수 있을 것이다.

이 프로세스는 비디오 프레임들의 전체 시리즈들에 대해서 반복된다. 그 결과는 시퀀스 내의 어떤 이미지 프레임의 x 및 y-시프트들은 읽혀질 수 있다는 것이다. 그러면 이는 파노라마 이미지를 생성하기 위해서 이미지들을 선택하는 것을 허용한다. 이미지들은 다른 이미지들에 대해, 예를 들면, 500개 픽셀들의 픽셀 시프트로 선택된다. 이미지 2는 그러면 x 방향으로는 500개 픽셀의 픽셀 시프트로 그리고 또한 상기 계산된 y 시프트로 이미지 1에 연결된다. 이는 다중의 연속 이미지들이 같이 연결하기 위해서 반복된다.

도 7a 및 도 7b의 이미지는 전체 움직임 추정 알고리즘을 이용하여 측정된 x 및 y 변위들을 이용하여 정합된 세 개의 이미지 프레임들의 예이다. 이 파노라마 이미지에 대해서 상기 프레임들은 620개 픽셀들의 수평 변위로 선택된다. 도 7a는 알고리즘에 의해서 선택되고, 그리고 특정 실시예들에 따라 계산된 x 및 y-시프트를 이용하여 정렬된 비디오 프레임들로부터 생성된 파노라마 이미지를 도시한다. 도 7b는 도 7a의 파노라마 이미지의 크롭된 버전을 도시한다.

서브-픽셀 정밀도를 이용한 이미지 정합 (IMAGE REGISTRATION WITH SUB-PIXEL PRECISION)

특정 실시예들에 따른 이미지 정합 방법은 적어도 일 픽셀의 정밀도로 수평 및 수직 변위들을 계산할 수 있다. 저-해상도 이미지로부터 풀-해상도 이미지로 크기 조절을 할 것이 요망될 때에, 상기 알고리즘은 통상적인 알고리즘들이 사용될 때에 명백한 이음자국 라인의 부분들에 걸친 현저한 오류들일 수 있을 것들을 방지하도록 구성된다.

예를 들면, QVGA 해상도에서 한 개의 픽셀 정합 오차는 720p HD 해상도에 대해서는 6개 픽셀 오차로 변형될 수 있다. 이 문제를 처리하기 위해서, 특정 실시예들에 따른 이미지 정합 방법이 서브-픽셀 정밀도로, 즉, 소수점의 정밀도로 이미지 변위들을 계산하기 위해서 확장되었다.

높은 픽셀 정밀도로 이미지들을 정렬하기 위해서 프로파일들의 스플라인 오버샘플링 (spline oversampling)을 기반으로 하는 추정이 사용될 수 있을 것이다. 이 알고리즘의 기반은 Catmull-Rom 스플라인 (A = -0.5인 큐빅 스플라인)일 수 있다. 양호한 성능 레벨을 유지하기 위해서, 프로파일들은 한 개의 픽셀 정밀도로 초기에 정렬될 수 있을 것이다. 미리 정의된 서브-픽셀 단계로 ㅁ 1 픽셀의 범위에서 변위를 찾기 위해서 오버샘플링 단계가 사용될 수 있을 것이다.

현재의 구현은 한 픽셀의 1/256의 최소 단계를 가정할 수 있을 것이다. 이 스플라인 덕분에, 계수들이 미리 계산되고 그리고 256 요소들을 가진 룩업 테이블 내에 저장될 수 있다. 최소 단계 값은 서브-픽셀 정렬 동안에 한 유닛으로서 사용될 수 있을 것이다. 저-해상도 이미지들의 대부분의 실질적인 업스케일링에 대해 몇몇의 실시예들에서는 충분할 수 있는 1/4 픽셀 정밀도를 획득하기 위해서, 추정을 위한 스텝 크기는 64로 세팅될 수 있다.

두 번째 프로파일은 단계 증가에 따라 왼쪽으로 그리고 오른쪽으로 시프트되며 그리고 샘플들 중간의 값들은 스플라인 보간법을 이용하여 계산된다. 상기 시프트가 모든 프로파일 샘플들에 대해서 균일하기 때문에, 그것은 모든 샘플들을 프로세싱하기 위해서 계수들의 단일 세트 정도만을 포함할 수 있을 것이다. 상기 단계들 중의 하나가 도 8에 도시된다.

도 1은 예시의 실시예에서 프로파일 1을 프로파일 2의 보간된 값들에 비교하는 곡선을 보여준다. 보간된 값들은 사각형들로 마킹되며 그리고 원들로 마킹된 레퍼런스 값들은 주어진 시프트에 대해서 오차들의 합을 계산하기 위해서 사용된다. 오차들의 최소의 합을 생성하는 시프트는 8비트의 분수 값을 가진 고정 소수점 포맷으로 리턴된다. 그 다음의 장면은 오차 대 시프트 곡선의 예를 보여준다.

도 2는 특정 실시예들에 따른 오차 메트릭 값들 대 서브-픽셀 시프트들을 보여준다. 오처 함수는 고려된 범위 내에서 그리고 올바른 분수 시프트를 찾는 것을 보증하는 국지적인 최소들 없이 평탄하다.

HD 비디오로부터의 파노라마 - 카메라 내에서의 구현

HD 비디오 프레임들로부터 파노라마를 생성하는 경우에, 상기에서 설명된 이미지 정합 프로세서는 실-시간, 카메라 내 구현을 허용하기에는 너무 많은 시간 그리고 메모리를 소비한다. 이 경우에, 특정 실시예에 따른 기술이 이어지는 예에서 예시된다.

1. HD 프레임들은 QVGA로 다운-샘플링된다;

2. 첫 번째 QVGA 프레임은 레퍼런스 프레임으로 간주된다;

3. QVGA 프레임들은 특정 실시예들에 따라서 레퍼런스 프레임과 정합된다;

4. 프레임들 사이에서 어떤 양의 겹침에 도달할 때에, 현재의 프레임 및 fp퍼런스 프레임은 특정 실시예들에 따라서 연결되거나 스티치된다. 연결 프로세스의 끝 부분에서, 이음자국 라인을 따라서 커널 블러링을 적용하여 알파-블렌딩 맵이 생성될 수 있을 것이다;

5. 상기 알파-블렌딩 맵은 HD 프레임 해상도로 업-샘플링될 수 있을 것이다;

6. HD 프레임들은 단계 5에서 생성된 맵을 이용하여 같이 블렌딩된다;

7. 현재 프레임이 레퍼런스 프레임이 되며, 특정 개수의 프레임들에 도달할 때까지 단계 3 내지 단계 7이 반복된다.

다음의 섹션들은 상기 알고리즘의 특정의 유리한 컴포넌트들을 예시한다.

이미지 연결 알고리즘 (IMAGE JOINING ALGORITHM)

이 알고리즘의 목표는 두 개의 겹친 이미지들 사이에서 최선의 이음자국 (seam) 위치를 찾아서, 상기 이미지들이 병합되어 파노라마를 생성할 수 있도록 하는 것이다. 눈에 보이는 절단 자국들을 생성하지 않도록 하기 위해서, 상기 이음자국은 그런 두 이미지들 사이의 차이들이 최소인 영역들을 통해서 지나가야만 한다.

일반적인 아이디어는, 겹친 이미지들 사이의 국지적인 차이에 종속된 속도로 서로를 향해서 이동할 겹친 영역의 반대편 측면들에서 개시되는 두 개의 윤곽 (contour)들을 구비하는 것이다. 그 윤곽들은 어떤 탄성을 가지고 상기 이미지를 수평으로 가로질러 전파 (propagate)하여, 비록 만일 이웃하는 픽셀들이 더 느린 속도를 가진다면 지연되지만, 특정 픽셀들이 더욱 빠르게 이동할 수 있도록 한다. 상기 아이디어는, 겹친 이미지들 사이에 큰 차이들이 존재하는 구역들을 통해서는 픽셀들이 빠르게 움직이고 그리고 그 이미지들 사이에 작은 또는 무시할만한 차이가 존재하는 곳에서는 픽셀들이 느리게 이동한다는 것이다. 이런 방식에서, 서로를 향하여 수평으로 전파되는 상기 두 윤곽들은 상기 두 이미지들 사이에 대략으로 최적의 또는 거의-최적인 이음자국에서 만나다.

일단 픽셀들이 상기 윤곽에 의해서 초대되면, 그 픽셀들은 그 윤곽에 연관된 관련 이미지에 할당되다. 그래서, 왼쪽으로부터-오른쪽으로의 윤곽 전파 (contour propagating)는 픽셀들을 왼-손 이미지와 연관시킬 것이다. 오른쪽으로부터-왼쪽으로 움직이는 윤곽은 픽셀들을 겹치는 이미지 쌍의 오른-손 이미지와 연관시킬 것이다. 상기 겹친 영역 내에 할당되지 않은 픽셀들이 더 이상 존재하지 않으면 상기 프로세스는 중단된다.

두 개의 겹치는 컴포넌트 이미지들은 수평 방향에서 겹치고 있거나 또는 파노라마의 긴 방향이나 패닝의 방향에서 겹치고 있는 것으로 생각된다. 그래서, 왼손 (LH) 이미지에만 속하는 구역이 존재하며, 그리고 오른손 (RH) 이미지에만 속하는 구역이 존재한다. 그러면 픽셀들이 LH 이미지 또는 RH 이미지 또는 몇몇의 결합 또는 그것들을 기반으로 하는 계산의 어느 하나로부터 선택될 수 있는 겹치는 구역이 존재한다. 각 윤곽은 이 겹치는 구역의 LH 경계 또는 RH 경계에서 시작한다. LH 경계는 전체적으로 LH 이미지에 속하며, 상기 기술은 이 경계를 상기 이미지의 픽셀 행들을 따라서 오른쪽으로 이동시키기고 그리고 동시에 상기 RH 경계를 왼쪽으로 이동시키는 것을 포함한다.

각 경계가 이동하는 (상대적인) 속도는 겹치는 LH 및 RH 이미지 픽셀들 사이의 (상대적인) 차이에 의해서 결정된다. RH 및 LH 픽셀 사이에 거의 차이가 없다면, 이곳이 더 빠르게 움직이는 세그먼트보다 이미지 이음자국을 구비하기에 더 나은 장소이기 때문에 상기 윤곽은 더 느리게 움직인다. 큰 차이가 존재하는 경우에는, RH 이미지 픽셀과 LH 이미지 픽셀 사이의 높은 차이들의 구역에서 이음자국이 발생해서는 안되기 때문에 상기 윤곽은 빠르게 움직인다. 겹치는 구역에서, 특정 실시에들에서 상기 LH 또는 RH 이미지 중 어느 하나로부터 픽셀이 선택될 수 있다. 또한, 여기에서의 "속도"는 상기 겹치는 구역 내 윤곽들의 세그먼트들 중에서 상대적이라는 것에 유의한다.

이제 특정 행들 내 상기 윤곽 픽셀들은 위의 (또는 아래의) 행에서보다 더 빠르게 전파될 것이며, 이는 픽셀 차이들에서의 변이들 때문이다. 행이 (LH 윤곽을 위해서) 오른쪽으로 또는 (RH 윤곽을 위해서) 왼쪽으로 전파하는 속도는 특정 실시예들에서 그 행의 이웃하는 행들에 의해서 또한 부분적으로 강제된다. 이 실시예들에서, 상기 윤곽은 "탄성적"인 것으로서 언급된다. 그래서, 하나의 행이 RH 이미지 및 LH 이미지 사이의 큰 차이들을 기반으로 하여 매우 빠르게 이동될 수 있는 경우에, 그 행은 느려질 수 있을 것이며, 이는 위의 (또는 아래의) 행들이 아주 더 늦은 속도로 움직이고 있기 때문이며, 그 역도 마찬가지이다.

이제 LH 윤곽이 오른쪽으로 전파되면, 이 전파 "경계 라인" (또는 "상태 라인") 뒤의 (또는 왼쪽에 있는) 픽셀들은 LH 이미지로부터 100% 취해지며, 반면에 RH 윤곽의 오른쪽에 있는 유사한 픽셀들은 상기 RH 이미지로부터 취해진다. 결국, 상기 두 윤곽들은 겹친 구역의 모든 행들을 가로질러서 만나게 될 것이며 그리고 그 겹친 구역을 통한 최종의 이음자국 라인이 결정된다.

대안의 실시예들은 1995년 10월 20일에 제출된 Sethian 등의 A Fast Marching Level Set Method for Monotonically Advancing Fronts, Proceedings from the National Academy of Sciences 에 의해서 설명된 것들과 유사하게 하나의 방향 (윤곽은 돌아갈 수 없다)에서 윤곽들을 전파하는 것을 포함하는 기술들을 사용할 수 있을 것이다.

특정 실시예에서, 예를 들면, Dijkstra, E. W. (1959). "A note on two problems in connexion with graphs". Numerische Mathematik 1 : 269-271, http://www-m3.ma.tum.de/twiki/pub/MN0506/WebHome/dijkstra.pdf, 그리고/또는 Sniedovich, M. (2006). "Dijkstra's algorithm revisited: the dynamic programming connexion" (PDF). Journal of Control and Cybernetics 35 (3): 599-620, http://matwbn.icm.edu.pl/ksiazki/cc/cc35/cc3536.pdf에서 제시된 것과 같은 데이크스트라 (Dijkstra) 알고리즘에 유사한 알고리즘이 활용될 수 있을 것이다. 윤곽 전개 (contour evolution)는 미분 방정식들을 풀어서 획득된 값들을 소팅하여 결정될 수 있을 것이다. 그것은 PC 상에서 상대적으로 빠른 알고리즘이지만, 그러나 (각 윤곽에서 1 픽셀 단위로 업데이트하는) 반복적인 소팅 그리고 동적인 데이터 구조들을 포함한다. 그처럼, 특히 내장된 플랫폼들을 포함하는 특정 실시예들은 데이크스트라 접근 방식을 사용하지 않는다.

특정 실시예들에서, 심지어는 메모리 재할당을 하지 않는 유리한 기술을 구현하고 실현하기 위해서 FIFO 큐가 사용된다. 도 10은 파노라마에서 사용될 인접한 이미지들 사이의 겹친 영역을 가로질러서 서로를 향해서 전파되는 두 개의 윤곽들을 도시한다.

상기 윤곽들의 전파는 우선 순위가 정해진 256개의 FIFO 버킷 (bucket)들의 세트를 포함하는 큐에 의해서 제어될 수 있을 것이다. 버킷 번호 255는 가장 높은 우선 순위를 가지며 반면 버킷 번호 0은 가장 낮은 우선 순위를 가진다. 상기 겹친 영역의 새로운 포인트가 상기 큐에 추가될 때마다, 그것은 겹친 이미지들 사이의 가중된 차이와 동일한 비킷 번호로 간다. 그 차이는 0 내지 255의 범위 내에 존재한다. 포인트가 상기 큐로부터 제거될 것이라면, 특정 실시예들에서 그것은 가장 높은 우선 순위의 비어있지 않은 버킷으로부터 제거된다. 상기 큐에 추가된 각 포인트에는 그 포인트가 속한 윤곽을 식별하는 플래그가 붙여진다.

예시적인 전파 알고리즘은 다음과 같이 진행될 수 있을 것이다:

1. 겹친 영역의 왼쪽 및 오른쪽 수직 에지 (edge)들에서 상기 큐에 포인트들을 추가함으로써 윤곽들이 초기화된다. 오른쪽 에지에서의 포인트들은 왼쪽 에지에서의 포인트들과는 상이한 라벨이 붙여진다;

2. 상기에서 설명된 규칙들에 따라 상기 큐로부터 첫 번째 포인트를 제거한다;

3. 할당되지 않은 포인트들이 존재하면, 왼쪽 방향, 오른쪽 방향, 위 방향, 아래 방향으로 체크한다. 그런 포인트들이 존재하면 그 포인트들을 상기 큐에 추가하여 소스 포인트가 가졌던 것과 동일한 라벨을 그것들에게 할당한다; 그리고

4. 상기 큐가 비지 않았다면 2로 간다.

잡음 그리고 작은 세부 항목들의 존재 때문에, 상기 윤곽의 모습은 매우 복잡하게 될 수 있으며, 이는 그 윤곽이 상기 큐를 유지하기 위해서 아주 큰 양의 메모리를 필요로 하는 더 큰 길이를 가진다는 것을 의미한다. 상기 윤곽의 모습을 평탄하게 하고 그리고 필요한 메모리의 양을 줄이기 위해서, 겹친 이미지들 사이의 차이는 다음의 행렬에 의해서 정의된 필터에 의해서 평탄하게 될 수 있을 것이다.

1	2	1
2	4	2
1	2	1

이어서, 채널 차이들이 가중된 평균에 의해서 하나의 값으로 결합될 수 있을 것이다: dI=(2dG+dR+dB)/4. 이 필터링 연산은 이음자국 라인을 3x3 블러 커널 (blur kernel)로 블러링하는 것과 동등할 수 있을 것이다. 대안의 실시예들에서, 다른 블러링 기술들이 사용될 수 있을 것이며 또는 커널의 크기는 5x5 또는 다른 값들로 증가될 수 있을 것이다.

두 개의 사진들로부터 생성된 풀 파노라마의 예는 도 11에서 제공된다. 도 11은 두 개의 이미지들로부터 생성되며 그리고 특정 실시예들에 따라서 블렌딩된 파노라마를 도시한다.

효율을 개선하기 위해서, 상기 이음자국 라인은 두 개의 이미지들로부터의 겹친 영역들의 다운스케일된 버전들을 사용하여 축소된 해상도에서 계산될 수 있다. 겹친 부분들은, 예를 들면, 정수 감소 요소들을 허용하기 위해서 추가의 픽셀들로 패딩될 수 있을 것이다. 패딩된 부분들은 특정 실시예들에서는 고려되지 않으며, 대신 그 패딩된 부분들은 적절한 이미지에 각각 직접 할당된다. 연결된 이미지가 업스케일되지 않는 특정 실시예들에서, 이음자국 라인을 블러링하는 것은 생략될 수 있을 것이다.

연결 맵 크기는 특정 실시예에서는 패딩하는 것에 의해서 확장된 이미지 겹침 영역의 축소된 크기와 정확하게 같다. 연결 라인을 계산한 이후에, 상기 맵은 감소를 위해서 사용되었던 것과 동일한 인수에 의해서 확대될 수 있을 것이다.

일 실시예에서, 상기 이음자국 라인이 결정된 이후에, 3x3 가우스 커널을 이용하여 상기 이음자국 라인을 블러링하여 그레이스케일 알파 블렌딩 맵이 생성된다. 이음자국 라인 그리고 알파 블렌딩 맵들 둘 모두는 그러면 어떤 출력 해상도로 업-스케일된다. 일 실시예에서, 업-스케일하는 것은 이중 선형 보간법 (bilinear interpolation)을 이용하여 달성된다. 이 실시예는 고 해상도 이미지들을 연결하기 위해서 상기 알파 블렌딩 맵을 사용하며, 그럼으로써 "네모진 (boxy)" 이음자국을 피하도록 한다. 상기 블렌딘 맵의 흐릿한 전이 (blurry transition) 덕분에, 상기 연결 라인은 풀 해상도에서는 덜 눈에 보이게 된다. 상기 연결된 이미지가 업스케일되지 않을 특정 실시예들에서, 상기 이음자국 라인을 블러링하는 것은 생략될 수 있을 것이다. 도 12는 도 11에서 도시된 파노라마 이미지를 생성하기 위해서 사용된 블렌드 마스크를 도시한다.

이 방법으로 생성된 이음자국은 상기 두 개의 연결된 이미지들의 밝기가 일정한 한은 보이지 않거나 알아채기 힘들다. 최종 파노라마 이미지를 합성하기 위해서 사용된 이미지 세트를 캡쳐하기 이전에 상기 이미징 기기의 노출을 고정함으로써 밝기에 있어서의 변동들이 회피된다.

특정 실시예들에서, 이미지 세트에 걸쳐서 밝기의 변동들을 극복하기 위해서 선명한 그리고 흐릿한 (blurred) 이미지 쌍들을 채택하는 기술들이 채택될 수 있을 것이다. 그런 실시예들은 US2008/0219581 또는 USSN 12/485,316으로부터 가져온 기술들을 채택할 수 있을 것이다. 예를 들면, 단일의 흐릿한 메인 이미지 획득 내에서, 미리보기 이미지들과 같은 다중의 짧은 노출 시간 (SET) 이미지들이 다중의 비디오 프레임들을 생성하기 위해서 사용될 수 있을 것이다.

대안의 실시예에서, 전체 씬에 걸쳐서 최적의 노출 레벨이 결정될 수 있도록 하기 위해, 카메라 사용자는 파노라마 씬의 선-취득 스윕 (pre-acquisition sweep)을 수행할 것을 촉구받을 수 있을 것이다. 그러면 상기 사용자는 카메라를 원래의 장소로 돌려보내고 그리고 노출 레벨은 상기 씬의 선-취득 스윕을 기반으로 하여 고정된다.

다른 실시예들에서, 상기 노출은 각 이미지가 획득되면 변경될 수 있을 것이며 그리고 이미지들 사이의 상대적인 노출 차이를 기록하는 상세한 "델타-맵"이 기록되어 최적의 이음자국 라인을 결정하기 이전에 색조-균형 및/또는 색상 매칭을 수행하기 위해서 채택된다. 몇몇의 실시예들에서, 색상 매칭은 이미징 체인 내에 통합될 수 있을 것이며 그리고 상기 노출 "델타-맵"으로부터 조절 데이터를 직접적으로 취할 수 있을 것이다.

파노라마의 두 이미지들 사이에 이음자국을 배치하는 것은 이 두 이미지들 사이의 겹침 구역의 픽셀들 사이에서 계산된 이미지-차이들을 수정하여 쉽게 제어될 수 있다. 예를 들면, 이미지 이음자국이 바람직하지 않은 구역들을 선택하기 위해서 얼굴 추적 알고리즘의 출력이 사용될 수 있다. 두 개의 이미지들 사이의 겹치는 구역에 걸쳐서 윤곽들을 전파하기 이전에, 그 겹치는 구역 내의 어떤 "얼굴 구역들"은, 얼굴 구역에 걸쳐서 잘라내는 이음자국을 결정하는 것으로부터의 윤곽 전파 알고리즘의 가능성을 줄이기 위해서 또는 완전하게 방지하기 위해서 인위적으로 증가된 이미지 차이를 구비할 수 있을 것이다.

유사한 논리가, 이미지 상세한 부분들이 관찰자에게 더 잘 지각될 수 있는 이미지 씬의 전경 (foreground) 부분들에 적용될 수 있을 것이다. 이미지 이음자국이 그런 구역을 가로지르는 것은 특정 실시예들에서는 덜 바람직하다. 그래서 다른 대안의 실시예에서, 실-시간 얼굴 추적기 또는 전경/배경 탐지기로부터의 출력들은 상기 파노라마 알고리즘에 이용 가능하며 그리고 상기 이미지 연결 오퍼레이션은 상기 실-시간 얼굴 추적기 및/또는 전경/배경 구역 탐지기로부터의 출력들을 수용하기 위해서 수정된다. 특히, 두 개의 이미지들 사이의 겹친 구역 내에 있는 전경 구역들, 오브젝트들 그리고/또는 탐지된 얼굴 구역들은, 이음자국 라인이 그런 구역들을 지나가기 않도록 하기 위해서 마킹될 수 있을 것이다. 이 실시예의 섬세한 모습에서, 상기 이음자국이 상기 결정된 구역을 가로지르는 것이 완전하게 방지되지는 않지만, 이런 것이 덜 발생하도록 하기 위해서 이미지 차이들은 인위적으로 증가된다. 추가적인 섬세한 모습에서, 이미지 차이에 있어서의 인위적인 증가는 상기 이미지의 먼 배경에 더욱 가까운 오브젝트들을 점진적으로 더욱 가로지를 것 같은 이음자국을 가진 깊이 맵 (depth map)을 기반으로 한다.

특정의 실시예들에서 활용될 수 있을 예시의 얼굴 추적 및 전경/배경 기술들은 미국 특허 7,606,417, 7,460,695, 7,469,055, 7,460,694, 7,403,643, 그리고 7,315,631에서, 그리고 미국 공개 번호 US20090273685, US20060285754, US20090263022, 20070269108, US20090003652, 및 US20090080713, 그리고 2009년 6월 5일에 출원된 미국 특허 출원 12/479,593 및 대안의 실시예들을 개시하는 것을 포함하는 2009년 10월 2일에 출원된 미국 특허 출원 12/572,930에서 설명된다.

얼굴 또는 전경 구역, 또는 오브젝트가 두 개 이미지들 사이의 전체 겹친 구역에 걸쳐서 확장되는 경우에, 오류 상태가 시그날링될 수 있을 것이며 그리고 획득 프로세스는 중단될 수 있을 것이다. 대안으로 이음자국이 얼굴 영역을 가로지르는 것이 소망될 대에, 얼굴 미화 기술들을 통합하는 더욱 복잡한 알고리즘이 적용될 수 있을 것이다 (예를 들면, 미국 특허 출원들 12/512,843, 12/512,819, 그리고 12/512,716 참조). 그런 알고리즘들은 피부에 대한 텍스쳐 분석을 포함하며, 피부 구역들에 대한 연속적인 특징-감지 평탄화 (feature-aware smoothing)가 이어진다. 다른 실시예들에서, 근본적인 얼굴의 특징들, 예를 들면, 눈들, 코, 입 및 헤어라인에 대한 지식이 외부 얼굴 윤곽, 예를 들면, 턱 및 옆면들에 대한 지식과 결합하여 채택될 수 있을 것이다.

대안의 실시예들에서, 이것들은 평면 내 얼굴 방위 및 얼굴 포즈에 대한 지식에 의해서 더욱 정련될 수 있을 것이다. 그런 지식은 미국 특허 7,565,030 및 7,440,593, 그리고 미국 공개 특허 US20090179998, US20070269108, US2008/0219517, 그리고 US2008/0292193 중 임의의 것에서 설명된 것과 같은 회전 분류기들 (rotational classifiers) 또는 능동 외모 모델들 (Active Appearance Models)을 이용하여 얻어질 수 있을 것이다.

전경 및 배경 구역들 (FOREGROUND AND BACKGROUND REGIONS)

전경 오브젝트들은 배경 씬에 비해서 이미징 기기에 실질적으로 더 가까운 경우에, 겹친 구역 내에서 시차 효과 (parallax effect)들이 발생할 수 있을 것이다. 그런 경우들에서, 오류 상태가 시그날링될 수 있을 것이다. 대안으로, 전경의 오브젝트(들) 그리고 배경의 씬은 개별적으로 연결될 수 있을 것이며 그리고 전경은 배경 씬 위에 재-합성될 수 있을 것이다. 그런 실시예에서, 동일한 겹친 구역에 겹친 추가적인 이미지들로부터의 정보는, 전경 오브젝트를 정확하게 연결하는 것을 용이하게 하기 위해서 그리고 상기 연결된 배경 씬 내에서 상기 오브젝트의 최적 위치를 결정하기 위해서 채택될 수 있을 것이다. 추가적인 이미지들로부터의 정보는, 이미지가 된 배경을 확장하기 위해서 그리고 시차로 인해서 전경 오브벡트에 의해서 숨겨졌던 상세한 모습들을 제공하기 위해서 또한 사용될 수 있을 것이다. 이것들은 상기 이미지의 배경을 위해서 상기 이음자국을 어떻게 연결하는가를 유리하게 결정하는데 있어서 유용할 수 있다.

그런 상황들에서, 전경 오브젝트들의 정확한 범위/거리에 관한 추가 정보는 그 추가 정보가 상기 이미징 기기로부터 이용 가능한 경우에 채택될 수 있을 것이다.

예시의 일 실시예에서, 하나 또는 그 이상의 전경 오브젝트(들)는 하나 또는 그 이상의 사람 얼굴들을 포함하며, 그리고 연관된 신체 프로파일들 (머리 & 어깨들, 또는 아마도 몸통과 팔들 그 이상, 그리고 심지어는 다리들)의 부분들을 아마도 포함한다. 이 예에서, 적어도 하나의 얼굴이 두 이미지 프레임들 사이의 겹치는 구역 내 파노라마 내에 배치될 것으로 결정된다. 시차로 인해서, 전경의 실루엣은 두 이미지들 사이에 대신 들어선 것으로 나타날 것이다. 보통의 연결하기 및/또는 스티칭이 적용되면, 그 실루엣은 수평 방향으로 연장되어 "살찐 얼굴 (fat face)" 효과를 생성하게 될 것이다. 사람이 상기 이미징 기기에 더욱 가깝게 있는 경우와 같은 더욱 극단적인 예에서, 그 사람의 "거울 이미지"가 최종으로 연결된 파노라마 이미지 내에 생성될 수 있을 것이다. 이런 바람직하지 않은 효과들을 회피하기 위해서, 예를 들면, 미국 특허 7,469,071 및 7,606,417 그리고 미국 공개 출원 2009/0273685, 2006/0285754, 2007/0147820, 2009/0040342 그리고 2007/0269108 중의 어느 것에 따른 전경/배경 분리가 각 컴포넌트 이미지들에 적용된다, 전경 구역(들)은 연결될 그리고/또는 스티치될 임의의 두 인접 이미지들 중 어느 하나로부터 잘려질 수 있을 것이다. 일 실시예에서, 이런 "잘려진 (cut-out)" 구역들은 동일한 실루엣 구역에 겹친 다른 이미지 프레임들로부터의 데이터를 이용하여 채워지지만, 상이한 시차로 인해서 배경의 상이한 부분을 노출시킨다. 추가적으로 내부를 채우고 그리고 외삽하는 (extrapolation) 기술들이 충분한 데이터가 이용 가능하지 않은 경우에 채택될 수 있을 것이다. 그러면 상기 배경 이미지들은 보통의 알고리즘들을 이용하여 연결될 수 있을 것이다.

상기 전경 구역들 역시 개별적으로 정렬될 수 있을 것이다 (예를 들면, 얼굴 구역들에 대해서는 눈들, 입, 헤어라인 및/또는 턱고 같은 얼굴의 특징들의 위치들 그리고 옵션으로는 모습을 매칭하여 정렬한다). 정렬에 이어서, 보통의 알고리즘들을 이용하여 전경 구역들은 연결될 수 있을 것이다. 옵션으로, 완전한 실루엣이 각 이미지로부터 이용 가능한 경우에, 상기 전경 구역들을 개별적으로 연결하는 것에 대안으로, 이미 연결된 배경 이미지 상으로 합성되기 위해서 상기 전경 구역들 중 하나의 구역이 선택될 수 있을 것이다. 상기 전경 오브젝트가 상기 배경 상으로 합성되는 위치는 중간 포인트에서 선택될 수 있을 것이며 또는 그렇지 않다면 상기 두 개의 원래 위치들 사이에서 선택될 수 있을 것이다. 사용자는 심지어는, 상기 파노라마의 가장 풍경이 좋은 부분일 것으로 정해질 수 있을 곳과 같이, 그 파노라마 내 상이한 위치들에 상기 전경 이미지의 위치를 정하도록 선택할 수 있을 것이다. 대안으로, 상기 전경 위치는 배경 구역들을 위한 연결 이음자국을 따라서 더 높은 대비의 포인트들을 커버하도록 선택될 수 있을 것이다.

넓은 범위의 얼굴 분석 기술들 및 방법들이, 미국 특허 7,565,030 또는 미국 공개 출원 2009/0179998, 2008/0013798, 2008/0292193, 2008/0175481, 2008/0266419, 2009/0196466, 2009/0244296, 2009/0190803, 2008/0205712, 2008/0219517 및 2009/0185753, 그리고 공개 PCT 출원 WO2007/142621에서 설명된 것과 같이, 그런 전경 실루엣들의 출현을 더 강화하기 위해서 유리하게도 채용될 수 있을 것이다. 전경의 얼굴 구역들을 분리한 이후에, 이 얼굴 구역들은 배경의 파노라마 신으로 재합성되기 이전에 다양한 이미지 프로세싱 기술들을 적용하여 향상될 수 있을 것이다. 상기 전경/배경 분리 및 이 실시예들에 따른 전경 및 배경 이미지 컴포넌트들의 독립적인 분석 및 프로세싱은 향상된 파노라마 이미지들을 유리하게 제공하기 위해서 사용될 수 있을 것이다.

카메라 내 이미지 블렌딩 프로세스 (IN-CAMERA IMAGE BLENDING PROCESS)

도 13은 파노라마 이미지 생성 프로세스들을 포함한 특정 실시예들에 따른 이미지 블렌딩 프로세스를 더 도시한다. 컴포넌트 이미지들 중 어느 하나보다 5배 넓은 것보다는 약간 더 작은 하나의 파노라마 이미지를 형성하기 위해서 연결될 다섯 개의 이미지들이 도 12에 보인다. 파노라마 이미지가 형성될 때에 이음자국들이 형성될 장소 아래에 이미지 블렌딩 직사각형들이 도시된다. 상기 형성된 파노라마 이미지의 부분이 도 13 내 상기 이미지 블렌딩 사각형들 및 컴포넌트 이미지들 아래에 도시된다.

예시적인 실시예에서, 어느 프로젝션 알고리즘이 적용될 것인가를 파노라마 사용자 인터페이스에게 표시하기 위해서 표면을 선택하는 것이 사용될 수 있다. 3D 프로젝션 알고리즘이, 예를 들면, Richard Szeliski 의 "Image Alignment and Stitching: A Tutorial" (Preliminary draft, Sep. 27, 2004, Technical Report, MSR-TR-2004-92. pages 8-10) 및/또는 미국 공개 특허 2006/0062487, 2006/0018547, 2005/0200706, 2005/0008254 및 2004/0130626 중의 어느 하나에 따라서 사용될 수 있다.

수퍼-해상도 : 합성 이미지들 결합 (SUPER-RESOLUTION: COMBINING OF COMPOSITE IMAGES)

다른 실시예는 저-해상도 (상대적인 저 해상도) 이미지들만을 사용하여 고-해상도 (높은 해상도) 파노라마를 생성하기 위한 방법을 또한 제공한다. "저-해상도"의 용어는 여기에서는 "고-해상도"의 용어와 비교하여 해석되는 것을 의미하며, 이 경우 상기 저-해상도 이미지는 고-해상도 이미지보다 더 낮은 해상도를 가지지만, 어떤 특정한 해상도를 의미하는 것은 아니다. 그런 실시예는 저-해상도 (그리고 낮은 가격) 기기들에 적합하다. 그것은 더 우월한 광학 및 CPU 파워를 가진 HD 기기들과 경쟁할 수 있을 카메라-온-칩 (camera-on-chip) 솔루션들과 결합될 수 있는 접근 방법이다.

이 실시예에서, 파노라마 씬의 저-해상도 패닝된 비디오 시퀀스가 획득된다. 고-해상도 이미지들은 획득되지 않으며 그래서 이음자국-라인은 다른 실시예들에서처럼 고-해상도 이미지로 전달되지 않는다. 또한, 소팅 프로세스 동안에, 더 작은 개수의 이미지 프레임들이 폐기된다. 대신에 이미지 프레임들의 더 큰 비율이 여러 상이한 파노라마 이미지 세트들 중의 하나로 소팅될 수 있을 것이다.

그래서, 둘 또는 그 이상의 합성 파노라마 이미지들이 에지 정합을 수행하고 그리고 겹친 이미지들을 연결함으로써 생성될 수 있을 것이다. 예시적인 일 실시예에서, 이미지 프레임들은 다음과 같이 연결된다: 프레임들 1+ 4 + 7 + 10 이 하나의 파노라마 이미지 세트를 형성하기 위해서 사용되며, 그러면 프레임들 2 + 5 + 8 + 11 이 두 번째 파노라마 이미지 세트를 형성하기 위해서 그리고 프레임들 3 + 6 + 9 + 12 가 세 번째 파노라마 이미지 세트를 형성하기 위해서 사용된다; 이 세 개의 별개의 이미지 세트들이 세 개의 개별 파노라마 이미지들 P1, P2, P3을 생성하기 위해서 사용되며, 이 파노라마 이미지들은 반드시는 아니지만 대부분은 전체적으로 겹친다. 모든 이미지들을 유지할 필요는 없다는 것에 유의한다; 예를 들면, 프레임들 3 및 4 사이에서 획득된 추가의 이미지들이 존재하지만 (말하자면 이미지들 3-2, 3-3 그리고 3-4), 그 추가의 이미지들 사이에 충분한 변위가 존재하지 않았기 때문에 또는 그렇지 않다면 P1, P2 및 P3 이 충분한 것으로 생각되었기 때문에, 그 추가의 이미지들은 폐기될 수 있을 것이다.

수퍼-해상도 기술들은 그러면 단일의 고-해상도 파노라마 이미지를 생성하기 위해서 적용된다. 각 파노라마 프레임-세트의 에지 정합은 다른 프레임-세트들로부터 이미지들을 겹치게 하는 것을 이용하여 지원받을 수 있을 것이다.

핸드헬드 기기를 위한 파노라마 조망 모드 (PANORAMA VIEWING MODE FOR HANDHELD DEVICE)

파노라마 이미지가 생성된 이후에, 핸드헬드 기기 상에서 그 이미지를 연속해서 보는 것이 어색할 수 있을 것이다. 그러나, 획득하는 동안에 채용된 원래의 (수평의) 움직임에 관련된 정보가 그 이미지와 함께 저장되면, 그러면 특정 실시예들에 따라 유리한 조망 모드 (viewing mode)를 제공하는 것이 가능하다.

그런 조망 모드의 일 예에 따르면, 카메라-전화기의 스크린은 파노라마 이미지의 중앙 부분 (다음의 예에서 꺾쇠 괄호들 내의 섹션)의 전체-높이 시야로 개방될 수 있을 것이다:

------[---]------

이제 카메라가 왼쪽으로 패닝하면, 이 움직임은 측정되며 그리고 디스플레이된 그 이미지의 부분은 그에 따라서 조절된다 (다음의 예에서 이전과 비교하여 왼쪽으로 이동된 꺾쇠 괄호들 내의 섹션):

--[---]----------

또는 사용자가 오른쪽으로 완전히 돌면 (다음의 예에서 이전의 두 가지 중의 어느 하나와 비교하여 오른쪽으로 이동된 꺾쇠 괄호들 내의 섹션):

------------[---]

그래서, 원래의 넓은 파노라마 씬의 속성을 캡쳐하는 방식으로 디스플레이를 위해서 전체 파노라마 이미지를 제공하는 것이 가능하다. 상기 사용자는 파노라마 씬의 상이한 부분들, 세그먼트들 또는 컴포넌트들을 수직 방향에서 전체 해상도로 보는 이득을 또한 얻을 수 있다.

원래의 파노라마 이미지들을 캡쳐하기 위해서 사용되었던 움직임에 관련된 데이터를 상기 시스템이 저장하면, "키홀 (keyhole)" 또는 "핍홀 (peephole)" 조망의 변형이 제공된다. 이 움직임 데이터는 상기 이미지에 대한 이어지는 사용자 조망을 제어하기 위해서 사용될 수 있을 것이다. 비록 핸드헬드 움직임이, 예를 들면, 마우스 입력을 이용하여 데스크탑 컴퓨터 상에서 시뮬레이션 될 수 있을 것이지만, 특히 핸드헬드 기기 상에서, 상기 움직임은 캡쳐 동안에 그리고 재생하는 동안에 측정될 수 있을 것이다.

대안의 실시예는 원래의 비디오 클립을 재생하는 것을 포함하며, 조망하는 동안에 사용자가 상기 핸드헬드 기기를 어떻게 이동시키는가에 따라서 재생의 방향 그리고/또는 속도를 제어하는 것을 포함한다.

핸드헬드 기기들 상에서 입체적인 파노라마 생성

겹친 이미지들에 에지 정합을 수행하고 그리고 연결함으로써 두 개의 합성 입체적 (3D) 파노라마 이미지들이 생성된다. 상기 두 개의 파노라마 이미지들은 특정 실시예들에서는 사람의 눈들의 쌍에서의 거리, 예를 들면, 5 내지 7 또는 8 cm 와 대략 같을 수 있는 거리만큼 공간적으로 오프셋 상태이다. 선택된 줌 효과를 생성하기 위해서 더 큰 변위들이 실제로 선택될 수 있을 것이다. 어떤 경우에, 전경 오브젝트들은 배경보다는 상이한 전망 (perspective)으로부터 나타난다. 이 상이함은 상기 오브젝트를 카메라에 더 가깝게 하여 향상된다.

도 14a 및 도 14b는, 3차원 컴포넌트 이미지를 생성하고 그리고 입체적인 파노라마 이미지를 생성하기 위해서 추가의 3차원의 컴포넌트 이미지들과 결합하기 위해 사용될 수 있을 이미지 캡쳐들 사이에 수 센치미터 만큼 이격된 디지털 카메라에 의한 두 이미지들의 캡쳐를 도시한다. 도 15는, 이미지들의 쌍들은 병합되어 입체적인 파노라마 이미지들을 생성하는 도 14a 및 도 14b의 디지털 카메라의 상대적인 수평의 공간적인 변위들을 보여주는 파노라마 스윕 시퀀스로부터의 이미지 프레임들을 도시한다. 도 15에서 수평 변위들은 물론이며 마치 수직의 변위들도 존재하는 것처럼 이미지들이 직사각형들과 함께 제시된 것에 주목한다. 그러나, 도 15 내의 분명한 수직 변위들은 도 15의 도시에서 개별적인 이미지들/프레임들을 구별한다는 것을 의미하며 그리고 파노라마 스윕에서 캡쳐된 이미지 프레임들 사이에서 어떤 수직 변위들을 반드시 표시하지는 않는다는 것을 의미한다. 수직 변위 및 수평 변위에서의 변동들은 상기에서 설명된 정합 및 스티칭 프로세스들에서 처리되었다.

도 14a 및 도 14b에서 볼 수 있는 것처럼, 입체적인 이미지 쌍은 설정 가능한 3D 효과를 제공하기 위해서 선택될 수 있을 충분하게 상대적인 변위를 이용하여 캡쳐된 두 이미지들을 포함할 수 있을 것이다. 예를 들면, 5- 7 또는 8 cm 의 변위들은 3D 이미지 형성을 제공하기 위해서 자연스럽게 위치하는 사람의 눈들 사이의 거리의 차수 (order) 상에 있을 것이다. 더 큰 또는 얼마간 더 작은 거리들, 예를 들면, 2 cm 내지 10 cm 나 12 cm 사이 (아래의 예 참조), 또는 3 cm 내지 9 cm 사이, 또는 4 cm 내지 8 cm 사이 역시 가능하다. 스테레오-기반은 고정될 수 있을 것이며 또는 특정 실시예들에서는 유리하게 설정 가능할 수 있을 것이다. 예를 들면, 이 변위 거리는 3D 효과를 선택적으로 향상시키기 위해서 사용자 (또는 OEM/ODM)가 액세스하는 파라미터일 수 있다.

언급된 것처럼, 특정 실시예들의 5 내지 7 또는 8 cm 의 변위는 자연으로부터 온 것이다. 그 숫자들은 관찰자의 포인트들 (예를 들면, 눈들)의 물리적인 위치로 인한 것이다. 이것들은 입체적인 파노라마 이미지를 캡쳐하기 위해서 사용되는 디지털 카메라 또는 카메라 기능이 있는 기기, 카메라-전화기, 카메라-뮤직 재생기 등의 렌즈 (optics)의 알려진 특성들을 기반으로 하여 픽셀 거리들로 컨버트되거나 또는 변환될 수 있을 것이다. 도 17의 실시예에서 아래에 상세하게, 예를 들면, 두 개의 크롭들 사이의 거리는 설정 가능할 수 있을 것이라고 설명된다. 테스트들에서, 심지어는 그 크롭들이 겹칠 때에 (그래서 그 중심들 간의 거리가 매우 작을 때에), 현저하게 양호한 3D 효과가 여전히 관찰되었다. 간략하게, 획득 조건들 그리고 원하는 3D 효과에 의존하여, 상기 변위 거리는 매우 작은 거리부터 매우 먼 거리 사이에서 변경될 수 있다.

입체적인 효과를 생성하기 위해 5 cm (2인치) 아래에서 두 이미지들을 취할 때에 카메라 기기의 광학 축의 상대적인 위치들의 관점에서, 그 거리가 더 작아질수록 입체 효과는 감소될 것이다. 더 큰 거리는 향상된 입체적 효과를 생성하며, 이는 씬으로 이동하는 "뷰어 (viewer)"와 동등하다. 간략하게, 초점 평면이 뷰어에게로 더 가깝게 나타난다. 이는 스테레오 이미지가 생성되고 그리고 7 cm 분리하여, 그리고, 8 cm 분리하여, 이어서, 예를 들면, 9, 10, 12, 14 cm 분리하여 볼 수 있을 것이며, 그래서 마치 뷰어가 상기 씬으로 이동하고 있는 것처럼 보일 것이라는 것을 의미한다. 전경 오브젝트들은 점점 3D가 될 것이며 그리고 상기 뷰어에게로 이동하는 것처럼 보일 것이며, 반면에 배경은 "후면에" 남아 있을 것이다. 그래서 그 거리는 원하는 3D 경험에 의존하여 변경되고, 설정되고, 그리고/또는 선택될 수 있다. 입체적 효과를 위한 변위 거리에 대한 어떤 외면적인 한계는 캡쳐되고 있는 씬에 얼마간 의존할 수 있을 것이다. 예를 들면, 가까운 전경 오브젝트들이 존재하면, 그러면 매우 큰 스트레오 분리 (즉 20 cm 보다 더 큼)는 전경 오브젝트들을 왜곡시킬 것이다. 가까운 전경 오브젝트들이 전혀 존재하지 않는다면, 그러면 더 큰 변위 값들, 예를 들면, 20-30 cm 또는 그 이상을 사용할 수 있을 것이다. 즉, 특정 실시예들에서, 스테레오 거리는 그 씬 내에서 전경 오브젝트들의 접근을 판별한 것을 기반으로 한다. 가장 가까운 전경 오브젝트가 더 근접할수록, 스테레오 분리 거리의 시작은 더 작아져서, 더 낮은 한계로, 예를 들면, 5 cm 까지 작아진다.

특정 실시예들에서, 유사하게 상대적인 변위에서 시작하며 그리고 다음의 이미지들을 병합하는 동안에 이 변위를 유지하는 두 개의 파노라마 시퀀스들은 입체적 파노라마 쌍을 제공할 수 있으며 그리고 3D 디스플레이 시스템 또는 기기에서와 같이 보일 수 있을 것이다. 두 개의 파노라마 시퀀스들은 단일의 스윕으로부터, 또는 대안으로는 동일한 또는 유사한 파노라마 신을 한 번보다 많이 스윕한 것으로부터 유도될 수 있을 것이며, 다른 가능한 대안들 중에서, 예를 들면, 사용자는 왼쪽으로부터 오른쪽으로 스윕할 수 있을 것이며 그리고 오른쪽으로부터 왼쪽으로 반대로 카메라를 이동시킴으로써 원래의 시작 포인트로부터 원래의 방향으로 카메라를 즉시 되돌아가게 할 수 있을 것이다.

도 14a, 도 14b 및 도 15의 도면에 도시된 예시의 실시예에서, 이미지 프레임들은 다음과 같이 연결된다: 프레임들 1+ 3 + 5 + 7 은 하나의 파노라마 이미지 세트를 형성하기 위해서 사용되며, 그러면 프레임들 2 + 4 + 6 + 8 은 두 번째 파노라마 이미지를 형성하기 위해서 사용된다. 이 두 개별 이미지 세트들은 두 개의 파노라마 이미지들 P1, P2를 생성하기 위해서 사용되며, 이 파노라마 이미지들은 항상 그런 것은 아니지만 대개는 완전하게 겹치며, 그리고 도 15에서 도시된 것처럼 서로로부터 왼쪽-오른쪽으로 오프셋된 컴포넌트 이미지들을 포함한다.

모든 이미지들을 유지할 필요는 없다: 예를 들면, 프레임 1 및 프레임 2 사이에서 획득된 추가의 이미지들 (말하자면, 이미지들 1-2, 1-3 및 1-4)이 존재할 수 있을 것이지만, 이것들은 폐기되었다. 심지어 도 15는 프레임 1 및 프레임 2 사이에서 캡쳐된 하나의 프레임, 그리고 프레임 2와 프레임 3 사이에서 캡쳐된 두 개의 프레임들, 그리고 프레임 3과 프레임 4 사이에서 캡쳐된 두 개의 프레임들 등등을 보여주며, 이것들은 이 예에서는 입체적인 파노라마에서 사용되지 않는 캡쳐된 프레임들이다. 두 번째 이미지는, 예를 들면, 5 cm, 4 cm, 3cm 등의 문턱값보다 더 작은 카메라 움직임 이후에 캡쳐되었기 때문에 거절될 수 있을 것이다. 네 번째 및 다섯 번째 이미지들은, 예를 들면, 프레임 1 내에서 캡쳐된 씬의 범위의 50%, 60%, 70%, 80%, 90% 등의 문턱값보다 더 작은 다른 카메라 움직임 및/또는 씬 변위 이후에 캡쳐되었기 때문에, 또는 상기 이미지들은 흐릿하거나 또는 깜빡이는 눈들을 가지거나 또는 그렇지 않다면 불만족스럽기 때문에 거절될 수 있을 것이다 (예를 들면, 미국 공개 특허 20070201724, 20070201725, 20070201726, 20090190803, 2008061328 참조).

이 실시예에서, 상기 핸드헬드 기기는 카메라의 외적인 움직임을 측정하는 컴포넌트를 통합할 수 있을 것이다. 이는 가속도계, 자이로스코프 또는 다른 물리적인 센서를 사용하는 것을 통해서 이루어질 수 있을 것이다. 그것은 이미지 또는 비디오 캡쳐 시퀀스의 연속된 프레임들 사이의 픽셀 움직임들을 결정할 수 있으며 그리고 이 픽셀 움직임을 상기 이미지 획득 기기의 외부의 물리적 움직임에 관련시키도록 구성된 프레임-대-프레임 정합 컴포넌트를 사용하여 또한 달성될 수 있을 것이다.

이 실시예에서, 스윕의 상이한 프레임들은 파노라마 이미지들을 구축하기 위해서 사용된다. 두 개의 파노라마들은 단일의 스윕 모션으로부터 유도될 수 있을 것이다. 이 두 번째 스윕 내의 프레임들 각각은 첫 번째 파노라마에서 대응하는 프레임으로부터 미리 정해진 수용 가능한 범위, 예를 들면, 5-7.5 cm 내에 위치하며 또는 상기 설명을 참조한다. 카메라가 5-7.5 cm 사이에서 또는 다른 선택된 또는 설정된 변위 거리 사이에서 이동할 때를 판별하기 위해서 움직임 센서 또는 프레임-대-프레임 변위 기술을 허용하는 다른 측정이 사용된다.

상기 카메라는 사용자에 의해서 또는 기계적인 회전하는 스탠드 액세서리 상에서 원형으로 또는 원형의 스윕 움직임보다는 좀 덜하게 움직일 수 있을 것이다. 단일의 스윕은 두 개의 공간적으로 이격된 파노라마들을 생성하며, 반면 사용자는 움직이거나 또는 두 번째 파노라마를 캡쳐할 필요가 없다.

도 16a 및 도 16b는 입체적인 파노라마 이미지들을 형성하기 위해서 병합될 이미지 쌍들의 캡쳐 사이에서 디지털 카메라 변위의 더 가까운 거리와 파노라마 스윕 반경 사이의 관계를 도시한다. 상기 프레임들 간의 거리 (지체 (lag)), 예를 들면, 5-7.5 cm는 스윕의 반경, 예를 들면, 1.2 m 또는 사람의 팔의 다른 길이보다 다소 작을 것이며, 그래서 프레임들의 각 쌍 사이의 움직임은 상기 씬과 대략적으로 평행하다. 예를 들면, 0.075 m는 1.2m보다 아주 작으며 (약 6%), 그리고 경험상 심지어 15%까지는 양호한 입체적 파노라마 이미지들을 제공하는 것을 보여준다.

도 17은 개별 키 프레임들로부터 왼쪽 및 오른쪽 크롭들을 이용하는 특정의 추가 실시예들에 따라서 입체적 (3D) 파노라마 이미지를 생성하기 위한 기술을 도시한다. 이 실시예들에서, 두 개의 입체적 파노라마들을 위해서 상이한 키-프레임들을 선택하는 것 대신에, "왼쪽" 및 "오른쪽" 크롭이 상기 키-프레임들 각각 위에서 선택될 수 있을 것이다. 즉, 두 파노라마 이미지들에 대해서 동일한 키-프레임이 사용되며, 이 때에 첫 번째 파노라마는 상기 키-프레임의 LH 부분으로부터 시작되며 그리고 두 번째인, 이격된 파노라마는 상기 키-프레임의 RH 부분으로부터 시작된다. 상기 키 이미지의 LH 부분의 제일 왼쪽 에지와 RH 부분의 제일 왼쪽 에지 사이의 거리는 사람의 눈 거리에 대응하는 5-8 cm 의 물리적인 변위와 (픽셀들에 있어서) 동등해야만 하며, 또는 그렇지 않다면, 상기에서 설명되 것과 같이 원하는 3D 효과에 종속되어 설정되거나, 변경되거나 또는 선택될 수 있어야만 한다. 설명된 다른 실시예들에서도 크롭들이 사용될 수 있을 것이다.

도 17에서 도시된 접근 방식은 적어도 다음의 이점들을 가진다:

스테레오-기반은 고정될 수 있을 것이며, 그리고 추가의 측정치들은 그것을 고정하기 위해서 필요하지 않다. 다른 접근 방식들에서, 상기 스테레오-기반은 사용자에 의해서 수행된 가변의 패닝 속도로 인해서 제어하기 힘들 수 있을 것이다.

왼쪽 파노라마와 오른쪽 파노라마 둘 모두를 위해서 동일한 키-프레임들이 사용되기 때문에, 정합은 왼쪽 및 오른쪽을 위해서 한 차례만 실행된다. 이 특징은 정합 프로세싱을 반으로 줄이며 그리고 이 스테레오-기반을 유지하는데 있어서의 어떤 불안정들을 방지한다.

상기 실시예는 좁은 충분한 크롭들을 택함으로써 원근법의 왜곡들을 가지고 또한 양호하게 크롭한다.

예를 들면, 여러 스테레오-기반들을 구비하기 위해서 둘 이상의 크롭들이 이 실시예들에서 사용될 수 있을 것이다. 대안의 실시예에서, 둘 이상의 파노라마 이미지들이 캡쳐될 수 있을 것이다. 그런 실시예에서, 첫 번째 파노라마 이미지 및 두 번째 파노라마 이미지는 고정된 변위, 즉, 7 cm를 구비할 수 있을 것이며, 두 번째 및 세 번째는 다른 변위, 즉, 5 cm를 구비할 수 있을 것이다. 하나의 입체적 이미지는 첫 번째 파노라마 이미지 및 두 번째 파노라마 이미지로부터 생성될 수 있으며; 반면에 두 번째 입체적 이미지는 첫 번째 파노라마 이미지와 세 번째 파노라마 이미지로부터 생성될 수 있다. 이는 씬들 사이의 변위가 12 cm이면 향상된 입체적 효과를 가질 수 있다.

이 두 번째 입체적 파노라마 이미지는 사용자-시각을 메인 씬을 향하여 이동시키는 명백한 효과를 가질 수 있을 것이다. 다른 말로 하면, 더 넓은 입체적 변위 (12 cm)는 전경 오브젝트들이 더 가깝게 나타나도록 한다. 다중의 추가적인 파노라마들이 생성되면, 상기 장면으로 사용자가 더 깊게 움직이는 (또는 그 이미지가 반대의 순서로 디스플레이 되었다면 그 씬으로부터 거꾸로 이동하는) 환영을 생성하는 입체적인 효과를 생성하는 것이 가능하게 된다. 이 기술은 3D 패닝 효과를 통합한 아주 복잡한 슬라드쇼 효과들을 생성하는 것을 가능하게 한다. 이는 이미지 씬으로 단순하게 줌하는 것과는 다르며, 이는 전경 오브젝트들에 대한 3D 뷰는 변경되고 그리고 그 변경의 정도는 이 오브젝트들의 상기 카메라로부터의 거리에 직접적으로 관련되기 때문이다. 추가의 대안의 실시예에서, 그런 입체적인 팬/줌 효과들의 시퀀스는 캡쳐되어, 카메라를 이용한 단일의 파노라마 스윕으로부터 유도된 3D 비디오 시퀀스를 생성하도록 할 수 있을 것이다.

본 발명의 예시적인 도면들 및 특정 실시예들이 설명되고 도시되었지만, 본 발명의 범위는 설명된 그 특정 실시예들로 한정되는 것은 아니라는 것을 이해해야만 한다. 그래서, 상기 실시예들은 제한적이라기 보다는 예시로서 간주될 것이며, 그리고 이어지는 청구범위에서 제시된 본 발명의 범위 그리고 그 범위의 구조 및 기능적인 등가물들로부터 벗어나지 않으면서도, 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자들에 의해서 그런 실시예들에서 변형들이 만들어질 수 있을 것이라는 것이 이해되어야만 한다.

추가로, 바람직한 그리고 대안의 실시예들 및 청구범위에 따라서 여기에서 수행될 수 있을 방법들에서, 동작들은 선택된 인쇄상의 순서들로 설명되었다. 그러나, 특별한 순서가 필요한 것으로서 명시적으로 표시되지 않거나 또는 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자들에 의해서 필수적인 것으로서 이해되는 것이 아니라면, 그 순서들은 인쇄상의 편이를 위해서 선택되고 순서가 정해진 것이며 그리고 그 동작들을 수행하기 위한 어떤 특정한 순서를 포함하려고 의도된 것이 아니다.

Claims (16)

1. 입체적인 파노라마 이미지를 생성하는 방법으로서,
   휴대용 이미징 기기를 이용하여 파노라마 이미지를 획득하기 위한 노출 레벨을 고정하는 단계;
   상기 이미징 기기를 씬 (scene)을 가로질러서 패닝 (panning)하는 단계;
   상기 휴대용 이미징 기기의 렌즈 (optic) 및 이미징 센서를 이용하는 것을 포함하여, 적어도 부분적으로 겹친, 상기 씬의 부분들의 다중의 이미지 프레임들을 획득하는 단계;
   이미지 프레임들을 획득하는 사이에 상기 이미징 기기의 변위 (displacement)들을 결정하는 것을 포함하여, 상기 이미지 프레임들을 정합 (register)하는 단계;
   공간적인 관계들에 따라서 상기 씬의 이미지 프레임들을 연결 (join)하고 그리고 상기 다중의 파노라마 이미지들 사이의 입체적 대응 (counterpart) 관계들을 결정하는 것을 포함하여 다중의 파노라마 이미지들을 생성하는 단계;
   입체적인 파노라마 이미지를 형성하기 위해서 상기 입체적 대응 관계들을 기반으로 하여 상기 다중의 파노라마 이미지들을 프로세싱하는 단계; 및
   상기 입체적인 파노라마 이미지를 저장, 전송 또는 디스플레이하거나 또는 그것들의 조합들을 실행하는 단계;를 포함하는 방법.
2. 제1항에 있어서,
   변위들을 결정하는 것은 그 변위들을 측정하는 것을 포함하는, 방법.
3. 제1항에 있어서,
   변위들을 결정하는 것은 적어도 두 개의 차원 (dimension)들에서 변위들을 결정하는 것을 포함하는, 방법.
4. 제3항에 있어서,
   상기 적어도 두 개의 차원들은 깊이 차원에 직교한 두 개의 차원들을 포함하는, 방법.
5. 제4항에 있어서,
   변위들을 결정하는 것은 깊이 차원을 포함한 세 차원들에서의 변위들을 결정하는 것을 포함하는, 방법.
6. 제1항에 있어서,
   입체적 대응 관계들을 결정하는 단계는:
   상대적인 변위들을 구비한 이미지 프레임들을, 선택된 입체적인 효과를 제공하도록 구성된 제1의 미리 결정된 범위 내에서 페어링 (paring)하는 단계;
   컴포넌트 (component) 입체적 이미지들을 형성하기 위해서 페어링된 이미지 프레임들을 결합하는 단계; 및
   인접한 페어링된 이미지 프레임들과 겹친 페어링된 이미지 프레임들을 제2의 미리 정해진 범위 내에서 유지하는 단계를 포함하는, 방법.
7. 제6항에 있어서,
   상기 제1의 미리 정해진 범위는 5 - 7.5 cm인, 방법.
8. 제1항에 있어서,
   상기 부분적으로 겹친 것은 10% 내지 50% 사이에서 겹친 것을 포함하는, 방법.
9. 제1항에 있어서,
   이미지 프레임들의 쌍들을 연결하는 것을 다음 이미지 프레임들을 획득하거나 생성하거나 또는 둘 모두를 하는 것과 인터리빙 (interleaving)하는 단계를 더 포함하는, 방법.
10. 제1항에 있어서,
    상기 제1의 미리 정해진 범위는 상기 이미징 기기의 패닝 반경의 15%보다 더 크지 않은, 방법.
11. 휴대용 기기로 파노라마 이미지를 생성하는 방법으로서,
    상기 휴대용 이미징 기기를 이용하여 파노라마 이미지를 획득하기 위한 노출 레벨을 고정하는 단계;
    상기 휴대용 이미징 기기를 씬 (scene)을 가로질러서 패닝 (panning)하는 단계;
    각 세트가 상기 씬의 부분들의 적어도 두 개의 이미지 프레임들을 포함하는, 적어도 두 세트의 이미지들을 획득하고 그리고 그 세트들을 프로세싱하는 단계를 포함하며,
    상기 획득하는 것은 상기 휴대용 이미징 기기의 렌즈 및 이미징 센서를 이용하는 것을 포함하며, 상기 프로세싱하는 것은,
    상기 적어도 두 세트 중 적어도 두 개의 이미지 프레임들을 소팅하고 유지하는 단계;
    상기 적어도 두 세트의 이미지 프레임들 내에서 실질적으로 겹치는 프레임들 사이의 상대적인 변위들을 결정하는 단계;
    상기 적어도 두 세트 내의 이미지들을 서로간에 상대적으로 정합하는 단계;
    상기 실질적으로 겹치는 프레임들을 결합하는 단계;
    상기 파노라마 이미지의 컴포넌트 이미지들을 연결하는 단계; 및
    상기 파노라마 이미지를 저장, 전송 또는 디스플레이하거나 또는 그것들의 조합들을 실행하는 단계;를 포함하는 방법.
12. 제11항에 있어서,
    첫 번째 또는 첫 번째가 아니라면 이미지 프레임들의 상기 둘 이상의 세트들 각각의 대응 획득 프레임 사이의 상대적인 변위를 결정하는 단계를 더 포함하는, 방법.
13. 제11항에 있어서,
    상기 둘 이상의 세트들 중 각 세트의 이미지들로부터 유도된 결합된 파노라마 이미지를 정합하는 단계를 더 포함하는, 방법.
14. 제11항에 있어서,
    이미지 프레임들의 쌍을 연결하는 것을 다음 이미지 프레임을 획득, 생성 또는 둘 모두를 하는 것과 인터리빙하는 단계를 더 포함하는, 방법.
15. 파노라마 이미지를 카메라 내부에서 생성할 수 있는 휴대용 카메라 기능이 있는 기기로서,
    렌즈,
    이미지 센서,
    프로세서 및
    상기 청구항들 중 어느 하나의 청구항에 따른 파노라마 이미지 생성 방법을 수행하도록 상기 프로세서를 프로그래밍하기 위한 내장된 코드를 구비한 프로세서 독출 가능 매체를 포함하는, 기기.
16. 제1항 내지 제14항 중 어느 한 항에 따른 파노라마 이미지 생성 방법을 수행하기 위해서 프로세서를 프로그래밍하기 위한 내장된 코드를 구비한 하나 이상의 컴퓨터-독출가능 저장 매체.

Images