KR101201107B1

KR101201107B1 - 파노라마식 이미지에서의 데드 존의 최소화

Info

Publication number: KR101201107B1
Application number: KR1020050107448A
Authority: KR
Inventors: 로스 쥐. 커틀러
Original assignee: 마이크로소프트 코포레이션
Priority date: 2004-12-30
Filing date: 2005-11-10
Publication date: 2012-11-13
Also published as: JP4890005B2; CN1837952B; US20050151837A1; JP2006191535A; EP1677534B1; EP1677534A1; KR20060079079A; US7782357B2; CN1837952A

Abstract

파노라마식 카메라와 관련된 데드 존(dead zones)에서의 문제점을 최소화하기 위한 기술이 설명된다. 데드 존은 2차원의 파노라마가 렌더링될 수 있도록 360°파노라마식 이미지가 쪼개지는 0°경계 주위의 영역이다. 데드 존에 위치한 객체가 파노라마의 마진 사이에서 쪼개지지 않도록 하고, 아무 객체가 보이지 않는 위치로 0°경계의 방향을 바꾸는 것이 설명된다. 또 다른 기술은, 보통은 쪼개어지는 데드 존의 객체 전체가 재생될 수 있도록 반대쪽 마진에 인접한 한쪽 마진에 나타나는 이미지의 하나 이상의 부분을 재생하는 것을 포함한다. 설명된 기술은 파노라마식 카메라의 종점 장치 또는 카메라로부터 멀리 떨어진 클라이언트 장치에서 구현될 수 있다. 이 기술은 라이브 비디오 또는 이전에 녹화된 비디오에 적용될 수 있다.

파노라마식 카메라, 데드 존, 360°경계, 역 피라미드 미러

Description

파노라마식 이미지에서의 데드 존의 최소화{MINIMIZING DEAD ZONES IN PANORAMIC IMAGES}

도 1a는 파노라마식 카메라가 배치되어 있는 예시적인 회의실 테이블 및 의자를 도시하는 도면.

도 1b는 회의실 테이블 주위에 있는 회의 참석자들의 예시적인 파노라마 이미지를 도시하는 도면.

도 2는 역 피라미드 미러(inverted pyramidal mirror) 및 다수의 카메라를 활용하는 예시적인 파노라마식 사진 장치의 도면.

도 3은 예시적인 파노라마식 카메라 구성의 도면.

도 4a는 개개의 이미지를 모아서 제1 중복부를 지니는 예시적인 파노라마식 이미지를 형성하는 예시적인 이미지 어셈블리 모듈의 도면.

도 4b는 제2 중복부를 지니는 도 4a의 예시적인 파노라마식 이미지를 도시하는 도면.

도 5a는 파노라마식 카메라를 지니는 테이블이 있는 예시적인 회의실 테이블 및 의자를 도시하는 도면.

도 5b는 최소화된 데드 존이 있는, 회의 참석자들의 예시적인 파노라마식 이미지를 도시하는 도면.

도 6은 파노라마식 카메라를 지니는 테이블이 있는 예시적인 회의실 테이블 및 의자를 도시하는 도면.

도 7은 예시적인 파노라마식 카메라를 도시하는 블록도.

도 8은 예시적인 클라이언트 장치 및 예시적인 원격 카메라 장치의 블록도.

도 9는 이미지화된 영역의 0°도 경계를 변경함으로써 파노라마식 이미지의 데드 존을 최소화하는 예시적인 프로세스의 흐름도.

도 10은 파노라마 이미지의 반대쪽 마진에서 파노라마식 이미지 마진의 일부를 재생함으로써 파노라마식 이미지의 데드 존을 최소화하는 예시적인 프로세스의 흐름도.

도 11은 파노라마식 이미지의 데드 존을 최소화하는 클라이언트 장치상의 예시적인 프로세스의 흐름도.

<도면의 주요부분에 대한 부호의 설명>

700 : 파노라마식 카메라

704 : 메모리

724 : OS

726 : 이미지

740 : 경계 모듈

<참조문헌>

본 출원은 본 발명자에 의해 2002/6/21일자로 출원되고 발명의 명칭이 "A System and Method for Camera Color Calibration and Image Stitching"인 미국 특허 출원 제10/177,315호의 일부계속출원이고, 이것은 본 출원의 양수인인 마이크로소프트사에 양도된다. 상기 출원에 대해 우선권이 주장되고, 우선권은 그것이 가르치고 개시하는 모든 것에 대해 참조함으로써 본 명세서에 포함된다.

본 출원은 또한 본 발명자에 의해 2003/6/27일자로 출원되고 발명의 명칭이 "Omni-Directional Camera With Calibration And Up Look Angle Improvements"인 미국 특허 출원 제10/608,363호의 일부계속출원이고, 이것은 본 출원의 양수인인 마이크로소프트사에 양도된다. 상기 출원에 대해 우선권이 주장되고, 우선권은 그것이 가르치고 개시하는 모든 것에 대해 참조함으로써 본 명세서에 포함된다.

본 발명은 일반적으로 이미지 처리에 관한 것이다. 보다 구체적으로는, 본 발명은 파노라마식 카메라 시스템에 관한 것이다.

파노라마식 이미지는 최대 360°까지 이르는 광각 카메라 이미지(wide-angle camera image)이다. 파노라마식 비디오 카메라 장치는 회의실 시나리오에서 특히 유용하다. 단일 파노라마식 비디오 카메라는 뷰어(viewer)가 회의 참석자의 대부분 또는 그 모두를 동시에 볼 수 있도록 회의실의 넓은 폭 전체에 걸쳐 회의 참석자를 캡처할 수 있다. 회의실의 360°뷰를 캡처할 수 있는 파노라마식 비디오 카메라 장치는 모든 회의 참석자를 이미지화할 수 있다.

그러나 2차원의 360°파노라마식 이미지는 이미지화된 영역의 0°/360°경계 를 나타내는 왼쪽 마진과 오른쪽 마진을 지닌다. 어느 한 사람이 우연히 이 경계에 앉는 경우, 그 사람 이미지의 일부는 파노라마식 이미지의 왼쪽 마진에 그리고 그 사람 이미지의 다른 일부는 파노라마식 이미지의 오른쪽 마진에 보일 것이다. 그 경계에 관한 작은 영역은 "데드 존(dead zone)"이라고 지칭되는데, 그 이유는 그 영역의 모든 객체가 결과 파노라마식 이미지에서 쪼개어지기 때문이다.

전술된 양상 및 본 발명의 많은 부수적인 이점은, 첨부된 도면과 함께 설명될 때, 이하의 상세한 설명을 참조함으로써 더 잘 이해되는 바와 같이, 더 쉽게 이해될 것이다.

본 명세서에서는 파노라마식 이미지의 왼쪽/오른쪽 마진 경계에서 객체 이미지를 쪼개지(split) 않고, 즉 데드 존(dead zones) 없이 360°파노라마식 이미지를 제공하는 카메라 및 기술을 설명한다. 본 명세서에 사용된 바와 같이, "데드 존"이라는 용어는, 결과 파노라마식 이미지가 2차원 포맷의 표현을 위해 나누어지고 , 360°카메라에 의해 이미지화되는 공간의 한 영역을 지칭한다. 통상적으로, 이러한 분할이 만들어지는 경계를 따라 위치하는 객체는 두 부분으로 보일 것이다 - 객체의 한 부분은 파노라마식 이미지의 왼쪽 마진에, 객체의 다른 한 부분은 파노라마식 이미지의 오른쪽 마진에 보일 것이다.

본 발명의 설명이 360°영역을 이미지화하는 파노라마식 카메라의 예제에 관한 것이지만, 설명되는 하나 이상의 기술들이 360°영역보다 작은 영역을 이미지화하는 카메라에 사용될 수 있다는 것을 유의한다. 본 명세서에 설명된 바와 같이 " 데드 존"에 위치하는 객체가 결과 이미지상에서 쪼개질 수 있는 한, 본 기술은 적용될 수 있다.

도 1a 및 도 1b는 데드 존 및 이미지화된 객체(즉 사람)가 데드 존에 위치하는 경우 통상적으로 부닥칠 수 있는 문제점을 도시한다. 도 1a는 예시적인 회의실 구성(100)을 도시하는 도면이다. 도시된 구성은 회의실 테이블(102), 각종 회의실 의자들(104) 및 테이블(102) 위의 중앙에 놓인 파노라마식 카메라(106)를 포함한다.

파노라마식 카메라(106)로부터 발산되는 0°경계(108)가 도시되어 있다. 0°경계(108)는 이미지화된 영역이 2차원 포맷으로 디스플레이될 수 있도록 이미지화된 영역이 분할되는 포인트를 나타낸다. 0°경계(108) 주위에서 데드 존(110)이 도시되어 있다. 데드 존(110) 내에 위치하는 객체는 파노라마식 이미지를 렌더링할 때 두 개의 부분 이미지로 분할될 수 있다. 예를 들어, 회의실 의자(112)에 앉아 있는 사람은 아마도 두 부분으로 보일 것이다. 그 사람 얼굴의 한 면은 결과 파노라마식 이미지의 왼쪽 마진에 인접해서 보일 것이고, 그 사람 얼굴의 다른 면은 결과 파노라마식 이미지의 오른쪽 마진에 인접해서 보일 것이다.

도 1b는 한 사람이 데드 존에 앉아 있는 예시적인 파노라마식 이미지(120)이다. 예시적인 파노라마식 이미지(120)는 왼쪽 마진(122) 및 오른쪽 마진(124)을 지닌다. 이 사람의 얼굴 이미지는 (회의실 의자(112)에 앉아 있는 경우) 왼쪽 마진(122)에 인접하여 위치한 제1 반쪽(126) 및 오른쪽 마진(124)에 인접하여 위치한 제2 반쪽(128)으로 도시되어 있다. 이것은 데드 존(110)에 앉아 있는 사람의 얼굴 이 결과 파노라마식 이미지에 어떻게 보이는가에 관한 한 예제이다.

360°파노라마식 이미지에서의 데드 존 문제를 최소화하는 각종 기술들이 본 명세서에 설명된다. 이중 한 기술은 0°경계(108)(2차원 포맷을 렌더링하기 위해 결과 이미지가 쪼개지는 위치)가 객체를 포함하지 않거나 또는 중요하지 않은 객체를 향하도록 카메라 또는 카메라의 일부를 물리적으로 회전시키는 것을 포함한다.

데드 존 문제를 최소화하는 또 한가지 방법은 소프트웨어, 하드웨어, 펌웨어 등에서의 컴퓨터 명령어 번역을 통해 유사한 조정을 행하는 것이다. (본 명세서에 설명된 기술이 최고 360°에 이르는 단일 파노라마식 카메라에 적용될 수도 있지만) 본 명세서에 설명된 파노라마식 카메라는 여러 개별 카메라를 활용하여 360°폭(span)을 이미지화한다. 픽셀 재매핑 함수가 사용되어 각 개별 이미지의 픽셀을 파노라마식 이미지로 재매핑한다. 이미지화될 객체가 데드 존에 위치하는 경우, 재매핑 함수는 데드 존에 아무 객체도 나타나지 않도록 변경될 수 있다(즉, 파노라마식 이미지가 회전된다).

설명된 기술 중 하나 이상의 기술에서, 0°경계의 최적 방위(optimum orientation)가 수동 또는 자동으로 결정된다. 0°경계의 자동 결정에서, 얼굴 추적 메커니즘이 사용되어 사람의 얼굴이 나타나지 않는 영역을 결정한다. 이후 0°경계는 그 영역으로 설정된다. 그 결과, 경계를 둘러싸는 데드 존에는 어떠한 사람도 이미지화되지 않는다.

본 명세서에 도시되고 설명된 추가의 기술은, 0°경계에 인접한 이미지 부분(즉, 결과 파노라마식 이미지의 마진에 있을 이미지의 일부)을 결정하고, 반대쪽 마진에 인접한 이미지 부분을 재생한다. 그 결과, 데드 존에 있는 사람이 이미지화되면, 그 사람의 이미지가 마진에서 쪼개지는 것이 아니라, 그 사람의 전체 이미지가 마진 중 하나에 인접하여 보이게 된다.

이러한 기술 전부가 본 명세서에 포함된 도면을 참조하여 이하에 도시되고 더 자세히 설명된다. 본 명세서에 도시되고 설명되는 특정 구현은 예제로서 도시된 것이고 제한하는 것이 아니라는 것을 유의한다. 본 명세서에 제공된 설명의 취지 및 범위 그리고 본 명세서에 첨부된 청구항 내에서 기타 시스템 및 방법이 구현될 수 있다.

예시적인 사진 장치(Exemplary Photographic Device)

도 2는 본 발명에 따른 예시적인 파노라마식 사진 장치(200)의 도면이다. 예시적인 파노라마식 사진 장치(200)에 대해 특정 구성이 도시되지만, 특정 구성은 단지 예제로서 도시되는 것이고 본 설명에 따라 파노라마식 카메라 장치의 기타 구성이 활용될 수 있다는 것을 유의한다.

예시적인 파노라마식 사진 장치(200)는 역 피라미드 미러 어셈블리(inverted pyramidal mirror assembly)(202) 및 다수의 카메라(206)를 포함한다. 역 피라미드 미러 어셈블리(202)는 다수의 미러 면(204)(mirror facet)을 포함하며, 하나의 미러 면(204)은 다수의 카메라(206) 각각에 대응하게 된다. 역 피라미드 미러(202)는 기둥(208)에 의해 다수의 카메라(206) 위에 배치된다.

예시적인 파노라마식 사진 장치(200)의 구성은 파노라마식 사진 장치(200)에 의해 형성되는 파노라마식 이미지에서의 시차(parallax) 오차를 감소시키는 투영의 근접 중심(a near center of projection)을 달성한다. 본 명세서에 참조로서 포함된 하나 이상의 특허 출원서에 이러한 구성이 도시되고 설명되어 있다.

예시적인 카메라 구성

도 3은 360°카메라 구성에서의 예시적인 파노라마식 카메라(300)의 도면이다. 이 도면은 도 2에 도시된 파노라마식 사진 장치(200)의 기본 표현(rudimentary representation)이다. 멀티 카메라 360°파노라마식 사진 장치의 예제가 본 명세서에 도시되고 설명되지만, 본 발명의 설명은 이미지가 2차원 표현을 위해 쪼개어지는 영역에 위치한 객체의 이미지를 쪼개기 쉬운 임의의 광각 사진 장치에 적용된다는 것을 유의한다. 이하의 설명에서, 도 2에 도시되고 설명된 구성요소 및 참조번호를 계속해서 참조한다.

도면은 5각형 구성으로 배열되어 파노라마식 카메라(300)를 형성하고, 도 2의 역 피라미드 미러(202)의 5각형 형상에 대응하는 다수의 카메라(302-310)를 도시한다. 각 카메라(302-310)는 파노라마식 카메라(300) 주위의 서로 다른 영역의 사진을 찍는다.

이미지화된 영역은 완전한 360°이고 결과 이미지는 반드시 2차원 포맷으로 렌더링되어야 하기 때문에, 이미지화된 영역은 결과 파노라마식 이미지가 "펴질 수 있도록(unrolled)" 어느 포인트에서 반드시 분할되어야 한다. 결과 이미지에서 문제를 야기할 수 있는 것이 바로 이 분할인데, 그 이유는 이러한 분할을 따라 위치한 객체가 결과 이미지의 양쪽 마진을 따라 렌더링될 것이기 때문이다.

예시적인 이미지 어셈블리 모듈

도 4는 개개의 이미지(10-50)를 모아서 하나의 파노라마식 이미지(402)를 형성하는 예시적인 이미지 어셈블리 모듈(400)의 도면이다. 이미지 어셈블리 모듈(400)은 파노라마식 카메라의 각 카메라로부터 하나의 이미지를 입력으로 수신한다. 이하의 설명을 위해, 도 3에 도시된 카메라(302-310)에 의해 찍힌 이미지는 이미지 "1"(10), 이미지 "2"(20), 이미지 "3"(30), 이미지 "4"(40) 및 이미지 "5"(50)로 각각 식별된다. 이들 개별 이미지는 모아져서 하나의 파노라마식 이미지(402)를 형성한다.

이미지 어셈블리 모듈(400)은 개개의 이미지 공간의 픽셀을 파노라마식 이미지 공간의 픽셀로 매핑하는 재매핑 함수를 활용한다. 개개의 이미지(10-50)의 픽셀은 (u,v) 좌표 그리드(401)에 따라 어드레스된다. 파노라마식 이미지(402)의 픽셀은 (x,y) 좌표 그리드(403)에 따라 어드레스된다. 이미지 어셈블리 모듈(400)은개개의 이미지(10-50)의 모든 픽셀이 파노라마식 이미지(402)에서 재생될 때까지, 각각의 픽셀을 (u,v) 좌표에서 (x,y) 좌표로 매핑한다.

재매핑 함수는 개개의 이미지가 이음매 없이 스티치되어(stitch) 함께 결합할 수 있도록 조정된다. 이것은 파노라마식 이미지(402)가 이음매 없이 보이도록, 즉 개개의 이미지 간에 그 결과물을 흐트러뜨리는 것이 발생하지 않도록 하기 위한 것이다.

파노라마식 이미지에서 이미지 간의 이음매를 최소화하기 위해 개개의 이미지를 제대로 스티치하는 것이 요구되는 방법 때문에, 개개의 이미지 내의 모든 픽 셀이 결과 파노라마식 이미지에 반드시 사용될 필요는 없다는 것을 유의한다. 또한, 하나 이상의 왜곡 정정 알고리즘이 적용되어 파노라마식 이미지의 뷰를 정규화할 수 있다(normalize). 이미지 스티칭 기술은 본 명세서에 참조로서 포함된 하나 이상의 특허 출원에 도시되고 설명되어 있다.

데드 존 문제를 정정하는 데에 사용될 수 있는 하나의 기술은 마진 한 면에 인접한 이미지의 일부를 재생하고, 그 재생된 부분을 마진 다른 한 면에 첨부하는 것이다. 도 4a에서, 한 이미지의 델타 부(δ)가 파노라마식 이미지(402)의 한 면으로부터 재생되어 파노라마식 이미지의 반대 면에 (델타 프라임 부(δ')가) 첨부되어, 360 +δ의 파노라마식 이미지를 생성한다.

δ'의 폭은 다양할 수 있지만 본 명세서에 설명된 것과 유사한 비디오 회의의 경우에서, δ'는 대략 한 사람의 얼굴 폭이다. 통상적인 회의실 파노라마에서, 한 사람의 얼굴의 폭은 그 사람이 카메라로부터 얼마나 떨어져 있는가에 따라 통상적으로 약 4°에서 14°까지이다.

δ의 폭은 디폴트, 자동 또는 수동으로 결정될 수 있다. 폭이 수동으로 결정되는 경우, 사용자는 사용자 인터페이스와 상호작용하여 원하는 δ폭을 설정한다. 폭이 자동으로 결정되는 경우(얼굴 추적기와 결합하여서와 같이), 자동 설정은 소정의 간격으로 발생하도록 구성되어야 한다. 사람들이 다른 시간에 오고 감에 따라, 회의 상황은 변할 수 있다. 한 사람이 데드 존에 들어가고 데드 존에서 나올 때마다 δ의 폭이 자동으로 조정되는 경우, 원하지 않는 결과가 발생할 수 있다. 또한, 자동 구현은 어느 경우에든지 δ폭을 자동으로 결정할 수 없도록 하는 사용자 옵션을 포함할 수 있다.

이 기술은 하나 이상의 다음 도면들과 관련하여 이하에 상세히 기술된다. 이 기술은 이하에 설명되는 대로 우선 카메라를 원하는 위치에 맞추거나 또는 맞추지 않고 사용될 수 있다.

델타 프라임 부(δ')가 파노라마식 이미지(402)에 첨부될 때, 파노라마식 이미지의 폭(t)은 (t+δ')로 증가한다. 통상적인 파노라마식 이미지의 종횡비(aspect ratio)가 유지되도록 파노라마식 이미지(402)의 크기를 조정하는 것이 바람직하다. 다른 방법을 활용하여 파노라마식 이미지의 크기를 조정할 수 있다. 예를 들어, 동일한 크기 및 이미지 종횡비를 유지하기 위해, 결과 파노라마식 이미지(402)(t+δ')는 파노라마식 이미지(402)의 상부 및/또는 하부에 첨부되는 수평 스트립으로 패딩될 수 있다.

도 4b는 도 4a에 도시된 파노라마식 이미지(402)와 유사한 파노라마식 이미지(410)를 도시한다. 파노라마식 이미지(410)는 파노라마식 이미지(410)의 양쪽 종점에 하나씩, 두 개의 델타 부(δ)를 포함한다. 파노라마식 이미지(410)를 생성하는 프로세스는 360°보다 더 큰 영역이 재생된다는 점에서 도 4a와 관련하여 설명된 프로세스와 유사하다.

0°경계의 각 면에 인접한 파노라마식 카메라에 의해 이미지화된 견본들은 두 개의 위치, 즉 명목상의 파노라마식 공간의 제1 위치 및 파노라마식 이미지(410)의 반대 면의 제2 위치로 매핑된다.

파노라마식 이미지에 두 개의 델타 부(δ)를 첨부함으로써 데드 존에 앉아 있는 사람의 이미지는 결과 파노라마식 이미지(410)에서 두 번, 즉 각 마진 가까이에서 한 번씩 나타나게 된다. 그러나, 이하에 설명되는 바와 같이, 이미지의 재생부를 이미지에 첨부하는 것은 하나 이상의 기타 기술과 결합되어 파노라마식 이미지(410)에서 사람 이미지의 중복을 피하게 할 수 있다.

재생될 이미지 부(δ)는 이미지 어셈블리 프로세스 동안 임의의 단계에서 결정될 수 있다. 하나의 실시예에서, δ가 복사되고 δ'가 파노라마식 이미지(402)에 첨부되기 전에 파노라마식 이미지(402)가 생성된다. 다른 구현은 재매핑 프로세스 동안 이러한 방식으로 픽셀을 중복하도록 구성된 재매핑 테이블을 포함할 수 있다. 이러한 임의의 기술을 활용하여 상술된 것과 동일한 목적 결과를 달성할 수 있다.

도 5a는 테이블(502), 의자(504) 및 파노라마식 카메라(506)의 예시적인 회의실 셋팅(500)을 도시한다. 도 5a에 도시된 예제에서, 파노라마식 카메라(506)의 0°경계(508)는 아무도 앉아 있지 않은 테이블(502)의 위치로 수동으로 맞추어진다. 경계(508)의 위치는 사용자가 볼 수 있는 경계 표시자(509)에 의해 카메라(506)상에 표시된다. 파노라마식 카메라(506)를 맞추기 위해, 사용자는 단지, 도시된 대로 피사체가 나타나지 않는 위치를 향해 경계 표시자(509)가 맞추어진 한 포인트로 파노라마식 카메라(506)를 회전시킨다.

그 결과, 0°경계(508)에 대해 발생하는 데드 존(510)에서는 아무도 보이지 않는다. 그러므로, 회의실의 각 사람은 파노라마식 카메라(506)에 의해 캡처된 파노라마식 이미지상에서 완전히 이미지화된다.

도 5b는 파노라마식 카메라(506)가 아무도 없는 위치로 맞춰진 때의 회의 참석자의 예시적인 파노라마식 이미지(520)를 나타낸다. 사람들의 이미지(522) 각각은 전체가 보이는데, 즉 파노라마식 이미지(520)의 마진 사이에서 쪼개어지는 사람의 이미지가 없다.

도 5a 및 도 5b에 도시된 상황은 투영 스크린(projector screen)이 사용중인 방에서와 같이 데드 존에 대한 최적의 위치가 있는 환경하에서 종종 가능하다. 일반적으로 회의 테이블과 투영 스크린 사이에 앉는 사람이 아무도 없기 때문에, 0°경계를 맞추는 최적의 위치는 투영 스크린을 향한다. 그러나, 모든 상황이 그렇게 최적으로 제공되는 것은 아니다.

0°경계를 확립하기 위한 계산 회전

상술된 기술 외에, 카메라가 0°경계의 위치를 향하도록 물리적으로 다시 맞추어지는 경우, 이 0°경계는 사용자에 의해 수동으로 표시되어 파노라마식 이미지는 0°경계에 대하여 이미지를 맞추도록 계산을 요구하여 회전될 수 있다.

파노라마식 이미지의 이러한 회전을 달성하기 위해, 재매핑 함수(도 4의 이미지 어셈블리 모듈(400)에 관해 상술됨)는 명목상의 0°경계와 선택된 0°경계 간의 각의 차(angle difference)를 계산한다. 이러한 차는 재매핑 함수로 인수화되어, 파노라마식 이미지의 마진이 선택된 0°경계에 대응하는 위치로 이 파노라마식 이미지를 회전시킨다.

명목상의 0°경계와 선택된 0°경계 간의 차와 동등한 오프셋을 파노라마식 이미지(도 4a의 참조번호(403))의 (x,y) 좌표 시스템의 x좌표에 추가함으로써 회전 이 달성된다.

0°경계를 설정하는 것은 각종 방법 중 한 가지로 달성될 수 있다. 예를 들어, 파노라마식 카메라(도시 생략)의 사용자 인터페이스 유닛(도시 생략)은 화살표 버튼과 같이 경계 표시자의 회전을 초래하는 수단을 포함할 수 있다. 사용자는 오른쪽 또는 왼쪽 화살표 버튼을 누름으로써 (예를 들어 LCD상에) 경계 표시자를 위치시킬 것이다. 동일한 결과를 달성하기 위해 다른 기술이 이용될 수 있다.

0°경계의 자동 위치

도 6은 도 5a에 도시된 것과 유사한 예시적인 회의실 구성(700)을 도시한다. 예시적인 회의실 구성(600)은 회의실 테이블(602), 각종 회의실 의자(604) 및 파노라마식 카메라(606)를 포함한다. 본 예제에서, 회의실 테이블(602)의 양면을 따라 그리고 양 종점에 의자(604)가 있다. 그러므로, 카메라(606)를 향하게 할 명확한 위치가 없다.

도 6에 두 개의 의자(604) 사이에 있는, 테이블(602)의 모퉁이를 향해 맞춰진 0°경계를 지니는 파노라마식 카메라(606)가 도시되어 있다. 0°경계(608)와 관련된 데드 존(610)은 참석자의 이미지가 쪼개어지지 않도록 두 명의 회의 참석자 사이에 있게 된다.

0°경계(608)는 상술된 대로 수동으로 맞춰지거나, 또는 얼굴 추적 메커니즘을 이용하여 최적의 위치를 향해 자동으로 맞춰질 수도 있다. 얼굴 추적 메커니즘 즉 "얼굴 추적기(face tracker)"는 종래기술에 공지되어 있고 0°경계(608)에 대한 최적의 위치를 결정하는 데에 사용될 수 있다.

통상적으로, 얼굴 추적기를 이용하여 결정된 바와 같은 최적의 위치는 얼굴 (또는 다른 객체) 간에 검출된 가장 큰 각의 중앙이다. 얼굴 추적 메커니즘은 이미지화된 영역에서 각 얼굴을 찾고 두 개의 인접한 얼굴 간의 각을 결정한다. 0°경계(608)을 맞추는 데에 이들 각 중 가장 큰 각이 사용된다.

상술된 경계 선택 메커니즘은 다음과 같이 나타내어진다:

여기서

는 얼굴 추적기에 의해 검출되는 정렬된 얼굴 각이고, θ는 얼굴 간에 최대 간격(separation)을 갖는 각이다. 상술된 방정식에서, 각의 뺄셈 및 덧셈은 모두 360°를 법으로 하여 계산된다는 것을 유의한다.

최적의 경계가 결정될 때, (도 4a에 상술된) 재매핑 함수는 원하는 경계가 달성될 수 있도록 파노라마식 이미지를 회전시키도록 조정된다.

0°경계를 조정하기 위한 상술된 이 기술 및 기타 기술은 다음 도면과 관련하여 더 상세히 설명된다.

예시적인 카메라

도 7은 본 명세서에 설명된 실시예에 따른 예시적인 파노라마식 카메라(700)의 블록도이다. 이하의 예제에서, 예시적인 파노라마식 카메라는 하나 이상의 대안의 구현에서 하나 이상의 기타 장치로 분리될 수 있는 기타 기능뿐만 아니라 파노라마식 카메라를 포함하는 다소 완벽한 비디오 회의 종점(endpoint)이다. 이러 한 대안의 구현이 이하의 도 8에 도시되고 설명된다. 본 명세서의 설명 및 청구항에 따라 기타 특정한 구성이 구현될 수 있다.

이하의 설명에서, 이전 도면에서 도시되고 설명되었던 구성요소 및 참조 번호를 계속해서 참조한다. 특정 구성요소가 도시되고 특별한 기능이 특정 구성요소의 것이지만, 설명된 기능이 대안의 구성의 구성요소를 교체하도록 할당될 수 있다는 것을 유의한다. 또한, 구성요소는 하드웨어 또는 소프트웨어 구성요소로서 도시되지만, 임의의 구성요소는 하드웨어, 소프트웨어 또는 펌웨어로 구성될 수 있다.

예시적인 파노라마식 카메라(700)는 프로세서(702), 메모리(704) 및 적어도 하나의 카메라(706)를 포함한다. 앞의 예제에, 하나의 파노라마식 카메라에 포함된 5개의 카메라(706)가 있다. 파노라마식 카메라(700)는 또한 통상적으로 카메라에서 볼 수 있고, 빛을 감지하고 전자 정보를 전송하는 하나 이상의 센서(708)(전하 결합 소자(charge coupled device(CCD), 상보성 금속 산화막 반도체(Complementary Metal-Oxide Semiconductor(CMOS) 등)를 포함한다. 통상적으로, 각각의 카메라(706)에 대해 하나의 센서(708)가 있다.

파노라마식 카메라(700)는 또한 마이크(710)(또는 마이크 배열) 및/또는 하나 이상의 스피커(712)를 포함할 수 있다. 예를 들어, 비디오 회의 카메라에서, 원격 회의 참석자 간에 오디오 통신을 수행하는 데에 마이크 및 스피커가 필요하다.

외부 데이터를 수신하고 및/또는 데이터를 전송하도록 구성된 하나 이상의 유닛으로 구성된 입/출력(I/O) 모듈(714)이 포함된다. 일반적인 I/O 모듈의 한 예로는 USB 또는 기타 유형의 포트가 있으나, I/O 모듈(714)은 이에 제한되지 않는다. I/O 모듈(714)은 또한 원격 위치의 파노라마식 카메라/클라이언트 장치와 통신하도록 구성된 하나의 유닛을 포함할 수 있다. 이것은, 네트워크 인터페이스 모듈, 전화 인터페이스 모듈 등을 포함하지만 이에 제한되지 않는다.

사용자 인터페이스(716)가 또한 파노라마식 카메라(700)에 제공되고, 사용자가 파노라마식 카메라(700)와 인터페이스할 수 있도록 하는 제어 및 디스플레이(도시 생략)를 포함한다. 이러한 제어로는 버튼, 터치 패드, 터치 스크린, 포인팅 장치 등이 있다. 사용될 수 있는 디스플레이의 한 유형으로는 LCD 스크린 등을 포함하지만 이에 제한되지 않는다.

경계 표시자(718) 또한 파노라마식 카메라(700)에 포함될 수 있다. 각종 유형의 경계 표시자(718)는, 카메라(700)에 의해 찍혀진 이미지가 2차원 이미지를 렌더링하기 위해 분할되는 축인, 카메라 내의 0°경계의 명목상의 방향(orientation)을 식별하는 데에 사용될 수 있다. 앞서 도시되고 상술된 바와 같이, 경계 표시자(도 5의 참조번호(509))는 화살표, 점, 선 등과 같은 카메라 외부의 표시(marking)일 수 있다. 사용자가 표시자의 위치로부터 0°경계의 방향을 추론할 수 있기만 하면 (발광 다이오드(light emitting diode:LED)와 같은) 임의의 유형의 기타 표시자가 사용될 수 있다.

전원 모듈(720)은 파노라마식 카메라(700)에 전기 전원을 공급하고, 파노라마식 카메라(700)는 이러한 카메라의 전형적인 기능을 수행하는 데에 필요한 기타 잡다한 하드웨어(722) 구성요소를 포함한다.

메모리(704)는 파노라마식 카메라(700) 및 그 컴포넌트에 대한 조작 기능을 수행하는 프로세서 실행가능 명령어를 포함하는 운영 체제(724)를 저장한다. 카메라(706)에 의해 검출된 다수의 이미지는 메모리(704)에 저장된다.

하나 이상의 재매핑 테이블(728) 또한 메모리(704)에 저장되고 재매핑 모듈(730)에 의해 활용되어, 이미지 공간에서부터 파노라마식 공간으로 개개의 이미지(726)의 올바른 매핑을 결정하여 파노라마식 이미지(732)를 생성한다. 하나 이상의 재매핑 기술의 상세사항은 본 출원의 양수인에게 양도되고, 2002/6/21일자로 출원되고 발명의 명칭이 "A System and Method for Camera Color Calibration and Image Stitching"인 미국 특허 출원 제10/177,315호에 설명되어 있다. 상기 출원은 상기 참조에 의해 포함된다.

얼굴 추적기(734)는 메모리(704)에 저장되고 예를 들어 회의 상황에서 얼굴을 자동으로 검출하는 데에 사용된다. 종래 기술의 공지된 임의의 얼굴 추적 메커니즘은 본 명세서에 설명된 목적을 위해 파노라마식 카메라(700)에 포함될 수 있다. 얼굴을 찾는 것 외에, 얼굴 추적기(734)는 두 개의 인접하는 얼굴 간의 각 또는 거리를 계산하도록 구성될 수 있다.

하나 이상의 얼굴 추적 메커니즘의 예제는 Yong Rui 및 Yunqiang Chen에 의해 2001/12/3일자로 출원되고, 마이크로소프트사에 양도되고, 발명의 명칭이 "Automatic Detection and Tracking of Multiple Individuals Using Multiple Cues"인 미국 특허 출원 제10/006,927호에 상세하게 설명되어 있다. 상기 출원은 그것이 가르치고 개시하는 모든 것에 대해 참조함으로써 본 명세서에 포함된다.

어셈블리 모듈(736)은 메모리(704)에 저장되고, 개개의 이미지(726)를 파노라마식 이미지(732)로 모으기 위해 재매핑 모듈(730) 및 재매핑 테이블(728)과 함께 작동하도록 구성된다. 어셈블리 모듈(736)에 의해 수행될 수 있는 하나의 기능은, 0°경계의 한 면에 인접한 이미지(726)의 일부(δ)를 결정하는 것인데, 이것은 0°경계 주위의 데드 존에서의 문제를 최소화하기 위해 0°경계의 다른 한 면(δ')에 인접하여 재생될 수 있다.

이러한 기능은 상술되었고, 본 발명에 따른 파노라마식 카메라(700)의 특정 구성에 포함될 수도 있고 아닐 수도 있다. 어셈블리 모듈(736) 및 그 기능에 대한 추가의 설명은 이하에 상세히 설명된다.

메모리(704)는 또한 회전 모듈(738)을 저장한다. 회전 모듈(738)은 실제 0°경계(사용자에 의해 자동 또는 수동으로 설정됨)에 대한 파노라마식 카메라(700)의 디폴트, 또는 명목상의, 0°경계 간의 거리를 결정하도록 구성된다. 회전 모듈(738)은 재매핑 함수에 포함되어야만 하는 적절한 오프셋(x축 오프셋)을 결정한다. 0°경계를 오프셋함으로써, 데드 존과 관련하여 발생할 수 있는 문제점들이 상술된 바와 같이 최소화될 수 있다.

경계 모듈(740)은 또한 파노라마식 카메라(700)의 메모리(704)에 포함된다. 경계 모듈(740)은 명목상의 경계(742), 실제 경계(744) 및 경계 차(746)의 결정과관련된 기능을 처리한다. 경계의 표시를 메모리 또는 하드웨어 둘 중 하나에 저장함으로써, 명목상의 경계(742)는 통상적으로 제조 프로세스 동안 설정된 디폴트 경 계 위치가 될 것이다. 이후 명목상의 경계(742)가 검색되어 이후의 계산에서 활용될 수 있다.

실제 경계(744)는 사용자 입력 또는 0°경계에 대한 최적의 위치를 식별하는 자동 계산 둘 중 하나로부터 결정된다. 사용자 입력은 사용자 인터페이스(716) 또는 사용자가 원하는 경계의 방향으로 가리키도록 설정하는 (수동 다이얼과 같은) 개별 하드웨어 구성요소로부터 검색될 수 있다.

또는, 회의 참석자들의 얼굴 위치를 결정하기 위해 얼굴 추적기(734)가 이용될 수 있다. 이후 얼굴 추적기(734)(또는 경계 모듈(740)과 같은 일부 다른 모듈)는 얼굴 위치 정보를 이용하여 0°경계에 대한 최적의 위치, 즉 두 개의 얼굴 간에 가장 먼 거리를 지니는 위치를 결정한다. 이후 경계 차(746)는 재매핑 함수가 적절한 오프셋을 구현하도록 구성될 수 있도록 도(degree), 오프셋 단위 등으로 결정된다.

예시적인 클라이언트 장치

도 8은 본 발명에 따른 예시적인 클라이언트 장치(800)의 블록도이다. 예시적인 클라이언트 장치(800)는 퍼스널 컴퓨터와 같은 범용 컴퓨팅 장치일 수 있고, 또는 본 명세서에 약술된 목적을 위해 특별히 구성된 제한된 기능의 장치일 수 있다. 이하의 설명에서, 이전 도면 및 그와 관련된 구성요소 및 참조 번호를 계속하여 참조한다.

클라이언트 장치(800)는 도 7에 도시된 예시적인 파노라마식 카메라(700)와 같은 파노라마식 카메라와 통신하도록 구성된다. 그러나, 예시적인 파노라마식 카 메라(700)가 도 7의 예시적인 파노라마식 카메라의 것으로 생각되는 프로세스 중 일부를 처리할 수 있는 클라이언트 장치(800)와 함께 사용될 때 더 적은 수의 컴포넌트를 가질 수 있다는 것을 유의한다.

클라이언트 장치(800) 및 파노라마식 카메라(700)는 또한 원격 위치의 다른 클라이언트 장치(도시 생략) 및/또는 파노라마식 카메라와 통신하도록 구성될 수 있다. 이것은 클라이언트 장치와 원격 파노라마식 카메라를 각각 지니고 있는 두 개의 회의실에서, 전화선 또는 네트워크 접속과 같은 통신선을 통해서 두 회의실이 서로 통신하는 그러한 상황일 것이다.

클라이언트 장치(800)는 프로세서(820), I/O 모듈(822), 디스플레이(824), 렌더러(825) 및 사용자 인터페이스(826)를 포함한다. 디스플레이(824)는 도시된 대로 클라이언트 장치(800)와 통합될 수 있고, 또는 클라이언트 장치(800)가 퍼스널 컴퓨터이고 디스플레이(824)가 모니터가 되는 구성에서와 같이 클라이언트 장치(800)와 분리될 수 있다. 렌더러(825)는 디스플레이(824) 상에 파노라마식 이미지(838)의 픽셀 표현을 렌더링하도록 구성된 비디오 카드와 같은 모듈이다.

사용자 인터페이스(826)는 사용자가 보여지는 이미지에서 보기를 원하는 회전의 방향 및 크기를 입력할 수 있도록 하는 이미지 시프터(image shifter)(827)를 포함한다. 이 특징은 이하에 더욱 상세히 설명된다.

클라이언트 장치(800)는 또한 운영 체제(830) 및 RTP(Real-Time Transport Protocol) 소스 모듈(832)을 저장하는 메모리(828)를 포함한다. RTP 소스 모듈(832)은 통신 채널(도시 생략)을 통해 파노라마식 카메라(700)로부터 파노라마식 이미지(732)를 수신하고 그 수신된 파노라마식 이미지를 파노라마식 이미지(838)로서 저장하도록 구성된다. 이 특정 예제에서, 파노라마식 카메라(700)는 개개의 이미지로부터 파노라마식 이미지(732)를 생성하고 이 파노라마식 이미지를 클라이언트 장치(800)로 전송한다.

각종 기타 구성요소(840-852)는 도 7의 구성요소(734-746)와 유사하고 각각 이에 대응된다. 상술된 구성요소는 이하에 지적하는 것을 제외하고는 상술된 바와 같이 기능한다. 파노라마식 이미지(838)는 그것이 데드 존과 관련된 임의의 해로운 효과를 최소화하기 위해 재생될 때 저장되고 조작될 수 있다. 이하에 설명되는 프로세스는 이미지가 파노라마식 카메라(700)로부터 수신될 때에 실시간으로 재생되든지 또는 파노라마식 이미지(838)가 수신되어 저장되고 난 후 나중에 재생되든지 간에 저장된 파노라마식 이미지(838)에 적용될 수 있다.

동작시, 사용자는 클라이언트 장치(800)와 제1 회의실에 위치할 수 있는 반면 파노라마식 카메라(700)는 제2 회의실(802)에 있을 수 있다. 이 제1 예제에서, 파노라마식 카메라(700)는 비디오 이미지를 클라이언트 장치(800)로 스트리밍한다. 파노라마식 카메라(700)는 초기 0°경계를 설정하여 파노라마식 이미지를 생성하고, 이후 이것을 클라이언트 장치(800)로 전송한다.

클라이언트 장치(800)가 파노라마식 이미지(838)를 수신한 이후, 파노라마식 이미지(838)는 데드 존에 문제가 있는 경우, 즉 사람 얼굴이 파노라마식 이미지(838)에서 쪼개지는 경우 회전될 수 있다. 이것은 얼굴 추적기(830)를 이용하여 자동으로 또는 이미지 시프터(827)를 이용하여 수동으로 수행될 수 있다.

회전을 수동으로 수행할 수 있는 한 가지 방법은, 사용자가 포인팅 장치(도시 생략)로 원하는 0°경계를 클릭하여 메뉴로부터 선택하거나 또는 커서를 드래그함으로써 회전 기능을 수행하는 것이다. 수동으로 이미지를 회전시키는 다른 기술이 가능하고, 이를 위해 종래 기술의 임의의 공지 기술이 본 예제의 문맥으로 구현될 수 있다.

적어도 하나의 구현에서, 회전은 얼굴 추적기에 의해 수행될 수 있으나, 사용자가 원하는 경우 사용자에 의해 수동으로 오버라이드될 수 있다. 이러한 구현이 도 11과 관련하여 이하에 설명된다.

본 예제의 문맥에서, 이미지 회전 모듈(844)은 종래 기술에 공지된 이미지 변환 기능을 수행한다. 새로운 0°경계가 설정되면, 이미지는 이 새로운 0°경계의 표시된 지점에서 수직으로 분할되어, 이미지에 두 개의 사각 영역을 생성한다. 이후 이 두 개의 사각 영역은 이것을 분할하는 선이 새 파노라마식 이미지의 마진이 되도록 교환된다(swap).

렌더러(825)가 사용가능하고 이러한 회전 기능을 수행하도록 구성되는 경우, 이 회전 기능이 렌더러(825)에서 또한 수행될 수 있다는 것을 유의한다. 예를 들어, 일부 비디오 그래픽 가속기는 이러한 기능을 처리하기에 충분한 처리 능력을 포함하고, 이러한 유닛에서 회전 기능을 수행하는 것이 더 효율적일 수 있다.

이미지 시프터(827)가 0°경계를 수동으로 리셋하도록 조작되는 경우, 이미지 회전 모듈(844)은 표시된 회전의 방향 및 크기를 나타내는 피드백을 수신한다. 클라이언트 장치(800)의 경계 모듈(846)은 파노라마식 카메라(700)로부터 수신되었 거나 또는 얼굴 추적기(840)에 의해 설정된 명목상의 경계(848)를 저장한다. 실제 경계(850)는 검출된 조작으로부터 식별되는 위치이다. 차(경계 차(852))는 명목상의 경계(848)와 실제 경계(850) 간의 차이다. 이 경계 차(852)는 이미지 픽셀이 이미지 회전을 위해 시프트되는 오프셋을 계산하는 데에 사용된다.

예시적인 방법론의 구현

도 9는 파노라마식 이미지로부터 데드 존 암시(implication)를 제거하는 프로세스의 예시적인 방법론의 구현을 도시하는 흐름도(900)이다. 흐름도(900)에 도시된 특정 프로세스는 상술된 도 7과 관련된다. 이 예시적인 방법론의 특정 구현은 특정 순서로 도시되지만, 상술된 기능을 수행하기 위해 더 많은 수 또는 더 적은 수의 단계가 수행될 수 있고, 본 실례에 도시된 것 외의 다른 순서로 단계들이 수행될 수 있다는 것을 유의한다.

얼굴 추적기로와 같이 자동으로(블록(902)에서 "예"로 분기됨) 또는 수동으로(블록(902)에서 "아니오"로 분기됨) 결정되는지에 따라 블록(904) 또는 블록(906)에서, 0°경계에 대한 최적의 위치가 결정된다.

카메라는 사용자가 최적의 위치를 결정할 수 있는 수동 선택기를 포함하고, 그 수동 선택기를 위치로 설정하여 명목상의 경계 위치와 실제 경계 위치 간의 오프셋을 식별할 수 있다. 이에 따라 블록(908)에서 0°경계가 설정된다.

자동으로 수행되는 경우, 얼굴 추적 메커니즘이 사용되어 회의실 테이블 주위에 앉아있는 회의 참석자들의 얼굴 위치를 자동으로 검출할 수 있다. 이 동작을 수행하기 위해 종래 기술에 공지된 임의의 얼굴 추적 메커니즘이 사용될 수 있다. 얼굴들의 위치가 인식되면, 얼굴 사이에서 가장 큰 영역에 관해 결정을 내린다. 이후 블록(908)에서 실제 0°경계가 이 영역의 중앙에 설정된다.

일단 실제 0°경계가 결정되면, 블록(910)에서 오프셋이 결정된다. 오프셋은 실제 0°경계와 명목상의 0°경계 간의 차이다. 명목상의 0°경계는, 2차원의 파노라마식 이미지를 렌더링하기 위해 360°이미지를 쪼개는 위치이다. 이것은 하드웨어의 기능으로서 또는 소프트웨어 메커니즘을 통해 미리 결정된다.

오프셋은 파노라마식 이미지가 새로이 획득된 실제 0°경계를 수용하기 위해 반드시 회전해야 하는 거리이다. 이것은 (x,y) 좌표 시스템에 따라 재매핑 함수에 호환가능한 기타 단위 또는 도(degree)에 의해 실제 거리로 결정될 수 있다. 일단 오프셋이 결정되면, 오프셋은 재매핑 함수에 포함된다.

블록(912)에서, 개개의 이미지(726)가 수신된다. 블록(914)에서, 재매핑 모듈은 개개의 이미지(726)를 오프셋을 참작하는 파노라마식 이미지(732)로 재매핑한다. 결과 이미지는 파노라마식 이미지의 양쪽 마진 사이에서 사람 얼굴의 이미지를 쪼개지 않을 것이다.

위에서 약술된 프로세스는 상술된 임의의 구현에 따르도록 수정되거나 또는 본 명세서에서 제공된 설명에 따라 수행될 수 있는 일반적인 프로시져라는 것을 유의한다. 도 9에 도시된 특정 단계들은 임의의 특정 구현에서 생략되거나 변경될 수 있다. 또한, 본 발명의 설명 및 청구항의 범위를 벗어나지 않고 도 9에 도시된 단계에 일부 단계가 추가될 수 있다.

예시적인 방법론의 구현:360°+ δ

도 10은 파노라마식 이미지의 일부를 재생함으로써 파노라마식 이미지로부터 데드 존 암시를 제거하는 프로세스의 예시적인 방법론의 구현을 도시하는 흐름도(1000)이다. 흐름도(1000)에 도시된 프로세스는 특히 상술되고 도 7에 도시된 블록도에 관한 것이다. 이 예시적인 방법론의 특정 구현이 특정 순서로 도시되지만, 상술된 기능을 수행하기 위해 더 많은 수 또는 더 적은 수의 단계가 수행될 수 있고, 단계들은 본 실례에 도시된 것 외의 다른 순서로 수행될 수 있다는 것을 유의한다.

상술된 대로, 0°경계에 인접한 영역을 도시하는 파노라마식 이미지(732) 또는 개개의 이미지들(726) 중 하나 중 하나의 하나 이상의 부분은, 0°경계에 의해 쪼개어지는 임의의 객체가 파노라마식 이미지에 전체가 나타날 수 있도록(도 4a 및 도 4b 참조) 재생되어 파노라마식 이미지에 첨부될 수 있다. 이 프로시져는 최적의 0°경계를 설정하는 것 외에 수행될 수 있지만, 먼저 이러한 결정 없이도 또한 수행될 수 있다.

데드 존에서의 이미지는 재생될 것이기 때문에, 데드 존에 대한 최적의 위치를 찾는 것이 꼭 필요한 것은 아니다. 그러나, 어느 한 사람이 데드 존에 앉아 있고 이 기술이 적용되는 경우, 그 사람 이미지의 일부는 결과 파노라마식 이미지의 한쪽 마진에 인접하여 나타날 것이고, 그 사람 얼굴의 전체 이미지는 다른 쪽 마진에 인접하여 나타날 것이다.

블록(1022)에서, 0°경계에 대한 최적의 위치가 상술된 방식(도 9의 참조번호(904-906))과 유사하게 결정된다. 블록(1004)에서 개개의 이미지(726)가 수신되 고 블록(1006)에서 어셈블리 모듈(736)은 이미지들(726)을 모두 스티치하여 파노라마식 이미지(732)를 형성한다. 이후 블록(1008)에서 어셈블리 모듈(736)은 (이미지의 객체에 따라 소정의 양 또는 자동으로, 또는 수동 입력을 통해) 재생될 부분(δ)을 결정한다.

블록(1008)에서 부분(δ)이 δ'로서 재생되고 재생된 부분(δ')은 파노라마식 이미지(732)에 첨부된다. 상술된 대로, 두 부분(δ)이 재생되어 파노라마식 이미지(732)에 첨부될 수 있고, 하나의 재생된 부분(δ)은 파노라마식 이미지(732)의 각 반대 마진에 있다.

원하는 경우, 블록(1010)에서, 결과 파노라마식 이미지(732)는 δ'가 파노라마식 이미지에 첨부되지 않았을 경우의 파노라마식 이미지와 동일한 크기로 크기조정된다. 이것은 파노라마식 이미지(732)를 수평으로 줄어들게 함으로써 또는 파노라마식 이미지(732)의 상부 및/또는 하부에 데드 공간(예를 들어 검은색 또는 회색의 바)을 패딩함으로써 행해질 수 있다.

앞서 설명한 대로, 데드 존에서 부닥칠 수 있는 문제를 최소화하기 위해 상술된 프로세스는 하나 이상의 중복된 이미지 부분의 추가를 활용하는 여러 구현 중 단지 하나의 구현이다. 상술된 단계의 특정 상술은 예제로서만 제공되는 것이고 이를 제한하는 것이 아니다.

예시적인 방법론의 구현:클라이언트 장치

도 11은 파노라마식 이미지가 생성되고 저장된 후 이 파노라마식 이미지를 회전시킴으로써 파노라마식 이미지의 데드 존을 최소화하는 프로세스를 도시하는 흐름도(1100)이다. 이하의 설명에서, 이전의 도면에서 도시된 구성요소 및 참조번호를 계속해서 참조한다. 흐름도(1100)에 의해 도시된 프로세스는 상술되고 도 8에 도시된 블록도를 참조한다. 이 예시적인 방법론의 특정 구현이 특정 순서로 도시되지만, 상술된 기능을 수행하기 위해 더 많은 수 또는 더 적은 수의 단계가 수행될 수 있고, 단계들은 본 실례에 도시된 것 외의 다른 순서로 수행될 수 있다는 것을 유의한다.

블록(1102)에서, 클라이언트 장치(800)는 저장된 파노라마식 이미지(838)를 수신한다. 파노라마식 이미지(838)는 파노라마식 카메라(700)로부터 실시간으로 수신될 수 있고 또는 그것이 저장된 후 일정 시간 후에 메모리(828)로부터 검색될 수도 있다. 이때, 파노라마식 이미지를 2차원 포맷으로 렌더링하기 위해 명목상의 0°경계(848)가 설정된다. 그러나, 명목상의 0°경계(848)는 여러 이유 중 임의의 이유에 대해 이상적인 위치에 있지 않다.

얼굴 추적기가 가능한 경우(블록(1104)의 "예"), 얼굴 추적기(840)는 파노라마식 이미지(838)에서 얼굴을 찾기 위해 파노라마식 이미지(838)를 스캔한다(블록(1106)). 0°경계를 위한 더 나은 위치가 발견되는 경우, 경계 모듈(846)은 그 위치를 식별하고, 새로운 경계가 설정되고 블록(1108)에서 회전 모듈(844)은 그에 따라 파노라마식 이미지(838)를 회전시킨다. 사용자가 회전된 이미지를 수락하는 경우(블록(1110)의 "예"), 프로세스는 종료된다.

얼굴 추적기가 가능하지 않은 경우(블록(1104)의 "아니오") 또는 사용자가 0°경계의 새 위치를 좋아하지 않는 경우(블록(1110)의 "아니오"), 블록(1112)에서 상술한 대로 사용자는 0°경계를 수동으로 재설정한다. 사용자가 경계를 재설정하면, 블록(1114)에서 그에 따라 파노라마식 이미지(838)가 회전되고 프로세스가 종료된다.

그러므로, 사용자는 원하는 대로 0°경계를 수정할 수 있다. 예를 들어, 새 참석자가 회의에 참석하여 우연히 데드 존에 앉게 되는 경우, 사용자는 새 참석자의 전체 이미지를 캡처하기 위해 경계를 조정하고자 할 것이다.

결론

하나 이상의 예시적인 구현이 도시되고 설명되었지만, 본 명세서에 첨부된 청구항의 범위 및 취지에 벗어나지 않고 본 명세서에 각종 변경이 있을 수 있다는 것을 이해할 것이다.

본 발명을 이용하여 파노라마식 이미지의 왼쪽/오른쪽 마진 경계에서 객체 이미지를 쪼개지 않고, 즉 데드 존 없이 360°파노라마식 이미지를 제공할 수 있다.

Claims

카메라 시스템에 있어서,

최고 360°까지 이르는 영역의 이미지를 생성하도록 구성된 하나 이상의 카메라;

0°경계의 위치에 대하여 피사체(subject)가 위치하고 있지 않은 상기 영역의 일부를 자동으로 결정함으로써 상기 카메라 시스템에 의해 생성된 상기 영역의 이미지가 분할되는 상기 0°경계의 위치를 결정하기 위한 수단;

상기 0°경계에 따라 상기 이미지로부터의 픽셀을 파노라마식 공간으로 매핑하도록 구성된 매핑 모듈

을 포함하며, 상기 파노라마식 공간으로부터 렌더링되는 파노라마식 이미지는 상기 0°경계에 대응하는 왼쪽 마진 및 오른쪽 마진을 지니는 카메라 시스템.
제1항에 있어서,

상기 0°경계의 위치를 결정하기 위한 수단은 얼굴 추적기를 더 포함하는 카메라 시스템.
제1항에 있어서,

상기 카메라와 통신하도록 구성된 클라이언트 장치를 더 포함하는 카메라 시스템.
제1항에 있어서,

상기 영역은 적어도 360°의 범위(span)를 더 포함하는 카메라 시스템.
제1항에 있어서,

상기 매핑 모듈은 상기 카메라에 찍힌 이미지의 일부가 상기 파노라마식 공간에 두 번 포함되도록 상기 이미지의 일부를 중복(duplicate)하도록 또한 구성되는 카메라 시스템.
파노라마식 이미지를 수신하는 단계;

상기 파노라마식 이미지에 대하여 0°경계의 위치를 결정하는 단계; 및

상기 0°경계와 관련된 데드 존(dead zone)을 최소화하기 위해, 수정된 파노라마식 이미지를 생성하도록 상기 0°경계에 대하여 수정 전의 상기 파노라마식 이미지를 변환하는 단계

를 포함하는 방법.
제6항에 있어서,

상기 수신하는 단계는 파노라마식 카메라로부터 비디오 스트림의 파노라마식 이미지를 수신하는 단계를 더 포함하는 방법.
제6항에 있어서,

상기 수신하는 단계는 이미지 저장소 위치로부터 상기 파노라마식 이미지를 수신하는 단계를 더 포함하는 방법.
제6항에 있어서,

상기 결정하는 단계는 이미지화될 객체를 포함하지 않는 위치를 나타내기 위해 0°표시자를 설정하는 단계를 더 포함하는 방법.
제6항에 있어서,

상기 결정하는 단계는 상기 0°경계에 대해, 이미지화될 객체를 포함하지 않는 위치인 최적의 위치를 자동으로 검출하는 단계를 더 포함하는 방법.
제6항에 있어서,

상기 결정하는 단계는, 사람의 얼굴이 나타나지 않으며 상기 0°경계의 위치가 될 하나의 위치를 식별하기 위해 얼굴 추적 메커니즘(face tracking mechanism)을 활용하는 단계를 더 포함하는 방법.
제6항에 있어서,

상기 변환하는 단계는, 상기 파노라마식 이미지에서 파노라마식 영역의 적어도 하나의 일부를 중복하는 단계를 더 포함하며, 상기 파노라마식 영역의 일부는 상기 0°경계에 인접하는 영역인 방법.
제11항에 있어서,

상기 파노라마식 이미지를 정규화된 파노라마식 공간으로 크기를 변경하는 단계를 더 포함하는 방법.
실행될 때 이하의 단계들을 수행하는 프로세서 실행가능한 명령어를 포함하는 저장 매체로서,

상기 이하의 단계들은,

파노라마식 영역에서 피사체가 위치하고 있지 않은 위치를 결정함으로써 상기 파노라마식 영역에 대하여 0°경계의 위치를 결정하는 단계;

파노라마식 영역의 하나 이상의 이미지를 수신하는 단계;

상기 0°경계가 파노라마식 이미지의 적어도 하나의 마진에 의해 표현되도록 상기 하나 이상의 이미지를 상기 파노라마식 이미지로 매핑하는 단계

를 포함하는,

저장 매체.
제14항에 있어서,

상기 결정하는 단계는, 상기 0°경계의 위치의 표시를 수신하는 단계를 더 포함하는,

저장 매체.
제14항에 있어서,

상기 이하의 단계들은 상기 파노라마식 이미지의 상기 0°경계에 인접하여 위치하는 상기 파노라마식 영역의 이미지 일부를 중복하는 단계를 더 포함하는,

저장 매체.
제14항에 있어서,

상기 수신하는 단계는 제1 파노라마식 이미지를 수신하는 단계를 더 포함하고;

상기 매핑하는 단계는 상기 제1 파노라마식 이미지를 제2 파노라마식 이미지로 재매핑하는 단계를 더 포함하는,

저장 매체.
제17항에 있어서,

상기 수신하는 단계는 메모리로부터 저장된 파노라마식 이미지를 검색하는 단계를 더 포함하는,

저장 매체.
삭제
삭제