KR100893463B1 - 무결절성 합성 영상 생성 방법 - Google Patents

무결절성 합성 영상 생성 방법 Download PDF

Info

Publication number
KR100893463B1
KR100893463B1 KR1020077013447A KR20077013447A KR100893463B1 KR 100893463 B1 KR100893463 B1 KR 100893463B1 KR 1020077013447 A KR1020077013447 A KR 1020077013447A KR 20077013447 A KR20077013447 A KR 20077013447A KR 100893463 B1 KR100893463 B1 KR 100893463B1
Authority
KR
South Korea
Prior art keywords
image
composite image
generating
source images
cameras
Prior art date
Application number
KR1020077013447A
Other languages
English (en)
Other versions
KR20070086202A (ko
Inventor
헨리 할린 베이커
도날드 탕궤이
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피 filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피
Publication of KR20070086202A publication Critical patent/KR20070086202A/ko
Application granted granted Critical
Publication of KR100893463B1 publication Critical patent/KR100893463B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

소스 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하는 방법이 개시된다. 복수의 소스 영상이 획득되고(710) 조합되어 무결절성 합성 영상을 생성한다. 복수의 소스 영상을 조합하여 무결절성 합성 영상을 생성하는 단계는 복수의 소스 영상의 영상 영역의 오버랩을 필요로 하지 않으면서 수행된다(730).

Description

무결절성 합성 영상 생성 방법{METHODS AND SYSTEMS FOR PRODUCING SEAMLESS COMPOSITE IMAGES WITHOUT REQUIRING OVERLAP OF SOURCE IMAGES}
본 발명의 실시예는 소스 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상(seamless composite image)을 생성하는 방법 및 시스템에 관한 것이다.
일부 종래의 영상 획득 시스템은 확대된 시야를 세부화하는 합성 영상을 생성하기 위해 각각의 영상을 조합하는 능력을 가지고 있다. 이들 영상 획득 시스템은 하나 이상의 카메라에 의한 영상 캡처에 의존하는 방법을 사용한다. 캡처된 영상을 조합하기 위해, 몇몇 종래의 시스템은 캡처된 소스 영상의 영상 영역의 오버랩에 의존한다.
합성 영상의 품질은 그 합성 영상의 생성 시에 사용되는 영상에 의해 제한된다. 관련된 해상도 및 고려되는 시점(viewpoint)의 수는 합성 영상 생성에 영향을 주는 중요한 요인임을 알아야 한다. 제공되는 해상도와 시점의 수가 커질수록, 결과적인 합성 영상의 공간 해상도도 커진다. 디지털 스틸 카메라는 저가로 메가 픽셀 크기에 도달하고 있지만(예컨대, 점점 고해상도 영상을 제공함), 디지털 비디오 시스템에 의해 제공되는 공간 해상도는 디지털 스틸 카메라에 의해 제공되는 공간 해상도보다 상당히 뒤떨어진다.
사진술의 등장 이래로 다중 시점(multi-viewpoint) 카메라 시스템이 존재해 왔지만, 대부분의 종래의 영상 분석은 단일 카메라 뷰에 기초한다. 스테레오 및 동영상 카메라는 다수의 시점을 제공할 수 있지만, 대다수의 시점으로부터의 동시 획득을 실제로 이용하는 것은 이러한 촬상 시스템과 관련이 있으므로 여전히 드물다는 것을 알아야 한다. 개인용 컴퓨터(PC) 촬상 시스템에서 통상적으로 이용되는 저해상도 및 제한된 시점 수에 대한 주요 이유는 다수의 비디오 소스로부터의 일관된 데이터 이동을 지원하는 데 고(high) 대역폭이 필요하기 때문이다. 이 데이터는 초당 30 프레임의 종래의 공급률로 컴퓨터 메모리에 제공되고, 결국, 디스플레이에 제공된다. 또한, 고 대역폭 다중 스트림 비디오에 대한 액세스도 제한되었다.
대역폭 문제는 종래의 촬상 시스템의 디스플레이 단부에서도 증가한다. 이는 움직이는 대다수의 디지털 비디오가 현재의 PC 아키텍처에 부담을 주기 때문이다. 이들 데이터의 실시간 디스플레이는 다수의 디스플레이 카드를 통해 분산된 PCI(peripheral component interconnect), PCI-X 및 AGP(accelerated graphics port) 버스를 통한 적절한 합성을 필요로 한다.
합성 영상의 생성(예컨대, 모자이킹(mosaicking))은 복수의 카메라 시점으로부터 캡처된 소스 영상들의 조합을 포함한다. 소스 영상은 시점 관련 비디오 스트림으로부터 유도되고, 합성 영상을 형성하는 데 사용된다. 합성 영상을 생성하는 종래의 방안은 구성하는 영상에서 대응하는 점을 찾는 것과, 이 대응점들의 시점을 관련시키는 스티칭 호모그래피(stitching homography)를 계산하는 것을 포함한다. 이러한 방안은 핸드헬드 캡처(hand held capture)에서처럼, 영상이 임의의 위치로부터 수집되는 상태로부터 나온다. 각 호모그래피를 유도하는 피쳐는 획득된 영상 자체에서 나와야 한다. 카메라 뷰가 투영의 중심을 공유하면, 이 피쳐는 오버랩하는 영상 내 어디에서든지 선택될 수 있고, 이들의 호모그래피는 보이는 장면을 통해 유효할 것이다. 그러나, 카메라 뷰가 투영의 중심을 공유하지 않으면, 그 피쳐는 공유된 관측면으로부터 수집되어야하고, 호모그래피는 그 관측면 내의 영상에 대한 무결절성 합성 영상만을 생성할 수 있다.
상술한 이유에 있어서, 영상을 합성하는 종래의 시스템은 제한된 시점 개수를 이용하는 저해상도 구현으로 분류된다. 제한된 시점 개수로 인해 고 공간 해상도를 가진 획득된 영상으로부터 파노라마를 생성하는 데 제한된 용량이 제공된다. 종래의 시스템의 성능은 영상 데이터 오버랩 사용에 의존하여 호모그래피를 생성하므로 더 제한된다. 합성 영상 오버랩을 구성하는 데 사용되는 소스 영상에 대한 요구조건은 보다 넓은 공간 치수를 포함할 수 있는 오버랩하지 않는 뷰의 촬상을 막으므로 촬상될 수 있는 시야각의 크기를 감소시킨다.
소스 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하는 방법이 개시된다. 복수의 소스 영상이 획득되고 조합되어 무결절성 합성 영상을 생성한다. 복수의 소스 영상을 조합하여 무결절성 합성 영상을 생성하는 것은 복수의 소스 영상의 영상 영역의 오버랩을 필요로 하지 않으면서 수행된다.
본 명세서의 일부를 구성하고 이에 통합되는 첨부 도면은 본 발명의 실시예를 도시하며, 이 설명으로 본 발명의 원리를 설명한다.
도 1a은 본 발명의 일 실시예에 따라 각각의 합성 영상을 구성하는 소스 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하는 카메라 시스템을 도시한다.
도 1b는 본 발명의 일 실시예에 따라 각각의 합성 영상을 구성하는 소스 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하는 카메라 시스템의 블록도를 도시한다.
도 1c는 본 발명의 일 실시예에 따라 획득된 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하는 카메라 시스템을 이용하는 비디오 회의에 참여한 착석한 회의 출석자들의 촬상을 도시한다.
도 1d는 도 1b에 도시된 회의 출석자들의 상부 투시도로서, 본 발명의 일 실시예에 따른 카메라 시스템의 촬상면 내의 회의 참가자들의 위치를 도시한다.
도 1e는 본 발명의 일 실시예에 따른 다중 촬영기 카메라 시스템에 의해 이용되는 복수의 촬영기의 초점면으로부터 공통 영상면이 형성되는 방법을 도시한다.
도 2는 도 1c의 구성이 보다 원형인 구성으로 도시된 회의 출석자들의 상부 투시도로서, 본 발명의 일 실시예에 따른 카메라 시스템의 보다 깊은 촬상면 내의 회의 참가자들의 위치 지정을 도시한다.
도 3은 본 발명의 일 실시예에 따라 다중 촬영기 카메라 시스템에 의해 캡처된 소스 영상 및 그 소스 영상을 관련시키는 데 사용되는 라인 피쳐를 도시한다.
도 4a는 본 발명의 일 실시예에 따라 라인 기반 호모그래피를 사용하는 무결절성 합성 영상의 형성을 도시한다.
도 4b는 본 발명의 일 실시예에 따라 라인 기반 호모그래피를 사용하는 무결절성 합성 영상의 형성을 도시한다.
도 4c는 본 발명의 일 실시예에 따라 라인 기반 호모그래피를 사용하는 무결절성 합성 영상의 형성을 도시한다.
도 4d는 본 발명의 일 실시예에 따라 라인 기반 호모그래피를 사용하는 무결절성 합성 영상의 형성을 도시한다.
도 5는 본 발명의 일 실시예에 따라 처리하는 중앙 처리 장치(CPU)를 이용하는 다중 촬영기 카메라 시스템에서 6개의 비디오 촬영기가 이용되는 비디오 데이터의 흐름을 도시하는 예시적인 데이터흐름도이다.
도 6은 본 발명의 일 실시예에 따른 그래픽 가속화의 애플리케이션을 도시한다.
도 7은 본 발명의 일 실시예에 따라 소스 영상의 오버랩을 사용하지 않으면서 무결절성 합성 영상을 생성하는 방법에서 수행되는 단계들의 흐름도를 도시한다.
도 8은 본 발명의 일 실시예에 따라 소스 영상의 오버랩을 사용하지 않으면서 무결절성 합성 영상을 생성하도록 복수의 촬영기를 교정하는 방법에서 수행되는 단계들의 흐름도를 도시한다.
본 설명에서 참조되는 도면은 특별히 언급되는 경우를 제외하고는 스케일링하는 것으로 이해되어서는 안 된다.
본 발명을 수행하는 최상의 모드
이제 본 발명의 다양한 실시예를 상세히 참조할 것이며, 이들의 예는 첨부 도면에 도시된다. 본 발명은 이들 실시예에 관련하여 설명될 것이지만, 본 발명을 이들 실시예로 제한하지 않는다는 것을 알 것이다. 이와 달리, 본 발명은 첨부되는 특허청구범위에 의해 규정된 본 발명의 사상 및 범주 내에 포함될 수 있는 대체, 변경 및 균등화를 포함하려 한다. 또한, 본 발명의 후속하는 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 설명된다. 다른 경우에, 본 발명의 측면을 불필요하게 불명료하게 하지 않도록 잘 알려져 있는 방법, 절차, 부품 및 회로를 상세히 설명하지 않았다.
다음 논의를 위해, 용어 "합성 영상"은 획득되거나 캡처된 2개 이상의 영상으로부터 형성되는 영상을 지칭한다. 또한, 용어 "모자이킹"은 무결절성 합성 영상을 생성하는 처리를 지칭한다. 용어 "소스 영상"은 합성 영상이 형성되는 영상을 지칭한다. 용어 "촬영기"는 영상을 캡처하는 카메라 시스템의 부품을 지칭한 다. 용어 "호모그래피"는 소스 영상의 시점을 관련시키는 수학적 객체를 지칭한다. 일 실시예에서, 이들 호모그래피는 소스 영상에 의해 공유된 제약에 의해 결정되고, 이들 소스 영상을 무결절적으로 조합하는 데 이용된다.
본 발명의 일 실시예에 따라 무결절성 합성 영상을 생성하는 시스템
도 1a는 본 발명의 일 실시예에 따라 각각의 합성 영상을 구성하는 소스 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하는 카메라 시스템(100)을 도시한다. 카메라 시스템(100)의 블록도는 도 1b에 도시된다. 이 실시예에서, 합성 영상은 본 발명의 일 실시예에 따른 복수의 촬영기를 사용하여 캡처된 복수의 소스 영상을 조합함으로써 형성된다. 도 1a의 실시예에서, 카메라 시스템(100)은 촬영기(101 내지 105) 및 영상 합성기(107)를 포함한다.
촬영기(101 내지 105)는 촬영기(101 내지 105)의 각각의 시점으로부터 각각의 소스 영상을 캡처한다. 캡처된 소스 영상은 조합되어, 무결절성 합성 영상(예컨대, 가상 영상, 모자이크 영상 등)을 형성한다. 합성 영상은 각각의 촬영기(101 내지 105)에 의해 발생한 각각의 영상 스트림에 대응하는 소스 영상을 사용하여 생성된다. 캡처된 영상을 사용하여 생성된 합성 영상은 개별 뷰들 중 어느 것으로부터도 획득될 수 없는 파노라마식 뷰(a panoramic view)를 산출할 수 있다.
시스템의 일 실시예는 카메라 뷰에 마주보게(평행하게) 배치된 공통면을 가질 수 있지만, 이 경우에 촬영기의 각 렌즈의 초점은 모두 거의 동일한 간격으로 맞춰질 것이다. 촬영기(101 내지 105)의 렌즈의 초점 거리가 독립적으로 설정되어 렌즈의 일반적인 뷰 방향에 직교하지 않는 공통면의 지향을 수용할 수 있음을 알아야 한다. 카메라 시스템(100)은 3개의 촬영기를 포함하는 것으로 도 1에 도시되어 있지만, 예시적인 실시예에 따른 다른 개수의 촬영기를 포함하는 다른 배치도 이용될 수 있다. 일 실시예에서 촬영기는 합성 영상 내에 프레임 선택을 제공하는 PTZ(pan tilt zoom) 촬상 시스템의 부품으로서 이용될 수 있다.
예시적인 실시예에서, 캡처된(예컨대, 획득된) 영상들의 관계는 캡처 이전에 고정될 수 있다. 캡처된 영상들의 관계가 캡처 이전에 고정되면, 동적 일치화(dynamic registration)는 분석으로만 대체될 수 있다. 일 실시예에서, 촬영기(101 내지 105)는 원하는 파노라마 형태의 영상을 위해 이전에 구성되고, 알려져 있는 촬영기(101 내지 105)의 관계는 최소의 중앙 처리 장치(CPU) 비용으로 프레임을 실시간으로 반복적으로 구성하는 데 사용된다.
합성기(107)는 촬영기(101 내지 105)에 의해 획득된 소스 영상을 조합하여 무결절성 합성 영상(예컨대, 가상 영상, 모자이크 영상 등)을 생성한다. 일 실시예에서, 합성 영상은 획득된 영상의 영상 영역의 오버랩을 필요로 하지 않는 방법으로 생성된다. 일 실시예에서, 이것은 소스 영상들을 조합하는 데 라인 피쳐를 사용함으로써 달성된다(도 3에 관한 논의 참조). 라인 피쳐는 합성기(107)가 소스 영상들을 무결절적으로 조합하는 데 이용될 수 있는 소스 영상들 사이에 존재하는 관계를 식별하는 것을 가능하게 한다.
동작시에, 카메라 시스템(100)은 촬상되기를 원하는 물체가 촬상면 -예컨대, 초점면(POF:plane of focus), 공유되거나 공통인 관측면 등- 내에 위치하도록 놓여 있다(도 1c에 관한 논의 참조). 일 실시예에서, 복수의 촬영기는 공유된 관측면의 각 부분으로부터 각각의 소스 영상을 캡처하도록 구성된다. 이 실시예에서, 무결절성 합성 영상은 라인 피쳐에 기초한 호모그래피를 사용하는 리샘플링 메커니즘을 이용하여 소스 영상들을 조합함으로써 형성된다.
카메라 시스템(100)에 의해 촬상될 수 있는 시야각의 크기는 합성 영상을 생성하는 데 있어서 영상 오버랩에 의존하지 않으므로 종래의 시스템에 비해 상당히 증가한다는 것을 알아야 한다. 시야각이 커질수록 보다 큰 공간 치수를 포함하는 파노라마의 촬상이 가능해진다. 이러한 이유로, 복수의 저해상도 촬영기를 사용하여 제공되는 다수의 촬영기에 비해 공간 해상도가 증가한 파노라마를 생성할 수 있다. 따라서, 보다 적은 추가 대역폭으로 보다 높은 공간 해상도를 얻을 수 있다.
일 실시예에서, 사용되는 라인 피쳐는 몇몇 영상(및 일부 경우에 이들을 통한 확장부)에서 가시화될 수 있고, 합성 영상이 형성되는 소스 영상의 상당한 오버랩을 필요 없게 하는 영상들 간의 일치를 제공할 수 있다(여기의 논의 참조).
일 실시예에서, 오버랩의 존재가 합성 영상의 연속성을 보장하는 동작으로 제한될 수 있으므로, 오버랩의 존재는 최소화될 수 있다. 또한, 오버랩하지 않는 일련의 소스 영상이 오버랩하는 동일한 개수의 유사하게 구성된 소스 영상보다 큰 각도를 포함할 수 있으므로, 촬상되기를 원하는 공간을 포함하는 데 필요한 촬영기의 수는 감소할 수 있다. 본 발명의 예시적인 실시예의 이러한 피쳐는 원하는 파노라마식 뷰를 구성하는 데 필요한 촬영기의 수를 최소화한다. 이것이 획득된 픽셀의 유용성과 영상 처리의 효율성(소수의 촬영기를 사용하여 보다 큰 각도를 촬상 하는 능력) 양자 모두를 최대화한다는 것도 알아야 한다.
일 실시예에서, 무결절성 합성 영상(예컨대, 비디오 모자이킹)의 생성은 원격 장소에서의 프레젠테이션에 대한 비디오 회의 참가자들의 파노라마식 뷰(예컨대, 광각이며 끊김이 없는 뷰)를 캡처하는 데 이용될 수 있다. 이러한 실시예에서 몇몇 다중 시점 촬영기로부터의 관측이 조합되어 훨씬 고가인 메가 픽셀 비디오 카메라의 성능을 시뮬레이션한다. 그 결과는 원하는 파노라마식 뷰 형상으로 재구성될 수 있다.
도 1c는 획득된 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하는 카메라 시스템(100)을 사용하는 비디오 회의에 참가한 착석한 회의 참석자들의 영상을 도시한다. 도 1c에서 카메라 시스템(100,110)은 착석한 회의 참가자들(121,123,125)이 카메라 시스템(100,110)의 촬상면 -예컨대, 도 1d에 도시된 카메라 시스템(100,110)의 초점면(POF)(도 1d의 참조 번호(127) 참조)- 내에 배치되는 곳에 위치한다. 도 1d는 도 1c에 도시된 회의 참가자들(121,123,125)의 상부 투시도로서, 카메라 시스템(100)의 촬상면(127) 내에서 촬상하는 회의 참가자들의 예시적인 위치 지정을 도시한다. 일 실시예에서, 촬상면(127)은 카메라 시스템(100)의 부품인 촬영기의 영상면의 조합으로부터 형성되므로, 카메라 시스템(100)에서 이용되는 촬영기의 공통 영상면을 나타낸다. 일 실시예에서 촬영기의 렌즈의 초점 거리는 독립적으로 설정되어 통상적인 뷰 방향에 직교하지 않는 공통 평면의 지향을 수용한다.
도 1e는 다중 촬영기 카메라 시스템(100)의 부품인 복수의 촬영기(예컨대, 도 1a의 101,103,105)의 POF로부터 공통 영상면(예컨대, 127)이 형성되는 방법을 도시한다. 도 1e를 참조하면, 카메라 시스템(100)에서 이용되는 촬영기의 영상면(POF1,POF2,POF3)은 공통 영상면(127)을 제공한다. 상술한 바와 같이, 촬상을 위해, 카메라 시스템(100)은 회의 참가자들이 공통 영상면(127)에 위치하도록 배치된다.
도 2는 테이블 주변에 위치한 회의 참가자를 도시한다. 그들이 평면 내에 또는 근처에 위치하지 않으므로, 그들의 위치는 호모그래피를 무효해지게 하는 것처럼 보일 수 있다 --그들의 간격은 dZ(초점의 깊이)로 나타낸다. 그럼에도 불구하고, 카메라 시스템(100)의 개별 촬영기의 투영의 중심이 서로 충분히 근접하면, 이러한 배열은 호모그래피에 의해 수용가능하게 처리될 것이다.
라인 피쳐의 이용
도 3은 본 발명의 일 실시예에 따라 다중 촬영기 카메라 시스템에 의해 캡처된 소스 영상 및 그 소스 영상을 관련시키는 데 사용되는 라인 피쳐를 도시한다. 도 3은 소스 영상(301A 내지 301C), 교정면(303) 및 라인 피쳐(305A 내지 305D)를 도시한다. 도 3은 교정면(303)으로 투영되고 소스 영상들(301A 내지 301C) 사이의 관계를 식별하는 데 이용되는 라인 피쳐(305A 내지 305D)의 사용을 도시한다. 이 관계는 각 소스 영상(301A 내지 301C)에 대한 각각의 호모그래피(H1,H2,H3)를 생성하는 데 사용된다.
호모그래피 추정 프로세스가 유효해지도록 하기 위해, 관측되어야 하는 이러 한 라인의 특정 개수 및 충족되어야 하는 특정 독립 관계가 존재한다는 것은 당업자에게 명백할 것이다.
예시적인 실시예에서, 라인 피쳐(305A 내지 305D)를 사용하면, 최소 개수의 저해상도 촬영기(예컨대, 도 1의 101 내지 105)로부터 고해상도 광각 파노라마 뷰가 형성될 수 있다. 이러한 실시예에서, 대응하는 점 x와 x' 및 라인 I와 I'을 사용하여 2개의 소스 영상 I와 I'(예컨대, 301A 및 301B)를 관련시키는 호모그래피 H는 다음 식으로 주어진다.
Figure 112007043231105-pct00001
다시 도 3을 참조하면, 일 실시예에서 몇몇 소스 영상들(예컨대, 301A 내지 301C)(및 일부 경우에 이들을 통한 확장부)에서 볼 수 있는 라인(예컨대, 라인 피쳐 305A 내지 305D)이 이용될 수 있으므로, 소스 영상들(예컨대, 301A 내지 301C) 사이의 일치는 상당한 소스 영상 오버랩 없이 식별될 수 있다. 오버랩은 결과적인 합성 영상의 연속성에 대해서만 필요하므로, 오버랩에 대한 필요성은 (0으로) 최소화될 수 있고, 원하는 파노라마식 뷰를 구성하는 데 필요한 촬영기(도 1의 101 내지 105)의 수는 감소한다. 이러한 실시예에서, 처리가 보다 유효해지면서 획득된 픽셀의 유용성이 최대화된다.
상술한 라인 피쳐 영상 합성 방법을 이용하는 카메라 시스템(100)(예컨대, 도 1의 100)에 의해 촬상될 수 있는 시야각의 크기는, 무결절성 합성 영상을 생성하는 데 영상 오버랩이 필요하지 않으므로 종래의 시스템에 비해 상당히 증가한다. 시야각이 커질수록 보다 큰 공간 치수를 포함하는 파노라마의 촬상이 가능해 진다. 이러한 이유로, 여기에 설명한 방법을 이용함으로써, 복수의 저해상도 촬영기는 제공되는 촬영기 수에 비해 공간 해상도가 증가한 파노라마를 생성하는 데 사용될 수 있다. 따라서, 보다 적은 추가 대역폭으로 보다 높은 공간 해상도를 얻을 수 있다.
공선형(collinear) 라인이 일치점의 라인과 동일하고, 평행하는 라인이 공선형 점의 라인과 동일하다는 점에서 라인은 점과 유사하고, 통상적인 위치에서의 최소량인 4개의 관측이 8개의 자유도를 가진 호모그래피를 형성하는 데 필요하다(바람직한 실시예에서, 정확도와 안정도를 향상시키기 위해 더 많이 사용될 수도 있다). 그러나, 라인 기반 해결책의 확장된 공간 지원은 라인의 배치가 보다 강건하다는 점에서 점 기반 해결책 이상의 다른 이점을 나타낸다. 보다 구체적으로, 동일한 수의 라인 및 점 관측이 존재하면, 그 라인을 사용하여 더 나은 추정이 발생할 수 있다.
라인 기반 호모그래피
도 4a 내지 도 4d는 본 발명의 일 실시예에 따라 라인 기반 호모그래피를 사용하는 무결절성 합성 영상의 형성을 도시한다. 도 4b는 도 4d에 도시된 원하는 무결절성 합성 영상(예컨대, 모자이크)을 구성하는 소스 영상(401,403,405) 및 그 소스 영상(401,403,405)의 호모그래피가 계산되는 소스 영상(401,403,405)의 시점을 관련시키는 라인 피쳐(411)(도 4a에 라인 피쳐(411A 내지 411C)로 도시됨)를 도시한다. 도 4c는 혼합(blending) 없이 합성 영상의 뷰를 도시한다(비혼합 영 역(407,409)은 도 4b에 도시됨).
일 실시예에서, 호모그래피는 (1) 촬영기 어레이에 의해 검출가능한 라인 피쳐를 투영하고(도 3에 관한 논의 참조), (2) 렌즈 왜곡에 대해 라인 피쳐를 보정하며, (3) 최소 자승 필터(a least square filter)를 사용하여 라인 피쳐를 추정하고, (4) 그 라인 피쳐를 호모그래피 솔버(solver)에 전달함으로써 생성될 수 있다. 하나의 촬영기(예컨대 도 1의 101 내지 105)에서 다른 촬영기까지의 호모그래피는 각 라인의 동종 표현을 점인 것처럼 취급하고 점별(point-wise) 호모그래피를 풂으로써 결정된 해의 전치 역행렬로서 유도될 수 있다(위 식 참조).
일 실시예에서 렌즈 보정 및 휘도와 컬러 조정은 영상의 컬러와 휘도를 일치시키고, 렌즈 왜곡에 대해 보정하는 것임을 알아야 한다. 이러한 실시예에서, 기하학적 보정은 리샘플링의 일부이고, 컬러 및 휘도 보정은 콘텐츠가 광도측정적으로 더 많이 보정되게 한다.
이와 달리, 라인 기반 호모그래피는 선형 추정으로부터 직접 결정될 수 있다. 일 실시예에서, 하나의 촬영기와 다른 촬영기를 관련시키는 호모그래피를 가지면, 관련된 임의의 활영기를 전체 기준 프레임에 이르게 하는 변형을 결정하도록 그 호모그래피가 함께 연쇄되게 한다. 초기에, 전체 프레임은 활영기 프레임들 중 하나(예컨대, 중앙 촬영기)로서 선택될 수 있다. 이어서, 유도된 전체 프레임은 그들 전부를 포함하도록 구성될 수 있다.
일 실시예에서, 구성 부품으로부터 합성 영상을 구성하는 데 사용되는 사전계산된 값을 포함하는 리샘플링 메커니즘(예컨대, 룩업 테이블 등)은 구성된 프레 임에 대응하는 데이터세트 내의 출력 크기가 결정된 후에 구성된다. 이 테이블은 각 목적 픽셀을 구성하는 데 사용되는 이중선형 보간 지수 및 가중치를 구비할 수 있다. 이들 지수는 각 촬영기 호모그래피를 통해 결과적인 합성 영상을 구성하는 픽셀을 매핑하고, 매핑된 점을 재배치하여 임의의 관측된 렌즈 유도 굴곡을 설명한다. 일 실시예에서, 대다수의 픽셀은 하나의 촬영기에 의해서만 관측될 수 있다. 몇몇 촬영기가 픽셀을 관측하는 경우에, 그 픽셀의 구성은 혼합될 수 있다. 일 실시예에서, 이용된 미터법은 선형 보간이다(오버랩 영역이 결정되고, 각각의 촬영기에 위해 관측되는 구성 픽셀의 픽셀 가중치는 소스 영상의 경계로부터의 거리로 계산됨).
일 실시예에 따른 CPU 및 GPU 기반 무결절성 합성 영상의 생성
CPU 기반 무결절성 합성 영상의 생성
도 5는 본 발명의 일 실시예에 따라 처리하는 CPU를 이용하는 다중 촬영기 카메라 시스템에서 6개의 비디오 촬영기가 이용되는 예시적인 데이터흐름을 도시한다. 도 5는 병렬식 CPU 처리가 이용되는 이로운 대역폭 및 계산 분산 방식을 도시한다. 도 5의 실시예에서, 동기화된 촬영기(501A 내지 501F)는 버스(예컨대, PCI 등)를 통해 RAM 저장 유닛(505)으로 전달되는 비디오 데이터의 병렬 스트림을 생성한다. 이어서, 디지털 비디오(507)가 병렬식 컬러 변환부(508), (필요하다면) 합성 및 혼합부(509)에 수신되어 RAM 저장 유닛(511A) 및 그래픽 보드(511B)를 포함하는 디스플레이(511)에 전달된다.
대량의 디지털 비디오(507) 이동시에, 현재의 PC 아키텍처의 부담은 심하다. 이들 데이터의 실시간 디스플레이는 상당한 대역폭 문제를 나타내는, 다수의 디스플레이 카드를 통해 분산된 PCI, PCI-X 및 AGP 버스를 통해 현명한 혼합을 필요로 한다. 일 실시예에서, 이들 대역폭 문제에 있어서, 본 발명의 예시적인 실시예에 의해 나타난 다중 촬영기 시스템 성능과 현대 PC가 이용할 수 있는 향상된 그래픽 처리 유닛(GPU)(이하의 설명 참조) 양자 모두에 의해 허용되는 도 5에 도시된 분산형 병렬식 처리 방식이 이용될 수 있다.
일 실시예에서, 영상 합성은 리샘플링 메커니즘(예컨대, 룩업 테이블 등)을 이용하는 PC 프로세서에 의해 수행될 수 있다. 상술한 바와 같이, 계산은 다수의 프로세서를 이용하기 위해 병렬화될 수 있다. 이러한 실시예에서, 카메라 픽셀 수와 디스플레이 크기에 기초하여 스케일링되는 리매핑이 설계될 수 있다.
GPU 기반 무결절성 합성 영상의 생성
도 6은 본 발명의 일 실시예에 따른 그래픽 가속화의 애플리케이션을 도시한다. 도 6은 동기화된 촬영기에 의해 생성되는 비디오 스트림(601), 데이터 버스(603), 컬러 변화 작용(605), 합성/혼합 작용(607) 및 AGP 그래픽 하드웨어(609)를 나타내는 블록을 도시한다. 도 6은 합성 및 혼합 작용(605)(예컨대, 모자이킹 작용)이 AGP 그래픽 하드웨어(609)에 의해 수행되고 CPU 컬러 변환 작용(605)보다 앞서는 실시예를 도시한다.
도 6의 실시예에서, 그래픽 처리의 사용은 파노라마 구성에서 사용하기 위해 이용될 수 있다. 이 실시예에서, 디스플레이를 위한 작업에 있어서, 리샘플링 벡터는 정적 영상 구성으로 취급될 수 있고, 스트리밍 비디오는 동적 구성으로 취급될 수 있다. 이러한 실시예에서, 정적 영상 구성이 다운로드되어(소스 영상 재형성), 합성 및 혼합 작용이 AGP 그래픽 하드웨어(609)(예컨대, GPU 하드웨어)에 의해 수행되게 할 수 있다. 다음 비디오는 디스플레이로 스트리밍된다.
도 6의 실시예에서, GPU "모자이킹"은 CPU "모자이킹"보다 상당히 빠르게 수행될 수 있다. 이러한 실시예에서, CPU의 작업은 단지 하나의 포맷에서 다른 포맷으로 카메라 비디오를 컬러 변환하고, 이어서 그래픽 카드에 영상을 전달하는 것일 수 있다. 다른 실시예에서, 비디오를 그래픽 보드에 전달하기 전에 RGB로 변환하는 것이 아니라, GPU에서 컬러 리샘플링함으로써 프로세스 부하가 감소할 수 있다. 이러한 실시예에서, 중요한 고려사항인 버스 대역폭 부하도 카메라 및 디스플레이가 다른 작용과 함께 리소스를 공유하면 감소할 수 있다.
"모자이킹"에 대한 GPU 방안의 다른 이점은 합성 영상의 생성 비용이 크기와 무관하다는 것이다. 이와 달리, CPU 버싱 합성이 이용되는 경우에 영상이 크면 발생하는 비용도 높다. 일 실시예에서, 비디오 스트림이 휴대용 장치에 전달되거나 상당히 큰 디스플레이 표면에 대해 램프업되면(ramped up), 그래픽 카드에서 상이한 스케일링이 처리될 수 있다.
일 실시예에서, PC의 그래픽 처리 유닛(GPU)은 리샘플링에 사용되어 더 나은 스케일링을 제공할 수 있다. 이 실시예에서, 이용가능한 그래픽 처리의 이로운 계산이 사용될 수 있다. 그래픽 처리의 이용이 디스플레이용 애플리케이션에서 유용 할 수 있음을 알아야 한다.
도 7은 본 발명의 일 실시예에 따라 소스 영상의 오버랩을 사용하지 않으면서 무결절성 합성 영상을 생성하는 방법에서 수행되는 단계들의 흐름도를 도시한다.
단계(701)에서, 복수의 소스 영상이 획득된다(예컨대, 캡처, 촬상 등).
단계(703)에서, 복수의 소스 영상이 조합되어 무결절성 합성 영상을 생성한다. 일 실시예에서, 무결절성 합성 영상을 생성하는 복수의 소스 영상의 조합은 복수의 소스 영상의 영상 영역의 오버랩을 필요로 하지 않으면서 수행된다.
도 7을 참조하여 설명된 방법을 이용함으로써, 도 7의 방법이 합성 영상을 생성하는 데 있어서 영상 오버랩에 의존하지 않으므로, 촬상될 수 있는 시야각의 크기가 종래의 시스템에 비해 상당히 증가한다는 것을 알아야 한다. 시야각이 커질수록 보다 큰 공간 치수를 포함하는 파노라마의 촬상이 가능해 진다. 이러한 이유로, 복수의 저해상도 촬영기는 이용되는 다수의 촬영기에 비해 공간 해상도가 증가한 파노라마를 생성하는 데 사용될 수 있다. 따라서, 보다 적은 추가 대역폭으로 보다 높은 공간 해상도를 얻을 수 있다.
도 8은 본 발명의 일 실시예에 따라 소스 영상의 오버랩을 필요로 하지 않으면서 무결절성 합성 영상을 생성하도록 복수의 촬영기를 교정하는 방법에서 수행되는 단계들의 흐름도를 도시한다.
단계(801)에서, 복수의 촬영기의 각 촬영기 프레임 (및 아마도 이들을 통한 확장부)에서 관측되는 라인 피쳐가 식별된다.
단계(803)에서, 복수의 촬영기의 각 촬영기 프레임을 복수의 촬영기의 적어도 하나의 다른 촬영기 프레임에 관련시키는 라인 피쳐를 사용하여 호모그래피가 계산될 수 있다.
단계(805)에서, 렌즈 왜곡의 보정 및 호모그래피의 사용을 통해 합성 영상을 구성하는 픽셀을 매핑하는 데 사용되는 룩업 테이블이 구성된다.
예시적인 실시예에서 데이터는 예컨대, VGA와 XGA(extended graphics array) 포맷 양자 모두에서 선형 모자이크로 실시간으로 합성될 수 있다. 일 실시예에서, 카메라에서 회의 참가자까지의 약 10 피트의 거리에서, 만족스러운 2차원 호모그래피가 계산될 수 있다. 다른 실시예에서는, 다른 거리에서 만족스러운 2차원 호모그래피가 계산될 수 있다. 일 실시예에서, 혼합은 교정면으로부터 멀리 떨어져 있는 원격 물체로부터 나타날 수 있으며 거의 눈에 띄지 않는 "방해(ghosting)"를 일으킬 수 있다. 구현된 실시예에서, 영상은 고가인 방송 품질 디지털 비디오 카메라로부터의 영상과 비교하여 판단되었던 3-촬영기 "모자이킹"에 의해 생성된다.
본 발명의 실시예는 다중 시점 촬상 아키텍처를 이용할 수 있다. 고대역폭 획득과 본 발명의 예시적인 실시예에 의해 제공되는 분산된 주변장치 계산의 조합은 비디오 스트리밍과, 광학 및 전자장치의 형성 및 중요한 PC 프로세싱을 가능하게 한다. 일 실시예에서, 카메라 상부를 향하는 렌즈 보정과 같은 다중 시점 처리의 다른 소자는 (일 실시예에서, 모듈러 카메라 설계는 상부에서의 처리의 옵션을 포함할 수 있음) 증가하는 성능을 스케일링할 수 있는 수단으로서 이용될 수 있다. 또한 본 실시예의 다중 시점 디스플레이를 지원하기 위해 GPU 분산 처리의 다른 개 선이 제공될 수 있다.

Claims (10)

  1. 소스 영상의 오버랩(overlap)을 필요로 하지 않으면서 무결절성 합성 영상(seamless composite image)을 생성하는 방법에 있어서,
    복수의 소스 영상을 획득하는 단계(701)와,
    상기 복수의 소스 영상을 조합하여 상기 무결절성 합성 영상을 생성하는 단계(703)를 포함하되,
    상기 복수의 소스 영상을 조합하여 상기 무결절성 합성 영상을 생성하는 단계는, 상기 소스 영상으로부터 결정되는 라인 피쳐(line features)를 사용하여 수행됨으로써, 상기 복수의 소스 영상의 영상 영역의 오버랩을 필요로 하지 않으면서 상기 복수의 소스 영상을 사용하여 수행될 수 있는
    무결절성 합성 영상 생성 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 복수의 소스 영상을 조합하여 상기 무결절성 합성 영상을 생성하는 단계는 영상의 캡처 이전에 결정된 관계를 가진 영상에서 수행되는
    무결절성 합성 영상 생성 방법.
  4. 제 1 항에 있어서,
    상기 라인 피쳐의 사용은 복수의 촬영기(imager) 중 하나의 촬영기를 다른 촬영기와 관련시키는 호모그래피(homography)의 결정을 통한 것인
    무결절성 합성 영상 생성 방법.
  5. 제 4 항에 있어서,
    일련의 호모그래피는 상기 촬영기 모두에 대해 공통인 기준면(a reference plane)에 상기 촬영기 모두를 배치하는 데 사용되는
    무결절성 합성 영상 생성 방법.
  6. 제 1 항에 있어서,
    리샘플링 메커니즘(a re-sampling mechanism)은 렌즈 왜곡 보정 및 상기 복수의 촬영기 각각에 대한 호모그래피를 통해 상기 합성 영상을 구성하는 픽셀을 매 핑하는 데 사용되는
    무결절성 합성 영상 생성 방법.
  7. 제 1 항에 있어서,
    상기 라인 피쳐는 적어도 2개의 상기 소스 영상에서 볼 수 있는 라인이고, 상기 소스 영상이 유도되는 물체는 공통면(a common plane) 내에 위치하는
    무결절성 합성 영상 생성 방법.
  8. 제 1 항에 있어서,
    상기 상기 복수의 소스 영상을 조합하여 상기 무결절성 합성 영상을 생성하는 단계 중 적어도 일부는 그래픽 처리 유닛(GPU)을 사용하여 수행되는
    무결절성 합성 영상 생성 방법.
  9. 제 7 항에 있어서,
    상기 복수의 촬영기의 렌즈의 초점 거리는 일반적인 뷰(view) 방향에 직교하지 않는 상기 공통면의 지향을 수용하도록 독립적으로 설정되는
    무결절성 합성 영상 생성 방법.
  10. 제 1 항에 있어서,
    상기 복수의 촬영기는 상기 합성 영상 내에 프레임 선택을 제공하는 PTZ(pan tilt zoom) 촬상 시스템의 부품인
    무결절성 합성 영상 생성 방법.
KR1020077013447A 2004-11-15 2005-11-01 무결절성 합성 영상 생성 방법 KR100893463B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/989,964 US7619658B2 (en) 2004-11-15 2004-11-15 Methods and systems for producing seamless composite images without requiring overlap of source images
US10/989,964 2004-11-15

Publications (2)

Publication Number Publication Date
KR20070086202A KR20070086202A (ko) 2007-08-27
KR100893463B1 true KR100893463B1 (ko) 2009-04-17

Family

ID=35645738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077013447A KR100893463B1 (ko) 2004-11-15 2005-11-01 무결절성 합성 영상 생성 방법

Country Status (4)

Country Link
US (1) US7619658B2 (ko)
EP (1) EP1813105B1 (ko)
KR (1) KR100893463B1 (ko)
WO (1) WO2006055228A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6676682B1 (en) 1997-05-08 2004-01-13 Scimed Life Systems, Inc. Percutaneous catheter and guidewire having filter and medical device deployment capabilities
JP4292891B2 (ja) * 2003-06-26 2009-07-08 ソニー株式会社 撮像装置、画像記録装置および画像記録方法
KR101042638B1 (ko) * 2004-07-27 2011-06-20 삼성전자주식회사 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법
US20070127909A1 (en) 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US20070115351A1 (en) * 2005-11-18 2007-05-24 Mccormack Kenneth Methods and systems for enhanced motion detection
US8019180B2 (en) * 2006-10-31 2011-09-13 Hewlett-Packard Development Company, L.P. Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
US8149260B2 (en) * 2006-10-31 2012-04-03 Hewlett-Packard Development Company, L.P. Methods and systems for producing seamless composite images without requiring overlap of source images
GB2444533B (en) 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images
US8520054B2 (en) * 2008-01-23 2013-08-27 Techtol Holdings, Llc System and method to quickly acquire images
US20090232415A1 (en) * 2008-03-13 2009-09-17 Microsoft Corporation Platform for the production of seamless orthographic imagery
US8253815B2 (en) 2008-09-16 2012-08-28 Altia Systems Inc. Synchronized multiple imager system and method
JP2010134396A (ja) * 2008-11-10 2010-06-17 Seiko Epson Corp マルチディスプレイシステム、情報処理装置及びマルチディスプレイシステムにおける画像データ処理方法
CN101710932B (zh) * 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
CN101877775A (zh) * 2010-04-06 2010-11-03 中兴通讯股份有限公司 远程呈现系统及其摄像机组
US8928729B2 (en) * 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
GB2497936B (en) * 2011-12-22 2015-04-08 Canon Kk Method and device for controlling a video projector in a video projection system comprising multiple video projectors
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
US9058673B2 (en) * 2013-03-15 2015-06-16 Oracle International Corporation Image mosaicking using a virtual grid
WO2015006787A2 (en) * 2013-07-12 2015-01-15 Mobii Systems (Pty) Ltd Method of generating and processing images
US20180227501A1 (en) * 2013-11-05 2018-08-09 LiveStage, Inc. Multiple vantage point viewing platform and user interface
US10275863B2 (en) * 2015-04-03 2019-04-30 Cognex Corporation Homography rectification
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
WO2017168949A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
US11448508B2 (en) * 2017-10-13 2022-09-20 Kohl's, Inc. Systems and methods for autonomous generation of maps

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020056895A (ko) * 2000-08-07 2002-07-10 요트.게.아. 롤페즈 고속 디지털 팬 틸트 줌 비디오
US20030235344A1 (en) * 2002-06-15 2003-12-25 Kang Sing Bing System and method deghosting mosaics using multiperspective plane sweep

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572248A (en) * 1994-09-19 1996-11-05 Teleport Corporation Teleconferencing method and system for providing face-to-face, non-animated teleconference environment
US5844570A (en) * 1995-05-02 1998-12-01 Ames Research Laboratories Method and apparatus for generating digital map images of a uniform format
US6535650B1 (en) * 1998-07-21 2003-03-18 Intel Corporation Creating high resolution images
US6819357B1 (en) * 1998-08-05 2004-11-16 Pentax Corporation Camera having a zoom lens
US6545685B1 (en) * 1999-01-14 2003-04-08 Silicon Graphics, Inc. Method and system for efficient edge blending in high fidelity multichannel computer graphics displays
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6978051B2 (en) * 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
IL156250A0 (en) * 2000-12-05 2004-01-04 Yeda Res & Dev Apparatus and method for alignment of spatial or temporal non-overlapping image sequences
US20030053658A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
US6853398B2 (en) * 2002-06-21 2005-02-08 Hewlett-Packard Development Company, L.P. Method and system for real-time video communication within a virtual environment
US7116814B2 (en) * 2002-09-27 2006-10-03 Chunghwa Telecom Co., Ltd. Image-based container defects detector
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020056895A (ko) * 2000-08-07 2002-07-10 요트.게.아. 롤페즈 고속 디지털 팬 틸트 줌 비디오
US20030235344A1 (en) * 2002-06-15 2003-12-25 Kang Sing Bing System and method deghosting mosaics using multiperspective plane sweep

Also Published As

Publication number Publication date
KR20070086202A (ko) 2007-08-27
EP1813105A1 (en) 2007-08-01
US20060104541A1 (en) 2006-05-18
EP1813105B1 (en) 2010-01-20
US7619658B2 (en) 2009-11-17
WO2006055228A1 (en) 2006-05-26

Similar Documents

Publication Publication Date Title
KR100893463B1 (ko) 무결절성 합성 영상 생성 방법
KR101003277B1 (ko) 이음매 없는 합성 이미지를 생성하는 컴퓨터 구현 방법 및 멀티-이미저 시스템
US8300083B2 (en) Position relationships associated with image capturing devices
JP3930898B2 (ja) 画像合成装置および画像合成方法
US7400782B2 (en) Image warping correction in forming 360 degree panoramic images
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
JPWO2005024723A1 (ja) 画像合成システム、画像合成方法及びプログラム
JP7196421B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR101915036B1 (ko) 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체
Liu et al. Head-size equalization for better visual perception of video conferencing
US8149260B2 (en) Methods and systems for producing seamless composite images without requiring overlap of source images
TWI615808B (zh) 全景即時影像處理方法
KR101806840B1 (ko) 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
JP4436488B2 (ja) ステレオ映像取得装置
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
Hua et al. A high-resolution panoramic camera
JP2004222025A (ja) 電子カメラ
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
Gong et al. Model-based multiscale gigapixel image formation pipeline on GPU
JP3066594U (ja) 画像変換装置
JP4199940B2 (ja) 撮像装置及び撮像システム
JP2004242049A (ja) マルチカメラ映像合成表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120327

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee