KR20240096759A - 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 - Google Patents

전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 Download PDF

Info

Publication number
KR20240096759A
KR20240096759A KR1020247018892A KR20247018892A KR20240096759A KR 20240096759 A KR20240096759 A KR 20240096759A KR 1020247018892 A KR1020247018892 A KR 1020247018892A KR 20247018892 A KR20247018892 A KR 20247018892A KR 20240096759 A KR20240096759 A KR 20240096759A
Authority
KR
South Korea
Prior art keywords
image
fov
tele
images
camera
Prior art date
Application number
KR1020247018892A
Other languages
English (en)
Inventor
파즈 일란
샤이 베이스먼
루씨 카츠
아디 테이텔
하가이 차프리르
갈 샤브타이
오뎃 기구신스키
이타마르 아줄레
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Publication of KR20240096759A publication Critical patent/KR20240096759A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

심리스의 고해상도 와이드 시야 이미지를 획득하기 위한 시스템 및 방법은 스캐닝 텔레 카메라를 사용하여 장면에서 복수의 텔레 이미지를 캡처하는 단계, 여기서 각각의 캡처된 텔레 이미지는 연관된 텔레 시야(FOVT)를 갖고; FOVT보다 큰 시야를 가지며 각각의 R 이미지 장면을 갖는 R 이미지를 검색하는 단계; 폴디드 텔레 카메라가 복수의 텔레 이미지를 캡처하기 위해 장면을 스캔하도록 이에 따라 스캐닝 위치의 순서를 정의하기 위해 R 이미지를 분석하는 단계; 복수의 텔레 이미지와 R 이미지를 정렬하여 정렬된 텔레 이미지를 획득하는 단계; 및 상기 정렬된 텔레 이미지를 출력 이미지로 합성하는 단계를 포함한다. 출력 이미지는 R 이미지의 적어도 일부를 포함할 수 있으며, 출력 이미지의 스트림 중 하나일 수 있다.

Description

전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭{IMAGE STITCHING IN THE PRESENCE OF A FULL FIELD OF VIEW REFERENCE IMAGE}
관련 출원에 대한 상호 참조
본 출원은 2020년 5월 17일자로 출원된 미국 가특허출원 제63/026,097호에 기초하여 그 우선권을 주장하며, 이는 그 전체가 참조로 여기에 포함된다.
본 명세서에 개시된 주제는 일반적으로 이미지 스티칭에 관한 것이고, 특히 큰 FOV 이미지가 존재하는 경우 작은 FOV 카메라로 촬영한 이미지를 스티칭하는 방법에 관한 것이다.
멀티-애퍼처 카메라(또는 멀티-카메라)는 하이-엔드 모바일 핸드헬드 장치("모바일 장치", 예를 들어, 스마트폰, 태블릿 등)의 표준이다. 멀티-카메라는 일반적으로 와이드 시야(FOVW) 또는 "와이드 앵글(광각)" 카메라("와이드" 카메라 또는 "W 카메라"), 및 동일한 FOV를 갖거나, 좁은 FOV(텔레 FOVT를 갖는 텔레포토 또는 "텔레" 카메라 또는 "T" 카메라)를 갖는 하나 이상의 추가 카메라, 또는 FOVUW > FOVW를 갖는 울트라-와이드 카메라("UW 카메라")를 포함한다.
텔레-와이드 또는 텔레-울트라-와이드 멀티-카메라(이하, "텔레-레퍼런스" 멀티-카메라라고 함)는 두 카메라의 장점을 결합하여 단점을 극복한다. R 카메라 해상도("RESR") 및 R 신호 대 잡음비(SNRR)로 레퍼런스(R) 이미지를 제공하는 레퍼런스 카메라("R 카메라")를 이용하여 장면의 큰 레퍼런스 카메라 FOVR을 캡처하고, FOVT로 장면을 주밍하기 위해 더 높은 텔레 카메라 해상도("REST") 및 SNR(SNRT)을 사용한다. 그러나, 텔레 카메라 해상도가 증가함에 따라, FOVT가 좁아져 장면의 일부만 캡처할 수 있다.
최근 개발품은 고유(native) FOVT보다 큰 스캐닝 FOVT를 효과적으로 커버할 수 있도록, 일반(고유) FOVT로 장면을 스캔할 수 있는 스캐닝 텔레 카메라이다. 스캐닝 텔레 카메라는 예를 들어, 공동 소유의 미국 특허 제10,578,948호에 설명되어 있다.
레퍼런스 이미지(R 이미지) 데이터 및 텔레(T) 이미지 데이터를 사용하여, FOVT < FOVN ≤ FOVR을 충족하는 "새로운" 시야 FOVN을 갖는 새로운 이미지를 생성하는 방법이 필요하고 유익할 될 것이다. 여기서, 새로운 이미지의 이미지 해상도는 RESN > RESR이고, 및/또는 새로운 이미지의 SNR은 SNRN > SNRR이다.
다양한 실시예에서, FOVT < FOVN ≤ FOVR을 충족하는 "새로운" 시야 FOVN을 갖는 "새로운" 이미지를 생성하기 위해 레퍼런스 이미지 데이터 및 텔레 이미지 데이터를 사용하기 위한 시스템 및 방법이 제공된다. 새로운 이미지는 심리스(seamless)의 고해상도 큰 FOV 이미지이다. 새로운 이미지는 RESR보다 큰 해상도 RESN, 및/또는 SNRR보다 큰 신호 대 잡음비 SNRN을 갖는다. 새로운 이미지는 2개 이상의 T 이미지를 캡처하고 스티칭하여 획득한 "슈퍼 이미지"("SI")이거나, 또는 R 이미지 또는 그 세그먼트를 초해상도 알고리즘으로 개선하기 위해 하나 이상의 T 이미지를 캡처하고 사용하여 획득한 "울트라-와이드 이미지"("SW")일 수 있다.
도 1은 (a) 공지의 파노라마 이미지(또는 간단히 "파노라마")와 (b) 본 명세서에 개시된 슈퍼 이미지 사이의 한 가지 차이점을 도시한다. 파노라마 이미지는 파노라마 이미지를 형성하는 서로 다른 이미지의 시점(POV)을 정정할 때, "그라운드 트루스(ground truth), 지상 실측 정보)"가 없기 때문에, 고유한 원근 왜곡을 가질 수 있는 반면, 본 명세서에 개시된 슈퍼 이미지는 왜곡되지 않는다.
SI는 동일한 장면의 큰 FOV(예를 들어, FOVW 또는 FOVUW)를 갖는 R 이미지(RESR < REST) 및 적어도 2개의 고해상도 텔레 이미지를 포함한다(도 1(b) 참조). 즉, SI는 더 큰 FOV 레퍼런스 이미지로부터 동일한 장면에 대한 정보를 이용한다. 대조적으로, 당해 기술분야에서 공지된 파노라마를 생성하기 위해, 일반적으로 레퍼런스 이미지가 이용 가능하지 않다. SI에서는, 각각 캡처된 텔레 이미지는 처리되고 더 큰 FOV 레퍼런스 이미지에서의 그 대응 위치에 매칭되어, 일반적인 파노라마 이미지 원근 왜곡을 제거한다. 또한, 각각의 텔레 이미지는 포커스 미스, 많은 양의 노이즈, 일시적인 폐색(occlusion) 등과 같은 캡처 문제가 있는지 확인하고, 필요한 경우, 나중에 다시 촬영할 수 있다.
도 2는 본 명세서에 개시된 바와 같이 획득된 (a) R 이미지와 (c) SI 사이의 또 다른 차이점을 도시한다. 2(b)는 SI를 합성하는 데 사용된 단일 텔레 이미지들을 보여준다. 큰 유효 초점 거리(EFL)를 갖는 텔레 카메라가 이미지를 캡처하는 데 사용되기 때문에, SI(c)에서 "자연적인" 보케 효과를 얻는다. 자연적 보케는 초점이 맞지 않는 FOV 세그먼트의 이미지 데이터에 존재하는 블러링의 양으로 정의된다.
도 3은 공지된 파노라마와 본 명세서에 개시된 바와 같이 획득된 SI 사이의 또 다른 차이점을 도시한다. 2개의 텔레 이미지들(텔레1 및 텔레 2)가 중첩 FOV 영역에서 어떠한 정보도 갖지 않지만, 이미지들에 정보가 완전히 없는 것이 아닌 시나리오를 볼 수 있다. 이 상황에서, 공지된 파노라마는 이미지를 정렬하는 데 실패하는 반면, SI는 R 이미지를 사용하여 이미지들을 정렬할 수 있다.
공지된 파노라마와 SI 사이의 다른 차이점은 SI 획득에서 자동으로 스캔하는 기능을 포함하는데, 이에 의해 학습된 방식으로 텔레 카메라의 스캐닝 위치와 순서를 결정할 수 있고; 배드 이미지를 검출하고 정정하는 기능을 포함하고; 나아가 상이한 텔레 이미지들 간의 중첩 대신에 그라운드 트루스와의 더 높은 중첩으로 인한 견고성(robustness) 증가(이는 텔레 이미지들 간의 중첩 크기 요구가 줄어들기 때문에, 원하는 FOV를 커버하기 위해 더 적은 양의 이미지가 필요로 함)를 포함한다.
다양한 실시예에서, 복수의 텔레 이미지들을 스캔 및 캡처하도록 구성된 폴디드 텔레 카메라를 제공하는 단계, 여기서 각각의 캡처된 이미지는 텔레 이미지 해상도(REST), 텔레 이미지 신호 대 잡음비(SNRT) 및 텔레 시야(FOVT)를 갖고; R 이미지 해상도(RESR < REST)를 가지며 R 시야(FOVR > FOVT)를 갖는 레퍼런스(R) 이미지, 및/또는 신호 대 잡음비(SNRR < SNRT)를 갖는 R 이미지를 획득하고 분석하는 단계; 텔레 이미지들의 연속적인 캡처를 위하여 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계; 각각의 스캐닝 FOVT 위치에서 텔레 이미지를 캡처하는 단계; 정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 상기 R 이미지의 세그먼트들과 정렬하는 단계; 및 시야(FOVN ≤ FOVR)를 갖는 새로운 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계, 여기서 상기 새로운 이미지의 이미지 해상도는 RESN > RESR이고, 및/또는 상기 새로운 이미지의 SNR은 SNRN > SNRR인 단계를 포함하는 방법이 제공된다.
일부 실시예에서, R 이미지는 FOVW > FOVT를 갖는 와이드 이미지이고, 상기 와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 와이드 카메라에 의해 캡처되는 와이드 이미지이다.
일부 실시예에서, R 이미지는 FOVUW > FOVW > FOVT를 갖는 울트라-와이드 이미지이고, 상기 울트라-와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 울트라-와이드 카메라에 의해 캡처되는 울트라-와이드 이미지이다.
일부 실시예에서, 상기 방법은 각각의 텔레 이미지를 캡처 직후 및 바로 다음 텔레 이미지의 캡처 이전에, 각각의 텔레 이미지를 상기 R 이미지와 정렬하고, 결점에 대해 각각의 텔레 이미지를 분석하고, 결점이 텔레 이미지에서 검출되는 경우, 동일한 FOVT 위치에서 텔레 이미지를 다시 캡처하거나, 또는 결점이 텔레 이미지에서 검출되지 않는 경우, 바로 다음 텔레 이미지를 각각의 FOVT 위치에서 캡처 진행하는 단계를 더 포함한다.
일부 실시예에서, 상기 방법은 결점에 대해 상기 정렬된 텔레 이미지들을 분석하고, 결합이 특정 텔레 이미지에서 검출되는 경우, 동일한 FOVT 위치에서 특정 텔레 이미지를 다시 캡처하거나, 또는 결점이 검출되지 않는 경우, 새로운 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계를 더 포함한다.
일부 실시예에서, 상기 폴디드 텔레 카메라는 FOVR 내의 2개 이상의 각각의 FOVT 위치에서 2개 이상의 텔레 이미지를 캡처하고, 상기 정렬된 텔레 이미지들은 슈퍼 이미지를 생성하기 위해 합성된다.
일부 실시예에서, 상기 정렬된 텔레 이미지들 및 상기 R 이미지는 시야(FOVSW)를 갖는 슈퍼 와이드 이미지를 생성하기 위한 알고리즘에 공급되고, 여기서 상기 캡처된 텔레 이미지들의 적어도 하나의 FOVT 내에 포함된 FOVR 내의 FOV 세그먼트는 시야 union-FOVT를 갖고, union-FOVT < FOVSW ≤ FOVR이다.
일부 실시예에서, 상기 폴디드 텔레 카메라는 상이한 각각의 줌 팩터를 갖는 텔레 이미지를 캡처하기 위해 서로 다른 줌 상태를 갖는 멀티-줌 텔레 카메라이다.
일부 실시예에서, 상기 R 이미지를 획득하는 단계는 인터넷, 클라우드 데이터베이스, 또는 사물 인터넷 장치로부터 상기 R 이미지를 획득하는 단계를 포함한다.
일부 실시예에서, 복수의 새로운 이미지들의 시퀀스로 형성된 비디오 스트림은 단일의 새로운 이미지 대신에 출력된다.
일부 실시예에서, 사용자 또는 알고리즘은 FOVR에 포함된 장면 내에서 FOVN의 위치 및 FOVN의 크기를 선택한다.
일부 실시예에서, R 이미지를 분석하는 단계는 스캐닝 FOVT 위치를 자동으로 선택하고, 및/또는 FOVN을 자동으로 선택하기 위해 R 이미지의 세일리언시 맵을 사용하는 단계를 포함한다.
일부 실시예에서, 복수의 정렬된 텔레 이미지를 획득하기 위해 캡처된 텔레 이미지를 정렬하는 단계는 R 이미지 데이터에 대해 T 이미지 데이터를 로컬라이제이션하는 단계를 포함한다.
일부 실시예에서, 텔레 카메라는 7-10mm, 10-20mm, 또는 20-40mm의 유효 초점 거리를 갖는다.
일부 실시예에서, 하나 이상의 스캐닝 FOV 위치의 순서를 결정하는 단계는 하나 이상의 텔레 이미지 각각이 특정 양의 자연적인 보케를 나타내도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 합성된 새로운 이미지가 스캐닝의 기계적 제한에 따라 최대 FOV를 커버하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 새로운 이미지가 사용자에 의해 또는 알고리즘에 의해 선택된 관심 영역을 커버하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 각각의 T 이미지가 특정 깊이 범위를 갖는 장면 세그먼트를 포함하거나, 특정 깊이 임계값을 초과하지 않는 장면 세그먼트를 포함하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 먼저 움직이는 객체를 캡처하고, 움직이는 객체가 캡처된 후 정지된 객체를 캡처하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 복수의 FOVT로 원하는 FOVR의 커버리지가 가장 빠른 방식으로 수행되도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 객체 추적기로 움직이는 객체를 따라가도록 순서를 결정하는 단계를 포함한다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVN에 포함되지만 특정 FOVT에는 포함되지 않은 유사한 객체의 RES 또는 SNR을 개선하기 위해 특정 FOVT를 갖는 텔레 이미지에서 객체를 캡처하는 단계를 포함한다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 2개의 상당히 상이한 시점에서 하나 이상의 FOVT로 움직이는 객체를 캡처하는 단계를 포함한다.
일부 실시양태에서, FOVN > FOVT이다.
일부 실시예에서, 텔레 이미지는 R 이미지와 서로 정렬된 상기 정렬된 텔레 이미지들을 획득하기 위해 서로에 대해 추가로 정렬된다.
일부 실시예에서, R 이미지는 복수의 와이드 이미지를 포함한다.
일부 실시예에서, 스캐닝 텔레 카메라는 FOVW 및/또는 FOVUW의 25%보다 크거나, FOVW 및/또는 FOVUW의 50%보다 큰 스캐닝 범위를 커버한다.
일부 실시예에서, 스캐닝 텔레 카메라 해상도 REST > 2xRESW 및/또는 SNRT > 2xSNRW, 또는 REST > 4xRESW 및/또는 SNRT > 4xSNRW이다.
일부 실시예에서, 결점은 모션 블러, 전자 노이즈, 롤링 셔터, 디포커스 블러 및 부정확한 이미지 정렬 또는 가로막음으로 이루어진 그룹으로부터 선택된다.
일부 실시예에서, 결점은 기계적 결함이다.
일부 실시예에서, 정렬된 텔레 이미지를 슈퍼 이미지로 합성하는 단계는 R 이미지와 함께 정렬된 텔레 이미지를 슈퍼 이미지로 합성하는 단계를 포함한다.
일부 실시예에서, 2개 이상의 FOVT 위치의 순서를 결정하는 단계는 최소 수의 T 이미지를 캡처하는 것이 요구되도록 수행된다.
일부 실시예에서, 2개 이상의 FOVT 위치의 순서를 결정하는 단계는 각각의 FOVT 내의 특정 장면 특징을 포함하는 텔레 이미지가 연속적으로 캡처되도록 수행되고, 상기 장면 특징은 텍스처와 같은 시각적 데이터, 또는 장면의 밝기, 깊이 또는 분광 구성과 같은 물리적 데이터일 수 있다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVR에 포함된 장면으로부터 움직이는 객체가 제거되도록 수행된다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVR에 포함된 장면에서 움직이는 객체의 듀플리케이션을 생성하도록 수행된다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 각각의 텔레 이미지가 다른 텔레 이미지와 중첩되도록 수행된다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 하나 이상의 관심 객체가 중첩 영역이 아니라 FOVT의 중심 영역에 위치하도록 수행된다.
일부 실시예에서, 멀티-줌 텔레 카메라는 연속-줌 텔레 카메라이다. 일부 실시예에서, 멀티-줌 텔레 카메라는 듀얼-줌 상태 텔레 카메라이다.
일부 실시예에서, R 이미지는 제1 ZF(ZF1)를 갖는 텔레 이미지이고, 순서에 따라 연속적으로 캡처된 텔레 이미지는 제2 줌 팩터(ZF2)를 가지며, 여기서 ZF1≤1.25xZF2이다.
본 명세서에 개시된 방법은 특정 멀티-카메라 모듈에 제한되지 않으며, 조합이 2D 스캐닝에 제한되지 않는 일부 스캐닝 기능을 갖는 적어도 하나의 카메라로 구성되는 한 임의의 카메라 조합에 사용될 수 있다.
본 명세서에 개시된 실시예의 비-제한적인 예는 이 단락 다음에 열거되는 여기에 첨부된 도면을 참조하여 아래에 설명된다. 하나 이상의 도면에 나타나는 동일한 구조, 요소 또는 부품은 일반적으로 그것들이 나타나는 모든 도면에서 동일한 숫자로 표시된다. 동일한 요소가 표시되지만 하나의 도면에서만 번호가 매겨진 경우, 해당 요소가 나타나는 모든 도면에서 동일한 번호를 갖는 것으로 가정한다. 도면 및 설명은 본 명세서에 개시된 실시예를 조명하고 명확히 하기 위한 것이며, 어떤 식으로든 제한하는 것으로 간주되어서는 안 된다. 도면에서:
도 1은 (a) 일반 파노라마 이미지와 (b) 슈퍼 이미지의 주요 차이점을 예시한다.
도 2는 본 명세서에 개시된 바와 같이 획득된 일반 파노라마 이미지와 슈퍼 이미지 사이의 또 다른 주요 차이점을 예시한다.
도 3은 본 명세서에 개시된 바와 같이 획득된 일반 파노라마 이미지와 슈퍼 이미지 사이의 또 다른 주요 차이점을 예시한다.
도 4a는 본 명세서에 개시된 새로운 이미지를 획득하기 위한 방법 실시예의 흐름도를 도시한다.
도 4b는 새로운 이미지를 획득하기 위한 SWM 실시예의 흐름도를 도시하며, 여기서 새로운 이미지는 본 명세서에 개시된 SW이다.
도 5는 듀얼-카메라 출력 이미지의 FOV를 예시한다.
도 6은 R 이미지 검색 프로세스의 실시예를 예시한다.
도 7은 R 이미지 검색 프로세스의 다른 실시예를 예시한다.
도 8a는 SI 또는 SW를 생성하기 위한 텔레 스캐닝 순서를 결정하는 실시예를 예시한다.
도 8b는 SI 또는 SW를 생성하기 위한 텔레 스캐닝 순서를 결정하는 다른 실시예를 예시한다.
도 9는 특정 기준에 따른 텔레 FOV 위치의 결정을 예시한다.
도 10a는 장면에서 움직이는 객체의 검출에 기초한 텔레 스캐닝 순서 결정의 일 실시예에서 텔레 카메라 스캐닝 순서를 예시한다.
도 10b는 도 10a의 스캐닝에 대한 결과적인 슈퍼 이미지를 예시한다.
도 11a는 장면에서 움직이는 객체의 검출에 기초한 텔레 스캐닝 순서 결정의 다른 실시예에서 텔레 카메라 스캐닝 순서를 예시한다.
도 11b는 도 11a의 스캐닝에 대한 결과적인 슈퍼 이미지를 예시한다.
도 12a는 장면에서 움직이는 객체의 검출에 기초한 텔레 스캐닝 순서 결정의 또 다른 실시예에서 텔레 카메라 스캐닝 순서를 예시한다.
도 12b는 도 12a의 스캐닝에 대한 결과적인 슈퍼 이미지를 예시한다.
도 12c는 정지된 객체보다 움직이는 객체를 캡처하는 것을 우선시하는 T 스캐닝 순서의 제1 예를 도시한다.
도 12d는 도 12c의 스캐닝 순서에 따른 결과적인 SW를 도시한다.
도 13은 이미지 정렬 단계의 전형적인 설정의 세부사항을 보여주는 흐름도이다.
도 14는 결점 검출 단계가 오류를 발생시키는 몇 가지 경우를 예시한다.
도 15a는 SI 구성을 위한 방법의 단계들을 보여주는 흐름도이다.
도 15b는 SWM의 단계를 보여주는 흐름도이다.
도 16a는 어떠한 컬러 보정(correction) 단계를 사용하지 않은 슈퍼 이미지를 도시한다.
도 16b는 컬러 보정 단계를 갖는 슈퍼 이미지를 도시한다.
도 17은 적어도 하나의 스캐닝 텔레 카메라를 갖는 멀티-애퍼처 카메라를 포함하는 모바일 장치의 실시예를 개략적으로 도시한다.
이제, 도면으로 돌아가면, 도 4a는 본 명세서에 개시된 RESN > RESR 및/또는 SNRN > SNRR를 갖는 새로운 이미지를 획득하기 위한 방법 실시예의 흐름도를 도시한다. 첫 번째 방법은 본 명세서에 설명된 바와 같이 슈퍼 이미지를 생성하기 위한 슈퍼 이미지 방법(또는 "SIM")으로 지칭될 수 있다(SI 합성(composition)에 대해서는 도 15a 참조). 두 번째 방법은 본 명세서에 설명된 바와 같이 슈퍼-와이드 이미지를 생성하기 위한 슈퍼-와이드 이미지 방법(또는 "SWM")으로 지칭될 수 있다(SW 합성에 대해서는 도 15b 참조). 방법들을 수행하는 알고리즘은 도 17에 도시된 바와 같이, 제1(R) 카메라 및 제2(텔레) 카메라에 작동적으로 결합된 애플리케이션 프로세서(AP)(1740)와 같은 프로세서에서 실행될 수 있다. SI를 획득하기 위한 일부 실시예에서, 초기 스캐닝 위치에서 초기 텔레 이미지가 단계(402)에서 캡처된다. R 이미지가 단계(404)에서 검색된다. 일부 실시예에서, R 이미지는 각각의 카메라로 촬영된 W 이미지 또는 UW 이미지이다. 일부 실시예에서, R 이미지는 예를 들어, 텔레 이미지를 캡처하기 몇 초, 몇 시간 또는 몇 년 전과 같이, 단계(402 및/또는 408)에서 캡처된 텔레 이미지와 상당히 다른 시간에 촬영된다. 다른 실시예에서, R 이미지는 초기 텔레 이미지를 쿼리로 사용하여 외부 데이터베이스로부터 검색된다(아래 참조). 각각의 FOVT를 결정하는 텔레 카메라의 다음("후속적", "순차적" 또는 "연속적"이라고도 함) 스캐닝 위치는 단계(406)에서 초기 및 각각의 후속 텔레 이미지 캡처 후에 선택되거나 업데이트된다.
단계(408)에서, 후속 텔레 이미지는 단계(406)에서 선택되거나 업데이트된 스캐닝 위치를 사용하여 획득(캡처)된다. SIM의 경우, 후속적으로 획득된 텔레 이미지는 단계(410)에서, 정렬된 텔레 이미지를 획득하기 위해 일부 공유 FOV를 갖는 이전에 발견된 텔레 이미지 및 R 이미지와 정렬된다. SWM의 경우, 후속적으로 획득된 텔레 이미지는 정렬된 텔레 이미지를 획득하기 위해 단계(410)에서 R 이미지와 정렬된다. 정렬된 텔레 이미지는 단계(412)에서 결점에 대해 분석되고, 검출된 결점에 기초하여 단계(406)으로 돌아가서 후속 스캐닝 위치가 업데이트된다. R 이미지의 원하는 커버리지가 달성될 때까지 단계(406-412)가 반복된다. 이후, SI 또는 SW는 단계(414)에서, SIM에 대해 도 15a에 도시된 바와 같이, 그리고 SWM에 대해 도 15b에 도시된 바와 같이 합성되어, FOVN > FOVT 및 RESN > REST 및/또는 SNRN > SNRT를 갖는 하나의 결합된(cohesive) 새로운 이미지를 형성하는데, 이는 SI 또는 SW일 수 있다.
일부 실시예에서, 이미지 합성 단계(414)는 모든 텔레 이미지가 위에서 설명된 바와 같이 획득되고 정렬된 후에, 수행될 수 있다. 다른 실시예에서, 이미지 합성 단계(414)는 텔레 이미지 획득 및 이미지 정렬 단계(406-412)의 각 반복 후에 수행되어, 중간 실행 가능한 결과로 "즉시 또는 그때그때(on the fly)" 블렌딩을 수행할 수 있다. 그러한 실시예에서, SI는 단계(406-412)의 각 반복 후에 존재한다.
도 4b는 RESN > RESR 및/또는 SNRN > SNRR을 갖는 새로운 이미지를 획득하기 위한 SWM 실시예의 흐름도를 도시하며, 여기서 새로운 이미지는 본 명세서에 개시된 SW이다. 방법들을 수행하는 알고리즘은 도 17에 도시된 바와 같이, 제1(R) 카메라 및 제2(텔레) 카메라에 작동적으로 결합된 AP(1740)에서 실행될 수 있다. 단계(422)에서, R 이미지가 검색된다. 단계(424)에서, R 이미지에 존재하는 피처(feature)가 당업계에 알려진 바와 같이 추출되고, 단계(426)에서 클러스터링된다. 피처는 모바일 장치(1700)로부터의 거리에 의해, 또는 R 이미지의 FOV 내의 위치에 의해 또는 다른 방식으로, 예를 들어 의미론적 의미에서의 유사성, 예를 들어 2010년 6월 Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aure-lien Lucchi, Pascal Fua 및 Sabine Susstrunk, SLIC Superpixels, EPFL TechnicalReport 149300에 의해 설명된 "SLIC 슈퍼픽셀"과 같은 반-이미지 세그먼테이션에 의해 클러스터링될 수 있다. 클러스터링의 결과에 기초하여, 단계(428)에서, T 스캐닝 순서가 결정된다. 선택적으로 그리고 T 카메라(1710)가 상이한 줌 상태를 갖는 멀티-줌 T 카메라인 경우에, 적절한 줌 팩터(ZF)가 추가적으로 결정될 수 있다. T 스캐닝 순서에 대한 예는 도 12c-d에 주어진다. 단계(430)에서, T 이미지는 단계(428)에서 결정된 T 스캔 순서에 따라 캡처된다.
단계(432 - 440)는 단계(430)에서 캡처된 T 이미지를 단계(422)에서 검색된 R 이미지와 정렬하는 프로세스를 설명한다. 이미지 정렬에 대한 추가 상세 사항은 도 13에 기재되어 있다. 당업계에 알려진 바와 같이, 1개의 OPFE를 기반으로 하는 스캐닝 T 카메라로 캡처된 T 이미지는 "롤 이펙트"를 겪게 되므로, 단계(432)에서 교정된다(rectified). 단계(434)에서, T 이미지의 특징이 추출된다. 각각의 T 이미지에 대해, 단계(434)에서 추출된 특징은 단계(424)에서 추출된 R 이미지의 특징과 매치된다. 단계(438 - 440)은 정렬 프로세스의 미세 조정을 설명한다. 단계(438)에서는, 단계(432)에서 수행된 교정이 단계(436)에서 불충분한 것으로 판명된 경우, T 이미지는 롤 이펙트를 감소시키기 위해 워핑(warping) 측면에서 추가로 조정된다. 단계(440)에서는, R 이미지 데이터에 대한 T 이미지 데이터의 로컬라이제이션이 수행된다. 예를 들어, R 이미지 내에서 T 이미지 데이터를 로컬라이제이션하기 위해 당업계에 알려진 바와 같은 상호 상관 계산이 수행될 수 있다. 예를 들어 그리고 일반적으로, 로컬라이제이션 이전에, 동일한 객체 포인트의 이미지 포인트는 예를 들어, R 이미지와 T 이미지 사이에서 25픽셀 이상, 50픽셀 이상 또는 100픽셀 이상으로 벗어난다. 우리는 약 1μm의 픽셀 크기를 가정한다. 로컬라이제이션 이후에, 동일한 객체 포인트의 이미지 포인트는 예를 들어, R 이미지와 T 이미지 사이에서 20픽셀 미만 또는 10픽셀 미만 또는 2픽셀 미만으로 벗어난다. SWM의 경우, T 이미지를 서로에 대해 정렬할 필요는 없지만, 각각의 T 이미지는 단지 R 이미지와 정렬될 수 있다.
단계(442)에서, R 이미지 및 정렬된 T 이미지는 초해상도 알고리즘에 공급된다. 관련 초해상도 알고리즘은 예를 들어, Daniel Glasner et al., "Super-Resolution from a Single Image(단일 이미지로부터의 초해상도)", ICCV, 2009, Tamar Rott Shaham et al., "SinGAN: Learning a Generative Model from a Single Natural Image(SinGAN: 단일 자연 이미지로부터의 생성 모델 학습", ICCV, 2019, arXiv:1905.01164 또는 Assaf Shocher et al., "Zero-Shot Super-Resolution using Deep Internal Learning(딥 내부 학습을 이용한 제로-샷 초해상도)", 2017, arXiv:1712.06087에 설명되어 있다.
RESN > RESR 및/또는 SNRN > SNRR을 갖는 새로운 이미지가 단계(444)에서 출력된다. 일반적으로, FOVN은 단계(442)에서 초해상도 알고리즘에 공급되는 모든 FOVT의 유니온(union)보다 크다. 즉, FOVN > union-FOVT이다. union-FOVT는 단계(428)에서 캡처된 T 이미지 중 하나의 적어도 하나의 FOVT에 포함된 FOVR 내의 FOV를 나타낸다.
FOVT 스캐닝은 스캐닝 텔레 카메라의 하나 이상의 광학 경로 폴딩 요소(OPFE)를 (예를 들어, 회전을 위해) 작동시킴으로써 수행될 수 있다. 빠른 작동이 필요할 수 있다. 예를 들어, 2°-5°스캐닝을 위해 2-20ms 내의 작동이 수행될 수 있고, 15-25°스캐닝을 위해 10-70ms 내의 작동이 수행될 수 있다. 스캐닝 텔레 카메라는 60°의 최대 대각선 스캐닝 범위를 갖는다. "최대 대각선 스캐닝 범위"는 중심 FOV의 왼쪽 아래의 최대 상태에서의 FOV의 중심과 중심 FOV의 오른쪽 위의 최대 상태에서의 FOV의 중심으로 정의된다. 예를 들어, FOV 대각선을 참조하면, FOVT = 20° 및 60° 스캐닝 범위를 갖는 스캐닝 T 카메라는 전체 80°의 FOV를 커버한다. 40°의 대각선 스캐닝 범위는 FOVW의 약 60-100%를 커버할 수 있다. 스캐닝 텔레 카메라는 EFL=7mm-40mm를 가질 수 있다. 일반적인 줌 팩터(ZF)는 동일한 모바일 장치에 호스팅되는 W 카메라에 대해 2x-10x 줌일 수 있다. 즉, 동일한 거리에서 캡처된 동일한 객체의 이미지가 W 카메라에서보다 T 카메라의 이미지 센서 상에 2x-10x 더 큰 크기로 투영된다. R 카메라와 T 카메라에 동일한 센서가 사용된다고 가정하면, 이미지 해상도는 ZF에 따라 선형적으로 조정된다. 동일한 센서의 경우, 일반적으로 REST > 2 x RESW이다. 일부 예에서는, REST > 5 x RESW이다.
도 5는 예를 들어, W 카메라(R 카메라로 작용함) 및 스캐닝 T 카메라를 포함하는 듀얼-카메라에 대한 듀얼-카메라 이미지의 예시적인 FOV를 도시한다. 텔레 FOV 0은 와이드 FOV에 중첩된 하나의 예시적인 T 스캐닝 위치를 보여주고, FOV 1은 와이드 FOV에 중첩된 다른 예시적인 T 스캐닝 위치를 보여준다. 이러한 설정은 단계(404)에서 W 이미지를 R 이미지로 사용할 수 있게 한다.
도 6은 R 이미지 검색 프로세스의 실시예를 도시한다. 3개의 T 이미지들(텔레1, 텔레2 및 텔레3)은 단계(402 및/또는 408)에서 획득된다. 그 다음, 이러한 이미지들은 유사한 이미지를 위해 (예를 들어, 구글을 사용하여) 외부 데이터베이스를 서치하는데 사용되고, 그 다음 이를 검색하여 R 이미지로 사용된다.
도 7은 R 이미지 검색 프로세스의 다른 실시예를 도시한다. 여기에서, 검색은 모바일 장치에서 GPS 위치를 사용하여 수행된다. 도면은 현재 모바일 장치의 GPS 위치, 및 단계(402 및/또는 408)에서 캡처된 2개의 T 이미지들(텔레1 및 텔레2), 그리고 GPS 위치를 쿼리로 사용하여 외부 데이터베이스에서 검색된 "GPS" R 이미지들을 보여준다.
도 8a는 SI 또는 SW를 생성하기 위한 텔레(T) 스캐닝 순서를 결정하는 실시예를 도시한다(각각 단계(406) 또는 단계(428)). 스캐닝 순서는 1-9의 이미지 넘버링으로 표시된다. 즉, 텔레 FOV 1을 갖는 T 이미지 1은 캡처된 첫 번째 T 이미지이고, 텔레 FOV 2를 갖는 T 이미지 2는 캡처된 두 번째 T 이미지이다. 여기에서, 스캐닝 위치는 T 카메라 스캐닝 범위의 최대 커버리지에 기초하여 결정된다. 도면은 와이드 FOV에 중첩된 T 카메라의 가능한 최대 스캐닝 범위 커버리지와 최대 커버리지를 달성하기 위해 FOV1에서 FOV9까지의 텔레 FOV가 선택된 T 이미지를 보여준다. SW 생성을 위해, 단일 텔레 이미지 1-9 사이의 중첩은 선택 사항이다.
도 8b는 SI 또는 SW를 생성하기 위한 T 스캐닝 순서를 결정하는 다른 실시예를 도시한다(각각 단계(406) 또는 단계(428)). 스캐닝 순서는 도 8a와 같은 넘버링으로 표시된다. 여기에서, 스캐닝 위치는 스캐닝 범위의 최대 커버러지 및 추가적으로 이러한 최대 커버리지를 가장 짧은 전체 캡처 시간에 캡처하는 것에 기초하여 결정된다. 캡처 시간에는 FOVT를 타겟 스캐닝 위치로 연속적으로 이동하고 이 위치에서 하나 이상의 T 이미지를 캡처하는 것이 포함된다. 이 실시예에서, 텔레 FOV 3을 갖는 T 이미지 3과 T 이미지 4 사이, 그리고 T 이미지 6과 T 이미지 7 사이의 FOVT 이동을 최소화함으로써, 도 8a에 도시된 스캐닝 순서에 비해 전체 캡처 시간 단축이 달성된다.
스캐닝 순서를 결정하는 것은 각각의 FOVT 위치를 결정하는 것을 포함하며, 이는 FOVT 위치 및 그 스캐닝 순서가 결정된다는 것을 의미한다.
도 9는 사용자의 관심 영역(ROI) 선택의 최대 커버리지의 기준에 따라 SI 및/또는 SW를 생성하기 위한 텔레 FOV 위치를 결정하는 것을 도시한다. 도면은 사용자가 요청한 ROI를 (레퍼런스로서) 와이드 이미지 FOV와 이러한 ROI 선택의 최대 커버리지를 달성하기 위해 결정된 T 이미지 상에 점선 직사각형으로 표시한다.
SIM 및 SWM에 대한 다른 실시예에서, 스캐닝 위치는 알고리즘(예를 들어, Jiang et al.의 "Salient Object Detection: A Discriminative Regional Feature Integration Approach(세일리언트 객체 검출: 특이한 지역적 특징 통합 접근법)" 또는 Redmon et al의 "You Only Look Once: Unified, Real-Time Object Detection(통합 실시간 객체 검출)"에 설명된 것과 같은 세일리언시 맵)으로부터 획득된 관심 객체 또는 ROI의 최대 커버리지에 기초하여 결정될 수 있다.
SIM에 대한 또 다른 실시예에서, 스캐닝 위치는 ROI 내의 특정 특징이 중첩 영역이 아니라 FOVT의 중심 영역에 위치하도록 결정될 수 있다. 특정 특징은 예를 들어, 사람의 얼굴일 수 있다. 중심 영역에서 특정 특징을 찾으면, 특정 특징에 의해 커버되는 FOV에 "스티칭 심스(stitching seams)"를 적용함으로써, ROI가 위치하는 SI의 FOV 세그먼트에서 아티팩트를 스티칭하는 것을 회피할 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치는 예를 들어, 전력 소비 및 캡처 시간을 줄이기 위해, FOVT보다 큰 특정 FOV를 커버하는 주어진 선택된 ROI에 대해 최소 수의 T 이미지 캡처가 필요하도록 결정될 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치의 순서를 결정하기 위한 기준은 예를 들어, 원하는 양의 자연적 보케와 같은 예술적 또는 시각적 효과에 기초할 수 있다. 자연적 보케의 양은 전경 객체(인-포커스)와 배경 객체(아웃-오브-포커스)의 객체-렌즈 거리의 차이에 따라 달라진다. 스캐닝 위치 기준은 예를 들어, 균일한 자연적 보케를 갖는 이미지 배경일 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치의 순서를 결정하기 위한 기준은 컴퓨터 사진 촬영을 위한 원하는 데이터에 기초할 수 있다. 그러한 데이터는 예를 들어, T 이미지 데이터 및 R 이미지로부터의 이미지 데이터를 포함하는 스테레오 이미지 데이터일 수 있다. 단일 FOVT의 스테레오 이미지 데이터 및 FOVR의 중첩 이미지 FOV 세그먼트로부터, FOVT를 커버하는 스테레오 깊이 맵이 당업계에 공지된 바와 같이 예를 들어, 삼각측량으로 계산될 수 있다. 스테레오 깊이 맵은 인위적 보케 알고리즘을 R 이미지 또는 SI에 적용할 수 있다. 일부 실시예에서, 단계(414)에서의 SI 출력은 시각적 데이터를 포함하는 이미지가 아니라, 스테레오 깊이 데이터를 포함하는 출력일 수 있다.
다른 실시예에서, 스캐닝 순서 기준은 원하는 예술적 SI 효과를 포함할 수 있다. 이러한 효과는 T 이미지 캡처 및 FOV 스캐닝을 동기화함으로써, 생성될 수 있으며, 여기서 캡처는 FOV 이동 중에 발생하여, T 이미지에서 모션 블러 효과가 달성된다. 이를 위한 스캐닝 순서 기준은 특정 장면 세그먼트의 원하는 모션 블러 정도일 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치 결정을 위한 기준은 R 이미지에 포함된 장면의 깊이 추정에 기초할 수 있다. 예를 들어, 단일 T 이미지가 특정 깊이 범위(즉, 특정 카메라-객체 거리 범위)를 갖는 장면 세그먼트를 포함하거나, 또는 특정 깊이 임계값을 초과하지 않는 장면 세그먼트를 포함하도록, 스캐닝 위치를 선택할 수 있다. 다른 예에서, 단일 T 이미지가 특정 FOV 크기를 커버하는 ROI를 포함하도록, 스캐닝 위치를 선택할 수 있다. 예를 들어, 스캐닝 순서 기준은 유사한 깊이를 가지거나 특정 FOV 크기의 ROI를 연속적으로 포함하는 장면 세그먼트를 캡처하는 것일 수 있다. 이것은 하나의 고정 FOV(예를 들어, 줌 상태)가 아니라 다른 FOV(줌 상태들)를 가질 수 있는 스캐닝 카메라에 유용할 수 있다. 빠른 SI 또는 SW 캡처의 경우, (시간-소모적인) 줌 상태 전환의 수를 최소화하는 것이 필요할 수 있기 때문에, 동일한 줌 상태들로 FOV 세그먼트들을 연속적으로(순차적으로) 캡처하는 것을 선호할 수 있다. 다른 예로서, 스캐닝 순서 기준은 유사한 깊이를 갖는 장면 세그먼트를 연속적으로 캡처하는 것일 수 있는데, 이는 단일 T 이미지 캡처 간에 T 카메라의 초점을 다시 맞추는 데 필요한 시간을 최소화할 수 있고, T 이미지의 정렬을 용이하게 할 수도 있기 때문이다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 순서 기준은 각각의 FOVT 내의 특정 장면 특징을 포함하는 T 이미지가 연속적으로 캡처될 수 있는 것일 수 있다. 일부 실시예에서, 각각의 FOVT 내에서 유사한 장면 특징을 갖는 T 이미지가 연속적으로 캡처될 수 있다. 장면 특징은 텍스처와 같은 시각적 데이터일 수 있다. 장면 특징은 장면의 밝기, 깊이 또는 분광 구성과 같은 물리적 데이터일 수 있다. 분광 구성은 장면에 존재하는 모든 파장의 강도 값으로 정의될 수 있다.
도 10a, 10b, 11a, 11b, 12a, 12b는 장면에서 움직이는 객체(러너, 도 11a의 화살표는 이동 방향을 나타냄)와 관련된 정보를 기반으로 하여, SI를 생성하기 위한 T 스캐닝 순서를 결정하는 기준에 대한 세 가지 예를 도시한다. 각 도면의 뷰들(A)은 흐름도에서 T 스캐닝 순서를 보여준다(화살표 1, 2, 3). 각 도면의 뷰들(B)은 결과적인 SI를 보여준다. 다음과 같이 T 스캐닝 순서를 결정하는 몇 가지 옵션이 있다.
도 10a에 도시된 바와 같이, 움직이는 객체가 장면에 전혀 나타나지 않도록, T 이미지를 캡처하는 순서를 결정할 수 있다. 대안적으로, 움직이는 객체가 도 11a에 도시된 바와 같이, 장면에 한 번만 나타나도록, T 스캐닝 순서를 결정할 수 있다. 또 다른 대안으로, 도 12a에 도시된 바와 같이, 장면에서 움직이는 객체의 듀플리케이션(duplication)을 생성하도록, T 스캐닝 순서를 결정할 수 있다.
T 스캐닝 순서(즉, 스캐닝 순서 기준)는 대안적으로 카메라 또는 장면 속성에 기초할 수 있다. 일부 실시예에서, 스캐닝 순서 기준은 빠른 SI 캡처에 기초할 수 있다. 일부 실시예에서, 단계(414)에서의 SI 출력 또는 단계(444)에서의 SW 출력은 시각적 데이터를 포함하는 이미지가 아니라, 컴퓨터 촬영 또는 물리적 분석에 의해 생성된 분광 데이터, 스테레오 깊이 데이터 또는 기타 이미지 데이터를 포함하는 출력일 수 있다.
일부 실시예에서, 단일 SI를 형성하는 복수의 서브-SI는 R 이미지의 FOV에서 동시에, 즉 도 4에 설명된 바와 같은 단일 캡처 프로세스에서 캡처될 수 있다. 서브-SI는 단일 SI의 일부로 정의되며, 여기서 단일 SI는 서브-SI보다 장면의 더 큰 FOV를 커버한다. 서브-SI는 다른 모든 서브-SI와 관련하여 FOV 중첩이 없다. 단일 SI를 캡처하기 위한 스캐닝 순서 기준은 빠른 SI 캡처일 수 있다. 빠른 SI 캡처는 OPFE 작동에 의해 야기되는 단일 T 이미지 캡처 사이의 지연 시간을 최소화함으로써, 달성될 수 있다. 다른 실시예에서, 단일 SI를 캡처하기 위한 스캐닝 순서 기준은 단일 SI의 장면에서 가장 빠르게 움직이는 객체를 포함하는 특정 서브-SI의 빠른 캡처일 수 있다.
도 12c 내지 도 12d는 도 10a, 도 11a 및 도 12a에 도시된 동일한 장면을 도시한다. 도 12c는 흐름도에서 T 스캐닝 순서를 도시한다. 도 12d는 결과적인 SW를 도시한다.
SIM과 대조적으로, FOVR의 세그먼트에서 RES 또는 SNR을 증가시키기 위한 SWM에서는, 바로 이 FOVR 세그먼트를 포함하는 FOVT를 갖는 T 이미지를 반드시 캡처해야 하는 것은 아니다. 동일한 장면에 존재하는 유사한 특징을 포함하는 T 이미지를 캡처하는 것으로 충분할 수 있다. 예로서 그리고 도 12c를 참조하면, 벤치 2(도 12c에서 "2"로 표시됨)를 포함하는 FOVR의 세그먼트에서 RES 또는 SNR을 증가시키기 위해, 벤치 1(도 12c에서 "1"로 표시됨)을 포함하는 T 이미지를 사용하는 것으로 충분할 수 있는데, 이는 벤치 1이 벤치 2와 유사한 객체이기 때문이다. 유사하게는, 예를 들어 텔레 FOV 3에는 포함되지 않지만 텔레 FOV4에는 포함되는 위치에서 새로운 이미지의 해상도를 증대시키기 위해, 텔레 FOV 3에 보이는 목초지의 세그먼트를 포함하는 T 이미지를 사용할 수 있다.
또한, SWM의 경우, T 이미지는 반드시 서로 정렬되어야 하는 것이 아니라, 단지 R 이미지와 정렬되어야 한다. 따라서, 캡처된 T 이미지는 SIM에 대해 필요한 중첩 FOV를 반드시 포함할 필요는 없다.
다음과 같이 T 스캐닝 순서를 결정하기 위한 몇 가지 옵션이 있다.
도 12c는 (도시 풍경과 같은) 정지된 객체보다 (러너와 같은) 움직이는 객체를 캡처하는 것을 우선시하는 T 스캐닝 순서의 제1 예를 도시한다. 다른 예에서, 여기에 도시된 바와 같이 제1 텔레 FOV1이 캡처될 수 있지만, 러너의 다리를 여전히 포함할 수 있는 제2 텔레 FOV2는 상당히 더 늦은 시간에, 예를 들어 러너가 이미 다른 위치로 이동할 때 캡처될 수 있다. "상당히 더 늦은 시간"은 예를 들어, 100ms 후 또는 250ms 후 또는 500ms 후 또는 심지어 1s 후보다 더 늦은 시간일 수 있다. 이러한 예에서, T 이미지를 캡처하기 위해 객체 추적기로 객체를 추적할 수 있다.
다른 예에서, 복수의 FOVT로 원하는 FOVR의 커버리지가 가장 빠른 방식으로 수행되도록, T 스캐닝 순서가 결정된다.
또 다른 예에서, 그리고 멀티-줌 카메라인 텔레 카메라의 경우, 원하는 줌 팩터(ZF)를 갖는 FOVR의 원하는 커버리지가 가장 빠른 방식으로 수행되도록, T 스캐닝 순서가 결정된다. 사용자 또는 알고리즘이 원하는 ZF를 선택할 수 있다. ZF를 선택하기 위한 하나의 기준은 원하는 REST/RESR 및/또는 SNRT/SNRR의 비율일 수 있고, 다른 기준은 원하는 FOVT일 수 있다. 일부 실시예에서, R 이미지는 제1 ZF(ZF1)로 캡처된 텔레 이미지일 수 있고, 순서에 따라 연속적으로 캡처된 텔레 이미지는 제2 ZF(ZF2)를 가지며, 여기서 ZF1 < ZF2이고, 예를 들어 ZF1 ≤1.1xZF2, ZF1≤1.25xZF2, ZF1≤2xZF2이다.
또 다른 예에서 그리고 멀티-줌 카메라인 텔레 카메라의 경우, 동일한 ZF를 갖는 텔레 이미지가 연속적으로 캡처되도록, T 스캐닝 순서가 결정된다. 예를 들어, 먼저 특정 제1 ZF(ZF1)를 갖는 모든 텔레 이미지가 캡처된 다음, 이후에 특정 제2 ZF(ZF2)를 갖는 모든 텔레 이미지가 캡처된다.
도 13은 SI를 생성하기 위한 이미지 정렬 단계(410) 또는 SW를 생성하기 위한 단계(432-440)의 전형적인 셋업의 세부사항을 보여주는 흐름도이다. 이러한 단계들에 대한 입력은 새로 캡처된 T 이미지, 지금까지 캡처된 모든 T 이미지로부터 이전에 발견된 피쳐 및 R 이미지(하위 단계 1302-1304)이다. 피쳐 추출 하위 단계(1306) 뒤에는 피쳐 매칭 하위-단계(1308)가 바로 뒤따른다. 이러한 절차는 Rublee et al.의 "ORB: an efficient alternative to SIFT or SURF(SIFT 또는 SURF에 대한 효율적인 대안)"[2011, 컴퓨터 사이언스 국제 컨퍼런스] 또는 임의의 다른 피처 스킴(scheme)[이들에 제한되지 않음]에 설명된 것과 같을 수 있다. 다음은 호모그래피 추정 알고리즘이며, 이는 Li et al.의 "Computing homography with RANSAC algorithm: A new method of registration(RANSAC 알고리즘을 갖는 컴퓨팅 호모그래피: 새로운 등록 방법)"[2004년 1월, Proceedings of SPIE - International Society for Optical Engineering]에 설명된 것과 같을 수 있고, 또는 임의의 다른 호모그래피 추정 알고리즘일 수 있다. 일부 실시예에서, 호모그래피 추정이 사용될 수 없지만, 일부 다른 기하학적 변환, 예를 들어 아핀 변환 또는 비-아핀 변환이 사용될 수 있다. 하위 단계(1312)는 결과적인 T 이미지를 정렬하기 위해 하위 단계(1310)에서 발견된 호모그래피에 따라 이미지 워핑을 수행한다. 일부 실시예에서, T 이미지 사이에서 이미지 정렬이 먼저 수행되고, 정렬 후에 미세 조정을 위해 R 이미지를 사용한다. 다른 실시예에서, 이미지 정렬은 미세 조정을 위해 다른 T 이미지 매칭을 사용하면서 R 이미지에 정렬된 각각의 T 이미지로, 또는 다른 이미지 사이의 이미지 정렬의 다른 조합에 의해 수행될 수 있다. 일부 실시예에서, 단계(440)에 설명된 것과 같은 로컬라이제이션 단계가 수행될 수 있다.
도 14는 결점 검출 단계(412)가 오류를 발생시키는 몇 가지 경우들을 예시한다. 이러한 경우들에는 (a) 모션 블러, (b) 전자 노이즈, (c) 디포커스 블러, (d) 롤링 셔터 아티팩트, (e) 부정확한 이미지 정렬(어떠한 이유에서든 단계(410에서의 이미지 정렬 실패), 및 (f) 장면에서의 가로막음이 포함되지만, 이에 제한되지 않는다. 사용자가 제2 객체를 캡처하기를 원할 때, 제1 객체가 제2 객체의 FOV 부분을 덮으면 가로막음이 발생한다. R 이미지는 모션 블러 또는 부정확한 이미지 정렬 또는 장면에서의 가로막음을 검출하는 데 사용될 수 있으며, T 이미지 분석은 전자 노이즈를 검출하기 위해 수행될 수 있다. 결점 검출 단계(412)에서의 오류는 다른 이유로 인해 발생할 수도 있고, 이는 일반적으로 예를 들어, 단일 이미지의 맥락에서 "결점"이라고 지칭되지 않지만, 여전히 단계(414)에서 합성된 SI 또는 SW의 품질 저하를 예상하게 할 수 있다. 이러한 오류가 발생하는 이유는 T 이미지를 캡처하기 위해 사용된 카메라 사양과 관련이 있을 수 있다. 이러한 사양 중 일부는 예를 들어, 노출, 카메라 렌즈 모드 또는 이미지 센서 모드와 관련이 있을 수 있다.
일부 이유는 R 이미지 분석에서 식별되지 않은 장면 특징과 관련이 있을 수 있다. 예를 들어, FOVN에서의 밝은 진동 광원을 고려해 보자. R 이미지가 캡처될 때, 광원이 "오프"였을 수 있지만, 각각의 T 이미지가 캡처될 때 "온"되었을 수 있고, 이는 이전(prior) 또는 연속적인 T 이미지와 대조적으로 이러한 T 이미지에 대해 사용되는 T 카메라 파라미터에서의 상당한 차이를 야기한다. 이러한 시나리오에서, 광원 "오프"로 T 이미지를 다시 캡처하는 것이 바람직할 수 있다.
추가적인 결점 이유는 기계적 결점과 관련될 수 있다. 예를 들어, OPFE가 원하는 위치에 정확하게 도달하지 않았기에, 이미지 정렬에 문제가 발생할 수 있으며, 이미지를 다시 캡처해야 한다.
도 15a는 SI 합성을 위한 방법의 단계, 즉 이미지 합성 단계(414)의 전형적인 셋업의 세부사항을 보여주는 흐름도이다. 입력은 2개 이상의 정렬된 T 이미지, 및 모든 T 이미지와 R 이미지로부터 이전에 발견된 피쳐이다(하위 단계 1502-1504). 첫 번째 알고리즘 하위 단계는 컬러 보정 하위 단계(1506)이다. 하위 단계(1506)는 다른 T 이미지가 아닌 R 이미지에 기초한 컬러 보정을 사용하므로, 해당 기술 분야에 알려진 바와 같은 파노라마 이미지에 사용되는 다른 관련 컬러 보정 절차보다 우수하며, 이는 컬러 보정을 수행하기 위해 이미지 중첩의 정보만을 사용한다. 컬러 보정 하위 단계 자체는 예를 들어 Xiong et al.의 "Color Correction for Mobile Panorama Imaging(모바일 파노라마 이미징을 위한 컬러 보정)" [ICIMCS '09: Proceedings of the First International Conference on Internet Multimedia Computing and Service, 2009, pp219-226]에서와 같이 수행될 수 있다.
SI에 대한 컬러 보정 단계(1506)의 영향은 도 16a 및 16b에 도시되어 있다. 도 16a는 어떠한 컬러 보정 단계를 사용하지 않은 SI를 보여준다. 서로 다른 FOVT를 보여주는 이미지는 서로 상당한 컬러 차이를 보인다. T 컬러 차이는 부자연스럽다. 즉, 장면의 차이에서 비롯된 것이 아니다. 도 16b는 컬러 보정 단계를 포함하는 SI를 도시한다. 컬러 보정은 심리스 출력 이미지를 보장한다. 심 추정 하위 단계(1508)는 중첩 영역에서 2개의 인접한 T 이미지를 결합하고자 하는 최적의 심을 찾는다. 이 단계는 Liao et al.의 "Coarse-to-fine Seam Estimation for Image Stitching(이미지 스티칭을 위한 거침-미세 심 추정"과 같은 심을 사용할 수 있지만, 이에 제한되지 않는다. 이미지 블렌딩 단계(1510)는 예를 들어, Burt et al.의 "A multiresolution spline with application to image mosaics(이미지 모자이크에 적용되는 다중 해상도 스플라인)" [ACM Transactions on Graphics, Vol. 2. No. 4, 1983년 10월, pages 217-236]에 따라 해당 기술 분야에서 알려진 대로 수행된다.
도 15b는 SWM의 단계, 즉 단계(442 및 444)의 일반적인 셋업의 세부사항을 보여주는 흐름도이다. 단계(1522)에서, R 이미지, 및 R 이미지와 각각 정렬된 하나 이상의 T 이미지가 초해상도 알고리즘(1526)에 공급된다. 새로운 이미지가 단계(1528)에서 출력된다.
도 17은 1700으로 번호가 매겨지고 적어도 하나의 스캐닝 텔레 카메라를 갖는 멀티-카메라를 포함하는 모바일 장치의 실시예를 개략적으로 도시한다. 모바일 장치(1700)는 FOV 스캐닝을 위한 OPFE(1712)를 포함하는 제1 스캐닝 T 카메라 모듈(1710), 및 제1 이미지 센서(1716)에 의해 기록된 제1 이미지를 형성하는 제1 렌즈 모듈(1714)을 포함한다. 다른 실시예에서, 카메라 모듈(1710)은 FOV 스캐닝을 위해 2개의 OPFE를 포함할 수 있다. 제1 렌즈 액추에이터(1718)는 포커싱 및/또는 광학 이미지 안정화(OIS)를 위해 렌즈 모듈(1714)을 이동할 수 있다. OPFE 액추에이터(1720)는 (무엇보다도) 스캐닝을 위해 OPFE를 이동할 수 있다. 일부 실시예에서, 카메라 모듈(1710)은 상이한 줌 팩터(ZF)를 갖는 텔레 렌즈 상태 사이에서 전환할 수 있는 스캐닝 텔레 멀티-줌 카메라일 수 있다. ZF를 변경하면, FOVT가 변경된다. 예를 들어, 공동 소유의 국제 특허 출원 PCT/IB2020/051405에는 2개의 별개의(discrete) ZF를 갖는 텔레 멀티-줌 카메라가 설명되어 있다.
모바일 장치(1700)는 카메라 모듈(1710)의 FOV보다 큰 FOV를 갖는 R(예를 들어, W 또는 UW) 카메라 모듈(1730)을 더 포함할 수 있다. 카메라 모듈(1730)은 제2 이미지 센서(1734)에 의해 기록된 이미지를 형성하는 제2 렌즈 모듈(1732)을 포함한다. 제2 렌즈 액추에이터(1736)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(1732)을 이동할 수 있다.
일부 실시예에서, 제1 캘리브레이션 데이터는 예를 들어, EEPROM(전기적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리)와 같은 카메라 모듈의 제1 메모리(1722)에 저장될 수 있다. 다른 실시예에서, 제1 캘리브레이션은 모바일 장치(1700)의 NVM(비휘발성 메모리)과 같은 제3 메모리(1750)에 저장될 수 있다. 제1 캘리브레이션 데이터는 R 카메라 모듈(1730)의 센서와 T 카메라 모듈(1710)의 센서 사이의 캘리브레이션을 위한 캘리브레이션 데이터를 포함할 수 있다. 일부 실시예에서, 제2 캘리브레이션 데이터는 제2 메모리(1738)에 저장될 수 있다. 일부 실시예에서, 제2 캘리브레이션 데이터는 제3 메모리(1750)에 저장될 수 있다. 제2 캘리브레이션 데이터는 R 카메라 모듈(1730)의 센서와 T 카메라 모듈(1710)의 센서 사이의 캘리브레이션 데이터를 포함할 수 있다.
모바일 장치(1700)는 애플리케이션 프로세서(AP)(1740)를 더 포함할 수 있다. 사용시, AP(1740)는 카메라 모듈(1710, 1730)로부터 각각의 제1 및 제2 (레퍼런스) 이미지 데이터를 수신하고, 카메라 제어 신호를 카메라 모듈(1710, 1730)에 공급할 수 있다. 일부 실시예에서, AP(1740)는 카메라 모듈(1710)로부터 제1 이미지 데이터를 수신하고 제3 메모리(1750)로부터 R 이미지 데이터를 수신할 수 있다. 다른 실시예에서, AP(1740)는 카메라 모듈(1710)에 위치한 제1 메모리 및 카메라 모듈(1730)에 위치한 제2 메모리에 저장된 캘리브레이션 데이터를 수신할 수 있다. 또 다른 실시예에서, AP(1740)는 제3 메모리(1750)에 저장된 R 이미지 데이터를 수신할 수 있다. 또 다른 실시예에서, AP(1740)는 외부 데이터베이스로부터 R 이미지를 검색할 수 있다. AP(1740)는 R 이미지 분석(예를 들어, 장면 이해 및 텔레 스캐닝 순서 정의를 위함) 및 T 이미지 분석(예를 들어, 결점 검출을 위함)을 위한 이미지 분석기(1742), OPFE 제어 신호를 계산하는 FOV 스캐너(1744)(예를 들어, 텔레 스캐닝 순서 구현을 위함), 및 단계(402-414) 및 단계 1502-1510(SIM을 위함) 및 단계(422-444) 및 단계(1522-1528)(SWM을 위함)에 설명된 대로 새로운 이미지를 합성하기 이미지 생성기(1746)를 포함한다.
본 개시내용은 특정 실시예 및 일반적으로 관련된 방법의 측면에서 설명되었지만, 실시예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시내용은 본 명세서에 기재된 특정 실시예에 의해 제한되지 않는 것으로 이해되어야 한다.
본 출원에 언급된 모든 참고 문헌은 그 전체가 참고로 여기에 포함된다. 본 출원서에서 임의의 참조문헌으로의 인용 또는 식별은 그러한 참조문헌이 선행 기술로서 이용가능하거나 인정된다는 인정으로 해석되어서는 안된다는 점을 강조한다.

Claims (25)

  1. 복수의 텔레 이미지들을 스캔 및 캡처하도록 구성된 폴디드 텔레 카메라를 제공하는 단계, 여기서 각각의 캡처된 이미지는 텔레 이미지 해상도(REST), 텔레 이미지 신호 대 잡음비(SNRT) 및 텔레 시야(FOVT)를 갖고;
    R 이미지 해상도(RESR < REST)를 가지며 R 시야(FOVR > FOVT)를 갖는 레퍼런스(R) 이미지, 및/또는 신호 대 잡음비(SNRR < SNRT)를 갖는 R 이미지를 획득하고 분석하는 단계;
    움직이는 객체가 먼저 캡처된 후 정지된 객체가 캡처되도록, 상기 텔레 이미지들의 연속적인 캡처를 위해 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계;
    각각의 스캐닝 FOVT 위치에서 텔레 이미지를 캡처하는 단계;
    각각의 정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 상기 R 이미지의 세그먼트들과 정렬하는 단계; 및
    시야(FOVN ≤ FOVR)를 갖는 새로운 이미지를 생성하기 위해 상기 각각의 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계, 여기서 상기 새로운 이미지의 이미지 해상도(RESN)는 RESN > RESR를 충족하고, 및/또는 상기 새로운 이미지의 신호 대 잡음비(SNRN)는 SNRN > SNRR를 충족하고;
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 R 이미지는 FOVW > FOVT를 갖는 와이드 이미지이고, 상기 와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 와이드 카메라에 의해 캡처되는 방법.
  3. 제1항에 있어서, 상기 폴디드 텔레 카메라는 FOVR 내의 2개 이상의 각각의 FOVT 위치에서 2개 이상의 텔레 이미지들을 캡처하고, 상기 방법은 슈퍼 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들을 합성하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서, 상기 정렬된 텔레 이미지들 및 상기 R 이미지는 시야(FOVSW)를 갖는 슈퍼 와이드 이미지를 생성하기 위한 알고리즘에 공급되고, 여기서 상기 캡처된 텔레 이미지들의 적어도 하나의 FOVT에 포함된 FOVR 내의 FOV 세그먼트는 시야(union-FOVT)를 갖고, union-FOVT < FOVSW ≤ FOVR인 방법.
  5. 제1항에 있어서, 상기 텔레 카메라는 7 내지 40mm의 유효 초점 거리를 갖는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방법은 모바일 장치에 의해 수행되는 방법.
  7. 제6항에 있어서, 상기 모바일 장치는 스마트폰인 방법.
  8. 복수의 텔레 이미지들을 스캔 및 캡처하도록 구성된 폴디드 텔레 카메라를 제공하는 단계, 여기서 각각의 캡처된 이미지는 텔레 이미지 해상도(REST), 텔레 이미지 신호 대 잡음비(SNRT) 및 텔레 시야(FOVT)를 갖고;
    R 이미지 해상도(RESR < REST)를 가지며 R 시야(FOVR > FOVT)를 갖는 레퍼런스(R) 이미지, 및/또는 신호 대 잡음비(SNRR < SNRT)를 갖는 R 이미지를 획득하고 분석하는 단계;
    움직이는 객체가 FOVR에 포함된 장면으로부터 제거되도록, 상기 텔레 이미지들의 연속적인 캡처를 위해 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계;
    각각의 스캐닝 FOVT 위치에서 텔레 이미지를 캡처하는 단계;
    정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 상기 R 이미지의 세그먼트들과 정렬하는 단계; 및
    시야(FOVSI ≤ FOVR)를 갖는 슈퍼 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계, 여기서 상기 슈퍼 이미지의 이미지 해상도(RESSI)는 RESSI > RESR를 충족하고, 및/또는 상기 슈퍼 이미지의 신호 대 잡음비(SNRSI)는 SNRSI > SNRR를 충족하고;
    를 포함하는 방법.
  9. 제8항에 있어서, 상기 R 이미지는 FOVW > FOVT를 갖는 와이드 이미지이고, 상기 와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 와이드 카메라에 의해 캡처되는 방법.
  10. 제8항에 있어서, 상기 텔레 카메라는 7 내지 40mm의 유효 초점 거리를 갖는 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 방법은 모바일 장치에 의해 수행되는 방법.
  12. 제11항에 있어서, 상기 모바일 장치는 스마트폰인 방법.
  13. 복수의 텔레 이미지들을 스캔 및 캡처하도록 구성된 폴디드 텔레 카메라를 제공하는 단계, 여기서 각각의 캡처된 이미지는 텔레 이미지 해상도(REST), 텔레 이미지 신호 대 잡음비(SNRT) 및 텔레 시야(FOVT)를 갖고;
    R 이미지 해상도(RESR < REST)를 가지며 R 시야(FOVR > FOVT)를 갖는 레퍼런스(R) 이미지, 및/또는 신호 대 잡음비(SNRR < SNRT)를 갖는 R 이미지를 획득하고 분석하는 단계;
    상기 텔레 이미지들의 연속적인 캡처를 위해 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계;
    각각의 스캐닝 FOVT 위치에서 텔레 이미지를 캡처하는 단계; 및
    정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 상기 R 이미지의 세그먼트들과 정렬하는 단계를 포함하고,
    여기서, 상기 정렬된 텔레 이미지들 및 상기 R 이미지는 시야(FOVSW ≤ FOVR), 이미지 해상도(RESSW > RESR) 및/또는 신호 대 잡음비(SNRSW > SNRR)를 갖는 슈퍼 와이드 이미지를 생성하기 위한 알고리즘에 공급되고, 여기서 상기 캡처된 텔레 이미지들의 적어도 하나의 FOVT에 포함된 FOVR 내의 FOV 세그먼트는 시야(union-FOVT)를 갖고, union-FOVT < FOVSW이고;
    여기서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVSW에 포함되지만 특정 FOVT에는 포함되지 않은 유사한 객체의 이미지 해상도 또는 신호 대 잡음비를 개선하기 위해, 특정 FOVT를 사용하여 텔레 이미지에서 객체를 캡처하는 단계를 포함하는 방법.
  14. 제13항에 있어서, 상기 R 이미지는 FOVW > FOVT를 갖는 와이드 이미지이고, 상기 와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 와이드 카메라에 의해 캡처되는 방법.
  15. 제13항에 있어서, 상기 텔레 카메라는 7 내지 40mm의 유효 초점 거리를 갖는 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 방법은 모바일 장치에 의해 수행되는 방법.
  17. 제13항에 있어서, 상기 모바일 장치는 스마트폰인 방법.
  18. 복수의 텔레 이미지들을 스캔 및 캡처하도록 구성된 폴디드 텔레 카메라를 제공하는 단계, 여기서 각각의 캡처된 이미지는 텔레 이미지 해상도(REST), 텔레 이미지 신호 대 잡음비(SNRT) 및 텔레 시야(FOVT)를 갖고;
    R 이미지 해상도(RESR < REST)를 가지며 R 시야(FOVR > FOVT)를 갖는 레퍼런스(R) 이미지, 및/또는 신호 대 잡음비(SNRR < SNRT)를 갖는 R 이미지를 획득하고 분석하는 단계;
    상기 텔레 이미지들의 연속적인 캡처를 위해 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계;
    각각의 스캐닝 FOVT 위치에서 텔레 이미지를 캡처하는 단계;
    정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 상기 R 이미지의 세그먼트들과 정렬하는 단계; 및
    시야(FOVN ≤ FOVR)를 갖는 새로운 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계, 여기서 상기 새로운 이미지의 이미지 해상도(RESN)는 RESN > RESR를 충족하고, 및/또는 상기 새로운 이미지의 신호 대 잡음비(SNRN)는 SNRN > SNRR를 충족하고;
    여기서, 상기 폴디드 텔레 카메라는 상이한 각각의 줌 팩터(ZF)를 갖는 텔레 이미지들을 캡처하기 위해 서로 다른 줌 상태를 갖는 멀티-줌 텔레 카메라이고;
    여기서, 상기 R 이미지는 제1 줌 팩터(ZF1)를 갖는 텔레 이미지이고, 상기 순서에 따라 연속적으로 캡처된 상기 텔레 이미지들은 제2 줌 팩터(ZF2)을 가지며, 여기서 ZF1 ≤ 1.25 × ZF2인 방법.
  19. 제18항에 있어서, 상기 폴디드 텔레 카메라는 FOVR 내의 2개 이상의 각각의 FOVT 위치에서 2개 이상의 텔레 이미지들을 캡처하고, 상기 방법은 슈퍼 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들을 합성하는 단계를 더 포함하는 방법.
  20. 제18항에 있어서, 상기 정렬된 텔레 이미지들 및 상기 R 이미지는 시야(FOVSW)를 갖는 슈퍼 와이드 이미지를 생성하기 위한 알고리즘에 공급되고, 여기서 상기 캡처된 텔레 이미지들의 적어도 하나의 FOVT에 포함된 FOVR 내의 FOV 세그먼트는 시야(union-FOVT)를 갖고, union-FOVT < FOVSW ≤ FOVR인 방법.
  21. 제18항에 있어서, 상기 텔레 카메라는 7 내지 40mm의 유효 초점 거리를 갖는 방법.
  22. 제18항에 있어서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 합성된 새로운 이미지가 스캐닝의 기계적 제한에 따라 최대 FOV를 커버하도록 수행되는 방법.
  23. 제18항에 있어서, 2개 이상의 FOVT 위치의 순서를 결정하는 단계는 최소 수의 T 이미지를 캡처하는 것이 요구되도록 수행되는 방법.
  24. 제18항 내지 제23항 중 어느 한 항에 있어서, 상기 방법은 모바일 장치에 의해 수행되는 방법.
  25. 제24항에 있어서, 상기 모바일 장치는 스마트폰인 방법.


KR1020247018892A 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 KR20240096759A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US63/026,097 2020-05-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020237003409A Division KR102674601B1 (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭

Publications (1)

Publication Number Publication Date
KR20240096759A true KR20240096759A (ko) 2024-06-26

Family

ID=

Similar Documents

Publication Publication Date Title
KR102674601B1 (ko) 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
US11770616B2 (en) Dual aperture zoom camera with video support and switching / non-switching dynamic control
US11575830B2 (en) Image processing device and associated methodology for generating panoramic images
US9210408B2 (en) Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US8619120B2 (en) Imaging apparatus, imaging method and recording medium with program recorded therein
US20070147812A1 (en) Digital panoramic camera
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113221665A (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN110276714B (zh) 快速扫描式全景图图像合成方法及装置
US11962901B2 (en) Systems and methods for obtaining a super macro image
KR20240096759A (ko) 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
JP2011041041A (ja) 撮像装置、撮像方法及びプログラム
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
US20210044733A1 (en) Image pickup apparatus and storage medium
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN113327198A (zh) 一种远距离双目视频拼接方法及系统
JPH0560714B2 (ko)
Ibrahim 1-CAPTURING AREA