KR101458645B1 - 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라 - Google Patents

파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라 Download PDF

Info

Publication number
KR101458645B1
KR101458645B1 KR1020080064009A KR20080064009A KR101458645B1 KR 101458645 B1 KR101458645 B1 KR 101458645B1 KR 1020080064009 A KR1020080064009 A KR 1020080064009A KR 20080064009 A KR20080064009 A KR 20080064009A KR 101458645 B1 KR101458645 B1 KR 101458645B1
Authority
KR
South Korea
Prior art keywords
frame
camera
image
optionally
user
Prior art date
Application number
KR1020080064009A
Other languages
English (en)
Other versions
KR20090009108A (ko
Inventor
나탄 린더
엘리 벤 아미
아다르 쉬타인하트
이스라엘 디스타닉
에훗 라브스키
노암 소렉
오나 브레그먼 아미타이
리라츠 아르모니 쉬모니
톰 쉔하브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP08160270.8A priority Critical patent/EP2018049B1/en
Publication of KR20090009108A publication Critical patent/KR20090009108A/ko
Application granted granted Critical
Publication of KR101458645B1 publication Critical patent/KR101458645B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라에서 복수개의 프레임들로부터 파노라믹 이미지를 조합하는 방법에 관한 것이며, 상기 방법은 (a)카메라를 사용하여 비디오 스트림을 획득하는 과정과;(b) 스틸 이미지로서 캡쳐를 위해 비디오 스트림으로부터 초기 프레임을 선택하는 과정과;(c) 추가적인 프레임들을 선택하는 과정과;(d) 카메라에서 추가적인 프레임들을 초기 프레임에 스티칭(stitching)하여 파노라믹 이미지를 생성하는 과정을 포함한다.
카메라, 파노라마 이미지

Description

파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의 버추얼 3Ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라{METHOD OF ASSEMBLING A PANORAMIC IMAGE, METHOD OF PROVIDING A VIRTUAL 3D PROJECTION OF A PANORAMIC IMAGE AND CAMERA THEREFOR}
본 발명은 예컨대, 이동 전화기 핸드셋에 구비된 카메라를 사용한 파노라믹 이미지 생성에 관한 것이다.
파노라믹 사진 촬영 기능을 가지는 디지털 카메라가 보편적으로 이용 가능하게 되었다. 또한 디지털 카메라가 빌트인된 이동 전화기도 보편적으로 이용 가능하다. 전형적으로, 파노라믹 이미지들을 편집 및/또는 조작하는 방안은 분리된 컴퓨팅 장치에서 수행되며, 카메라 또는 전화 핸드셋에 접목되지 않았다.
일반적으로, 파노라믹 사진은 특별히 광시계(wide fields of view)를 가지는 사진 이미지들의 생성에 관련된다. 파노라믹 이미지들은 전형적으로 75°에서 약 160°의 인간의 눈 그 이상과 비교 가능한 시계를 캡쳐한다. 전체 그림에 걸친 세부의 유지는 인지된 이미지 질에 기인한다. 그 이미지를 나타내는 파노라마는 탁트인 또는 완벽한 시야 영역을 제공한다. 이 많은 경우들에 있어, 파노라믹 이미지들 은 와이드 스트립(wide strip)으로써 표현된다.
파노라믹 이미지의 생성은 종종 오버랩핑 사진 프레임들의 캡쳐링 및 매칭 또는 그들의 오버랩핑 가장자리에서 프레임들을 서로 “스티칭”함을 포함한다.
다음과 같은 특허 및 출원은 일반적으로 “독립형(stand alone)” 카메라들에서 현재의 파노라마의 기술을 나타낸다. 이러한 리스트는 모든 것을 망라한 것을 의미하지는 않는다.
미국 출원(US 5,138,460, Egawa)은 합성 이미지들을 형성하기 위해 장치를 개시한다. Egawa의 장치는 대상의 일부분과 같은 촬영된 이미지를 표시하는 표시 장치, 상기 대상의 미리 촬영된 부분과 같은 미리 촬영되어진 이미지에 관한 데이터를 저장하는 메모리 장치 및 촬영된 이미지와 미리 촬영되어 메모리 장치에 데이터로서 저장된 이미지 둘 다 동시에 상기 표시 장치가 연속적으로 표시하도록 하는 제어 장치를 포함한다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
미국출원(US 5,907,626, Toklu)은 모자이크로부터의 합성 물체 변형 방법 뿐만 아니라 비디오 대상들의 모자이크를 모션 트랙킹하고 구성하는 방법을 개시한다. Toklu에 따르면, 2-D 삼각 그물망은 비디오 대상을 나타내는데 사용되며, 이는 그 그물망의 노드점들의 이동에 의해 대상의 모션을 묘사하도록 하며, 각각의 노드점마다 측정된 명암 및 밝기 파라미터들에 의해 어떤 명암 변화를 묘사하도록 한다. 노드점 위치들의 임시적인 히스토리를 사용하여, 2-D 스물망의 노드들은 심지어 자체적인 맞물림 또는 다른 대상에 의한 맞물림 때문에 그것들이 보이지 않게 되었을 때에도 트랙킹된다. 새로운 노드들을 추가하거나 2-D 삼각 그물망을 업데이트함으로써, 비디오 대상의 커버되지 않던 부분들도 점진적으로 모자이크에 추가되어진다. 구성된 모자이크를 나타내는 시야의 유한 개수는 원래 대상 대신에 대체 대상의 합성 변형을 위해 선택되어 사용되어진다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
미국출원(US 5,999,662 및 US 6,393,163 Burt et al.) 각각은 자동으로 복수개의 입력 이미지들로부터 모자이크를 생성하는 시스템을 개시한다. 상기 시스템은 이미지 정렬 처리. 편집 처리, 및 결합 처리를 수행하고, 일련의 이미지로부터 상기 시스템은 다양한 응용에 대하여 심없는 모자이크를 자동적으로 만들어낸다. 상기 모자이크로된 디스플레이 시스템은 시스템 사용자가 모자이크를 디스플레이하고, 조작하고 변경하게 한다. 상기 모자이크로된 압축 시스템은 이미지 시퀀스의 시간적인 및 공간적인 나머지 부분을 이용하고 상기 이미지 정보를 효율적으로 압축한다. 상기 압축 시스템은 저장장치의 저장에 대한 이미지 정보를 압축하기 위하여 사용될 수 있고 또는 대역 제한 없는 전송 채널을 통하여 전송하기 위하여 이미지 정보를 압축하기 위하여 사용될 수 있다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
미국출원(US 20040189849, Hofer)은 합성 파노라마 화상을 작성하는데도 사용되는 화상을 합성하고 캡쳐링하는데 있어서 사용자에게 가이드할 수 있는 파노라마의 시퀀스 가이드를 개시하고 있다. 사용에 있어서, 가이드는 표시 씬을 추적하고, 표시 씬에 대한 합성 가이드의 적정한 위치를 결정하고, 표시 씬에 관련하여 합성 가이드의 적절한 위치를 결정하고, 표시 씬의 어느 부분을 캡쳐하는 것이 좋을 지의 지시를 제공하는 실사 화면 상에 합성 가이드를 표시한다. 표시된 합성 가이드는 실사 화면 안의 표시 씬과 함께 이동하도록 표시 씬에 고정되어진다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
한국출원(KR 0286306, Choi)은 LCD 모니터를 사용하여 파노라마의 그림을 구성하기 위해 손쉽게 그림들을 연결하는 디지털 스틸 카메라를 사용한 파노라마 사진 촬영 방법을 개시한다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
미국출원(US 2004/0228544, Takaaki)은 소스 화상을 연결할 때에 발생하는 색조 또는 밝기의 불연속성을 경감시킨 파노라마 화상을 생성하기 위한 이미지 처리 방법 및 장치를 개시한다. 오버랩 부분을 가지는 소스 화상들을 합성할 때, 각각의 소스 화상의 색조 또는 밝기를 합성하는 소스 화상의 양쪽과 오버랩 부분을 가지는 참조 화상을 사용하여 변환하고, 변환된 화상을 합성함으로써 화상들을 연결할 때 발생하는 색조 또는 밝기의 불연속성을 경감시킨다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
미국출원(US 2006/0062487, 2006/0018547, 2005/0200706, 2005/0008254 및 2004/0130626, Ouchi et al.)은 그래픽 데이터들의 멀티플 세트로부터 합성된 하나의 이음새없는 평면 이미지를 나타내는 그래픽 데이터를 생성하기 위한 이미지 처리 장치를 개시하며, 상기 그래픽 데이터들의 멀티플 세트는 그래픽 데이터들의 멀티플 셋트의 합성을 위해 회전 타원체의 또는 원통의 투영면을 이루는 복수개의 그 래픽 파일에 포함된다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
다음과 같은 특허 및 출원은 일반적으로 이동 전화기에 “빌트인(built in)”된 카메라들에서의 현재의 파노라마의 기술을 나타낸다. 이러한 리스트는 모든 것을 망라한 것을 의미하지는 않는다.
국제출원(WO/2005/041564, KONINKLIJKE PHILIPS ELECTRONICS N.V.)은 파노라마 또는 모자이크 기능을 가지는 디지털 카메라를 개시한다. 이 발명은 디지털 카메라를 가지는 전자 장치에 관한 것으로, 디지털 카메라를 사용하여 합성 그림 생성이 가능하도록 하는 방법에 관한 것이다. 몇몇의 실시예에서, 전자 장치는 이동 전화기이다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
미국출원(US 20060181619, Liow)은 카메라를 사용하여 파노라마의 이미지를 구성하는 방법을 개시한다. Liow에 따르면, 블렌딩 영역은 카메라의 표시부 상에서 제1이미지에서 형성되어진다. 카메라는 제2사진 찍기를 준비하기 전에 움직이게 된다. 오직 블렌딩 영역에서만, 픽셀 매칭 처리는 블렌딩 영역에서 제1이미지의 일부분 및 블렌딩 영역에서 제2사진의 제2이미지의 부분의 정렬을 판단하도록 설정된다. 몇몇의 실시예에서, 상기 방법은 이동 전화기에서 카메라를 사용하여 실시된다. 이 특허의 개시는 여기에 전반적으로 참조로서 첨부되어 진다.
통상적으로 이동 전화기에서 유용한 파노라마 픽쳐 기술들이 이용 가능한 실정이다. 이러한 기술들은 다음을 포함하지만 이에 한정되지는 않는다:
Scalado Autorama™ (Scalado AB; Sweden);
Vivid Panorama (Acrodea; Tokyo; Japan); 및
PanoMan™ (Bit Side Technologies; Berlin; Germany).
한국출원(KR 20060006186, LG)은 미리 촬영한 파노라마 그림의 일부분을 투명하게 보여주는 동안 파노라마 그림 촬영을 개시한다.
본 발명은 파노라믹 이미지의 프레임들의 획득을 위한 사용자 인터페이스에 관한 것이다. 본 발명의 실시예에서는, 그 프레임들은 연속적인 순서로 획득된다.
본 발명의 일실시예에서, 테두리는 뷰파인더에서 제1획득된 이미지를 둘러싼다. 취사 선택적으로, 사용자는 이동 방향을 지시하는 그 테두리의 가장자리 또는 코너를 선택하여 다음 이미지를 얻게 된다. 취사 선택적으로, 사용자는 카메라 모션을 시작함으로써 움직임 방향을 선택한다. 본 발명의 일실시예에서, 선택된 가장자리 또는 코너의 적어도 한 부분은 예컨대, 컬러를 깜빡이거나 변경함으로써 비쥬얼 및/또는 다이나믹한 피드백을 제공하며, 사용자가 선택된 방향으로 카메라를 움직이는 경우 및/또는 다음 프레임 지시자가 숨겨져 있을 때 제공한다. 취사 선택적으로, 움직임 방향은 카메라 및/또는 사용자 및 관련된 가장자리(또는 그 부분)가 지시됨으로써 결정된다. 본 발명의 일실시예에서, 사용자는 카메라를 움직임으로써 움직임 방향을 지시하며 관련된 가장자리(또는 그 부분)는 뷰파인더에서 지시되어진다.
본 발명의 일실시예에서, 가능한 다음 프레임이 뷰파인더안에 있을 때, 피드백 신호가 제공된다. 취사 선택적으로, 상기 피드백 신호는 사용자가 카메라를 움직이는 것을 멈춘 것을 지시하며, 또는 카메라에 의해 다음 프레임이 자동적으로 획득되었음을 지시한다. 취사 선택적으로, 상기 피드백 신호는 테두리의 컬러에서의 변화 및/또는 오디오 신호(예컨대, 벨 또는 음성 길잡이)를 포함한다.
본 발명의 다른 실시예에서, 지속적인 조준 타겟은 제1프레임의 시계 내에서 제공되어지며, “다음 프레임” 지시자는 제1프레임이 획득될 때의 시계에서의 다른 위치(예컨대, 가장자리)에서 정의된다. 본 발명의 이러한 일실시예에 따르면, 사용자는 다음 프레임 지시자가 조준 타겟을 향하여 진행하도록 카메라를 움직임으로써 다음 프레임을 선택한다. 이번 단계에서 다음 프레임이 획득되어진다. 본 발명의 일실시예에서, 다음 프레임의 획득은 조준 타겟에서 다음 프레임 지시자의 배치에 응답하여 자동으로 시작된다. 취사 선택적으로, 조준 타겟은 뷰파인더 화면보다 상당히 작다. 본 발명의 일실시예에서, 조준 타겟은 1/16의 가장자리를 포함하며, 취사 선택적으로 1/8, 취사 선택적으로 뷰파인더(또는 중간의 상대적인 길이들)의 해당 가장자리의 길이의 1/4의 가장자리를 포함한다. 본 발명의 일실시예에서, 조준 타겟의 크기의 있어서의 감소는 조준의 용이함에 기여한다.
본 발명의 다양한 실시예에 따르면, 조준 타겟은 뷰파인더의 중앙 또는 다른 위치에서 제공되어진다.
본 발명의 일실시예에서, 부조화의 정도는 사용자에게 조준 과정에 걸쳐 뷰파인더에서 보여질 수 있다. 취사 선택적으로, 사용자 인터페이스는 공간의 정렬에 추가적으로 줌 및/또는 거리의 정도를 추정한다.
본 발명의 일실시예에서, 사용자는 조준 타겟에 다음 프레임 지시자를 맞추는 것에 관한 게임을 한다. 취사 선택적으로 다음 프레임 지시자는 볼로써 또는 볼의 일부분으로써 정의된다. 취사 선택적으로 사용자는 조준 타겟에 볼을 맞추는 것에 관한 게임을 한다.
본 발명의 일실시예에서, 상술한 사용자 인터페이스는 통상적인 “긴 조각의 (strip) 파노라마들”과 달리 다차원의 파노라믹 이미지들(예컨대, 3×3 또는 4×4 프레임들)의 향상된 품질에 기여한다. 취사 선택적으로, 멀티방향의 파노라믹 이미지들의 향상된 품질은 다차원 평면들에서 프레임들의 향상된 정렬을 초래한다.
본 발명의 다양한 실시예에 따르면, 파노라믹 이미지에서 연속적인 프레임들은 수평적으로(한쪽 끝과 다른 한쪽 끝을 잇는), 수직적으로(위에서 아래로) 또는 사선으로(코너에서 코너로) 정렬될 수 있다.
본 발명의 일부 실시예들의 양상은 카메라 모션(CaMo)을 사용하는 것과 관련 있으며, 이동 전화기 플랫폼 내에서 파노라믹 이미지의 구성을 위한 이미지 프레임의 자동적인 선택을 한다. 취사 선택적으로, 파노라믹 이미지는 큰 3D 표면이다. 취사 선택적으로, 카메라 모션의 감지는 정확한 다음 프레임으로의 자동적인 안내에 기여한다. 본 발명의 일실시예에서, 카메라 모션 엔진은 하나 이상의 방향, 패닝(panning) 스피드, 회전각 및 줌에 관해 사용자에게 감지된 카메라 모션을 기반으로 한 피드백을 제공한다. 본 발명의 일실시예에서, 카메라 모션 엔진은 정확한 스피드로 다음 프레임의 자동적인 획득에 기여한다.
본 발명의 일실시예에서, 이동 전화기 카메라는 모션 방향 및/또는 크기(extent)를 검출하는 모션 센서가 장착된다. 취사 선택적으로, 이동 전화기 카메라는 모션 속도 및/또는 모션 방향 및/또는 이미지 적합성에 관한 피드백을 사용자에게 제공한다. 취사 선택적으로, 파노라믹 프레임에서 움직이는 물체들의 존재 및/또는 가장자리 상에서 얼굴들의 존재는 부적합성의 정도에 기여한다.
본 발명의 일실시예에서, 이동 전화기 카메라는 사용자가 카메라를 움직일 때 적당한 “다음 프레임”을 감지한다. 본 발명의 일실시예에서, 상기 “다음 프레임”은 용인할 수 있게 작은, 부가적이지 않은, 카메라 모션이 검출될 때 획득된다. 취사 선택적으로, 다음 프레임은 사용자가 셔터 버튼을 누르지 않고도 획득된다. 취사 선택적으로, 카메라는 사용자가 다음 프레임을 획득하도록 셔터를 누르도록 지시한다. 취사 선택적으로, 사용자는 카메라로부터의 지시없이 셔터 버튼을 누름으로써 다음 프레임을 획득한다.
본 발명의 일부 실시예들의 양상은 비디오 및 스틸 이미지를 결합하여 이동 전화기 플랫폼 내에서 파노라믹 이미지를 생성하는 것에 관한 것이다. 본 발명의 일실시예에서, 스틸 이미지로서 비디오 스트림으로부터 선택된 하나의 프레임은 파노라믹 이미지의 구성을 위한 초기 프레임으로서의 역할을 한다. 취사 선택적으로, 비디오 스트림으로부터 선택된 추가적인 프레임들은 파노라믹 이미지를 형성하도록 초기 프레임에 스티치된다. 취사 선택적으로, 하나 이상의 스틸 이미지들이 캡쳐되어 파노라믹 이미지를 형성하도록 초기 프레임에 스티치된다. 일반적으로, 스틸 사진들의 해상도는 비디오에서 달성된 그것보다 더 높은 경향이 있다.
본 발명의 일부 실시예들의 양상은 파노라믹 이미지를 위한 프레임들의 획득을 중단하고 이후에 획득을 재개하는 것에 관한 것이다. 취사 선택적으로, 중단은 파노라마에 관련된 것이 아닌 대상을 사진 촬영할 때 발생한다. 취사 선택적으로, 중단은 간섭 물체가 파노라믹 시계에 걸쳐서 지나가기 때문에 발생한다. 본 발명의 일실시예에서, 오버레이 정렬을 특징으로 하는 사용자 인터페이스는 파노라믹 획득 을 재개하는 능력에 기여한다. 본 발명의 일실시예에서, 파노라믹 이미지는 각각의 프레임들을 위한 카메라 모션 데이터를 기반으로 순서가 엉망으로 획득된 프레임들을 함께 스티칭함으로써 조합될 수 있다.
본 발명의 일부 실시예에 따르면, 만일 카메라 모션 엔진 및/또는 사용자가 연속적인 프레임들 사이에 정렬이 가깝다고 느낄 때, 새로운 프레임이 캡쳐된다. 취사 선택적으로, 이러한 “기-정렬(pre-alignment)”단계는 파노라믹 이미지를 형성하는데 전산화된 스티칭(stitching)에 있어 향상된 용이함에 기여한다.
본 발명의 일실시예에서, 파노라믹 이미지 프레임들의 연속에 공간적으로 관련된 것이 아닌 이미지 프레임은 획득되어 파노라믹 이미지에 혼합된다. 취사 선택적으로, 파노라믹 이미지 프레임들의 연속에 공간적으로 관련된 것이 아닌 프레임은 파노라믹 이미지의 연속적인 프레임들 사이에서 획득된다.
본 발명의 일실시예에서, 사용자 인터페이스는 오버랩핑 다음 프레임을 획득함으로써 파노라마에서 마지막 획득된 프레임으로부터 지속의 가능성을 제공한다. 취사 선택적으로, 오버랩의 정도는 30, 40, 50 또는 60%이다. 취사 선택적으로, 30 내지 60% 오버랩은 정확하게 프레임들을 정렬하도록 하는 사용자의 능력에 기여한다. 본 발명의 일실시예에서, 오버랩핑 프레임들은 다른 프레임에 “숨겨져” 이동된 하나의 프레임과 오버레이 정렬 방식으로 디스플레이된다. 취사 선택적으로, 오버레이 정렬은 카메라에 정확하게 조준하도록 하는 사용자의 능력에 기여한다.
취사 선택적으로, 오버레이의 앞 프레임은 반투명하거나 두개의 오버레이 프레임들로부터 교차되는 픽셀들이 보여진다.
취사 선택적으로, 간섭을 포함하는 프레임(예컨대, 보행자 또는 프레임의 전경에 걸쳐 지나가는 운송수단)은 삭제되어 프레임들의 파노라믹 연속성을 완성하도록 재캡쳐된다.
취사 선택적으로, 사진 촬영 대상으로부터 제1거리를 두어 서있으면서 파노라믹 이미지의 연속적인 프레임들을 획득하는 사용자가 그 대상으로부터 제2거리만큼 떨어져 이동하고, 그러면 제1거리로 되돌아와 연속적인 프레임들의 획득이 재개된다. 취사 선택적으로 사용자는 제2거리에서 관련없는 프레임들을 획득한다.
취사 선택적으로, 파노라믹 이미지에서 프레임들의 획득은 외부 자극에 의해 방해된다. 본 발명의 일실시예에서, 카메라는 이동 전화 핸드셋에 장착되고 외부의 자극은 수신되는 전화 호 또는 메시지를 포함한다.
본 발명의 일실시예에서, 인접한 프레임들 사이의 오버랩 영역에서 70 또는 80 또는 90% 또는 그 이상의 픽셀들의 동일성은 파노라믹 이미지 프레임들의 중단된 연속성의 캡쳐를 재개하도록 하는 능력에 기여한다. 취사 선택적으로, 픽셀 동일성에 있어 증가는 프레임들의 파노라믹 연속성의 캡쳐를 재개하도록 다음 프레임의 검색이 이루어질 때 매칭의 용이함에 기여한다.
취사 선택적으로, 관련없거나 비연속적이거나 교체되는 범위의 프레임들은 파노라믹 이미지를 형성하는 프레임들을 연속성에 혼합된다. 취사 선택적으로, 카메라 및/또는 사용자는 적절한 혼합된 방책들을 선택한다.
본 발명의 일부 실시예들의 양상은 이동 전화기 플랫폼 내에서 파노라믹 이미지의 3D 프로젝션에 관한 것이다. 본 발명의 일실시예들에 따르면, 3D 프로젝션 의 프로젝션 각도는 이동 전화기로부터 변화되거나 고정될 수 있다.
본 발명의 일부 실시예들의 양상은 콜라주(collage)를 형성하도록 파노라믹 이미지에서 시각적으로 관련없는 이미지들의 포함에 관련된 것이다. 취사 선택적으로, 시각적으로 관련없는 이미지들은 스티커 및/또는 적어도 하나의 공간적으로 접촉해 있지 않은 프레임들의 부분을 포함한다.
본 발명의 일부 실시예들의 양상은 파노라믹 이미지의 구성에 있어 모자이크 템플릿의 사용에 관련된 것이다.
취사 선택적으로, 콜라주 형태 및/또는 템플릿 어플리케이션은 이동 전화 핸드셋 내에서 수행된다.
본 발명의 일실시예에서, 카메라에서 복수개의 프레임들로부터 파노라믹 이미지를 조합하는 방법에 있어서, (a)카메라를 사용하여 비디오 스트림을 획득하는 과정과, (b)스틸 이미지로서 캡쳐를 위해 비디오 스트림으로부터 초기 프레임을 선택하는 과정과, (c)적어도 하나의 추가적인 프레임을 더 선택하는 과정과, (d)상기 카메라에서 초기 프레임에 대해 상기 적어도 하나의 추가적인 프레임을 스티칭하여 파노라믹 이미지를 생성하는 과정을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋에 설치되는 것이다.
취사 선택적으로, 상기 추가적인 프레임들은 상기 비디오 스트림으로부터 선택된다.
취사 선택적으로, 상기 적어도 하나의 추가적인 프레임을 추가적인 스틸 이 미지로서 캡쳐되어진다.
취사 선택적으로, 상기 더 선택하는 과정은 오버레이 정렬을 통해 수행된다.
취사 선택적으로, 상기 프레임들의 선택은 오버레이 정렬을 통해 수행된다.
취사 선택적으로, 카메라 모션의 검출은 상기 더 선택하는 과정에 기여한다.
취사 선택적으로, 카메라 모션의 검출은 카메라 모션(예컨대, STRI의 오토샷 기능)을 사용하여 사용자의 손 안정성을 나타낸다.
취사 선택적으로, 카메라 모션의 검출은 카메라 모션 속도를 검출하는 과정을 포함한다.
취사 선택적으로, 카메라 모션의 검출은 카메라 모션 상에서 피르백을 제공하는 과정을 포함한다.
취사 선택적으로, 카메라 모션의 검출은 카메라 모션 방향 및/또는 카메라 모션 속도 상에서 피드백을 제공하는 과정을 포함한다.
취사 선택적으로, 카메라 모션의 부재는 추가적인 프레임의 획득을 유발한다.
취사 선택적으로, 선택하는 과정은 사용자에 의해 수동적으로 수행된다.
취사 선택적으로, 상기 방법은 적어도 하나의 원치않는 특징의 검출을 포함한다.
취사 선택적으로, 상기 원치않는 특징은 얼굴을 포함한다.
취사 선택적으로, 상기 더 선택하는 과정은 상기 카메라에 의해 자동적으로 수행된다.
취사 선택적으로, 상기 더 선택하는 과정은 사용자에 의해 수동적으로 수행된다.
취사 선택적으로, 상기 파노라믹 이미지는 3D 면이다.
본 발명의 일실시예에서, 카메라에서 파노라믹 이미지의 버추얼 3D 프로젝션을 제공하는 방법에 있어서, (a)카메라의 메모리에 파노라믹 이미지를 저장하는 과정과, (b)프로젝션 알고리즘을 적용하여 카메라의 디스플레이 상에서 상기 파노라믹 이미지의 버추얼 3D 프로젝션을 생성하는 과정을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋에 설치되는 것이다.
취사 선택적으로, 상기 방법은 (c)3D 프로젝션이 원하는 특성들을 가지는 면 상에서 프로젝션을 에뮬레이트하도록 프로젝션 알고리즘을 선택하는 과정을 더 포함한다.
취사 선택적으로, 상기 방법은 오버레이 정렬을 통해 수행되며, 현실적 세계 3D장면의 생생한 비디오를 에뮬레이트하도록 시점 변경에 따라 상기 카메라의 화면을 다이나믹하게 업데이트하는 과정을 더 포함한다.
취사 선택적으로, 상기 방법은 (c)3D 프로젝션이 원하는 각도로 면상에 프로젝션을 에뮬레이트하도록 프로젝션 알고리즘을 선택하는 과정을 더 포함한다.
취사 선택적으로, 상기 프로젝션 알고리즘은 실세계 외양 및 느낌을 시뮬레이트하도록 사용자가 프로젝션 각도를 변경하도록 한다.
본 발명의 일실시예에서, 이동 전화기를 위한 사용자 인터페이스에 있어, 상기 사용자 인터페이스는 상기 전화기에 결합된 카메라의 시계를 가지는 파노라믹 이미지의 다음 프레임을 정렬하는데 사용자에게 도움을 주도록 장착되며, 상기 인터페이스는, (a)사용자에게 보여지는 모션 방향 지시자와, (b)다음 프레임 정렬 지시를 포함함을 특징으로 하는 사용자 인터페이스를 포함함을 특징으로 한다.
취사 선택적으로, 상기 인터페이스는 다음 프레임의 획득을 위해 모션 방향의 선택하는 데 적당한 방향 선택 모듈을 더 포함한다.
취사 선택적으로, 상기 보여지는 모션 방향 지시자는 시계의 가장자리의 적어도 한 부분을 포함한다.
취사 선택적으로, 상기 보여지는 모션 방향 지시자는 화살표를 포함한다.
취사 선택적으로, 상기 시계를 가지는 다음 프레임의 보정 정렬은 상기 다음 프레임을 획득할 수 있는 위치에 상기 카메라를 멈추라고 사용자에게 알리는 중지 신호를 생성한다.
취사 선택적으로, 상기 다음 프레임 정렬 지시는 물체를 조준하며 타겟을 조준하고, 상기 조준 타겟에 상기 조준 물체를 정렬하는 것은 상기 다음 프레임이 적절하게 정렬되었음을 나타낸다.
취사 선택적으로, 상기 인터페이스는 경기 득점은 속도 및 상기 조준 타겟에 대한 상기 조준 물체의 정렬의 질 중 하나 이상을 기반으로 하는 게임으로 구성된 것이다.
취사 선택적으로, 상기 인터페이스는 2개의 서로 다른 차원에서의 파노라믹인 프레임들의 매트릭스를 생성하는데 사용된다.
본 발명의 일실시예에서, 카메라를 사용하여 파노라믹 이미지를 조합하는 방 법에 있어서, (a) 상기 카메라를 사용하여 파노라믹 이미지에 속하는 적어도 하나의 프레임을 획득하는 과정과, (b)상기 획득하는 과정을 중지하여 상기 카메라의 조준 방향을 변경하는 과정과, (c)파노라믹 이미지에 속하는 프레임들의 획득을 재개하는 과정과, (d) (a)에서 획득된 적어도 하나의 프레임 및 (c)에서 획득된 적어도 하나의 프레임으로부터 파노라믹 이미지를 조합하는 과정을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋에 설치되는 것이다.
취사 선택적으로, 상기 파노라믹 이미지에 속하지 않는 상기 적어도 하나의 프레임은 방해 물체를 포함하기 때문에 배제된다.
취사 선택적으로, 상기 파노라믹 이미지에 속하지 않는 상기 적어도 하나의 프레임은 서로 다른 위치로부터 획득된다.
본 발명의 일실시예에서, 카메라 상에서 합성 이미지를 생성하는 방법에 있어서, (a)상기 카메라의 디스플레이 상에서 제1이미지를 제공하는 과정과, (b)제2이미지를 선택하는 과정과,(c)상기 제1이미지 상에서 위치를 지시하는 과정과, (d)지시된 위치에서 상기 제1이미지에 상기 제2이미지를 적용하여 합성 이미지를 생성하는 과정을 포함함을 특징으로 한다.
취사 선택적으로, 상기 제2이미지는 상기 제1이미지 보다 작은 것이다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋에 설치되는 것이다.
취사 선택적으로, 상기 제1이미지는 파노라믹 이미지이다.
취사 선택적으로, 상기 제2이미지는 클립아트 그래픽 이미지를 포함한다.
취사 선택적으로, 상기 제2이미지는 사진 이미지의 적어도 한 부분을 포함한다.
취사 선택적으로, 상기 제2이미지는 사진 파노라마를 포함하는 제1이미지의 두개의 프레임들 사이에서 획득된다.
취사 선택적으로, 상기 방법은 (e)상기 제2이미지에 투명성의 정도를 할당하는 과정을 더 포함한다.
본 발명의 일실시예에서, 복수개의 프레임들로부터 파노라믹 이미지를 조합하는 데 적합한 카메라에 있어서, (a)비디오 스트림을 제공할 수 있는 비디오 획득 모듈과,(b)스틸 이미지로서 캡쳐를 위한 상기 비디오 스트림으로부터 초기 프레임을 획득하는 데 적합한 선택 모듈과,(c)사용자가 추가적인 프레임들을 선택하도록 가이드하는 데 적합한 사용자 인터페이스와,(d)상기 초기 프레임에 상기 추가적인 프레임들을 스티칭하여 파노라믹 이미지를 생성하는 데 적합한 스티칭 모듈을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋의 부분으로써 제공된다.
본 발명의 일실시예에서, 파노라믹 이미지의 버추얼 3D 프로젝션을 제공하는 데 적합한 카메라에 있어서, (a)파노라믹 이미지를 저장하는 데 적합한 메모리와,(b)프로젝션 알고리즘을 적용하여 상기 카메라의 디스플레이 상에서 파노라믹 이미지의 버추얼 3D 프로젝션을 생성하는 데 적합한 분석 회로를 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋의 부분으로써 제공된다.
본 발명의 일실시예에서, 이동 전화 핸드셋에 결합된 카메라의 시계와 파노라믹 이미지의 다음 프레임을 정렬하는 데 사용자에게 도움을 주는 데 적합하며, 사용자 인터페이스의 프리젠테이션을 위해 적합한 회로를 포함하는 이동 전화 핸드셋에 있어서, (a)보여질 수 있는 모션 방향 지시자와,(b) 다음 프레임 정렬 지시를 포함함을 특징으로 한다.
본 발명의 일실시예에서, 파노라믹 이미지를 조합하는 데 적합한 회로를 포함하는 카메라에 있어서, (a) 프레임 획득 모듈과, (b)사용자에게 다음을 허용하는 파노라믹 조합 모듈을 포함하는 회로: (ⅰ) 파노라믹 이미지에 속하는 적어도 하나의 프레임을 획득하고 (ⅱ)상기 파노라믹 이미지에 속하지 않는 적어도 하나의 프레임을 획득하고 (ⅲ) 상기 파노라믹 이미지에 속하는 프레임들의 획득을 재개하고, (ⅰ)에서 획득한 적어도 하나의 프레임과 (ⅱ)에서 획득한 적어도 하나의 프레임으로부터 상기 파노라믹 이미지를 조합하는데 적합한 스티칭 엔진을 포함한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋의 부분으로써 제공된다.
본 발명의 일실시예에서, 카메라에 있어서, (a)제1이미지를 나타내는데 적합한 디스플레이와,(b)제2이미지들의 사용자 접근 가능한 라이브러리와,(c)제2이미지의 선택을 위해 적합한 선택 모듈과,(d)선택 위치에 상기 제1이미지에 상기 제2이미지를 적용하는 데 적합한 사용자 조작가능한 정렬 모듈을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋의 부분으로써 제공된다.
취사선택적으로, 본 발명의 몇몇의 실시예들은 결정하는 원격 서버를 사용한 다. 취사선택적으로, 상기 결정들은 질, 정렬, 순서 및 프레임들의 일관성에 관한 하나 이상의 결정을 포함한다.
본 발명의 일실시예에서, 이동 전화 핸드셋에 결합된 카메라의 시계와 파노라믹 이미지의 다음 프레임을 정렬하는 데 사용자에게 도움을 주는 데 적합한 이동 전화 핸드셋의 디스플레이 화면에 있어, 상기 이동 전화 핸드셋은 온스크린 프리젠테이션을 위해 적합한 회로를 포함하며, (a) 모션 방향 지시자와,(b) 카메라 모션에 대응하는 다음 프레임 정렬 지시를 포함함을 특징으로 한다.
본 발명의 일실시예에서, 파노라믹 이미지를 조합하는 데 적합한 회로를 포함하는 카메라에 있어서, (a) 프레임들을 획득하기 위한 프레임 획득 모듈과,(b)복수개의 프레임들이 저장되며 상기 프레임들의 일부는 파노라믹 이미지에 속하는 메모리와,(c)상기 파노라믹 이미지에 속하는 상기 메모리 내의 이러한 프레임들을 식별하며 연속적으로 식별된 프레임들을 조합하는 데 적합한 스티칭 엔진을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋의 부분으로써 제공된다.
본 발명의 일실시예에서, 카메라에 있어서,(a)제1이미지를 나타내는데 적합한 디스플레이와,(b)제2이미지들의 사용자 접근 가능한 라이브러리와,(c)제2이미지의 선택을 위해 적합한 선택 모듈과,(d)선택 위치에 상기 제1이미지에 상기 제2이미지를 적용하는 데 적합한 사용자 조작가능한 정렬 모듈을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋의 부분으로써 제공된다.
본 발명의 일실시예에서, 카메라에 있어서,(a)미리 정렬된 프레임들의 쌍을 생성하도록 오버레이를 통해 두개의 프레임들 간에 수동적인 정렬을 하는 데 적합한 사용자 인터페이스와,(b)상기 미리 정렬된 프레임들을 수신하여 정확한 정렬을 수행하는 데 적합한 스티칭 모듈을 포함함을 특징으로 한다.
취사 선택적으로, 상기 카메라는 이동 전화 핸드셋의 부분으로써 제공된다.
본 발명에 따르면, 복수개의 프레임들로부터 파노라믹 이미지를 조합함으로써 다양한 파노라믹 이미지를 생성할 수 있게 된다.
도 1a 및 도 1b는 본 발명의 하나 이상의 실시예에 따른 파노라믹 이미징 인터페이스를 제공하는데 적합한 이동 전화기의 각각의 전면과 후면을 개략적으로 도시한 도면이다. 예시적인 핸드셋100은 디스플레이 화면116, 표준 12개 키의 전화기 키패드112 및 내비게이션 장치110를 포함한다. 취사 선택적으로 하나 이상의 보조적인 기능 키들114은 카메라 기능들을 제어하는데 사용된다. 도 1b에 도시된 렌즈150는 핸드셋 100의 후면 상에 보여진다.
본 발명의 일실시예에서, 메모리 장치120는 파노라믹 이미징 모듈190을 저장한다. 취사 선택적으로, 이미징 모듈190은 기능적인 구성요소들로 더 세부분할된다. 도시된 바와 같이, 이미징 모듈190은 카메라 인터페이스160, 카메라 모션(Camera Motion: CaMo) 엔진164, 스티칭(stitching) 엔진162 및 파노라믹 사용자 인터페이스170를 포함한다.
본 발명의 일실시예에서, 카메라 인터페이스160는 디스플레이116 상에 사용자에게 메뉴들 및/또는 지시들을 제공한다. 취사 선택적으로, 카메라 인터페이스160는 디스플레이116상에서 렌즈150의 시야의 프리젠테이션과 함께 동시에 또는 연속적으로 동작한다.
본 발명의 일실시예에서, 사용자가 렌즈150의 멀티플 시계를 포함하는 영역에 걸쳐 스윕(sweep) 또는 카메라를 팬(pan)할 때. 카메라 모션 엔진164은 방향 및/또는 카메라 모션의 속도를 모니터한다. 취사 선택적으로, 패닝(panning)은 수평적, 수직적 또는 사선적이다.
본 발명의 일실시예에서, 파노라믹 사용자 인터페이스170는 패닝 방향의 조절 및 파노라마 획득을 위한 모션의 속도 및/또는 파노라믹 이미지에 속한 프레임들의 선택 및/또는 그것이 획득된 이후에 파노라믹 이미지의 조작에 있어서 사용자에게 도움을 준다.
본 발명의 일실시예에서, 스티칭 엔진162은 파노라믹 이미지를 형성하는데 프레임들을 모으거나 “스티치(stitch)”한다. 취사 선택적으로, 이미지의 연속적인 프레임들 간에 오버랩 정도는 고정적인 대상(예컨대, 풍경)에 대한 이미지 명료성에 기여한다. 취사 선택적으로, 상기 이미지의 연속적인 프레임들 간에 오버랩 정도는 다이나믹한 대상물(예컨대, 움직이는 이동수단 또는 사람들 무리가 있는 거리들)에 대한 이미지 명료성이 떨어진다.
본 발명의 일실시예에서, 파노라믹 이미지는 3D 물체이다. 취사 선택적으로, 3D 물체의 서로 다른 부분들은 서로 다른 각도들로부터 사진 촬영된다.
예시적인 방법들
도 2a 내지 도 2d는 본 발명의 다양한 실시예에 따른 파노라마 사진 획득 및 조작의 예시적인 방법을 도시한 흐름도이다.
도 2a는 이동 전화 핸드셋100상에서 파노라믹 이미지 획득의 예시적인 방법200을 도시한 단순화된 흐름도이다. 210에서 사용자에게 메뉴가 주어지고 사용자는 사진 내에서 사진 및 파노라마 모드를 선택한다. 이 단계에서 렌즈150는 활성화되고 디스플레이 화면116은 뷰파인더로서 기능하기 시작한다. 사용자는 뷰파인더116에서 보여지는 것과 전체 장면을 비교하고, 파노라믹 시리즈를 위한 첫번째 프레임 역할을 하는 하나의 프레임을 선택한다. 취사 선택적으로, 이 첫번째 프레임은 통상적인 스트립 파노라마의 마지막 하나를 포함한다. 대안적으로 또는 추가적으로, 첫번째 프레임은 2차원 평면에서 파노라믹한 매트릭스의 하나의 프레임을 포함한다. 본 발명의 일실시예에서, 카메라는 첫번째 프레임이 획득될 때 비디오 스트림을 획득하고 있다. 취사 선택적으로, 카메라는 추가적인 프레임들이 획득될 때 비디오 스트림을 획득하는 것을 계속한다.
220에서, 선택된 프레임은 획득되고 230에서 저장된다. 240에서, 카메라는 질문을 물어본다:”다른 프레임이 필요한가?” 만일 다른 프레임이 필요할 경우 도 2b의 243으로 진행하는데, 도 2a의 240과 도 2b의 243이 연결되어 있음을 나타내기 위해 심볼 A를 사용하였다.
본 발명의 다른 실시예들에서, 사용자는 이에 앞서 획득된 많은 프레임들을 정의한다. 본 발명의 이러한 실시예들에 따르면, 카메라는 현재 저장된 많은 프레 임들과 정의된 많은 프레임들을 비교하여 자동적으로 그 대답을 확인한다.
본 발명의 다른 실시예들에서, 사용자는 이미지 프레임 획득동안 획득되어진 많은 프레임들을 정의한다. 많은 프레임들의 정의는 예를 들어, 파노라마의 전체 사이즈를 정의함으로써 예를 들어, 카메라를 스윕하거나 패닝함으로써 이루어질 수 있다. 본 발명의 이러한 실시예에 따르면, 사용자는 수동으로 질문에 대답한다. 취사 선택적으로, 그 대답은 보조적인 키들114 중 하나를 누름으로써 카메라 인터페이스160로 전달되어진다. 취사 선택적으로, 프레임들의 디폴트 수(예컨대, 3, 5 또는 8)는 사용자 입력이 수신되지 않을 경우에는 자동적으로 선택되어진다. 취사 선택적으로, 대답이 디폴트로 ‘예’라고 가정해보면 사용자는 결정을 번복하여 보조적인 키들114의 하나를 누름으로써 ‘아니다’라고 대답할 수 있다.
만일 질문에 대한 대답이 ‘예’일 경우, 획득 단계 220 및 저장단계 230가 반복되어진다.
충분한 프레임들의 수가 획득될 때, 그 질문에 대한 대답은 ‘아니오’가 된다. 이 250단계에서, 모든 저장된 프레임들을 조합하여 파노라믹 이미지를 생성한다. 취사 선택적으로, 조합은 스티칭 엔진162에 의해 수행된다.
본 발명의 일실시예에서, 파노라믹 이미지는 디스플레이116상에 프리뷰260로서 나타난다. 취사 선택적으로, 프리뷰는 이 단계에서 조작 또는 편집에 대한 대상이 아니다. 취사 선택적으로, 프리뷰된 파노라마를 향후 디스플레이 및/또는 편집 및/또는 조작 및/또는 전송을 위해 저장해야 하는지를 사용자에게 질의한다. 취사 선택적으로, 본 발명의 일실시예에 의해 생성된 파노라믹 이미지는 다른 장치로 전 송될 수 있다. 대안적으로 또는 추가적으로, 사용자는 다시 획득해야 하는 영역을 지시함으로써 이미지 향상을 선택할 수 있다. 취사 선택적으로, 사용자 인터페이스는 사용자에게 선택된 영역을 다시 획득하기 위해 카메라를 조준하도록 사용자를 안내한다.
본 발명의 일실시예에서, 다른 장치는 하나 이상의 추가적인 이동 전화 핸드셋들을 포함하며, 파노라믹 이미지는 멀티미디어 메시지 서비스(MMS) 메시지에 포함된다. 대안적으로 또는 추가적으로, 다른 이동 전화 핸드셋으로의 전송은 예컨대, 블루투스, 적외선 또는 다른 무선 프로토콜을 통해 국부적으로 수행될 수 있다.
본 발명의 일실시예에서, 다른 장치는 하나 이상의 원격 서버들을 포함하며, 파노라믹 이미지는 서버(예컨대, WAP 사용)로 업로드된다.
도 2b는 보다 세부적으로 사용자 인터페이스 수단에 의한 파노라믹 이미지 내의 포함을 위해 사용자가 프레임들을 선택하는데 도움을 주는 예시적인 방법242을 도시하는 개략적인 흐름도이다.
240에서, 카메라는 질문을 물어본다:”다른 프레임이 필요한가?”(도 2a에서와 같이)
전술한 바와 같이 자동으로 또는 수동으로 전달될 수 있는 ‘예’라는 대답에 응답하여, 핸드셋100의 카메라가 움직이는 방향으로 지시243가 사용자에게 나타난다.
244에서, 카메라 모션이 감지된다. 본 발명의 일실시예에서, 감지는 카메라 모션 엔진164에 의해 수행된다.
246에서, 다음 프레임을 향한 진행량의 지시는 사용자에게 그래픽적으로 나타난다. 본 발명의 일실시예에서, 그래픽 지시들은 렌즈150의 현재 보여지는 시야 위의 디스플레이116에 나타난다.
248에서, 다음 프레임을 획득하는 것을 중지할 것을 사용자에게 알린다. 취사 선택적으로, 다음 프레임은 전술한 바와 같이 수동으로 또는 자동으로 획득된다(도 2a의 220). 여기서, 도 2b의 248은 도 2a의 220에 연결되어 있음을 나타내기 위해 심볼 B를 사용하였다.
본 발명의 일실시예에서, 파노라믹 사용자 인터페이스170(도 1a)는 도 2c에서 보다 상세하게 기술할 파노라믹 편집 인터페이스270를 포함한다.
도 2c는 본 발명의 일실시예에 따라 이동 전화 핸드셋에서 획득된 파노라믹 이미지의 편집 및/또는 조작의 예시적인 방법262을 도시한 개략적인 흐름도이다.
이 흐름도는 완성된 파노라믹 이미지가 획득되어 이용할 수 있음을 나타내는 프리뷰 파노라마(도 2a의 260)에서 시작한다.
프리뷰된 파노라마260는 디스플레이116(도 1)에서 보여지는데, 사용자는 파노라믹 편집 인터페이스270를 선택한다. 취사 선택적으로, 편집 인터페이스270는 하나 이상의 편집 가능성을 사용자에게 제공한다. 비록 실제 옵션들의 수는 본 발명의 다른 실시예들에 따라 세개보다 적거나 그 이상일 수 있지만, 도시된 예에서는 3개의 주요 편집 가능성들이 제공된다. 취사 선택적으로, 제공된 편집 가능성들의 수와 이용가능한 하드웨어 메모리 및/또는 이동 전화 핸드셋100에서의 컴퓨팅 용량 간에는 서로 트레이드 오프된다.
도 2c에 도시된 상기 3개의 주요 편집 가능성들은 파노라믹 이미지에 스티커 어플리케이션, 파노라마에 이미지를 혼합하는 어플리케이션 및 파노라마에 모자이크 템플릿의 어플리케이션이다. 본 발명의 일실시예에 따라, 사용자는 이러한 가능성들의 하나 이상을 선택한다.
본 발명의 일실시예에서, 사용자는 파노라믹 이미지에 스티커를 적용한다.
280에서 사용자는 스티커를 선택한다. 스티커는 jpeg, tiff 및 gif에 한정되지 않는 포맷을 갖는 이용가능한 이미지에서의 클립아트로서 취사 선택적으로 제공된다. 전형적으로, 선택을 위해 이용할 수 있는 스티커들의 수와 이동 전화 핸드셋100에서의 이용가능한 하드웨어 메모리 간에는 서로 트레이드 오프된다. 취사 선택적으로, 원격 서버로부터 다운로드하기 위한 스티커들의 유용성은 이동 전화 핸드셋100에서 이용가능한 하드웨어 메모리의 요구 감소에 기여한다.
282에서, 사용자는 파노라믹 이미지 내에서 위치를 선택한다. 취사 선택적으로, 위치 선택은 내비게이션 장치110를 사용하여 디스플레이116상에서 커서의 조작에 의해 이루어진다. 본 발명의 일실시예에서, 카메라 모션의 자동적인 감지는 커서 조작을 위해 사용된다. 취사 선택적으로, 사용자는 카메라를 움직임으로써 커서를 움직인다.
284에서, 사용자는 선택된 위치에 스티커를 적용한다. 취사 선택적으로, 어플리케이션은 보조적인 키114의 동작 또는 메뉴로부터의 “적용” 명령의 선택에 의한 것이다. 취사 선택적으로, 스티커 선택280 및 어플리케이션284은 하나의 동작 으로 통합된다. 취사 선택적으로, 어플리케이션284은 위치선택282 이전에 수행되며 선택된 스티커는 커서 역할을 한다.
본 발명의 일실시예에서, 사용자는 파노라믹 이미지에 사진촬영된 이미지를 혼합한다.
286에서, 사용자는 파노라마에 혼합할 이미지를 선택한다. 다시, 선택을 위해 이용가능한 이미지 수와 이동 전화 핸드셋100에서 이용가능한 하드웨어 메모리 간에는 트레이드 오프된다. 취사 선택적으로, 원격 서버로부터 다운로드 가능한 아이템으로서 혼합할 이미지들의 유용성은 이동 전화 핸드셋100에서 이용 가능한 하드웨어 메모리의 요구 감소에 기여한다.
288에서, 사용자는 파노라믹 이미지 내에서 위치를 선택한다. 취사 선택적으로, 위치 선택은 스티커 어플리케이션에 대한 전술한 바와 같다.
290에서, 사용자는 선택된 위치에 선택된 이미지를 혼합한다. 취사 선택적으로, 혼합은 스티커 어플리케이션에 대한 전술한 바와 같다. 취사 선택적으로, 혼합290 및 이미지 선택286은 동시에 수행된다. 취사 선택적으로, 동작들의 순서는 혼합할 위치의 선택288이 파노라마 위에 288에서 선택된 이미지를 움직이는 것을 포함하도록 변경된다. 취사 선택적으로, 선택된 이미지의 부분은 오버레이로서 파노라믹 이미지 상에서 움직이게 된다. 본 발명의 일실시예에서, 파노라믹 이미지 상에 이미지의 적어도 한 부분의 움직임은 정확한 정렬을 달성하는 능력에 기여한다. 취사 선택적으로, 카메라 모션 및/또는 내비게이션 장치는 파노라마에 관련하여 오버레이드된 이미지를 움직이는데 사용된다. 본 발명의 일실시예에서, 분석적인 회 로는 사용자에 의해 제공되는 초기 정렬을 기반으로 정확한 정렬을 제공한다.
본 발명의 일실시예에서, 사용자는 파노라믹 이미지에 모자이크 템플릿(예컨대, 하기 후술할 도 7의 템플릿700)을 적용한다. 취사 선택적으로, 조합된 파노라믹 이미지에 대한 템플릿의 어플리케이션은 스티칭 접합에서 결함의 인지에 있어 감소 및/또는 프레임들 간의 매개(parametric) 차이의 인지 감소에 기여한다. 프레임들 간의 매개 차이는 단지 이에 한정되지 않지만 화이트 밸런스, 라이트닝 레벨, 대조, 시야각 및 적용된 줌 정도를 포함한다.
292에서, 사용자는 모자이크 템플릿의 한 그룹으로부터 하나의 모자이크 템플릿을 선택한다. 다시, 선택을 위해 이용가능한 템플릿들의 수와 이동 전화 핸드셋100에서의 이용가능한 하드웨어 메모리 간에는 트레이드 오프된다.
294에서, 사용자는 취사 선택적으로 템플릿에 텍스트를 추가한다. 296에서, 사용자는 파노라믹 이미지에 선택된 템플릿을 적용하여 모자이크를 생성한다.
도 2d는 3D 면에서 파노라믹 이미지의 버추얼 프로젝션을 위한 방법272을 도시한 개략적인 흐름도이다.
본 발명의 일실시예에서, 방법272은 파노라믹 이미지의 획득 및 디스플레이116(도 1) 상에 파노라마의 프리뷰260(도 2a) 이후에 시작된다. 본 발명의 다른 실시예들에서, 방법272은 사용자가 기록된 파노라마를 보기를 원할 때마다 시작된다.
274에서, 사용자는 3D 프로젝션 인터페이스를 선택한다. 취사 선택적으로, 프로젝션 인터페이스274는 파노라믹 사용자 인터페이스170의 한 부분로서 제공된다.
276에서, 사용자는 취사 선택적으로 프로젝션 면을 선택한다. 예시적인 프로젝션 면은 이에 한정되지 않는, 오목한 면, 볼록한 면 및 구면을 포함한다. 본 발명의 일실시예에서, 면의 선택은 프로젝션 알고리즘에 적용할 파노라믹 사용자 인터페이스170에 나타난다. 3D 프로젝션 알고리즘은 이 분야의 통상의 기술로 알려져 있다. 본 발명의 내용에서 사용되는 적합한 알고리즘은 예를 들어, Richard Szeliski에 의한 “Image Alignment and Stitching: A Tutorial”(Preliminary draft, 2004.9.24, Technical Report, MSR-TR-2004-92. pages 8-10) 및/또는 미국출원(US 2006/0062487, 2006/0018547, 2005/0200706, 2005/0008254 및 2004/0130626, Ouchi et al.)에서 찾을 수 있으며, 이는 여기에 전반적으로 참조로서 첨부되어 진다. 본 발명의 내용에서 사용되는 적합한 추가적인 알고리즘은 Noam SOREK 에 의한 "METHOD FOR CONSTRUCTING A COMPOSITE IMAGE"이라는 제목의 관련 출원 및 임시 출원으로써 동일한 날짜에 출원된 대리인 협의사항 38327로서 식별된 Orna BREGMAN AMITAI에 개시되어 있으며, 이는 여기에 전반적으로 참조로서 첨부되어 진다.
278에서, 3D면 상에서 파노라마의 버추얼 프로젝션은 수행되고, 그 결과는 디스플레이116상에 디스플레이 및/또는 메모리에 저장된다. 취사 선택적으로, 저장된 버추얼 프로젝션은 다른 장치(예컨대, 다른 이동 전화 핸드셋)으로 전달될 수 있으며 또는 향후 보여질 수 있다. 취사 선택적으로, 버추얼 프로젝션 278은 프로젝션면의 선택276 후에 자동으로 발생한다. 본 발명의 일실시예에서, 단지 하나의 프로젝션면이 이용가능하며, 3D 프로젝션 인터페이스274의 선택은 버추얼 프로젝션 278으로 바로 이어진다.
취사 선택적으로, 279에서 사용자는 선택된 면에 대하여 프로젝션각 및 줌을 변화시킬 수 있다. 취사 선택적으로, 이러한 변화는 버추얼 프로젝션278 동안 또는 그 이전에 수행될 수 있다. 본 발명의 일실시예에서, 사용자는 카메라를 움직여서 카메라 모션 엔진이 모션을 방해하고 이에 따라 보이는 프로젝션각을 변화시킨다. 더 큰 메모리 및/또는 컴퓨팅 용량을 가지는 이동 전화 핸드셋100은 전형적으로 사용자에 의해 특정된 프로젝션각279에서의 변화에 응답하여 버추얼 프로젝션278을 보다 빠르게 조절할 수 있을 것이다.
예시적인 다음 프레임 정렬 인터페이스
도 3a 내지 도 3d는 본 발명의 일실시예에 따른 파노라마 이미지의 프레임들의 획득을 위한 이동 전화기 사용자 인터페이스를 나타낸 도면이다. 이러한 도면들은 방법242(도 2b)의 실시의 하나 이상의 예시적인 모드들을 보여준다.
도 3a는 사용자가 파노라믹 이미지의 첫번째 이미지 프레임을 획득하고 파노라믹 이미지의 다음 프레임을 확보하기 위해 오른쪽으로 카메라를 이동할 때 이동 전화 핸드셋(도 1a의 100)의 디스플레이 화면116 상에 뷰잉 프레임310에서 보여질 수 있는 장면들(왼쪽에서 오른쪽으로)의 시리즈를 도시한다. 이 장면들의 시리즈는 본 발명의 일실시예에 따라 예시적인 사용자 인터페이스300의 부가적인 특징들을 보여준다.
가장 왼쪽 패널에서, 사용자는 두개의 물체(나무302 및 산 304)를 포함하는 첫번째 프레임을 선택한다. 중앙 타겟320은 이 시야에서 상당히 비어있다. 사용자 는 예를 들어, 셔터 버튼(예컨대, 보조적인 키들114 중 하나)을 누름으로써 파노라믹 획득을 시작한다. 본 발명의 일실시예에서, 그러면 사용자는 카메라를 움직이기 시작함으로써 파노라믹 오리엔테이션을 선택한다. 도시된 예에서, 카메라 모션은 오른쪽 방향이다.
카메라 모션의 자동 감지는 이 기술 분야에서 일반적인 기술로 잘 알려져 있으며 예를 들어, 함께 계류중인 미국출원(US 20070041058, "A Device and A Method For Identifying Movement Patterns", 2006.8.14, Eli BEN-AMI 및 Israel DISATNIK) 및 미국출원(US 20070041616, "A Displacement and Tilt Detection Method For A Portable Autonomous Device Having An Integrated Image Sensor and A Device Therefor", 2006.8.14, Jonggoo LEE, Eli BEN-AMI, Israel DISATNIK and Natan LINDER)에 기술되어 있으며, 이 출원들의 개시는 여기에 각각 참조로서 첨부되어 진다.
본 발명의 일실시예에서, 카메라 모션 엔진에 “특징 검출” 능력을 결합하는 것은 원하는 오버랩의 정도에 영향을 미칠 수 있다. 예를 들어, 만일 얼굴들이 검출된다면, 오버랩 영역은 완벽한 얼굴이 스티칭 영역의 부분이 되지 않으면서 하나의 그림으로부터 취해질 수 있음이 보장되도록 확대될 수 있다. 취사 선택적으로, 다음 프레임을 찾기 이전에 이러한 판단을 내리는 것이 유익하다. 본 발명의 다른 실시예에 따르면, 이러한 능력은 부가적(즉, 사용자 선택에 대한 대상물)이거나 통합될 수 있다. 이러한 특징의 중요성의 레벨은 취사 선택적으로 사진 촬영의 대상에 대한 촬영자의 획득 정도에 의하여 변화한다. 취사 선택적으로, 사용자는 스티치 라인에 특정 얼굴이 포함되도록 허용할 것인지 아닌지의 여부를 지시한다. 다른 예에서, 만일 얼굴들이 검출된다면, 카메라는 얼굴들이 오버랩되도록 사진 찍는 것을 제안할 수 있다.
왼쪽으로부터 두번째 패널에서, 카메라 모션 엔진164은 카메라 모션을 감지하여 방향 지시자330에 제공한다. 취사 선택적으로, 방향 지시자330는 깜빡인다. 비록 방향 지시자330가 직사각형처럼 도시되어 있을지라도 그것은 다른 원하는 어떤 모양으로도 제공될 수 있다. 취사 선택적으로, 방향 지시자330는 화살표로서 제공되어진다. 취사 선택적으로, 방향 지시자330는 뷰잉 프레임310의 전체 가장자리를 차지할 수 있다.
본 발명의 일실시예에서, 방향 지시자330는 사용자가 적절하게 카메라를 움직이는데 도움을 준다. 취사 선택적으로, 방향 지시자330는 또한 카메라 모션의 속도를 나타낼 수 있다. 예를 들어, 카메라 모션의 속도가 매우 높을 경우, 방향 지시자330는 노란색으로 변할 수 있고, 이어 오렌지 및 마침내 빨간색으로 변할 수 있다. 만일 카메라 모션의 속도가 인지할 수 있는 범위 이내라면, 방향 지시자330는 녹색으로 변할 수 있다. 다른 피드백 수단은 이에 한정되지 않지만, 컬러 및/또는 그래픽 및/또는 아이콘적인 피드백 및/또는 오디오 피드백(예컨대, 말 및/또는 사운드)을 포함하며, 이는 이러한 내용에 사용될 수 있다.
카메라가 오른쪽으로 팬할 때, 나무302는 뷰잉 프레임310의 왼쪽 측면 밖으로 사라지며, 산304은 점차적으로 더 많은 프레임310을 차지한다.
왼쪽으로부터 세번째 패널은 사용자 인터페이스300의 2개의 추가적인 예시적 인 특징들을 도시한다.
본 발명의 일실시예에서, “다음 프레임 테두리”350는 디스플레이116 상에 제공된다. 취사 선택적으로, 다음 프레임 테두리350는 구성 중에 사용자가 파노라믹 이미지의 이전 프레임에 다음 프레임을 수직 및/또는 수평 정렬하는데 도움을 줄 수 있다. 사용자가 오른쪽으로 팬할 때, 다음 프레임 테두리350는 점차적으로 더 많은 뷰잉 프레임310을 커버한다. 만일 사용자가 카메라를 위 또는 아래로 움직일 경우, 다음 프레임 테두리350는 수직적으로 뷰잉 프레임310에 정렬되지 않게 되며, 사용자는 직관적으로 카메라 모션에 어떠한 보정이 적절한 정렬을 하는데 바람직한지를 이해한다.
대안적으로, 또는 추가적으로, “다음 프레임 중앙 지시자”340가 제공된다. 다음 프레임 중앙 지시자340는 다음 프레임의 획득을 위해 중앙 타겟320에 정렬된다. 다음 프레임 테두리350로 인해, 사용자는 직관적으로 중앙 지시자340가 중앙 타겟320에 정렬되도록 카메라 모션을 조절한다.
가장 오른쪽 패널은 뷰잉 프레임310에 다음 프레임의 정확한 정렬을 도시한다. 이 단계에서 다음 프레임 테두리350는 뷰잉 프레임310에 완전히 정렬되며 또는 다음 프레임 중앙 지시자340는 중앙 타겟320에 완전히 정렬된다. 본 발명의 일실시예에서, 카메라 모션은 이때 잠시 중단되어 다음 이미지 프레임의 캡쳐가 허용된다. 취사 선택적으로, 다음 이미지 프레임의 캡쳐는 자동이거나 수동일 수 있다. 본 발명의 일실시예에서, 다음 이미지 프레임의 캡쳐는 자동이며, 사용자 인터페이스300는 사용자에게 카메라 모션을 중지하도록 신호를 제공한다. 본 발명의 실시예 들에 따르면, 그 신호는 다음 프레임 테두리350의 출현에서의 변화, 다음 프레임 중앙 지시자340의 출현에서의 변화, 방향 지시자330의 출현에서의 변화 및 청취가능한 신호(예컨대, 톤, 벨 또는 합성 음성 조언) 중 하나 이상을 포함한다. 여기서 사용되었듯이 출현의 변화는 컬러, 텍스쳐, 투명성의 정도 및 깜빡임 비율에서의 변화 중 하나 이상을 나타낸다.
인터페이스300의 몇몇 실시예들에서, 다음 프레임 테두리350 및 다음 프레임 중앙 지시자340 둘 다 제공된다. 본 발명의 다른 실시예들에서, 다음 프레임 테두리350 및 다음 프레임 중앙 지시자340 중 어느 하나만 제공된다.
취사 선택적으로, 다음 프레임의 정렬은 사용자에게 게임처럼 표현된다. 본 발명의 일실시예에서, 중앙 타겟320 및 중앙 지시자340는 테마에 맞도록 그래픽적으로 수정된다. 취사 선택적으로, 그 테마는 스포츠 테마이다. 예를 들어, 중앙 타겟320은 골(goal)로서 표현될 수 있으며 중앙 지시자340는 풋볼로서 표현될 수 있다. 취사 선택적으로, 그 골에서 볼을 놓는데 사용된 시간은 사용자에게 표현된다.
본 발명의 일실시예에서, 중앙 타겟320 및/또는 중앙 지시자340는 뷰잉 프레임310의 단지 작은 부분을 차지하도록 크기가 조절된다. 취사 선택적으로, 중앙 타겟320 및/또는 중앙 지시자340의 작은 사이즈는 이러한 물체들을 정렬하도록 하는 사용자의 능력에 기여한다. 취사 선택적으로, 중앙 타겟320 및 중앙 지시자340는 동일하거나(예컨대, 두 개의 서로 다른 크기의 직사각형들) 서로 다른 모양(예컨대, 사각형 내에 내접하도록 크기 조절된 원)이다. 본 발명의 일실시예에서, 중앙 지시자340는 크로스로서 구성되며, 중앙 타겟320은 그 크로스가 내접하는 기하학 모양(예컨대, 원 또는 사각형)이다. 취사 선택적으로, 기하학 모양에서 크로스의 명은 사용자에 의해 직관적으로 이해된다.
본 발명의 일실시예에서, 타겟은 뷰잉 프레임310의 중앙 보다는 다른 위치에서 제공된다. 취사 선택적으로, 타겟의 위치는 연속적인 프레임들의 원하는 오버랩 정도에 관련하여 조절된다.
도 3d는 다음 프레임을 정렬하기 위해 카메라 모션이 부적절함을 사용자에게 지시하는 예시적인 방식들을 보여준다. 도시된 예시적인 프레임에서, 산304은 시야에 여전이 존재하지만, 사용자는 카메라를 위쪽으로 쉬프트하였다. 조정 불량(misalignment)의 종류 및 정보는 취사 선택적으로 적어도 세가지 방식 중 하나 이상이 사용자에게 표현된다.
첫번째 부가적인 정보 표현 모드에서, 모션 방향 지시자330는 뷰잉 프레임310의 오른쪽 가장자리의 중앙에서 그것의 근소한 위치로부터 뷰잉 프레임310의 낮은 오른쪽 코너로 움직인다. 이것은 오른쪽으로 모션이 계속되는 동안 카메라가 아래쪽으로 쉬프트되어야 함을 사용자에게 지시한다.
두번째 부가적인 정보 표현 모드에서,다음 프레임 중앙 지시자340는 중앙 타겟320 아래에 나타나며, 사용자는 직관적으로 카메라가 다른 것들과 340 및 320이 수직적인 정렬이 되도록 낮춰져야 한다고 이해한다.
세번째 부가적인 정보 표현 모드에서, 다음 프레임 테두리350은 뷰잉 프레임310 아래에 나타나며, 사용자는 직관적으로 카메라가 다른 것들과 350 및 310이 수직적인 정렬이 되도록 낮춰져야 한다고 이해한다.
다른 부가적인 정보 표현 모드(도 3b)에서, 다음 프레임 중앙 지시자340는 중앙 타겟320 위에 나타나며, 사용자는 직관적으로 카메라가 다른 것들과 340 및 320이 수직적인 정렬이 되도록 낮춰져야 한다고 이해한다.
다른 부가적인 정보 표현 모드(도 3b)에서, 다음 프레임 테두리350는 뷰잉 프레임310 위에 나타나며, 사용자는 직관적으로 카메라가 다른 것들과 350 및 310이 수직적인 정렬이 되도록 낮춰져야 한다고 이해한다.
본 발명의 일실시예에서, 이러한 정보 표현 모드들의 두가지, 취사 선택적으로 세가지는 도 3에 도시된 바와 같이 서로 다른 것과 결합하는데 사용되어지며, 다만 그 세가지들 중 어느 하나라도 사용자로 하여금 카메라의 적절한 보정 모션을 구현하는데 충분할 수 있다.
도 3c는 다음 프레임을 정렬하기 위해 카메라 모션이 부적절함을 사용자에게 지시하는 예시적인 방식을 보여준다. 도시된 예시적인 프레임에서, 산304이 더 이상이 보이지 않는 심한 조정 불량이 발생하는데, 이는 사용자가 너무 멀리 카메라를 움직였기 때문이다. 사용자는 뷰잉 프레임310에서 엉뚱한 물체(예컨대, 새304, 구름 306 및 해308)를 보지만, 이러한 물체들과 구성 중인 파노라믹 이미지를 위한 원하는 다음 프레임 사이에 공간적 관계의 직관적인 이해를 가지지 않는다. 도시된 예에서, 카메라 모션 엔진164은 방향을 지시하는 화살표358를 제공함으로써 사용자가 카메라를 움직이는데 도움을 주며, 다음 프레임 테두리350 및/또는 다음 프레임 중앙 지시자340가 뷰잉 프레임310의 적어도 한 부분에 디스플레이될 수 있도록 한다. 다른 실시예들에서, 카메라 모션 엔진164은 방향을 지시하는 화살표358를 제공 함으로써 사용자가 이미지를 움직이는데 도움을 주며, 다음 프레임 테두리350 및/또는 다음 프레임 중앙 지시자340가 뷰잉 프레임310의 적어도 한 부분에 디스플레이될 수 있도록 한다.
화살표358는 조준 타겟320 내에 도시되지만 취사 선택적으로 뷰잉 프레임310 내에 어디에도 존재할 수 있다. 취사 선택적으로, 화살표358의 크기는 바람직한 보정을 맡도록 모션량을 나타낸다. 본 발명의 일실시예에서, 사용자가 보정 방향으로 카메라를 움직일 때, 화살표358은 그것이 마침내 사라질 때까지 줄어들며, 하나 이상의 다음 프레임 테두리350 및 다음 프레임 중앙 지시자340 및 모션 방향 지시자330에 의해 대체된다. 취사 선택적으로, 도 3b에서 도시된 것과 유사한 상황은 도 3c의 심한 조정 불량과 도 3의 적절한 정렬 간의 변천을 제공한다.
본 발명의 일실시예에서, 화살표358는 4개의 방향들(위, 아래, 왼쪽 및 오른쪽) 중 하나를 가리킬 수 있다. 본 발명의 이러한 실시예에 따르면, 인터페이스300는 두 개의 분리된 단계(예컨대, 아래 및 왼쪽)에서 대각선 보정을 수행한다.
본 발명의 일실시예에서, 화살표358는 8개의 방향들(위, 아래, 왼쪽, 오른쪽 및 4개의 대각선 방향) 중 하나를 가리킬 수 있다. 본 발명의 이러한 실시예에 따르면, 인터페이스는 하나의 단계에서 보정들을 수행한다.
예시적인 콜라주 생성
본 발명의 몇몇의 예시들에 따르면, 파노라믹 이미지는 이동 전화 핸드셋 상에 콜라주에 결합된다. 취사 선택적으로, 콜라주는 파노라믹 이미지에 덧붙여서 클립 아트 및/또는 사진 이미지(또는 그 부분들)를 포함할 수 있다. 도 4 및 도 5는 각각 콜라주 생성을 위한 각각의 예시적인 사용자 인터페이스 400 및 500을 도시한다.
도 4는 본 발명의 일실시예에 따라 이미지에 그래픽적인 클립-아트 “스티커”의 어플리케이션을 위한 예시적인 사용자 인터페이스 400의 개략적인 표현이다.
도시된 예시적인 인터페이스 400에 따르면, 디스플레이416는 파노라믹 이미지460와 동시에 클립 아트 스티커들의 라이브러리420를 표현한다. 본 발명의 일실시예에서, 사용자는 내비게이션 장치110를 사용하여 클립 아트 아이템(예컨대, 하트422)을 선택한다. 도 4의 두번째 패널을 지금 참조하면, 사용자는 내비게이션 장치110를 사용하여 이미지460에서 원하는 위치에 커서430을 위치시킨다. 취사 선택적으로, 커서430의 모션의 현재 방향은 방향 지시자432에 의해 지시된다. 본 발명의 일실시예에서, 사용자는 커서430가 이미지460내에 원하는 위치에 위치되면 “스티커 명령 적용”을 내린다. 오른쪽 패널에 도시된 바와 같이, 선택된 클립 아트(예컨대 하트422)는 상기 명령에 응답하여 스티커로서 이미지460에 적용된다. 취사 선택적으로, 상기 명령은 보조적인 키들114 중 하나를 사용하여 내려진다.
도 5는 본 발명의 일실시예에 따라 파노라믹 이미지에 저장된 이미지들의 시리즈로부터 추가적인 파노라믹 이미지를 혼합하기 위한 예시적인 사용자 인터페이스500의 개략적인 도면이다.
도시된 예시적인 인터페이스500에 따르면, 디스플레이516는 파노라믹 이미지560와 동시에 사진 이미지들의 라이브러리520(예컨대, 522, 524 및 526)를 표현한다. 본 발명의 일실시예에서, 사용자는 내비게이션 장치110를 사용하여 사진 이미 지(예컨대, 524)를 선택한다. 취사 선택적으로, 라이브러리520 내에서 선택 방향은 방향 지시자528에 의해 지시된다. 도 5의 두번째 패널을 지금 참조하면, 사용자는 내비게이션 장치110를 사용하여 이미지560에서 원하는 위치에 커서를 위치시킨다. 본 발명의 일실시예에서, 카메라 모션의 자동 감지는 커서 조작을 위해 사용된다.
취사 선택적으로, 커서530의 모션의 현재 방향은 방향 지시자532에 의해 지시된다. 본 발명의 일실시예에서, 사용자는 커서530가 이미지560 내에 원하는 위치에 위치할 때 “혼합 사진” 명령을 내린다. 오른쪽 패널에 도시된 바와 같이, 선택된 사진524는 상기 명령에 응답하여 이미지560에 혼합된다. 취사 선택적으로, 상기 명령은 보조적인 키들114 중 하나를 사용하여 내려진다. 본 발명의 예시적인 실시예들에 따르면, 적용된 이미지524는 불투명하거나 부분적으로 투명할 수 있다. 취사 선택적으로, 적용된 이미지524는 중심에서 불투명하고 가장자리로 갈수록 점차적으로 투명해질 수 있다. 본 발명의 일실시예에서, 투명성을 향한 진행은 백그라운드 이미지560에 적용된 이미지524의 혼합 효과에 기여한다.
예시적인 오버레이 정렬
본 발명의 일실시예에서, 사용자 인터페이스는 첫번째 이미지 부분에 정렬을 위해 오버레이된 두번째 이미지 부분을 제공한다. 몇몇의 실시예들에서, 오버레이 정렬은 사용자가 좋은 초기 정렬을 달성하는데 도움을 줌으로써 파노라믹 이미지의 프레임들 간에 부드러운 변화에 기여한다. 본 발명의 일실시예에서, 첫번째 이미지는 뷰잉 프레임 내에서 나타난다. 취사 선택적으로, 상기 첫번째 이미지는 아직 획득되지 않은 현재의 “뷰파인더” 이미지이다. 전형적으로, 뷰파인더 이미지는 임 시적인 저장 버퍼에 존재하며, 때때로 메모리에 저장된 “획득된” 프레임들보다 더 낮은 해상도로 존재한다. 그리고나서 두번째 이미지(예컨대, 파노라믹 이미지에서 최근에 획득된 프레임)는 뷰잉 프레임의 부분에 오버레이될 수 있다. 취사 선택적으로, 오버레이드된 이미지는 현재의 뷰파인더 이미지에 혼합된다. 본 발명의 일실시예에서, 오버레이드된 이미지를 현재의 뷰파인더 이미지에 혼합하는 것은 패닝이 계속될 때 뷰파인더 이미지의 부분 상에 오버레이드될 수 있는 새로운 “두번째 이미지”를 생성한다. 이러한 방식으로, 사용자는 프레임 획득 동안 파노라마를 함께 잇는다.
취사 선택적으로, 사용자는 오버레이드될 두번째 이미지의 부분을 선택한다. 본 발명의 일실시예에서, 30~60% 오버레이는 정확한 정렬을 구하는 데 있어 사용자에게 도움을 준다. 취사 선택적으로, 오버레이 퍼센트에 있어 증가는 사용자 관리 정렬의 용이함에 기여한다. 본 발명의 일실시예에서, 사용자는 원하는 정렬이 달성될 때까지 카메라를 움직임으로써 두번째 오버레이드된 이미지에 관련된 상기 첫번째 이미지를 조작한다. 취사 선택적으로, 사용자 또는 카메라는 예를 들어, 픽셀 매칭에 의해 원하는 정렬이 달성될 때를 판단한다. 취사 선택적으로, 뷰파인더 이미지를 포함하는 첫번째 이미지는 원하는 정렬이 달성될 때 자동으로 획득된다. 본 발명의 일실시예에서, 스티칭 엔진162은 메모리에 두개의 이미지의 원하는 정렬을 자동으로 조절한다. 본 발명의 많은 실시예들에서, 스티칭 엔진162에 의한 자동적인 정렬은 사용자에 수행된 예비 정렬을 보충하거나 완성한다.
본 발명의 몇몇의 실시예들에서, 뷰파인더의 부분은 파노라믹 이미지의 미리 획득된 부분을 디스플레이하며, 사용자는 새로운 프레임 및 존재하는 부분 파노라믹 이미지 간에 바람직한 공간적 관계를 나타내도록 오버레이 정렬을 사용한다.
본 발명의 몇몇의 실시예들에서, 사용자는 파노라믹 모드에서 원래 획득되지 않은 또는 분리된 파노라마에 속하는 프레임들의 오버레이 정렬을 사용하여 파노라믹 이미지를 구성한다.
예시적인 이미지 전환
도 6은 본 발명의 일실시예에 따라 이미지의 전환을 위한 사용자 인터페이스600의 개략적인 도면이다. 도시된 예에서, 파노라믹 이미지660는 디스플레이 화면616 상에 나타난다. 본 발명의 일실시예에서, 사용자는 메뉴로부터 “전환”을 선택하여 반사 이미지 파노라마662가 디스플레이616상에 나타난다. 수평적인 전환이 도시되어 있지만, 수직적인 전환도 또한 본 발명의 범위 내에서 가능하다. 취사 선택적으로, 전환은 서로 다른 각도로부터 획득된 추가적인 프레임들의 결합을 허용하도록 수행될 수 있다.
예시적인 파노라믹 템플릿
본 발명의 일실시예에서, 파노라믹 이미지는 이동 전화 핸드셋의 디스플레이 상에 템플릿 내에 나타난다.
도 7은 본 발명의 실시예에 따라 템플릿700의 개략적인 도면이다. 도시된 템플릿700에서, 백그라운드 영역702은 파노라믹 이미지의 프레임1, 2 및 3 각각을 위한 개체틀(placeholder)710, 720 및 730을 포함한다. 취사 선택적으로, 사용자는 기준 파노라마에서 프레임을 함께 스티칭할 필요없이 미리 획득한 프레임을 개체틀 710, 720 및 730로 가져다 놓는다. 취사 선택적으로, 파노라마로부터 서로 다른 방위로 추가적인 프레임이 추가적인 개체틀740에 놓여진다.
본 발명의 일실시예에서, 프레임 분리대712, 722 및 732는 개체틀 간에 제공되어 모자이크 효과를 만들어낸다. 본 발명의 일실시예에서, 프레임 분리대는 인접한 프레임들 간에 불완전한 정렬을 적어도 부분적으로 마스크하는데 도움을 준다.
본 발명의 일실시예에서, 템플릿700은 부가적인 텍스트 입력을 위한 적어도 하나의 텍스트 박스750를 포함한다. 취사 선택적으로, 사용자는 폰트들 및/또는 스타일(예컨대, 이탤릭체, 밑줄 또는 굵기) 및/또는 효과(쉐도우, 3D 또는 애니메이션 효과들)를 사용하여 텍스트의 포맷을 지정할 수 있다.
본 발명의 일실시예에서, 사용자는 컬러 및/또는 텍스쳐 및/또는 필(fill) 효과(예컨대, 그래디언트(gradient), 홈파임(recessed) 및 이중인화(superimposed)) 및/또는 백그라운드 영역702를 위한 테마를 선택할 수 있다. 취사 선택적으로, 분리대712,722 및 732는 컬러 및/또는 텍스쳐 및/또는 필 효과의 특유의 표현으로 백그라운드 영역의 부분으로서 다루어진다.
취사 선택적으로, 백그라운드702 및/또는 분리대712,722 및 732는 백그라운드 및/또는 분리대들 상에서 이미지에 쉐도우를 주기 위해서 파노라믹 이미지에 대해 우묵히 들어간다.
취사 선택적으로, 백그라운드702 및/또는 분리대712,722 및 732는 이미지 상에 백그라운드 및/또는 분리대가 쉐도우를 주도록 파노라믹 이미지에 대해 이중인화된다.
본 발명의 일실시예에서, 사용자는 파노라마를 개체틀710, 720 및 730(취사 선택적으로 740)로 만들지 않도록 프레임들의 시리즈를 조합한다. 취사 선택적으로, 프레임들은 주제로 관련되지만(예컨대, 단일 위치로부터의 모든 사진들) 통상적인 파노라믹 이미지에서 프레임들처럼 할당된 공간적으로 지각이 아니다. 예를 들어, 알파인 샬레(Alpine chalet)에서의 관광객은 전면 베란다에서의 계곡의 경치, 샬레의 외관 경치 및 백그라운드에 계곡이 있는 자화상을 포함하는 프레임들을 개체틀710, 720 및 730로 조합하여, 관광의 테마-오-라마(theme-o-rama)를 만들어낸다.
예시적인 버추얼 3D 프로젝션
도 8은 하기 도시된 파노라믹 이미지들의 출력된 예시적인 버추얼 3D 프로젝션을 가지는 버추얼 3D 프로젝션 인터페이스를 위한 예시적인 사용자 인터페이스800의 개략적인 도면이다.
도 8의 상위 부분은 이동 핸드셋100의 디스플레이 화면816 상에서의 파노라믹 이미지860를 보여준다. 3D 면의 서로 다른 종류 상에서 프로젝션의 효과를 강조하기 위해, 이미지860는 왼쪽에서 오른쪽으로 나열된 정형화된 크기의 숫자1 내지 5를 포함한다. 취사 선택적으로, 메뉴820는 3D 프로젝션면의 리스트를 나타난다. 도시된 예시적인 예에서, 메뉴820는 볼록형(822), 오목형(824) 및 구형(826)의 세가지 종류를 포함한다. 메뉴820로부터 3D면의 선택은 상기에서와 같이 내비게이션 장치110를 통해 이루어질 수 있다.
도시된 세가지 3D면은 단지 예시이며 어떠한 면(예컨대, 얼굴) 또는 고형체 (예컨대, 입방체) 상에서의 프로젝션도 가능하다. 취사 선택적으로, 파노라믹 이미지들의 프로젝션을 위한 3D면의 라이브러리는 거기서 원격 서버상에서 이용 가능하며, 사용자드은 프로젝션을 위해 자신들의 핸드셋으로 서로 다른 면들을 다운로드할 수 있다.
도 8의 아래 부분은 각각 볼록형(822), 오목형(824) 및 구형(826)의 선택 결과를 출력한 예시적인 3D 프로젝션을 보여준다.
메뉴820로부터 볼록형 프로젝션면822의 선택은 수정된 파노라믹 이미지862를 생성한다. 이미지862에서, 중앙 부분(숫자 3으로 표현된)은 적절한 3D 프로젝션 공식을 사용하여 소스 이미지860의 해당 영역에 대하여 수정된다. 수정된 이미지862의 마지막 부분들은(숫자1 및 5로 표현된) 같은 프로젝션 알고리즘에 따라 소스 이미지860의 해당 영역에 대하여 수정된다. 이미지862의 사이의 부분들(숫자 2 및 4로 표현된)은 소스 이미지860의 해당 영역에 대하여 덜 수정된다. 취사 선택적으로, 원래의 파노라믹 이미지(프로젝션 이전) 및/또는 프로젝션된 이미지는 핸드셋의 메모리에 저장될 수 있으며 또는 다른 장치(예컨대, 추가적인 이동 전화 핸드셋)으로 전송된다.
메뉴820로부터 오목형 프로젝션면824의 선택은 수정된 파노라믹 이미지864를 생성한다. 이미지864에서, 중앙 부분(숫자 3으로 표현된)은 적절한 3D 프로젝션 알고리즘을 사용하여 소스 이미지860의 해당 영역에 대하여 수정된다. 수정된 이미지864의 마지막 부분들은(숫자1 및 5로 표현된) 같은 프로젝션 알고리즘에 따라 소스 이미지860의 해당 영역에 대하여 수정된다. 이미지864의 사이의 부분들(숫자 2 및 4로 표현된)은 소스 이미지860의 해당 영역에 대하여 덜 수정된다.
메뉴820로부터 구형 프로젝션면826의 선택은 수정된 파노라믹 이미지866를 생성한다. 이미지866에서, 중앙 부분(숫자 3으로 표현된)은 적절한 3D 프로젝션 알고리즘을 사용하여 수정된 이미지862에서보다 더 많이 소스 이미지860의 해당 영역에 대하여 수정된다. 수정된 이미지866의 마지막 부분들은(숫자1 및 5로 표현된) 수정된 이미지862에서 보다 더 많이 소스 이미지860의 해당 영역에 대하여 수정된다. 추가로, 수정된 이미지866는 끝부분(숫자 1 및 5로 표현된)에서 일어나는 상당한 압축을 가지는 가로방향 압축이 필요하다.
본 발명의 일실시예에서, 3D 프로젝션은 파노라믹 이미지의 보다 실제적인 외양에 기여한다. 취사 선택적으로, 사용자는 프로젝션각(예컨대, 카메라를 움직임으로써)을 변화시킬 수 있어 현실 장면에서 그들의 머리를 돌리는 것을 흉내낸다. 본 발명의 일실시예에서, 파노라믹의 단지 한 부분이 디스플레이 화면 상에 나타나며, 사용자는 선택된 프로젝션각을 변화시킴으로써 현재의 부분을 바꿀 수 있다. 취사 선택적으로, 선택된 프로젝션각을 변화시킴으로써 현재의 부분을 바꾸는 것은 실제 세계 느낌을 흉내낸다. 취사 선택적으로, 굴곡(curvature)의 정도 및/또는 굴곡의 규칙은 사용자에 의해 조절될 수 있다. 취사 선택적으로, 사용자는 프로젝트된 이미지를 확대 및 축소할 수 있다.
예시적인 파노라믹 매트릭스들
상기 설정된 예들에서, “파노라믹 이미지” 용어는 파노라마를 생성하기 위해 점-대-점(또는 코너-대-코너)으로 조합된 프레임들의 선형의 시리즈들을 나타내 었다. 본 발명의 일실시예에서, 두 직각적인 면에서의 파노라믹인 이미지는 매트릭스에서 배열된 프레임들의 시리즈를 획득함으로써 생성된다. 비록 더 큰 매트릭스들 및/또는 두개의 직각면에서보다 하나의 직각면에서 더 큰 매트릭스들이 본 발명의 범위 내에 존재하지만 여기서는 예시적인 3×3 매트릭스가 나타난다. 매트릭스에서 이미지 프레임들의 수는 전형적으로 이미지 해상도, 이용 가능한 메모리, 이용가능한 컴퓨팅 능력 및 카메라 모션 엔진164의 민감도 또는 가속도계 간에 상호 작용에 의해 영향받는다. 앞선 프레임과 다음 프레임의 정렬은 취사 선택적으로 상기에서 서술된 사용자 인터페이스에 따른다.
비록 프레임들이 이하에서는 예시적으로 사각형으로서 도시되지만, 각각의 프레임은 임의의 H:W의 가로세로 비를 가질 수 있다: 폭에 대한 길이 비율. 본 발명의 일실시예에서, 카메라 모션 엔진164는 각각의 프레임들의 가로세로 비를 고려하도록 프로그램된다. 취사 선택적으로, 가로세로 비 및/또는 패닝 방향은 언제 다음 프레임을 획득할 지가 결정될 때 카메라 모션 엔진164에 의해 고려되어진다.
도 9a 내지 도 9c는 예시적인 3×3 파노라믹 매트릭스에서 프레임들의 획득을 위한 서로 다른 예시적인 시퀀스를 개략적으로 나타낸 도면이다.
도 9a는 사용자가 원하는 이미지 영역의 코너(이 예에서 제일 위의 왼쪽)에서 시작하는 예시적인 획득 시퀀스900을 도시한다. 프레임1을 획득한 후에, 사용자는 프레임2를 획득하기 위해 제1방향(이 예에서 오른쪽)으로 팬하고 프레임3을 획득하기 위해 팬을 계속한다. 프레임3을 획득한 후에, 사용자는 프레임1이 다시 보일 때까지 되돌아서(이 예에서 왼쪽) 팬한다. 그리고나서 사용자는 다시 제1방향으 로 팬하여(이 예에서 오른쪽) 프레임5 및 6을 캡쳐한다. 프레임6을 획득한 후, 사용자는 다시 프레임4가 보일 때까지 되돌아서(이 예에서는 왼쪽) 팬하며, 그리고나서 프레임7을 획득하기 위해 아래쪽으로 팬한다. 그러면 사용자는 프레임8 및 9를 캡쳐하기 위해 오른쪽으로 팬하고, 매트릭스가 완성된다. 프레임3 뒤에서 프레임1 및 프레임6의 뒤에서 프레임4로의 왼쪽 방향으로의 패닝은 사용자에 의해 불합리한 것처럼 인식될 수 있다.
도 9b는 사용자가 원하는 이미지 영역의 중앙에서 시작하는 예시적인 획득 시퀀스902를 도시한다. 프레임1을 획득한 후, 사용자는 제1방향으로 팬하여(이 예에서 오른쪽) 프레임2를 획득한다. 그리고나서 사용자는 제1방향과 직각을 이루는 방향(이 예에서 위쪽)으로 팬하여 프레임3을 획득한다. 그리고나서 사용자는 제1방향에 대해 반대 방향(이 예에서 왼쪽)으로 팬하여 프레임4 및 5를 획득한다. 그리고나서 사용자는 상기 두번째방향에 반대 방향(이 예에서 아래쪽)으로 팬하여 프레임6 및7을 획득한다. 그리고나서 사용자는 제1방향으로 패닝을 재개하여 프레임8 및9를 획득한다. 이러한 예시적인 획득 시퀀스는 비록 패닝 방향에 4번의 변경이 포함되지만 이전에 획득한 프레임들을 되돌아가 패닝하는 것을 제거한다.
도 9c는 사용자가 원하는 이미지 영역의 코너(이 예에서 왼쪽 상단)에서 시작하는 예시적인 획득 시퀀스904를 도시한다. 프레임1을 획득한 후, 사용자는 프레임2를 획득하기 위해 제1방향(이 예에서 오른쪽)으로 팬하고 프레임3 획득을 위한 팬을 계속한다. 프레임3을 획득한 후, 사용자는 프레임 4를 획득하기 위해 직각 방향(이 예에서 아래쪽)으로 팬하고 나서 다시 프레임5 및 6을 획득하기 위해 되돌 아(이 예에서 왼쪽) 팬한다. 프레임6을 획득한 후, 사용자는 프레임7을 획득하기 위해 직각 방향으로 팬하고 프레임8 및 9를 획득하기 위해 상기 제1방향으로 패닝을 재개한다.
도 9d는 원하는 이미지 영역의 코너(이 예에서 왼쪽 상단)에서 시작하며 그 이미지 영역의 중앙에서 마지막 프레임을 획득하는 예시적인 획득 시퀀스900를 도시한다. 프레임1을 획득한 후, 사용자는 프레임2를 획득하기 위해 제1방향(잉 예에서 아래쪽)으로 팬하고 프레임3을 획득하기 위해 팬을 계속한다. 프레임3의 획득 이후, 사용자는 프레임4 및5를 획득하기 위해 직각 방향(이 예에서 오른쪽)으로 팬하고 나서 프레임6 및 7을 획득하기 위해 반대 방향(이 예에서 위쪽)으로 팬한다. 프레임7을 획득한 후, 사용자는 프레임8을 획득하기 위해 프레임1을 향하여(이 예에서 왼쪽) 되돌아 팬하고 프레임9를 획득하기 위해 상기 첫번째 방향으로 패닝을 재개한다.
본 발명의 몇몇의 실시예에서, 매트릭스의 한 부분은 흥미롭다. 도 9c를 다시 참조하면, 취사 선택적으로 사용자는 프레임3을 획득함으로써 시작하여, 프레임 4,5,7,8 및 9를 획득하여 삼각형에 가까우면서 2개의 직각 방향들에서 파노라믹인 이미지를 생성한다. 대안적으로(도 9d를 참조하면), 사용자가 프레임1을 획득함으로써 시작하여, 프레임2,3,4 및 5를 획득하여 2개의 직각 방향들에서 파노라믹인 “L”형태의 이미지를 생성한다.
3D 물체들의 예시적인 플랫 프로젝션
본 발명의 일실시예에서, 3D면의 플랫 파노라믹 이미지가 제공된다. 예를 들 어, 빌딩의 둘 또는 셋 또는 네측면들이 하나의 플랫 파노라믹 이미지에 프레임들로서 도시될 수 있다.
일반적
본 발명의 일실시예에서, 하드웨어 센서(예컨대, 엑셀레이터들)들은 적어도 부분적으로 카메라 모션 엔진164의 기능들을 대체한다.
본 발명의 일실시예에서, 사용자가 인지할 수 있는 “전단 특징들(front end features)”은 하나 이상의 “후단(back end)” 특징들과 함께 동작한다. 취사 선택적으로, 후단 특징들은 적어도 부분적으로 지각할 수 없으며, 취사 선택적으로 사용자에게 충분히 완벽하게 지각할 수 없는 것이다. 본 발명의 일실시예에서, 사용자는 후단 특징들로부터 도출된 향상된 이미지 질을 인식한다. 취사 선택적으로, 후단 특징들의 동작은 두드러지게 불리하게 카메라 및/또는 핸드셋 기능에 영향을 미치지 않는다.
본 발명의 몇몇 실시예들에 적용된 하나의 예시적인 후단 특징은 두 개 이상의 파노라믹 이미지의 프레임들 사이에서 스티칭을 위한 가이드로서 점증적인 카메라 모션의 사용을 포함한다. 취사 선택적으로, 점증적인 카메라 모션은 스티칭을 위한 초기 정렬을 제공하며 스티칭 알고리즘은 누적인 카메라 모션에 의해 제안된 스티치 라인에 근접한 픽셀들의 분석을 기반으로 한 정렬에 있어 뛰어난 조정들을 만든다.
본 발명의 몇몇 실시예들에 적용된 다른 예시적인 후단 특징은 카메라 모션 엔진이 파노라믹 이미지를 위한 알맞은 다음 프레임이 시야에 들어온다고 느낄 때 카메라에 의한 자동적인 이미지 캡쳐를 포함한다. 취사 선택적으로, 다음 프레임의 초기 캡쳐는 낮은 해상도이며 또는 몇몇의 결점(예컨대, 모션, 또는 블러(blur))을 포함한다. 본 발명의 일실시예에서, 만일 사용자가 시야에 동일한 다음 프레임을 유지한다면, 카메라는 자동적으로 하나 이상의 추가적인 이미지들을 획득한다. 취사 선택적으로, 파노라믹 이미지가 조합될 때, 각각의 프레임들을 위한 “최적의 이미지”는 파노라마에서 혼합을 위해 선택된다. 본 발명의 다양한 실시예들에 따르면, 최적의 이미지의 선택은 하나 이상의 이미지 질의 매개 측정들을 기반으로 한다. 이미지 질의 매개 측정은 가파름(sharpness)의 측정, 다이나믹 범위(dynamic range), 대비(contrast) 및 화이트 밸런스(white balance)를 포함하며, 이에 한정되지 않는다. 취사 선택적으로, 만일 좋지 않은 부분들이 가장자들에 가까이 있다면, 오버랩의 정도는 조합된 파노라믹 이미지를 향상하도록 변화될 수 있다.
본 발명의 몇몇 실시예들에 적용된 다른 예시적인 후단 특징은 파노라믹 이미지의 프레임들에 대한 기저장 처리의 적용을 포함한다. 본 발명의 일실시예에서, 획득된 프레임들은 하나 이상의 프로젝션 시뮬레이션(예컨대, 원통(cylindrical)), 강도, 컬러 보정 및 메모리에 이전에 저장된 레지스트레이션 계산들을 위해 처리된다. 취사 선택적으로, 처리는 조합된 파노라마가 파노라믹 범위에 걸쳐 균일한 양상을 가지도록 하기 위해 프레임들이 다른 것과 보다 유사하게 만들어지도록 적용된다. 취사 선택적으로, 전처리는 효율성에 있어 증가에 기여한다. 본 발명의 일실시예에서, “메모리에 저장” 처리 동안 정상적으로 손실될지도 모르는 데이터의 보존이 증가할 때 효율성이 증가한다.
숫자 지시자들의 다양성은 상기 설명에서와 같이 유용하다. 이러한 숫자 지시자들은 엔지니어링 원리들, 물질, 의도된 사용 및 발명에 결합되는 디자인의 다양성을 기반으로 더 다양하게 변화될 수 있다고 이해될 수 있다. 대안적으로, 또는 추가적으로, 이용가능한 컴퓨팅 능력 및/또는 이동 전화 핸드셋에서의 메모리가 더 커질 경우, 상기에 기술한 숫자 제한은 느슨해질 수 있다. 추가적으로, 구성요소들 및/또는 본 발명의 예시적인 예들에 기인하며 단일 유닛이 서브유닛들로 구분되듯이 도시되었다. 반대로, 구성요소들 및/또는 본 발명의 예시적인 예들에 기인하며 서브 유닛들이 기술된/도시된 기능을 가지는 하나의 유닛으로 결합되듯이 도시되었다.
대안적으로, 또는 추가적으로, 방법을 설명하기 위해 사용된 특징들은 장치를 특징 지우는 데에도 사용될 수 있으며, 장치를 기술하는데 사용된 특징들도 방법을 특징 지우는 데에도 사용될 수 있다.
대안적으로, 또는 추가적으로, 상기에서 기술된 다양한 방법들은 소프트웨어 또는 하드웨어 또는 이동 전화 핸드셋 하드웨어에 통합된 것처럼 취사 선택적으로 제공될 수 있다.
상기에서 기술한 개별적인 특징들은 모든 가능성있는 조합 및 본 발명의 실시예들을 생성하기 위한 서브 조합들로 조합될 수 있음이 더 이해되어야만 할 것이다. 상기에서 주어진 예들은 순수하게 실례가 되며 단지 하기 청구항들에 의해 정의되는 본 발명의 범위를 제한하려는 것이 아니다.
여기서 사용되는 “포함하다(include)”. “ 이루어지다(comprise)” 및 “ 가지다(have)”라는 용어들 및 그들의 활용은 “한정되지 않게 포함하는”을 의미한다.
여기서 사용되는 “선택하다(select)”, “선택(selection)”, “고르다(choose)” 및 “지시하다(indicate)”라는 용어들 및 그들의 활용은 컴퓨터화된 인터페이스들에서 공통적으로 실시된 것처럼 아이콘들 및/또는 텍스트를 포함하는 메뉴로부터의 선택에 관련된다.
이하, 첨부 도면을 참조로 본 발명을 설명할 것인데, 이는 단지 예시일 뿐이다. 도면들 중 동일하고 유사한 구조들, 구성 요소들 또는 부분들은 도시된 도면들에서 같거나 유사한 참조들을 가지는 부호들로 나타내어진다. 도면들에서 보여지는 구성 요소들 및 특징들의 범위는 우선적으로 유용성과 프리젠테이션의 명확성을 위해 선택되며 반드시 범위가 정해지는 것은 아니다. 첨부된 도면들은 다음과 같다:
도 1a 및 도 1b는 본 발명의 일실시예에 따른 파노라믹 이미징 인터페이스를 제공하는데 적합한 이동 전화기의 각각의 전면과 후면을 개략적으로 도시한 도면,
도 2a 내지 도 2d는 본 발명의 다양한 실시예에 따른 파노라마 사진 획득 및 조작의 예시적인 방법을 도시한 흐름도,
도 3a 내지 도 3d는 본 발명의 일실시예에 따른 파노라마 이미지의 프레임들의 획득을 위한 이동 전화기 사용자 인터페이스를 나타낸 도면,
도 4는 본 발명의 일실시예에 따른 이미지에 그래픽 “스티커”의 어플리케이션을 나타낸 도면,
도 5는 본 발명의 일실시예에 따른 저장된 이미지의 시리즈로부터 추가적인 이미지를 이미지에 블렌딩하는 것을 나타낸 도면,
도 6은 본 발명의 일실시예에 따른 이미지의 반전을 나타낸 도면,
도 7은 본 발명의 일실시예에 따른 파노라마의 모자이크 템플릿을 나타낸 도면,
도 8은 예시적인 버추얼 3D 프로젝션 인터페이스 및 예시적인 3D 프로젝션 출력을 나타낸 도면,
도 9a 내지 도 9d는 예시적인 파노라믹 매트릭스에서 프레임들의 획득을 위한 서로 다른 예시적인 시퀀스를 개략적으로 나타낸 도면.

Claims (10)

  1. 카메라에서 복수개의 프레임들로부터 파노라믹 이미지를 조합하는 방법에 있어서,
    카메라를 사용하여 비디오 스트림을 획득하는 과정과,
    스틸 이미지로서 캡쳐를 위해 상기 비디오 스트림으로부터 초기 프레임을 선택하는 과정과,
    적어도 하나의 추가적인 프레임을 더 선택하는 과정과,
    상기 카메라에서 상기 초기 프레임에 대해 상기 적어도 하나의 추가적인 프레임을 스티칭하여 파노라믹 이미지를 생성하는 과정을 포함하고, 상기 적어도 하나의 추가적인 프레임을 더 선택하는 과정은,
    상기 적어도 하나의 추가적인 프레임의 정렬을 위한 다음 프레임 테두리를 상기 카메라의 디스플레이 상에 제공하는 과정과;
    상기 카메라가 수평 또는 수직 방향으로 이동할 때 상기 다음 프레임 테두리를 수평 또는 수직 방향으로 이동시켜서, 수평 또는 수직 방향에서 상기 적어도 하나의 추가적인 프레임의 정렬 정도를 나타내는 과정과;
    상기 적어도 하나의 추가적인 프레임이 상기 다음 프레임 테두리와 정렬될 때, 스틸 이미지로서 캡쳐를 위해 상기 비디오 스트림으로부터 상기 적어도 하나의 추가적인 프레임을 선택하는 과정을 포함함을 특징으로 하는 파노라믹 이미지를 조합하는 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 더 선택하는 과정은, 오버레이 정렬을 포함함을 특징으로 하는 파노라믹 이미지를 조합하는 방법.
  5. 제1항에 있어서, 상기 더 선택하는 과정은, 카메라 모션의 검출을 포함함을 특징으로 하는 파노라믹 이미지를 조합하는 방법.
  6. 제5항에 있어서, 카메라 모션을 기반으로 하는 피드백을 제공하는 과정을 더 포함함을 특징으로 하는 파노라믹 이미지를 조합하는 방법.
  7. 제1항에 있어서,
    상기 카메라의 메모리에 상기 파노라믹 이미지를 저장하는 과정과,
    프로젝션 알고리즘을 적용하여 상기 디스플레이 상에서 상기 파노라믹 이미지의 버추얼 3D 프로젝션을 생성하는 과정을 포함함을 특징으로 하는 파노라믹 이미지를 조합하는 방법.
  8. 제7항에 있어서, 상기 프로젝션 알고리즘은 사용자가 프로젝션 각도를 변경하도록 함을 특징으로 하는 파노라믹 이미지를 조합하는 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 프레임은 서로 다른 위치로부터 획득되는 것임을 특징으로 하는 파노라믹 이미지를 조합하는 방법.
  10. 복수개의 프레임들로부터 파노라믹 이미지를 조합하는 카메라에 있어서,
    비디오 스트림을 제공하는 비디오 획득 모듈과,
    스틸 이미지로서 캡쳐를 위해 상기 비디오 스트림으로부터 초기 프레임을 획득하는 선택 모듈과,
    사용자가 적어도 하나의 추가적인 프레임을 선택하도록 가이드하는 사용자 인터페이스와,
    상기 초기 프레임에 상기 적어도 하나의 추가적인 프레임을 스티칭하여 파노라믹 이미지를 생성하는 스티칭 모듈을 포함하고,
    상기 사용자 인터페이스는 상기 적어도 하나의 추가적인 프레임의 정렬을 위한 다음 프레임 테두리를 상기 카메라의 디스플레이 상에 제공하고,
    상기 사용자 인터페이스는 상기 카메라가 수평 또는 수직 방향으로 이동할 때 상기 다음 프레임 테두리를 수평 또는 수직 방향으로 이동시켜서, 수평 또는 수직 방향에서 상기 적어도 하나의 추가적인 프레임의 정렬 정도를 나타내고,
    상기 적어도 하나의 추가적인 프레임이 상기 다음 프레임 테두리와 정렬될 때, 스틸 이미지로서 캡쳐를 위해 상기 비디오 스트림으로부터 상기 적어도 하나의 추가적인 프레임이 선택됨을 특징으로 하는 카메라.
KR1020080064009A 2007-07-18 2008-07-02 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라 KR101458645B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP08160270.8A EP2018049B1 (en) 2007-07-18 2008-07-11 Method of assembling a panoramic image and camera therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/826,767 US8717412B2 (en) 2007-07-18 2007-07-18 Panoramic image production
US11/826,767 2007-07-18

Publications (2)

Publication Number Publication Date
KR20090009108A KR20090009108A (ko) 2009-01-22
KR101458645B1 true KR101458645B1 (ko) 2014-11-05

Family

ID=40264501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080064009A KR101458645B1 (ko) 2007-07-18 2008-07-02 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라

Country Status (2)

Country Link
US (1) US8717412B2 (ko)
KR (1) KR101458645B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101883680B1 (ko) * 2017-06-29 2018-07-31 주식회사 루씨드드림 컨텐츠 저작장치 및 컨텐츠 재생장치, 이를 이용한 컨텐츠 저작방법 및 컨텐츠 재생방법
KR101908068B1 (ko) 2018-07-24 2018-10-15 주식회사 루씨드드림 360° vr 컨텐츠 저작 및 재생 시스템

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
KR101312895B1 (ko) * 2007-08-27 2013-09-30 재단법인서울대학교산학협력재단 파노라마 사진 촬영 방법
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5116514B2 (ja) * 2008-03-11 2013-01-09 キヤノン株式会社 撮像装置および表示制御方法
US8160391B1 (en) * 2008-06-04 2012-04-17 Google Inc. Panoramic image fill
CA2645745A1 (en) * 2008-11-28 2010-05-28 Norman Yakel Portable image capture and manipulation device with integrated projection display
US9300834B2 (en) 2009-05-20 2016-03-29 Dacuda Ag Image processing for handheld scanner
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9792012B2 (en) 2009-10-01 2017-10-17 Mobile Imaging In Sweden Ab Method relating to digital images
JP5418127B2 (ja) * 2009-10-09 2014-02-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101164353B1 (ko) * 2009-10-23 2012-07-09 삼성전자주식회사 미디어 콘텐츠 열람 및 관련 기능 실행 방법과 장치
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
WO2011069698A1 (en) 2009-12-11 2011-06-16 Tessera Technologies Ireland Limited Panorama imaging
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US20110216157A1 (en) * 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
US8600114B2 (en) * 2010-03-19 2013-12-03 Sony Corporation Image processing apparatus and image processing method
JP5383576B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 撮像装置、撮像方法およびプログラム
JP5663934B2 (ja) * 2010-04-09 2015-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5261438B2 (ja) * 2010-06-03 2013-08-14 本田技研工業株式会社 作業手順表示方法及び作業手順表示システム
US8488040B2 (en) 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
JP5724230B2 (ja) * 2010-07-07 2015-05-27 ソニー株式会社 表示制御装置、表示制御方法、プログラム
JP2012068380A (ja) * 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5853359B2 (ja) 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP2012124739A (ja) * 2010-12-09 2012-06-28 Sony Corp 画像処理装置および画像処理方法
EP2660754A4 (en) * 2010-12-27 2018-01-17 Hanwang Technology Co., Ltd. Device and method for scanning and recognizing
KR101040532B1 (ko) * 2011-01-31 2011-06-16 삼성탈레스 주식회사 적외선 파노라믹 영상을 전송하기 위한 대조비 개선 장치 및 방법
KR101723642B1 (ko) * 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
EP2693736A4 (en) * 2011-03-30 2014-08-27 Nec Casio Mobile Comm Ltd IMAGING APPARATUS, METHOD FOR DISPLAYING A PHOTOGRAPHIC INSTRUCTION FOR THE IMAGING APPARATUS AND NON-TRANSITORY COMPUTER READABLE MEDIUM
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8860816B2 (en) 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US9007429B2 (en) * 2011-04-06 2015-04-14 Casio Computer Co., Ltd. Image processing device capable of generating wide-range image
US20120268554A1 (en) * 2011-04-22 2012-10-25 Research In Motion Limited Apparatus, and associated method, for forming panoramic image
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US8957944B2 (en) * 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
KR101784176B1 (ko) * 2011-05-25 2017-10-12 삼성전자주식회사 영상 촬영 장치 및 그 제어방법
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
KR101777354B1 (ko) 2011-06-20 2017-09-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
JP2013034081A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
US9282242B2 (en) * 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
JP2013074572A (ja) * 2011-09-29 2013-04-22 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
KR101804199B1 (ko) * 2011-10-12 2017-12-05 삼성전자주식회사 입체 파노라마 영상을 생성하는 장치 및 방법
US9495773B2 (en) * 2011-10-24 2016-11-15 Nokia Technologies Oy Location map submission framework
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108119A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130106990A1 (en) * 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
EP2595393B1 (en) * 2011-11-15 2015-03-11 ST-Ericsson SA Rectified stereoscopic 3d panoramic picture
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
EP2817785B1 (en) 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US20130237281A1 (en) * 2012-03-06 2013-09-12 Concero, Llc Communication Methods and Devices for the Infirm
US9277013B2 (en) 2012-05-10 2016-03-01 Qualcomm Incorporated Storing local session data at a user equipment and selectively transmitting group session data to group session targets based on dynamic playback relevance information
US20130300821A1 (en) * 2012-05-10 2013-11-14 Qualcomm Incorporated Selectively combining a plurality of video feeds for a group communication session
US9444564B2 (en) 2012-05-10 2016-09-13 Qualcomm Incorporated Selectively directing media feeds to a set of target user equipments
US9749524B1 (en) 2012-05-25 2017-08-29 Apple Inc. Methods and systems for determining a direction of a sweep motion
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US10681304B2 (en) * 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US20150172544A1 (en) * 2012-07-04 2015-06-18 Zhipin Deng Panorama based 3d video coding
US9870504B1 (en) * 2012-07-12 2018-01-16 The United States Of America, As Represented By The Secretary Of The Army Stitched image
JP6137800B2 (ja) * 2012-09-26 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
WO2014064783A1 (ja) * 2012-10-24 2014-05-01 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
KR20140081470A (ko) * 2012-12-21 2014-07-01 삼성전자주식회사 문자 확대 표시 방법, 상기 방법이 적용되는 장치, 및 상기 방법을 수행하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체
US9662564B1 (en) * 2013-03-11 2017-05-30 Google Inc. Systems and methods for generating three-dimensional image models using game-based image acquisition
US9036943B1 (en) * 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
US20140300686A1 (en) * 2013-03-15 2014-10-09 Tourwrist, Inc. Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
GB2512621A (en) 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
US10021295B1 (en) * 2013-06-03 2018-07-10 Amazon Technologies, Inc. Visual cues for managing image capture
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US9343043B2 (en) 2013-08-01 2016-05-17 Google Inc. Methods and apparatus for generating composite images
KR102047703B1 (ko) * 2013-08-09 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
EP3039617B1 (en) 2013-08-31 2020-05-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
TWI611692B (zh) * 2013-09-18 2018-01-11 佳能企業股份有限公司 電子裝置及影像顯示方法
EP3089102B1 (en) 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
EP3748953B1 (en) 2014-01-07 2024-04-17 ML Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
US10410321B2 (en) 2014-01-07 2019-09-10 MN Netherlands C.V. Dynamic updating of a composite image
CN105284122B (zh) * 2014-01-24 2018-12-04 Sk 普兰尼特有限公司 用于通过使用帧聚类来插入广告的装置和方法
US20150271400A1 (en) * 2014-03-19 2015-09-24 Htc Corporation Handheld electronic device, panoramic image forming method and non-transitory machine readable medium thereof
WO2015173173A1 (en) 2014-05-12 2015-11-19 Dacuda Ag Method and apparatus for scanning and printing a 3d object
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
KR102399049B1 (ko) * 2015-07-15 2022-05-18 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
KR20170011190A (ko) * 2015-07-21 2017-02-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP3133369B1 (en) 2015-08-19 2017-12-20 Mitutoyo Corporation Methods for measuring a height map of multiple fields of view and combining them to a composite height map with minimized sensitivity to instrument drift
US10877438B2 (en) * 2016-01-07 2020-12-29 Magic Leap, Inc. Dynamic fresnel projector
US10257417B2 (en) 2016-05-24 2019-04-09 Microsoft Technology Licensing, Llc Method and apparatus for generating panoramic images
RU2626551C1 (ru) * 2016-06-07 2017-07-28 Общество с ограниченной ответственностью "СИАМС" Способ формирования панорамных изображений из видеопотока кадров в режиме реального времени
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US10324973B2 (en) 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US10339688B2 (en) * 2016-07-28 2019-07-02 Cyberlink Corp. Systems and methods for rendering effects in 360 video
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
JP6725675B2 (ja) * 2016-10-07 2020-07-22 富士フイルム株式会社 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置
US10176615B2 (en) * 2016-12-13 2019-01-08 Topcon Corporation Image processing device, image processing method, and image processing program
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10171695B1 (en) * 2017-06-14 2019-01-01 Intuit Inc. Out-of bounds detection of a document in a live camera feed
US10257375B2 (en) 2017-06-14 2019-04-09 Intuit, Inc. Detecting long documents in a live camera feed
US20190007672A1 (en) * 2017-06-30 2019-01-03 Bobby Gene Burrough Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
CN109068207B (zh) * 2018-07-04 2023-05-09 广州希脉创新科技有限公司 一种耳机及耳机系统
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN112640418A (zh) * 2018-10-05 2021-04-09 谷歌有限责任公司 全景图捕获用户界面的按比例缩小捕获预览
US10986287B2 (en) 2019-02-19 2021-04-20 Samsung Electronics Co., Ltd. Capturing a photo using a signature motion of a mobile device
CN113748667A (zh) * 2019-04-01 2021-12-03 思杰系统有限公司 自动图像捕获
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US10726630B1 (en) * 2019-06-28 2020-07-28 Capital One Services, Llc Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US10922877B2 (en) 2019-07-01 2021-02-16 Samsung Electronics Co., Ltd. Higher-order function networks for learning composable three-dimensional (3D) object and operating method thereof
DK202070612A1 (en) 2020-02-14 2021-10-26 Apple Inc User interfaces for workout content
JP2023527695A (ja) 2020-05-11 2023-06-30 マジック リープ， インコーポレイテッド ３ｄ環境の合成表現を算出するための算出上効率的方法
US11509837B2 (en) 2020-05-12 2022-11-22 Qualcomm Incorporated Camera transition blending
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
JP2022043930A (ja) * 2020-09-04 2022-03-16 キヤノン株式会社 電子機器
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
EP4067818B1 (en) * 2021-03-30 2024-08-28 Hexagon Technology Center GmbH Measuring system with panoramic image acquisition functionality
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN116684715B (zh) * 2023-07-31 2023-12-12 北京凌空天行科技有限责任公司 一种火箭图像采集系统及采集方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050022139A1 (en) * 2003-07-25 2005-01-27 David Gettman Information display
US20060062564A1 (en) * 2004-04-06 2006-03-23 Dalton Dan L Interactive virtual reality photo gallery in a digital camera
US20070025723A1 (en) * 2005-07-28 2007-02-01 Microsoft Corporation Real-time preview for panoramic images

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6080422A (en) * 1995-10-11 2000-06-27 Talaria Therapeutics, Inc. Methods of angioplasty and cardiac catheterization
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US5907626A (en) * 1996-08-02 1999-05-25 Eastman Kodak Company Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh
US6699231B1 (en) * 1997-12-31 2004-03-02 Heartport, Inc. Methods and apparatus for perfusion of isolated tissue structure
US6304284B1 (en) 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
KR100286306B1 (ko) 1998-04-07 2001-04-16 구자홍 디지털스틸카메라의파노라마사진촬영방법
US6717608B1 (en) * 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
US20010028798A1 (en) * 2000-03-06 2001-10-11 Manowitz Neal J. System and method for utilizing a motion detector when capturing visual information
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
US20020107504A1 (en) * 2001-02-06 2002-08-08 Gordon Lucas S. Apparatus for local drug delivery in limb
US7006707B2 (en) * 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
US20060062487A1 (en) * 2002-10-15 2006-03-23 Makoto Ouchi Panorama synthesis processing of a plurality of image data
JP4048907B2 (ja) * 2002-10-15 2008-02-20 セイコーエプソン株式会社 複数の画像データのパノラマ合成
JP3962676B2 (ja) * 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
US20040189849A1 (en) * 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
JP2004334843A (ja) * 2003-04-15 2004-11-25 Seiko Epson Corp 複数の画像から画像を合成する方法
WO2004093011A1 (ja) * 2003-04-17 2004-10-28 Seiko Epson Corporation 複数のフレーム画像からの静止画像の生成
JP2005123667A (ja) * 2003-10-14 2005-05-12 Seiko Epson Corp 複数の画像データからの静止画像データの生成
US7746375B2 (en) 2003-10-28 2010-06-29 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
US7606441B2 (en) * 2003-11-27 2009-10-20 Seiko Epson Corporation Image processing device and a method for the same
JP2007529794A (ja) 2004-03-03 2007-10-25 バーチャル アイリス スタジオ，インク． 画像の配信および対話型操作を可能にするシステム
US8411902B2 (en) * 2004-04-07 2013-04-02 Hewlett-Packard Development Company, L.P. Providing a visual indication of the content of a video by analyzing a likely user intent
EP1613060A1 (en) 2004-07-02 2006-01-04 Sony Ericsson Mobile Communications AB Capturing a sequence of images
JP2008506447A (ja) 2004-07-14 2008-03-06 バイ−パス， インコーポレイテッド 材料送達システム
KR100630007B1 (ko) 2004-07-15 2006-09-27 엘지전자 주식회사 파노라마 사진 촬영 방법
US7558618B1 (en) * 2005-01-18 2009-07-07 Darin S Williams Method for extracting images of vascular structure and blood flow from image sequences
US7646400B2 (en) * 2005-02-11 2010-01-12 Creative Technology Ltd Method and apparatus for forming a panoramic image
US7653264B2 (en) * 2005-03-04 2010-01-26 The Regents Of The University Of Michigan Method of determining alignment of images in high dimensional feature space
WO2006114783A2 (en) 2005-04-28 2006-11-02 Bypass, Inc. Material delivery system
WO2006122189A2 (en) 2005-05-10 2006-11-16 Stafford Gregory R Method, device and system for capturing digital images in a variety of settings and venues
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7864982B2 (en) * 2005-08-22 2011-01-04 Samsung Electronics Co., Ltd. Displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
KR100653200B1 (ko) * 2006-01-09 2006-12-05 삼성전자주식회사 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050022139A1 (en) * 2003-07-25 2005-01-27 David Gettman Information display
US20060062564A1 (en) * 2004-04-06 2006-03-23 Dalton Dan L Interactive virtual reality photo gallery in a digital camera
US20070025723A1 (en) * 2005-07-28 2007-02-01 Microsoft Corporation Real-time preview for panoramic images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101883680B1 (ko) * 2017-06-29 2018-07-31 주식회사 루씨드드림 컨텐츠 저작장치 및 컨텐츠 재생장치, 이를 이용한 컨텐츠 저작방법 및 컨텐츠 재생방법
KR101908068B1 (ko) 2018-07-24 2018-10-15 주식회사 루씨드드림 360° vr 컨텐츠 저작 및 재생 시스템

Also Published As

Publication number Publication date
KR20090009108A (ko) 2009-01-22
US8717412B2 (en) 2014-05-06
US20090021576A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
KR101458645B1 (ko) 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라
EP2018049B1 (en) Method of assembling a panoramic image and camera therefor
US10891771B2 (en) Information processing apparatus for creating an animation from a spherical image
JP5340895B2 (ja) 画像データ作成支援装置および画像データ作成支援方法
JP4928670B2 (ja) ディジタルカメラのディスプレイ用ポインティング・デバイス
KR101923788B1 (ko) 인터랙티브 이미지 합성
KR100279140B1 (ko) 촬상장치 및 촬상화상 가공장치
CN112492209B (zh) 拍摄方法、拍摄装置和电子设备
JPH10240436A (ja) 情報処理装置および記録媒体
JP2011139282A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR20010100929A (ko) 촬상장치
US20150070526A1 (en) Display control device, display control method, and program
CN108449542A (zh) 电子设备
JPH11196362A (ja) 撮像装置および撮像画像加工方法
JP2013009189A (ja) 撮影装置および撮像方法
JP4635477B2 (ja) 画像撮影装置、擬似３次元画像生成方法、及び、プログラム
JP5313043B2 (ja) 撮影条件制御装置、カメラ、プログラム
JP2006129101A (ja) 画像のトリミング方法、撮像装置、画像処理装置、及びプログラム
CN114339029B (zh) 拍摄方法、装置及电子设备
JP2007174301A (ja) 画像撮影装置
CN112887603B (zh) 拍摄预览方法、装置及电子设备
JP2004072677A (ja) 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
JP2004173300A (ja) 撮像装置および撮像画像加工方法
JP2008065851A (ja) 情報処理装置および記録媒体
JP4274547B2 (ja) 電子機器の設定画面表示方法及び電子機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 5