KR20090009114A - 합성 이미지 구성 방법 - Google Patents

합성 이미지 구성 방법 Download PDF

Info

Publication number
KR20090009114A
KR20090009114A KR1020080068195A KR20080068195A KR20090009114A KR 20090009114 A KR20090009114 A KR 20090009114A KR 1020080068195 A KR1020080068195 A KR 1020080068195A KR 20080068195 A KR20080068195 A KR 20080068195A KR 20090009114 A KR20090009114 A KR 20090009114A
Authority
KR
South Korea
Prior art keywords
image
frames
image frames
frame
images
Prior art date
Application number
KR1020080068195A
Other languages
English (en)
Other versions
KR101445653B1 (ko
Inventor
소렉 노암
브레그만-아미타이 오나
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20090009114A publication Critical patent/KR20090009114A/ko
Application granted granted Critical
Publication of KR101445653B1 publication Critical patent/KR101445653B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 합성 이미지 구성 방법에 관한 것으로서, 제1 및 제2 이미지 프레임들의 내용에 근거하여 적어도 제1 및 제2 이미지 사이에서의 배치를 결정하는 과정 및 합성 이미지를 형성하기 위하여 상기 결정된 배치로 적어도 제1 및 제2 이미지를 변환 영역에서 조합하는 과정을 포함한다.
합성 이미지, 파노라마, DCT, 전환, 배치, 파노라마, 모자이크

Description

합성 이미지 구성 방법{METHOD FOR CONSTRUCTING A COMPOSITE IMAGE}
본 발명은 합성 이미지 구성 방법에 관한 것으로서, 특히 변환 영역(transform domain)에서 합성 이미지를 구성하기 위한 방법에 관한 것이다.
다양한 미디어 형태의 기술적 수렴에 따라, 최근 모바일 장치들, 예컨대 이동 단말기는 그래픽, 오디오 및 비디오를 제공하는 다양한 부가적 기능들을 구비한다. 카메라를 포함하는 모바일 장치들은 점점 인기를 더해가고 있다. 사용자들은, 예를 들어 하나 또는 그 이상의 이미지들을 버튼 클릭에 의해 그들의 모바일 장치내에 캡쳐하고 저장한다.
크기, 전력 및 한계 비용의 제약에 의해, 이동 장치내에 구비되는 카메라들은 일반적으로 해상도 및/또는 촬영 영역이 제한된다. 이러한 제한을 극복하기 위한 일환으로써 해상도의 훼손 없이 촬영 영역을 증가시키기 위하여 다수의 이미지를 조합하는 파노라마 이미지 형태가 제공된다. 이러한 이미지들은, 예를 들어 디지탈적으로 캡쳐링되는 것에 의해 생성되고, 후에 일련의 이미지들과 함께 결합된 다. 예를 들어, 사용자는 첫 번째 이미지를 캡쳐하고, 상기 첫 번째 이미지의 장면 부분이 뷰파인더나 후면 디스플레이부를 통해 보일 때까지 오른쪽으로 회전시킨후, 연속된 이미지들로 가득찬 이미지(full scene)가 캡쳐될 때까지 다음 이미지를 캡쳐한다. 캡쳐된 이미지들은 일반적으로 파노라마 이미지를 구성하기 위한 다양한 공지의 결합 방법을 사용하여 결합 된다. 일반적으로 캡쳐된 이미지들은 예컨대, JPEG 포맷과 같은 압축 포맷으로 메모리내에 저장된다.
일반적으로, JPEG 포맷은 이미지 데이터를 저장하기 위하여 DCT(Discrete Cosine Transform) 영역을 사용한다. 일반적으로, 이미지 영역내의 이미지는 RGB 컬러 영역에서 YCbCr 컬러 영역으로 변환된다. 이미지는 8×8 픽셀 블록, 16×16 픽셀 블록, 또는 일 방향에서의 8 픽셀 × 다른 방향에서의 16 픽셀 블록으로 나뉘어진다. 각각의 블록은 일반적으로 DCT(Discrete Cosine Transform)를 사용하여 주파수 영역으로 변환된다. 그후 고주파 성분으로 양자화가 수행되며, 일반적으로 후프만 코딩(Huffman coding)이 적용된다.
다음의 특허들과 출원서들은 독립형 카메라들에서의 최근 파노라마 기술을 개략적으로 나타내고 있다. 이 목록들은 완벽함을 목적으로 하지는 않는다.
Niemi et al.에 의한 미합중국 출원번호 US 20050152608은 이미지 표현 포맷(image representation format)을 사용하여 디지털 이미지를 합성하는 방법을 개시하고 있다. 상기 이미지 표현 포맷은 기초 함수의 후프만 코딩된 스트림 계수로써 표현된 데이터부를 포함한다.
Toklu et al.에 의한 미합중국 특허번호 US 5,907,626은 움직임 추정 및 비 디오 사물의 모자이크 구현 방법은 물론 모자이크로부터의 인위적 사물 변형을 위한 방법을 개시하고 있다. 이 특허의 내용은 여기에서 충분히 참조로 삼는다.
Burt et al.에 의한 미합중국 특허번호 US 5,999,662와 US 6,393,163은 다수의 입력 이미지로부터 자동으로 모자이크를 생성하는 시스템을 개시하고 있다. 이 특허의 내용은 여기에서 충분히 참조로 삼는다.
Choi에 의한 한국특허번호 0286306은 LCD 모니터를 사용하여 사진들을 연결하기 위하여 디지털 스틸 카메라를 사용하는 파노라마 사진촬영 방법을 개시하고 있다. 이 특허의 내용은 여기에서 충분히 참조로 삼는다.
KONINKLIJKE PHILIPS ELECTRONICS N.V.에 의한 국제특허출원 WO/2005/041564는 파노라마 또는 모자이크 기능을 갖는 디지털 카메라를 개시하고 있다. 이 발명은 디지털 카메라를 갖는 전자 기기에 관한 것이며, 디지털 카메라를 사용하여 합성 사진을 생성할 수 있는 방법에 관한 것이다. 이 특허의 내용은 여기에서 충분히 참조로 삼는다.
이동통신 전화기에 유용하며, 상업적으로 사용되는 파노라마 사진 기술들이 있다. 이러한 기술들은 다음을 포함하나, 반드시 제한되는 것은 아니다:
Scalado AutoramaTM(Scalado AB; Sweden);
Vivid Panorama(Acrodea; Tokyo; Japan); and
PanoManTM(Bit Side Technologies; Berlin; Germany).
Vitsnudel et al.에 의한 미합중국 출원번호 US 2004136603은 이미지가 JPEG 포맷인 동안 이미지내의 WDR(Wide Dynamic Range)를 강화시키기 위한 방법을 개시하고 있다. 이 방법은 촬영된 적어도 두 개의 이미지를 획득하는 과정, 첫 번째 이미지의 픽셀 이미지 데이터와, 해당 조도 마스크를 사용하여 각 픽셀에 할당된 농도값에 비례하는 다른 이미지 픽셀 이미지 데이터를 사용하여 조합된 이미지를 구성하는 과정을 포함한다. 몇몇 실시예에서 획득된 이미지들은 JPEG 포맷이며, JPEG 포맷은 DCT 변환 영역을 포함한다. 이 특허의 내용은 여기에서 충분히 참조로 삼는다.
본 발명은 제1 및 제2 이미지 프레임들의 내용에 근거하여 적어도 제1 및 제2 이미지 사이에서의 배치를 결정하는 과정 및 합성 이미지를 형성하기 위하여 상기 결정된 배치로 적어도 제1 및 제2 이미지를 변환 영역에서 조합하는 과정을 제공하는데 있다.
본 발명의 일 실시예에 따른 양태는 다수의 캡쳐된 이미지 프레임으로부터의 합성 이미지를 DCT 영역과 같은 변환 영역에서 구성하는 방법에 관한 것이다. 다수의 이미지 프레임들 및/또는 하나 또는 그 이상의 이미지 프레임들의 부분이 다수의 이미지 프레임들의 두 개 또는 그 이상의 이미지 프레임들로부터의 내용을 포함 하는 합성 이미지를 생성하기 위하여 다른 이미지 프레임과 결합되거나 또는 병렬 배치된다. 일 실시예에 있어서, 이미지 프레임들 및/또는 이미지 프레임들의 부분 사이의 배치가 상술된다. 본 발명의 일 실시예에 따라, 합성 이미지는 DCT 영역과 같은 변환 영역에서 구성된다. 실시예에 있어서, 구성은 두 개 또는 그 이상의 이미지 프레임들 블록*블록으로부터 이미지 데이터를 부가하는 것에 의해 수행된다. 하나 또는 그 이상의 동작이 부가된 블록들에서 수행된다. 본 발명의 실시예에 있어서, 프레임 및/또는 이미지 프레임의 부분 사이의 배치는 이미지 프레임들에서 검출되는 공통된 화상에 근거하여 자동으로(사용자의 개입 없이) 결정된다. 본 발명의 일 실시예에 있어서, 합성 이미지는 파노라마 이미지이다. 일 실시예에 있어서, 상기 파노라마 이미지는 상당히 이음매 없는 파노라마 이미지이다. 다른 실시예에 있어서, 상기 파노라마 이미지는 모자이크 파노라마 이미지이다.
본 발명의 일 실시예에 따른 양태는 일련의 이미지 프레임들간의 이미지 영역에서의 배치를 정의하는 것이며, 정의된 배치에 근거하여 변환 영역에서 일련의 이미지 프레임으로부터 파노라마 이미지를 구성하는 것에 관한 것이다. 본 발명의 일 실시예에 따라 변환 영역은 일반적으로 JPEG 압축 포맷이 사용되는 DCT 변환 영역이다. 본 발명의 일 실시예에 따라 배치는 파노라마 이미지를 구성하기 위하여 일련의 이미지 프레임들을 캡쳐하는 동안 실시간으로 정의된다. 본 발명의 일 실시예에 따라, 파노라마 이미지를 구성 및/또는 결합하는 것은 JPEG 포맷과 같은 압축 포맷으로 일련의 이미지 프레임을 다음에 저장하는 것과 같은, 정의된 배치에 근거한 후처리 절차로 수행된다. 본 발명의 일 실시예에 따라, 압축 포맷으로의 이미지 프레임들의 처리는 DCT 변형 블록과 같은 블록들의 해상도로 수행된다.
본 발명의 일 실시예에 따라, 파노라마 이미지에 겹쳐지는 경계부분이 되는 가장자리 근처의 이미지 프레임에서의 관심 화상들은 이미지 영역에서 검출되며, 관심 화상들의 좌표 및/또는 위치는 저장되고 기록된다. 다음 이미지 프레임을 캡쳐하고, 상기 기술된 화상의 좌표는 다음 이미지에서 확인되며, 제1 및 다음 이미지들 간의 수평 뿐만 아니라 수직 전환이, 예컨대 전환 변형이 정의된다. 일반적으로, 파노라마 이미지에 포함되는 이미지 프레임들은 풀 스냅샷 프레임들이다. 선택적으로 상기 파노라마는 저해상도 이미지 프레임들과 같은 하나 또는 그 이상의 프리뷰 이미지들을 포함할 수 있다.
본 발명의 일 실시예에 따라, 캡쳐된 스냅샷 이미지 프레임에 상응하는 프리뷰 이미지 프레임은 이미지 영역에서 메모리에 유지되며, 캡쳐된 스냇샷 이미지 프레임과 다음 캡쳐된 이미지 프레임 사이의 배치 및/또는 등록을 결정하도록 사용된다. 본 발명의 일 실시예에 따라, 다음 캡쳐된 이미지 프레임은 스냅샷 이미지 프레임이다. 본 발명의 일 실시예에 따라, 두 개의 캡쳐된 스냅샷 이미지들간의 배치는 두 개의 캡쳐된 스냅샷 이미지 프레임과 상응하는 두 개의 상응 프리뷰 이미지 프레임들간의 등록에 근거하여 결정된다.
본 발명의 일 실시예에 따라, 파노라마에 포함되는 두 개의 이미지 프레임 간의 배치는 캡쳐된 일련의 이미지 프레임들 간의 배치에 근거하여 정의되되, 여기서 일련의 이미지 프레임들 중 첫 번째 이미지 프레임과 마지막 이미지 프레임만이 파노라마 이미지내에 포함된다. 수평 및 수직 전환과 같은 전환은 연속적인 각 이 미지 프레임들간의 전환의 총합으로써 정의되다. 본 발명의 일 실시예에 따라, 상기 첫 번째 및 마지막 이미지 프레임들은 프리뷰 이미지이다.
본 발명의 일 실시예에 따라, 연속적으로 캡쳐된 하나 또는 그 이상의 이미지 프레임들은 이미지 프레임의 품질에 의해 파노라마 이미지내에 포함되지 않을 수 있다. 선택적으로 파노라마에 포함되는 이미지 프레임들의 선택은 실시간으로 수행된다. 선택적으로, 선택은 이미지의 동적 범위 및/또는 이미지의 선명도의 실시간 검출에 기인한다. 선택적으로, 파노라마 이미지의 크기는 파노라마에 포함되기 위한 선택된 이미지 프레임들 간의 축적된 전환 변형을 근거로 하며, 후처리 동안 사용되도록 저장된다. 선택적으로, 원통형 투사, 구형 투사 및/또는 렌즈 보정 투사와 같은 기하학적 투사가 전환 계전 전에 이미지상에 적용된다.
본 발명의 일 실시예에 따라, 상당히 이음매 없는 파노라마 이미지가 일련의 겹치는 이미지 프레임들로부터 구성된다. 이미지 프레임들을 결합하기 위하여 요구되는 수평 및 수직 전환이 상술된 바와 같이 이미지 영역에 정의된다. 수평 및/또는 수직 전환은 블록 전환의 수로 정의되는데, 여기서 블록 전환은 이미지 프레임 크기를 압축하도록 사용되는 DCT 영역과 같은 변환 영역의 블록 크기와 상응한다. 본 발명의 일 실시예에 따라, 단일 블록 크기보다 크지 않은 전환과 같은 잔여 전환이 압축 포맷으로 이미지 프레임을 저장하기 전에 실시간으로 이미지 영역에서 수행된다.
본 발명의 일 실시예에 따라, 이미지 프레임들은 DCT 영역에서 압축 포맷으로 결합된다. 본 발명의 일 실시예에 따라, 파노라마 이미지 크기의 빈 이미지는 변환 영역에서 정의되며, 역속된 각 이미지 프레임은 정의된 전환 변형에 근거한 위치에서 상기 빈 이미지에 다음으로 부가된다. 일반적으로, 마스크가 이미지 프레임들을 결합하는데 이용하기 위하여 변환 영역내에서 정의된다. 선택적으로, 상기 마스크는 이미지 프레임에서 이미지 명암 보정을 수행하는데 이용된다. 선택적으로, 상기 마스크는 단일 장방형 이미지를 구성하기 위한 일련이 이미지 프레임들을 잘라내는데 이용한다. 선택적으로, 텍스트 및/또는 그래픽들의 보충이 상기 정의된 마스크에 의해 이용된다.
본 발명의 일 실시예에 따라, 파노라마 이미지는 서로 파노라마 효과를 주기 위해서 일련의 캡쳐된 이미지들이 병렬 배치되는 배치를 포함하는 모자이크이다. 본 발명의 일 실시예에 따라, 모자이크 옵션은 이미지들 사이의 수직 전환이 클때, 프로세싱 전력이 제한될 때 및/또는 모자이크의 특정 그래픽 영향을 원할때 선택된다. 본 발명의 일 실시예에 따라, 파노라마 느낌으로 모자이크를 구성하도록 요구되는 수평 및 수직 전환은 상술한 바와 같은 이미지 영역에서 정의된다. 상기 전환은 블록 전환의 수로 정의되고, 여기서 블록 전환은 변환 영역의 블록 크기에 상응한다. 선택적으로, 단일 블록 크기 보다 크지 않는 요구 전환은 버려진다. 선택적으로 파노라마 느낌을 갖는 모자이크를 구성하기 위하여 요구되는 수평 및 수직 전환은 변환 영역으로부터 구성되는, 변환 영역의 DC부로부터 구성되는 바와 같은, 로우 패스 이미지에 근거한다.
본 발명의 일 실시예에 따라, 이미지 프레임들은 이미지 프레임들이 압축 포맷으로 저장된 후에 DCT 영역과 같은 변환 영역에서 모자이크로 위치가 선정된다. 본 발명의 일 실시예에 따라, 파노라마 이미지의 크기는 변환 영역에서 정의되며, 일련의 이미지 프레임들에서의 각 이미지 프레임은 정의된 전환 변형을 근거하여 빈 이미지에 지속적으로 부가된다. 선택적으로, 빈 프레임상의 마스크는 하나 또는 그 이상의 장식적인 빈 프레임을 정의하며, 일련의 이미지 프레임들은 장식 프레임의 빈 공간으로 위치가 선정된다. 선택적으로, 상기 마스크는 상기 이미지 프레임상의 이미지 명암 보정을 수행하는데 이용한다. 선택적으로, 텍스트 및/또는 그래픽이 상기 모자이크상에 겹쳐질 수 있다. 선택적으로 상기 텍스트 및/또는 그래픽이 정의된 마스크에 의해 이용된다. 선택적으로, 상기 이미지 프레임들은 이미지들이 결합된다면 부분(section) 및/또는 일부(portion)와 같은, 적어도 부분적으로 결합될 수 있다.
본 발명의 일 실시예에 따라, 파노라마 이미지를 캡쳐하고 구성하는 것은 이미지를 캡쳐하기 위한 적어도 하나의 카메라, 캡쳐된 이미지 그룹으로부터 파노라마 이미지를 구성하기 위한 프로세서 및 캡쳐된 이미지와 파노라마 이미지를 저장하기 위한 메모리를 포함하는 모바일 장치에서 수행된다. 본 발명의 일 실시예에 따라, 움직임 추정 장치는 이미지들간의 배치에 대해 사용자에게 피드백을 제공한다.
본 발명의 일 실시예에 따른 양태는 다양한 줌 레벨로 파노라마 이미지를 디스플레이하는 방법에 관한 것이다. 본 발명의 일 실시예에 따라, 사용자가 파노라마 이미지의 특정 영역에서의 줌인을 위한 명령을 입력하였을 때, 파노라마 이미지를 구성하기 위해 사용된 원본 이미지들 중 하나는 디스플레이를 위하여 선택될 수 있다. 상기 디스플레이된 이미지는 파노라마 이미지에서 다른 영역으로 사용자의 회전에 대해서 파노라마에 포함되는 대체 이미지에 의해 변환된다.
본 발명의 일 실시예에 따라, 본 발명은 합성 이미지 구성 방법에 있어서, 제1 및 제2 이미지 프레임들의 내용에 근거하여 적어도 제1 및 제2 이미지 사이에서의 배치를 결정하는 과정 및 합성 이미지를 형성하기 위하여 상기 결정된 배치로 적어도 제1 및 제2 이미지를 변환 영역에서 조합하는 과정을 제공한다.
선택적으로, 상기 합성 이미지는 파노라마 이미지이다.
선택적으로, 적어도 제1 및 제2 이미지 사이의 배치를 결정하는 과정은 이미지 영역에서 수행된다.
선택적으로, 상기 변환 영역은 DCT 변환 영역이다.
선택적으로, 상기 배치는 상기 제1이미지 프레임에 대하여 상기 제2이미지 프레임의 수평 또는 수직 전환을 포함한다.
선택적으로, 상기 수평 또는 수직 전환은 블록 전환 및 잔여 전환으로 분할된다.
선택적으로, 상기 잔여 전환은 상기 제2이미지를 변환 영역에서 변형하기 전에 상기 이미지 영역에서 수행된다.
선택적으로, 상기 블록 전환은 상기 변환 영역에서 수행된다.
선택적으로, 상기 각각의 제1 및 제2 이미지 프레임에서 공통의 관심 화상의 위치를 상기 이미지 영역에서 검출하는 과정 및 상기 각각의 제1 및 제2 이미지 프레임에서 상기 관심 화상의 위치에 근거하여 배치를 결정하는 과정을 포함한다.
선택적으로, 상기 제1 및 제2 이미지 프레임들과 상응하는 프리뷰 이미지 프레임들 간의 등록을 수행하는 과정 및 상기 등록에 근거하여 상기 제1 및 제2 이미지 프레임간의 배치를 결정하는 과정을 포함한다.
선택적으로, 상기 제1 및 제2 이미지 프레임들 사이에서 캡쳐된 적어도 하나의 이미지 프레임과의 배치에 근거하여 상기 제1 및 제2 이미지 프레임들간의 배치를 결정하는 과정을 포함한다.
선택적으로, 상기 적어도 하나의 이미지 프레임은 프리뷰 이미지 프레임이다.
선택적으로, 배치에 근거한 합성 이미지의 크기를 기록하는 과정을 포함한다.
선택적으로, 상기 제1 및 제2 이미지 프레임의 기하학적 변형을 수행하는 과정을 포함한다.
선택적으로, 상기 기하학적 변형은 원통형 변형(cylindrical transformation)이다.
선택적으로, 적어도 하나의 제1 또는 제2 이미지 프레임을 풀 스냅샷 이미지 프레임이다.
선택적으로, 상기 제1 및 제2 이미지 프레임을 JPEG 포맷으로 저장하는 과정을 포함한다.
선택적으로, 변환 영역에서 빈 이미지 프레임을 정의하는 과정 및 상기 배치에 근거하여 상기 빈 이미지 프레임상에 제1 및 제2 이미지 프레임의 위치를 선정 하는 과정을 포함한다.
선택적으로, 메모리 할당으로 헤더 파일을 정의하는 과정 및 상기 제1 및 제2 이미지 프레임에서 상기 헤더 파일로 이미지 데이터 블록의 스트림을 부가하는 과정을 포함한다.
선택적으로, 상기 제1 및 제2 이미지 프레임을 조합하기 위하여 변환 영역에서 마스크를 적용하는 과정을 포함한다.
선택적으로, 상기 마스크는 이진 마스크이다.
선택적으로, 상기 마스크는 연속 마스크임을 특징으로 한다.
선택적으로, 상기 마스크는 이진 마스크의 로우 패스 버젼이다.
선택적으로, 상기 마스크는 겹치는 영역에서 상기 제1 및 제 2 이미지 프레임을 조합하기 위하여 결합 라인을 정의한다.
선택적으로, 상기 결합 라인은 곡형 결합 라인이다.
선택적으로, 선 정의된 패턴을 포함하는 영역을 검출하는 과정 및 상기 영역을 회피하는 결합 라인을 정의하는 과정을 포함한다.
선택적으로, 상기 선 정의된 패턴은 얼굴이다.
선택적으로, 상기 제1 및 제2 이미지 프레임 간의 이미지 명암 차이를 보정하기 위하여 설정된 마스크를 적용한다.
선택적으로, 상기 마스크는 비네트(vignettes)를 위한 보정을 위하여 설정된다.
선택적으로, 상기 변환 영역에서 상기 합성 이미지와 장식적인 배경을 조합 하는 과정을 포함한다.
선택적으로, 상기 변환 영역에서 상기 합성 이미지와 텍스트를 조합하는 과정을 포함한다.
선택적으로, 상기 변환 영역에서 상기 합성 이미지와 그래픽을 조합하는 과정을 포함한다.
선택적으로, 상기 변환 영역에서 상기 합성 이미지와 장식적인 프레임을 조합하는 과정을 포함한다.
선택적으로, 상기 파노라마 이미지는 상당히 이음매가 없는 파노라마 이미지이다.
선택적으로, 상기 파노라마 이미지는 모자이크 파노라마 이미지이다.
선택적으로, 다수의 이미지 프레임을 캡쳐하는 과정 및 상기 합성 이미지에 포함되기 위하여 이미지 영역에서 다수의 이미지 프레임들로부터 이미지 프레임을 선택하는 과정을 포함한다.
선택적으로, 상기 선택 과정은 상기 이미지 프레임의 검출된 명암 레벨에 근거한다.
선택적으로, 상기 선택 과정은 상기 이미지 프레임의 검출된 선명도 레벨에 근거한다.
선택적으로, 상기 선택 과정은 상기 이미지 프레임들 간의 배치에 근거한다.
선택적으로, 상기 조합하는 과정은 수직 방향으로 수행된다.
선택적으로, 적어도 제1 및 제2 이미지 사이의 배치를 결정하는 과정은 변환 영역에서 수행된다.
선택적으로, 상기 배치는 변환 영역의 DC부에 근거하여 결정된다.
선택적으로, 상기 제1 및 제2 이미지 프레임 중 하나의 명암 레벨을 상기 변환 영역에서 결정하는 과정을 포함한다.
본 발명의 실시예에 있어서, 본 발명은 합성 이미지를 구성하기 위한 시스템에 있어서, 이미지 영역에서 일련의 이미지를 캡쳐하기 위한 카메라와, 변환 영역에서 상기 일련의 이미지 프레임으로부터 이미지 프레임들을 저장하기 위한 저장부 및 상기 이미지 프레임들 간의 정의된 배치에 근거하여 상기 저장된 이미지 프레임들로부터 함성 이미지를 변환 영역에서 생성하기 위한 제어부를 제공한다.
선택적으로, 상기 변환 영역은 DCT 영역이다.
선택적으로, 상기 이미지 프레임들은 JPEG 포맷으로 저장된다.
선택적으로, 상기 제어부는 상기 일련의 이미지 프레임들 간의 배치를 결정하기 위하여 설정된다,
선택적으로, 상기 제어부는 상기 일련의 이미지 프레임들중 적어도 두 개의 프레임들 사이에서 등록을 수행하도록 설정된다.
선택적으로, 상기 일련의 이미지 프레임들은 프리뷰 이미지 프레임들을 포함한다.
선택적으로, 상기 일련의 이미지 프레임들은 풀 스냅샷 이미지 프레임들을 포함한다.
선택적으로, 상기 제어부는 연속된 적어도 두 개의 각 이미지 프레임에서 공 통의 관심 화상의 위치를 검출하도록 설정된다.
선택적으로, 상기 제어부는 상기 적어도 두 개의 각 이미지 프레임들에서 검출된 영역에 근거하여 상기 적어도 두 개의 이미지 프레임들 사이에서 배치가 결정되도록 설정된다.
선택적으로, 상기 일련의 이미지 프레임들 중 적어도 하나에서 화상을 검출하도록 설정되는 패턴 검출 엔진을 포함한다.
선택적으로, 카메라에 의해 캡쳐된 이미지 프레임 또는 비디오 스트림에 근거한 움직임 추정을 수행하도록 설정되는 카메라 네비게이션부를 포함하되, 상기 정의된 배치는 움직임 추정으로부터의 데이터에 근거한다.
선택적으로, 카메라 네비게이션부는 연속으로 각 이미지 프레임을 캡쳐할 때 결정되는 것이다.
선택적으로, 입력 사용자 명령을 위한 사용자 입력부를 포함한다.
선택적으로, 상기 시스템은 모바일 시스템이다.
본 발명의 일 실시예에 있어서, 본 발명은 다양한 줌 레벨에서 파노라마 이미지를 디스플레이하기 위한 방법에 있어서, 파노라마 이미지에서 줌인 모드로 디스플레이되는 영역을 결정하는 과정과, 줌인 레벨이 정의된 경계값 이상일 때 상기 파노라마 이미지를 구성하는데 사용되는 다수의 이미지 프레임들로부터 이미지 프레임을 선택하는 과정 및 상기 선택된 이미지 프레임에서 상기 상응하는 영역으로 줌인을 적용하는 과정을 제공한다.
선택적으로, 두 개의 이미지 프레임들이 조합되는 영역에 근접할 때, 대체 이미지 프레임으로 스위칭되는 과정을 포함한다.
선택적으로, 줌인 모드에서 보여지는 영역으로부터 조합된 이미지 프레임들간의 결합 라인을 이동시키는 과정을 포함한다.
선택적으로, 상기 경계값은 120% 확대와 같이 정의된다.
본 발명자는 압축된 변환 영역에서 파노라마 이미지를 구성하는 것이 가용 캐쉬 메모리의 작업 한계를 증가시키는 것을 발견하였다. 또한 본 발명자는 이미지 영역내서의 조절을 선결정하는 것이 변환 영역내에서 파노라마 이미지의 좀더 빠른 후처리를 수행할 수 있음을 발견하였다. 본 발명자는 역시 공지의 방법을 사용하여 전형적으로 구성될 수 있는 파노라마 이미지의 최대 크기가 여기에 기술된 방법을 사용하였을 때 증가될 수 있음을 발견하였다.
본 발명의 다음에 나오는 설명, 예시적이고 제한되지 않은 실시예들에 있어서, 본 발명의 다양한 양태들이 기술된다. 설명을 목적으로, 특정 구성들 및 세부 항목들은 실시예들의 완벽한 이해를 제공하기 위하여 설명된다. 그러나, 본 발명은 여기에 나타난 특정 세부 항목들 없이 실행될 수 있음을 당업자에게 명백히 할 것이다. 더욱이, 공지된 양상들은 본 발명의 모호성을 없애기 위하여 생략되고 간소화될 수 있다. 하나의 실시예에 보여진 양상들은 다른 실시예에 보여진 양상들과 조합될 수 있다. 그러한 양상들은 설명의 명확성을 위하여 반복되지 않는다. 더욱이, 몇몇 불필요한 양상들이 몇몇 실시예에서 기술된다.
일반적으로 파노라마 이미지를 구성하기 위한 공지의 방법을 사용할 때, 예컨대, JPEG 포맷과 같은 압축 포맷으로 저장된 그룹, 일련의 화면 및/또는 일련의 이미지 프레임은 확장되고 캐쉬 메모리로 저장되며, 이미지들 사이의 등록이 정의되고 이미지들 사이의 결합(stitching)이 수행될 수 있다. 일반적으로, 완전히 비압축된 결과 이미지, 예컨대 파노라마 이미지 뿐만 아니라 이미지를 프린트하기 위한 템플릿 역시 이미지 압축전에 메모리로 이동된다. 가용 메모리의 총량은 파노라마 이미지를 구성하는데 있어 제한 요소이다. 카메라를 포함하는 모바일 기기 및 특히 모바일 전화기에 있어서 가용 메모리는 한정적이거나/또는 고가의 비용이 소요될 수 있다. 본 발명자는 압축된 변환 영역에서 파노라마 이미지를 구성하는 것이 가용 캐쉬 메모리의 작업 한계를 증가시키는 것을 발견하였다. 또한 본 발명자는 이미지 영역내서의 조절을 선결정하는 것이 변환 영역내에서 파노라마 이미지의 좀더 빠른 후처리를 수행할 수 있음을 발견하였다. 본 발명자는 역시 공지의 방법을 사용하여 전형적으로 구성될 수 있는 파노라마 이미지의 최대 크기가 여기에 기술된 방법을 사용하였을 때 증가될 수 있음을 발견하였다.
이제 본 발명의 일 실시예에 따른 파노라마 이미지 구성 방법을 도시한 도 1이 참조될 것이다. 본 발명의 일 실시예에 따라서, 첫 번째 프레임을 캡쳐한다(블록 110). 일반적으로 파노라마 이미지를 생성하는 일련의 프레임들 중 첫 번째 프레임은 풀 스냅샷 프레임(full snapshot frame)이다. 스냅샷 이미지는 풀사이즈, 풀퀄러티 및/또는 풀해상도의 이미지 프레임이다. 선택적으로, 기하학적 투사, 예컨대 원통형 투사(cylindrical projection), 구형 투사(spherical projection) 및/또는 렌즈 보정 투사(lens correction projection)가 이미지 프레임들 사이에서 전환 계산(shift calculation) 전에 이미지상에 적용될 것이다. 하나 또는 그 이상의 관심 화상(interesting feature)의 좌표는 선택적으로 결정되며 기록되는데(블록 120), 예컨대 관심 화상은 인접한 프레임들과 공통된 화상이다. 일반적으로, 관심 화상은, 예컨대 사용자의 개입 없이 자동으로 선택되고, 다음 이미지 프레임과 겹치는 가장자리 근처에서 선택된다. 관심 화상은 에지 검출(edge detection) 및/또는 다른 공지의 방법들에 근거하여 검출될 수 있다. 일 실시예에서, 관심 화상은 사용자에 의해 선택될 수도 있다. 실시예에 있어서, 다음 이미지가 캡쳐되는 방향은 움직임 추정(motion tracking)에 의해 검출될 수 있다. 예를 들어, 움직임 추정은 사용자가 다음 이미지 프레임, 예컨대 왼쪽, 오른쪽, 상부 또는 하부 가장자리와 같은 이미지 프레임과 연이어 조합되기 위한 이미지 프레임의 가장자리를 확인하기 위하여 카메라를 회전시키는 방향을 감지하는데 사용된다. 관심 화상은 풀 스냅샷 프레임 및/또는 예컨대, 스냅샷 프레임과 같은 연이은 동일 공간상의 위치에서 캡쳐된 프리뷰 이미지와 같은 상응 프리뷰(preview) 이미지로부터 추출될 수 있다. 프리뷰 이미지는 저해상도 이미지이다. 일 실시예에 있어서, 특정 화상의 좌표는 검출되지 않으나, 대신 프리뷰 이미지가 다음 이미지와의 등록을 위하여 메모리내에 유지될 수 있다. 상기 첫 번째 획득된 프레임은 변환 영역(transform domain)내에 저장되며, 일반적으로 압축된다(블록 130). 다음 이미지 프레임은 첫 번째 프 레임으로부터 오프셋 캡쳐된다(블록 140). 상기 다음 이미지 프레임은 풀 스냅샷 프레임이 되거나 프리뷰 이미지이다. 선택적으로, 기하학적 투사, 예컨대 원통형 투사, 구형 투사 및/또는 렌즈 보정 투사가 전환 계산(shift calculation) 전에 이미지상에 적용될 것이다. 일반적으로, 다음 프레임은 예컨대, 첫 번째 캡쳐된 이전 프레임과 겹쳐진 가장자리가 나뉘어진다. 두 개의 이미지 프레임들 사이의 전환 맵핑이 수행되는데(블록 150), 예를 들어, 관심 화상의 정해진 좌표 및/또는 두 개의 상응되는 이전 이미지들간의 등록에 근거하여 수행된다. 일반적으로, 두 개의 이미지를 조합하기 위하여 요구되는 수평 및 수직 전환이 정의된다. 선택적으로, 두 개의 이미지들간의 틸트(tilt)가 정의되며, 틸트를 위한 보정이 두 개의 이미지 간에 수행된다. 전환 맵핑은 저장된다(블록 160). 본 발명의 일 실시예에 있어서, 픽셀 값(value) 및 하나의 이미지로부터 관심 화상의 수평 및 수직 좌표(XY)가 저장된다. 그후, 저장된 관심 화상과 다음 이미지의 화상간의 상관 관계가 결정된다. 결정된 상관 관계에 근거하여, XY 방향으로 다음 또는 이전 이미지에 대하여 하나의 이미지를 전환시키기 위한 픽셀수와 같은 전환 좌표가 저장된다. 선택적으로 등록은 두 개의 풀 스냅샷 이미지 프레임상에서 수행된다. 파노라마 이미지에 대한 추가되는 좀더 많은 프레임이 존재한다면 프로세서에 대한 질문이 생성될 것이다(블록 180). 이미지가 좀더 추가된다면, 새롭게 겹치는 가장자리 근처의 관심 화상이 정의되며(블록 120) 상술된 과정을 반복한다. 선택적으로, 모든 이미지 프레임들이 한번 캡쳐되었을 때, 파노라마의 크기 결과는 결정될 것이다(블록 190). 예를 들어, 파노라마의 크기는 각각의 이미지 프레임의 원본 크기와 축적된 맵 전환 및/또 는 이미지 프레임이 겹치는 것에 근거하여 결정된다. 상기 파노라마의 크기는 저장될 수 있다. 이전 프로세싱 절차 동안 파노라마 이미지는 구성된다(블록 200).
일반적으로 이미지 프레임은 DCT 영역을 이용하여 JPEG 포맷으로 저장된다. 다른 실시예에 있어서, 웨이블릿 영역(wavelet domain)이 이용될 수 있다. 본 발명의 일 실시예에 있어서, 캡쳐된 이미지 프레임은 회전되고, 저장전에, 예컨대 90도로 회전되는 것과 같이 수직 방향으로 결합(stitching)이 수행된다. 선택적으로, 일련의 이미지들은 수직방향으로 조합되며, 회전은 요구되지 않는다. 수직 방향으로의 결합(stitching)은 이미지 프레임을 조합할 때 편집을 필요로 하는 수평 파일/스트림의 수를 감소시키는 것에 의해 메모리 및 파일 관리를 개선시킬 수 있다. 변형된 이미지를 회전시키는 것은 결합(stitching) 및/또는 조합(combining)을 수직 방향으로 수행하도록 하기 때문에 이미지의 최종 길이를 알 필요가 없거나 한번에 두 개의 이미지를 다룰 필요가 없다.
이제 본 발명의 일 실시예에 따른 전환 변형을 정의하기 위하여 사용되는 관심 화상을 갖는 개략적인 이미지 프레임들을 도시한 도 2a 및 도 2b가 참조될 것이다. 종래의 이미지 프로세싱 방법들은 하나의 프레임에서, 그리고 겹쳐지는 프레임에서의 그것과 상응하는 위치 및/또는 좌표들에서 관심 화상을 확인하기 위하여 사용될 수 있다. 일 실시예에 있어서, 에지 검출은 이미지 프레임의 배치를 위하여 사용될 수 있는 관심 화상을 검출하기 위하여 사용될 수 있다.도 2a에서 관심 화상 250은 프레임 210과 겹쳐지는 프레임 220에서 확인된다. 각 프레임들상에서 사물 및/또는 관심 화상 250의 관련된 수평 및 수직 위치는 두 개의 이미지들을 중첩 및 /또는 배치시키기 위하여 요구되는 전환 변형을 결정하기 위하여 사용될 수 있다. 일 실시예에 있어서, 하나 이상의 관심 화상은 이미지를 배치하기 위하여 사용되며/되거나, 예컨대 프리뷰 이미지 프레임들과 같은 이미지 프레임들간의 완벽한 등록은 이미지들의 배치를 결정하기 위하여 수행된다.본 발명의 일 실시예에 따라, 프레임 210 및 220은 시계방향으로 90도 회전되며, 수직 방향으로 결합된다.
일 실시예에 있어서, 조합되는 두 개의 프레임들은, 예컨대 검출된 관심 화상과 같은 검출된 겹쳐지는 화상을 나눌 수 없으며, 단지 검출된 겹쳐지는 화상을 부분적으로만 나눌 수 있기 때문에 이미지의 배치를 위한 정보가 충분하지 않을 수 있다. 본 발명의 일 실시예에 있어서, 결과 파노라마 이미지에 포함되지 않는 하나 또는 그 이상의 프리뷰 이미지 및/또는 스냅샷 이미지들은 두 개의 이미지 프레임들 간의 배치를 결정하기 위하여 사용된다. 예를 들어, 도 2b에서, 이미지 프레임 215는 결과 파노라마 이미지에 포함되지 않고 있으나, 결과 파노라마 이미지에 포함될 이미지 프레임 210 및 225를 배치하기 위하여 사용된다. 프레임 210 및 225간의 요구되는 전환(shift)은 프레임 210 및 215와 프레임 215 및 프레임 225간의 전환의 총합이다. 일반적으로 이미지 프레임 215와 같은 중간 개재(in-between) 프레임들은 프리뷰 이미지이나 스냅샷 이미지 역시 사용될 수 있다. 예를 들어, 흐릿하게 검출된 스냅샷 이미지는 이미지들의 정렬에 사용될 수 있으나, 결과 파노라마 이미지에 포함되지는 않는다. 도 2b에서, 검출된 관심 화상 250은 프레임 210 및 215에 나타나며, 프레임 225에 부분적으로 나타난다. 검출된 화상 250은 프레임 210 및 215 간의 전환 변형을 결정하기 위하여 사용된다. 관심 화상 260은 프레임 215 및 225에서 검출되었으며, 프레임 215 및 225 간의 전환 변형을 결정하기 위하여 사용된다. 본 발명의 다른 실시예에 있어서, 다수의 중간 개재 이미지 프레임들은, 예컨대 프레임 210 및 225와 같은 두 개의 끝단 프레임들을 배치하기 위하여 사용된다. 일반적으로 중간 개재 이미지 프레임들은 메모리에 저장되지 않는다. 끝단 이미지 프레임들 간에 요구되는 전환 변형이 일단 결정되어지면 상기 중간 개재 이미지 프레임들은 제거된다. 본 발명의 일 실시예에 있어서, 움직임 추정(motion traction)이 두 개의 이미지들 간의 요구되는 전환 변형의 일반적인 지시를 주도록 이용된다.
이제 본 발명의 일 실시예에 따른 이미지 배치를 위한 방법을 기술한 흐름도를 도시한 도 3이 참조될 것이다. 결합되는 두 개의 이미지들 간의 수평 및 수직 전환 변형이 쉴새없이 실시간으로 이미지 영역에서 결정된다(블록 310). 선택적으로, 기하학적 투사, 예컨대 원통형 투사(cylindrical projection), 구형 투사(spherical projection) 및/또는 렌즈 보정 투사(lens correction projection)가 전환 계산(shift calculation) 전에 이미지상에 적용될 것이다. 요구되는 전환은 변환 영역(transform domain)에서 이미지의 블록 크기에 의해 분할되며, 블록 전환(블록 320) 뿐만 아니라 잔여 전환(블록 330)의 수가 결정된다. 일반적으로 DCT 영역에서의 블록 수는 16×16 픽셀, 8×8 픽셀 및/또는 일방향(수평 및/또는 수직)에서의 16 픽셀과 다른 방향의 8 픽셀의 조합이다. 상기 잔여 전환(residual shift)은 풀 블록 크기보다 작은 잔존 전환(remaining shift)이다. 예를 들어, 59 픽셀의 수평 전환과 32 픽셀의 수직 전환이 16×16 DCT 블록을 사용하도록 요구된 다면, 그것은 수평 방향으로 3 블록 전환과 11 픽셀의 나머지와 수직 방향으로 2 블록 전환과 0 픽셀의 나머지로의 변화이다. 본 발명의 일 실시예에 따라, 그리고 일반적으로 상당히 이음새 없는 통합된 파노라마 이미지들을 구성하기 위하여, 잔여 전환(residue shift)은 이미지 영역(블록 340)에서 수행되며, 상기 이미지는 잔여 전환과 함께 저장된다. 상기 이미지 영역에서의 전환은 공지의 방법들로 수행된다. 본 발명의 일 실시예에 있어서, 상기 이미지가 메모리에 래스터 포맷(raster format)으로 저장된다면, 픽셀의 XY 전환은 이미지 시작 주소(image starting adress)를 수정하는 것에 의해 수행된다. 예를 들어, 상기 이미지 시작 주소는 X+(Y*라인 길이)픽셀인데, 여기서, X는 수평 전환이고 Y는 수직 전환이며, 라인 길이는 X, Y와 같은 라인의 길이이며 상기 라인 길이는 픽셀 단위내에 있다. 수평 및 수직 블록 전환은 예컨대 압축된 포맷과 같은 변환 영역내에 후처리(post processing)을 위하여 저장된다(블록 350). 일 실시예에 있어서, 파노라마 이미지의 크기는 파노라마내에, 관련 배치 및/또는 겹쳐지는 이미지들내에 포함되는 이미지의 수로부터 결정된다. 상기 파노라마 이미지의 크기는 실시간으로 결정되며, 후처리 절차를 위하여 파라메타로써 저장된다.
이제 본 발명의 일 실시예에 따른 이미지들의 배치 및 조합을 위한 방법을 기술한 흐름도를 도시한 도 4가 참조될 것이다.
본 발명의 일 실시예에 따르면, 빈 이미지(empty image) 또는 블록 이미지가 스트림을 위한 메모리 할당으로 헤더를 결정하기 위하여 생성된다.(블록 410). 일 실시예에 있어서, 빈 또는 블록 이미지는 후프만 디코더(Huffman decoder)를 적용 하지 않고 변환 영역내에서 작업을 할 때, 조합된 이미지를 구성하기 위하여 생성되고 사용된다. 빈 이미지의 크기는 파노라마 이미지를 위한 최대 크기가 될 수 있으며, 파노라마 이미지를 생성하기 위하여 사용되는 프레임의 수에 의해 결정될 수 있으며, 또는 일련의 이미지들을 캡쳐하는 동안 결정되고 기록되는 파노라마 이미지의 제한된 크기에 근거가 될 수 있으며, 이미지들의 수와 이미지들 간의 겹쳐지는 정도의 근거가 될 수 있다. 마스크 이미지는 파노라마 이미지를 구성하기 위하여 선택적으로 각각의 이미지를 추가하고, 혼합하거나 결합(stitching)하도록 계산된다. 상기 마스크는 혼합 방법을 정의한다. 본 발명의 일 실시예에서, 상기 마스크는 Vitsnudel et al에 의한 미합중국 특허출원 2004136603에 개시된 마스크와 유사할 수 있다. 일 실시예에서 상기 마스크는 겹쳐지는 영역에서와 같은 각 이미지 프레임의 일부분을 수용 또는 거절하는 이진 마스크(binary mask)일 수 있다. 다른 실시예에 이써서, 상기 마스크는 이미지 프레임이 겹쳐진다면 인앤아웃(in and out) 부분에서 점점 어두워지는 연속 마스크(continuous mask)일 수 있다. 또 다른 실시예에서, 상기 마스크는 이진부(binary portions)와 연속부(continuous portions)를 포함한다. 마스크의 DCT 변환은 DCT 영역내에서 이미지를 결합하기 위하여 계산된다(블록 430).
본 발명의 실시예에 있어서, 마스크는 이미지에 적용되는 픽셀 방향 작용이다. 일 실싱예에서 이미지내의 각 픽셀 및/또는 픽셀 그룹은 마스크 갑과 매칭된다. 수학적인 작용은 마스크내의 각 요소 사이에서 수행되며, 상응 픽셀 및/또는 픽셀 그룹은 결과 이미를 산출한다. 일반적으로, 마스크의 해상도는 이미지의 GOKD 도와 같다. 그러나 DCT 영역내에서 작용하는 동안 상기 마스크는 선정의 되는 AC 계수(number of AC coefficients)로 사용될 수 있다.
선택적으로, 결합 라인은 얼굴을 포함하지 않는 영역에 위치하여, 얼굴 영역상에서 구동하지 않는다. 엄밀히 말하면, 인간의 눈은 얼굴에서 왜곡에 매우 민감하기 때문이다. 상기 마스크 라인은 특정 이미지 영역에서 발견할 수 있는 왜곡을 회피하기 위한 이미지 내용에 의해 영향을 받을 수 있다. 본 발명의 실시예에 있어서, 결합이 회피되어야할 영역을 결정하기 위하여 패턴 검출 엔진이 얼굴 또는 다른 선정의 된 화상을 포함하는 영역을 검출하도록 사용된다. 예를 들어, 얼굴 검출 엔진이 적용될 수 있으며, 결합 라인은 얼굴을 교차하지 않도록 얼굴을 회피할 것이다. 패턴 검출 엔진은 다른 내용 및/또는 이미지내의 선정의 된 화상을 검출하는데 사용된다. 다른 실시예에 있어서, 패턴 검출은, 예컨대 높은 콘트라스트 가장자리와 같은 겹치는 영역의 부분에 있어서 예리한 가장자리를 확인할 수 있다. 본 발명의 실시예에 있어서, 패턴 검출 엔진은 겹치는 영역내의 사물의 이중화를 회피하고 이동된 사물의 검출하기 위하여 겹치는 영역에서의 내용을 비교한다. 일반적으로, 똑바르지 않은, 예컨데 완전히 수평 및 수직에 근거하지 않는, 결합 라인은 이미지 간의 이음매를 숨기는데 일조하도록 선택된다. 일반적으로 인간의 눈은 똑바른 결합 라인들에 민감하다. 일반적으로 이미지의 내용 검출은 변환 영역에서 수행된다.
선택적으로, 상당히 이음매 없는 파노라마 이미지를 구성하기 위하여 미이지들을 조합할 때, 이미지를 결합하기 위한 마스크를 정의하는 것에 더하여 이미지 명암 보정 맵(image intensity correction map)이 상기 이미지들 및 겹쳐지는 가장자리 근처의 비네트(vignette) 요소(artifact)간의 고정된 노출 차이를 위하여 보정되도록 정의된다.(블록 450) 결합 및 이미지 명암 보정을 위한 DCT 마스크가 빈 마스크를 정의하기 위하여 적용되며(블록 460), 일련의 이미지들이 점점 빈 이미지에 증가된다(블록 460 및 470). 최종 파노라마 이미지가 저장된다(480). 본 발명의 일 실시예에 따라서, 일련의 이미지들이 빈 이미지에 추가된 후 최종 이미지에 대하여 잘라내기가 수행된다. 본 발명의 일 실시예에 따라서, 추가적인 마스크들은 정의되고 결과 파노라마 프레임에 적용된다. 예를 들어, 장식적인 가장자리들을 정의한 마스크, 텍스트 및/또는 그래픽, 또는 결과 이미지에 추가되는 장식부분이 정의되고 적용된다. 일반적으로 모든 마스크들은 DCT 영역과 같은 변환 영역에 적용된다. 선택적으로, 결과 파노라마 이미지는 원래의 위치로 이미지를 복원시키기 위하여 반시계 방향으로 90도 회전된다.
이제 본 발명의 일 실시예에 따른 상당히 이음매 없는 파노라마 이미지를 구성하기 위하여 조합되는 일련의 이미지들을 도시한 도 5가 참조될 것이다. 본 발명의 실시예에 따르면, 하나 또는 그 이상의 겹쳐지는 이미지들 1 내지 5는 상당히 이음매 없는 파노라마 이미지 550을 구성하기 위하여 형성된다. 실시예에 있어서, 이미지 프레임 1 내지 5는 시계 방향으로 90도 회전하여 저장되며, 수직방향으로의 결합이 수행된다. 이미지 프레임들 1 내지 5는 이미지 영역에 정의되는 전환 변형을 사용하여 배치된다. 겹쳐지는 영역 510에서의 결합(stitching)이 변환 영역에서 마스크들을 정의하는 것으로 수행된다. 선택적으로 결합 라인은 겹쳐지는 영역에서 이미지 내용에 근거하여 결정되며, 변환 영역내에서 하나 또는 그 이상의 블록들이 확장되는데, 겹쳐지는 영역에서 이미지 내용으 절정하도록 부분적으로 확장된다. 선택적으로 명암 보정 마스크가 적용되며, 변환 영역내의 하나 또는 그 이상의 블록들이 확장될 수 있는데, 모든 계수를 갖는 변형된 후면 및/또는 겹쳐지는 영역에서 명암 정보를 결정하기 위하여 부분적으로 확장된다. 본 발명의 일 실시예에서, 결과 파노라마 이미지가 장방형 파노라마 이미지 550으로 구성하기 위하여 잘라내어 진다. 선택적으로, 파노라마 이미지는 변환 영역에서 나중에 저장되는 장식적인 배경과 혼합된다.
이제 본 발명의 일 실시예에 따른 상당히 이음매 없는 파노라마 이미지 및/또는 결합된 이미지를 구성하기 위한 방법이 기술된 흐름도가 도시된 도 5가 참조될 것이다. 본 발명의 일 실시예에 있어서, 첫 번째 프레임이 캡쳐된다(블록 610). 일 실시예에 있어서, 결과 파노라마 이미지에 사용되도록 캡쳐된 이미지는 원통형 변형(cylindrical transformation)으로 조작된다(블록 615). 다음 이미지 및 그들의 좌표와 함께 전환 맵핑을 정의하기 위하여 사용될 수 있는 관심 화상들이 확인되고 저장된다(블록 620). 일반적으로, 첫 번째 이미지 프레임은 스냅샷 이미지이다. 선택적으로 프리뷰 이미지, 예를 들어 스냅샷 이미지로써 같은 상당히 같은 위치에서 캡쳐되고, 또는 저해상도로 저장된, 는 이미지 영역내의 메모리에 저장되며, 첫 번째 스냅샷 이미지와 다음 이미지 간의 전환 변형을 정의하도록 사용될 수 있다. 일반적으로 이미지 프레임은 DCT 영역에서 JPEG 포맷으로 저장된다(블록 625). 첫 번째 이미지와 부분적으로 겹친 다음 이미지가 캡쳐된다(블록 630). 선택 적으로, 기하학적 투사, 예컨대 원통형 투사(cylindrical projection), 구형 투사(spherical projection) 및/또는 렌즈 보정 투사(lens correction projection)가 캡쳐된 이미지상에 적용될 것이다(블록 633). 첫 번째 캡쳐된 프레임과 다음 프레임 간의 전환 변형이 정의된다. 선택적으로, 다음 이미지(첫 번째 프레임뿐만 아니라)가 적합성을 위한 테스트된다. 예를 들어, 이미지 프레임의 대략적인 휘도 레벨, 선명도 등이 결정될 수 있다. 상기 프레임이 적당하다고 결정되면, 이전 이미지 프레임과의 전환 변형이 결정된다. 상기 프레임이 적당하지 않다고 결정되면, 대체 프레임이 캡쳐되거나 프리뷰 프레임이 결과 파노라마 이미지를 형성하기 위하여 사용될 수 있다. 일 실시예에 있어서, 상기 첫 번째 프레임을 대표하는 프리뷰 이미지와 다음 프레임을 대표하는 프리뷰 이미지 간에 등록이 수행된다. 다른 실시예에 있어서, 첫 번째 프레임을 대표하는 프리뷰 이미지와 다음 프레임 및 스냅샷 프레임 간에 등록이 수행된다. 선택적으로 첫 번째 프레임상에 위치된 관심 화상의 다음 프레임상의 위치를 검출하는 것으로 전환 변형이 정의된다. 선택적으로, 두 개의 풀 스냅샷 이미지들 간의 등록이 수행되는 것에 의해 전환 변형이 정의된다. 일반적으로 이전 및 최근 프레임들 간의 수직 및 수평 전환이 결정된다. 선택적으로, 두 프레임들 간의 틸트(tilt) 및/또는 회전이 역시 결정되고, 틸트 전환이 정의될 수 있다. 수평 및 수직 전환의 총합은 캡쳐된 이미지들을 저장하기 위하여 DCT에서 사용되는 블록 크기에 의해 분할된다. 예를 들어 16×16 픽셀 블록 크기가 사용된다면, 수평 및 수직 방향으로의 전환은 16 및 요구되는 16 픽셀의 수에 의해 분할될 뿐만 아니라 잔여 전환이 결정된다(블록 635). 선택적으로 수평 및/또는 수 직 블록 크기는 8 또는 32와 같은 다른 크기가 될 수 있다. 본 발명의 일 실시예에 따르면, 요구 잔여 전환이 JPEG 포맷과 같은 압축 포맷으로 이미지를 저장하기 전에 이미지 영역에서 수행된다(블록 640). 전체 블록 전환과 같은 블록 전환의 수는 후처리 절차에서 수행되는 결합 프로세스(stitching process)를 위하여 저장된다(블록 645). 상기 이미지는 DCT 영역에 저장된다(블록 655). 전환 변형 계산은 원통형 변형 전 또는 후에 수행될 수 있다. 부분적으로 겹치는 프레임들을 갖는 추가적인 다음 이미지들은 프레임을 더 이상 요구하지 않는 결정을 할 때까지 캡쳐되는데, 이는 사용자의 지시에 근거하거나 프레임의 정의된 최대 수까지 도달했을 때이다. 선택적으로 추가적인 프레임들의 수에 대한 제한은 파노라마 이미지 및/또는 메모리 크기에 의존한다. 결과 이미지의 크기는 수직 및 수평 방향으로 겹치는 총합과 같은 캡쳐된 이미지와 계산된 전환 변형의 수에 근거한다. 후처리 절차 동안 캡쳐되고 선택된 이미지들은 저장된 바와 같이 정의된 전환 변형에 근거한 파노라마 이미지로 결합된다(블록 670). 선택적으로 구성된 파노라마 이미지는 사용자에 의해 선택된 바와 같은 장식적인 배경과 혼합된다.
본 발명의 일 실시예에 따라서, 일련의 이미지들은 모자이크 파노라마 이미지를 형성하기 위하여 조합된다. 모자이크 파노라마 이미지는 각각의 개별적 이미지 프레임 보다 더 넓은 뷰와 같은 물리적 공상의 와이드 뷰를 제공하기 위하여 병렬 배치되는 하나 또는 그 이상의 이미지 프레임들이다.본 발명의 일 실시예에 따라서, 모자이크 파노라마 이미지는 특히 아마츄어 사용자들이 모바일 플랫폼으로 파노라마 이미지를 제공하기 위한 적절한 해법을 가지고 있다. 일반적으로, 스냅샷 이미지를 정확하게 결합하는 것은 모바일 플랫폼 상에서 어려울 수 있으며, 높은 처리 능력이 요구된다. 적절한 중첩의 결여뿐만 아니라 움직임 시차, 이미지 프레임들 근처의 사물들의 움직임은 결합의 품질을 저하시킨다. 본 발명자는 모자이크 파노라마 옵션이 이러한 문제점 및 다른 일반적인 어려움을 회피하며, 재미있고 호기심을 자아내는 결과를 제공할 수 있다는 것을 발견하였다. 더욱이, 일반 사양의 용지에 고 사양의 이미지 출력은 보았을 때 그다지 좋지않은 커다란 '빈'공간을 생성한다. 모자이크는 그래픽과 장식적인 가장자리들로 이러한 갭을 채울 수 있다. 높은 해상도의 장식적인 가장자리들은 선택적으로 압축 포맷으로 변환 영역내에 저장된다.
이제 본 발명의 일 실시예에 따른 파노라마 이미지를 형성하기 위한 모자이크로써 조합되는 일련의 이미지들이 도시된 도 7이 참조될 것이다. 파노라마 이미지 700은 불필요하거나 완전히 겹치지 않는 이미지 프레임들 1 내지 3을 포함하나, 모자이크로 파노라마 느낌을 제공하기 위하여 이미지의 내용에 대하여 배치된다. 실시예에서 이미지 프레임들 1 내지 3은 원래 위치에서 시계 방향으로 90도 회전하여 이미지 프레임들은 수직 방향으로 조합될 수 있다. 본 발명의 실시예에 따르면, 장식적인 프레임들은 이미지 프레임들 1 내지 3과 이미지들내에 매치되지 않는 내용으로부터 뷰어를 전환시키기 위하여 사용될 수 있는 특별한 효과들 사이의 공간을 채우기 위하여 사용될 수 있다. 하나 또는 그 이상의 고해상도 템플릿(templates)들이 저장될 수 있으며, 결합동안에 모자이크 파노라마로 통합될 수 있다. 상기 템플릿은 이미지들상의 포게놓아지 것과 같이 모자이크에 포함될 수 있 는 그래픽 및/또는 텍스트를 포함할 수 있다. 본 발명의 실시예에 있어서, 모자이크는 장식적인 배경 710 으로 혼합된다. 실시예에서, 파노라마 이미지 600은 이미지 프레임의 원래 위치에서 반시계방향으로 90도 회전된다.
이제 장식적인 배경들, 프레임들, 그래픽들 및/또는 텍스트를 포함하는 4개의 이미지 프레임으로부터 구성되는 개략적인 모자이크 파노라마 이미지들을 도시한 도 8a 내지 도 8c가 참조될 것이다. 도 8a는 이미지들간에 거의 겹쳐지지 않는다. 도 8b 및 도 8c에서 이미지들간의 중첩 및 통합은 위치적 움직임 또는 크나큰 차이점 및/또는 결합 영역에서 발견될 수 있는 다른 차이점들과 같은 왜곡, 불량 배치, 미스 매치로부터 눈을 전환시키는 장식 효과를 보여준다. 도 8a 내지 도 8c에 도시된 바와 같이 관심 배경을 갖는 파노라마 이미지의 통합는 여기에 기술된 이음매 없는 파노라마 이미지를 구성할 때 사용될 수 있다.
이제 본 발명의 일 실시예에 따른 모자이크 파노라마 이미지인 파노라마 이미지를 구성하는 방법을 기술한 흐름도가 도시된 도 9가 참조될 것이다. 본 발명의 일 실시예에 따르면, 첫 번째 프레임이 캡쳐되고(블록 910), 다음 이미지와그들의 좌표의 전환 맵핑이 정의되도록 사용될 수 있는 관심 화상이 확인되고 저장된다(블록 915). 일반적으로 첫 번째 이미지 프레임은 스냇샷 이미지이다. 선택적으로, 스냅샷 이미지로써 상당히 같은 위치에 캡쳐된 프리뷰 이미지와 같은 프리뷰 이미지는 이미지 영역에서 메모리에 저장되며, 첫 번째 스냅샷 이미지와 다음 이미지 간의 전환 변형을 정의도록 사용될 수 있다. 선택적으로, 결과 파노라마 이미지는 원통형 변형으로 저장된다. 일반적으로 이미지 프레임은 DCT 영역에서 JPEG 포맷으로 저장된다(블록 920). 첫 번째 프레임과 부분적으로 겹치는 다음 프레임이 캡쳐된다(블록 930). 선택적으로, 다음 이미지(첫 번째 이미지뿐만 아니라)는 적합성을 위하여 테스트받는다. 예를 들어, 이미지 프레임의 대략적인 휘도 레벨, 선명도 등이 결정될 수 있다. 상기 프레임이 적당하다고 결정되면, 이전 이미지 프레임과의 전환 변형이 결정된다. 상기 프레임이 적당하지 않다고 결정되면, 대체 프레임이 캡쳐된다. 일 실시예에 있어서, 상기 첫 번째 프레임을 대표하는 프리뷰 이미지와 다음 프레임을 대표하는 프리뷰 이미지 간에 등록이 수행된다. 다른 실시예에 있어서, 첫 번째 프레임을 대표하는 프리뷰 이미지와 다음 프레임 및 스냅샷 프레임 간에 등록이 수행된다. 선택적으로 첫 번째 프레임상에 위치된 관심 화상의 다음 프레임상의 위치를 검출하는 것으로 전환 변형이 정의된다. 선택적으로, 두 개의 풀 스냅샷 이미지들 간의 등록이 수행되는 것에 의해 전환 변형이 정의된다. 일반적으로 이전 및 최근 프레임들 간의 수직 및 수평 전환이 결정된다. 선택적으로, 두 프레임들 간의 틸트(tilt)가 결정될 수 있다. 수평 및 수직 전환의 총합은 캡쳐된 이미지들을 저장하기 위하여 DCT에서 사용되는 블록 크기에 의해 분할된다(블록 940). 전체 블록 전환과 같은 블록 전환의 수는 후처리 절차에서 수행되는 결합 프로세스(stitching process)를 위하여 저장된다(블록 945). 상기 이미지는 DCT 영역에 저장된다(블록 950). 추가적인 다음 이미지들은 프레임을 더 이상 요구하지 않는 결정을 할 때까지 캡쳐되는데(블록 960), 이는 사용자의 지시에 근거하거나 프레임의 정의된 최대 수까지 도달했을 때이다. 모자이크 파노라마 이미지를 구성하기 위하여 사용되는 템플릿이 선택되며(블록 970) 모자이크 파노라마 이미지는 후 처리 절차 동안 구성된다(블록 980).
이제 본 발명의 일 실시예에 따른 파노라마 이미지를 형성하기 위하여 사용되는 일련의 이미지 프레임을 잘라내기 위한 흐름도가 도시된 도 10이 참조될 것이다. 본 발명의 일 실시예에 있어서, 조합된 이미지 프레임들을 잘라내는 과정이 장방형 파노라마 이미지를 얻기 위한 변환 영역에서 수행된다. 잘라내기는 단일 블록 크기의 해상도로 수행된다. DCT 변환 영역에서, 일반적으로 블록들은 이전 블록과 AC 요소들로부터 차이값이 있는 DC 값을 포함한다(블록 1010). 각 블록이 이전 블록들과 차이가 있다는 사실은 잘라내기 및/또는 복사 과정을 고려할만하게 만든다. 이미지 프레임의 소망 부분을 잘라내고 복사하기 위하여, JPEG 포맷 이미지의 파일 헤더는 이미지 크기로 참조되는 파라메터로 변화되는 동안 복사된다. 복사되어진 블록 이전의 모든 블록들은 확장되고 모든 계수들은 디코딩된다. 상기 각 요소들의 DC 계수 합하여진다. 각 형태의 첫 번째 블록을 위하여, 상기 DC는 인고딩된다(블록 1020); 차이점은 스트림의 마지막 DC 값을 참조하여 실제 DC값에 따라 축적된다는 것이다. 상기 AC 요소들은 존재하는 스트림에서 비트 배치(bits alignment)를 요구하는 비트 세트로써 복사된다(1030). 있는 그대로의 블록들은 비트 세트(bit set)로 복사된다(1040). 선택적으로 비트 배치가 요구될 수 있는데, 이는 8배수가 아닌 비트 수를 포함할 수 있는 비트 시퀀스에서 블록이 디코딩되기 때문이다. 다음 블록의 비트들은 이전 블록의 비트들에 부가되어야 한다. 건너뛴 블록을 위하여, DC값에서의 차이점은 축적되며 다음 라인에서 첫 번째 블록은 정확한 차이점을 포함할 것이다(블록 1050). 블록 1020, 1030, 1040, 1050은 잘라내기 영역이 끝에 도달하고(블록 1060) 잘라내기가 끝날때까지(블록 1070) 반복되어진다.
이제 본 발명의 일 실시예에 따른 마스크들을 사용하여 이미지들을 조합하기 위한 방법을 도시한 도 11이 참조될 것이다. 본 발명의 일 실시예에 있어서, 두 개 또는 그 이상 조합된 이미지 프레임들의 JPEG 이미지가 헤더를 셋팅하는 것에 의해 생성된다(블록 1100). 일반적으로 헤더는 조합된 이미지의 높이 및 폭과 같은 새로운 이미지 크기를 정의한다. 헤더가 정의되면, 새롭게 조합된 이미지는 조합되어야 하는 두 개 또는 그 이상의 이미지 프레임으로부터 블록에 의해 이미지 데이터 블록의 스트림을 부가가는 것에 의해 생성된다. 상기 부가된 이미지 데이터 블록은 일반적으로 조합되어지는 원본 이미지와 같은 두 개 또는 그 이상의 이미지들의 상응 블록들에 근거하여 진다. 상기 원본 이미지상에서 수행되는 하나 또는 그 이상의 동작들이 정의된다(블록 1110). 예를 들어, 원본 이미지들 중 하나로부터 블록을 카피하고, 블록의 기 정의된 AC 요소의 수로 저장되는 것과 같이 원본 이미지 중 하나로부터 블록을 부분 복사하고, 변환 영역에서 정의된 마스크로 합성(convolution)을 수행하고, 변환 영역에서의 마스크 합성을 사용하여 다른 원본 이미지로부터 블록을 조합한다. 원본 이미지들상의 동작 이상의(다른) 동작이 템플릿으로부터 배경을 복사하는 것과 같이 정의될 수 있다. 선택된 동작에 근거하여, 상응 마스크가 정의되고 적용된다(블록 1120). 예를 들어, 복사 동작을 위하여 복사되어지는 블록을 위한 단위 메트릭스 마스크는 정의되고 적용된다. 다른 예를 들어, 두 개 또는 그 이상의 블록들은 대수적 모드(algebraic mode)를 사용하거나 변환 영역에서 마스크 합성을 사용하여 조합된다. 예를 들어, 두 개의 원본 블록에 대한 조합으로부터 새로운 블록을 생성하기 위하여, 두 개의 마스크 M1 및 M2는 두 개의 상응 원본 블록 I1 및 I2상에 적용되도록 정의될 수 있으며, 새로우 블록 Ib= M1*I1b+M2*I2b 가 되며, 여기서, M1+M2<=1이다. 미합중국 출원 2004136603에 개시된 바와 같은 다른 마스크들 및/또는 유사 마스크들이 적용될 수 있다. 일 실시예에서, 마스크들은 특정 채도 조작을 포함할 수 있다. 명암 보정이 마스크에 적용될 수 있다. 하나 이상의 마스크가 원본 블록에 적용될 수 있다. 소망 동작이 적용되면, 블록은 적절한 양자화 테이블 및/또는 적절한 후프만 테이블과 같은 바람직한 및/또는 적절한 포맷으로 코딩될 수 있다(블록 1125). 상기 블록들의 동작은 출력 이미지의 모든 블록상에서 반복되도록 수행될 수 있다.본 발명의 일 실시예에 따라서, 여기에 기술된 방법들은 두 개 이상의 이미지 프레임들을 조합하기 위하여 반복적으로 적용될 수 있다. 예를 들어 제1, 2 원본 이미지 프레임은 첫 번째 새로운 이미지 프레임을 형성하기 위하여 조합될 수 있다. 그후 상기 첫 번째 이미지 프레임은 유사 방법을 사용하여 제3원본 이미지를 조합할 수 있다. 과정은 소망 이미지 프레임이 조합될 때까지 반복될 수 있다.
이제 본 발명의 다른 실시예에 따른 마스크들을 사용하여 이미지들을 조합하기 위한 방법을 도시한 도 12가 참조될 것이다. 본 발명의 실시예에 있어서, 이미지 데이터 스트림에서 각각의 새로운 블록이 두 개의 이미지 프레임으로부터의 블록들과 같이 두 개의 입력 블록상의 마스크 동작을 적용하는 것에 의해 생성된다. 실시예에 따라서, 초기에 흑색 및/또는 빈 이미지(empty image)가 정의된다(블록 1200). 두 개의 이미지 프레임들은 각각 바람직한 결과 이미지 프레임의 크기를 갖는 두 개의 마스크 MA 및 MB를 정의하는 것에 의해 조합된다(블록 1210). 등록 및/또는 각 원본 이미지 I1 및 I2의 위치 선정이 그들의 상응 마스크에 대하여 원본 이미지 프레임의 전환을 시작하는 것으로 정의된다(1220). 결과 이미지 프레임의 크리로써 정의되는 마스크에 대한 원본 이미지 프레임의 위치 선정은 도 13a 및 도 13b를 참조한다. 도 13a에서, 원본 이미지 프레임의 부분(1300)만이 정의된 마스크 1350에 포함된다(그 결과로써 결과 이미지 프레임내에 포함된다). 대안적으로, 도 13b에서, 전체 원본 이미지 1300은 마스크의 대체 위치에 배치된다. 마스크에 대한 이미지 프레임의 위치 선정 및/또는 등록은 블록 해상도에서 수행된다. 상기 블록 1360 크기는 선택적으로 원본 이미지와 마스크내에서 동일하다.
도 12를 참조하면, 동작은 블록*블록이 적용된다(블록 1230). 상기 새로운 결과 이미지 프레임 I는 I=MA*I1+MB*I2로 정의되며, 여기서 MA+MB<=1이 된다. 일 실시예에서, 동작은 마스크가 제로일지라도 블랙 블록을 사용하도록 정의될 수 있다. 일 실시예에서, 잘라내기는 이진 마스크에 의해 적용되는데, 블록들 중 하나는 블랙 블록으로써 선택적으로 정의된다. 컬러 보정 동작이 Mb<=1로써 정의될 수 있다. 일 실시예에 의해, MB=1 & MA=0는 블록들 내에서 정의되며, 변화되는 데이터는 없다. MA=0 & MB<=1는 정의되고, 여기서 데이터는 교체되며, MA+MB<=1 여기서 혼합이 적용된다. 바람직한 동작이 수행된 후에, 상기 블록은 적절한 후프만 테이블 및 적 절한 양자화 테이블에 의해 코딩되는 것과 같이 바람직하고 적절한 포맷으로 코딩된다. 일반적으로, 블록은 코딩되고 결과 이미지 프레임은 JPEG 포맷이 된다.
본 발명의 일 실시예에 따라서, 상기 도 12에 참조된 바와 같이 과정은 모든 소망 이미지 프레임이 조합될 때까지 반복적으로 수행된다. 예를 들어, 초기에 처음 두 개의 이미지들을 조합할때, I1은 블랙 이미지로써의 정의되고, I2는 원본 이미지로써 정의된다. 상기 원본 이미지 프레임은 블랙 및/또는 빈 이미지에 조합되고/되거나 첨부된다. 이러한 경우에 마스크의 크기는 일반적으로 출력 이미지 프레임의 크기이다. 그후, I1은 원본 이미지 프레임과 같은 이전 반복으로부터의 결과이미지로써 정의되며, 추가적인 원본 이미지 I2는 I1과 조합된다. 파노라마 이미지 프레임을 생성하기 위하여, 이러한 반복에서 마스크의 크기는 일반적으로 이전 반복에서의 마스크의 크기보다 더 크다. 반복은 마지막 소망 이미지가 조합될 때까지 계속된다. 일 실시예에 있어서, 장식적인 가장자리 또는 다른 내용들을 포함하는 템플릿 이미지 프레임은 하나 또는 그 이상의 원본 이미지 프레임과 조합될 수 있다. 일 실시예에 있어서, 템플릿 이미지는 초기 블랙 및/또는 빈 이미지 프레임 대신에 사용될 수 있다. 본 발명의 일 실시예에 있어서, 이미지 데이터 스트림에서의 각각 새로운 블록이 두 개의 입력 블록상의 마스크 동작을 적용함으로써 생성되는 것을 요구하는 것에 의한 조합 방법을 표준화하는 과정은 이미지 프레임들을 조합하기 위한 절차를 최대한 활용하는 것이다.
본 발명의 일 실시예에 있어서, 반복적인 프로세스는 다름 프레임들이 조합되는 것으로써 작동중에 수행될 수 있다. 예를 들어, 각각의 이미지 프레임들이 캡 쳐된 후에 및/또는 다음 이미지가 캡쳐되기 전에 이전 이미지 프레임 및/또는 빈 이미지 프레임을 동시에 조합할 수 있다. 대안적으로, 과정은 오프 라인(off-line)으로 수행될 수 있다.
일반적으로, DCT 영역 또는 변환 영역에서의 동작은 후프만 코딩 전 및/또는 후에, 역양자화 전 및/또는 후에, 역삼각법 전 및/또는 후에 비트 동작을 포함한다.
이제 본 발명의 다른 실시예에 따른 사용자 선택 파노라마 이미지를 구성하기 위한 방법이 기술된 흐름도를 도시한 도 14가 참조될 것이다. 본 발명의 일 실시예에 따라, 사용자는 파노라마 모드를 선택하고, 선택이 수용된다(블록 1510). 예를 들어, 사용자는 이음매 없는 파노라마 이미지와 모자이크 파노라마 이미지 사이에서 선택할 것이다. 일반적으로 적어도 두 개의 이미지 프레임들과 같은 일련의 이미지들이 캡쳐된다(블록 1520). 본 발명의 일 실시예에 있어서, 이미지 캡쳐는 사용자가 수평 및/수직 방향과 같이 일방향으로 카메라의 뷰를 회전시키는 동안 자동으로 수행된다. 일반적으로, 카메라 네비게이션은 카메라 회전동안 프레임을 캡쳐하기 위할 때 결정되도록 사용되기 때문에 파노라마 이미지가 구성될 수 있다. 선택적으로, 캡쳐된 이미지 프레임은 적절하고/적절하거나 수용할만한 조조 및 선명도 레벨을 위하여 테스트 받는다. 일반적으로, 이미지 프레임이 좀더 크게 겹치는 이음매 없는 파노라마 모드는 모자이크 파노라마 모드와 비교됨으로써 캡쳐될 수 있다. 일 실시예에 있어서, 최대 8프레임이 파노라마 이미지를 구성하는데 사용될 수 있다. 다른 실시예에서, 최대 제한은 없다. 또 다른 실시예에서, 그 제한은 8프레임에 지나지 않을 수 있다. 캡쳐 이미지 프레임들간의 전환 맵핑, 전환 변형 및/또는 배티가 이미지 영역에서 정의되고(블록 1530), 그후 이미지 프레임들은 저장되는데 일반적으로 JPEG 포맷으로 저장된다(블록 1540). 선태적으로 결과 파노라마 이미지 크기는 전환 맵핑, 이미지 프레임의 크기 및 이미지 프레임이라면 그 수에 의해 결정된다. 선택적으로, 이미지 처리는 이미지 프레임의 원통형 변형이 수행되는 것과 같이 그것들을 저장하기 전에 이미지 프레임상에서 수행된다. 파노라마 이미지 프레임은 선택된 모드에 근거하여 후처리 절차로 구성된다(블록 1550). 본 발명의 일 실시예에 의해, 파노라마 이미지를 형성하기 위한 이미지 프레임을 결합(stitching)하는 후처리 절차는 05~20초 사이의 시간이 걸리며, 예컨대, 5~10초가 걸린다. 상기 시간 주기는 이미지의 크기 및/또는 해상도에 의존한다(및/또는 프로세서의 파워 및 메모리의 스피드). 예를 들어, 640×480 이미지는 320×420 이미지가 5초 이하로 걸리는데 반해, 구성하는데 5~10초가 걸린다. 구성이 완료되면, 파노라마 이미지는 승인을 위하여 사용자에게 디스플레이 된다(블록 1560). 선택적으로, 파노라마의 견본 이미지가 디스플레이되거나, 프리뷰 버젼 이미지가 디스플레이된다. 승인이 검사된다(블록 1570). 승인으로 상기 파노라마 이미지는 사용자의 포토 앨범에 저장된다. 사용자가 승인을 거절하면, 사용자는 모드 전환을 할것인가 질문을 받는다(1590). 예를 들어, 사용자가 처음에 이음매없는 파노라마 모드를 선택하였다면, 결과는 사용자에게 만족스럽지 못하며, 모자이크 모드가 이제 선택될 수 있으며, 새로운 파노라마 이미지가 사용자의 승인을 위하여 구성된다. 선택적으로, 사용자는 새로운 파노라마 이미지를 캡쳐하도록 선책할 수 있다. 선택적 으로, 사용자는 파노라마를 조합하기 위한 배경, 장식적인 가장자리, 구성된 이미지에 부가되는 텍스트 및/또는 그래픽 및/또는 구성된 이미지에 부가되는 애니메이션을 선택할 수 있다.
영상을 촬영하는 카메라부 2110, 파노라마 이미지를 디스플레이하는 디스플레이부 2150, 이미지 프레임, 결과 파노라마 이미지 어플리케이션뿐만 아니라 다른 데이터를 저장하기 위한 저장부 2170을 포함하는 모바일 장치 2100를 간략히 도시한 도 15를 참조하기로 한다. 본 발명의 일 실시예에 있어서, 모바일 장치는 카메라 유닛 2110에 의한 영상을 처리하기 위한 비디오 처리부 2120, 사용자 입력을 수용하기 위한 입력부 2130, 입력부 2130을 통해 수용된 입력 신호에 의해 파노라마 및/또는 합성 이미지를 생성하기 위한 제어부 2140을 포함한다. 선택적으로, 모바일 장치는 카메라 유닛 2110에 의해 캡쳐된 이미지 및/또는 비디오 스트림에 근거한 움직임 추정을 수행하기 위한 카메라 네비게이션부 2135를 포함한다.
상기 카메라부 2110는 선택적으로 이미지 픽업 장치로써 동작되거나 광 이미지를 전기적 신호로 변환하기 위하여 CCD(Charge Coupled Device) 및 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 이미지 센서로써 동작한다. 본 발명의 일 실시예에서, 시스템 2100은 패턴 검출 엔진을 포함한다. 검출은 소프트웨어 및/또는 하드웨어에 의해 수행될 수 있다. 실시예에 있어서, 패턴 검출 엔진은 제어부 2140과 통합된다. 대안적으로, 시스템 2100은 제어부와 처리 능력이 분리된 프로세서로 통합된다.
상기 비디오 처리부 2120은 카메라부 2110으로부터의 전기적 신호 출력을 비 디오 데이터로써 디지털 신호로 변환하는 아날로그-디지털 변환기로 수행될 수 있다.
상기 입력부 2130은 적어도 하나의 키패드, 터치 패드 및 조이스틱으로 수행될 수 있다. 상기 입력부 2130은 역시 디스플레이부 2150상에 터치 스크린 형식으로 수행될 수 있다.
상기 카메라 네비게이션부 2135는 CaMotion 사의 라이브러리, Gesturetek's에서 제공되는 Eyemobile Engine 소프트웨어 또는 추정 엔진에 근거한 다른 유용한 카메라에 근거될 수 있다. 상기 네비게이션부는 카메라부 2110에 의해 캡쳐된 이미지 및/또는 비디오 스트림에 근거한 움직임 추정을 수행할 수 있다.
이제 본 발명의 다른 실시예에 따른 다양한 줌 레벨로 파노라마 이미지를 디스플레이하기 위한 방법이 기술된 흐름도를 도시한 도 16이 참조될 것이다. 사용자는 입력부 2130으로 디스플레이를 위하여 저장된 파노라마 이미지를 선택할 수 있다. 시스템 2100은 디스플레이부 2150상에 파노라마 이미지를 디스플레이한다(블록 1310). 상기 시스템은 입력부로부터 파노라마 이미지 부분을 줌하기 위한 명령을 수용한다(1320). 본 발명이 실시예에 있어서, 줌인 모드에서, 제어부는 디스플레이를 위하여 파노라마에 포함되는 이미지 프레임 중 하나를 선택하고(1330), 줌인 영상은 줌된 영역을 포함하는 선택된 특정 이미지 프레임을 사용하도록 구동된다(1340). 본 발명의 실시예에 있어서, 파노라마 이미지를 디스플레이하는 과정과 파노라마 이미지에 포함된 캡쳐된 이미지 프레임을 디스플레이하는 과정 사이의 스위칭은 경계(threshold) 줌 레벨에서 발생한다. 예를 들어, 사용자가 120%의 줌레 벨을 요구한다면, 스위칭은 풀 파노라마 이미지와 단일 캡쳐된 이미지 프레임 사이에서 수행된다. 메모리로의 이동에 있어서, 전체 파노라마 이미지 프레임 대신에, 단일 캡쳐된 이미지 프레임이 줌인을 위하여 요구되는 좀더 유용한 메모리 할당이다. 상기 파노라마 이미지 프레임은 스냅샷 이미지 프레임보다 적은 해상도를 갖는다. 사용자는 왼쪽 또는 오른쪽으로 회전시키는 것과 같이 줌인 모드에서 디스플레이된 이미지를 함께 회전시킬 수 있다. 사용자가 이미지를 회전시키는 것과 처럼, 제어부에 의해 선택된 이미지가 제한될 수 있다. 본 발명의 일 실시예에 의해, 제어부는 디스플레이를 위하여 사용자가 선택된 이미지의 제한 또는 파노라마 이미지 프레임에서 겹치는 영역을 향해 회전시키는 것과 같이 파노라마 이미지내에 포함되는 대체 이미지를 선택할 수 있다. 이미지 프레임간의 스위칭은 사용자에게 명백하게 될 수 있다. 겹치는 영역에서, 상기 제어부는 디스플레이를 위한 겹치는 이미지 프레임들로부터 이미지 프레임을 결정하는데, 예를 들어, 이는 이미지 프레임의 내용(contents)에 근거한다. 실시예에 있어서, 선택은 파노라마 이미지 프레임에서 결합 라인의 위치에 근거한다. 예를 들어, 파노라마 이미지 프레임에서 줌을 위하여 선택되는 영역이 이미지 프레임 'A'와 이미지 프레임 'B' 사이의 겹치는 영역에서 이미지 프레임 'A'라면, 이미지 프레임 'A'는 그 영역에서 줌 동작을 할때 선택된다. 본 발명의 일 실시예에 따라서, 파노라마 이미지는 결합된 영역 근처에서 줌인 모드로 디스플레이된다. 두 이미지 프레임의 결합시 발생할 수 있는 왜곡은 줌인 모드에서 눈에 띌 수 있다. 실시예에 있어서, 결합 라인은 결합된 영역에서의 줌 동작을 회피하기 위하여 사용자가 특정 방향으로 회전하는 것과 같이, 예컨대 이동에 의해 변경된다. 예를 들어, 이미지 프레임들의 결합은 최근 뷰잉(viewing)된 영역으로부터 먼 위치로 수행된다.
분명히, 청구항들의 범위내에 있으면서 이러한 실시예들을 변형할 수 있는 많은 다양한 방식들이 있다. 다시 말하면, 이하 청구항들의 범위를 벗어남 없이 본 발명을 실시할 수 있는 많은 다른 방식들이 있을 수 있을 것이다.
본 발명에서 간주되는 내용은 명세서의 종결 부분에 각별하고 명백하게 청구되고 있다. 본 발명의 제한받지 않는 실시예들은 여기에 첨부된 도면들을 참고하여 하기에 기술된다. 도면들에서, 하나 이상의 도면에 도시된 동일한 구조, 요소 또는 부분들은 그것들이 도시되는 모든 도면상에서 일반적으로 같은 부호로 첨부된다. 도면들에서 보여지는 구성요소 및 양태들의 범위는 설명의 편리함과 명확성을 위하여 선택되었으며, 꼭 비례해서 보여지는 것은 아니다. 예를 들어, 몇몇 구성 요소들의 범위는 명확성을 위하여 다른 구성 요소들 대비 확대될 수 있다.
도 1은 본 발명의 일 실시예에 따른 파노라마 이미지 구성 방법을 도시한 흐름도;
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 전환 변형을 설명하기 위해 사용되는 개략적인 도면;
도 3은 본 발명의 일 실시예에 따른 이미지 할당을 위한 방법을 도시한 흐름도;
도 4는 본 발명의 일 실시예에 따른 변환 영역내에서 정의된 마스크를 사용하여 파노라마 이미지를 구성하기 위한 방법을 도시한 흐름도;
도 5는 본 발명의 일 실시예에 따른 대체로 이음새가 없는 파노라마 이미지를 구성하기 위하여 조합된 일련의 이미지를 개략적으로 도시한 도면;
도 6은 본 발명의 일 실시예에 따른 대체로 이음새가 없는 파노라마 이미지를 구성하기 위한 방법을 도시한 흐름도;
도 7은 본 발명의 실시예에 따른 모자이크 파노라마 이미지 구성을 위하여 모자이크로써 할당된 일련의 이미지를 개략적으로 도시한 도면;
도 8a, 8b 및 8c는 본 발명의 일 실시예에 따른 모자이크 파노라마 이미지을 개략적으로 도시한 도면;
도 9는 본 발명의 일 실시예에 따른 모자이크 이미지인 파노라마 이미지를 구성하기 위한 방법을 도시한 흐름도;
도 10은 본 발명의 일 실시예에 따른 파노라마 이미지를 구성하기 위하여 사용된 일련의 이미지 프레임들을 잘라내기 위한 방법을 도시한 흐름도.
도 11은 본 발명의 일 실시예에 따른 마스크를 사용하여 이미지들을 조합하기 위한 방법을 도시한 흐름도;
도 12는 본 발명의 다른 실시예에 따른 마스크를 사용하여 이미지들을 조합하기 위한 방법을 도시한 흐름도;
도 13은 본 발명의 일 실시예에 따른 정의된 마스크와 원본 이미지 프레임 간의 등록을 도시한 블록도;
도 14는 본 발명의 일 실시예에 따른 사용자가 선택한 파노라마 이미지 구성을 위한 방법을 도시한 흐름도;
도 15는 본 발명의 일 실시예에 따른 파노라마 이미지를 구성하기 위하여 사용되는 모바일 기기를 도시한 블록도; 및
도 16은 본 발명의 일 실시예에 따른 다양한 줌 레벨을 갖는 파노라마 이미지를 디스플레이하기 위한 방법을 도시한 흐름도.

Claims (25)

  1. 합성 이미지 구성 방법에 있어서,
    제1 및 제2 이미지 프레임들의 내용에 근거하여 적어도 제1 및 제2 이미지사이에서의 배치를 결정하는 과정; 및
    합성 이미지를 형성하기 위하여 상기 결정된 배치로 적어도 제1 및 제2 이미지를 변환 영역에서 조합하는 과정을 포함함을 특징으로 하는 방법.
  2. 제 1항에 있어서, 적어도 제1 및 제2 이미지 사이의 배치를 결정하는 과정은 이미지 영역에서 수행됨을 특징으로 하는 방법.
  3. 제 1항에 있어서, 상기 배치는 상기 제1이미지 프레임에 대하여 상기 제2이미지 프레임의 수평 또는 수직 전환을 포함함을 특징으로 하는 방법.
  4. 제 3항에 있어서, 상기 수평 또는 수직 전환은 블록 전환 및 잔여 전환으로 분할됨을 특징으로 하는 방법.
  5. 제 4항에 있어서, 상기 잔여 전환은 상기 제2이미지를 변환 영역에서 변형하기 전에 상기 이미지 영역에서 수행됨을 특징으로 하는 방법.
  6. 제 4항에 있어서,
    상기 블록 전환은 상기 변환 영역에서 수행됨을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 각각의 제1 및 제2 이미지 프레임에서 공통의 관심 화상의 위치를 상기 이미지 영역에서 검출하는 과정; 및
    상기 각각의 제1 및 제2 이미지 프레임에서 상기 관심 화상의 위치에 근거하여 배치를 결정하는 과정을 포함함을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 제1 및 제2 이미지 프레임들과 상응하는 프리뷰 이미지 프레임들 간의 등록을 수행하는 과정; 및
    상기 등록에 근거하여 상기 제1 및 제2 이미지 프레임간의 배치를 결정하는 과정을 포함함을 특징으로 하는 방법.
  9. 제 1항에 있어서, 상기 제1 및 제2 이미지 프레임들 사이에서 캡쳐된 적어도 하나의 이미지 프레임과의 배치에 근거하여 상기 제1 및 제2 이미지 프레임들간의 배치를 결정하는 과정을 포함함을 특징으로 하는 방법.
  10. 제 1항에 있어서, 배치에 근거한 합성 이미지의 크기를 기록하는 과정을 포 함함을 특징으로 하는 방법.
  11. 제 1항에 있어서, 상기 제1 및 제2 이미지 프레임의 기하학적 변형을 수행하는 과정을 포함함을 특징으로 하는 방법.
  12. 제 11항에 있어서, 상기 기하학적 변형은 원통형 변형(cylindrical transformation)임을 특징으로 하는 특징으로 하는 방법.
  13. 제 1항에 있어서,
    변환 영역에서 빈 이미지 프레임을 정의하는 과정; 및
    상기 배치에 근거하여 상기 빈 이미지 프레임상에 제1 및 제2 이미지 프레임의 위치를 선정하는 과정을 포함함을 특징으로 하는 방법.
  14. 제 1항에 있어서,
    메모리 할당으로 헤더 파일을 정의하는 과정; 및
    상기 제1 및 제2 이미지 프레임에서 상기 헤더 파일로 이미지 데이터 블록의 스트림을 부가하는 과정을 포함함을 특징으로 하는 방법.
  15. 제 1항에 있어서, 상기 제1 및 제2 이미지 프레임을 조합하기 위하여 변환 영역에서 마스크를 적용하는 과정을 포함함을 특징으로 하는 방법.
  16. 제 15항에 있어서, 상기 마스크는 이진 마스크의 로우 패스 버젼임을 특징으로 하는 특징으로 하는 방법.
  17. 제 1항에 있어서,
    선 정의된 패턴을 포함하는 영역을 검출하는 과정; 및
    상기 영역을 회피하는 결합 라인을 정의하는 과정을 포함함을 특징으로 하는 방법.
  18. 제 1항에 있어서, 상기 제1 및 제2 이미지 프레임 간의 이미지 명암 차이를 보정하기 위하여 설정된 마스크를 적용함을 특징으로 하는 방법.
  19. 제 18항에 있어서, 상기 마스크는 비네트(vignettes)를 위한 보정을 위하여 설정됨을 특징으로 하는 방법.
  20. 제 1항에 있어서,
    다수의 이미지 프레임을 캡쳐하는 과정; 및
    상기 합성 이미지에 포함되기 위하여 이미지 영역에서 다수의 이미지 프레임들로부터 이미지 프레임을 선택하는 과정을 포함하되,
    상기 선택 과정은 상기 이미지 프레임의 검출된 선명도 레벨에 근거함을 특 징으로 하는 방법.
  21. 합성 이미지를 구성하기 위한 시스템에 있어서,
    이미지 영역에서 일련의 이미지를 캡쳐하기 위한 카메라;
    변환 영역에서 상기 일련의 이미지 프레임으로부터 이미지 프레임들을 저장하기 위한 저장부; 및
    상기 이미지 프레임들 간의 정의된 배치에 근거하여 상기 저장된 이미지 프레임들로부터 함성 이미지를 변환 영역에서 생성하기 위한 제어부를 포함함을 특징으로 하는 장치.
  22. 제 21항에 있어서, 상기 제어부는 상기 일련의 이미지 프레임들 간의 배치를 결정하기 위하여 설정됨을 특징으로 하는 장치.
  23. 제 21항에 있어서, 상기 제어부는 상기 일련의 이미지 프레임들중 적어도 두 개의 프레임들 사이에서 등록을 수행하도록 설정됨을 특징으로 하는 장치.
  24. 제 21항에 있어서, 상기 일련의 이미지 프레임들 중 적어도 하나에서 화상을 검출하도록 설정되는 패턴 검출 엔진을 포함함을 특징으로 하는 장치.
  25. 제 21항에 있어서, 카메라에 의해 캡쳐된 이미지 프레임 또는 비디오 스트림 에 근거한 움직임 추정을 수행하도록 설정되는 카메라 네비게이션부를 포함하되, 상기 정의된 배치는 움직임 추정으로부터의 데이터에 근거함을 특징으로 하는 장치.
KR1020080068195A 2007-07-18 2008-07-14 합성 이미지 구성 방법 KR101445653B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/826,772 US8068693B2 (en) 2007-07-18 2007-07-18 Method for constructing a composite image
US11/826,772 2007-07-18

Publications (2)

Publication Number Publication Date
KR20090009114A true KR20090009114A (ko) 2009-01-22
KR101445653B1 KR101445653B1 (ko) 2014-09-29

Family

ID=39832508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080068195A KR101445653B1 (ko) 2007-07-18 2008-07-14 합성 이미지 구성 방법

Country Status (3)

Country Link
US (1) US8068693B2 (ko)
EP (1) EP2017783B1 (ko)
KR (1) KR101445653B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011159499A3 (en) * 2010-06-18 2012-02-23 Microsoft Corporation Mobile and server-side computational photography
KR20140045804A (ko) * 2012-10-09 2014-04-17 삼성전자주식회사 촬영 장치 및 이미지 합성 방법
US8804022B1 (en) 2013-02-28 2014-08-12 Lg Electronics Inc. Digital device and method for controlling the same
KR101634111B1 (ko) 2015-11-04 2016-06-28 주식회사 펨코엔지니어링건축사사무소 철근 콘크리트 공사용 파이프 서포트
KR101652753B1 (ko) 2015-09-11 2016-09-01 주식회사 마이다스아이티 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101351091B1 (ko) * 2006-12-22 2014-01-14 삼성전자주식회사 화상형성장치 및 그 연사촬영 이미지의 제어방법
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP4970302B2 (ja) * 2008-02-14 2012-07-04 富士フイルム株式会社 画像処理装置，画像処理方法及び撮像装置
US8525871B2 (en) 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
JP5390828B2 (ja) * 2008-10-17 2014-01-15 キヤノン株式会社 画像処理装置、及び、画像処理方法
US10086262B1 (en) 2008-11-12 2018-10-02 David G. Capper Video motion capture for wireless gaming
US9383814B1 (en) 2008-11-12 2016-07-05 David G. Capper Plug and play wireless video game
US9586135B1 (en) 2008-11-12 2017-03-07 David G. Capper Video motion capture for wireless gaming
TWI395051B (zh) * 2008-12-31 2013-05-01 Altek Corp Panorama Image Automatic Shooting Method for Digital Camera
US8605783B2 (en) * 2009-05-22 2013-12-10 Microsoft Corporation Composite video generation
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
JP5436367B2 (ja) * 2009-09-29 2014-03-05 富士フイルム株式会社 グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置
JP5378135B2 (ja) * 2009-09-29 2013-12-25 富士フイルム株式会社 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置
US8750645B2 (en) * 2009-12-10 2014-06-10 Microsoft Corporation Generating a composite image from video frames
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
EP2545411B1 (en) 2009-12-11 2014-02-12 DigitalOptics Corporation Europe Limited Panorama imaging
CN102148952B (zh) * 2010-02-05 2013-12-11 鸿富锦精密工业（深圳）有限公司 视频影像压缩方法及其播放方法
JP2011176748A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8872887B2 (en) 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP5383576B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 撮像装置、撮像方法およびプログラム
US20120002004A1 (en) * 2010-06-30 2012-01-05 Apple Inc. Immersive Navigation and Rendering of Dynamically Reassembled Panoramas
US9047653B2 (en) 2010-08-24 2015-06-02 Hewlett-Packard Development Company, L.P. Stitched digital images
US9594960B2 (en) 2010-09-14 2017-03-14 Microsoft Technology Licensing, Llc Visualizing video within existing still images
WO2012068675A1 (en) 2010-11-25 2012-05-31 Lester Kirkland An imaging robot
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5247793B2 (ja) * 2010-12-21 2013-07-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2012199752A (ja) * 2011-03-22 2012-10-18 Sony Corp 画像処理装置と画像処理方法およびプログラム
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8860816B2 (en) 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8705890B2 (en) * 2011-05-02 2014-04-22 Los Alamos National Security, Llc Image alignment
US9390530B2 (en) 2011-05-27 2016-07-12 Nokia Technologies Oy Image stitching
US20130002858A1 (en) * 2011-06-28 2013-01-03 Bridge Robert F Mechanisms for Conserving Power in a Compressive Imaging System
WO2013001143A2 (en) 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
AU2011205087B2 (en) * 2011-07-29 2014-09-25 Canon Kabushiki Kaisha Multi-hypothesis projection-based shift estimation
EP2595393B1 (en) * 2011-11-15 2015-03-11 ST-Ericsson SA Rectified stereoscopic 3d panoramic picture
KR20140093957A (ko) * 2011-11-24 2014-07-29 마이크로소프트 코포레이션 상호작용 멀티-모달 이미지 검색 기법
US9047692B1 (en) * 2011-12-20 2015-06-02 Google Inc. Scene scan
US8736664B1 (en) * 2012-01-15 2014-05-27 James W. Gruenig Moving frame display
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
NL2008639C2 (en) * 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
US9749524B1 (en) 2012-05-25 2017-08-29 Apple Inc. Methods and systems for determining a direction of a sweep motion
US9870504B1 (en) 2012-07-12 2018-01-16 The United States Of America, As Represented By The Secretary Of The Army Stitched image
EP2891306A1 (en) * 2012-08-30 2015-07-08 OCE-Technologies B.V. A printing system having a user interface for displaying extreme aspect ratio/digital images
US9204052B2 (en) * 2013-02-12 2015-12-01 Nokia Technologies Oy Method and apparatus for transitioning capture mode
US20140267598A1 (en) * 2013-03-14 2014-09-18 360Brandvision, Inc. Apparatus and method for holographic poster display
US20140300686A1 (en) * 2013-03-15 2014-10-09 Tourwrist, Inc. Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
EP2993884B1 (en) 2013-04-30 2021-07-07 Sony Corporation Image processing device, image processing method and program
CN105492220A (zh) * 2013-06-11 2016-04-13 艾利丹尼森公司 合成图像热转印
US9127891B2 (en) * 2013-07-10 2015-09-08 Honeywell International, Inc. Furnace visualization
CN103489170B (zh) * 2013-09-05 2017-01-11 浙江宇视科技有限公司 一种jpeg图片合成、叠加osd信息方法及装置
TWI514320B (zh) * 2013-09-11 2015-12-21 Univ Nat Yunlin Sci & Tech Panoramic image splicing method based on variable seam line
US9137459B2 (en) * 2013-10-03 2015-09-15 Olympus Corporation Image processing device, display device, image processing method, and computer-readable recording medium for generating composite image data
CN103581562A (zh) * 2013-11-19 2014-02-12 宇龙计算机通信科技(深圳)有限公司 全景拍摄的方法和装置
US9915857B2 (en) * 2013-12-09 2018-03-13 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration
JP6259095B2 (ja) * 2013-12-13 2018-01-10 華為終端（東莞）有限公司 パノラマ画像を取得する方法及び端末
US9367895B2 (en) * 2014-03-19 2016-06-14 Digitalglobe, Inc. Automated sliver removal in orthomosaic generation
JP2015225476A (ja) 2014-05-27 2015-12-14 富士ゼロックス株式会社 画像処理装置およびプログラム
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
KR101610148B1 (ko) * 2014-11-17 2016-04-08 현대자동차 주식회사 차체 검사 시스템 및 방법
US10127463B2 (en) 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
US10027887B1 (en) 2015-01-30 2018-07-17 Google Llc Dynamic 3D panoramas
CN105982696B (zh) * 2015-02-06 2019-01-11 无锡触典科技有限公司 实时宽景超声成像装置及方法
US11962908B2 (en) 2015-03-17 2024-04-16 Microsoft Technology Licensing, Llc. Automatic image frame processing possibility detection
US9936128B2 (en) * 2015-05-20 2018-04-03 Google Llc Automatic detection of panoramic gestures
KR102423184B1 (ko) * 2015-05-29 2022-07-21 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US10306267B2 (en) * 2015-08-31 2019-05-28 International Business Machines Corporation System, method, and recording medium for compressing aerial videos
US20170118475A1 (en) * 2015-10-22 2017-04-27 Mediatek Inc. Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
CN108027967B (zh) * 2015-11-05 2020-09-29 华为技术有限公司 图像拼接的方法和电子设备
US10091391B2 (en) * 2015-11-10 2018-10-02 Bidirectional Display, Inc. System and method for constructing document image from snapshots taken by image sensor panel
US20170332096A1 (en) * 2016-05-11 2017-11-16 Advanced Micro Devices, Inc. System and method for dynamically stitching video streams
US10257417B2 (en) 2016-05-24 2019-04-09 Microsoft Technology Licensing, Llc Method and apparatus for generating panoramic images
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
JP6606480B2 (ja) * 2016-08-12 2019-11-13 日本電信電話株式会社 パノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラム
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10452076B2 (en) 2017-01-04 2019-10-22 Magna Electronics Inc. Vehicle vision system with adjustable computation and data compression
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR20200081527A (ko) 2018-12-19 2020-07-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US11030730B2 (en) 2019-04-02 2021-06-08 Shutterfly, Llc Composite group image
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN112184541A (zh) * 2019-07-05 2021-01-05 杭州海康威视数字技术股份有限公司 图像拼接方法、装置及设备、存储介质
US11185774B1 (en) * 2020-01-22 2021-11-30 Gil-ad Goldstein Handheld computer application for creating virtual world gaming spheres
JPWO2021171907A1 (ko) * 2020-02-26 2021-09-02
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112492213B (zh) * 2020-12-04 2022-04-08 维沃移动通信有限公司 图像拍摄方法、装置和电子设备
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN113537238B (zh) * 2021-07-05 2022-08-05 上海闪马智能科技有限公司 一种信息处理方法及图像识别装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
MXPA98002791A (es) 1995-10-11 2004-09-07 Esperion Luv Dev Inc Composiciones liposomales y metodos para usarlas.
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US5907626A (en) 1996-08-02 1999-05-25 Eastman Kodak Company Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh
US6699231B1 (en) 1997-12-31 2004-03-02 Heartport, Inc. Methods and apparatus for perfusion of isolated tissue structure
US6304284B1 (en) 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
KR100286306B1 (ko) 1998-04-07 2001-04-16 구자홍 디지털스틸카메라의파노라마사진촬영방법
US6792043B1 (en) * 1998-10-23 2004-09-14 Telecommunications Advancement Organization Of Japan Method, apparatus and program products for retrieving moving image
US6798923B1 (en) 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
US20020107504A1 (en) 2001-02-06 2002-08-08 Gordon Lucas S. Apparatus for local drug delivery in limb
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
US7409104B2 (en) 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
JP4048907B2 (ja) 2002-10-15 2008-02-20 セイコーエプソン株式会社 複数の画像データのパノラマ合成
EP1553521A4 (en) 2002-10-15 2006-08-02 Seiko Epson Corp PANORAMIC SYNTHESIS PROCESSING MULTIPLE IMAGE DATA
JP3962676B2 (ja) 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
US20040189849A1 (en) 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
JP2004334843A (ja) 2003-04-15 2004-11-25 Seiko Epson Corp 複数の画像から画像を合成する方法
JP2005123667A (ja) 2003-10-14 2005-05-12 Seiko Epson Corp 複数の画像データからの静止画像データの生成
US7746375B2 (en) 2003-10-28 2010-06-29 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
EP1685537B1 (en) 2003-11-18 2015-04-01 Mobile Imaging in Sweden AB Method for processing a digital image and image representation format
US7606441B2 (en) 2003-11-27 2009-10-20 Seiko Epson Corporation Image processing device and a method for the same
EP1613060A1 (en) 2004-07-02 2006-01-04 Sony Ericsson Mobile Communications AB Capturing a sequence of images
JP2008506447A (ja) 2004-07-14 2008-03-06 バイ−パス， インコーポレイテッド 材料送達システム
KR100630007B1 (ko) 2004-07-15 2006-09-27 엘지전자 주식회사 파노라마 사진 촬영 방법
CA2578653A1 (en) * 2004-07-29 2006-02-09 Kevin Ferguson A human movement measurement system
US7558618B1 (en) * 2005-01-18 2009-07-07 Darin S Williams Method for extracting images of vascular structure and blood flow from image sequences
US7646400B2 (en) 2005-02-11 2010-01-12 Creative Technology Ltd Method and apparatus for forming a panoramic image
US7653264B2 (en) * 2005-03-04 2010-01-26 The Regents Of The University Of Michigan Method of determining alignment of images in high dimensional feature space
WO2006114783A2 (en) 2005-04-28 2006-11-02 Bypass, Inc. Material delivery system
US20060269264A1 (en) 2005-05-10 2006-11-30 Stafford Gregory R Method, device and system for capturing digital images in a variety of settings and venues
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7864982B2 (en) 2005-08-22 2011-01-04 Samsung Electronics Co., Ltd. Displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor
US20070081081A1 (en) 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011159499A3 (en) * 2010-06-18 2012-02-23 Microsoft Corporation Mobile and server-side computational photography
US8488040B2 (en) 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
KR20140045804A (ko) * 2012-10-09 2014-04-17 삼성전자주식회사 촬영 장치 및 이미지 합성 방법
US8804022B1 (en) 2013-02-28 2014-08-12 Lg Electronics Inc. Digital device and method for controlling the same
WO2014133219A1 (en) * 2013-02-28 2014-09-04 Lg Electronics Inc. Digital device and method for controlling the same
US8964091B2 (en) 2013-02-28 2015-02-24 Lg Electronics Inc. Digital device and method for controlling the same
KR101652753B1 (ko) 2015-09-11 2016-09-01 주식회사 마이다스아이티 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템
KR101634111B1 (ko) 2015-11-04 2016-06-28 주식회사 펨코엔지니어링건축사사무소 철근 콘크리트 공사용 파이프 서포트

Also Published As

Publication number Publication date
US8068693B2 (en) 2011-11-29
EP2017783A3 (en) 2010-03-17
EP2017783A2 (en) 2009-01-21
US20090022422A1 (en) 2009-01-22
KR101445653B1 (ko) 2014-09-29
EP2017783B1 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
KR101445653B1 (ko) 합성 이미지 구성 방법
US7760962B2 (en) Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
US6750903B1 (en) Super high resolution camera
US9544498B2 (en) Method for forming images
JP4760973B2 (ja) 撮像装置及び画像処理方法
KR100656780B1 (ko) 해상도의 변환기능을 구비한 표시화상생성장치, 촬상투영장치, 촬상투영시스템, 이에 관련된 생성방법 및 관련프로그램이 기록된 기록매체
US20080253685A1 (en) Image and video stitching and viewing method and system
KR20130103527A (ko) 핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성
JP2010009417A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2007074579A (ja) 画像処理装置、及びプログラム
JP2011118908A (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
JP2004310585A (ja) 画像処理装置、方法、プログラム及び記憶媒体
JP3984346B2 (ja) 撮像装置及び画像合成方法
JP4696614B2 (ja) 画像表示制御装置及びプログラム
EP1200935A1 (en) System and method for providing an enhanced digital image file
JP2009258005A (ja) 三次元測定装置及び三次元測定方法
JPH10336494A (ja) ズーム表示機能付デジタルカメラ
JPH11196299A (ja) 撮像装置
CN112422782B (zh) 显示控制设备及其控制方法和计算机可读存储介质
JP2005117399A (ja) 画像処理装置
JPH11196317A (ja) 撮像装置
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
CN111698389A (zh) 图像处理设备、摄像设备、图像处理方法以及存储介质
JP2011041041A (ja) 撮像装置、撮像方法及びプログラム
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 5