KR101663321B1 - 파노라마 사진 촬영 방법 - Google Patents

파노라마 사진 촬영 방법 Download PDF

Info

Publication number
KR101663321B1
KR101663321B1 KR1020100074217A KR20100074217A KR101663321B1 KR 101663321 B1 KR101663321 B1 KR 101663321B1 KR 1020100074217 A KR1020100074217 A KR 1020100074217A KR 20100074217 A KR20100074217 A KR 20100074217A KR 101663321 B1 KR101663321 B1 KR 101663321B1
Authority
KR
South Korea
Prior art keywords
image
panoramic
images
motion vector
area
Prior art date
Application number
KR1020100074217A
Other languages
English (en)
Other versions
KR20120012201A (ko
Inventor
김윤중
조성대
손병준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100074217A priority Critical patent/KR101663321B1/ko
Priority to EP11175891.8A priority patent/EP2413589B1/en
Priority to US13/194,156 priority patent/US9538057B2/en
Priority to CN201110218912.2A priority patent/CN102348065B/zh
Publication of KR20120012201A publication Critical patent/KR20120012201A/ko
Application granted granted Critical
Publication of KR101663321B1 publication Critical patent/KR101663321B1/ko
Priority to US15/393,920 priority patent/US9986158B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 파노라마 사진 촬영 방법은 촬상소자를 통해 촬영되는 영상의 움직임 벡터를 확인하는 단계와, 상기 움직임 벡터에 기초하여, 파노라마 사진을 구성하는 화상을 획득하는 단계와, 획득된 상기 화상에서, 상기 파노라마 사진에 포함될 영역을 검출하는 단계와, 상기 검출된 영역을 포함하는 파노라마 사진을 구성하는 단계를 포함한다.

Description

파노라마 사진 촬영 방법{METHOD FOR PHOTOGRAPHING PANORAMA PICTURE}
본 발명은 디지털 영상 촬영 방법 및 장치에 관한 것으로서, 특히 파노라마 사진을 촬영하는 방법 및 장치에 관한 것이다.
통상적으로 디지털 영상 촬영 장치에서 영상을 획득할 수 있는 촬영부는 렌즈의 초점거리에 맺히는 화상을 획득할 수 있다. 이때 획득한 화상은 사람의 시각범위(약 150 ~　200 deg.)보다 작은 화각(일반적인 카메라에서는 약 30 ~ 50deg.) 범위이다. 이에, 여러 장의 화상을 촬영 각도를 적당히 변화시켜가며 각각 촬영하고 촬영한 화상들을 순서적으로 연결함으로써 하나의 영상으로 재구성하여 사람의 시야각과 비슷하게 또는 그 이상의 화각에 따른 사진을 얻도록 하는 방식이 제공되고 있으며, 이를 파노라마 사진 촬영 방식이라 한다.
통상적으로 디지털 영상 촬영 장치는 파노라마 사진 촬영 모드 시에는 여러 장의 화상들을 수직 또는 수평 방향으로 연이어지도록 촬영하여 메모리에 저장한다. 추후에 메모리에 저장된 영상들은 적절한 내/외부 영상 처리부로 제공되어 하나의 영상으로 연결되는 작업이 이루어진다. 이때 화상 간의 경계 부분에서 나타나는 색상의 차이와 영상의 어긋남을 없애기 위하여, 여러 화상들을 경계 부분이 적절히 겹치게 찍어서, 겹친 부분을 맞추어 영상을 정렬(aligning)하고 스티칭(stitching) 및 블렌딩(blending)과 같은 영상 처리 동작을 수행하여, 결과적으로 여러 화상들이 자연스럽게 연결되는 하나의 영상을 만들게 된다.
이러한 파노라마 사진 촬영을 위해 고려되어야할 중요한 사항은 먼저 각 화상들이 최대한 정확히 정렬되게 촬영하는 것이다. 이를 위해서 삼각대와 같은 보조 장치를 사용하여 사용자가 수동으로 촬영하는 기본적인 방식은 물론이거니와, 최근 들어서는 삼각대 등에 부착되어 해당 촬영 장치를 장착하고, 파노라마 촬영시 장착된 촬영 장치를 각각의 화상 촬영과 맞추어 회전시키는 방안도 제시되고 있다. 그러나, 이러한 파노라마 사진 촬영 작업은 일반적인 단일 사진 촬영시보다 사용자에게 조작의 복잡함과 숙달을 요구하므로, 사용상 보다 나은 조작 방안과 효율적인 촬영 방안이 요구되고 있다.
또한, 카메라를 수평 또는 수직방향으로 회전하여 화상을 취득할 경우, 카메라는 3차원으로 이루어진 제1피사체 또는 제2피사체 등의 실상을 2차원의 제1화상 또는 제2화상으로 변환하여 표현하게 된다. 이러한 화상을 조합하여 파노라마 사진을 구현하게 될 경우, 원근법(perspective)에 의한 왜곡이 발생하여 서로 다른 화상의 겹친 부분을 추정하기 어렵게 된다. 결국, 자연스러운 파노라마 사진을 형성하지 못하는 문제가 발생한다. 이에 따라, 카메라가 획득한 복수의 화상에서 동일한 영역을 촬영한 부분이 서로 일치하도록 하여 좀 더 정확한 파노라마 사진을 생성하는 방안이 요구되고 있다.
본 발명은 전술한 점을 고려하여 안출된 것으로써, 별도의 장치나 하드웨어의 추가적인 구비없이 카메라의 움직임을 추정하여, 보다 정확하게 파노라마 사진을 촬영할 수 있는 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 카메라에 입력되는 영상에 투영기법을 적용하지 않으면서, 카메라의 움직임을 추정하여 좀 더 정확한 파노라마 사진을 촬영할 수 있는 방법 및 장치를 제공하는데 또 다른 목적이 있다.
또한, 촬영된 파노라마 사진을 별도의 후처리 없이, 촬영 후 바로 확인할 수 있는 파노라마 사진 촬영 방법 및 장치를 제공하는데 또 다른 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 파노라마 사진 촬영 방법은 촬상소자를 통해 촬영되는 영상의 움직임 벡터를 확인하는 단계와, 상기 움직임 벡터에 기초하여, 파노라마 사진을 구성하는 화상을 획득하는 단계와, 획득된 상기 화상에서, 상기 파노라마 사진에 포함될 영역을 검출하는 단계와, 상기 검출된 영역을 포함하는 파노라마 사진을 구성하는 단계를 포함한다.
본 발명의 다른 측면에 따른 파노라마 사진 촬영 장치는 촬상소자를 통해 입력되는 영상의 움직임 벡터를 확인하는 움직임 벡터 확인부와, 상기 움직임 벡터에 기초하여, 파노라마 사진을 구성하는 화상을 획득하는 화상 검출부와, 획득된 상기 화상으로부터, 상기 파노라마 사진에 포함될 영역을 검출하는 영역 검출부와, 상기 검출된 영역을 포함하는 파노라마 사진을 생성하는 파노라마 사진 생성부를 포함한다.
상기한 바와 같이, 본 발명에 따른 파노라마 사진 촬영 방법 및 장치는 카메라에 입력되는 영상에 투영기법을 적용하지 않으면서, 카메라의 움직임을 추정하여 좀 더 정확한 파노라마 사진을 생성할 수 있다.
또한, 별도의 장치나 하드웨어의 추가적인 구비없이 보다 정확하게 카메라의 움직임을 추정할 수 있다.
또한, 사용자가 촬영 장치를 피사체를 향하여 이동하는 동작만으로 파노라마 사진을 자동으로 촬영할 수 있어, 사용자가 보다 용이하게 파노라마 사진을 획득할 수 있다.
또한, 촬영된 파노라마 사진을 별도의 후처리 없이, 촬영과 동시에 실시간으로 확인할 수 있다.
도 1은 본 발명이 적용되는 휴대용 단말기의 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 파노라마 촬영 장치의 구성을 예시하는 블록도,
도 3a는 본 발명의 일 실시예에 따른 파노라마 사진 촬영 장치에 의해 검출된 영역의 일 예시도,
도 3b는 도 3a의 파노라마 사진에 반영될 영역을 조합하여 생성된 파노라마 사진의 일 예시도,
도 4는 본 발명의 일 실시예에 따른 파노라마 사진 촬영 장치의 UI를 예시하는 도면,
도 5는 본 발명의 일 실시예에 따른 파노라마 사진 촬영 장치에 의해 검출된 영역의 일 예시도,
도 6은 도 5의 파노라마 사진에 반영될 영역을 조합하여 생성된 파노라마 사진의 좌영상의 일 예시도,
도 7은 도 5의 파노라마 사진에 반영될 영역을 조합하여 생성된 파노라마 사진의 우영상의 일 예시도,
도 8은 본 발명의 일 실시예에 따른 파노라마 사진 촬영 방법의 흐름도.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명이 적용되는 휴대용 단말기의 블록 구성도로서, 본 발명에서는 디지털 영상 촬영 기능을 구비할 수 있는 다양한 장치들 중에서 도 1에 도시된 바와 같이, 휴대용 단말기를 예로 들어 본 발명이 적용될 수 있는 하드웨어적인 기반 장치에 대해 먼저 설명하도록 한다.
도 1을 참조하면, 본 발명이 적용되는 디지털 영상 촬영 기능을 구비한 휴대용 단말기는 카메라(20), 영상 처리부(22)를 비롯하여, 표시부(24), 제어부(14), 메모리부(16), 및 키입력부(18)를 포함한다.
카메라(20)는 제어부(14)의 제어하에 일반적인 디지털 카메라 기능을 수행하여, 외부 촬영 대상으로부터 입력되는 가시광을 촬영하게 된다. 이러한 카메라(20)는 CCD 촬상소자 또는 CMOS 촬상소자 등으로 구성되는 촬영부(202)를 구비하며, 이외에도 조도 측정을 위한 조도 센서(204), 피사체와의 초점거리 측정을 위한 거리 센서(206) 등을 더 포함할 수 있다. 영상 처리부(22)는 카메라(20)에 출력되는 영상 데이터를 처리하여 적절한 포맷의 디지털 영상 데이터로 변환한다.
키입력부(18)는 사용자로부터 키 입력을 받기 위한 장치로서, 각종 기능을 설정하기 위한 기능키들을 구비하며, 이의 입력 신호를 제어부(14)로 출력한다. 표시부(24)는 액정표시장치(Liquid Crystal Display: LCD) 등과 같은 표시장치로 이루어질 수 있으며, 제어부(14)의 제어하에 해당 단말기의 각종 동작 상태에 대한 메시지를 비롯하여 촬영한 디지털 영상 데이터를 표시한다.
제어부(14)는 상기 각 기능부들의 동작을 총괄적으로 제어하여 휴대용 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 즉, 제어부(14)는 키입력부(18)를 통해 입력된 메뉴 선택 신호에 따른 처리를 수행하고, 카메라(20)를 통해 외부 촬영 신호를 입력받고 그에 따른 처리를 수행하며, 카메라 촬영 영상을 비롯한 각종 동작에 필요한 영상 출력 신호를 표시부(24)를 통해 출력하게 된다. 이때 필요에 따라 메모리부(16)에 저장된 출력할 내용을 가지고 오거나, 또는 그 내용을 메모리부(16)에 저장한다. 메모리부(16)는 제어부(14)의 동작 관련된 다수의 프로그램과 데이터를 저장하고 있으며, 또한 휴대용 단말기의 사용시에 필요한 정보 및 카메라 촬영 영상 정보를 저장하는데 사용된다.
이러한 구성을 가지는 휴대용 단말기는 카메라 기능을 수행하며, 이때 상기 제어부(14)는 상기의 기능 외에도 본 발명의 특징에 따른 파노라마 사진 촬영 동작을 수행하게 된다. 아울러, 메모리부(16)에는 본 발명의 특징에 따라 제어부(14)에서 파노라마 사진 촬영 동작을 위한 동작 프로그램 및 관련 정보들을 저장하며, 필요시 제어부(16)로 이에 대한 정보를 출력하게 된다.
나아가, 상기 휴대용 단말기는 이동 통신 통화를 지원하는 이동 통신 단말로서 구성될 수 있다. 이를 위해, 상기 휴대용 단말기는 신호를 처리하기 위한, 무선부(10) 및 무선데이터 처리부(12)를 더 포함할 수 있다. 무선부(10)는 사용자의 음성, 문자 및 제어 데이터를 무선 신호로 변조하여 이동통신망의 기지국(미도시)으로 송신하고, 기지국으로부터 무선 신호를 수신하여 음성, 문자, 제어 데이터 등으로 복조하여 출력한다. 무선데이터 처리부(12)는 제어부(14)의 제어 하에, 상기 무선부(10)에서 수신한 음성 데이터를 디코딩하여 스피커(speaker)를 통해 가청음으로 출력하며, 마이크로폰(microphone)으로부터 입력되는 사용자의 음성신호를 데이터화하여 무선부(10)로 출력하며, 무선부(10)를 통해 입력된 문자, 제어 데이터를 제어부(14)로 제공한다.
또한, 상기 휴대용 단말기는 본 발명의 특징에 따라 파노라마 사진 촬영시에, 피사체 화상을 실시간으로 마치 동화상처럼 입력받으며, 파노라마 사진 촬영 방향에 따라 휴대용 단말기가 사용자에 의해서 이동할 경우에(또는 해당 휴대용 단말기를 장착시켜 이를 자동으로 회전시키는 별도의 장치에 의해서 이동하는 경우도 물론), 현재 입력되는 영상과 이전 영상을 비교하여 해당 휴대용 단말기의 움직임 정보를 획득하고, 움직임 방향과 이동 정도를 파악한 후 적절한 파노라마 사진을 생성하기 위한 순차적인 화상을 얻는 동작을 수행하게 된다. 이하 첨부 도면을 참조하여 본 발명에 따른 파노라마 촬영 장치의 상세 구성 및 동작에 대해 보다 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 파노라마 촬영 장치의 구성을 예시하는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 파노라마 촬영 장치는 상기 휴대용 단말에 포함되는 구성으로써, 상기 휴대용 단말의 일부 구성, 즉 카메라 모듈(20) 및 표시부(24)를 포함하여 구성된다. 또한, 본 발명의 일 실시예에 따른 파노라마 촬영 장치는 움직임 벡터(MV; Motion Vector) 확인부(151), 화상검출부(152), 영역 검출부(153), 및 파노라마 생성부(154)를 구비하는 파노라마 사진 처리부(150)를 구비할 수 있다. 상기 파노라마 사진 처리부(150)는 제어부(14) 또는 영상 처리부(22)에 마련될 수 있다.
상기 카메라 모듈(20), 특히 촬영부(202)는 영상을 미리 정해진 시간 단위(예컨대, 1/30초)마다 실시간으로 촬영하여 버퍼부(21)로 출력한다. 바람직하게 상기 버퍼부(21)는 적어도 두 개의 버퍼(21-1,21-2)를 구비한다. 이에 따라, 상기 버퍼부(21)는 상기 촬영부(20)에서 실시간으로 촬영되어 출력되는 영상을 교차적으로 저장하게 된다. 예컨대, 상기 버퍼부(21)는 최초 촬영된 영상을 제1버퍼(21-1)에 저장하고, 다음 시간 주기에 촬영된 영상을 제2버퍼(21-2)에 저장하고, 그 다음 시간 주기에 촬영된 영상을 다시 제1버퍼(21-1)에 저장한다. 이에 따라, 상기 파노라마 촬영 장치가 움직임을 확인하거나, 화상을 검출함에 있어서, 현재 촬영되어 출력되는 현재 영상보다 상대적으로 이전에 촬영된 과거의 영상을 별도로 저장하여 읽어들이지 않을 수 있다.
MV 확인부(151)는 입력되는 영상들 사이의 움직임 벡터를 검출하기 위하여, 상기 버퍼부(21)에 저장되는 영상보다 상대적으로 낮은 해상도를 갖는 저해상도 영상을 생성한다. 예컨대, 상기 버퍼부(21)에 저장되는 영상은 1024×768 해상도를 갖는 영상이고, 상기 저해상도 영상은 320×240 해상도를 갖는 영상일 수 있다. 나아가, 상기 저해상도 영상은 표시부(24)를 통해 제공되는 프리뷰 영상으로써, 상기 표시부(24)의 해상도와 동일하게 설정될 수도 있다.
또한, MV 확인부(151)는 상기 저해상도로 이루어진 현재 영상과 이전 영상 사이의 움직임 벡터를 추정한다. 예컨대, MV 확인부(151)는 Optical Flow의 평균 값이나, Block-Matching 등과 같은 방법으로 움직임 벡터를 추정한다.
나아가, 상기 MV 확인부(151)는 상기 저해상도 영상을 사용하여 확인된 움직임 벡터를 상기 고해상도 이미지에 적용하여, 실제 고해상도 이미지에서의 움직임 벡터를 결정할 수 있다. 상기 움직임 벡터는 수직 및 수평 방향의 움직임 벡터를 모두 포함할 수 있다.
화상 검출부(152)는 촬영 장치로 입력되는 모든 영상을 파노라마 사진을 구성하는 화상으로써 채택할 수도 있으나, 사용자의 이동 속도에 따라, 동일한 장면이 촬영된 영상이 복수 개가 존재하게 될 수 있다. 따라서, 촬영 장치로 입력되는 영상들 중, 미리 정해진 거리만큼 이동한 영상을 파노라마 사진을 구성하는 화상으로써 채택하는 것이 바람직하다. 이를 위해, 화상 검출부(152)는, 입력되는 영상이 미리 정해진 거리만큼 이동하였는지를 확인하기 위해, 상기 MV확인부(151)에서 확인된 움직임 벡터 값을 로컬 모션(Local motion) 값에 누적시킨다. 그리고, 입력되는 영상이 미리 정해진 거리만큼 이동하였는지를 확인하기 위해, 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달하였는지를 확인한다. 화상 검출부(152)는 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달하면 촬영 장치로 입력되는 영상이 미리 정해진 거리만큼 이동한 것으로 판단하고, 해당 영상을 파노라마 사진을 구성하는 화상으로 결정한다. 반면, 화상 검출부(152)는 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달하지 못했을 경우, 촬영 장치로 입력되는 영상이 미리 정해진 거리만큼 이동하지 못한 것으로 판단한다.
나아가, 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달함에 따라, 촬영 장치로 입력되는 영상이 미리 정해진 거리만큼 이동한 것으로 판단하고, 상기 영상을 파노라마 사진을 구성하는 화상으로 결정할 수 있다. 그러나, 상기 로컬 모션 값이 파노라마 사진의 방향과 다른 방향으로 이동되어 취득된 값일 수 있으므로, 상기 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치되는지를 확인할 필요가 있다.
이를 위해, 화상 검출부(152)는, 파노라마 사진의 방향이 결정된 상태인지를 확인한다. 예컨대, 상기 파노라마 사진의 방향은 모션 벡터의 누적 값으로 확인할 수 있다. 즉, 파노라마 사진의 촬영이 시작되면, 상기 파노라마 사진의 방향을 설정하기 위한 글로벌 모션(Global motion) 값을 초기화하고, 파노라마 사진을 구성할 화상으로 설정된 영상의 상기 로컬 모션 값을 상기 글로벌 모션에 누적 가산한다. 그리고, 상기 글로벌 모션 값이 미리 정해진 임계값에 도달하게 되면, 상기 파노라마 사진의 방향이 설정된 것으로 판단할 수 있다.
나아가, 화상 검출부(152)는 상기 영상의 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치하는 지를 확인한다. 상기 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치하게 되면, 해당 영상을 파노라마 사진을 구성하는 화상으로 결정하게 된다. 이와 반대로, 상기 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치하지 않으면, 해당 영상을 파노라마 사진을 구성하는 화상으로 결정하지 않는다.
한편, 영역 검출부(153)는 우선 파노라마 사진에 반영될 영역을 검출하기 위해, 기준선(예컨대, 상기 화상의 수평 또는 수직 방향의 중심선)을 설정하고, 상기 기준선을 중심으로 미리 정해진 영역을 설정한다.
영역 검출부(153)에 의해 검출된 미리 정해진 영역들은 파노라마 사진 생성부(154)에 제공되며, 파노라마 사진 생성부(154)는 상기 미리 정해진 영역들을 연결하여 하나의 파노라마 사진을 생성한다. 파노라마 사진 생성부(154)는 여러 화상들에 포함된 상기 미리 정해진 영역들을 자연스럽게 연결하기 위하여, 일반적인 영상 정렬(aligning), 스티칭(stitching) 및 블렌딩(blending)과 같은 영상 처리를 수행 하는 것이 바람직하다.
비록 본 발명의 일 실시예에서, 상기 영상은 카메라의 움직임을 확인하기 위한 용도로 사용되는 영상과, 파노라마 사진을 구성하는 화상의 해상도가 다르게 설정되는 것을 예시하였다. 그리고, MV 확인부(151)가 카메라의 움직임을 확인하기 위한 용도로 사용되는 저해상도 영상을 생성하는 것을 예시하였다. 또한, 저해상도 영상을 사용하여 움직임 벡터를 확인하고, 상기 저해상도 영상을 사용하여 확인된 움직임 벡터를 고해상도 영상의 움직임 백터에 매칭시켜 실질적인 움직임 벡터의 크기를 확인하는 것을 예시하였다. 그러나, 본 발명이 이를 한정하는 것은 아니다.
예컨대, MV 확인부(151)는 카메라의 움직임을 확인하기 위한 용도로 사용되는 저해상도 영상을 생성하지 않고, 카메라 모듈(20)로부터 제공되는 영상으로부터 상기 움직임 벡터를 확인하도록 구현될 수 있다. 또한, 카메라 모듈(20)이 저해상도 영상을 제공하고, 상기 저해상도 영상으로부터 상기 움직임 벡터를 확인하고, 파노라마 사진을 구성하는 화상을 상기 저해상도 영상으로 구성할 수도 있다.
도 3a는 본 발명의 일 실시예에 따른 파노라마 사진 촬영 장치에 의해 검출된 영역의 일 예시도로써, 파노라마 사진 촬영이 좌에서 우측방향으로 진행됨에 따라, 순차적으로 획득된 제1화상(110), 제2화상(120), 및 제3화상(130)을 예시한다. 그리고, 도 3b는 도 3a의 파노라마 사진에 반영될 영역을 조합하여 생성된 파노라마 사진을 예시한다.
이하, 도 3a 및 도 3b를 참조하여, 영역 검출부(153) 및 파노라마 사진 생성부(154)의 구체적인 동작을 예시한다.
우선, 제1화상(110)의 기준선을 제1중심선(111)으로 설정하고, 제2화상(120)의 기준선을 제2중심선(121)으로 설정한다. 제1화상(110)이 파노라마 사진을 구성하는 초기 화상임에 따라, 영역 검출부(153)는 상기 제1화상(110)의 중심선(111)을 기준으로 좌측 영역을 파노라마 사진의 제1영역(113)으로 설정한다. 그리고, 영역 검출부(153)는 상기 제1중심선(111)과 제2중심선(121) 사이의 움직임 거리(mt)를 확인하고, 상기 움직임 거리(mt)를 2등분 한다. 그리고, 상기 제1중심선(111)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제2영역(115)으로 설정하고, 상기 제2중심선(121)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제3영역(123)으로 설정한다.
다음으로, 영역 검출부(153)는 제3화상(130)의 기준선을 제3중심선(131)으로 설정한 후, 상기 제2중심선(121)과 제3중심선(131) 사이의 움직임 거리(mt +1)를 확인하고, 상기 움직임 거리(mt +1)를 2등분 한다. 상기 파노라마 사진의 제2영역 및 제3영역을 설정하는 것과 마찬가지로, 영역 검출부(153)는 상기 제2중심선(121)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt +1) 만큼에 대응하는 영역을 파노라마 사진의 제4영역(125)으로 설정하고, 상기 제3중심선(131)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt +1) 만큼에 대응하는 영역을 파노라마 사진의 제5영역(133)으로 설정한다. 또한, 영역 검출부(153)는 제3화상(130)이 파노라마 사진을 구성하는 최종 화상임에 따라, 영역 검출부(153)는 상기 제3화상(130)의 중심선(131)을 기준으로 좌측 영역을 파노라마 사진의 제6영역(135)으로 설정한다.
영역 검출부(153)에 의해 검출된 제1 내지 제6영역(113,115,123,125,133,135)은 파노라마 사진 생성부(154)로 순차적으로 제공된다. 이에 따라, 파노라마 사진 생성부(154)는 MV 확인부(151)에서 제공하는 움직임 벡터의 방향에 기초하여, 상기 제1 내지 제6영역(113,115,123,125,133,135)을 좌에서 우측으로 순차적으로 배열함으로써, 수평 파노라마 사진(140)(도 3b참조)을 생성한다. 나아가, 상기 파노라마 사진에 포함된 영역들은 복수의 서로 다른 화상에서 검출된 영역으로서, 서로 다른 화상에서 검출된 영역이 배열되는 영역의 경계면, 즉 제2영역(115)과 제3영역(123) 사이의 제1경계면(141) 및 제4영역(125)과 제3영역(133) 사이의 제2경계면(143)에는 영상의 왜곡이 발생할 수 있다. 이러한 영상의 왜곡을 제거하기 위하여, 상기 파노라마 사진 생성부(154)는 서로 다른 화상에서 검출된 영역이 배열되는 영역의 경계면에 대해 블렌딩(blending)과 같은 영상 처리를 수행할 수 있다.
본 발명의 일 실시예에서, 제1 내지 제3화상을 포함하는 파노라마 사진을 구성하는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 상기 파노라마 사진을 구성하는 화상의 수는 다양하게 변경할 수 있음은 물론이다.
전술한 본 발명의 일 실시예에서, 파노라마 사진을 구성함에 있어서, 초기 화상의 중심선(111)을 기준으로 좌측 영역을 파노라마 사진의 제1영역(113)으로 설정하고, 최종 화상의 중심선(131)을 기준으로 우측 영역을 파노라마 사진의 제6영역(135)으로 설정하였다. 그리고, 제1화상(110)의 중심선을 기준으로 미리 정해진 제2영역(115)을 설정하고, 제2화상(120)의 중심선을 기준으로 미리 정해진 제3영역(123)과 제4영역(125)을 설정하고, 제3화상(130)의 중심선을 기준으로 미리 정해진 제5영역(133)을 설정하였다. 이와 같이, 상대적으로 원근법(perspective)에 의한 왜곡이 적은 화상의 중심 영역을 사용하여 파노라마 사진을 구현함으로써, 입력되는 영상을 동일한 초점 거리를 갖는 가상의 면으로 투영하는 처리 없이 비교적 간단하게 파노라마 사진의 원근법에 의한 왜곡을 최소화할 수 있다. 다만, 초기 화상의 제1영역(113)과 최종 화상의 제6영역(135)은, 화상의 중심선의 주변에 마련된 제2 내지 제5영역(115,123,125,133)에 비하여 상대적으로 왜곡이 크게 나타날 수 있다. 따라서, 파노라마 사진은 화상의 중심선의 주변에 마련된 영역들을 조합하는 것이 바람직하다. 화상의 중심선의 주변에 마련된 영역들을 조합하여 파노라마 사진을 생성하기 위하여, 파노라마 사진을 구성하는 영역들을 표시하는 UI(User Interface)를 사용자에게 제공할 수 있다. 나아가, 본 발명의 일 실시예에 따른 파노라마 사진 촬영 장치는 상기 UI를 제공하기 위한 구성으로써, UI관리부(155)를 더 포함할 수 있다.
UI관리부(155)는 상기 영역 검출부(153)에 의해 검출된 파노라마 사진에 포함될 영역을 제공한다. 그리고, UI관리부(155)는 화상 검출부(152)로부터 파노라마 사진의 촬영방향을 제공받고, 상기 촬영방향을 표시하는 UI를 표시부(24)를 통해 출력한다.
도 4는 본 발명의 일 실시예에 따른 파노라마 사진 촬영 장치의 UI를 예시하는 도면이다.
이하, 도 4를 참조하여, UI관리부(155)의 동작을 설명한다.
우선, 파노라마 사진의 촬영을 시작하게 되면, 상기 카메라 모듈(20)을 통해 입력되는 영상(411)은 표시부(24)를 통해 표시되게 된다. 이때, UI관리부(155)는 도 4의 초기 제1화면(410)에 표시되는 바와 같이, 상기 영상(411)과 함께, 방향 선택을 위한 UI를 출력한다. UI관리부(155)는, 상기 영상의 중심 영역을 기준으로 미리 정해진 크기의 윈도우(413)와, 파노라마 사진의 촬영이 진행될 방향을 지시하는 방향 지시자(414)를 포함하여 방향 선택을 위한 UI를 구성한다. UI관리부(155)는 상기 윈도우(413)의 각 면을 중심으로 하여, 파노라마 사진의 구성할 기준선을 설정한다, 구체적으로, 상기 파노라마 사진의 촬영이 우측 수평방향으로 진행되는 경우 상기 윈도우의 좌측면의 연장선인 제1기준선(401)을 파노라마 사진의 기준선으로 사용하고, 상기 파노라마 사진의 촬영이 좌측 수평방향으로 진행되는 경우 상기 윈도우의 우측면의 연장선인 제2기준선(402)을 파노라마 사진의 기준선으로 사용한다. 이와 마찬가지로, 상기 파노라마 사진의 촬영이 하부 수직방향으로 진행되는 경우 상기 윈도우의 상부면의 연장선인 제3기준선(403)을 파노라마 사진의 기준선으로 사용하고, 상기 파노라마 사진의 촬영이 상부 수직방향으로 진행되는 경우 상기 윈도우의 하부면의 연장선인 제4기준선(404)을 파노라마 사진의 기준선으로 사용한다.
이에 따라, 파노라마 사진의 촬영이 시작되면, 예컨대 사용자에 의해 파노라마 촬영 버튼의 입력이 수신된 후, 촬영장치가 이동되면, UI관리부(155)는 제2화면(420)에서와 같이 화상 검출부(152)로부터 제공되는 움직임 벡터값을 이용하여, 상기 윈도우를 이동되는 방향으로 점차 확대하여 표시한다. 상기 움직임 벡터값이 촬영 장치의 이동 방향을 확인하기 위해 미리 정해진 임계값에 도달하게 되면, 화상 검출부(152)는 파노라마 사진의 촬영방향을 결정하게 되고, 상기 UI관리부(155)는 화상 검출부(152)로부터 파노라마 사진의 촬영방향을 입력받게 된다. 이에 따라, 상기 UI관리부(155)는 제3화면(430)에서와 같이 상기 파노라마 사진의 기준이 되는 기준선(401)과 함께 촬영방향을 지시하는 방향 지시자(414)를 포함하는 UI를 표시부(24)를 통해 출력한다.
한편, 파노라마 사진 촬영 장치는 파노라마 사진을 좌영상 및 우영상을 포함하는 입체 영상으로 생성할 수도 있다. 상기 영역 검출부(153)는 화상검출부(152)를 통해 입력되는 화상에서, 좌영상 및 우영상을 생성하기 위한 두 개의 기준선을 설정하고, 상기 두 개의 기준선으로부터 미리 정해진 영역을 각각 검출한다. 따라서, 상기 영역 검출부(153)는 하나의 화상에서 좌영상 및 우영상을 생성하기 위한 두 개의 영역을 파노라마 사진 생성부(154)에 제공한다. 파노라마 사진 생성부(154)는 상기 영역을 각각 배열하고 조합하여 파노라마 사진의 좌영상 및 우영상을 생성하여 출력한다.
도 5는 본 발명의 일 실시예에 따른 파노라마 사진 촬영 장치에 의해 검출된 영역의 일 예시도로써, 파노라마 사진 촬영이 좌에서 우측방향으로 진행됨에 따라, 순차적으로 획득된 제1화상(510), 제2화상(520), 제3화상(530), 제4화상(540), 제5화상(550), 및 제6화상(560)을 예시한다. 그리고, 도 6은 도 5의 파노라마 사진에 반영될 영역을 조합하여 생성된 파노라마 사진의 좌영상을 예시하고, 도 7은 도 5의 파노라마 사진에 반영될 영역을 조합하여 생성된 파노라마 사진의 우영상을 예시한다.
이하, 도 5 내지 도 7을 참조하여, 영역 검출부(153) 및 파노라마 사진 생성부(154)가 파노라마 사진의 좌영상 및 우영상을 생성하는 구체적인 동작을 예시한다.
우선, 영역 검출부(153)는 제1화상(510)의 좌영상을 위한 제1기준선(501)과, 우영상을 위한 제2기준선(505)을 설정한다. 상기 제1기준선(501)과 제2기준선(505)은 제2 내지 제6화상(520,530,540,550,560)에서도 모두 동일하게 설정된다.
그리고, 상기 영역 검출부(153)는 상기 제1화상(510)과 제2화상(520)의 제1기준선(501) 사이의 움직임 거리(mt)를 확인하고, 상기 움직임 거리(mt)를 2등분 한다. 그리고, 상기 제1화상(510)의 제1기준선(501)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제1영역(511)으로 설정하고, 상기 제2화상(520)의 제1기준선(501)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제3영역(521)으로 설정한다.
이와 동시에, 상기 영역 검출부(153)는 상기 제1화상(510)의 제2기준선(505)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제2영역(512)으로 설정하고, 상기 제2화상(520)의 제2기준선(505)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제4영역(522)으로 설정한다.
상기 영역 검출부(153)는 상기 제1영역(511)과 제3영역(521)을 파노라마 사진의 좌영상을 위한 영역으로서 상기 파노라마 사진 생성부(154)로 제공하고, 상기 제2영역(512)과 제4영역(522)을 파노라마 사진의 좌영상을 위한 영역으로서 상기 파노라마 사진 생성부(154)로 제공한다.
이와 동일한 방법으로, 상기 영역 검출부(153)는 제2영상(520)의 제5영역(523), 제3영상(530)의 제7영역(531)과 제9영역(533), 제4영상(540)의 제11영역(541)과 제13영역(543), 제5영상(550)의 제15영역(551)과 제17영역(553), 제6영상(560)의 제19영역(561)을 파노라마 사진의 좌영상을 위한 영역으로서 상기 파노라마 사진 생성부(154)로 제공하고, 제2영상(520)의 제6영역(524), 제3영상(530)의 제8영역(532)과 제10영역(534), 제4영상(540)의 제12영역(542)과 제14영역(544), 제5영상(550)의 제16영역(552)과 제18영역(554), 제6영상(560)의 제20영역(562)을 파노라마 사진의 우영상을 위한 영역으로서 상기 파노라마 사진 생성부(154)로 제공한다.
상기 파노라마 사진 생성부(154)는 움직임 벡터의 방향에 기초하여, 파노라마 사진의 좌영상을 위한 영역과 우영상을 위한 영역을 각각 배열하여 파노라마 사진의 좌영상과 우영상을 생성한다.
구체적으로, 도 6에서와 같이, 상기 파노라마 사진 생성부(154)는 제1영역(511), 제3영역(521), 제5영역(523), 제7영역(531), 제9영역(533), 제11영역(541), 제13영역(543), 제15영역(551), 제17영역(553), 및 제19영역(561)을 좌에서 우측으로 순차적으로 배열한다. 그리고, 상기 배열된 영역들을 조합한 영상(610)을 생성하고, 상기 조합한 영상(610)을 일부 영역을 잘라내어(Crop) 파노라마 사진의 좌영상(620)을 생성한다.
또한, 도 7에서와 같이, 상기 파노라마 사진 생성부(154)는 제2영역(512), 제4영역(522), 제6영역(524), 제8영역(532), 제10영역(534), 제12영역(542), 제14영역(544), 제16영역(552), 제18영역(554), 및 제20영역(562)을 좌에서 우측으로 순차적으로 배열한다. 그리고, 상기 배열된 영역들을 조합한 영상(710)을 생성하고, 상기 조합한 영상(710)을 일부 영역을 잘라내어(Crop) 파노라마 사진의 우영상(720)을 생성한다.
도 8은 본 발명의 일 실시예에 따른 파노라마 사진 촬영 방법의 흐름도이다.
도 8을 참조하면, 사용자가 휴대용 단말기의 메뉴 항목 중에서, 예를 들어 카메라 촬영 메뉴의 하위 메뉴 중 일명 '파노라마 사진 촬영 모드'메뉴를 선택하고, 파노라마 사진의 촬영을 위한 키를 입력함으로써, 파노라마 사진 촬영을 시작할 수 있다.
파노라마 사진 촬영이 시작되면, 우선적으로 801단계에서 각 화상의 이동 거리를 확인하기 위한 로컬 모션(Local motion) 값을 초기화한다.
그리고, 802단계에서, 촬영 장치에 입력되는 영상을 미리 정해진 시간 단위(예컨대, 1/30초)마다 촬영 장치로부터 영상을 실시간으로 입력받아 버퍼에 저장한다. 즉, 촬영 장치로 입력되는 이미지를 마치 동영상처럼 입력받아, 상기 동영상에 포함되는 영상(프레임)을 각각 메모리에 저장하게 된다.
상기 영상은 카메라의 움직임을 확인하기 위한 용도로 사용되는 영상으로써, 파노라마 사진을 구성하는 화상과는 다른 영상일 수 있다. 따라서, 상기 영상이 카메라의 움직임을 확인하기 위한 용도로만 사용되는 경우, 상기 영상의 해상도는 하기의 단계에서 수행되는 카메라의 움직임을 확인하는 과정에서 필요한 정도이면 충분하다. 따라서, 영상을 추출하는 802단계는, 촬영 장치로 입력되는 영상을 저해상도의 영상으로 생성하는 과정을 더 포함할 수 있다.
다음으로, 입력된 영상이 초기 영상일 경우, 이전 영상이 존재하지 않아 움직임 벡터를 확인할 수가 없다. 따라서, 803단계에서는, 상기 영상이 초기 영상인지를 확인하여, 초기 영상이 아닌 경우 804단계로 진행하고, 초기 영상인 경우 806단계를 통해 다시 802단계를 진행한다. 다시 802단계를 진행하게 되면, 초기 영상은 이전 영상으로서 저장되게 되고, 다시 진행된 802단계에서 추출되는 영상은 현재영상으로서 저장되게 된다.
한편, 추출된 영상이 초기 영상이 아님에 따라 진행되는 804단계에서는, 이전 영상과 현재 영상 사이의 움직임 벡터 값을 확인하게 된다.
구체적으로 804단계에서, 저해상도로 이루어진 현재 영상과 이전 영상 사이의 움직임 벡터를 추정한다. 예컨대, Optical Flow의 평균 값이나, Block-Matching 등과 같은 방법으로 움직임 벡터를 추정한다.
또한, 상기 저해상도 영상을 사용하여 확인된 움직임 벡터는 고해상도 영상의 움직임 백터와 다른 값을 갖게 되므로, 상기 저해상도 영상을 사용하여 확인된 움직임 벡터를 고해상도 영상의 움직임 백터에 매칭시켜 실질적인 움직임 벡터의 크기를 확인해야한다. 따라서, 804단계는 상기 저해상도 영상을 사용하여 확인된 움직임 벡터를 상기 고해상도 이미지에 적용하여, 실제 고해상도 이미지에서의 움직임 벡터를 결정하는 과정을 포함한다.
촬영 장치로 입력되는 모든 영상을 파노라마 사진을 구성하는 화상으로써 채택할 수도 있으나, 사용자의 이동 속도에 따라, 동일한 장면이 촬영된 영상이 복수 개가 존재하게 될 수 있다. 따라서, 촬영 장치로 입력되는 영상들 중, 미리 정해진 거리만큼 이동한 영상을 파노라마 사진을 구성하는 화상으로써 채택하는 것이 바람직하다. 이를 위해, 805단계에서는, 촬영 장치로 입력되는 영상이 미리 정해진 거리만큼 이동하였는지를 확인하기 위해, 상기 804단계에서 확인된 움직임 벡터 값을 로컬 모션(Local motion) 값에 누적시킨다.
다음으로, 806단계에서는, 촬영 장치로 입력되는 영상이 미리 정해진 거리만큼 이동하였는지를 확인하기 위해, 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달하였는지를 확인한다. 806단계에서, 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달하였을 경우 807단계를 진행하고, 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달하지 못했을 경우, 촬영 장치로 입력되는 영상이 미리 정해진 거리만큼 이동하지 못한 것으로 판단하여 802단계를 다시 진행하게 된다.
나아가, 상기 로컬 모션(Local motion) 값이 미리 정해진 임계값에 도달함에 따라, 촬영 장치로 입력되는 영상이 미리 정해진 거리만큼 이동한 것으로 판단하고, 상기 영상을 파노라마 사진을 구성하는 화상으로 결정할 수 있다. 그러나, 상기 로컬 모션 값이 파노라마 사진의 방향과 다른 방향으로 이동되어 취득된 값일 수 있으므로, 상기 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치되는지를 확인할 필요가 있다.
이를 위해, 우선적으로 807단계에서, 파노라마 사진의 방향이 결정된 상태인지를 확인한다. 예컨대, 상기 파노라마 사진의 방향은 모션 벡터의 누적 값으로 확인할 수 있다. 즉, 파노라마 사진의 촬영이 시작되면, 상기 파노라마 사진의 방향을 설정하기 위한 글로벌 모션(Global motion) 값을 초기화하고, 파노라마 사진을 구성할 화상으로 설정된 영상의 상기 로컬 모션 값을 상기 글로벌 모션에 누적 가산한다. 그리고, 상기 글로벌 모션 값이 미리 정해진 임계값에 도달하게 되면, 상기 파노라마 사진의 방향이 설정된 것으로 판단할 수 있다.
807단계에서, 상기 글로벌 모션 값이 미리 정해진 임계값에 도달하여 이미 상기 파노라마 사진의 방향이 설정되어 있으면, 809단계를 진행하고, 상기 글로벌 모션 값이 미리 정해진 임계값에 도달하지 않아 파노라마 사진의 방향이 결정되지 않음 상태이면, 808단계를 진행하여 상기 805단계에서 검출된 로컬 모션 값을 사용하여 파노라마 사진의 방향을 결정하게 된다.
나아가, 상기 809단계에서는 상기 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치하는 지를 확인한다. 상기 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치하게 되면 810단계를 진행하고, 로컬 모션의 방향이 상기 파노라마 사진의 방향과 일치하지 않으면, 파노라마 사진 촬영을 종료하게 된다.
한편, 810단계에서는, 촬영 장치로 입력되는 영상이 상기 파노라마 사진의 방향으로 미리 정해진 거리만큼 이동한 것으로 판단하고, 상기 영상을 파노라마 사진을 구성하는 화상으로 결정하게 된다.
다음으로, 811단계에서는, 상기 화상으로부터 파노라마 사진에 포함될 영역을 검출하게 되고, 812단계에서는 상기 검출된 영역을 조합하여 파노라마 사진을 생성하게 된다. 그리고, 상기 로컬 모션 값을 초기화한 후(813단계), 파노라마 사진 촬영이 종료되었는지를 확인(814단계)하고, 종료되지 않았을 경우 802단계를 진행한다. 이때, 파노라마 사진 촬영의 종료는 사용자로부터 파노라마 사진 촬영의 종료를 위한 키 입력으로 판단하거나, 상기 파노라마 사진의 미리 정해진 범위에 도달됨에 따라 판달할 수 있다.
이하, 811단계 및 812단계의 진행과정을 전술한 도 3a 및 3b를 참조하여 구체적으로 설명한다. 카메라를 좌에서 우측 방향으로 이동하는 것을 예시하는 도 3a를 참조하면, 811단계에서, 우선 파노라마 사진에 반영될 영역을 검출하기 위해, 상기 화상의 기준선(예컨대, 상기 화상의 수평 또는 수직 방향의 중심선)을 설정한다. 즉, 제1화상(110)의 기준선을 제1중심선(111)으로 설정하고, 제2화상(120)의 기준선을 제2중심선(121)으로 설정한다. 제1화상(110)이 파노라마 사진을 구성하는 초기 화상인 경우, 상기 제1화상(110)의 중심선(111)을 기준으로 좌측 영역을 파노라마 사진의 제1영역(113)으로 설정한다. 그리고, 상기 로컬 모션 값에 기초하여, 상기 제1중심선(111)과 제2중심선(121) 사이의 움직임 거리(mt)를 확인하고, 상기 움직임 거리(mt)를 2등분 한다. 그리고, 상기 제1중심선(111)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제2영역(115)으로 설정하고, 상기 제2중심선(121)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제3영역(123)으로 설정한다. 다음으로, 제3화상(130)의 기준선을 제3중심선(131)으로 설정한 후, 상기 제2중심선(121)과 제3중심선(131) 사이의 움직임 거리(mt +1)를 확인하고, 상기 움직임 거리(mt +1)를 2등분 한다. 상기 파노라마 사진의 제2영역 및 제3영역을 설정하는 것과 마찬가지로, 상기 제2중심선(121)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt +1) 만큼에 대응하는 영역을 파노라마 사진의 제4영역(125)으로 설정하고, 상기 제3중심선(131)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt +1) 만큼에 대응하는 영역을 파노라마 사진의 제5영역(133)으로 설정한다. 또한, 제3화상(130)이 파노라마 사진을 구성하는 최종 화상인 겨우, 상기 제3화상(130)의 중심선(131)을 기준으로 좌측 영역을 파노라마 사진의 제6영역(135)으로 설정한다.
다음으로, 812단계에서, 상기 제1 내지 제6영역(113,115,123,125,133,135)를 순차적으로 제공받고, 움직임 벡터의 방향에 기초하여, 상기 제1 내지 제6영역(113,115,123,125,133,135)을 좌에서 우측으로 순차적으로 배열함으로써, 수평 파노라마 사진(140)(도 3b참조)을 생성한다. 나아가, 상기 파노라마 사진에 포함된 영역들은 복수의 서로 다른 화상에서 검출된 영역으로서, 서로 다른 화상에서 검출된 영역이 배열되는 영역의 경계면, 즉 제2영역(115)과 제3영역(123) 사이의 제1경계면(141) 및 제4영역(125)과 제3영역(133) 사이의 제2경계면(143)에는 영상의 왜곡이 발생할 수 있다. 이러한 영상의 왜곡을 제거하기 위하여, 서로 다른 화상에서 검출된 영역이 배열되는 영역의 경계면에 대해 블렌딩(blending)과 같은 영상 처리를 수행할 수 있다.
나아가, 파노라마 사진 촬영 방법에 따르면, 파노라마 사진을 좌영상 및 우영상을 포함하는 입체 영상으로 생성할 수도 있다. 파노라마 사진을 입체 영상으로 생성하는 방법은 전술한 파노라마 사진 촬영 방법과 동일하다. 다만, 상기 화상에서 파노라마 사진에 포함되는 영역을 검출하는 811단계와, 상기 검출된 영역을 조합하는 812단계의 구체적인 동작만 다르게 구성된다.
811단계에서, 파노라마 사진을 입체 영상으로 생성하기 위하여, 입력되는 화상에서, 좌영상 및 우영상을 생성하기 위한 두 개의 기준선을 설정하고, 상기 두 개의 기준선으로부터 미리 정해진 영역을 각각 검출한다. 따라서, 811단계에서는 하나의 화상에서 좌영상 및 우영상을 생성하기 위한 두 개의 영역을 생성한다. 그리고, 812단계에서는 상기 영역을 각각 배열하고 조합하여 파노라마 사진의 좌영상 및 우영상을 생성한다.
이하, 도 5 내지 도 7을 참조하여, 카메라를 좌에서 우측 방향으로 이동하는 경우에 파노라마 사진을 입체영상으로 생성하는 구체적인 과정을 예시한다.
우선, 811단계에서 제1화상(510)의 좌영상을 위한 제1기준선(501)과, 우영상을 위한 제2기준선(505)을 설정한다. 상기 제1기준선(501)과 제2기준선(505)은 제2 내지 제6화상(520,530,540,550,560)에서도 모두 동일하게 설정된다.
그리고, 811단계에서는 상기 제1화상(510)과 제2화상(520)의 제1기준선(501) 사이의 움직임 거리(mt)를 확인하고, 상기 움직임 거리(mt)를 2등분 한다. 그리고, 상기 제1화상(510)의 제1기준선(501)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제1영역(511)으로 설정하고, 상기 제2화상(520)의 제1기준선(501)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제3영역(521)으로 설정한다.
이와 동시에, 상기 제1화상(510)의 제2기준선(505)을 기준으로 우측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제2영역(512)으로 설정하고, 상기 제2화상(520)의 제2기준선(505)을 기준으로 좌측에 마련되며, 2등분된 상기 움직임 거리(mt) 만큼에 대응하는 영역을 파노라마 사진의 제4영역(522)으로 설정한다.
상기 811단계에서는 상기 제1영역(511)과 제3영역(521)을 파노라마 사진의 좌영상을 위한 영역으로서 검출하여 제공하고, 상기 제2영역(512)과 제4영역(522)을 파노라마 사진의 좌영상을 위한 영역으로서 검출한다.
이와 동일한 방법으로, 제2영상(520)의 제5영역(523), 제3영상(530)의 제7영역(531)과 제9영역(533), 제4영상(540)의 제11영역(541)과 제13영역(543), 제5영상(550)의 제15영역(551)과 제17영역(553), 제6영상(560)의 제19영역(561)을 파노라마 사진의 좌영상을 위한 영역으로서 검출하고, 제2영상(520)의 제6영역(524), 제3영상(530)의 제8영역(532)과 제10영역(534), 제4영상(540)의 제12영역(542)과 제14영역(544), 제5영상(550)의 제16영역(552)과 제18영역(554), 제6영상(560)의 제20영역(562)을 파노라마 사진의 우영상을 위한 영역으로서 검출한다.
812단계에서는, 움직임 벡터의 방향에 기초하여, 파노라마 사진의 좌영상을 위한 영역과 우영상을 위한 영역을 각각 배열하여 파노라마 사진의 좌영상과 우영상을 생성한다. 즉, 도 6에서와 같이, 제1영역(511), 제3영역(521), 제5영역(523), 제7영역(531), 제9영역(533), 제11영역(541), 제13영역(543), 제15영역(551), 제17영역(553), 및 제19영역(561)을 좌에서 우측으로 순차적으로 배열한다. 그리고, 상기 배열된 영역들을 조합한 영상(610)을 생성하고, 상기 조합한 영상(610)을 일부 영역을 잘라내어 파노라마 사진의 좌영상(620)을 생성한다. 또한, 도 7에서와 같이, 제2영역(512), 제4영역(522), 제6영역(524), 제8영역(532), 제10영역(534), 제12영역(542), 제14영역(544), 제16영역(552), 제18영역(554), 및 제20영역(562)을 좌에서 우측으로 순차적으로 배열한다. 그리고, 상기 배열된 영역들을 조합한 영상(710)을 생성하고, 상기 조합한 영상(710)을 일부 영역을 잘라내어 파노라마 사진의 우영상(720)을 생성한다.
전술한 바와 같은, 본 발명의 일 실시예에 다른 파노라마 사진 촬영 방법은, 상대적으로 원근법(perspective)에 의한 왜곡이 적은 화상의 중심 영역을 사용하여 파노라마 사진을 구현함으로써, 입력되는 영상을 동일한 초점 거리를 갖는 가상의 면으로 투영하는 처리 없이 비교적 간단하게 파노라마 사진의 원근법에 의한 왜곡을 최소화할 수 있다.
더 나아가, 파노라마 사진은 화상의 중심선의 주변에 마련된 영역들을 조합하는 것이 바람직하다. 화상의 중심선의 주변에 마련된 영역들을 조합하여 파노라마 사진을 생성하기 위하여, 파노라마 사진을 구성하는 영역들을 표시하는 UI(User Interface)를 사용자에게 제공할 수 있다.
이를 위해,본 발명의 일 실시예에 다른 파노라마 사진 촬영 방법은, 파노라마 사진의 방향 결정을 확인하는 807단계, 파노라마 사진의 방향을 결정하는 808단계, 로컬 모션이 파노라마 사진의 방향과 일치하는 지를 확인하는 809단계, 화상을 경정하는 810단계, 및 파노라마 사진에 포함될 영역을 검출하는 811단계에서, 파노라마 사진을 구성하는 영역들을 표시하는 윈도우와, 파노라마 사진의 방향을 지시하는 방향 지시자를 포함하는 UI를 제공할 수 있다.
비록 본 발명의 일 실시예에서, 상기 영상은 카메라의 움직임을 확인하기 위한 용도로 사용되는 영상과, 파노라마 사진을 구성하는 화상의 해상도가 다르게 설정되는 것을 예시하였다. 그리고, 카메라의 움직임을 확인하기 위한 용도로 사용되는 저해상도 영상을 생성하는 과정을 포함하여 동작하는 것을 예시하였다. 또한, 저해상도 영상을 사용하여 움직임 벡터를 확인하고, 상기 저해상도 영상을 사용하여 확인된 움직임 벡터를 고해상도 영상의 움직임 백터에 매칭시켜 실질적인 움직임 벡터의 크기를 확인하는 것을 예시하였다. 그러나, 본 발명이 이를 한정하는 것은 아니다.
예컨대, 상기 움직임 벡터를 확인하는데 사용되는 영상의 해상도와, 파노라마 사진을 구성하는 화상의 해상도는 동일하게 설정될 수 있다. 또한, 카메라의 움직임을 확인하기 위한 용도로 사용되는 저해상도 영상을 생성하지 않고, 촬영되는 영상으로부터 움직임 벡터의 크기를 확인할 수도 있다.
즉, 상기 움직임 벡터를 확인하는데 사용되는 영상과 파노라마 사진을 구성하는 화상이 모두 저해상도 또는 고해상도로 이루어질 수 있다.
상기 촬영되는 영상은 파노라마 사진을 구성하는 화상과 동일한 영상으로써, 동일한 해상도로 이루어질 수 있다. 상기 촬영되는 영상이 파노라마 사진을 구성하는 화상과 동일한 영상일 경우, 상기 영상을 이용하여 움직임 벡터를 확인할 수도 있다.
이외에도 본 발명의 다양한 실시예 또는 변형예가 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (14)

  1. 파노라마 사진 촬영 방법에 있어서,
    촬상소자를 통해 입력되는 복수의 영상들의 움직임 벡터를 확인하는 단계와,
    상기 움직임 벡터에 기초하여, 상기 복수의 영상들 중 미리 설정된 거리만큼 이동된 영상들을 파노라마 사진을 구성하는 복수의 화상들로 선택하는 단계와,
    상기 선택된 복수의 화상들로부터, 상기 선택된 복수의 화상들의 각 중심선을 기준으로 미리 정해진 영역에 기초하여, 상기 파노라마 사진에 포함될 영역들을 검출하는 단계와,
    상기 검출된 영역들을 포함하는 파노라마 사진을 구성하는 단계를 포함함을 특징으로 하는 파노라마 사진 촬영 방법.
  2. 제1항에 있어서, 상기 파노라마 사진에 포함될 영역들을 검출하는 단계는,
    상기 선택된 복수의 화상들의 수평 또는 수직방향의 각 중심선을 기준으로 이전 화상 및 현재 화상의 각 해당 중심으로부터 상기 미리 정해진 영역을 검출하는 단계를 포함함을 특징으로 하는 파노라마 사진 촬영 방법.
  3. 제1항에 있어서, 상기 파노라마 사진에 포함될 영역들을 검출하는 단계는,
    상기 선택된 복수의 화상들의 입체 영상 생성에 기준이 되는 제1기준선 및 제2기준선을 기준으로 이전 화상 및 현재 화상의 미리 정해진 영역을 검출하는 단계를 포함함을 특징으로 하는 파노라마 사진 촬영 방법.
  4. 제2항 또는 제3항에 있어서, 상기 미리 정해진 영역은,
    상기 이전 화상과 현재 화상 사이의 움직임 벡터의 크기에 기초하여 설정되는 것을 특징으로 하는 파노라마 사진 촬영 방법.
  5. 제1항에 있어서, 상기 움직임 벡터를 확인하는 단계는,
    상기 촬상소자를 통해 입력되는 상기 복수의 영상들보다 상대적으로 낮은 해상도를 갖는 저해상도 영상들을 생성하는 단계와,
    상기 저해상도 영상들의 움직임 벡터를 추정하는 단계와,
    상기 저해상도 영상들의 움직임 벡터를 상기 촬상소자를 통해 입력되는 상기 복수의 영상들에 적용하여, 상기 촬상소자를 통해 입력되는 상기 복수의 영상들의 움직임 벡터를 확인하는 단계를 포함함을 특징으로 하는 파노라마 사진 촬영 방법.
  6. 제1항에 있어서,
    상기 촬상소자를 통해 입력되는 상기 복수의 영상들보다 상대적으로 낮은 해상도를 갖는 저해상도 영상들을 생성하는 단계를 더 포함하며,
    상기 파노라마 사진을 구성하는 상기 복수의 화상들은 상기 저해상도 영상들로 이루어지는 것을 특징으로 하는 파노라마 사진 촬영 방법.
  7. 제1항에 있어서, 상기 파노라마 사진을 구성하는 상기 복수의 화상들을 획득하는 단계는,
    상기 촬상소자를 통해 입력되는 상기 복수의 영상들의 움직임 벡터를 확인하는 단계와,
    상기 복수의 영상들의 움직임 벡터를 누적하는 단계와,
    상기 누적된 움직임 벡터를 상기 파노라마 사진을 구성하는 상기 복수의 화상들을 선택하기 위해 미리 정해진 값과 비교하고, 상기 누적된 움직임 벡터가 상기 미리 정해진 값에 도달하면 해당 영상들을 상기 파노라마 사진을 구성하는 상기 복수의 화상들로 선택하는 단계를 포함함을 특징으로 하는 파노라마 사진 촬영 방법.
  8. 제1항에 있어서, 상기 파노라마 사진에 포함될 영역들을 검출하는 단계는,
    상기 파노라마 사진에 포함될 영역들을 표시하는 UI(User Interface)를 생성하는 단계를 포함함을 특징으로 하는 파노라마 사진 촬영 방법.
  9. 파노라마 사진 촬영 장치에 있어서,
    촬상소자를 통해 입력되는 복수의 영상들의 움직임 벡터를 확인하는 움직임 벡터 확인부와,
    상기 움직임 벡터에 기초하여, 상기 복수의 영상들 중 미리 설정된 거리만큼 이동된 영상들을 파노라마 사진을 구성하는 복수의 화상들로 선택하는 화상 검출부와,
    상기 선택된 복수의 화상들로부터, 상기 선택된 복수의 화상들의 각 중심선을 기준으로 미리 정해진 영역에 기초하여, 상기 파노라마 사진에 포함될 영역들을 검출하는 영역 검출부와,
    상기 검출된 영역들을 포함하는 파노라마 사진을 생성하는 파노라마 사진 생성부를 포함함을 특징으로 하는 파노라마 사진 촬영 장치.
  10. 제9항에 있어서, 상기 영역 검출부는,
    상기 선택된 복수의 화상들의 수평 또는 수직방향의 각 중심선을 기준으로 이전 화상 및 현재 화상의 각 해당 중심선으로부터 상기 미리 정해진 영역을 검출하는 것을 특징으로 하는 파노라마 사진 촬영 장치.
  11. 제9항에 있어서, 상기 영역 검출부는,
    상기 선택된 복수의 화상들의 입체 영상 생성에 기준이 되는 제1기준선 및 제2기준선을 기준으로 이전 화상 및 현재 화상의 미리 정해진 영역을 검출하는 단계를 포함함을 특징으로 하는 파노라마 사진 촬영 장치.
  12. 제10항 또는 제11항에 있어서, 상기 미리 정해진 영역은,
    상기 이전 화상과 현재 화상 사이의 움직임 벡터의 크기에 기초하여 설정되는 것을 특징으로 하는 파노라마 사진 촬영 장치.
  13. 제9항에 있어서, 상기 화상 검출부는,
    상기 촬상소자를 통해 입력되는 상기 복수의 영상들의 움직임 벡터를 확인하고, 상기 복수의 영상들의 움직임 벡터를 누적하고, 상기 누적된 움직임 벡터를 상기 파노라마 사진을 구성하는 상기 복수의 화상들을 선택하기 위해 미리 정해진 값과 비교하고, 상기 누적된 움직임 벡터가 상기 미리 정해진 값에 도달하면 해당 영상들을 상기 파노라마 사진을 구성하는 상기 복수의 화상들로 선택하는 것을 특징으로 하는 파노라마 사진 촬영 장치.
  14. 제9항에 있어서,
    상기 파노라마 사진에 포함될 영역들과, 상기 파노라마 사진의 촬영 방향을 표시하는 UI(User Interface)를 생성하는 UI 관리부를 포함함을 특징으로 하는 파노라마 사진 촬영 장치.
KR1020100074217A 2010-07-30 2010-07-30 파노라마 사진 촬영 방법 KR101663321B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100074217A KR101663321B1 (ko) 2010-07-30 2010-07-30 파노라마 사진 촬영 방법
EP11175891.8A EP2413589B1 (en) 2010-07-30 2011-07-29 Method and apparatus for photographing a panoramic image
US13/194,156 US9538057B2 (en) 2010-07-30 2011-07-29 Method and apparatus for photographing a panoramic image
CN201110218912.2A CN102348065B (zh) 2010-07-30 2011-08-01 用于拍摄全景图像的方法和装置
US15/393,920 US9986158B2 (en) 2010-07-30 2016-12-29 Method and apparatus for photographing a panoramic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100074217A KR101663321B1 (ko) 2010-07-30 2010-07-30 파노라마 사진 촬영 방법

Publications (2)

Publication Number Publication Date
KR20120012201A KR20120012201A (ko) 2012-02-09
KR101663321B1 true KR101663321B1 (ko) 2016-10-17

Family

ID=44907717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100074217A KR101663321B1 (ko) 2010-07-30 2010-07-30 파노라마 사진 촬영 방법

Country Status (4)

Country Link
US (2) US9538057B2 (ko)
EP (1) EP2413589B1 (ko)
KR (1) KR101663321B1 (ko)
CN (1) CN102348065B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663321B1 (ko) * 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
JP2013034081A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
KR101804205B1 (ko) * 2012-03-15 2017-12-04 삼성전자주식회사 영상 처리 장치 및 방법
TW201351959A (zh) * 2012-06-13 2013-12-16 Wistron Corp 立體全景影像合成方法及其相關之立體攝影機
US20140267591A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Electronic device and method of outputting image in electronic device
US9712746B2 (en) * 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
CN108012073B (zh) * 2016-10-28 2020-05-19 努比亚技术有限公司 一种实现全景拍摄的方法及装置
JP7172982B2 (ja) * 2017-03-14 2022-11-16 株式会社ニコン 画像処理装置
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP7051570B2 (ja) * 2018-05-09 2022-04-11 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法およびプログラム
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
WO2021079455A1 (ja) * 2019-10-24 2021-04-29 三菱電機株式会社 画像生成システム及び画像処理装置、並びにプログラム及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060088191A1 (en) * 2004-10-25 2006-04-27 Tong Zhang Video content understanding through real time video motion analysis
US20070095588A1 (en) * 2002-11-08 2007-05-03 Bernhard Mattes Controlling vehicle dynamics through the use of an image sensor system
US20090058990A1 (en) * 2007-08-29 2009-03-05 Samsung Electronics Co., Ltd. Method for photographing panoramic picture

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69329717T2 (de) * 1992-10-09 2001-05-10 Sony Corp., Tokio/Tokyo Erzeugung und Aufnahme von Bildern
US6389179B1 (en) 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JPH114375A (ja) 1997-06-13 1999-01-06 Olympus Optical Co Ltd 電子的撮像装置
JP3773011B2 (ja) 1997-06-20 2006-05-10 シャープ株式会社 画像合成処理方法
US20020167537A1 (en) 2001-05-11 2002-11-14 Miroslav Trajkovic Motion-based tracking with pan-tilt-zoom camera
US7823058B2 (en) * 2002-12-30 2010-10-26 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive point-of-view authoring of digital video content
US7683937B1 (en) * 2003-12-31 2010-03-23 Aol Inc. Presentation of a multimedia experience
JP4293053B2 (ja) 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
US7594177B2 (en) * 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
AU2005200888B2 (en) * 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
KR100827089B1 (ko) 2006-04-25 2008-05-02 삼성전자주식회사 파노라마 사진 촬영 방법
KR100842552B1 (ko) 2006-05-17 2008-07-01 삼성전자주식회사 파노라마 사진 촬영 방법
CN101479767A (zh) * 2006-06-30 2009-07-08 Nxp股份有限公司 视频缝合的方法和设备
KR101265613B1 (ko) 2006-07-18 2013-05-22 엘지전자 주식회사 영상 촬영 장치 및 영상 촬영 장치의 파노라마 이미지 제작방법
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
JP2008219428A (ja) * 2007-03-02 2008-09-18 Fujifilm Corp 撮像装置
KR100866230B1 (ko) 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
KR101312895B1 (ko) * 2007-08-27 2013-09-30 재단법인서울대학교산학협력재단 파노라마 사진 촬영 방법
KR101409653B1 (ko) 2007-12-18 2014-06-19 삼성전자주식회사 파노라마 사진 자동 촬영 방법
US8103134B2 (en) 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
JP5030906B2 (ja) * 2008-09-11 2012-09-19 株式会社日立ハイテクノロジーズ 走査荷電粒子顕微鏡を用いたパノラマ画像合成方法およびその装置
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
JP2011223292A (ja) * 2010-04-09 2011-11-04 Sony Corp 撮像装置、表示制御方法およびプログラム
KR101663321B1 (ko) * 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
US8730232B2 (en) * 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070095588A1 (en) * 2002-11-08 2007-05-03 Bernhard Mattes Controlling vehicle dynamics through the use of an image sensor system
US20060088191A1 (en) * 2004-10-25 2006-04-27 Tong Zhang Video content understanding through real time video motion analysis
US20090058990A1 (en) * 2007-08-29 2009-03-05 Samsung Electronics Co., Ltd. Method for photographing panoramic picture

Also Published As

Publication number Publication date
US20120026283A1 (en) 2012-02-02
US9538057B2 (en) 2017-01-03
EP2413589B1 (en) 2016-09-07
EP2413589A2 (en) 2012-02-01
CN102348065B (zh) 2017-04-12
US9986158B2 (en) 2018-05-29
KR20120012201A (ko) 2012-02-09
US20170111583A1 (en) 2017-04-20
CN102348065A (zh) 2012-02-08
EP2413589A3 (en) 2012-09-12

Similar Documents

Publication Publication Date Title
KR101663321B1 (ko) 파노라마 사진 촬영 방법
KR101354899B1 (ko) 파노라마 사진 촬영 방법
KR100866230B1 (ko) 파노라마 사진 촬영 방법
KR101312895B1 (ko) 파노라마 사진 촬영 방법
KR100800804B1 (ko) 파노라마 영상 촬영 방법
KR101409653B1 (ko) 파노라마 사진 자동 촬영 방법
KR100800660B1 (ko) 파노라마 영상 촬영 장치 및 방법
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
KR100697150B1 (ko) 복수 화상 송신 방법 및 복수 화상 동시 촬영 기능을 갖는휴대 기기
KR101899877B1 (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
KR100827089B1 (ko) 파노라마 사진 촬영 방법
JP5865388B2 (ja) 画像生成装置および画像生成方法
KR101784176B1 (ko) 영상 촬영 장치 및 그 제어방법
WO2017088678A1 (zh) 长曝光全景图像拍摄装置和方法
WO2013069050A1 (ja) 画像生成装置および画像生成方法
TWI413022B (zh) 影像評估方法、影像擷取方法及其數位相機
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5248951B2 (ja) カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
KR101763938B1 (ko) 위치정보 기반의 영상데이터의 처리 방법 및 장치
JP2013070153A (ja) 撮像装置
JP2015126243A (ja) 撮像装置、表示制御装置の制御方法、記録装置の制御方法
JP2004228672A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 4