KR20180091359A - 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법 - Google Patents

파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법 Download PDF

Info

Publication number
KR20180091359A
KR20180091359A KR1020170016395A KR20170016395A KR20180091359A KR 20180091359 A KR20180091359 A KR 20180091359A KR 1020170016395 A KR1020170016395 A KR 1020170016395A KR 20170016395 A KR20170016395 A KR 20170016395A KR 20180091359 A KR20180091359 A KR 20180091359A
Authority
KR
South Korea
Prior art keywords
image
image data
processor
image frame
frame
Prior art date
Application number
KR1020170016395A
Other languages
English (en)
Other versions
KR102609477B1 (ko
Inventor
허윤정
예브겐 자이축
최기환
박진주
안수정
이시형
박지윤
이정은
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170016395A priority Critical patent/KR102609477B1/ko
Priority to US15/889,413 priority patent/US10681270B2/en
Priority to EP18748193.2A priority patent/EP3560188A4/en
Priority to PCT/KR2018/001575 priority patent/WO2018143770A1/en
Publication of KR20180091359A publication Critical patent/KR20180091359A/ko
Application granted granted Critical
Publication of KR102609477B1 publication Critical patent/KR102609477B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 다양한 실시예는 파노라마 이미지 또는 동영상 생성하는 전자 장치 및 그 방법에 대하여 개시한다. 본 발명의 일 실시예에 따른 전자 장치는, 카메라; 움직임을 감지하기 위한 센서; 및 프로세서를 포함하고, 상기 프로세서는, 지정된 시간 동안 상기 카메라를 이용하여 연속적인 복수의 이미지 데이터를 획득하고, 상기 센서를 이용하여 상기 복수의 이미지 데이터에 대응하는 움직임 정보를 획득하고; 상기 복수의 이미지 데이터의 일부 이미지 데이터를 포함하는 제1 이미지 서브셋 및 상기 복수의 이미지의 데이터의 다른 일부 이미지 데이터를 포함하는 제2 이미지 서브셋 중 상기 제1 이미지 서브셋을 이용하여, 가상의 공간에 지정된 형태로 매핑되는 파노라마 이미지 데이터 및 상기 파노라마 이미지 데이터와 관련된 동영상 데이터를 생성하고; 및 상기 동영상 데이터의 적어도 일부 구간의 프레임 레이트가 지정된 조건에 속하는 경우, 상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터를 이용하여 상기 동영상 데이터의 적어도 일부 구간을 보정하도록 설정된 것을 특징으로 한다.

Description

파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법{Electronic Apparatus which generates panorama image or video and the method}
본 발명의 다양한 실시예들은 파노라마 영상을 제공할 수 있는 전자 장치에 관한 것이다.
일반적으로, 전자 장치는 촬영렌즈의 초점거리와 화각 범위(30~50도)에 대한 화상을 획득할 수 있다. 이에, 전자 장치에 의해 촬영된 화상은 사람의 시각범위(150~200도)보다 좁은 화각 범위를 갖는다.
최근, 전자 장치는 촬영 각도를 달리하여 촬영된 여러 화상을 순차적으로 연결함에 따라 넓은 화각의 파노라마 영상을 생성할 수 있다. 예를 들어, 전자 장치는 동영상을 촬영한 후 동영상의 각 영상 프레임에서 동일 공간을 촬영한 부분을 겹쳐서 순차적으로 연결함에 따라 동적 파노라마 영상을 생성할 수 있다.
전자 장치는 정적 파노라마 영상을 구성하는 영상 프레임들을 이용하여 동영상과 유사하지만 적은 수의 프레임으로 구성되는 동적 파노라마 영상을 생성할 수도 있다. 동적 파노라마 영상은 적은 수의 프레임으로 촬영대상의 모션을 어느 정도는 표현할 수 있다.
파노라마 영상을 촬영하는 촬영자는 촬영 대상 공간 중에서 어떤 공간에서는 머물거나, 느리게 이동할 수 있고, 어떤 공간에서는 빠르게 이동할 수 있다. 촬영자가 의도적으로 촬영할 때 이동하는 속도를 일정하게 유지하려 해도, 균등한 이동 속도를 유지하는 것은 어려울 수 있다. 따라서, 전자 장치에 의해 생성된 동영상의 영상 프레임들은 촬영 공간을 균등하게 포함하지 않을 수 있다. 이에, 종래의 정적 파노라마 영상을 이용하여 동적 파노라마 영상을 생성하면, 동적 파노라마 영상의 재생 시에 촬영대상의 움직임이 부자연스러울 수도 있다.
본 발명의 다양한 실시예들은 더 자연스러운 동적 파노라마 영상의 생성 및 재생을 지원할 수 있는 전자 장치를 제공할 수 있다.
본 발명의 일 실시예에 따른 전자 장치는, 카메라; 움직임을 감지하기 위한 센서; 및 프로세서를 포함하고, 상기 프로세서는, 지정된 시간 동안 상기 카메라를 이용하여 연속적인 복수의 이미지 데이터를 획득하고 상기 센서를 이용하여 상기 복수의 이미지 데이터에 대응하는 움직임 정보를 획득하고; 상기 복수의 이미지 데이터의 일부 이미지 데이터를 포함하는 제1 이미지 서브셋 및 상기 복수의 이미지의 데이터의 다른 일부 이미지 데이터를 포함하는 제2 이미지 서브셋 중 상기 제1 이미지 서브셋을 이용하여, 가상의 공간에 지정된 형태로 매핑되는 파노라마 이미지 데이터 및 상기 파노라마 이미지 데이터와 관련된 동영상 데이터를 생성하고; 및 상기 동영상 데이터의 적어도 일부 구간의 프레임 레이트가 지정된 조건에 속하는 경우, 상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터를 이용하여 상기 동영상 데이터의 적어도 일부 구간을 보정하도록 설정된 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 전자 장치는, 메모리; 동영상을 촬영하는 카메라; 상기 동영상에 포함된 전체 영상 프레임 중 적어도 일부 영상 프레임을 이용하여 정적 파노라마 영상(still panoramic image)을 생성하고, 상기 정적 파노라마 영상을 상기 메모리에 저장시키는 프로세서를 포함하고, 상기 프로세서는, 상기 전체 영상 프레임 중 다른 적어도 일부와 상기 정적 파노라마 영상을 구성하는 영상 프레임들을 이용하여 동적 파노라마 영상(moving panoramic image)을 생성하고, 상기 동적 파노라마 영상을 상기 메모리에 저장시키며, 상기 프로세서는, 상기 제1 영상 프레임들 간의 픽셀간격이 일정하지 않은 경우, 상기 제2 영상 프레임들을 이용하여 상기 제1 영상 프레임들이 지정된 픽셀간격 미만의 픽셀간격을 갖도록 정합하여 상기 동적 파노라마 영상을 구성하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 전자 장치는, 디스플레이; 상기 전자 장치의 움직임을 감지하는 모션 감지 센서; 정적 파노라마 영상(still panoramic image)에 포함된 영상 프레임을 이용하여 생성된 동적 파노라마 영상을 저장하는 메모리; 및 지정된 재생 모드이면, 상기 모션 감지 센서로부터 수신된 정보로부터 움직임 방향, 움직임 속도 및 요 각도 중 적어도 하나를 확인하고, 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 요 각도에 대응하는 영상 프레임부터 상기 움직임 방향에 대응하는 재생 방향 및 상기 움직임 속도에 대응하는 선택 재생 속도로 상기 디스플레이에 재생하는 프로세서를 포함하는 것을 특징으로 한다.
본 발명의 다양한 실시예들에 따르면, 재생 시 촬영대상의 움직임이 좀더 자연스러운 동적 파노라마 영상을 제공할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 구성도이다.
도 2는 본 발명의 다양한 실시예에 따른 파노라마 영상에 포함된 영상 프레임의 크롭 영역을 설명하기 위한 도면이다.
도 3a 및 3b는 본 발명의 다양한 실시예에 따른 촬영 공간 상의 동영상과 정적 파노라마 영상의 영상 프레임 분포도이다.
도 4는 본 발명의 다양한 실시예에 따른 동적 파노라마 영상을 구성하는 영상 프레임들을 이용하여 보간 영상 프레임을 생성하는 예시도이다.
도 5는 본 발명의 다양한 실시예에 따른 여유 영상 프레임을 이용하여 동적 파노라마 영상의 보간 영상 프레임을 생성하는 예를 도시한 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 보간 영상 프레임의 크롭 영역 및 픽셀간격 결정 과정을 설명하기 위한 도면이다.
도 7a 내지 7c는 본 발명의 다양한 실시예에 따른 동적 파노라마 영상의 재생 형태를 도시한 예시도이다.
도 8은 본 발명의 다양한 실시예에 따른 3차원 원통형 좌표계에 맵핑된 동적 파노라마 영상을 도시한 도면이다.
도 9은 본 발명의 다양한 실시예에 따른 동적 파노라마 영상의 데이터 확보 방법을 도시한 흐름도이다.
도 10은 본 발명의 다양한 실시예에 따른 동적 파노라마 영상의 갱신 과정을 도시한 흐름도이다.
도 11은 본 발명의 다양한 실시예에 따른 동적 파노라마 영상 재생 방법을 도시한 흐름도이다.
도 12는 본 발명의 다양한 실시예에 따른 동영상 데이터 생성 방법을 도시한 흐름도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 구성도이다.
도 1을 참조하면, 다양한 실시예에 따르면, 전자 장치(10)는 카메라 모듈(110), 입력 모듈(120), 모션 감지 센서(130), 디스플레이(140), 메모리(150) 및 프로세서(160)를 포함할 수 있다. 다양한 실시예에서, 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 또는, 다양한 실시예에서, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. 도 2에 도시된 입출력 관계는 설명의 편의성을 위한 예시에 불과하며, 이에 한정되지 않을 수 있다.
다양한 실시예에 따르면, 카메라 모듈(110)은 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 카메라 모듈(110)은 정적 파노라마 영상 및 동적 파노라마 영상 중 적어도 하나를 생성하는데 이용될 수도 있다.
다양한 실시예에 따르면, 입력 모듈(120)은 전자 장치(10)를 조작하는 사용자 입력을 수신할 수 있다. 예를 들어, 입력 모듈(120)은 터치 센서, 입력 버튼 및 통신부 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 터치 센서는 사용자의 터치를 감지하고, 감지된 터치에 대응하는 터치 좌표를 출력할 수 있다. 예를 들어, 터치 센서는 터치 패드(또는, 터치 패널) 및 터치 제어부 등 중 적어도 하나를 포함할 수 있다. 터치 패드는 터치 스크린일 수 있다. 다양한 실시예에서, 입력 버튼은 전자 장치(10)에 구비된 버튼(예: 전원 키)일 수 있다. 다양한 실시예에서, 통신부는 제1 인터페이스를 통해 연결된 외부 전자 장치와 통신할 수 있다. 통신부는 예를 들어, USB 방식으로 외부 전자 장치와 통신할 수 있다. 통신부는 외부 전자 장치로부터 수신된 신호를 프로세서(160)에 의해 해석 가능한 신호로 변환하고, 프로세서(160)로부터 수신한 신호를 외부 전자 장치와의 통신 방식에 대응하는 신호로 변환하여 제1 인터페이스로 송신할 수 있다. 상기 외부 전자 장치는 예를 들어, VR 기기(미도시, 예: 헤드 마운트 유닛)일 수 있다.
다양한 실시예에 따르면, 모션 감지 센서(130)는 전자 장치(10)의 움직임을 감지하고, 움직임 정보를 출력할 수 있다. 예를 들어, 모션 감지 센서(130)는 자이로 센서(gyro sensor), 가속도 센서(acceleration sensor) 및 지자계 센서 중 적어도 하나를 포함할 수 있다. 각속도 센서는 전자 장치(10)의 3축 각속도를 감지하여 3축 각속도 정보를 출력할 수 있다. 가속도 센서는 전자 장치(10)의 3축 가속도를 감지하여 가속도 정보를 출력할 수 있다. 지자계 센서는 지자기 정보(예: 지자기 방향 및 세기)를 감지할 수 있다.
다양한 실시예에서, 모션 감지 센서(130)는 복수의 센서를 포함할 수 있다. 예를 들어, 모션 감지 센서(130)는 전자 장치(10)에 구비된 제1 센서 및 전자 장치(10)와 제1 인터페이스로 연결된 외부 전자 장치(예: 헤드 마운트 유닛)에 구비된 제2 센서를 포함할 수 있다. 다양한 실시예에서, 제2 센서는 제1 센서보다 고감도 센서일 수 있다. 예를 들어, 제1 센서의 감지 주파수(sensing frequency)는 제1 주파수(예: 300Hz)이고, 제2 센서의 감지 주파수는 제1 주파수를 초과하는 제2 주파수(예: 1kHz)일 수 있다.
디스플레이(140)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 전자종이(electronic paper) 디스플레이 또는 곡면 디스플레이 등을 포함할 수 있다. 디스플레이(140)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 다양한 실시예에 따르면, 디스플레이(140)는 동영상, 정적 파노라마 영상 또는 동적 파노라마 영상을 표시할 수 있다. 예를 들어, 디스플레이(140)는 동영상 촬영 모드에서 동영상을 표시할 수 있다. 다른 예를 들어, 디스플레이(140)는 정적 파노라마 영상의 표시 모드에서 정적 파노라마 영상을 표시할 수 있다. 또 다른 예를 들어, 디스플레이(140)는 일반 재생 모드 또는 VR 재생 모드에서 동적 파노라마 영상을 표시할 수 있다. 상기 각 모드는 예컨대, 사용자 입력을 통해서 전환될 수 있다.
메모리(150)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 메모리(150)는, 예를 들면, 전자 장치(10)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 다양한 실시예에 따르면, 메모리(150)는 파노라마 촬영 모드에서, 정적 파노라마 영상 및 동적 파노라마 영상을 생성하기 위한 인스트럭션들(instructions)을 저장할 수 있다. 메모리(150)는 동적 파노라마 영상을 구성하는 영상 프레임들의 픽셀간격(중첩 영역) 또는 영상 프레임 레이트를 조절하기 위한 인스트럭션들을 저장할 수 있다. 메모리(150)는 동적 파노라마 영상을 보간하기 위한 인스트럭션들을 저장할 수 있다. 메모리(150)는 생성된 정적 파노라마 영상, 동적 파노라마 영상 및 여유 영상 프레임들 등을 저장할 수 있다. 상기 여유 영상 프레임들은 동적 파노라마 영상을 구성하기 위한 동영상에서 동적 파노라마 영상을 구성하는데 사용되지 않은 영상 프레임 중 적어도 하나를 포함할 수 있다.
프로세서(160)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서(microprocessor), AP(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다. 프로세서(160)는 전자 장치(10)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 파노라마 촬영 모드에서 카메라 모듈(110)을 이용하여 동영상을 촬영할 수 있다. 프로세서(160)는 동영상을 촬영하면서(또는 동영상을 촬영 완료한 후에) 영상 변화 및 촬영 위치 이동 중 적어도 하나를 기반으로 정적 파노라마 영상을 구성할 수 있다. 상기 정적 파노라마 영상은 카메라 모듈(110)에 의해 촬영된 시야각이 다른 복수의 영상 프레임을 가상의 공간에 지정된 형태로 맵핑(정합)함에 따라 생성된 영상일 수 있다. 정적 파노라마 영상은 카메라 모듈(110)의 시야각(angle of view)을 초과하는 시야각을 가질 수 있다.
예를 들어, 프로세서(160)는 동영상에서 현재 영상 프레임과 이전 영상 프레임을 영상 특징값 또는 움직임 벡터 중 적어도 하나에 기초하여 비교하고, 비교 결과 영상 변화가 제1 임계변화 이상이면 현재 영상 프레임을 선별할 수 있다. 다른 예를 들어, 프로세서(160)는 모션 감지 센서(130)로부터의 움직임 정보를 이용하여 촬영 위치 이동이 제2 임계변화 이상임을 확인하면, 현재 영상 프레임을 선별할 수 있다. 프로세서(160)는 현재 영상 프레임을 선별하면, 이전 영상 프레임과 현재 영상 프레임의 경계부분이 적절히 겹치도록 정합함에 따라 정적 파노라마 영상(still panoramic image)을 생성 및 갱신할 수 있다.
다양한 실시예에서, 프로세서(160)는 이전 영상 프레임과 현재 영상 프레임이 연속성을 갖도록 현재 영상 프레임을 크롭(crop)하고, 이전 영상 프레임과 현재 영상 프레임을 포함하는 정적 파노라마 영상을 갱신할 수 있다. 또한, 프로세서(160)는 현재 영상 프레임과의 연속성을 고려하여 이전 영상 프레임을 크롭할 수도 있다.
다양한 실시예에 따르면, 프로세서(160)는 정적 파노라마 영상을 이용하여 동적 파노라마 영상(moving panoramic image)을 생성할 수 있다. 전술한 바와 같이, 정적 파노라마 영상은 파노라마 촬영 모드에서 촬영된 동영상의 영상 프레임들 중에서 일부 영상 프레임들을 추출하여 크롭한 다음, 크롭된 영상 프레임들을 경계부분이 이어지도록 정합함에 따라 생성될 수 있다. 이에, 다양한 실시예에 따르면, 프로세서(160)는 정적 파노라마 영상을 구성하는데 사용된 영상 프레임들(이하, '파노라마 영상 프레임들'라고 함)을 순차적으로 재생할 수 있는 동적 파노라마 영상을 생성할 수 있다. 동적 파노라마 영상은 동영상 보다 적은 수의 영상 프레임으로 구성되어, 재생 시에 촬영대상의 모션을 어느 정도는 표현할 수 있다. 상기 동적 파노라마 영상은 예를 들어, 정적 파노라마 영상에 대응하는 시야각을 가지되, 재생 시에 동적 파노라마 영상의 전체 열 중에서 일부 열에 포함된 촬영대상이 동영상과 유사하게 움직이는 영상일 수 있다. 동영상과 유사하게 움직이는 열의 단위는 각 크롭된 영상 프레임의 크기에 대응될 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 파노라마 촬영 모드에서 촬영되는 동영상의 영상 프레임들 중에서 정적 파노라마 영상을 생성하는데 사용된 크롭된 영상 프레임들 사이에 정적 파노라마 영상을 생성하는데 사용되지 않은 적어도 하나의 영상 프레임을 삽입함에 따라 동적 파노라마 영상을 갱신할 수도 있다. 이 같이 갱신된, 동적 파노라마 영상은 재생 시에 각 영상 프레임의 프레임 레이트(또는, 표시 속도)가 일정할 수 있다. 각 영상 프레임의 프레임 레이트는 동적 파노라마 영상을 생성하기 위해 동영상을 촬영할 때 전자 장치의 움직임 속도에 대응(예: 비례)할 수 있다. 이에, 본 발명의 다양한 실시예에 따른 동적 파노라마 영상은 재생 시 촬영대상의 움직임이 좀더 자연스러울 수 있다. 이하에서는 동적 파노라마 영상은 갱신된 동적 파노라마 영상을 중심으로 설명한다.
예를 들어, 프로세서(160)는 파노라마 영상 프레임들 중에서 연접한 두 영상 프레임을 선별하고, 두 영상 프레임의 픽셀간격(예: 중첩되는 열(row)의 크기 또는 개수)을 확인할 수 있다. 프로세서(160)는 확인된 픽셀간격을 지정된 픽셀간격으로 결정하거나, 확인된 픽셀간격에 임계오차의 픽셀간격을 더한 결과를 지정된 픽셀간격을 결정할 수 있다. 프로세서(160)는 모든 영상 프레임들이 지정된 픽셀간격을 갖도록 동적 파노라마 영상(moving panoramic image)을 생성할 수 있다. 상기 임계오차는 0 이상의 상수일 수 있다.
다른 예를 들어, 프로세서(160)는 파노라마 영상 프레임들 중에서, 정적 파노라마 영상의 가장 적은 부분을 차지하는 제1 영상 프레임과, 제1 영상 프레임과 경계부분이 이어지도록 정합된 후(after) 영상 프레임(또는 전(before) 영상 프레임)의 픽셀간격을 확인하고, 확인된 픽셀간격을 임계간격으로 결정할 수 있다. 프로세서(160)는 파노라마 영상 프레임들 중에서 픽셀간격이 임계간격 미만인 적어도 하나의 보완할 영상 프레임을 선별할 수 있다. 프로세서(160)는 동영상의 전체 영상 프레임 중에서 보완할 영상 프레임에 대응하는 영상 프레임(예: 보완할 영상 프레임의 전 또는 후 영상 프레임)을 이용하여 보완할 영상 프레임과 보완할 영상 프레임과 인접한 영상 프레임의 사이를 보간할 보간 프레임을 생성할 수 있다. 프로세서(160)는 보완할 영상 프레임의 전 또는 후 영상 프레임을 이용하여 보간 프레임을 생성할 수 없으면, 파노라마 영상 프레임에서 보완할 영상 프레임의 이전 영상 프레임과 이후 영상 프레임을 추출할 수 있다. 프로세서(160)는 추출된 영상 프레임들을 이용하여 보간 프레임을 생성할 수 있다. 프로세서(160)는 생성된 보간 프레임들을 파노라마 영상 프레임들에서 보완할 영상 프레임에 대응하는 위치에 추가(또는, 보간)함에 따라 동적 파노라마 영상(moving panoramic image)을 갱신할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 동적 파노라마 영상을 구성하는 각 영상 프레임에 대응하는 움직임 정보, 정합 위치 정보 및 크롭(crop) 영역 정보 중 적어도 하나를 각 영상 프레임과 연관시켜 메모리(150)에 저장시킬 수 있다. 상기 움직임 정보는 각 영상 프레임을 촬영 시점의 전자 장치의 3차원 위치 정보일 수 있다. 이러한 움직임 정보는 동적 파노라마 영상을 추가 보간할 때 사용될 수 있다. 상기 정합 위치 정보는 각 영상 프레임의 픽셀간격일 수 있다. 상기 크롭 영역 정보는 예를 들어, 각 영상 프레임의 전체 행(line)에서 정합에 사용될 행의 상단과 하단 정보일 수 있다. 상기 동적 파노라마 영상을 구성하는 각 영상 프레임은 동적 파노라마 영상을 재생할 때 재생되는 영상 프레임들일 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 동적 파노라마 영상의 갱신 과정 후에도 동적 파노라마 영상에 포함되지 않는 영상 프레임(이하, '여유 영상 프레임'이라고 함)들을 메모리(150)에 저장시킬 수 있다. 프로세서(160)는 각 여유 영상 프레임과 각 여유 영상 프레임을 촬영 시점의 움직임 정보를 연관시켜 메모리(150)에 저장시킬 수도 있다.
다양한 실시예에 따르면, 프로세서(160)는 일반 재생 모드이면, 동적 파노라마 영상의 각 영상 프레임을 순차적으로 디스플레이(140)의 화면 전체에 재생할 수 있다. 프로세서(160)는 입력 모듈(120)을 통해 지정된 사용자 입력을 확인하면, 일반 재생 모드로 전환되어, 동적 파노라마 영상을 생성할 수 있다. 일반 재생 모드에서, 프로세서(160)는 동영상과 유사한 형태로 동적 파노라마 영상을 재생할 수도 있다.
다양한 실시예에 따르면, 프로세서(160)는 VR 기기(미도시)에서 동적 파노라마 영상을 재생하는 VR 재생 모드이면, 전자 장치(10)의 움직임 정보에 기초하여 동적 파노라마 영상을 재생할 수 있다. 사용자는 VR 재생 모드에서, VR 기기(미도시)의 디스플레이에서 동적 파노라마 영상을 감상하고, VR 기기(미도시)를 장착한 머리를 움직여 동적 파노라마 영상의 재생을 제어할 수 있다. 이에, 프로세서(160)는 모션 감지 센서(130)를 이용하여 VR 기기(미도시)를 장착한 사용자 머리의 움직임을 추적하고, 추적된 움직임 정보에 대응하도록 동적 파노라마 영상을 재생할 수 있다. 그러므로, 이하의 명세서에서는 설명의 편의성을 위하여 VR 재생 모드에서 감지된 전자 장치(10)의 움직임 정보를 사용자 머리의 움직임 정보라 칭한다. 이하, VR 기기에서의 동적 파노라마 영상의 재생에 대하여 세부적으로 설명하다.
다양한 실시예에 따르면, 프로세서(160)는 모션 감지 센서(130)를 이용하여 사용자 머리의 움직임 정보를 수신(또는, 확인)할 수 있다. 상기 움직임 정보는 예를 들어, 사용자 머리의 움직임 방향, 움직임 속도 및 현 시선 방향(예: 요 각도) 중 적어도 하나를 포함할 수 있다.
전술한 바와 같이, 모션 감지 센서(130)는 전자 장치(10)에 구비된 제1 센서 및 헤드 마운트 유닛에 구비된 제2 센서를 포함할 수 있다. 이 경우, 프로세서(160)는 동적 파노라마 영상을 촬영하는 촬영 모드에서는 제1 센서를 이용하여 전자 장치(10)의 움직임 정보를 확인하고, VR 재생 모드에서는 제2 센서를 이용하여 전자 장치(10)의 움직임 정보를 확인할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 VR 재생 모드에서 움직임 정보를 기반으로 사용자 머리의 움직임 방향에 대응하는 재생 방향, 움직임 속도에 대응하는 선택 재생 속도 및 요 각도(시선 방향)에 대응하는 재생 영상 프레임들을 결정할 수 있다. 프로세서(160)는 동적 파노라마 영상을 구성하는 영상 프레임들 중에서 재생 영상 프레임부터 재생하되, 결정된 재생 방향에 따라 다음 영상 프레임을 결정하고 결정된 재생 속도로 동적 파노라마 영상을 구성하는 영상 프레임들을 재생할 수 있다. 예를 들어, 움직임 정보에 따른 사용자 머리의 요 각도가 0도(예: 사용자 머리가 정면을 바라보는 방향)이면, 프로세서(160)는 동적 파노라마 영상의 중간 영상 프레임을 재생 영상 프레임으로 결정할 수 있다. 다른 예를 들어, 프로세서(160)는 움직임 정보에 따른 사용자 머리의 움직임 방향이 오른쪽 방향이면, 재생 방향을 오른쪽 방향으로 결정하고, 사용자 머리의 움직임 방향이 왼쪽이면, 재생 방향을 왼쪽 방향으로 결정할 수 있다. 프로세서(160)는 움직임 정보에 따른 사용자 머리의 움직임 방향이 오른쪽일 때 재생 방향을 왼쪽 방향으로, 왼쪽일 때 재생 방향을 오른쪽 방향으로 결정할 수도 있다. 또 다른 예를 들어, 프로세서(160)는 모션 감지 센서(130)로부터 움직임 정보를 획득하고, 움직임 정보(속도)에 대응하는 선택 재생 속도를 설정할 수 있다. 프로세서(160)는 선택 재생 속도에 대응하여 동적 파노라마 영상의 재생을 제어할 수 있다. 상기 움직임 속도에 대응하는 선택 재생 속도는 실험을 통해서 결정될 수 있다. 예를 들어, 움직임 속도가 지정된 속도이면, 선택 재생 속도를 1배속으로 설정하고, 움직임 속도가 지정된 속도 미만이면, 선택 재생 속도를 1배속 미만으로 설정하고, 움직임 속도가 지정된 속도를 초과하면, 선택 재생 속도를 1배속 미만으로 설정할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 선택 재생 속도가 동적 파노라마 영상의 기준 재생 속도와 동일한지를 확인하고, 확인결과 동일하면 현 시점의 영상 프레임들(또는 동영상 영상 프레임)을 재생할 수 있다. 프로세서(160)는 확인 결과 선택 재생 속도가 동적 파노라마 영상의 기준 재생 속도 보다 작거나, 크면, 동적 파노라마 영상을 보간(interpolation) 또는 생략(skip)하여 디스플레이(140)에 재생할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 선택 재생 속도가 기준 재생 속도 미만이면, 동적 파노라마 영상에 포함되지 않은 여유 영상 프레임 및 동적 파노라마 영상을 구성하는 영상 프레임들 중 적어도 하나를 이용하여 동적 파노라마 영상을 보간할 수 있다. 예를 들어, 프로세서(160)는 현 시점에 대응하는 여유 영상 프레임이 메모리(150)에 존재하는지를 확인하고, 여유 영상 프레임이 존재하면 여유 영상 프레임을 이용하여 보간 영상 프레임을 생성할 수 있다. 다른 예를 들어, 프로세서(160)는 메모리(150)에 현 시점에 대응하는 여유 영상 프레임이 존재하지 않으면, 동적 파노라마 영상을 이용하여 보간 영상 프레임을 생성할 수 있다. 현 시점의 전과 후 영상 프레임 사이에 하나의 보간 프레임을 생성한다면, 프로세서(160)는 현 시점의 전 영상 프레임과 후 영상 프레임에서 현 시점의 영상 프레임의 촬영 위치를 예측하고, 전 영상 프레임과 후 영상 프레임의 움직임 예측 또는 특징값 분석 등에 기초하여 현 시점의 영상 프레임의 영상 변화를 예측할 수 있다. 프로세서(160)는 예측된 촬영 위치를 포함하고 예측된 영상 변화를 포함하는 현 시점의 영상 프레임(즉, 보간 프레임)을 생성할 수 있다. 또 다른 예를 들어, 프로세서(160)는 선택 재생 속도가 1/2배속이면, 동적 파노라마 영상을 구성하는 각 영상 프레임 다음에 삽입될 보간 영상 프레임을 생성할 수 있다. 이 같이, 다양한 실시예에서는 사용자 입력에 따른 선택 재생 속도가 기준 재생 속도보다 느릴 경우에는 동작 파노라마 영상의 영상 프레임 레이트를 증가시켜 동적 파노라마 영상의 재생이 부자연스러워지는 것을 방지할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 현 시점의 영상 프레임의 부가 정보를 이용하여 보간 영상 프레임이 추가되는 시점의 전후 영상 프레임과 자연스럽게 이어지는 보간 영상 프레임을 생성할 수 있다. 예를 들어, 프로세서(160)는 동적 파노라마 영상에서 보간 영상 프레임이 추가될 시점(time)의 전후 영상 프레임의 움직임 정보, 정합 위치 정보 및 크롭 영역 정보 중 적어도 하나를 확인할 수 있다. 프로세서(160)는 정합 위치 정보 및 크롭 영역 정보 중 적어도 하나를 이용하여 결정된 크롭 영역을 결정하고, 결정된 크롭 영역을 크롭하여 전후 영상 프레임과 연속성을 갖는 보간 영상 프레임을 생성할 수 있다. 프로세서(160)는 움직임 정보를 추가로 이용하여 보간 영상 프레임의 크롭 영역을 결정할 수도 있다.
다양한 실시예에 따르면, 프로세서(160)는 현재 영상 프레임과 다음 영상 프레임의 정합 위치 정보를 참조하여 보간 영상 프레임의 픽셀간격을 결정하고, 재생 영상 프레임과 결정된 픽셀간격만큼 이격된 위치에 보간 영상 프레임을 이어 붙임에 따라 동적 파노라마 영상에 보간 영상 프레임을 삽입할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 선택 재생 속도가 동적 파노라마 영상의 기준 재생 속도 초과하면, 동적 파노라마 영상을 구성하는 영상 프레임들 중에서 일부 영상 프레임을 생략할 수 있다. 예를 들어, 프로세서(160)는 선택 재생 속도가 기준 재생 속도를 초과하면, 선택 재생 속도와 기준 재생 속도의 비율에 기초하여 동적 파노라마 영상에서 생략할 영상 프레임을 결정할 수 있다. 프로세서(160)는 결정된 영상 프레임을 생략한 동적 파노라마 영상을 디스플레이(140)에 표시할 수 있다. 다른 예를 들어, 프로세서(160)는 선택 재생 속도가 2배속이고 기준 재생 속도가 1배속이면, 동적 파노라마 영상의 홀수 번째 영상 프레임과 짝수 번째 영상 프레임 중 하나를 선택하고 선택된 영상 프레임들을 재생할 수 있다. 이에, 다양한 실시예에서는 사용자에 의한 선택 재생 속도가 기준 재생 속도보다 빠른 경우에는 동적 파노라마 영상의 영상 프레임 레이트를 감소시킴에 따라 동적 파노라마를 감상하는 사용자가 어지러움을 느끼는 문제점을 개선할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 동적 파노라마 영상에 포함되지 않는 여유 영상 프레임 중 적어도 하나를 사용자 입력에 따라 선택적으로 재생시킬 수도 있다. 예를 들어, 프로세서(160)는 사용자 머리의 움직임 속도가 임계속도 미만이면, 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인할 수 있다. 상기 임계속도는 사용자 머리가 회전하지 않음을 판단하기 위한 기준으로서, 예컨대, 1cm/s일 수 있다. 프로세서(160)는 사용자 머리가 회전하지 않을 때, 요 각도에 대응하는 여유 영상 프레임의 재생을 선택하는 메뉴 객체를 디스플레이에 표시할 수 있다. 프로세서(160)는 사용자 입력에 따라 메뉴 객체가 선택되면, 요 각도에 대응하는 여유 영상 프레임을 디스플레이(140)에 표시할 수 있다. 프로세서(160)는 메뉴 객체가 선택되면, 요 각도에 대응하는 이전 및 이후 영상 프레임들과 자연스럽게 이어질 수 있도록 요 각도에 대응하는 여유 영상 프레임들을 디스플레이(140)에 재생할 수 있다. 상기 요 각도에 대응하는 여유 프레임들이 이전 및 이후 영상 프레임과 자연스럽게 이어지기 위해서는 요 각도에 대응하는 이전 및 이후 영상 프레임과 이어지도록 크롭된 후 정합될 필요가 있다. 이를 위해, 프로세서(160)는 동적 파노라마 영상을 생성 또는 갱신하는 시점에 이전 및 이후 영상 프레임과 자연스럽게 이어지는 동적 파노라마 영역의 특정 영역(요 각도)에 대응하는 여유 프레임들을 준비할 수 있다. 또는, 프로세서(160)는 동적 파노라마 영상을 재생하는 시점에 이전 및 이후 영상 프레임과 자연스럽게 이어지는 요 각도에 대응하는 여유 프레임들을 준비할 수 있다. 이 같이, 다양한 실시예에서는 사용자의 시선(머리)이 촬영 공간의 어느 위치에 머무르는 경우에는 해당 촬영 공간에 대응하는 여유 영상 프레임을 선택적으로 재생할 수도 있다.
전술한 실시예에서는 VR 기기(미도시)와 연결되어, 동적 파노라마 영상을 재생하는 전자 장치(10)를 예로 들어 설명하였다. 하지만, 이와 달리, 다양한 실시예에 따른 전자 장치(10)는 VR 기기(미도시)와 하나의 장치로 구성될 수도 있다. 예를 들어, 다양한 실시예에 따른 전자 장치(10)는 VR 기기일 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 파노라마 영상 프레임의 크롭 영역을 설명하기 위한 도면이다. 도 2에서 제1 내지 제5 영상 프레임(영상 1~5)은 파노라마 영상 프레임들로서, 파노라마 촬영 모드에서 촬영된 동영상 중에서 일부 영상 프레임들을 추출한 후 크롭한 결과 영상 프레임일 수 있다.
도 2를 참조하면, 상태 210과 같이, 프로세서(160)는 전술한 바와 같이, 영상 프레임의 영상 변화와 전자 장치(10)의 움직임 정보에 기초하여 파노라마 영상 프레임들의 경계를 자연스럽게 이을 수 있는 크롭 영역(280) 및 픽셀간격을 결정할 수 있다.
일 예를 들어, 제1 영상 프레임(영상 1)과 제2 영상 프레임(영상 2)의 크롭 영역의 상단(crop top axis)은 상호 일치할 수 있다. 제3 영상 프레임(영상 3)은 제2 영상 프레임(영상 2)보다 크롭 영역의 상단(crop top axis)이 1픽셀만큼 아래에 위치할 수 있다. 제4 영상 프레임(영상 4)은 제3 영상 프레임(영상 3)보다 크롭 영역의 상단(crop top axis)이 1픽셀만큼 아래에 위치할 수 있다. 제5 영상 프레임(영상 5)은 제4 영상 프레임(영상 3)보다 크롭 영역의 상단(crop top axis)이 2픽셀만큼 아래에 위치할 수 있다.
이러한 경우, 프로세서(160)는 제1 영상 프레임(영상 1)과 제2 영상 프레임(영상 2)에 대해서는 크롭 영역의 상단(crop top axis)을 영상 프레임의 첫 번째 행으로 결정하고, 제3 영상 프레임(영상 3)에 대해서는 크롭 영역의 상단(crop top axis)을 영상 프레임의 두 번째 행으로 결정하고, 제4 영상 프레임(영상 4)에 대해서는 크롭 영역의 상단(crop top axis)을 영상 프레임의 세 번째 행으로 결정하고, 제5 영상 프레임(영상 5)에 대해서는 크롭 영역의 상단(crop top axis)을 영상 프레임의 다섯 번째 행으로 결정할 수 있다. 그리고, 프로세서(160)는 파노라마 영상 프레임들 중에서 크롭 영역의 상단(crop top axis)이 가장 아래에 있는 영상 프레임을 기준으로 크롭 영역의 하단(crop bottom axis)을 결정할 수 있다.
다른 예를 들어, 프로세서(160)는 영상 프레임의 연속성에 기초하여 현재 영상 프레임과 이전 영상 프레임의 픽셀간격을 결정할 수 있다. 예를 들어, 제2 영상 프레임(영상 2)의 픽셀간격은 72 픽셀, 제3 영상 프레임(영상 3)의 픽셀간격은 32 픽셀, 제4 영상 프레임(영상 4)의 의 픽셀간격은 24 픽셀, 제5 영상 프레임(영상 5)의 픽셀간격은 40 픽셀로 결정될 수 있다.
도 2의 상태 220과 같이, 프로세서(160)는 정적 파노라마 영상을 구성하기 위해 선별한 영상 프레임을 크롭 영역(crop top/bottom axis)에 맞추어 크롭한 후 결정된 픽셀간격을 갖도록 정합함에 따라 생성될 수 있다. 예를 들어, 제1 영상 프레임(영상 1)은 제2 영상 프레임(영상 2)과 72 픽셀간격을 갖도록 정합되고, 제2 영상 프레임(영상 2)은 제3 영상 프레임(영상 3)과 32 픽셀간격을 갖도록 정합되고, 제3 영상 프레임(영상 3)은 제4 영상 프레임(영상 4)과 24 픽셀간격을 갖도록 정합되고, 제4 영상 프레임(영상 4)은 제5 영상 프레임(영상 5)과 40 픽셀간격을 갖도록 정합될 수 있다.
도 2의 상태 230과 같이, 파노라마 영상 프레임들은 다양한 픽셀간격을 가질 수 있다. 따라서, 정적 파노라마 영상을 그대로 이용하여 동적 파노라마 영상을 생성하면, 동적 파노라마 영상의 재생 시에 포함된 촬영대상의 움직임이 부자연스러울 수 있다.
도 3a 및 3b는 본 발명의 다양한 실시예에 따른 촬영 공간 상의 동영상과 정적 파노라마 영상의 영상 프레임 분포도이다. 도 3a 및 3b에서 빗금 표시부분(330)은 동영상이 촬영되지 않은 시점일 수 있다. 제1시점(panorama start)은 동영상의 촬영 시작 시점이고 제2시점(panorama end)은 동영상의 촬영 완료 시점일 수 있다.
도 3a 및 3b와 같이, 촬영자가 모든 촬영 공간을 의도적으로 또는 기계를 이용하여 등속도로 촬영하지 않는다면, 동영상의 영상 프레임이 모든 촬영 공간을 거쳐 균일하게 분포되기는 어려울 수 있다.
예를 들어, 도 3a 및 도 3b의 310 상태와 같이, 촬영자가 유사한 위치에서 오랫동안 촬영하는 경우에, 전자 장치(10)에 의해 촬영된 동영상에서 오랫동안 촬영된 위치에 대한 영상 프레임 개수는 많을 수 있다. 그러나, 오랫동안 촬영된 위치의 영상 프레임들은 중복도가 높아, 정적 파노라마 영상에 사용되지 않거나, 상대적으로 적게 사용될 수 있다.
다른 예를 들어, 도 3a 및 도 3b의 320 상태와 같이, 촬영자가 촬영 공간을 빠르게 이동하면서 촬영하는 경우에, 전자 장치(10)에 의해 촬영된 동영상에서 빠르게 이동하며 촬영된 위치에 대한 영상 프레임 개수는 적을 수 있다. 빠르게 이동하며 촬영된 위치의 영상 프레임들은 중복도가 낮아, 정적 파노라마 영상에 상대적으로 많이 사용될 수 있다. 이에, 정적 파노라마 영상을 그대로 이용하여 동적 파노라마 영상을 생성하면, 실제로 사용자가 관심 있는 위치(오랫동안 촬영된 위치)는 많이 포함되지 않을 수 있고, 재생 시에 촬영대상의 움직임이 부자연스러울 수도 있다. 본 발명의 다양한 실시예에서는 동적 파노라마 영상을 구성하는 영상 프레임들의 간격을 조정함에 따라 좀더 자연스럽게 움직이는 동적 파노라마 영상을 생성할 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 동적 파노라마 영상을 구성하는 영상 프레임들을 이용하여 보간 영상 프레임을 생성하는 예시도이다.
도 4를 참조하면, 동작 410에서, 프로세서(160)는 VR 재생 모드에서 정적 파노라마 영상처럼 넓은 동적 파노라마 영상을 디스플레이(140)에 재생할 수 있다. 프로세서(160)는 선택 재생 속도가 동적 파노라마 영상의 기준 재생 속도 미만이면, 보간 영상 프레임의 생성을 결정할 수 있다.
동작 420에서, 프로세서(160)는 메모리(150)로부터 동적 파노라마 영상을 구성하는 영상 프레임 중에서 보간 영상 프레임이 필요한 t1시점에 대한 여유 영상 프레임들이 있는지를 확인할 수 있다. 예를 들어, 프로세서(160)는 t1시점의 영상 프레임의 타임 스탬프를 이용하여 t1시점에 대한 여유 영상 프레임들이 존재하는지를 확인할 수 있다. 상기 t1시점은 예컨대, 사용자 머리의 요 각도에 의하여 결정될 수 있다.
동작 430에서, 프로세서(160)는 t1시점에 대한 여유 영상 프레임이 없으면, 동적 파노라마 영상을 구성하는 영상 프레임들 중에서 t1시점의 전후 영상 프레임을 이용하여 보간 영상 프레임을 생성할 수 있다. 예를 들어, 프로세서(160)는 t1시점의 전후 영상 프레임을 정합하고, 필요한 경우에 촬영대상의 움직임을 예측하여 보간 영상 프레임을 생성할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 여유 영상 프레임을 이용하여 동적 파노라마 영상의 보간 영상 프레임을 생성하는 예를 도시한 도면이다.
도 5를 참조하면, 구간 510에서, 프로세서(160)는 선택 재생 속도가 기준 재생 속도 미만일 때, 보간 영상 프레임이 필요한 t1 시점에 대한 여유 영상 프레임들이 존재함을 확인할 수 있다.
구간 520에서, 프로세서(160)는 t1 시점에 대한 여유 영상 프레임을 이용하여 보간 영상 프레임을 생성할 수 있다. 구간 520과 같이, 프로세서(160)가 t1 시점에 대한 여유 영상 프레임을 이용하여 보간 영상 프레임을 생성하는 과정에 대해서는 전술하였으므로, 그에 대한 세부 설명은 생략한다.
구간 530에서, 프로세서(160)는 동적 파노라마 영상의 t1 시점의 영상 프레임과 다음 영상 프레임 사이에 보간 영상 프레임을 삽입하여 동적 파노라마 영상을 재생할 수 있다. 이에, 다양한 실시예에서는 이전과 이후의 영상 프레임과 자연스럽게 이어지도록 보간 영상 프레임을 생성할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 보간 영상 프레임의 크롭 영역 및 픽셀간격 결정 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 다양한 실시예에 따르면, 프로세서(160)는 보간 영상 프레임을 동적 파노라마 영상의 영상 프레임들 사이에 삽입할 때 보간 영상 프레임이 삽입될 위치의 전후 영상 프레임의 크롭 영역 정보와 정합 위치 정보를 이용하여 보간 영상 프레임의 크롭 영역과 픽셀간격을 결정할 수 있다.
예를 들어, 생성된 보간 영상 프레임이 영상 프레임 4(영상 4)와 영상 프레임 5(영상 5) 사이에 삽입되는 경우에, 프로세서(160)는 보간 영상 프레임의 크롭 영역의 상단을 영상 프레임 4(영상 4)와 영상 프레임 5(영상 5)의 절반(예: 두 번째 행)으로 설정하고, 픽셀간격을 영상 프레임 4(영상 4)와 영상 프레임 5(영상 5)의 절반(예: 20)으로 설정할 수 있다. 이에, 다양한 실시예에서는 이전과 이후의 영상 프레임과 자연스럽게 이어지도록 보간 영상 프레임을 생성 및 삽입할 수 있다.
도 7a 내지 7c는 본 발명의 다양한 실시예에 따른 동적 파노라마 영상의 재생 형태를 도시한 예시도이다.
도 7a 내지 7c를 참조하면, 다양한 실시예에 따르면, 프로세서(160)는 VR 기기(미도시)의 디스플레이에서 동적 파노라마 영상을 정적 파노라마 영상처럼 넓은 화각을 갖는 형태로 표시할 수 있다.
도 7a 및 7b와 같이, 프로세서(160)는 동적 파노라마 영상에서 사용자 머리의 방향에 대응하는 재생 영상 프레임(710)을 선명하게 표시하고, 재생 영상 프레임(710)을 제외한 영상 프레임(이하, '배경 영상 프레임'이라고 함)을 흐리게 표시할 수 있다. 예를 들어, 프로세서(160)는 배경 영상 프레임을 블러 처리함에 따라 배경 영상 프레임을 흐리게 표시할 수 있다. 도 7a 및 7b에서 선명하게 표시되는 제1 영역(720)은 현 재생 영상 프레임과 이전 영상 프레임 또는 다음 영상 프레임 간의 겹치는 영역일 수 있다. 제2 및 제3 영역(731, 732)는 동적 파노라마 영상을 구성하기 위하여 크롭됨에 따라, 동적 파노라마 영상을 구성하는 각 영상 프레임에 포함되지 않는 영역일 수 있다.
도 7c와 같이, 프로세서(160)는 요 각도의 변화가 없는 경우에 동적 파노라마 영상에서 재생 영상 프레임(710)을 동영상으로 표시하고, 배경 영상 프레임을 정지 영상으로 표시할 수 있다. 요 각도에 대응하는 재생 영상 프레임(710)의 재생이 완료되면, 프로세서(160)는 재생 영상 프레임(710)의 마지막 영상 프레임을 정지 영상으로 표시할 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 3차원 원통형 좌표계에 맵핑된 동적 파노라마 영상을 도시한 도면이다. 도 8에서는 반지름 2m, 높이 1m의 3차원 원통형 좌표계를 예로 들어 도시하였다. 도 8에서 'A' 영역은 재생 영상 프레임이 표시되는 영역이고 'B' 영역은 배경 영상 프레임이 표시되는 영역일 수 있다.
도 8을 참조하면, 다양한 실시예에 따르면, 프로세서(160)는 VR 기기(미도시)의 재생에 용이하도록 동적 파노라마 영상을 3차원 원통형 좌표에 맵핑할 수 있다. 상기 3차원 원통형은 예컨대, VR 기기(미도시)의 곡면 디스플레이에 대응하는 형상과 크기로 구성될 수 있다. 프로세서(160)는 동영상을 촬영하는 시점에 동적 파노라마 영상의 각 영상 프레임을 3차원 원통형 좌표에 맵핑할 수 있다. 다양한 실시예에 따르면, 3차원 원통형 좌표의 중심은 예를 들어, 원통형 좌표의 하단의 중심에 위치할 수 있다.
다양한 실시예에 따르면, 프로세서(160)는 각 영상 프레임을 생성할 때(예: 촬영 시점) 각 영상 프레임의 기준점(예: (0,0) 픽셀)을 각 영상 프레임을 표시할 3차원 원통형 좌표에 맵핑할 수 있다. 예를 들어, 프로세서(160)는 동영상의 첫 번째 영상 프레임의 가장 왼쪽 열을 3차원 원통형 좌표의 가장 왼쪽 y값으로 맵핑하고, 동영상의 마지막 영상 프레임의 가장 오른쪽 열을 3차원 원통형 좌표의 오른쪽 끝 y값으로 맵핑하고, 동적 파노라마 영상을 구성하는 다른 영상 프레임들을 첫 번째 영상 프레임과 마지막 영상 프레임의 사이에 지정된 픽셀간격 미만의 픽셀간격을 갖도록 맵핑할 수 있다. 상기 지정된 픽셀간격은 동적 파노라마 영상의 각 영상 프레임의 픽셀간격일 수 있다. 이 같이, 다양한 실시예에서는 디스플레이(140)의 형태에 따라서 디스플레이(140)에 재생하기 용이한 형태로 동적 파노라마 영상을 생성 및 저장할 수 있다.
도 9은 본 발명의 다양한 실시예에 따른 동적 파노라마 영상의 데이터 확보 방법을 도시한 흐름도이다.
도 9를 참조하면, 동작 910에서, 프로세서(160)는 파노라마 촬영이 시작되는지를 확인할 수 있다. 예를 들어, 프로세서(160)는 입력 모듈(120)로부터 지정된 사용자 입력이 수신되면, 파노라마 촬영의 시작으로 확인할 수 있다.
동작 920에서, 프로세서(160)는 파노라마 촬영이 시작되면, 촬영 영상의 각 영상 프레임을 분석할 수 있다. 동작 920에서, 프로세서(160)는 각 영상 프레임의 움직임 벡터 및 특징값 중 적어도 하나를 이용하여 영상 변화를 확인할 수 있다. 동작 920에서, 프로세서(160)는 모션 감지 센서(130)를 이용하여 촬영 위치 이동을 확인할 수 있다.
동작 930에서, 프로세서(160)는 영상 변화 및 촬영 위치 이동 중 적어도 하나를 이용하여 영상 프레임 정합이 필요한지를 확인할 수 있다. 예를 들어, 프로세서(160)는 영상 변화가 제1 임계변화 이상이거나, 촬영 위치 이동이 제2 임계변화 이상임을 확인하면, 영상 프레임 정합이 필요한 것으로 판단할 수 있다.
동작 940에서, 영상 프레임 정합이 필요하면, 프로세서(160)는 현재 영상 프레임을 정적 파노라마 영상의 이전 영상 프레임과 이어지도록 크롭하여 이전 영상 프레임과 정합시킬 수 있다. 프로세서(160)는 현재 영상 프레임의 움직임 정보와 촬영대상을 이용하여 현재 영상 프레임의 크롭 영역과 픽셀 간격을 결정할 수 있다.
동작 950에서, 프로세서(160)는 정적 파노라마 영상을 갱신한 후 동적 파노라마 영상을 갱신할 수 있다. 프로세서(160)가 정적 파노라마 영상을 생성 완료한 후에 동적 파노라마 영상을 생성하는 경우에는 동작 950은 생략될 수도 있다.
동작 960에서, 프로세서(160)는 정적 파노라마 영상과 동적 파노라마 영상을 생성 또는 갱신하면서 파노라마 촬영의 종료 여부를 확인할 수 있다. 프로세서(160)는 파노라마 촬영이 종료될 때까지 동영상의 매 영상 프레임에 대해 동작 920 내지 950을 반복 수행할 수 있다.
동작 970에서, 프로세서(160)는 영상 프레임 정합이 필요하지 않다고 판단하면, 정적 파노라마 영상에 포함되지 않는 여유 영상 프레임을 메모리(150)에 저장할 수 있다. 프로세서(160)는 여유 영상 프레임과 움직임 정보를 연관시켜 메모리(150)에 저장할 수도 있다.
도 10은 본 발명의 다양한 실시예에 따른 동적 파노라마 영상의 갱신 과정을 도시한 흐름도이다.
도 10을 참조하면, 동작 1010에서, 프로세서(160)는 정적 파노라마 영상이 생성 완료되는지를 확인할 수 있다.
동작 1020에서, 프로세서(160)는 정적 파노라마 영상이 생성 완료되면, 파노라마 영상 프레임들의 픽셀간격을 이용하여 동적 파노라마 영상을 구성하는 영상 프레임들의 픽셀간격을 결정할 수 있다. 예를 들어, 프로세서(160)는 정적 파노라마 영상의 영상 프레임들 중에서 정적 파노라마 영상의 가장 적은 부분을 차지하는 제1 영상 프레임과 제1 영상 프레임과 경계부분이 이어지는 전 영상 프레임 또는 후 영상 프레임 중에서 상대적으로 작은 픽셀간격을 동적 파노라마 영상의 픽셀간격으로 결정할 수 있다.
동작 1030에서, 프로세서(160)는 파노라마 영상 프레임들 중에서 결정된 픽셀간격 미만의 픽셀간격을 갖는 보완할 영상 프레임을 선별할 수 있다.
동작 1040에서, 프로세서(160)는 보완할 영상 프레임에 대응하는 여유 영상 프레임들을 이용하여 적어도 하나의 보간 영상 프레임을 생성할 수 있다. 프로세서(160)는 적어도 하나의 보간 영상 프레임을 보완할 영상 프레임의 전 또는 후에 삽입할 수 있다. 예를 들어, 프로세서(160)는 메모리(150)로부터 동영상의 영상 프레임들 중에서 보완할 영상 프레임의 전 또는 후의 영상 프레임을 불러와 보완할 영상 프레임과 이어지도록 크롭하여 적어도 하나의 보간 영상 프레임을 생성할 수 있다. 프로세서(160)는 적어도 하나의 보간 영상 프레임을 보완할 영상 프레임의 전 또는 후에 삽입함에 따라 보완할 영상 프레임의 픽셀간격을 결정된 픽셀간격과 동일 또는 유사하게 만들 수 있다.
동작 1050에서, 프로세서(160)는 동적 파노라마 영상을 구성하는 모든 영상 프레임에 대해 픽셀 간격 조정을 완료할 때까지 동작 1030 내지 1050을 반복 수행할 수 있다.
도 11은 본 발명의 다양한 실시예에 따른 동적 파노라마 영상 재생 방법을 도시한 흐름도이다.
도 11을 참조하면, 동작 1105에서, 프로세서(160)는 VR 재생 모드인지를 확인할 수 있다. 예를 들어, 프로세서(160)는 입력 모듈(120)을 통해서 지정된 사용자 입력을 수신하면, VR 재생 모드인 것으로 확인할 수 있다. 다른 예를 들어, 프로세서(160)는 VR 기기(미도시)와 연결됨을 VR 기기(미도시)와의 인터페이스를 통해 확인한 후 지정된 사용자 입력을 수신하면, VR 재생 모드인 것으로 확인할 수도 있다.
동작 1110에서, 프로세서(160)는 VR 재생 모드이면, 모션 감지 센서(130)를 이용하여 사용자 머리의 움직임을 추적할 수 있다. 예를 들어, 프로세서(160)는 모션 감지 센서(130)를 이용하여 사용자 머리의 움직임 방향(예: 회전 방향), 움직임 속도(예: 회전 속도) 및 요 각도를 확인할 수 있다.
동작 1115에서, 프로세서(160)는 움직임 정보에 기초하여 재생 영상 프레임, 재생 방향 및 재생 속도 결정할 수 있다. 예를 들어, 프로세서(160)는 사용자 머리의 요 각도를 이용하여 재생 영상 프레임을 결정하고, 움직임 방향을 이용하여 재생 방향을 결정하고, 움직임 속도를 이용하여 선택 재생 속도를 결정할 수 있다.
동작 1120에서, 프로세서(160)는 선택 재생 속도가 기준 재생 속도와 동일한지를 확인할 수 있다. 상기 기준 재생 속도는 동적 파노라마 영상의 픽셀간격에 대응하는 재생 속도로서, 예컨대, 1배속일 수 있다.
동작 1125에서, 프로세서(160)는 선택 재생 속도가 기준 재생 속도와 동일하면, 현 시점의 영상 프레임을 재생할 수 있다.
동작 1130에서, 프로세서(160)는 선택 재생 속도가 기준 재생 속도와 동일하지 않으면, 선택 재생 속도가 기준 재생 속도를 초과하는지를 확인할 수 있다.
동작 1140에서, 프로세서(160)는 선택 재생 속도가 기준 재생 속도를 초과하면, 선택 재생 속도와 기준 재생 속도의 비율에 대응하여 동적 파노라마 영상을 생략(skip)하여 디스플레이(140)에 재생할 수 있다. 예를 들어, 프로세서(160)는 선택 재생 속도가 2배속이고 기준 재생 속도가 1배속이면, 동적 파노라마 영상의 홀수 번째 영상 프레임과 짝수 번째 영상 프레임 중 하나를 생략하고 다른 하나를 재생할 수 있다.
동작 1150에서, 프로세서(160)는 선택 재생 속도가 기준 재생 속도 미만이면, 메모리(150)에 저장된 현 시점의 영상 프레임에 대응하는 여유 영상 프레임이 존재하는지를 확인할 수 있다.
동작 1160에서, 프로세서(160)는 현 시점의 영상 프레임에 대응하는 여유 영상 프레임들이 존재하면, 적어도 하나의 보간 영상 프레임을 생성할 수 있다. 예를 들어, 프로세서(160)는 동영상의 영상 프레임들 중에서 현 시점의 영상 프레임의 이후 적어도 하나의 영상 프레임을 이용하여 선택 재생 속도에 대응하는 기준 재생 속도의 배수만큼 적어도 하나의 보간 영상 프레임을 생성할 수 있다. 다른 예를 들어, 프로세서(160)는 선택 재생 속도가 1/2배속이면, 현 시점의 영상 프레임과 다음 시점의 영상 프레임 사이에 삽입될 하나의 보간 영상 프레임을 생성할 수 있다. 동작 1160에서, 프로세서(160)는 현 시점(time)의 전후 영상 프레임의 움직임 정보 및 크롭 영역 정보 중 적어도 하나를 확인하고, 움직임 정보 및 크롭 영역 정보 중 적어도 하나를 이용하여 현 시점의 전후 영상 프레임과 연속성을 갖는 보간 영상 프레임을 생성할 수 있다.
동작 1170에서, 프로세서(160)는 현 시점의 영상 프레임에 대응하는 여유 영상 프레임들이 존재하지 않으면, 현 시점의 영상 프레임과 다음 시점의 영상 프레임을 이용하여 적어도 하나의 보간 영상 프레임을 생성할 수 있다. 예를 들어, 프로세서(160)는 현 시점의 영상 프레임과 다음 시점의 영상 프레임의 움직임 및 영상 변화 중 적어도 하나에 기초하여 현 시점의 영상 프레임과 다음 시점의 영상 프레임 사이의 삽입될 저겅도 하나의 보간 영상 프레임을 생성할 수 있다.
동작 1180에서, 프로세서(160)는 동작 1170 또는 동작 1180에서 생성된 적어도 하나의 보간 영상 프레임을 현 시점의 영상 프레임과 다음 시점의 영상 프레임 사이에 삽입하고, 보간 영상 프레임을 디스플레이(140)에 재생할 수 있다.
동작 1190에서, 프로세서(160)는 입력 모듈(120)을 통해 재생 종료 또는 중단을 지시하는 사용자 입력을 수신하거나, 동적 파노라마 영상의 재생 완료를 확인할 때까지 동작 1110 내지 동작 1180 중 적어도 하나를 수행할 수 있다.
도 12는 본 발명의 일 실시예에 따른 전자 장치의 동영상 데이터 생성 방법을 도시한 흐름도이다.
도 12를 참조하면, 동작 1210에서, 프로세서(160)는 지정된 시간 동안 카메라를 이용하여 연속적인 복수의 이미지 데이터(예: 동영상)를 획득할 수 있다. 상기 연속적인 복수의 이미지 데이터는 제1 이미지 서브셋 및 제2 이미지 서브셋을 포함할 수 있다. 동작 1210에서, 프로세서(160)는 센서(예: 모션 감지 센서)를 이용하여 복수의 이미지 데이터에 대응하는 움직임 정보(예: 전자 장치의 3차원 위치 정보)를 획득할 수 있다. 상기 제1 이미지 서브셋은 복수의 이미지 데이터(예: 동영상을 구성하는 전체 영상 프레임들)의 일부 이미지 데이터를 포함할 수 있다. 상기 제2 이미지 서브셋은 복수의 이미지 데이터의 다른 일부 이미지 데이터를 포함할 수 있다.
동작 1220에서, 프로세서(160)는 제1 이미지 서브셋을 이용하여, 가상의 공간에 지정된 형태로 매핑되는 파노라마 이미지 데이터(예: 정적 파노라마 영상) 및 파노라마 이미지 데이터와 관련된 동영상 데이터(예: 동적 파노라마 영상)를 생성할 수 있다. 예를 들어, 상기 제1 이미지 서브셋은 연속적인 복수의 이미지 데이터 중에서 영상 변화가 제1 임계변화 이상이거나, 촬영 위치 이동이 제2 임계변화 이상으로 확인된 영상 프레임들일 수 있다(예: 도 9의 동작 930 참조).
동작 1230에서, 프로세서(160)는 동영상 데이터의 적어도 일부 구간의 프레임 레이트가 지정된 조건에 속하는 경우, 제2 이미지 서브셋 중 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터(예: 보완한 영상 프레임에 대응하는 여유 프레임)를 이용하여 동영상 데이터의 적어도 일부 구간을 보정할 수 있다. 예를 들어, 프로세서는 동영상 데이터의 적어도 일부 구간의 프레임 레이트가 지정된 프레임 레이트 미만이면, 상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터를 이용하여 상기 동영상 데이터의 일부 구간을 보정할 수 있다. 상기 지정된 프레임 레이트는 예를 들어, 정적 파노라마 영상의 가장 적은 부분을 차지하는 제1 영상 프레임과 제1 영상 프레임의 프레임 레이트일 수 있다.
본 발명의 일 실시예에 따른 전자 장치는, 카메라; 움직임을 감지하기 위한 센서; 및 프로세서를 포함하고, 상기 프로세서는, 지정된 시간 동안 상기 카메라를 이용하여 연속적인 복수의 이미지 데이터(예: 동영상) 및 상기 센서(예: 모션 감지 센서)를 이용하여 상기 복수의 이미지 데이터에 대응하는 움직임 정보(예: 전자 장치의 3차원 위치 정보)를 획득하고, 상기 복수의 이미지 데이터(예: 동영상을 구성하는 전체 영상 프레임들)의 일부 이미지 데이터를 포함하는 제1 이미지 서브셋 및 상기 복수의 이미지 데이터의 다른 일부 이미지 데이터를 포함하는 제2 이미지 서브셋(예: 동영상 중에서 파노라마 영상 프레임들을 제외한 다른 일부 영상 프레임들) 중 상기 제1 이미지 서브셋을 이용하여, 가상의 공간에 지정된 형태로 매핑되는 파노라마 이미지 데이터(예: 정적 파노라마 영상) 및 상기 파노라마 이미지 데이터와 관련된 동영상 데이터(예: 동적 파노라마 영상)를 생성할 수 있다. 예를 들어, 상기 제1 이미지 서브셋은 연속적인 복수의 이미지 데이터 중에서 영상 변화가 제1 임계변화 이상이거나, 촬영 위치 이동이 제2 임계변화 이상으로 확인된 영상 프레임들일 수 있다(도 9의 동작 930 참조). 상기 프로세서는 상기 동영상 데이터의 적어도 일부 구간의 프레임 레이트가 지정된 조건에 속하는 경우, 상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터(예: 보완한 영상 프레임에 대응하는 여유 프레임)를 이용하여 상기 동영상 데이터의 적어도 일부 구간을 보정할 수 있다. 예를 들어, 프로세서는 동영상 데이터의 적어도 일부 구간의 프레임 레이트가 지정된 프레임 레이트 미만이면, 상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터를 이용하여 상기 동영상 데이터의 적어도 일부 구간을 보정할 수 있다. 상기 지정된 프레임 레이트는 예를 들어, 정적 파노라마 영상의 가장 적은 부분을 차지하는 제1 영상 프레임과 제1 영상 프레임의 프레임 레이트일 수 있다.
상기 프로세서는, 상기 제1 이미지 서브셋에 대응하는 상기 움직임 정보를 상기 이미지 데이터 및 상기 동영상 데이터의 메타 데이터로 저장할 수 있다.
상기 프로세서는, 상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터가 존재하지 않는 경우, 상기 파노라마 이미지 데이터에서 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터(예: 보완할 영상 프레임의 이전 영상 프레임과 이후 영상 프레임)를 추출하고; 및 상기 추출된 이미지 데이터를 이용하여, 상기 동영상 데이터의 일부 구간을 보정할 수 있다.
상기 프로세서는, 상기 동영상 데이터의 일부 구간을 보정하는 동작의 적어도 일부로, 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터(예: 보완할 영상 프레임의 이전 영상 프레임과 이후 영상 프레임)를 상기 동영상 데이터의 일부 구간의 프레임(frame)으로 삽입할 수 있다.
상기 프로세서는, 상기 제2 이미지 서브셋 중 상기 파노라마 이미지 데이터의 제1 영역에 대응하는 복수의 이미지 데이터를 획득하고; 상기 획득한 이미지 데이터를 이용하여 상기 제1 영역에 대응하는 동영상 데이터를 생성할 수 있다. 상기 제1 영역은 예를 들어, 상기 파노라마 이미지 데이터의 전체 영역 중에서 상기 움직임 정보에 기초하여 확인된 움직임 속도가 지정된 임계속도 미만인 영역일 수 있다.
본 발명의 다른 실시예에 따른 전자 장치는, 메모리; 동영상을 촬영하는 카메라; 상기 동영상에 포함된 전체 영상 프레임들 중 일부 영상 프레임을 이용하여 정적 파노라마 영상(still panoramic image)을 생성하고, 상기 정적 파노라마 영상을 상기 메모리에 저장시키는 프로세서를 포함하고, 상기 프로세서는, 상기 전체 영상 프레임들 중 다른 적어도 일부와 상기 정적 파노라마 영상을 구성하는 영상 프레임들을 이용하여 동적 파노라마 영상(moving panoramic image)을 생성하고, 상기 동적 파노라마 영상을 상기 메모리에 저장시키며, 상기 프로세서는, 상기 정적 파노라마 영상을 구성하는데 사용된 영상 프레임들 각각과 상기 영상 프레임들 각각과 경계부분이 이어지는 전 또는 후 영상 프레임 간의 픽셀간격이 일정하지 않은 경우, 상기 전체 영상 프레임들 중 다른 적어도 일부와 상기 정적 파노라마 영상을 구성하는 영상 프레임들을 이용하여 상기 영상 프레임들 각각이 상기 전 또는 후 영상 프레임과 지정된 픽셀간격 미만의 픽셀간격을 갖도록 정합하여 상기 동적 파노라마 영상을 구성하는 것을 특징으로 한다.
상기 프로세서는, 상기 정적 파노라마 영상을 구성하는데 사용된 영상 프레임들 중에서 연접한 두 영상 프레임을 선별하고, 상기 두 영상 프레임의 픽셀간격에 임계오차를 합산한 픽셀간격을 상기 지정된 픽셀간격으로 결정할 수 있다.
상기 프로세서는, 상기 전체 영상 프레임들 중에서 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 제외한 여유 영상 프레임들을 상기 메모리에 저장시킬 수 있다.
상기 프로세서는, 상기 동적 파노라마 영상을 구성하는 각 영상 프레임 간의 픽셀간격에 대응하는 정합 위치 정보 및 상기 동적 파노라마 영상을 구성하는 각 영상 프레임의 상단과 하단이 상기 동영상의 각 영상 프레임으로부터 얼마만큼 크롭되었는지에 대한 크롭(crop) 영역 정보 중 적어도 하나를 상기 여유 영상 프레임과 연관시켜 상기 메모리에 저장시킬 수 있다. 상기 전자 장치는, 상기 전자 장치의 움직임을 감지하는 모션 감지 센서; 및 디스플레이를 더 포함하고, 상기 프로세서는, 지정된 재생 모드이면, 상기 모션 감지 센서로부터 상기 전자 장치의 움직임 방향, 움직임 속도 및 요 각도 중 적어도 하나를 수신하고, 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 요 각도에 대응하는 영상 프레임부터 상기 움직임 방향에 대응하는 재생 방향으로 재생하되, 상기 움직임 속도에 대응하는 선택 재생 속도로 상기 디스플레이에 재생하는 것을 특징으로 한다.
상기 프로세서는, 상기 선택 재생 속도와 상기 동적 파노라마 영상의 기준 재생 속도가 동일하지 않으면, 상기 동적 파노라마 영상을 보간(interpolation)하거나, 상기 동적 파노라마 영상을 구성하는 영상 프레임들 중 적어도 일부를 생략(skip)하여 상기 디스플레이에 재생할 수 있다.
상기 프로세서는, 상기 선택 재생 속도가 상기 기준 재생 속도 미만이면, 상기 메모리에 상기 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인하고, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하면, 상기 요 각도에 대응하는 여유 영상 프레임을 이용하여 적어도 하나의 보간 영상 프레임을 생성하고, 상기 동적 파노라마 영상에 상기 보간 영상 프레임을 추가하여 상기 디스플레이에 재생할 수 있다.
상기 프로세서는, 상기 동적 파노라마 영상에서 상기 보간 영상 프레임이 추가될 시점(time)의 전후 영상 프레임의 상기 정합 위치 정보 및 크롭 영역 정보 중 적어도 하나를 확인하고, 상기 정합 위치 정보 및 상기 크롭 영역 정보 중 적어도 하나를 이용하여 상기 전후 영상 프레임과 연속성을 갖는 상기 보간 영상 프레임을 생성할 수 있다.
상기 프로세서는, 상기 요 각도에 대응하는 현 시점에 대한 여유 영상 프레임이 존재하지 않으면, 상기 동적 파노라마 영상을 구성하는 영상 프레임들 중 상기 시점의 이전 영상 프레임과 다음 영상 프레임의 영상 변화와 촬영 위치 이동에 기초하여 상기 현 시점의 보간 프레임을 생성할 수 있다.
상기 프로세서는, 상기 선택 재생 속도가 상기 기준 재생 속도를 초과하면, 상기 선택 재생 속도와 기준 재생 속도의 비율에 기초하여 상기 동적 파노라마 영상에 영상 프레임들 중에서 생략할 영상 프레임을 결정하고, 상기 생략할 영상 프레임을 제외한 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 디스플레이에 재생할 수 있다.
상기 프로세서는, 상기 움직임 속도가 임계속도 미만이면, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인하고, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하면, 상기 요 각도에 대응하는 여유 영상 프레임을 재생시키는 메뉴 객체를 상기 디스플레이에 표시할 수 있다.
상기 프로세서는, 사용자 입력으로부터 상기 메뉴 객체가 선택되는지를 확인하고, 상기 메뉴 객체가 선택되면, 상기 요 각도에 대응하는 여유 영상 프레임을 상기 요 각도에 대응하는 현 시점의 전 후 영상 프레임과 이어지도록 상기 디스플레이에 재생할 수 있다.
본 발명의 또 다른 실시예에 따른 전자 장치는, 디스플레이; 상기 전자 장치의 움직임을 감지하는 모션 감지 센서; 정적 파노라마 영상(still panoramic image)에 포함된 영상 프레임을 이용하여 생성된 동적 파노라마 영상을 저장하는 메모리; 지정된 재생 모드이면, 상기 모션 감지 센서로부터 수신된 정보로부터 움직임 방향, 움직임 속도 및 요 각도 중 적어도 하나를 확인하고, 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 요 각도에 대응하는 영상 프레임부터 상기 움직임 방향에 대응하는 재생 방향 및 상기 움직임 속도에 대응하는 선택 재생 속도로 상기 디스플레이에 재생하는 프로세서를 포함하는 것을 특징으로 한다.
상기 프로세서는, 상기 선택 재생 속도와 상기 동적 파노라마 영상의 기준 재생 속도와 동일하지 않으면, 상기 동적 파노라마 영상을 보간(interpolation)하거나, 생략(skip)하여 상기 디스플레이에 재생할 수 있다.
상기 프로세서는, 상기 선택 재생 속도가 상기 기준 재생 속도 미만이면, 상기 메모리에 상기 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인하고, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하면, 상기 요 각도에 대응하는 여유 영상 프레임을 이용하여 적어도 하나의 보간 영상 프레임을 생성하고, 상기 동적 파노라마 영상에 상기 보간 영상 프레임을 추가하여 상기 디스플레이에 재생할 수 있다.
상기 프로세서는, 상기 동적 파노라마 영상에서 상기 보간 영상 프레임이 추가될 시점(time)의 전후 영상 프레임의 정합 위치 정보 및 크롭 영역 정보 중 적어도 하나를 확인하고, 상기 정합 위치 정보 및 크롭 영역 정보 중 적어도 하나를 이용하여 상기 전후 영상 프레임과 연속성을 갖는 상기 보간 영상 프레임을 생성할 수 있다.
상기 프로세서는, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하지 않으면, 상기 동적 파노라마 영상을 이용하여 상기 보간 영상 프레임을 생성할 수 있다.
상기 프로세서는, 상기 선택 재생 속도가 상기 기준 재생 속도를 초과하면, 상기 선택 재생 속도와 기준 재생 속도의 비율에 기초하여 상기 동적 파노라마 영상에 영상 프레임들 중에서 생략할 영상 프레임을 결정하고, 상기 생략할 영상 프레임을 제외한 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 디스플레이에 재생할 수 있다.
상기 프로세서는, 상기 움직임 속도가 임계속도 미만이면, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인하고, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하면, 상기 요 각도에 대응하는 여유 영상 프레임을 재생시키는 메뉴 객체를 상기 디스플레이에 표시할 수 있다.
상기 프로세서는, 사용자 입력으로부터 상기 메뉴 객체가 선택되는지를 확인하고, 상기 메뉴 객체가 선택되면, 상기 요 각도에 대응하는 여유 영상 프레임을 상기 요 각도의 전 후 영상 프레임과 이어지도록 상기 디스플레이에 재생할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 메모리; 동영상을 촬영하는 카메라; 상기 전자 장치의 움직임을 감지하는 모션 감지 센서; 및 상기 동영상에 포함된 전체 영상 프레임 중 적어도 일부 영상 프레임을 이용하여 정적 파노라마 영상(still panoramic image)을 생성하고, 상기 정적 파노라마 영상을 상기 메모리에 저장시키는 프로세서를 포함할 수 있다. 프로세서는 상기 전체 영상 프레임 중 다른 적어도 일부와 상기 정적 파노라마 영상을 구성하는 영상 프레임들을 이용하여 동적 파노라마 영상(moving panoramic image)을 생성하고, 상기 동적 파노라마 영상을 상기 메모리에 저장시킬 수 있다. 상기 동적 파노라마 영상을 구성하는 각 영상 프레임은 상기 각 영상 프레임과 이어지는 영상 프레임과 지정된 픽셀간격 미만의 픽셀간격을 갖도록 정합되는 것을 특징으로 한다.
다양한 실시예에 따르면, 프로세서는 지정된 재생 모드이면, 상기 모션 감지 센서로부터 수신된 정보로부터 움직임 방향, 움직임 속도 및 요 각도 중 적어도 하나를 확인하고, 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 요 각도에 대응하는 영상 프레임부터 상기 움직임 방향에 대응하는 재생 방향 및 상기 움직임 속도에 대응하는 선택 재생 속도로 상기 디스플레이에 재생할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (20)

  1. 전자 장치에 있어서,
    카메라;
    움직임을 감지하기 위한 센서; 및
    프로세서를 포함하고, 상기 프로세서는,
    지정된 시간 동안 상기 카메라를 이용하여 연속적인 복수의 이미지 데이터를 획득하고, 상기 센서를 이용하여 상기 복수의 이미지 데이터에 대응하는 움직임 정보를 획득하고;
    상기 복수의 이미지 데이터의 일부 이미지 데이터를 포함하는 제1 이미지 서브셋 및 상기 복수의 이미지의 데이터의 다른 일부 이미지 데이터를 포함하는 제2 이미지 서브셋 중 상기 제1 이미지 서브셋을 이용하여, 가상의 공간에 지정된 형태로 매핑되는 파노라마 이미지 데이터 및 상기 파노라마 이미지 데이터와 관련된 동영상 데이터를 생성하고; 및
    상기 동영상 데이터의 적어도 일부 구간의 프레임 레이트가 지정된 조건에 속하는 경우, 상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터를 이용하여 상기 동영상 데이터의 적어도 일부 구간을 보정하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 제1 이미지 서브셋에 대응하는 상기 움직임 정보를 상기 이미지 데이터 및 상기 동영상 데이터의 메타 데이터로 저장하도록 설정된 전자 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 제2 이미지 서브셋 중 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터가 존재하지 않으면, 상기 파노라마 이미지 데이터에서 상기 동영상 데이터의 적어도 일부 구간에 대응하는 이미지 데이터를 추출하고; 및
    상기 추출된 이미지 데이터를 이용하여, 상기 동영상 데이터의 일부 구간을 보정하도록 설정된 전자 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 동영상 데이터의 일부 구간을 보정하는 동작의 적어도 일부로, 상기 적어도 일부 구간에 대응하는 이미지 데이터를 상기 동영상 데이터의 일부 구간의 프레임(frame)으로 삽입하도록 설정된 전자 장치.
  5. 제1항에 있어서, 상기 프로세서는,
    상기 제2 이미지 서브셋 중 상기 파노라마 이미지 데이터의 제1 영역에 대응하는 복수의 이미지 데이터를 획득하고;
    상기 획득한 이미지 데이터를 이용하여, 상기 제1 영역에 대응하는 동영상 데이터를 생성하도록 설정된 전자 장치.
  6. 전자 장치에 있어서,
    메모리;
    동영상을 촬영하는 카메라; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 동영상에 포함된 전체 영상 프레임들 중 제 1 영상 프레임들을 이용하여 정적 파노라마 영상(still panoramic image)을 생성하고, 상기 정적 파노라마 영상을 상기 메모리에 저장하고,
    상기 제1 영상 프레임들과 상기 전체 영상 프레임들 중 다른 적어도 일부를 포함하는 제2 영상 프레임들을 이용하여 동적 파노라마 영상(moving panoramic image)을 생성하고, 상기 동적 파노라마 영상을 상기 메모리에 저장하고, 및
    상기 제1 영상 프레임들 간의 중첩 영역의 크기가 일정하지 않은 경우, 상기 제2 영상 프레임들을 이용하여 상기 제1 영상 프레임들이 임계 크기 미만의 중첩 영역을 갖도록 정합하여 상기 동적 파노라마 영상을 구성하도록 설정된 전자 장치.
  7. 제6항에서, 상기 프로세서는,
    상기 제1 영상 프레임들 중에서 연접한 두 영상 프레임을 선별하고, 상기 두 영상 프레임의 중첩 영역의 크기에 임계오차를 합산한 영역의 크기를 상기 상기 임계크기로 결정하도록 설정된 전자 장치.
  8. 제6항에서, 상기 프로세서는,
    상기 전체 영상 프레임들 중에서 상기 동적 파노라마 영상을 구성하는 상기 제2 영상 프레임들을 제외한 여유 영상 프레임들을 상기 메모리에 저장시키도록 설정된 전자 장치.
  9. 제8항에서, 상기 프로세서는,
    상기 제2 영상 프레임들 각각의 중첩 영역의 크기에 대응하는 정합 위치 정보 및
    상기 제2 영상 프레임 각각의 상단과 하단이 상기 동영상의 각 영상 프레임으로부터 얼마만큼 크롭되었는지에 대한 크롭(crop) 영역 정보 중 적어도 하나를 상기 여유 영상 프레임과 연관시켜 상기 메모리에 저장시키도록 설정된 전자 장치.
  10. 제9항에서,
    상기 전자 장치의 움직임을 감지하는 모션 감지 센서; 및
    디스플레이를 더 포함하고, 상기 프로세서는,
    지정된 재생 모드이면, 상기 모션 감지 센서로부터 상기 전자 장치의 움직임 방향, 움직임 속도 및 요 각도 중 적어도 하나를 수신하고, 상기 제2 영상 프레임들을 상기 요 각도에 대응하는 영상 프레임부터 상기 움직임 방향에 대응하는 재생 방향으로 재생하되, 상기 움직임 속도에 대응하는 선택 재생 속도로 상기 디스플레이에 재생하도록 설정된 전자 장치.
  11. 제10항에서, 상기 프로세서는,
    상기 선택 재생 속도와 상기 동적 파노라마 영상의 기준 재생 속도가 동일하지 않으면, 상기 동적 파노라마 영상을 보간(interpolation)하거나, 상기 제2 영상 프레임들 중 적어도 일부를 생략(skip)하여 상기 디스플레이에 재생하도록 설정된 전자 장치.
  12. 제10항에서, 상기 프로세서는,
    상기 움직임 속도가 임계속도 미만이면, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인하고, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하면, 상기 요 각도에 대응하는 여유 영상 프레임을 재생시키는 메뉴 객체를 상기 디스플레이에 표시하도록 설정된 전자 장치.
  13. 전자 장치에 있어서,
    디스플레이;
    상기 전자 장치의 움직임을 감지하는 모션 감지 센서;
    정적 파노라마 영상(still panoramic image)을 구성하는 영상 프레임들을 이용하여 생성된 동적 파노라마 영상을 저장하는 메모리;
    지정된 재생 모드이면, 상기 모션 감지 센서로부터 수신된 정보로부터 움직임 방향, 움직임 속도 및 요 각도 중 적어도 하나를 확인하고, 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 요 각도에 대응하는 영상 프레임부터 상기 움직임 방향에 대응하는 재생 방향 및 상기 움직임 속도에 대응하는 선택 재생 속도로 상기 디스플레이에 재생하는 프로세서;를 포함하는 전자 장치.
  14. 제13항에서, 상기 프로세서는,
    상기 선택 재생 속도와 상기 동적 파노라마 영상의 기준 재생 속도와 동일하지 않으면, 상기 동적 파노라마 영상을 보간(interpolation)하거나, 생략(skip)하여 상기 디스플레이에 재생하도록 설정된 전자 장치.
  15. 제14항에서, 상기 프로세서는,
    상기 선택 재생 속도가 상기 기준 재생 속도 미만이면, 상기 메모리에 상기 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인하고,
    상기 요 각도에 대응하는 여유 영상 프레임이 존재하면, 상기 요 각도에 대응하는 여유 영상 프레임을 이용하여 적어도 하나의 보간 영상 프레임을 생성하고, 상기 동적 파노라마 영상에 상기 보간 영상 프레임을 추가하여 상기 디스플레이에 재생하도록 설정된 전자 장치.
  16. 제15항에서, 상기 프로세서는,
    상기 동적 파노라마 영상에서 상기 보간 영상 프레임이 추가될 시점(time)의 전후 영상 프레임의 정합 위치 정보 및 크롭 영역 정보 중 적어도 하나를 확인하고, 상기 정합 위치 정보 및 크롭 영역 정보 중 적어도 하나를 이용하여 상기 전후 영상 프레임과 연속성을 갖는 상기 보간 영상 프레임을 생성하도록 설정된 전자 장치.
  17. 제15항에서, 상기 프로세서는,
    상기 요 각도에 대응하는 여유 영상 프레임이 존재하지 않으면, 상기 동적 파노라마 영상을 이용하여 상기 보간 영상 프레임을 생성하도록 설정된 전자 장치.
  18. 제14항에서, 상기 프로세서는,
    상기 선택 재생 속도가 상기 기준 재생 속도를 초과하면, 상기 선택 재생 속도와 기준 재생 속도의 비율에 기초하여 상기 동적 파노라마 영상에 영상 프레임들 중에서 생략할 영상 프레임을 결정하고, 상기 생략할 영상 프레임을 제외한 상기 동적 파노라마 영상을 구성하는 영상 프레임들을 상기 디스플레이에 재생하도록 설정된 전자 장치.
  19. 제13항에서, 상기 프로세서는,
    상기 움직임 속도가 임계속도 미만이면, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하는지를 확인하고, 상기 요 각도에 대응하는 여유 영상 프레임이 존재하면, 상기 요 각도에 대응하는 여유 영상 프레임을 재생시키는 메뉴 객체를 상기 디스플레이에 표시하도록 설정된 전자 장치.
  20. 제19항에서, 상기 프로세서는,
    사용자 입력으로부터 상기 메뉴 객체가 선택되는지를 확인하고, 상기 메뉴 객체가 선택되면, 상기 요 각도에 대응하는 여유 영상 프레임을 상기 요 각도의 전 후 영상 프레임과 이어지도록 상기 디스플레이에 재생하도록 설정된 전자 장치.
KR1020170016395A 2017-02-06 2017-02-06 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법 KR102609477B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170016395A KR102609477B1 (ko) 2017-02-06 2017-02-06 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
US15/889,413 US10681270B2 (en) 2017-02-06 2018-02-06 Electronic device for creating panoramic image or motion picture and method for the same
EP18748193.2A EP3560188A4 (en) 2017-02-06 2018-02-06 ELECTRONIC DEVICE FOR GENERATING PANORAMIC IMAGES OR MOTION IMAGES AND METHOD THEREFOR
PCT/KR2018/001575 WO2018143770A1 (en) 2017-02-06 2018-02-06 Electronic device for creating panoramic image or motion picture and method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170016395A KR102609477B1 (ko) 2017-02-06 2017-02-06 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180091359A true KR20180091359A (ko) 2018-08-16
KR102609477B1 KR102609477B1 (ko) 2023-12-04

Family

ID=63038179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170016395A KR102609477B1 (ko) 2017-02-06 2017-02-06 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법

Country Status (4)

Country Link
US (1) US10681270B2 (ko)
EP (1) EP3560188A4 (ko)
KR (1) KR102609477B1 (ko)
WO (1) WO2018143770A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021087412A1 (en) * 2019-11-01 2021-05-06 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
WO2022108230A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치 및 그 동작 방법
US11659219B2 (en) 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
WO2024043731A1 (ko) * 2022-08-24 2024-02-29 삼성전자 주식회사 인터폴레이션을 수행하는 전자 장치, 동작 방법, 및 저장 매체

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10694249B2 (en) 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10506006B2 (en) 2015-09-09 2019-12-10 Vantrix Corporation Method and system for flow-rate regulation in a content-controlled streaming network
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US10419770B2 (en) 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
KR101810673B1 (ko) * 2017-05-23 2018-01-25 링크플로우 주식회사 촬상 위치 정보를 결정하는 방법 및 이러한 방법을 수행하는 장치
JP7091073B2 (ja) * 2018-01-05 2022-06-27 キヤノン株式会社 電子機器及びその制御方法
JP7298116B2 (ja) * 2018-08-03 2023-06-27 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
CN108846867A (zh) * 2018-08-29 2018-11-20 安徽云能天智能科技有限责任公司 一种基于多目全景惯导的slam系统
JP7309333B2 (ja) * 2018-08-30 2023-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記録媒体
US10997884B2 (en) 2018-10-30 2021-05-04 Nvidia Corporation Reducing video image defects by adjusting frame buffer processes
US10853914B2 (en) * 2019-02-22 2020-12-01 Verizon Patent And Licensing Inc. Methods and systems for automatic image stitching failure recovery
US11064108B2 (en) * 2019-08-21 2021-07-13 Sony Corporation Frame rate control for media capture based on rendered object speed
CN110769325B (zh) * 2019-09-17 2021-12-07 咪咕动漫有限公司 视频拍摄方法、系统、电子设备及存储介质
KR20210044506A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 증강 현실 객체를 표시하는 장치 및 그 동작 방법
US11115600B1 (en) * 2020-06-12 2021-09-07 Qualcomm Incorporated Dynamic field of view compensation for autofocus
CN113163107B (zh) * 2021-01-22 2022-08-19 上海彼亿网络科技有限公司 全景画面定时采集触发系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900342B1 (ko) * 2006-11-15 2009-06-02 3씨아이엠 인코포레이티드 파노라마 이미지 처리 방법
JP2011076372A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 合成画像作成方法ならびにそのプログラムおよび情報処理装置
US20150348580A1 (en) * 2014-05-29 2015-12-03 Jaunt Inc. Camera array including camera modules
JP2017130858A (ja) * 2016-01-22 2017-07-27 三菱電機株式会社 撮像装置及び故障検出方法、並びにプログラム及び記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100700218B1 (ko) 2004-08-13 2007-03-27 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
US20070030396A1 (en) 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
US20070081081A1 (en) 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
PL2562578T3 (pl) 2007-03-16 2017-12-29 Kollmorgen Corporation System do panoramicznego przetwarzania obrazu
JP2010124088A (ja) 2008-11-18 2010-06-03 Panasonic Corp 撮像装置
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US8947502B2 (en) 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
KR20110052124A (ko) 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
US9204040B2 (en) * 2010-05-21 2015-12-01 Qualcomm Incorporated Online creation of panoramic augmented reality annotations on mobile platforms
GB2517730A (en) * 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production
KR20150059534A (ko) 2013-11-22 2015-06-01 삼성전자주식회사 파노라마 영상 생성 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 파노라마 영상 생성 장치.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900342B1 (ko) * 2006-11-15 2009-06-02 3씨아이엠 인코포레이티드 파노라마 이미지 처리 방법
JP2011076372A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 合成画像作成方法ならびにそのプログラムおよび情報処理装置
US20150348580A1 (en) * 2014-05-29 2015-12-03 Jaunt Inc. Camera array including camera modules
JP2017130858A (ja) * 2016-01-22 2017-07-27 三菱電機株式会社 撮像装置及び故障検出方法、並びにプログラム及び記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659219B2 (en) 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
WO2021087412A1 (en) * 2019-11-01 2021-05-06 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
WO2022108230A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치 및 그 동작 방법
WO2024043731A1 (ko) * 2022-08-24 2024-02-29 삼성전자 주식회사 인터폴레이션을 수행하는 전자 장치, 동작 방법, 및 저장 매체

Also Published As

Publication number Publication date
US20180227487A1 (en) 2018-08-09
EP3560188A1 (en) 2019-10-30
EP3560188A4 (en) 2020-03-25
WO2018143770A1 (en) 2018-08-09
US10681270B2 (en) 2020-06-09
KR102609477B1 (ko) 2023-12-04

Similar Documents

Publication Publication Date Title
KR102609477B1 (ko) 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
KR102485127B1 (ko) 카메라의 방향에 따라 프리뷰 이미지의 위치를 변경하기 위한 전자 장치 및 방법
JP6351870B1 (ja) モバイル装置の全方向立体撮影
US20180181196A1 (en) Method for displaying image, storage medium, and electronic device
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚ｓｌａｍ
US11086395B2 (en) Image processing apparatus, image processing method, and storage medium
CN104126299B (zh) 视频图像稳定化
US20130135295A1 (en) Method and system for a augmented reality
US20130329072A1 (en) Motion-Based Image Stitching
WO2014183546A1 (zh) 一种控制屏幕旋转的方法、装置和设备
EP3345160A1 (en) Camera system and method for aligning images and presenting a series of aligned images
US8965105B2 (en) Image processing device and method
US20170064289A1 (en) System and method for capturing and displaying images
CN102780873A (zh) 图像处理装置和方法
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10764493B2 (en) Display method and electronic device
JPWO2018079490A1 (ja) 画像生成装置、および画像生成プログラム
CN111010476A (zh) 一种图像显示方法、装置、终端和可读存储介质
US20090059018A1 (en) Navigation assisted mosaic photography
US11706378B2 (en) Electronic device and method of controlling electronic device
JP5448739B2 (ja) 画像再生装置、撮像装置、画像再生方法
WO2018168823A1 (ja) 画像処理装置および電子機器
US10148929B2 (en) Method of prompting proper rotation angle for image depth establishing
JP6817527B1 (ja) 情報処理装置、プログラムおよび情報処理システム
WO2018168825A1 (ja) 画像処理装置および電子機器

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant