KR102527811B1 - 타임랩스 영상을 생성하는 장치 및 방법 - Google Patents

타임랩스 영상을 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR102527811B1
KR102527811B1 KR1020150183931A KR20150183931A KR102527811B1 KR 102527811 B1 KR102527811 B1 KR 102527811B1 KR 1020150183931 A KR1020150183931 A KR 1020150183931A KR 20150183931 A KR20150183931 A KR 20150183931A KR 102527811 B1 KR102527811 B1 KR 102527811B1
Authority
KR
South Korea
Prior art keywords
sampling interval
photographing device
time
reference value
lapse
Prior art date
Application number
KR1020150183931A
Other languages
English (en)
Other versions
KR20170074538A (ko
Inventor
카이 구어
김낙훈
사힐 아로라
서덕찬
유형철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150183931A priority Critical patent/KR102527811B1/ko
Priority to PCT/KR2016/012887 priority patent/WO2017111302A1/en
Priority to CN201680068212.0A priority patent/CN108293123B/zh
Priority to EP16879169.7A priority patent/EP3342153B1/en
Priority to US15/349,043 priority patent/US10313549B2/en
Publication of KR20170074538A publication Critical patent/KR20170074538A/ko
Application granted granted Critical
Publication of KR102527811B1 publication Critical patent/KR102527811B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H04N1/2133—Recording or reproducing at a specific moment, e.g. time interval or time-lapse
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

본 개시의 일 실시예의 일 측면에 따르면, 입사 광을 광전 변환하여 영상 신호를 생성하는 촬영부; 타임랩스 촬영이 수행되는 동안 실시간으로 획득된 참조 값에 기초하여, 시간에 따른 타임랩스 촬영의 샘플링 간격을 결정하고, 타임랩스 촬영이 수행되는 동안 상기 영상 신호로부터 생성된 복수의 입력 프레임들을 상기 샘플링 간격으로 샘플링하고, 상기 샘플링 간격에 기초하여 결정된 윈도우를 이용하여, 상기 복수의 입력 프레임들 중 샘플링된 복수의 선택 프레임들을 안정화하고, 상기 복수의 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성하는 처리부; 및 상기 타임랩스 영상 파일을 저장하는 저장부를 포함하는 촬영 장치가 제공된다.

Description

타임랩스 영상을 생성하는 장치 및 방법 {Apparatus and method for generating time lapse image}
본 발명의 실시예들은, 촬영 장치, 타임랩스 영상 생성 방법, 및 타임랩스 영상 생성 방법을 수행하는 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
타임랩스 영상은 사용자가 짧은 시간에 다수의 영상 프레임을 비디오로 쉽게 볼 수 있도록 프레임들을 샘플링하고 압축하여 생성된다. 타임랩스 영상은 동영상에 비해 짧은 시간에 소정 시간 동안 촬영된 영상 프레임들을 볼 수 있고, 적은 저장공간을 필요로 하여, 다수의 전자 장치들에서 타임랩스 영상을 생성하는 기능을 제공하고 있다. 또한 타임랩스 영상은 프레임들 사이의 시간 차이가 재생시의 프레임들 사이의 시간 차이보다 길기 때문에, 동영상과 달리 피사체가 비연속적으로 움직이는 것으로 보여, 사용자에게 동영상과는 다른 효과와 느낌을 제공할 수 있다. 그런데 타임랩스 영상을 생성할 때, 의미 있는 영상을 선택하고, 촬영시의 샘플링 간격을 적절히 선택하고자 하는 요구가 있다.
본 개시의 실시예들은, 타임랩스 영상을 구성하는 프레임들을 샘플링할 때의 실시간으로 샘플링 간격을 조절하기 위한 것이다.
또한, 본 개시의 실시예들은, 실시간으로 타임랩스 영상의 샘플링 간격을 조절함에 의해, 타임랩스 영상을 생성할 때, 요구되는 저장 공간 및 후처리를 감소시키기 위한 것이다.
또한, 본 개시의 실시예들은, 실시간으로 타임랩스 영상의 샘플링 간격을 조절하면서, 영상 안정화 성능을 향상시키기 위한 것이다.
본 개시의 일 실시예의 일 측면에 따르면,
입사 광을 광전 변환하여 영상 신호를 생성하는 촬영부;
타임랩스 촬영이 수행되는 동안 실시간으로 획득된 참조 값에 기초하여, 시간에 따른 타임랩스 촬영의 샘플링 간격을 결정하고, 타임랩스 촬영이 수행되는 동안 상기 영상 신호로부터 생성된 복수의 입력 프레임들을 상기 샘플링 간격으로 샘플링하고, 상기 샘플링 간격에 기초하여 결정된 윈도우를 이용하여, 상기 복수의 입력 프레임들 중 샘플링된 복수의 선택 프레임들을 안정화하고, 상기 복수의 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성하는 처리부; 및
상기 타임랩스 영상 파일을 저장하는 저장부를 포함하는 촬영 장치가 제공된다.
상기 실시간으로 획득된 참조 값은, 주밍(zooming) 값, 배터리 레벨, 촬영 장치의 움직임 정보, 조도 값, 오디오 신호, 피사체의 움직임 정보, 얼굴 검출 여부, 및 얼굴 크기 중 적어도 하나 또는 이들의 조합일 수 있다.
상기 참조 값은 주밍 값을 포함하고, 상기 주밍 값이 증가하면, 상기 샘플링 간격이 감소하고, 상기 주밍 값이 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 촬영 장치는 상기 촬영 장치에 전력을 공급하는 배터리를 더 포함하고, 상기 참조 값은 배터리 레벨을 포함하고, 상기 배터리 레벨이 배터리 기준 값 미만인 경우, 상기 샘플링 간격이 증가할 수 있다.
상기 처리부는, 상기 복수의 입력 프레임들로부터 피사체 움직임 정보를 추출하고, 상기 참조 값은, 상기 피사체 움직임 정보를 포함하고, 삼각대 모드인 경우, 피사체 움직임의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 피사체 움직임의 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 처리부는, 상기 복수의 입력 프레임들로부터 얼굴을 검출하고, 상기 참조 값은, 얼굴 검출 정보를 포함하고, 이전 프레임에 없던 얼굴이 현재 프레임에서 검출되면, 상기 샘플링 간격이 감소하고, 이전 프레임에서 얼굴이 검출되다가 현재 프레임에서 얼굴이 검출되지 않으면, 상기 샘플링 간격이 증가할 수 있다.
상기 처리부는, 상기 복수의 입력 프레임들로부터 얼굴을 검출하고, 상기 참조 값은 얼굴 검출 정보를 포함하고, 검출된 얼굴의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 검출된 얼굴의 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 촬영 장치는, 상기 촬영 장치의 움직임을 검출하는 움직임 센서를 더 포함하고, 상기 참조 값은 촬영 장치 움직임 크기를 포함하고, 상기 촬영 장치 움직임 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 촬영 장치 움직임 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 촬영 장치는, 상기 촬영 장치의 움직임을 검출하는 움직임 센서를 더 포함하고, 상기 참조 값은 촬영 장치 움직임 정보를 포함하고, 상기 촬영 장치가 패닝(panning) 모드로 동작하는 것이 검출되면, 상기 샘플링 간격이 감소하고, 상기 패닝 모드로 동작하는 동안, 상기 촬영 장치의 이동 속도가 감소하면, 상기 샘플링 간격이 증가하고, 상기 이동 속도가 증가하면 상기 샘플링 간격이 감소할 수 있다.
상기 촬영 장치는, 상기 촬영 장치의 움직임을 검출하는 움직임 센서를 더 포함하고, 상기 참조 값은 촬영 장치 움직임 정보를 포함하고, 상기 촬영 장치의 이동 속도가 기준 값 이상인 경우, 상기 샘플링 간격이 감소할 수 있다.
상기 촬영 장치는, 조도를 검출하는 조도 센서를 더 포함하고, 상기 참조 값은 조도 값을 포함하고, 상기 조도 값이 저조도 기준 값 미만인 경우 및 상기 조도 값이 고조도 기준 값을 초과하는 경우, 상기 샘플링 간격은 상기 조도 값이 상기 저조도 기준 값 이상이고 상기 고조도 기준 값 이하인 경우에 비해 클 수 있다.
상기 촬영 장치는, 오디오 신호를 검출하는 마이크로폰을 더 포함하고, 상기 참조 값은 상기 마이크로폰으로 검출된 오디오 신호를 포함하고, 상기 오디오 신호에서 미리 정의된 사운드 또는 단어가 검출되는 경우, 상기 샘플링 간격이 감소할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면,
촬영 장치에 있어서,
입사 광을 광전 변환하여 영상 신호를 생성하는 촬영부;
상기 촬영 장치의 움직임 정보를 검출하는 센서;
상기 촬영 장치의 움직임 정보에 기초하여, 상기 타임랩스 촬영이 수행되는 동안 시간에 따른 타임랩스 촬영의 샘플링 간격을 결정하고, 타임랩스 촬영이 수행되는 동안 상기 영상 신호로부터 생성된 복수의 입력 프레임들을 상기 샘플링 간격으로 샘플링하고, 상기 복수의 입력 프레임들 중 샘플링된 복수의 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성하는 처리부; 및
상기 타임랩스 영상 파일을 저장하는 저장부를 포함하는 촬영 장치가 제공된다.
상기 촬영 장치의 움직임 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 촬영 장치의 움직임 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면,
타임랩스 촬영이 수행되는 동안, 실시간으로 획득된 참조 값에 기초하여, 시간에 따른 타임랩스 촬영의 샘플링 간격을 결정하는 단계;
타임랩스 촬영이 수행되는 동안, 촬영부의 영상 신호로부터 생성된 복수의 입력 프레임들을 상기 샘플링 간격으로 샘플링하는 단계;
상기 샘플링 간격에 기초하여 결정된 윈도우를 이용하여, 상기 복수의 입력 프레임들 중 샘플링된 복수의 선택 프레임들을 안정화하는 단계;
상기 복수의 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성하는 단계; 및
상기 타임랩스 영상 파일을 저장하는 단계를 포함하는 타임랩스 영상 생성 방법이 제공된다.
상기 실시간으로 획득된 참조 값은, 주밍(zooming) 값, 배터리 레벨, 촬영 장치의 움직임 정보, 조도 값, 오디오 신호, 피사체의 움직임 정보, 얼굴 검출 여부, 및 얼굴 크기 중 적어도 하나 또는 이들의 조합일 수 있다.
상기 참조 값은 주밍 값을 포함하고, 상기 주밍 값이 증가하면, 상기 샘플링 간격이 감소하고, 상기 주밍 값이 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 참조 값은 배터리 레벨을 포함하고, 상기 배터리 레벨이 배터리 기준 값 미만인 경우, 상기 샘플링 간격이 증가할 수 있다.
상기 타임랩스 영상 생성 방법은, 상기 복수의 입력 프레임들로부터 피사체 움직임 정보를 추출하는 단계를 더 포함하고, 상기 참조 값은, 상기 피사체 움직임 정보를 포함하고, 삼각대 모드인 경우, 피사체 움직임의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 피사체 움직임의 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 타임랩스 영상 생성 방법은, 상기 복수의 입력 프레임들로부터 얼굴을 검출하는 단계를 더 포함하고, 상기 참조 값은, 얼굴 검출 정보를 포함하고, 이전 프레임에 없던 얼굴이 현재 프레임에서 검출되면, 상기 샘플링 간격이 감소하고, 이전 프레임에서 얼굴이 검출되다가 현재 프레임에서 얼굴이 검출되지 않으면, 상기 샘플링 간격이 증가할 수 있다.
상기 타임랩스 영상 생성 방법은, 상기 복수의 입력 프레임들로부터 얼굴을 검출하는 단계를 더 포함하고, 상기 참조 값은 얼굴 검출 정보를 포함하고, 검출된 얼굴의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 검출된 얼굴의 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 타임랩스 영상 생성 방법은, 촬영 장치의 움직임을 검출하는 단계를 더 포함하고, 상기 참조 값은 촬영 장치 움직임 크기를 포함하고, 촬영 장치 움직임 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 촬영 장치 움직임 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
상기 타임랩스 영상 생성 방법은, 촬영 장치의 움직임을 검출하는 단계를 더 포함하고, 상기 참조 값은 촬영 장치 움직임 정보를 포함하고, 촬영 장치가 패닝(panning) 모드로 동작하는 것이 검출되면, 상기 샘플링 간격이 감소하고, 상기 패닝 모드로 동작하는 동안, 상기 촬영 장치의 이동 속도가 감소하면, 상기 샘플링 간격이 증가하고, 상기 이동 속도가 증가하면 상기 샘플링 간격이 감소할 수 있다.
상기 타임랩스 영상 생성 방법은, 촬영 장치의 움직임을 검출하는 단계를 더 포함하고, 상기 참조 값은 촬영 장치 움직임 정보를 포함하고, 촬영 장치의 이동 속도가 기준 값 이상인 경우, 상기 샘플링 간격이 감소할 수 있다.
상기 참조 값은 조도 값을 포함하고, 상기 조도 값이 저조도 기준 값 미만인 경우 및 상기 조도 값이 고조도 기준 값을 초과하는 경우, 상기 샘플링 간격은 상기 조도 값이 상기 저조도 기준 값 이상이고 상기 고조도 기준 값 이하인 경우에 비해 클 수 있다.
상기 참조 값은 마이크로폰으로 검출된 오디오 신호를 포함하고, 상기 오디오 신호에서 미리 정의된 사운드 또는 단어가 검출되는 경우, 상기 샘플링 간격이 감소할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면,
타임랩스 촬영이 수행되는 동안, 촬영 장치의 움직임 정보를 검출하는 단계;
상기 촬영 장치의 움직임 정보에 기초하여, 상기 타임랩스 촬영이 수행되는 동안, 시간에 따른 타임랩스 촬영의 샘플링 간격을 결정하는 단계;
타임랩스 촬영이 수행되는 동안, 촬영부의 영상 신호로부터 생성된 복수의 입력 프레임들을 상기 샘플링 간격으로 샘플링하는 단계;
상기 복수의 입력 프레임들 중 샘플링된 복수의 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성하는 단계; 및
상기 타임랩스 영상 파일을 저장하는 단계를 포함하는 타임랩스 영상 생성 방법이 제공된다.
상기 촬영 장치의 움직임 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 촬영 장치의 움직임 크기가 감소하면, 상기 샘플링 간격이 증가할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면, 상기 타임랩스 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 개시의 실시예들에 따르면, 타임랩스 영상을 구성하는 프레임들을 샘플링할 때의 실시간으로 샘플링 간격을 조절할 수 있는 효과가 있다.
또한, 본 개시의 실시예들에 따르면, 실시간으로 타임랩스 영상의 샘플링 간격을 조절함에 의해, 타임랩스 영상을 생성할 때, 요구되는 저장 공간 및 후처리를 감소시킬 수 있는 효과가 있다.
또한, 본 개시의 실시예들은, 실시간으로 타임랩스 영상의 샘플링 간격을 조절하면서, 영상 안정화 성능을 향상시키기 위한 것이다.
도 1은 타임랩스 영상을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 타임랩스 영상 생성 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 촬영 장치(100a)의 구조를 나타낸 블록도이다.
도 4는 일 실시예에 따른 타임랩스 영상 생성 방법을 나타낸 흐름도이다.
도 5는 일 실시예에 따른 촬영 장치(100)의 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 촬영 장치(100)의 동작을 설명하기 위한 도면이다.
도 7은 주밍 값에 기초하여 샘플링 간격을 조절하는 실시예를 설명하기 위한 도면이다.
도 8은 배터리 레벨에 기초하여 샘플링 간격을 결정하는 실시예를 설명하기 위한 도면이다.
도 9는 촬영 장치(100)가 삼각대에 고정된 경우의 실시예를 설명하기 위한 도면이다.
도 10은 일 실시예에 따라, 삼각대 모드에서 평탄화된 매칭 에러 값(Esmooth)과 샘플링 간격과의 관계를 나타내는 그래프이다.
도 11은 얼굴 검출 정보에 따라 샘플링 간격을 조절하는 실시예를 설명하기 위한 도면이다.
도 12는 얼굴 검출 정보에 따라 샘플링 간격을 조절하는 실시예를 설명하기 위한 도면이다.
도 13은 일 실시예에 따라 얼굴 크기에 따라 샘플링 간격을 조절하는 구성을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 얼굴 크기와 샘플링 간격의 관계를 나타낸 그래프이다.
도 15는 일 실시예에 따른 촬영 장치(100b)의 구조를 나타낸 블록도이다.
도 16은 일 실시예에 따른 촬영 장치 움직임과 샘플링 간격 사이의 관계를 나타낸 그래프이다.
도 17은 일 실시예에 따른 촬영 장치(100b)의 이동 속도와 샘플링 간격의 관계를 나타낸 그래프이다.
도 18은 일 실시예에 따라 촬영 장치(100b)에서 갑작스러운 움직임이 검출된 경우의 샘플링 간격의 변화를 나타낸 도면이다.
도 19는 일 실시예에 따른 촬영 장치(100c)의 구조를 나타낸 블록도이다.
도 20은 일 실시예에 따른 조도 값과 샘플링 간격의 관계를 나타낸 그래프이다.
도 21은 일 실시예에 따른 촬영 장치(100d)의 구조를 나타낸 블록도이다.
도 22는 일 실시예에 따라 오디오 신호에 기초하여 샘플링 간격이 조절되는 모습을 나타낸 도면이다.
도 23은 일 실시예에 따라 샘플링 간격을 설정하는 방식을 설명하는 도면이다.
도 24는 일 실시예에 따른 샘플링 간격의 변화를 나타낸 도면이다.
도 25는 일 실시예에 따라 최종 샘플링 간격을 결정하는 방법을 나타낸 흐름도이다.
도 26은 일 실시예에 따라 샘플링 간격을 산출하는 방법을 나타낸 흐름도이다.
도 27은 일 실시예에 따른 타임랩스 영상에 대한 안정화 처리를 설명하는 흐름도이다.
도 28은 안정화를 위한 윈도우 및 FOV loss를 나타낸 도면이다.
도 29는 일 실시예에 따른 샘플링 간격과 FOV 손실률의 관계를 나타낸 도면이다.
도 30은 본 개시의 실시예들에 따른 처리시간을 후처리로 타임랩스 영상을 생성하는 경우와 비교한 그래프이다.
도 31은 본 개시의 실시예들에 따른 저장 공간 이용량을 나타낸 도면이다.
도 32는 일 실시예에 따른 촬영 장치(100e)의 구조를 나타낸 블록도이다.
도 33은 일 실시예에 따른 촬영 장치(100f)의 구조를 나타낸 도면이다.
도 34는 일 실시예에 따른 촬영 장치(100g)의 구조를 설명하기 위한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 타임랩스 영상을 설명하기 위한 도면이다.
타임랩스 영상은, 타임랩스 영상에 포함된 프레임 사이의 촬영 시간 차이가 재생 시의 시간 차이보다 큰 영상을 의미한다. 예를 들면, 타임랩스 영상에 포함된 프레임 사이의 촬영 시간 차이는 10초인데, 재생 시간의 차이는 0.1초일 수 있다.
타임랩스 영상은 복수의 프레임들을 포함하는 파일로 저장될 수 있다. 예를 들어, 타임랩스 영상은 MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 압축되고, 압축된 프레임들을 이용하여 동영상 파일로 저장될 수 있다. 타임랩스 영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다.
타임랩스 영상 파일은 소정의 프레임 레이트로 촬영된 복수의 입력 프레임들을 소정의 샘플링 간격(sampling interval)으로 샘플링한 후, 출력 프레임 레이트로 샘플링된 선택 프레임들을 압축하여 생성된다. 샘플링 간격은, 촬영 시 소정의 프레임 레이트로 생성된 복수의 입력 프레임들 중, 타임랩스 영상 파일에 포함될 선택 프레임을 샘플링 할 때, 선택 프레임들 사이의 간격이다. 샘플링 간격은 타임랩스 스피드(time lapse speed)라고 지칭될 수도 있다. 샘플링 간격은 시간으로 표현되거나, 프레임 수로 포함될 수도 있다. 선택 프레임은, 소정의 프레임 레이트로 촬영된 복수의 입력 프레임들 중 타임랩스 영상 파일에 포함될 프레임이다. 예를 들면, 샘플링 간격이 10 프레임이고, 촬영된 복수의 입력 프레임은 프레임 1 내지 30을 포함하는 경우, 선택 프레임은, 프레임 1, 프레임 11, 및 프레임 21로 결정되고, 프레임 2 내지 10, 프레임 12 내지 20, 및 프레임 22 내지 30은 버려질 수 있다.
출력 프레임 레이트는 타임랩스 영상 파일에서의 프레임 레이트이다. 타임랩스 영상 파일을 재생하는 경우, 상기 출력 프레임 레이트로 타임랩스 영상 파일의 프레임들이 재생된다.
본 개시의 실시예들에 따르면, 타임랩스 영상을 촬영하는 동안, 샘플링 간격이 실시간으로 결정되고, 촬영을 하면서 샘플링이 수행될 수 있다.
본 명세서에 타임랩스 영상을 촬영한다고 함은, 촬영 장치가 타임랩스 촬영 모드 설정된 상태에서, 영상 촬영을 수행함을 의미한다. 타임랩스 촬영 모드는 사용자의 요청에 의해 설정되거나, 촬영 장치의 처리에 의해 자동으로 설정될 수 있다. 타임랩스 촬영의 시작과 종료는 사용자로부터 셔터 릴리즈 신호 등의 제어 신호를 입력 받아 결정되거나, 촬영 장치에 의해 자동으로 결정될 수도 있다.
도 2는 일 실시예에 따른 타임랩스 영상 생성 방법을 설명하기 위한 도면이다.
본 개시의 실시예들에 따르면, 타임랩스 영상을 생성할 때, 타임랩스 촬영을 수행하는 동안, 샘플링 간격을 조절하면서 촬상 소자의 영상 신호로부터 생성된 복수의 입력 프레임들 중 타임랩스 영상에 포함될 프레임을 샘플링한다. 도 2에 도시된 바와 같이, 본 개시의 실시예들에 따르면, 촬영을 수행하는 동안, 참조 값의 변화를 모니터링 하여, 참조 값의 변화에 따라 타임랩스 촬영의 샘플링 간격이 변경될 수 있다. 예를 들면, 촬영 장치의 움직임 속도가 커지면 샘플링 간격을 감소시키거나, 배터리 레벨이 낮아지면 샘플링 간격을 증가시키는 등, 촬영 시의 참조 값의 변화를 감지하여, 바로 샘플링 간격에 반영하고 샘플링 간격을 조절할 수 있다.
참조 값은 촬영 환경, 피사체의 변화, 촬영 장치 설정 값, 및 촬영 장치 상태 등을 나타내는 값이다. 예를 들면, 참조 값은, 주밍(zooming) 값, 배터리 레벨, 촬영 장치의 움직임 정보, 조도 값, 오디오 신호, 피사체의 움직임 정보, 얼굴 검출 여부, 및 얼굴 크기 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 참조 값은, 촬영 장치에 구비된 센서, 촬상 소자의 영상 신호, 촬영 장치의 설정 값 정보 등으로부터 획득될 수 있다.
또한 본 개시의 실시예들에 따르면, 촬영을 수행하는 동안 선택 프레임의 샘플링이 수행된다. 본 개시의 실시예들에 따른 촬영 장치는, 촬영을 수행하는 동안 결정된 샘플링 간격을 이용하여, 촬영을 수행하는 동안 선택 프레임을 샘플링한다. 따라서 촬영을 수행하는 동안 타임랩스 영상 파일에 포함될 선택 프레임만 저장하고, 버려지는 프레임은 삭제하여, 후처리로 타임랩스 영상 파일을 생성하는 경우에 비해, 요구되는 저장 공간을 현저하게 감소시킬 수 있다.
도 3은 일 실시예에 따른 촬영 장치(100a)의 구조를 나타낸 블록도이다.
일 실시예에 따른 촬영 장치(100a)는 촬영부(110), 처리부(120), 및 저장부(130)를 포함한다.
촬영 장치(100a)는 디지털 카메라, 스마트 폰(smart phone), 웨어러블 장치, 블랙박스, 방범용 카메라, 자동차, 로봇, 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등 다양한 형태로 구현될 수 있다.
촬영부(110)는 입사광을 광전 변환하여 전기적인 영상 신호를 생성한다. 촬영부(110)는 촬영 장치(100a)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다. 일 실시예에 따른 촬영부(110)는 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 촬상 소자, 및 촬상 소자 제어부를 포함한다.
렌즈는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈는 렌즈 구동부에 의해 그 위치가 조절된다. 렌즈 구동부는 처리부(120)에서 제공된 제어 신호에 따라 렌즈의 위치를 조절한다. 예를 들면, 렌즈 구동부는 주밍(zooming) 제어 신호를 처리부(120)로부터 수신하여, 렌즈의 위치를 조절함에 의해 줌인 동작 및 줌 아웃 동작을 수행할 수 있다. 일 실시예에 따르면, 렌즈 구동부는 초점거리 조절, 손떨림 보정, 광각 조절 등의 동작을 위해 렌즈를 구동할 수 있다.
조리개는 조리개 구동부에 의해 그 개폐 정도가 조절되며, 촬상 소자로 입사되는 광량을 조절한다.
렌즈 및 조리개를 투과한 광학 신호는 촬상 소자의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자는 촬상 소자 제어부에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자를 제어할 수 있다.
촬상 소자의 노광 시간은 셔터로 조절된다. 셔터는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.
처리부(120)는 촬영부(110)로부터 생성된 영상 신호에 의해 생성된 복수의 입력 프레임들로부터 선택 프레임을 샘플링하여, 타임랩스 영상 파일을 생성한다.
처리부(120)는 타임랩스 촬영이 수행되는 동안 실시간으로 참조 값을 획득한다. 상기 참조 값은 앞서 설명한 바와 같이, 참조 값은, 주밍(zooming) 값, 배터리 레벨, 촬영 장치의 움직임 정보, 조도 값, 오디오 신호, 피사체의 움직임 정보, 얼굴 검출 여부, 및 얼굴 크기 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 처리부(120)는 촬영 장치(100a)에 구비된 센서로부터 참조 값을 획득하거나, 촬영부(110)에서 생성된 영상 신호를 영상 처리하여 참조 값을 획득하거나, 메모리 등에 저장된 촬영 설정 값을 참조하여 참조 값을 획득할 수 있다. 처리부(120)가 획득하는 참조 값의 종류 및 개수 는 실시예에 따라 다양하게 결정될 수 있다.
처리부(120)는 타임랩스 촬영이 수행되는 동안 획득된 참조 값에 기초하여, 타임랩스 촬영이 수행되는 동안, 선택 프레임으로부터 타임랩스 촬영의 샘플링 간격을 결정한다.
샘플링 간격은 상기 참조 값에 기초하여 실시간으로 또는 소정의 주기로 결정될 수 있다. 일 실시예에 따르면, 촬영부(110)로부터 입력되는 매 프레임마다 상기 샘플링 간격이 결정될 수 있다. 다른 실시예에 따르면, 촬영부(110)로부터 입력되는 소정 개수의 프레임마다(예를 들면, 20 프레임마다) 상기 샘플링 간격이 결정될 수 있다.
샘플링 간격을 결정할 때 기초하는 참조 값의 종류 및 수는 실시예에 따라 다양하게 결정될 수 있다. 일 실시예에 따르면, 촬영 장치(100a)의 동작 모드에 따라 샘플링 간격을 결정할 때 기초하는 참조 값의 종류 및 수가 달라질 수 있다.
처리부(120)는 상기 참조 값을 소정의 함수에 적용하여 상기 샘플링 간격을 결정할 수 있다. 또한 처리부(120)가 복수의 참조 값을 이용하여 상기 샘플링 간격을 결정하는 경우, 상기 복수의 참조 값에 대한 가중치를 다르게 적용하여 상기 샘플링 간격을 결정할 수 있다. 일 실시예에 따르면, 상기 가중치는 촬영 장치(100a)의 동작 모드에 따라 다르게 결정될 수 있다.
일 실시예에 따르면, 샘플링 간격이 변경되는 경우, 샘플링 간격이 급격하게 변경되는 것을 방지하기 위해, 소정의 시간 간격 동안 샘플링 간격을 단계적으로 변경할 수 있다.
처리부(120)는 상기 샘플링 간격을 이용하여 촬영이 수행되는 동안 촬영부(110)의 영상 신호로부터 생성된 복수의 입력 프레임들 중, 선택 프레임을 선택하여 샘플링할 수 있다.
일 실시예에 따르면, 처리부(120)는 상기 복수의 입력 프레임들을 소정의 버퍼 또는 메모리에 설정된 제1 저장 공간에 임시 저장하고, 임시 저장된 복수의 입력 프레임들을 결정된 샘플링 간격으로 샘플링하여 선택 프레임을 결정한다. 처리부(120)는 선택 프레임으로 결정된 프레임들은 소정의 버퍼 또는 메모리에 설정된 제2 저장 공간에 저장하고, 선택 프레임으로 선택되지 않은 프레임들은 제2 저장 공간에 저장하지 않을 수 있다. 촬영이 종료되면, 상기 제2 저장 공간에 저장된 선택 프레임들이 동영상 파일로 압축되어, 저장부(130)에 저장된다. 제1 저장 공간 및 제2 저장 공간은 메인 메모리 또는 버퍼로서, RAM, 플래시 메모리 등을 이용하여 구현될 수 있다.
제1 저장 공간에 임시 저장된 프레임들은 저장 공간이 가득 차면 순차적으로 삭제된다. 따라서 본 실시예에 따르면, 촬영부(110)로부터 입력되는 프레임들을 임시 저장하기 위해, 수십 프레임 또는 수백 프레임을 저장할 수 있는 저장 공간만이 요구된다. 반면에 촬영이 종료된 후 후처리로 타임랩스 영상을 생성하는 경우, 촬영되는 동안 입력된 프레임들을 모두 임시 저장해야 하기 때문에, 임시 저장을 위해 요구되는 저장 공간이 현저하게 증가한다.
저장부(130)는 타임랩스 영상 파일을 저장한다. 저장부(130)는 촬영 장치(100a)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다. 저장부(130)는 비휘발성 저장매체로서, 플래시 메모리, 하드디스크, 솔리드 스테이트 드라이브(solid state drive(SSD)), SD(secure digital) 카드, Micro-SD(micro secure digital) 카드, xD(extreme digital), MMC(multi-media card) 등을 이용하여 구현될 수 있다. 일 실시예에 따르면, 저장부(130)가 메인 메모리, 버퍼 등의 역할을 겸하는 것도 가능하다.
도 4는 일 실시예에 따른 타임랩스 영상 생성 방법을 나타낸 흐름도이다.
타임랩스 영상 생성 방법의 각 단계들은 영상 처리가 가능한 프로세서 및 저장매체를 구비하는 전자 장치에 의해 수행될 수 있다. 본 명세서에서는 본 명세서에서 개시된 촬영 장치(100, 이하 100은 본 명세서에서 개시된 촬영 장치를 총칭하는 참조번호로 이용한다)가 타임랩스 영상 생성 방법을 수행하는 실시예를 중심으로 설명한다. 따라서 촬영 장치(100)에 대해 설명된 실시예들에 타임랩스 영상 생성 방법에 적용 가능하고, 반대로 타임랩스 영상 생성 방법에 대해 설명된 실시예들이 촬영 장치(100)에 대한 실시예들에 적용 가능하다. 본 개시의 실시예들에 따른 타임랩스 영상 생성 방법은 본 명세서에 개시된 촬영 장치(100)에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.
처리부(120)는 타임랩스 촬영이 수행되는 동안, 촬영 중에 획득된 참조 값에 기초하여, 타임랩스 촬영의 샘플링 간격을 결정한다(S402). 샘플링 간격은 촬영 중에 획득된 참조 값의 변화에 따라 변화할 수 있다.
샘플링 간격이 결정되면, 처리부(120)는 결정된 샘플링 간격으로, 상기 복수의 입력 프레임들로부터 선택 프레임들을 샘플링한다(S404). 상기 샘플링 간격은 현재 프레임 또는 현재 구간에 대해 결정된 샘플링 간격일 수 있다.
샘플링 간격을 결정하고(S402), 선택 프레임을 샘플링하는 동작(S404)은 타임랩스 영상의 촬영이 종료될 때까지 반복적으로 수행된다(S406). 사용자가 촬영의 종료를 위한 제어 신호를 입력한 경우, 타임랩스 촬영을 종료시키는 소정의 조건을 만족한 경우 등에 촬영이 종료될 수 있다.
타임랩스 촬영이 종료되면, 처리부(120)는 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성한다(S408). 출력 프레임 레이트는 미리 설정되거나, 사용자 입력에 따라 설정될 수 있다.
처리부(120)는 생성된 타임랩스 영상 파일을 저장부(130)에 저장한다(S410).
도 5는 일 실시예에 따른 촬영 장치(100)의 동작을 설명하기 위한 도면이다.
일 실시예에 따른 촬영 장치(100)는 줌인 동작 및 줌 아웃 동작을 포함하는 주밍 동작을 수행할 수 있다. 주밍 동작에 의해, 광각 촬영, 망원 촬영 등이 수행될 수 있다.
일 실시예에 따르면, 도 5에 도시된 바와 같이, 터치스크린을 구비한 전자 장치(100)가 촬영 모드로 동작하는 동안, 사용자가 터치스크린을 터치한 상태에서 미리 설정된 제스처를 취하여 주밍 동작이 수행될 수 있다. 예를 들면, 도 5에 도시된 바와 같이, 사용자가 터치스크린 상의 두 지점을 터치한 상태에서, 두 지점이 멀어지는 제스처를 취하면 줌 인 동작이 수행되고, 두 지점이 가까워지는 제스처를 취하면 줌 아웃 동작이 수행될 수 있다. 이외에도, 줌 인 동작 및 줌 아웃 동작을 수행하기 위한 사용자 입력은 촬영 장치(100)에 구비된 줌 인/줌 아웃 동작을 제어하는 키, 휠, 조그 등을 이용하여 입력될 수 있다.
도 6은 일 실시예에 따른 촬영 장치(100)의 동작을 설명하기 위한 도면이다.
촬영 장치(100)는 사용자 입력에 따라 또는 자동으로 주밍 동작을 수행한다. 주밍 동작은 렌즈의 구동에 의한 광학 줌과, 영상 처리에 의한 디지털 줌 중 하나를 이용하거나, 광학 줌과 디지털 줌을 모두 이용하여 수행될 수 있다.
광학 줌을 수행하는 경우, 촬영 장치(100)는 도 6에 도시된 바와 같이, 렌즈(610)를 구동하여 주밍 동작을 수행할 수 있다. 렌즈 구동부는 주밍 제어 신호에 따라 광축 상에서 렌즈의 위치를 조절하여 주밍 동작을 수행한다.
디지털 줌을 수행하는 경우, 처리부(120)는 촬상 소자(620)로부터 생성된 입력 프레임을 확대 또는 축소하거나, 입력 프레임 중 프레임 데이터로 이용하는 영역의 크기를 조절하여 주밍 동작을 수행할 수 있다.
도 7은 주밍 값에 기초하여 샘플링 간격을 조절하는 실시예를 설명하기 위한 도면이다.
일 실시예에 따르면, 샘플링 간격은 촬영 장치(100)의 주밍 값에 기초하여 결정될 수 있다. 또한 본 실시예에 따르면, 타임랩스 촬영이 수행되는 동안, 줌 인되면 샘플링 간격이 감소하고, 줌 아웃되면 샘플링 간격이 증가할 수 있다.
타임랩스 영상을 촬영하는 동안, 사용자는 가능한 많은 의미 있는 프레임 또는 관심 있는 프레임을 보존하고 싶어 한다. 사용자는 일반적으로 촬영 중에 관심 있는 피사체를 보면, 더욱 상세하게 촬영하기 위하여 줌 인하는 경우가 많다. 본 실시예는 줌 인 동작이 발생하는 경우, 샘플링 간격을 감소시키고, 줌 아웃 동작이 발생하는 경우, 샘플링 간격을 증가시켜, 사용자가 관심 있어하는 프레임들을 타임랩스 영상으로 보존할 수 있다.
디지털 줌의 경우, 줌 팩터가 증가하면 줌 인이 발생하고, 줌 팩터가 감소하면 줌 아웃이 발생한다. 디지털 줌의 경우, 줌 팩터가 주밍 값으로 이용될 수 있다. 본 실시예에 따르면, 줌 팩터(z)는 촬영 장치(100) 내부에서 획득될 수 있다. 샘플링 간격(s)는 줌 팩터(z)에 반비례할 수 있다. 예를 들면, 샘플링 간격(s)는 다음의 수학식 1과 같이 결정될 수 있다.
Figure 112015125878102-pat00001
수학식 1은 0 이상 70 이하의 정수 값을 갖는 줌 팩터(
Figure 112015125878102-pat00002
)를 20 이하 6 이상의 정수 값을 갖는 샘플링 간격(
Figure 112015125878102-pat00003
)으로 매핑할 수 있다. 만약 줌 팩터가 0이면, 디지털 줌이 없거나 1배의 크기를 갖는다. 만약 줌 팩터가 70이면, 디지털 줌은 8배의 확대 처리를 한다.
광학 줌의 경우, 줌 동작이 수행될 때 초점 거리가 변한다. 초점 거리는 타임랩스 촬영 동안, 실시간으로 획득된다. 줌 팩터는 현재 초점 거리와 기본 초점 거리(1배 확대의 경우, base focal length) 사이의 비율에 의해 산출될 수 있다. 예를 들면, 줌 팩터가 다음의 수학식 2와 같이 결정될 수 있다.
Figure 112015125878102-pat00004
여기서 f는 실시간으로 획득된 초점 거리이고, fbase는 1배 확대일 때의 기본 초점 거리이다. 줌 팩터를 획득한 후에, 샘플링 간격을 얻기 위해 수학식 1이 이용될 수 있다.
도 8은 배터리 레벨에 기초하여 샘플링 간격을 결정하는 실시예를 설명하기 위한 도면이다.
촬영 장치(100)는 배터리를 구비하여 전원으로 이용할 수 있다. 본 일 실시예에 따르면, 처리부(120)는 배터리 레벨에 기초하여, 샘플링 간격을 결정한다. 배터리 레벨은 배터리 잔량을 나타내는 값으로, 배터리 레벨이 높을수록 배터리 잔량이 높은 것을 나타내고, 배터리 레벨이 낮을수록 배터리 잔량이 낮은 것을 나타낸다. 본 실시예에 따르면, 처리부(120)는 배터리 레벨이 배터리 기준 값보다 낮으면 샘플링 간격을 증가시킬 수 있다.
본 실시예에 따르면, 타임랩스 촬영 중에, 배터리 레벨이 배터리 기준 값보다 낮아지는 경우, 촬영 장치(100)는 샘플링 간격을 늘려서, 더 많은 프레임들을 스킵함에 의해, 전력 소모를 줄일 수 있다. 또한 일 실시예에 따르면, 처리부(120)는 배터리 레벨이 배터리 기준 값 이하로 떨어져 샘플링 간격이 갑작스럽게 변하는 것을 방지하기 위해, 소정 시간에 걸쳐서 샘플링 간격을 서서히 변화시킬 수 있다.
도 9는 촬영 장치(100)가 삼각대에 고정된 경우의 실시예를 설명하기 위한 도면이다.
일 실시예에 따르면, 촬영 장치(100)가 삼각대(910)에 고정된 상태로 촬영하는 경우, 피사체 움직임의 크기가 증가하면 샘플링 간격이 감소하고, 피사체 움직임의 크기가 감소하면 샘플링 간격이 증가한다. 촬영 장치(100)는 삼각대(910)가 체결됨을 감지하여 삼각대 모드로 동작할 수 있다. 삼각대(910)가 체결된 것은, 삼각대(910)와 체결되는 촬영 장치(100)의 체결부에 구비된 센서를 이용하는 방식, 체결부 주변의 전도율 변화를 감지하는 방식 등 다양한 방식을 이용하여 검출할 수 있다.
도 10은 일 실시예에 따라, 삼각대 모드에서 평탄화된 매칭 에러 값(Esmooth)과 샘플링 간격과의 관계를 나타내는 그래프이다.
삼각대 모드에서는, 촬영 장치(100)의 글로벌 모션은 항상 영(0)이다. 따라서 삼각대 모드에서는 피사체 움직임에 기초하여 샘플링 간격을 조절할 수 있다. 일 실시예에 따르면, 연속적인 프레임들 사이의 매칭 에러 값(E)이 피사체 움직임을 측정하기 위해 이용될 수 있다. 샘플링 간격은 평탄화된(smoothed) 매칭 에러 값(Esmooth)에 반비례할 수 있다. 일 실시예에 따르면, 샘플링 간격은 다음의 수학식 3과 같이 결정될 수 있다.
Figure 112015125878102-pat00005
Esmooth는 평탄화된 매칭 에러 값이고, 이는 매칭 에러 값(E)에 저역 통과 필터(예를 들면 IIR 저역 통과 필터)를 적용함에 의해 획득될 수 있다. 도 10은 수학식 3에 의한 그래프를 나타낸다. 매칭 에러 값(E)는 프레임들 사이의 차이를 나타내는 값으로, 예를 들면 차영상의 각 픽셀의 절대값의 합, 차영상의 각 픽셀 값의 제곱 합 등으로 결정될 수 있다.
일 실시예에 따르면, 삼각대 모드뿐만 아니라, 일반 모드에서도 샘플링 간격을 결정할 때, 피사체 움직임이 고려될 수 있다. 이러한 경우에도, 피사체 움직임의 크기가 커지면, 샘플링 간격이 감소하고, 피사체 움직임의 크기가 작아지면, 샘플링 간격이 증가할 수 있다.
도 11은 얼굴 검출 정보에 따라 샘플링 간격을 조절하는 실시예를 설명하기 위한 도면이다.
본 실시예에 따르면, 상기 복수의 입력 프레임에서 얼굴이 검출되었는지 여부에 따라 샘플링 간격을 조절할 수 있다. 비디오에서 사람의 얼굴은 사용자가 관심 있는 대상인 경우가 많다. 입력 프레임에서 얼굴이 큰 사이즈를 차지하는 경우, 중요한 장면일 가능성이 높다. 본 개시의 실시예들은 입력 프레임에 얼굴이 있는지 여부에 기초하여 샘플링 간격을 변경할 수 있다. 입력 프레임에 얼굴이 나타나면, 샘플링 간격이 감소하고, 얼굴이 사라지면 샘플링 간격이 증가할 수 있다.
처리부(120)는 각 프레임의 얼굴 검출 결과로부터 얼굴이 존재하는지 여부를 결정할 수 있다. 처리부(120)는 다양한 종류의 얼굴 검출 알고리즘을 이용하여 입력 프레임으로부터 얼굴을 검출할 수 있다.
얼굴이 갑자기 나타나거나, 갑자기 사라지면, 급격한 샘플링 간격의 변화를 방지하기 위해, 샘플링 간격은 소정 시간 간격 동안 단계적으로 변할 수 있다. 예를 들면, 얼굴이 나타나거나 사라진 경우, 샘플링 간격은 10초 동안 변할 수 있다.
일 실시예에 따르면, 도 11에 도시된 바와 같이, 입력 프레임으로부터 얼굴이 검출되지 않다가, 얼굴이 검출되는 경우, 샘플링 간격이 감소할 수 있다. 또한, 일 실시예에 따르면, 입력 프레임으로부터 인물 1의 얼굴이 검출되다가, 인물 2의 얼굴이 새롭게 검출되는 경우, 샘플링 간격이 감소할 수 있다. 또한 일 실시예에 따르면, 입력 프레임으로부터 미리 등록된 얼굴이 검출되지 않다가 검출되는 경우, 샘플링 간격이 감소할 수 있다. 미리 등록된 얼굴은 사용자에 의해 미리 등록될 수 있다.
도 12는 얼굴 검출 정보에 따라 샘플링 간격을 조절하는 실시예를 설명하기 위한 도면이다.
일 실시예에 따르면, 도 12에 도시된 바와 같이, 입력 프레임으로부터 얼굴이 검출되다가, 얼굴이 검출되지 않는 경우, 샘플링 간격이 증가할 수 있다. 또한, 일 실시예에 따르면, 입력 프레임으로부터 인물 1과 인물 2의 얼굴이 검출되다가, 인물 1이 검출되지 않고 인물 2만 검출되는 경우, 샘플링 간격이 증가할 수 있다. 또한 일 실시예에 따르면, 입력 프레임으로부터 미리 등록된 얼굴이 검출되다가 검출되지 않는 경우, 샘플링 간격이 증가할 수 있다.
도 13은 일 실시예에 따라 얼굴 크기에 따라 샘플링 간격을 조절하는 구성을 설명하기 위한 도면이다.
일 실시예에 따르면, 얼굴 크기에 따라 샘플링 간격이 조절될 수 있다. 일 실시예에 따르면, 검출된 얼굴의 크기가 증가하면 샘플링 간격이 감소하고, 검출된 얼굴의 크기가 감소하면 샘플링 간격이 증가할 수 있다.
처리부(120)는 입력 프레임들로부터 얼굴을 검출할 수 있다. 처리부(120)는 예를 들면 도 13과 같이 사각형의 형태의 얼굴 영역 박스(1310)를 검출할 수 있다. 얼굴의 크기는 얼굴 영역 박스(1310)의 폭, 넓이, 및 면적 중 적어도 하나 또는 이들의 조합으로 결정될 수 있다.
도 14는 일 실시예에 따른 얼굴 크기와 샘플링 간격의 관계를 나타낸 그래프이다.
일 실시예에 따르면, 얼굴 크기는 얼굴 영역 박스(1310)의 면적, 즉 얼굴 영역 박스(1310)의 폭과 넓이의 곱에 의해 결정될 수 있다. 샘플링 간격 얼굴 크기에 반비례하게 결정될 수 있고, 예를 들면, 아래의 수학식 4와 같이 결정될 수 있다.
Figure 112015125878102-pat00006
여기서 s는 샘플링 간격, w는 얼굴 영역 면적(단위는 pixel2)이다. 도 14는 수학식 4에 의해 결정된 얼굴 크기와 샘플링 간격 사이의 관계를 나타낸다. 얼굴 크기는 상기 얼굴 영역 면적(w)에 대응된다.
일 실시예에 따르면, 타임랩스 촬영의 시작 전에, 사용자가 해당 얼굴이 검출되면 샘플링 간격을 감소시킬 얼굴을 입력하거나 선택할 수 있다. 처리부(120)는 사용자가 얼굴을 입력하거나 선택할 수 있는 사용자 인터페이스를 제공할 수 있다. 예를 들면, 아기를 타임랩스 영상으로 촬영하는 경우, 사용자는 타임랩스 영상의 촬영을 시작하기 전에 미리 등록된 얼굴로서 아기 얼굴을 촬영하여 입력하거나 미리 저장된 얼굴 중 아기 얼굴을 선택하여, 아기 얼굴이 검출되면 샘플링 간격을 감소시키도록 할 수 있다.
도 15는 일 실시예에 따른 촬영 장치(100b)의 구조를 나타낸 블록도이다.
본 실시예에 따른 촬영 장치(100b)는 촬영부(110), 처리부(120), 저장부(130), 및 움직임 센서(1510)를 포함한다.
촬영부(110)는 입사광을 광전 변환하여 전기적인 영상 신호를 생성한다. 촬영부(110)는 촬영 장치(100b)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다. 일 실시예에 따른 촬영부(110)는 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 촬상 소자, 및 촬상 소자 제어부를 포함한다.
처리부(120)는 촬영부(110)로부터 생성된 영상 신호에 의해 생성된 복수의 입력 프레임들로부터 선택 프레임을 샘플링하여, 선택 프레임으로부터 타임랩스 영상 파일을 생성한다.
처리부(120)는 타임랩스 촬영이 수행되는 동안 실시간으로 참조 값을 획득한다. 본 실시예에 따른 처리부(120)는 타임랩스 촬영이 수행되는 동안, 움직임 센서(1510)로부터 획득된 촬영 장치(100b)의 움직임 정보에 기초하여, 샘플링 간격을 결정한다. 촬영 장치(100b)의 움직임 크기가 증가하면 샘플링 간격이 감소하고, 촬영 장치(100b)의 움직임 크기가 감소하면 샘플링 간격이 증가할 수 있다.
일 실시예에 따르면, 촬영 장치(100b)는 삼각대 모드에서는 샘플링 간격을 결정할 때, 촬영 장치의 움직임을 고려하지 않을 수 있다.
처리부(120)는 상기 샘플링 간격을 이용하여 촬영이 수행되는 동안 촬영부(110)의 영상 신호로부터 생성된 복수의 입력 프레임들 중, 선택 프레임을 선택하여 샘플링할 수 있다.
저장부(130)는 타임랩스 영상 파일을 저장한다. 저장부(130)는 촬영 장치(100b)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다.
움직임 센서(1510)는 촬영 장치(100b)의 움직임을 검출한다. 움직임 센서(1510)는 촬영 장치의 움직임 방향 및 크기를 검출할 수 있다. 움직임 센서(1510)는 예를 들면, 가속도 센서, 자이로 센서 등을 이용하여 구현될 수 있다.
타임랩스는 사용자가 짧은 시간 안에 비디오를 쉽게 훑어볼 수 있도록 압축된 출력을 생성한다. 한편 흔들리는 비디오로부터 컨텐츠를 알아보기 힘들기 때문에, 타임랩스는 출력에서의 흔들림을 피해야 한다. 이러한 이유로 비디오 안정화 처리가 타임랩스 후에 수행되기도 한다.
비디오 안정화와 같은 후처리 기술 외에도, 컨텐츠를 안정화시키는 효과적인 방법은 타임랩스에서 샘플링 간격을 조절하는 것이다. 촬영 장치의 움직임 크기가 증가함에 따라, 샘플링 간격이 감소하고, 촬영 장치의 움직임이 감소함에 따라 샘플링 간격이 증가한다. 촬영 장치(100b)의 움직임에 따라 샘플링 간격을 조절하기 위해, 처리부(120)는 우선 실시간으로 프레임 글로벌 모션 크기의 평탄화된 버전을 산출하고, 샘플링 간격을 조절할 수 있다. X축 및 Y축을 따른 글로벌 이동(translation) 또는 회전(rotation) 성분이 MVx, MVy라고 하고, Z축을 따른 회전 동작은 MVz라고 한다. 평탄화된 움직임 크기(
Figure 112015125878102-pat00007
)는 다음과 같이 수학식 5로 산출될 수 있다.
Figure 112015125878102-pat00008
함수 abs(변수)는 절대값 처리를 나타낸다. 함수 ave(변수)는 평탄화 처리를 나타낼 수 있고, 일 실시예에 따르면 저역 통과 필터(예를 들면, IIR 저역 통과 필터)를 이용하여 획득될 수 있다. 상수 a, b, c는 가중치 상수를 나타낸다. 예를 들면, 샘플링 간격은 평탄화된 움직임 크기의 개별식 함수(piecewise function)일 수 있다. 이동 성분은 픽셀 값으로 표현될 수 있다.
상수 a, b, c는 촬영 장치(100b)의 움직임 성분에 따라 다르게 설정될 수 있다. 촬영 장치(100b)의 움직임의 이동 성분이 소정 기준 값 이하인 경우, 상수 a, b, c는 회전 성분에 큰 가중치를 주도록 설정될 수 있다. 촬영 장치(100b)의 움직임의 이동 성분이 소정 기준 값을 초과하는 경우, 상수 a, b, c는 이동 성분에 큰 가중치를 주도록 설정될 수 있다. 이동 성분이 소정 기준 값을 초과하는 경우, 광축 방향인 z축 성분에 대한 상수 c의 가중치가 낮아지고, 좌우 방향인 x축 성분에 대한 상수 a의 가중치가 높아질 수 있다.
도 16은 일 실시예에 따른 촬영 장치 움직임과 샘플링 간격 사이의 관계를 나타낸 그래프이다.
일 실시예에 따르면, 샘플링 간격은 다음의 수학식 6과 같이 결정될 수 있다.
Figure 112015125878102-pat00009
도 16은 수학식 6에 따른 촬영 장치 움직임과 샘플링 간격의 관계를 나타낸 그래프이다. 촬영 장치 움직임은
Figure 112015125878102-pat00010
으로 나타낼 수 있다.
도 17은 일 실시예에 따른 촬영 장치(100b)의 이동 속도와 샘플링 간격의 관계를 나타낸 그래프이다.
본 실시예에 따르면, 샘플링 간격은 촬영 장치(100b)의 이동 속도에 기초하여 결정될 수 있다. 샘플링 간격은 촬영 장치(100b)의 이동 속도가 증가하면 샘플링 간격이 감소하고, 이동 속도가 감소하면 샘플링 간격이 증가할 수 있다.
촬영 장치(100b) 한 방향으로 일정 시간 이동하는 패닝(panning) 시나리오에서, 타임랩스 영상이 쉽게 인지되기 위해서, 패닝 시나리오에서의 샘플링 간격이 다른 시나리오에 비해 낮게 설정될 수 있다. 또한 샘플링 간격은 패닝 시나리오에서 촬영 장치(100b)의 이동 속도에 기초하여 적응적으로 변화된다. 도 17에 도시된 바와 같이, 촬영 장치(100b)의 이동 속도가 증가함에 따라, 샘플링 간격이 감소하고, 이동 속도가 감소함에 따라 샘플링 간격이 증가할 수 있다. 촬영 장치(100b)는 사용자 설정에 의해 패닝 모드로 동작하거나, 움직임 센서(1510)에 의해 검출된 움직임 정보에 기초하여 패닝 모드로 동작하거나, 촬영부(110)로부터의 영상 신호에 기초하여 패닝 모드로 동작할 수 있다.
일 실시예에 따르면, 모션 벡터는 촬영부(110)에서 생성된 영상 신호에 기초한 매칭으로부터 획득되거나, 움직임 센서(1510)로부터 획득될 수 있다. 촬영 장치(100b)의 움직임 크기는 다음과 같이 수학식 7에 의해 결정될 수 있다.
Figure 112015125878102-pat00011
여기서 a, b, c는 가중치 상수이다. 샘플링 간격은 모션 벡터 크기에 반비례할 수 있고, 개별식 함수로서 수학식 8과 같이 결정될 수 있다.
Figure 112015125878102-pat00012
수학식 8에 따른 함수는 움직임 크기(MVmagnitude)를 10 이하 2 이상의 정수인 샘플링 간격(
Figure 112015125878102-pat00013
)에 매칭시킨다. 도 17의 그래프는 수학식 8에 의한 이동 속도와 샘플링 간격의 관계를 나타낸다. 이동 속도는 움직임 크기(MVmagnitude)로 표현될 수 있다.
도 18은 일 실시예에 따라 촬영 장치(100b)에서 갑작스러운 움직임이 검출된 경우의 샘플링 간격의 변화를 나타낸 도면이다.
본 실시예에 따르면, 촬영 장치(100b)에 갑작스러운 움직임이 검출된 경우, 샘플링 간격이 감소된다. 갑작스러운 움직임은 단위 시간당 촬영 장치(100b)의 움직임, 즉 촬영 장치의 이동 속도가 소정의 기준 값 이상인지 여부로 검출될 수 있다.
촬영 중에 돌발 상황이 발생하면, 촬영 장치(100b)의 움직임이 갑자기 커질 것이다. 돌발 상황은 예를 들면, 촬영 중인 사용자가 미끄러지거나, 넘어지는 경우 등이다. 본 실시예에 따르면, 비정상적으로 큰 촬영 장치(100b)의 움직임이 검출되면, 샘플링 간격이 감소하여, 타임랩스 영상 파일에 더 많은 프레임들이 보존된다. 예를 들면, 도 18에 도시된 바와 같이, 갑작스러운 움직임이 검출되면, 샘플링 간격이 15에서 2로 감소한다. 촬영 장치(100b)의 움직임은 움직임 센서(1510)의 검출 값으로부터 검출되거나, 입력 프레임들에 대해 비디오 모션 추정 처리를 하여 획득될 수 있다.
도 19는 일 실시예에 따른 촬영 장치(100c)의 구조를 나타낸 블록도이다.
본 실시예에 따른 촬영 장치(100c)는 촬영부(110), 처리부(120), 저장부(130), 및 조도 센서(1910)를 포함한다.
촬영부(110)는 입사광을 광전 변환하여 전기적인 영상 신호를 생성한다. 촬영부(110)는 촬영 장치(100c)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다. 일 실시예에 따른 촬영부(110)는 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 촬상 소자, 및 촬상 소자 제어부를 포함한다.
처리부(120)는 촬영부(110)로부터 생성된 영상 신호에 의해 생성된 복수의 입력 프레임들로부터 선택 프레임을 샘플링하여, 선택 프레임으로부터 타임랩스 영상 파일을 생성한다.
처리부(120)는 타임랩스 촬영이 수행되는 동안 실시간으로 참조 값을 획득한다. 본 실시예에 따른 처리부(120)는 타임랩스 촬영이 수행되는 동안, 조도 센서(1910)로부터 획득된 조도 값에 기초하여, 샘플링 간격을 결정한다. 조도 값이 저조도 기준 값 미만인 경우와 고조도 기준 값을 초과하는 경우, 상기 샘플링 간격은 조도 값이 상기 저조도 기준 값 이상이고 상기 고조도 기준 값 이하인 경우에 비해 큰 값을 가질 수 있다.
처리부(120)는 상기 샘플링 간격을 이용하여 촬영이 수행되는 동안 촬영부(110)의 영상 신호로부터 생성된 복수의 입력 프레임들 중, 선택 프레임을 선택하여 샘플링할 수 있다. 또한 처리부(120)는 상기 선택 프레임들을 압축하여 타임랩스 영상 파일을 생성한다.
저장부(130)는 타임랩스 영상 파일을 저장한다. 저장부(130)는 촬영 장치(100b)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다.
조도 센서(1910)는 촬영 장치(100c) 외부의 밝기를 측정한다. 조도 센서(1910)는 감광 소자, 광전지, 광전관 등을 이용하여 구현될 수 있다.
타임랩스 영상을 촬영하는 동안, 주변 밝기, 즉 조도가 너무 높거나 너무 낮은 경우, 입력 프레임으로부터 컨텐츠를 알아보기 어렵다. 본 실시예에 따르면, 조도가 너무 높거나 너무 낮은 경우, 의미 없는 입력 프레임들을 스킵하도록 샘플링 간격을 증가시킨다. 일 실시예에 따른 촬영 장치(100c)는 주변 밝기가 고조도 기준 값보다 크면 샘플링 간격을 증가시킨다. 또한 일 실시예에 따른 촬영 장치(100c)는 주변 밝기가 저조도 기준 값보다 작으면 샘플링 간격을 증가시킨다.
도 20은 일 실시예에 따른 조도 값과 샘플링 간격의 관계를 나타낸 그래프이다.
일 실시예에 따르면, 샘플링 간격과 주변 밝기 값은 개별화 함수에 의해 수학식 9와 같이 결정될 수 있다.
Figure 112015125878102-pat00014
여기서 s는 샘플링 간격, v는 주변 밝기 값을 나타낸다. 주변 밝기 값은 조도 값에 의해 결정될 수 있다. 수학식 9에서 저조도 기준 값은 -8, 고조도 기준 값은 15로 설정된다. 다른 실시예에 따르면, 처리부(120)는 주변 밝기 값(v)가 저조도 기준 값 미만이거나 고조도 기준 값을 초과하는 경우, 샘플링을 하지 않을 수 있다. 도 20의 그래프는 수학식 9에 따른 조도 값과 샘플링 간격 사이의 관계를 나타낸다.
도 21은 일 실시예에 따른 촬영 장치(100d)의 구조를 나타낸 블록도이다.
본 실시예에 따른 촬영 장치(100d)는 촬영부(110), 처리부(120), 저장부(130), 및 마이크로폰(2110)를 포함한다.
촬영부(110)는 입사광을 광전 변환하여 전기적인 영상 신호를 생성한다. 촬영부(110)는 촬영 장치(100d)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다. 일 실시예에 따른 촬영부(110)는 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 촬상 소자, 및 촬상 소자 제어부를 포함한다.
처리부(120)는 촬영부(110)로부터 생성된 영상 신호에 의해 생성된 복수의 입력 프레임들로부터 선택 프레임을 샘플링하여, 선택 프레임으로부터 타임랩스 영상 파일을 생성한다.
처리부(120)는 타임랩스 촬영이 수행되는 동안 실시간으로 참조 값을 획득한다. 본 실시예에 따른 처리부(120)는 타임랩스 촬영이 수행되는 동안, 마이크로폰(2110)으로부터 획득된 오디오 신호에 기초하여, 샘플링 간격을 결정한다. 처리부(120)는 오디오 신호에서 미리 정의된 사운드 또는 단어가 검출되는 경우, 샘플링 간격을 감소시킬 수 있다.
미리 정의된 사운드는 예를 들면, 웃음 소리, 환호 소리, 비명 소리, 울음 소리 등일 수 있다. 미리 정의된 단어는 예를 들면, 사람 이름, 엄마, 아빠, 아기, 달려, 출발, 촬영, 기록 등의 단어일 수 있다.
처리부(120)는 상기 샘플링 간격을 이용하여 촬영이 수행되는 동안 촬영부(110)의 영상 신호로부터 생성된 복수의 입력 프레임들 중, 선택 프레임을 선택하여 샘플링할 수 있다. 또한 처리부(120)는 상기 선택 프레임들을 압축하여 타임랩스 영상 파일을 생성한다.
저장부(130)는 타임랩스 영상 파일을 저장한다. 저장부(130)는 촬영 장치(100b)와 일체로 형성되거나, 탈착 가능하게 구비될 수 있다.
마이크로폰(2110)은 진동판을 구비하여 오디오 신호를 검출할 수 있다.
촬영 중, 긴급 상황(예를 들면, 홍수, 지진 등), 흥미로운 순간(예를 들면, 스포츠 경기 중 골이 들어가거나 점수가 나는 경우 등), 중요한 순간(예를 들면, 기억하고 싶은 순간, 생일 등) 등이 발생하면, 촬영자 또는 피사체는 환호하거나, 비명을 지르거나, 울거나, 박수 치거나, 응원하거나, 특정 단어나 이름을 말할 수 있다. 본 실시예에 따른 촬영 장치(100d)는 특정 소리 또는 단어를 미리 등록해두고, 촬영 장치(100d)가 마이크로폰(2110)을 이용하여 미리 등록된 소리 또는 단어를 검출하면, 샘플링 간격을 감소시킨다. 본 실시예는 이러한 구성에 의해, 타임랩스 영상 파일에 더 많은 의미 있는 프레임들을 보존할 수 있다.
일 실시예에 따르면, 처리부(120)는, 마이크로폰(2110)으로부터 획득된 원본 신호로부터의 원본 디지털 신호 또는 추출된 특징들을 비교함에 의해, 촬영 장치(100d)의 마이크로폰(2110)으로부터 출력된 사운드 클립이 미리 등록된 소리 또는 단어와 매치되는지 여부를 확인할 수 있다. 원본 디지털 신호 또는 추출된 특징과 미리 등록된 소리 또는 단어를 비교하는 것은 예를 들면, short-term Fourier transform 또는 Wavelet transform에 의해 수행될 수 있다. 만약 매칭 에러가 기준 값보다 작으면, 처리부(120)는 샘플링 간격을 감소시킬 수 있다.
일 실시예에 따르면, 처리부(120)는 오디오 신호로부터 미리 등록된 소리 또는 단어가 검출된 후 미리 설정된 시간이 경과하면, 샘플링 간격을 다시 증가시킬 수 있다. 예를 들면, 미리 설정된 소리인 박수 소리가 검출된 후 10초간 다시 미리 설정된 소리 또는 단어가 검출되지 않으면, 샘플링 간격이 다시 증가할 수 있다.
도 22는 일 실시예에 따라 오디오 신호에 기초하여 샘플링 간격이 조절되는 모습을 나타낸 도면이다.
일 실시예에 따르면, 미리 등록된 단어인 "John"이 오디오 신호로부터 검출되는 경우, 미리 등록된 소리인 박수 소리가 오디오 신호로부터 검출되는 경우, 도 22와 같이 샘플링 간격이 감소할 수 있다. 샘플링 간격은 미리 등록된 소리 또는 단어가 오디오 신호로부터 검출되는 소정 시간 간격 동안 단계적으로 감소할 수 있다.
일 실시예에 따르면, 처리부(120)는 타임랩스 촬영을 수행할 때 그 단어가 오디오 신호로부터 검출되면 샘플링 간격을 감소시키는 단어를 사용자가 입력할 수 있는 사용자 인터페이스를 제공할 수 있다. 사용자는 상기 사용자 인터페이스를 이용하여 촬영 장치(100d)에 원하는 단어를 텍스트로 입력하거나, 오디오 신호로 입력할 수 있다. 처리부(120)는 다양한 음성 인식 알고리즘을 이용하여, 사용자로부터 입력된 오디오 신호로부터 단어를 인식할 수 있다.
일 실시예에 따르면, 처리부(120)는 타임랩스 촬영을 수행할 때 그 소리가 오디오 신호로부터 검출되면 샘플링 간격을 감소시키는 소리를 사용자가 입력할 수 있는 사용자 인터페이스를 제공할 수 있다. 사용자는 상기 사용자 인터페이스를 이용하여, 촬영 장치(100d)에 원하는 소리를 오디오 신호로 입력할 수 있다.
일 실시예에 따르면, 저장부(130)에 다양한 소리 샘플이 저장되어 있고, 타임랩스 촬영을 수행할 때 그 소리가 오디오 신호로부터 검출되면 샘플링 간격을 감소시키는 소리를, 상기 소리 샘플로부터 사용자가 선택할 수 있다. 또한 일 실시예에 따르면, 처리부(120)는 동작 모드에 따라 타임랩스 촬영을 수행할 때 그 소리가 오디오 신호로부터 검출되면 샘플링 간격을 감소시키는 소리를, 상기 소리 샘플로부터 자동으로 선택할 수 있다. 예를 들면, 처리부(120)는 풍경 모드인 경우, 상기 샘플링 간격을 감소시키는 소리를, 파도 소리, 동물 소리로 결정할 수 있다.
일 실시예에 따르면, 타임랩스 촬영의 시작 전에, 사용자가 해당 단어가 검출되면 샘플링 간격을 감소시킬 단어나 소리를 입력하거나 선택할 수 있다. 처리부(120)는 사용자가 단어나 소리를 입력하거나 선택할 수 있는 사용자 인터페이스를 제공할 수 있다. 예를 들면, 운동 경기를 타임랩스 영상으로 촬영하는 경우, 사용자는 타임랩스 영상의 촬영을 시작하기 전에 미리 등록된 단어 및 소리로서 환호 소리와 박수 소리를 선택하여, 환호 소리 및 박수 소리가 검출되면 샘플링 간격을 감소시키도록 할 수 있다.
도 23은 일 실시예에 따라 샘플링 간격을 설정하는 방식을 설명하는 도면이다.
일 실시예에 따르면, 참조 값은 복수의 파라미터를 갖고, 복수의 파라미터들 각각에 대해 해당 파라미터를 이용하여 산출된 중간 산출 값이 산출되고, 상기 중간 산출 값들을 소정의 함수에 대입하여, 최종 샘플링 간격을 산출할 수 있다. 예를 들면, 도 23에 도시된 바와 같이, i-1번째 입력 프레임인 Framei -1에 대해, 촬영 장치 움직임 크기 Mi -1, 패닝 모드에서 촬영 장치의 이동 속도 Pi -1, 비디오 안정화 처리의 윈도우 크기 Ai -1, 주변 밝기 값 Ui -1, 오디오 신호 Qi -1, 주밍 값 Zi -1, 얼굴 크기 Si -1, 및 배터리 레벨 Bi -1을 이용하여 산출된 최종 샘플링 간격 Li -1이 산출될 수 있다. 또한 i번째 입력 프레임인 Framei에 대해, 촬영 장치 움직임 크기 Mi, 패닝 모드에서 촬영 장치의 이동 속도 Pi, 비디오 안정화 처리의 윈도우 크기 Ai, 주변 밝기 값 Ui, 오디오 신호 Qi, 주밍 값 Zi, 얼굴 크기 Si, 및 배터리 레벨 Bi을 이용하여 산출된 최종 샘플링 간격 Li이 산출될 수 있다. 또한 i+1번째 입력 프레임인 Framei +1에 대해서도 유사하게 최종 샘플링 간격 Li +1이 산출될 수 있다.
실시예들에 따라, 최종 샘플링 간격 Li를 산출하는데 이용되는 파라미터의 종류가 달라질 수 있다. 예를 들면, 일 실시예에서는 조도 값, 촬영 장치의 움직임 크기, 얼굴 검출 여부를 이용하여 최종 샘플링 간격 Li를 산출하고, 다른 실시예에 따르면, 피사체의 움직임, 배터리 레벨, 오디오 신호를 이용하여 최종 샘플링 간격 Li를 산출할 수 있다.
또한 실시예에 따라, 최종 샘플링 간격 Li를 산출하는 프레임 간격이 달라질 수 있다. 예를 들면, 일 실시예에서는 매 프레임마다 Li를 산출하고, 다른 실시예에서는 10 프레임마다 Li를 산출할 수 있다.
일 실시예에 따르면 수학식 10과 같은 코스트 함수(cost function)를 이용하여 최종 샘플링 간격 Li를 산출할 수 있다. 최종 샘플링 간격 Li는 코스트 함수가 최소값을 갖는 값으로 결정된다.
Figure 112015125878102-pat00015
Figure 112015125878102-pat00016
Figure 112015125878102-pat00017
여기서 m, p, a, u, q, z, s, 및 b는 가중치 상수들이고, c는 샘플링 간격 평탄화 상수이다. 또한 fM, fP, fA, fU, fQ, fZ, fS, 및 fB는 각 파라미터들을 이용하여 산출한 샘플링 간격이다. 각 파라미터들에 대한 샘플링 간격을 구하는 함수는 앞서 설명된 실시예들에서 설명된 함수와 동일하거나 유사할 수 있다. 수학식 10에서 {c * (Li - Li -1)2 }항은 연속되는 프레임들 간에 샘플링 간격을 평탄화 하는 것을 보장하는 항이다. 실시예들에 따라, 수학식 10에서의 항이 추가되거나 제거될 수 있다. 예를 들면, 일 실시예에서는 주밍 값을 이용한 {z * (Li - fZ(Zi))2 }항이 제거될 수 있다.
각 파라미터들에 대한 가중치 상수 m, p, a, u, q, z, s, 및 b는 실시예들에 따라 서로 다르게 설정될 수 있고, 촬영 중에 상기 파라미터들에 따라 변화될 수 있다.
도 24는 일 실시예에 따른 샘플링 간격의 변화를 나타낸 도면이다.
본 실시예에 따르면, 타임랩스 촬영 중에, 참조 값을 이용하여 샘플링 간격을 조절함에 의해, 도 24에 도시된 바와 같이, 타임랩스 촬영 시간 동안, 샘플링 간격이 변화할 수 있다. 예를 들면, 클립 1(Clip 1)과 같이 촬영자가 서 있는 상태(STANDING)에서 걷는 상태(WALKING)로 변화함에 따라 샘플링 간격이 감소하고, 뛰는 상태(RUNNING)로 변화함에 따라 샘플링 간격이 더 감소하고, 패닝 모드(PANNING)로 동작함에 따라 샘플링 간격이 더 감소할 수 있다. 다른 예로서, 클립 2(Clip 2)와 같이 촬영자가 같은 위치에 있으면서(STATIC) 로컬 모션은 있는 상태에서 서있는 상태(STANDING)로 변화함에 따라 샘플링 간격이 감소하고, 걷는 상태(WALKING)로 변화함에 따라 샘플링 간격이 더 감소하고, 패닝 모드(PANNING)로 동작함에 따라 샘플링 간격이 더 감소할 수 있다. 다른 예로서, 촬영자가 같은 위치에 있으면서(STATIC) 로컬 모션이 없는 상태로부터 로컬 모션이 있는 상태로 변화하면, 샘플링 간격이 감소할 수 있다.
도 25는 일 실시예에 따라 최종 샘플링 간격을 결정하는 방법을 나타낸 흐름도이다.
일 실시예에 따르면, 처리부(120)는 촬영 장치(100)의 동작 모드에 따라 샘플링 간격을 산출하는데 참조 값으로서 이용할 파라미터를 결정한다(S2502). 예를 들면, 처리부(120)는 운동 모드에서는 촬영 장치의 이동 속도, 오디오 신호, 주밍 값을 이용하여 샘플링 간격을 산출하고, 인물 모드에서는 얼굴 검출 여부, 얼굴의 크기, 및 오디오 신호를 이용하여 샘플링 간격을 산출할 수 있다.
처리부(120)는 샘플링 간격을 산출하는데 이용할 파라미터가 결정되면, 선택된 파라미터에 기초하여 샘플링 간격을 결정한다(S2504).
도 26은 일 실시예에 따라 샘플링 간격을 산출하는 방법을 나타낸 흐름도이다.
본 실시예에 따르면, 동작 모드에 따라 샘플링 간격을 산출하는데 참조 값으로서 이용할 파라미터 및 각 파라미터에 대한 가중치를 결정한다.
우선 처리부(120)는 촬영 장치(100)의 동작 모드에 따라 샘플링 간격을 산출하는데 참조 값으로서 이용할 파라미터를 결정한다(S2602). 예를 들면, 처리부(120)는 운동 모드에서는 촬영 장치의 이동 속도, 오디오 신호, 주밍 값을 이용하여 샘플링 간격을 산출하고, 인물 모드에서는 얼굴 검출 여부, 얼굴의 크기, 및 오디오 신호를 이용하여 샘플링 간격을 산출할 수 있다.
다음으로, 처리부(120)는, 동작 모드에 따라 이용할 파라미터 각각에 대한 가중치를 결정한다(S2604). 예를 들면, 처리부(120)는 운동 모드인 경우, 이동 속도 및 주밍 값의 가중치를 높이고, 오디오 신호의 가중치를 낮게 설정할 수 있다. 다른 예로서 처리부(120)는 인물 모드인 경우, 얼굴 검출 여부 및 얼굴 크기의 가중치를 높이고 오디오 신호의 가중치를 낮출 수 있다. 상기 가중치는 예를 들면, 앞서 설명한 수학식 10에서의 가중치 상수 m, p, a, u, q, z, s, 및 b일 수 있다. 본 실시예에 따르면, 가중치 상수 m, p, a, u, q, z, s, 및 b의 각각의 값이 동작 모드에 따라 변경될 수 있다.
다음으로 처리부(120)는 선택된 파라미터와, 결정된 가중치를 이용하여 샘플링 간격을 결정한다(S2606).
도 27은 일 실시예에 따른 타임랩스 영상에 대한 안정화 처리를 설명하는 흐름도이다.
일 실시예에 따르면, 처리부(120)는 선택 프레임들로부터 타임랩스 영상 파일을 생성하기 전에, 안정화 처리를 수행할 수 있다. 안정화 처리는, 타임랩스 영상이 부드럽게 재생될 수 있도록, 촬영자 또는 피사체의 움직임에 의해 발생하는 영상의 급격한 변화를 전자적으로 보정하는 영상 처리이다. 안정화 처리에 의해 획득되는 안정성은 FOV(Field of View) loss의 대가로 획득될 수 있다. 따라서 비디오 안정화 처리의 입력 프레임 해상도는 안정화된 출력 프레임보다 크다. FOV loss가 클수록 비디오 안정화 처리에 의해 안정성이 향상될 수 있다.
일 실시예에 따르면, 안정화 처리는 촬상 소자로부터 획득된 영상 신호 중, 프레임 데이터로 이용할 영역을 정의하는 FOV(field of view) 윈도우를 이용하여 수행된다. 안정화 처리를 위해, 상기 윈도우가 촬상 소자로부터 획득된 영상 신호의 풀 프레임 내에서 상하좌우로 이동할 수 있다.
처리부(120)는 참조 값에 기초하여 샘플링 간격을 결정하고(S2702), 결정된 샘플링 간격으로 복수의 입력 프레임들을 샘플링한다(S2704).
또한 처리부(120)는 결정된 샘플링 간격에 기초하여 안정화 처리를 위한 윈도우의 크기를 결정한다(S2706). 윈도우의 크기는 윈도우 자체의 크기로 표현되거나, 입력 프레임 중 윈도우에 포함되지 않은 부분의 폰 또는 면적(FOV loss)으로 표현될 수 있다. 일 실시예에 따르면, 샘플링 간격이 증가하면 윈도우 크기는 감소하고, 샘플링 간격이 감소하면 윈도우 크기는 증가할 수 있다.
다음으로 처리부(120)는 결정된 윈도우 크기를 이용하여 샘플링된 복수의 선택 프레임들을 안정화한다(S2708). 안정화 처리는 촬영 중에 수행되거나, 촬영이 종료된 후에 수행될 수 있다. 촬영이 종료된 후에 안정화 처리가 수행되는 경우, 각 선택 프레임에 대한 윈도우 크기가 안정화 처리가 수행될 때까지 별도로 저장될 수 있다. 처리부(120)는 안정화된 선택 프레임들을 이용하여 타임랩스 영상 파일을 생성한다.
도 28은 안정화를 위한 윈도우 및 FOV loss를 나타낸 도면이다.
윈도우는 입력 프레임(INPUT FRAME)에서 출력 프레임(OUTPUT FRAME)으로 출력되는 부분을 정의한다. 윈도우는 도 28에서 출력 프레임(OUTPUT FRAME)에 대응하는 부분을 나타내는 사각형 프레임으로 정의될 수 있다. 안정화 처리는 상기 윈도우를 이동시키면서 연속되는 선택 프레임들을 평탄화시킨다. FOV loss는 도 28에 도시된 바와 같이, 입력 프레임(INPUT FRAME)에서 윈도우에 포함되지 않은 부분의 폭으로 정의될 수 있다.
도 29는 일 실시예에 따른 샘플링 간격과 FOV 손실률의 관계를 나타낸 도면이다.
본 실시예에 따르면 샘플링 간격이 증가함에 따라 FOV 손실률이 증가한다. 여기서 FOV 손실률은 입력 프레임 중 안정화 처리에 의해 손실되는 면적의 비율이다.
동일한 촬영 장치에 대해, 샘플링 간격이 증가할수록, 타임랩스 영상은 더 불안정해진다. 그러므로 샘플링 간격이 증가할수록 강력한 안정화가 필요하다. 일 실시예에 따르면, 처리부(120)는 샘플링 간격이 증가할수록 FOV 손실률을 증가시켜 안정화 성능을 향상시킬 수 있다. 유사하게 샘플링 간격이 감소함에 따라 FOV 손실률이 감소한다.
일 실시예에 따르면, FOV 손실률(r)은 샘플링 간격(s)의 함수로 다음의 수학식 11과 같이 산출될 수 있다.
Figure 112015125878102-pat00018
도 29의 그래프는 수학식 11에 따른 샘플링 간격(s)와 FOV 손실률(r)의 관계를 나타낸다.
도 30은 본 개시의 실시예들에 따른 처리시간을 후처리로 타임랩스 영상을 생성하는 경우와 비교한 그래프이다.
후처리로 타임랩스 영상을 생성하는 경우, 촬영 장치는 촬영 시 입력 프레임들을 모두 저장한 후, 타임랩스 샘플링 간격을 일정하게 또는 적응적으로 설정하여 타임랩스 영상에 포함될 프레임을 선택한 후, 선택된 프레임들로 타임랩스 영상 파일을 생성한다. 이러한 경우, 촬영 장치는 촬영 종료 후, 샘플링 간격을 결정하고, 프레임을 샘플링하고, 안정화 처리를 하고, 타임랩스 영상 파일을 생성해야 하기 때문에, 후처리(Post-processing)를 위한 시간이 요구된다.
반면에 본 개시의 실시예들에 따르면, 촬영이 수행되는 동안 샘플링 간격이 결정되고, 프레임을 샘플링하는 과정이 수행되기 때문에, 촬영 후에 후처리를 위한 시간이 추가적으로 요구되지 않는다. 따라서 본 개시의 실시예들은 타임랩스 영상을 생성하는 처리시간을 현저하게 감소시키는 효과가 있다.
도 31은 본 개시의 실시예들에 따른 저장 공간 이용량을 나타낸 도면이다.
후처리로 타임랩스 영상을 생성하는 경우, 촬영 장치는 촬영 시 입력 프레임들을 모두 저장한 후, 타임랩스 샘플링 간격을 일정하게 또는 적응적으로 설정하여 타임랩스 영상에 포함될 프레임을 선택한 후, 선택된 프레임들로 타임랩스 영상 파일을 생성한다. 이러한 경우, 촬영 시의 입력 프레임은 촬영 종류 후 후처리가 완료될 때까지 저장 공간에 보존되어야 한다. 반면에 본 개시의 실시예들은 촬영 중에 타임랩스 영상에 포함될 프레임들을 샘플링하고 선택되지 않은 프레임들은 버리기 때문에, 입력 프레임을 촬영 종료 시까지 모두 저장할 필요가 없고, 타임랩스 파일에 저장될 프레임들을 저장할 공간 및 샘플링 처리를 위해 소정 개수의 입력 프레임들을 임시로 저장할 저장 공간만이 요구된다. 따라서 도 31에 도시된 바와 같이, 본 개시의 실시예들은 후처리로 타임랩스 영상을 생성하는 경우에 비해, 요구되는 저장공간이 현저하게 감소되는 효과가 있다.
도 32는 일 실시예에 따른 촬영 장치(100e)의 구조를 나타낸 블록도이다.
일 실시예에 따른 촬영 장치(100e)는 촬영부(110), 마이크로폰(2110), 움직임 센서(1510), 조도 센서(1910), 메모리(3210), 처리부(120), 전원(3220), 비디오 안정화부(3230), 및 비휘발성 저장매체(3240)를 포함한다.
실시예들에 따라 촬영 장치(100e)에 구비되는 센서의 종류는 달라질 수 있다. 도 32에서는 촬영 장치(100e)가 마이크로폰(2110), 움직임 센서(1510), 및 조도 센서(1910)를 구비하는 실시예를 도시한다.
처리부(120)는 마이크로폰(2110)으로부터 검출된 오디오 신호, 움직임 센서(1510)로부터 검출된 촬영 장치(100e)의 움직임 정보, 조도 센서(1910)로부터 검출된 조도 값을 이용하여 촬영 중에 샘플링 간격을 결정할 수 있다.
메모리(3210)는 메인 메모리의 역할을 하며, 예를 들면, DRAM(dynamic RAM), SRAM(static RAM) 등으로 구현될 수 있다. 메모리(3210)는 타임랩스 촬영을 수행하는 동안, 소정 개수의 입력 프레임 및 선택 프레임들을 저장할 수 있다. 비디오 안정화부(3230)는 메모리(3210)에 저장된 선택 프레임들에 대해 비디오 안정화 처리를 수행하여 메모리(3210)에 다시 저장하고, 처리부(120)는 안정화 처리가 수행된 선택 프레임들에 대해 동영상 압축 처리를 하여 타임랩스 영상 파일을 생성하고, 비휘발성 저장매체(3240)에 저장할 수 있다.
비디오 안정화부(3230)는 촬영 장치(100e)에 의해 동영상 촬영 및 기록, 또는 타임랩스 촬영 및 기록이 수행되는 경우, 동영상 파일로 생성될 프레임들에 대해 비디오 안정화 처리를 수행한다. 일 실시예에 따르면, 비디오 안정화부(3230)는 비디오 인코딩 및 디코딩을 수행하고, 메인 프로세서인 처리부(120)와 별개로 구성된 비디오 카드의 형태로 구현될 수 있다.
비휘발성 저장매체(3240)는 저장부(130)에 대응하는 구성요소로서, 각종 데이터 파일, 프로그램 파일 등을 저장할 수 있다. 본 실시예에 따른 저장매체(3240)는 타임랩스 영상 파일을 저장한다. 또한 실시예들에 따라, 비휘발성 저장매체(3240)는 샘플링 간격을 결정하는 데 이용되는 미리 등록된 소리, 미리 등록된 단어, 미리 등록된 얼굴, 기준 값, 각종 함수 및 파라미터 등을 저장할 수 있다. 비휘발성 저장매체(3240)는 내장 메모리 또는 탈착 가능한 외장 메모리 형태로 구현될 수 있다. 비휘발성 저장매체(3240)는 예를 들면, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)를 이용하여 구현될 수 있다. 탈찰식으로 비휘발성 저장매체(3240)가 구현되는 경우, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등의 형태로 구현될 수 있다.
전원(3220)은 촬영 장치(100e)에 구동 전력을 공급한다. 일 실시예에 따르면, 전원(3230)은 탈찰식 배터리 또는 내장식 배터리의 형태로 구현된다. 또한 배터리는 1차 전지 또는 2차 전지로 구현될 수 있다. 배터리는 예를 들면, 리튬이온(Lithium) 전지, 리튬 폴리머(Lithium polymer) 전지, 니켈수소(Ni-MH) 전지, 니켈카드늄(Ni-Cd) 전지, 또는 니켈수소(Ni-MH) 전지 등을 포함할 수 있다. 다른 실시예에 따르면, 전원(3220)은 외부 전원과 연결되는 전원 모듈의 형태로 구현될 수 있다.
도 33은 일 실시예에 따른 촬영 장치(100f)의 구조를 나타낸 도면이다.
본 실시예에 따르면, 촬영 장치(100f)는 촬영부(110), 얼굴 검출부(3310), 움직임 추정부(3320), 프레임 샘플링부(3330), 비디오 안정화부(3340), 샘플링 간격 결정부(3350), 주밍 값 획득부(3360), 마이크로폰(2110), 단어 및 소리 검출부(3370), 조도 센서(1910), 및 배터리 레벨 획득부(3380)를 포함한다.
도 33의 실시예는 얼굴 검출부(3310), 움직임 추정부(3320), 프레임 샘플링부(3330), 비디오 안정화부(3340), 샘플링 간격 결정부(3350), 주밍 값 획득부(3360), 단어 및 소리 검출부(3370), 및 배터리 레벨 획득부(3380)가 독립적인 하드웨어 모듈로 구성되는 경우, 소프트웨어 모듈로 구성되는 경우, 및 하드웨어 모듈과 소프트웨어 모듈의 조합으로 구성되는 경우를 모두 포함한다. 또한 얼굴 검출부(3310), 움직임 추정부(3320), 프레임 샘플링부(3330), 비디오 안정화부(3340), 샘플링 간격 결정부(3350), 주밍 값 획득부(3360), 단어 및 소리 검출부(3370), 및 배터리 레벨 획득부(3380)는 이들 중 일부 또는 정부가 소프트웨어 모듈로 구현되면서 하나 이상의 하드웨어 모듈에 적절하게 분배되는 것도 가능하다. 얼굴 검출부(3310), 영상 움직임 추정부(3325), 프레임 샘플링부(3330), 비디오 안정화부(3340), 샘플링 간격 결정부(3350), 주밍 값 획득부(3360), 단어 및 소리 검출부(3370), 및 배터리 레벨 획득부(3380)는 앞서 설명된 처리부(120)에 대응될 수 있다.
촬영부(110)의 영상 신호로부터 입력 프레임이 생성되면, 입력 프레임이 얼굴 검출부(3310), 움직임 추정부(3320), 및 프레임 샘플링부(3330)로 전달된다.
얼굴 검출부(3310)는 입력 프레임들로부터 얼굴을 검출하고, 얼굴 크기 정보를 획득하고, 얼굴 검출 여부에 대한 정보, 및 얼굴 크기 정보를 샘플링 간격 결정부(3350)로 제공한다. 일 실시예에 따르면, 얼굴 검출부(3310)는 얼굴 인식을 수행하여, 검출된 얼굴이 촬영 장치(100f)에 미리 등록된 얼굴인지 여부를 판단하고, 판단 결과를 샘플링 간격 결정부(3350)로 제공한다. 일 실시예에 따르면, 얼굴 검출부(3310)는 검출된 얼굴이 사람인지 동물인지 여부, 아기인지 여부 등을 판단하고 판단 결과를 샘플링 간격 결정부(3350)로 제공한다.
움직임 추정부(3320)는 촬영 장치(100f)의 움직임에 대한 정보를 검출한다. 움직임 추정부(3320)는 영상 움직임 추정부(3325) 및 움직임 센서(1510)를 포함한다. 영상 움직임 추정부(3325)는 입력 프레임들로부터 촬영 장치(100f)의 글로벌 모션을 검출하고, 피사체의 로컬 모션을 검출한다. 실시예에 따라 영상 움직임 추정부(3325)가 글모벌 모션과 로컬 모션을 모두 검출하거나, 이들 중 하나만 검출하는 것이 가능하다. 움직임 센서(1510)는 촬영 장치(100f)의 움직임을 검출하는 센서로서, 가속도 센서, 자이로 센서 등으로 구현될 수 있다. 움직임 센서(1510)가 별도로 구비되는 경우, 영상 움직임 추정부(3325)는 글로벌 모션 추정을 위한 처리는 수행하지 않을 수 있다. 움직임 추정부(3320)는 촬영 장치(100f)의 움직임에 대한 정보(글로벌 모션) 및 피사체의 움직임에 대한 정보(로컬 모션)를 샘플링 간격 결정부(3350)에 제공한다.
주밍 값 획득부(3360)는 주밍 값으로서 줌 팩터 값을 획득한다. 광학 줌의 경우, 줌 팩터는 초점거리로부터 산출될 수 있다. 디지털 줌의 경우, 줌 팩터는 촬영 장치(100f) 내부에서 이미 알고 있다. 주밍 값 획득부(3360)는 획득된 주밍 값을 샘플링 간격 결정부(3350)로 제공한다.
단어 및 소리 검출부(3370)는 마이크로폰(2110)에서 검출된 오디오 신호로부터 미리 등록된 단어 및 소리를 검출한다. 단어 및 소리 검출부(3370)는 다양한 단어 검출 알고리즘 및/또는 소리 검출 알고리즘을 이용하여 미리 등록된 단어 및 소리를 검출할 수 있다. 단어 및 소리 검출부(3370)는 미리 등록된 단어 및 소리가 검출되었는지 여부에 대한 정보, 및 어떤 단어나 소리가 검출되었는지 여부에 대한 정보 중 하나 또는 이들의 조합을 샘플링 간격 결정부(3350)에 제공할 수 있다. 일 실시예에 따르면, 샘플링 간격 결정부(3350)는 단어 또는 소리의 종류에 따라 샘플링 간격이 감소하는 정도를 다르게 설정할 수 있다.
조도 센서(1910)는 주변 밝기에 대한 정보를 샘플링 간격 결정부(3350)에 제공한다.
배터리 레벨 획득부(3380)는 촬영 장치(100f)에 구비된 배터리의 배터리 잔량을 나타내는 배터리 레벨에 대한 정보를 획득한다. 배터리 레벨은 배터리 관련 회로에서 검출되는 전압 레벨 또는 전류 레벨로부터 검출될 수 있다. 배터리 레벨 획득부(3380)는 배터리 레벨에 대한 정보를 샘플링 간격 결정부(3350)에 제공한다.
샘플링 간격 결정부(3350)는 얼굴 검출부(3310), 움직임 추정부(3320), 주밍 값 획득부(3360), 단어 및 소리 검출부(3370), 조도 센서(1910), 및 배터리 레벨 획득부(3380)로부터 제공된 정보를 참조 값으로 이용하여, 타임랩스 촬영 시의 샘플링 간격을 결정하고, 결정된 샘플링 간격을 프레임 샘플링부(3330)로 제공한다.
프레임 샘플링부(3330)는 상기 샘플링 간격을 이용하여, 촬영부(110)에서 생성된 복수의 입력 프레임들 중 선택 프레임을 샘플링 한다. 선택 프레임들은 비디오 안정화부(3340)로 출력되고, 비디오 안정화부(3340)는 선택 프레임들에 대한 비디오 안정화 처리를 수행한다. 안정화된 선택 프레임들은 타임랩스 영상 파일로 압축된다.
도 34는 일 실시예에 따른 촬영 장치(100g)의 구조를 설명하기 위한 블록도이다.
일 실시예에 따른 촬영 장치(100g)는 하나 이상의 프로세서(예: AP(application processor))(3410), 통신 모듈(3420), 가입자 식별 모듈(3424), 저장부(3430), 센서 모듈(3440), 입력 장치(3450), 디스플레이(3460), 인터페이스(3470), 오디오 모듈(3480), 카메라 모듈(3491), 전력 관리 모듈(3495), 배터리(3496), 인디케이터(3497), 및 모터(3498) 를 포함할 수 있다.
메인 프로세서(3410)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 메인 프로세서(3410)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 메인 프로세서(3410)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 메인 프로세서(3410)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 메인 프로세서(3410) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
일 실시예에 따른 메인 프로세서(3410)는 도 3, 도 15, 도 19, 도 21의 처리부(120)에 대응될 수 있다.
통신 모듈(3420)은, 예를 들면, 셀룰러 모듈(3421), WiFi 모듈(3423), 블루투스 모듈(3425), GNSS 모듈(3427)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(3428) 및 RF(radio frequency) 모듈(3429)를 포함할 수 있다.
저장부(3430)는, 예를 들면, 내장 메모리(3432) 또는 외장 메모리(3434)를 포함할 수 있다. 내장 메모리(3432)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(3434)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(3434)는 다양한 인터페이스를 통하여 촬영 장치(100g)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
저장부(3430)는 앞서 설명된 저장부(130)에 대응될 수 있다.
센서 모듈(3440)은, 예를 들면, 물리량을 계측하거나 촬영 장치(100g)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(3440)은, 예를 들면, 제스처 센서(3440A), 자이로 센서(3440B), 기압 센서(3440C), 마그네틱 센서(3440D), 가속도 센서(3440E), 그립 센서(3440F), 근접 센서(3440G), 컬러(color) 센서(3440H)(예: RGB(red, green, blue) 센서), 생체 센서(3440I), 온/습도 센서(3440J), 조도 센서(3440K), 또는 UV(ultra violet) 센서(3440M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(3440)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 촬영 장치(100g)는 메인 프로세서(3410)의 일부로서 또는 별도로, 센서 모듈(3440)을 제어하도록 구성된 프로세서를 더 포함하여, 메인 프로세서(3410)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(3440)을 제어할 수 있다. 센서 모듈(3440)은 도 34에 도시된 센서들(3440A 내지 3440M)을 모두 포함하는 것으로 한정되지 않고, 센서들(3440A 내지 3440M)의 다양한 조합으로 구현될 수 있다.
제스쳐 센서(3440A), 자이로 센서(3440B), 가속도 센서(3440E)는 도 15의 움직임 센서(1510)에 대응되고, 조도 센서(3440K)는 도 19의 조도 센서(1910)에 대응될 수 있다.
입력 장치(3450)는, 예를 들면, 터치 패널(touch panel)(3452), (디지털) 펜 센서(pen sensor)(3454), 키(key)(3456), 또는 초음파(ultrasonic) 입력 장치(3458)를 포함할 수 있다. 터치 패널(3452)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(3452)은 제어 회로를 더 포함할 수도 있다. 터치 패널(3452)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(3454)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(3456)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(3458)는 마이크(예: 마이크(3488))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(3460)(예: 디스플레이(160))는 패널(3462), 홀로그램 장치(3464), 또는 프로젝터(3466)를 포함할 수 있다. 패널(3462)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(3462)은 터치 패널(3452)과 하나의 모듈로 구성될 수도 있다.
인터페이스(3470)는, 예를 들면, HDMI(high-definition multimedia interface)(3472), USB(universal serial bus)(3474), 광 인터페이스(optical interface)(3476), 또는 D-sub(D-subminiature)(3478)를 포함할 수 있다.
오디오 모듈(3480)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(3480)은, 예를 들면, 스피커(3482), 리시버(3484), 이어폰(3486), 또는 마이크로폰(3488) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
마이크로폰(3488)은 도 21의 마이크로폰(2110)에 대응될 수 있다.
카메라 모듈(3491)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
카메라 모듈(3491)은 촬영부(110)에 대응될 수 있다.
전력 관리 모듈(3495)은, 예를 들면, 촬영 장치(100g)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(3495)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 배터리 게이지는, 예를 들면, 배터리(3496)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다.
전력 관리 모듈(3495)은 도 32의 전원(3220)에 대응될 수 있다.
인디케이터(3497)는 촬영 장치(100g) 또는 그 일부(예: 메인 프로세서(3410))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(3498)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다.
본 개시의 일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 읽을 수 있는 기록 매체는 컴퓨터 저장매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장매체는 컴퓨터로 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터로 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 개시에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 촬영 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 촬영 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 촬영 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (29)

  1. 촬영 장치에 있어서,
    입사 광을 광전 변환하여 영상 신호를 생성하는 촬영부;
    타임랩스 촬영이 수행되는 동안 실시간으로 획득된 참조 값에 기초하여, 시간에 따른 타임랩스 촬영의 샘플링 간격을 결정하고, 타임랩스 촬영이 수행되는 동안 상기 영상 신호로부터 생성된 복수의 입력 프레임들을 상기 샘플링 간격으로 샘플링하고, 상기 촬영 장치의 사용자에 의해 상기 촬영 장치의 움직임이 발생할 때, 상기 샘플링 간격에 기초하여 결정되는 FOV(field-of-view) 원도우를 이용하여 상기 복수의 입력 프레임들 중 샘플링된 복수의 선택 프레임들을 조절함으로써 상기 샘플링된 복수의 선택 프레임들을 안정화하고, 상기 복수의 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성하는 처리부; 및
    상기 타임랩스 영상 파일을 저장하는 저장부를 포함하는 촬영 장치.
  2. 제1항에 있어서,
    상기 실시간으로 획득된 참조 값은, 주밍(zooming) 값, 배터리 레벨, 촬영 장치의 움직임 정보, 조도 값, 오디오 신호, 피사체의 움직임 정보, 얼굴 검출 여부, 및 얼굴 크기 중 적어도 하나 또는 이들의 조합인, 촬영 장치.
  3. 제1항에 있어서,
    상기 참조 값은 주밍 값을 포함하고,
    상기 주밍 값이 증가하면, 상기 샘플링 간격이 감소하고, 상기 주밍 값이 감소하면, 상기 샘플링 간격이 증가하는, 촬영 장치.
  4. 제1항에 있어서,
    상기 촬영 장치는 상기 촬영 장치에 전력을 공급하는 배터리를 더 포함하고,
    상기 참조 값은 배터리 레벨을 포함하고,
    상기 배터리 레벨이 배터리 기준 값 미만인 경우, 상기 샘플링 간격이 증가하는, 촬영 장치.
  5. 제1항에 있어서,
    상기 처리부는, 상기 복수의 입력 프레임들로부터 피사체 움직임 정보를 추출하고,
    상기 참조 값은, 상기 피사체 움직임 정보를 포함하고,
    삼각대 모드인 경우, 피사체 움직임의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 피사체 움직임의 크기가 감소하면, 상기 샘플링 간격이 증가하는, 촬영 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 처리부는, 상기 복수의 입력 프레임들로부터 얼굴을 검출하고,
    상기 참조 값은, 얼굴 검출 정보를 포함하고,
    이전 프레임에 없던 얼굴이 현재 프레임에서 검출되면, 상기 샘플링 간격이 감소하고, 이전 프레임에서 얼굴이 검출되다가 현재 프레임에서 얼굴이 검출되지 않으면, 상기 샘플링 간격이 증가하는, 촬영 장치.
  7. 제1항에 있어서,
    상기 처리부는, 상기 복수의 입력 프레임들로부터 얼굴을 검출하고,
    상기 참조 값은 얼굴 검출 정보를 포함하고,
    검출된 얼굴의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 검출된 얼굴의 크기가 감소하면, 상기 샘플링 간격이 증가하는, 촬영 장치.
  8. 제1항에 있어서,
    상기 촬영 장치는, 상기 촬영 장치의 움직임을 검출하는 움직임 센서를 더 포함하고,
    상기 참조 값은 촬영 장치 움직임 크기를 포함하고,
    상기 촬영 장치 움직임 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 촬영 장치 움직임 크기가 감소하면, 상기 샘플링 간격이 증가하는, 촬영 장치.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 촬영 장치는, 상기 촬영 장치의 움직임을 검출하는 움직임 센서를 더 포함하고,
    상기 참조 값은 촬영 장치 움직임 정보를 포함하고,
    상기 촬영 장치가 패닝(panning) 모드로 동작하는 것이 검출되면, 상기 샘플링 간격이 감소하고,
    상기 패닝 모드로 동작하는 동안, 상기 촬영 장치의 이동 속도가 감소하면, 상기 샘플링 간격이 증가하고, 상기 이동 속도가 증가하면 상기 샘플링 간격이 감소하는, 촬영 장치.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 촬영 장치는, 상기 촬영 장치의 움직임을 검출하는 움직임 센서를 더 포함하고,
    상기 참조 값은 촬영 장치 움직임 정보를 포함하고,
    상기 촬영 장치의 이동 속도가 기준 값 이상인 경우, 상기 샘플링 간격이 감소하는, 촬영 장치.
  11. 제1항에 있어서,
    상기 촬영 장치는, 조도를 검출하는 조도 센서를 더 포함하고,
    상기 참조 값은 조도 값을 포함하고,
    상기 조도 값이 저조도 기준 값 미만인 경우 및 상기 조도 값이 고조도 기준 값을 초과하는 경우, 상기 샘플링 간격은 상기 조도 값이 상기 저조도 기준 값 이상이고 상기 고조도 기준 값 이하인 경우에 비해 큰, 촬영 장치.
  12. 제1항에 있어서,
    상기 촬영 장치는, 오디오 신호를 검출하는 마이크로폰을 더 포함하고,
    상기 참조 값은 상기 마이크로폰으로 검출된 오디오 신호를 포함하고,
    상기 오디오 신호에서 미리 정의된 사운드 또는 단어가 검출되는 경우, 상기 샘플링 간격이 감소하는, 촬영 장치.
  13. 삭제
  14. 삭제
  15. 타임랩스 촬영이 수행되는 동안, 실시간으로 획득된 참조 값에 기초하여, 시간에 따른 타임랩스 촬영의 샘플링 간격을 결정하는 단계;
    타임랩스 촬영이 수행되는 동안, 촬영부의 영상 신호로부터 생성된 복수의 입력 프레임들을 상기 샘플링 간격으로 샘플링하는 단계;
    촬영 장치의 사용자에 의해 상기 촬영 장치의 움직임이 발생할 때, 상기 샘플링 간격에 기초하여 결정되는 FOV(field-of-view) 원도우를 이용하여, 상기 복수의 입력 프레임들 중 샘플링된 복수의 선택 프레임들을 조절함으로써 상기 샘플링된 복수의 선택 프레임들을 안정화하는 단계;
    상기 복수의 선택 프레임들을 출력 프레임 레이트로 압축하여 타임랩스 영상 파일을 생성하는 단계; 및
    상기 타임랩스 영상 파일을 저장하는 단계를 포함하는 타임랩스 영상 생성 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 실시간으로 획득된 참조 값은, 주밍(zooming) 값, 배터리 레벨, 촬영 장치의 움직임 정보, 조도 값, 오디오 신호, 피사체의 움직임 정보, 얼굴 검출 여부, 및 얼굴 크기 중 적어도 하나 또는 이들의 조합인, 타임랩스 영상 생성 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 참조 값은 주밍 값을 포함하고,
    상기 주밍 값이 증가하면, 상기 샘플링 간격이 감소하고, 상기 주밍 값이 감소하면, 상기 샘플링 간격이 증가하는, 타임랩스 영상 생성 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 참조 값은 배터리 레벨을 포함하고,
    상기 배터리 레벨이 배터리 기준 값 미만인 경우, 상기 샘플링 간격이 증가하는, 타임랩스 영상 생성 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 타임랩스 영상 생성 방법은, 상기 복수의 입력 프레임들로부터 피사체 움직임 정보를 추출하는 단계를 더 포함하고,
    상기 참조 값은, 상기 피사체 움직임 정보를 포함하고,
    삼각대 모드인 경우, 피사체 움직임의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 피사체 움직임의 크기가 감소하면, 상기 샘플링 간격이 증가하는, 타임랩스 영상 생성 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 타임랩스 영상 생성 방법은, 상기 복수의 입력 프레임들로부터 얼굴을 검출하는 단계를 더 포함하고,
    상기 참조 값은, 얼굴 검출 정보를 포함하고,
    이전 프레임에 없던 얼굴이 현재 프레임에서 검출되면, 상기 샘플링 간격이 감소하고, 이전 프레임에서 얼굴이 검출되다가 현재 프레임에서 얼굴이 검출되지 않으면, 상기 샘플링 간격이 증가하는, 타임랩스 영상 생성 방법.
  21. ◈청구항 21은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 타임랩스 영상 생성 방법은, 상기 복수의 입력 프레임들로부터 얼굴을 검출하는 단계를 더 포함하고,
    상기 참조 값은 얼굴 검출 정보를 포함하고,
    검출된 얼굴의 크기가 증가하면, 상기 샘플링 간격이 감소하고, 검출된 얼굴의 크기가 감소하면, 상기 샘플링 간격이 증가하는, 타임랩스 영상 생성 방법.
  22. ◈청구항 22은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 타임랩스 영상 생성 방법은, 촬영 장치의 움직임을 검출하는 단계를 더 포함하고,
    상기 참조 값은 촬영 장치 움직임 크기를 포함하고,
    촬영 장치 움직임 크기가 증가하면, 상기 샘플링 간격이 감소하고, 상기 촬영 장치 움직임 크기가 감소하면, 상기 샘플링 간격이 증가하는, 타임랩스 영상 생성 방법.
  23. ◈청구항 23은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 타임랩스 영상 생성 방법은, 촬영 장치의 움직임을 검출하는 단계를 더 포함하고,
    상기 참조 값은 촬영 장치 움직임 정보를 포함하고,
    촬영 장치가 패닝(panning) 모드로 동작하는 것이 검출되면, 상기 샘플링 간격이 감소하고,
    상기 패닝 모드로 동작하는 동안, 상기 촬영 장치의 이동 속도가 감소하면, 상기 샘플링 간격이 증가하고, 상기 이동 속도가 증가하면 상기 샘플링 간격이 감소하는, 타임랩스 영상 생성 방법.
  24. ◈청구항 24은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 타임랩스 영상 생성 방법은, 촬영 장치의 움직임을 검출하는 단계를 더 포함하고,
    상기 참조 값은 촬영 장치 움직임 정보를 포함하고,
    촬영 장치의 이동 속도가 기준 값 이상인 경우, 상기 샘플링 간격이 감소하는, 타임랩스 영상 생성 방법.
  25. ◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 참조 값은 조도 값을 포함하고,
    상기 조도 값이 저조도 기준 값 미만인 경우 및 상기 조도 값이 고조도 기준 값을 초과하는 경우, 상기 샘플링 간격은 상기 조도 값이 상기 저조도 기준 값 이상이고 상기 고조도 기준 값 이하인 경우에 비해 큰, 타임랩스 영상 생성 방법.
  26. ◈청구항 26은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    상기 참조 값은 마이크로폰으로 검출된 오디오 신호를 포함하고,
    상기 오디오 신호에서 미리 정의된 사운드 또는 단어가 검출되는 경우, 상기 샘플링 간격이 감소하는, 타임랩스 영상 생성 방법.
  27. 삭제
  28. 삭제
  29. ◈청구항 29은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항 내지 제26항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150183931A 2015-12-22 2015-12-22 타임랩스 영상을 생성하는 장치 및 방법 KR102527811B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150183931A KR102527811B1 (ko) 2015-12-22 2015-12-22 타임랩스 영상을 생성하는 장치 및 방법
PCT/KR2016/012887 WO2017111302A1 (en) 2015-12-22 2016-11-10 Apparatus and method for generating time lapse image
CN201680068212.0A CN108293123B (zh) 2015-12-22 2016-11-10 用于产生缩时图像的方法和设备
EP16879169.7A EP3342153B1 (en) 2015-12-22 2016-11-10 Apparatus and method for generating time lapse image
US15/349,043 US10313549B2 (en) 2015-12-22 2016-11-11 Apparatus and method for generating time lapse image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150183931A KR102527811B1 (ko) 2015-12-22 2015-12-22 타임랩스 영상을 생성하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170074538A KR20170074538A (ko) 2017-06-30
KR102527811B1 true KR102527811B1 (ko) 2023-05-03

Family

ID=59066672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150183931A KR102527811B1 (ko) 2015-12-22 2015-12-22 타임랩스 영상을 생성하는 장치 및 방법

Country Status (5)

Country Link
US (1) US10313549B2 (ko)
EP (1) EP3342153B1 (ko)
KR (1) KR102527811B1 (ko)
CN (1) CN108293123B (ko)
WO (1) WO2017111302A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법
KR102462644B1 (ko) 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN107302664B (zh) * 2017-08-11 2020-06-16 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107592463B (zh) * 2017-09-29 2020-10-27 惠州Tcl移动通信有限公司 基于移动终端的动态点拍照方法、存储介质及移动终端
KR102529908B1 (ko) * 2017-12-07 2023-05-08 현대자동차주식회사 차량 카메라를 이용한 타임랩스 영상 생성 장치 및 방법
CN110363293A (zh) * 2018-03-26 2019-10-22 腾讯科技（深圳）有限公司 神经网络模型的训练、延时摄影视频的生成方法及设备
EP3817370A1 (en) * 2018-06-29 2021-05-05 SZ DJI Technology Co., Ltd. Time-lapse photography control method and control device, imaging system, and storage medium
KR20200092631A (ko) * 2019-01-25 2020-08-04 삼성전자주식회사 슬로 모션 영상 생성 방법 및 장치
EP3929861A4 (en) * 2019-02-18 2022-04-13 NEC Corporation IMAGE PROCESSING APPARATUS, METHOD AND SYSTEM AND COMPUTER READABLE MEDIA
CN110086985B (zh) * 2019-03-25 2021-03-30 华为技术有限公司 一种延时摄影的录制方法及电子设备
CN110298794A (zh) * 2019-05-20 2019-10-01 上海联影智能医疗科技有限公司 医学成像系统、方法、计算机设备及可读存储介质
WO2021007792A1 (zh) * 2019-07-16 2021-01-21 深圳市大疆创新科技有限公司 拍摄方法、设备、系统及计算机可读存储介质
US11140292B1 (en) * 2019-09-30 2021-10-05 Gopro, Inc. Image capture device for generating time-lapse videos
RU2745209C1 (ru) * 2020-04-07 2021-03-22 Самсунг Электроникс Ко., Лтд. Способ и вычислительное устройство для формирования правдоподобного отображения течения времени суточного масштаба
CN113747049B (zh) * 2020-05-30 2023-01-13 华为技术有限公司 一种延时摄影的拍摄方法及设备
JP2021189341A (ja) * 2020-06-01 2021-12-13 キヤノン株式会社 撮像装置、制御方法およびプログラム
KR20210155961A (ko) * 2020-06-17 2021-12-24 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN113766148A (zh) * 2020-11-09 2021-12-07 苏州臻迪智能科技有限公司 一种延时摄影视频合成方法、装置、电子设备及存储介质
WO2022222113A1 (zh) * 2021-04-22 2022-10-27 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及存储介质
WO2022256978A1 (zh) * 2021-06-07 2022-12-15 深圳市大疆创新科技有限公司 延时拍摄方法、装置及手持设备
KR102557286B1 (ko) * 2021-07-27 2023-07-20 최경모 타임랩스 영상을 제작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN113810596B (zh) * 2021-07-27 2023-01-31 荣耀终端有限公司 延时摄影方法和装置
CN113676657B (zh) * 2021-08-09 2023-04-07 维沃移动通信（杭州）有限公司 延时摄影方法、装置、电子设备及存储介质
US11979667B1 (en) * 2021-10-20 2024-05-07 Meta Platforms Technologies, Llc Hyperlapse imaging using wearable devices
WO2023128450A1 (ko) * 2021-12-28 2023-07-06 삼성전자 주식회사 타임랩스 영상 생성 방법 및 그 가전 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130336590A1 (en) * 2012-05-03 2013-12-19 Stmicroelectronics S.R.L. Method and apparatus for generating a visual story board in real time
US20140036233A1 (en) * 2012-08-03 2014-02-06 Granite Bay Software, Inc. System and Method for Capturing Time-Lapse Photographs
US20140300769A1 (en) * 2013-04-09 2014-10-09 Navteq B.V. Automatic Time Lapse Capture
US20140376877A1 (en) * 2013-06-19 2014-12-25 Sony Corporation Information processing apparatus, information processing method and program

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3097665B2 (ja) * 1998-06-19 2000-10-10 日本電気株式会社 異常検出機能を備えたタイムラプスレコーダ
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
GB2350005B (en) * 1999-03-17 2003-01-08 Canon Kk Image processing apparatus
JP2002016877A (ja) 2000-06-29 2002-01-18 Toshiba Corp タイムラプス記録用エンコードシステム及びタイムラプス記録方法
US7110458B2 (en) 2001-04-27 2006-09-19 Mitsubishi Electric Research Laboratories, Inc. Method for summarizing a video using motion descriptors
JP2007208406A (ja) * 2006-01-31 2007-08-16 Konica Minolta Photo Imaging Inc 撮像装置
JP4554529B2 (ja) * 2006-02-06 2010-09-29 富士フイルム株式会社 撮像装置
US7796860B2 (en) 2006-02-23 2010-09-14 Mitsubishi Electric Research Laboratories, Inc. Method and system for playing back videos at speeds adapted to content
JP5109287B2 (ja) * 2006-05-09 2012-12-26 株式会社Ｓｕｍｃｏ 半導体基板の製造方法
US8503523B2 (en) 2007-06-29 2013-08-06 Microsoft Corporation Forming a representation of a video item and use thereof
JP4885079B2 (ja) * 2007-07-04 2012-02-29 富士フイルム株式会社 デジタルカメラ、撮影方法及び撮影プログラム
KR101467875B1 (ko) 2008-09-04 2014-12-02 삼성전자주식회사 프레임 레이트의 가변화 설정이 가능한 디지털 카메라 및 그 제어방법
JP2010087899A (ja) * 2008-09-30 2010-04-15 Canon Inc 撮像装置、その制御方法及びプログラム
CN102754011B (zh) * 2010-02-03 2015-08-05 株式会社尼康 观察装置及观察方法
JP5810307B2 (ja) * 2010-05-10 2015-11-11 パナソニックＩｐマネジメント株式会社 撮像装置
JP5595167B2 (ja) * 2010-08-03 2014-09-24 キヤノン株式会社 撮像装置及びその制御方法
JP5944246B2 (ja) * 2012-06-29 2016-07-05 株式会社ザクティ 撮像装置
KR101971967B1 (ko) * 2012-10-23 2019-04-24 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9489979B2 (en) * 2013-08-06 2016-11-08 Casio Computer Co., Ltd. Image processing apparatus for time-lapse moving image, image processing method, and storage medium
JP6135391B2 (ja) * 2013-08-16 2017-05-31 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US9871959B1 (en) * 2014-01-11 2018-01-16 Joseph F Hlatky Adaptive trail cameras
US9426409B2 (en) * 2014-09-30 2016-08-23 Apple Inc. Time-lapse video capture with optimal image stabilization
US10165222B2 (en) * 2016-06-09 2018-12-25 Intel Corporation Video capture with frame rate based on estimate of motion periodicity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130336590A1 (en) * 2012-05-03 2013-12-19 Stmicroelectronics S.R.L. Method and apparatus for generating a visual story board in real time
US20140036233A1 (en) * 2012-08-03 2014-02-06 Granite Bay Software, Inc. System and Method for Capturing Time-Lapse Photographs
US20140300769A1 (en) * 2013-04-09 2014-10-09 Navteq B.V. Automatic Time Lapse Capture
US20140376877A1 (en) * 2013-06-19 2014-12-25 Sony Corporation Information processing apparatus, information processing method and program

Also Published As

Publication number Publication date
US10313549B2 (en) 2019-06-04
WO2017111302A1 (en) 2017-06-29
EP3342153A4 (en) 2018-07-04
CN108293123A (zh) 2018-07-17
EP3342153A1 (en) 2018-07-04
CN108293123B (zh) 2022-10-28
EP3342153B1 (en) 2020-03-25
US20170180589A1 (en) 2017-06-22
KR20170074538A (ko) 2017-06-30

Similar Documents

Publication Publication Date Title
KR102527811B1 (ko) 타임랩스 영상을 생성하는 장치 및 방법
US11496696B2 (en) Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same
US10511758B2 (en) Image capturing apparatus with autofocus and method of operating the same
US10291842B2 (en) Digital photographing apparatus and method of operating the same
CN109671106B (zh) 一种图像处理方法、装置与设备
KR102282458B1 (ko) 영상안정화장치 및 방법
CN107750451B (zh) 用于稳定视频的方法和电子装置
CN109005366A (zh) 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
US10095004B2 (en) Imaging apparatus and focusing control method
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
US20170150126A1 (en) Photographing device and operating method of the same
KR101727169B1 (ko) 이미지 필터를 생성하기 위한 방법 및 장치
US20180234604A1 (en) Smart Shutter in Low Light
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
KR102352682B1 (ko) 디지털 촬영 장치 및 그 동작 방법
CN112840634B (zh) 用于获得图像的电子装置及方法
US20160150158A1 (en) Photographing apparatus and method for controlling thereof
US9986163B2 (en) Digital photographing apparatus and digital photographing method
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
WO2023142830A1 (zh) 切换摄像头的方法与电子设备
JP2016534609A (ja) 携帯電話タイプの装置に接続することが可能な低照明で写真を撮るための装置
WO2019072222A1 (zh) 一种图像处理方法、装置与设备
TW202345086A (zh) 可變光圈（ｖａ）相機系統中的散景效果

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant