KR20210114522A - 녹화 프레임 레이트 제어 방법 및 관련 장치 - Google Patents

녹화 프레임 레이트 제어 방법 및 관련 장치 Download PDF

Info

Publication number
KR20210114522A
KR20210114522A KR1020217026498A KR20217026498A KR20210114522A KR 20210114522 A KR20210114522 A KR 20210114522A KR 1020217026498 A KR1020217026498 A KR 1020217026498A KR 20217026498 A KR20217026498 A KR 20217026498A KR 20210114522 A KR20210114522 A KR 20210114522A
Authority
KR
South Korea
Prior art keywords
mobile terminal
frame rate
threshold
video
luminance
Prior art date
Application number
KR1020217026498A
Other languages
English (en)
Other versions
KR102577396B1 (ko
Inventor
유안요우 리
웨이 루오
지에구앙 후오
롱유에 수
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20210114522A publication Critical patent/KR20210114522A/ko
Application granted granted Critical
Publication of KR102577396B1 publication Critical patent/KR102577396B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2351—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving encryption of additional data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/23245—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Abstract

본 출원에 다음을 포함하는 녹화 프레임 레이트 제어 방법이 개시되며, 먼저, 이동 단말기는 사용자의 제1 입력을 수신하고, 이동 단말기는 제1 입력에 응답하여 녹화를 시작하며, 그 후, 이동 단말기는 제1 프레임 레이트에서 촬영 장면의 N개의 비디오 프레임을 획득하고, 이동 단말기는 획득된 N개의 비디오 프레임 따라 촬영 장면의 광도를 결정하고, 촬영 장면의 광도에 따라 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하며, 조정된 녹화 프레임 레이트는 제1 프레임 레이트와는 상이하며, N은 2보다 큰 양의 정수이고, 그 후 이동 단말기는 조정된 프레임 레이트에 따라 촬영 장면의 비디오 프레임을 계속 획득하며, 마지막으로, 이동 단말기는 제1 프레임 레이트에서 획득된 비디오 프레임 및 조정된 프레임 레이트에서 획득된 비디오 프레임에 따라 비디오 파일을 생성한다. 이와 같이, 녹화 동안 프레임 레이트가 자동으로 조정되고, 비디오 이미지의 화질이 향상된다.

Description

녹화 프레임 레이트 제어 방법 및 관련 장치
본 출원은 2019년 2월 28일 중국 국가지식재산관리국에 "녹화 프레임 레이트 제어 방법 및 관련 장치(RECORDING FRAME RATE CONTROL METHOD AND RELATED APPARATUS)"라는 명칭으로 출원된 중국 특허 출원 번호 제201910153286.X호에 대한 우선권을 주장하며, 이는 그 전체가 본원에 참고로 포함된다.
본 출원은 이동 단말기 분야에 관한 것으로, 특히 녹화 프레임 레이트 제어 방법 및 관련 장치에 관한 것이다.
현재, 카메라는 이동 단말기의 표준 구성 컴포넌트 중 하나가 되었으며, 카메라를 사용하여 사진과 비디오를 촬영하는 것은 사용자의 라이프스타일이 되었다. 인간의 눈의 특수한 생리적 구조로 인해, 사람이 시청하는 비디오 이미지의 프레임 레이트가 24 fps를 초과하면, 비디오는 매끄러운 것으로 간주된다. 이 현상은 시각적 지속성이라고 지칭된다. 현재, 이동 단말기의 녹화 기능을 사용할 경우, 비디오의 프레임 레이트는 고정되어 있는 것이 일반적이다. 다시 말해서, 촬영 과정에서 녹화 프레임 레이트는 조정될 수 없다. 이와 같이, 녹화 프레임 레이트가 너무 낮으면, 각 이미지 프레임의 노출 시간이 상대적으로 길기 때문에 비디오에 모션 블러(motion blur)가 발생할 수 있다. 녹화 프레임 레이트가 상대적으로 높고, 촬영 시나리오가 상대적으로 어두우면, 촬영된 비디오 이미지의 노출 시간 기간이 충분하지 않아, 전체 비디오 이미지가 어둡고 디테일(details)이 불명확하다.
본 출원은 녹화 프레임 레이트 제어 방법 및 관련 장치를 제공하여, 비디오 녹화 동안 사용되는 프레임 레이트를 자동으로 조정하여 비디오 이미지의 화질을 향상시킨다.
제1 양태에 따르면, 본 출원은 다음의 단계를 포함하는 녹화 프레임 레이트 제어 방법을 제공한다: 먼저, 이동 단말기는 사용자의 제1 입력을 수신하고, 제1 입력에 응답하여 비디오 녹화를 시작한다. 이후, 이동 단말기는 제1 프레임 레이트에서 촬영 시나리오의 N개의 비디오 프레임을 수집한다. 다음, 이동 단말기는 수집된 N개의 비디오 프레임에 기반하여 촬영 시나리오에서의 광도(light intensity)를 결정하고, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하며, 이러한 조정 후에 획득되는 녹화 프레임 레이트는 제1 프레임 레이트와는 상이하며, N은 2보다 큰 양의 정수이다. 또한, 이동 단말기는 조정 후 획득한 녹화 프레임 레이트에 기반하여 촬영 시나리오의 비디오 프레임을 계속 수집한다. 마지막으로, 이동 단말기는 제1 프레임 레이트에서 수집된 비디오 프레임 및 조정 후 획득된 녹화 프레임 레이트에 기반하여 수집된 비디오 프레임에 기반하여 비디오 파일을 생성한다.
이와 같이, 이동 단말기는 촬영 시나리오에서의 광도에 기반하여 녹화 프레임 레이트를 자동으로 제어할 수 있다. 비디오 녹화를 시작할 때 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집한다. 그 후, 촬영 시나리오에서의 광도가 강한 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 촬영 시나리오에서의 광도가 약하다고 결정한 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 촬영 시나리오에서의 광도가 중간이라고 결정한 경우, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속 수집할 수 있다. 촬영 시나리오에서의 광도에 기반하여 프레임 레이트를 동적으로 조정하면, 상대적으로 어두운 촬영 시나리오에서 이동 단말기로 촬영한 비디오의 이미지 명도가 향상되고 상대적으로 밝은 촬영 시나리오에서 이동 단말기로 촬영한 비디오의 이미지 평활도(smoothness)가 향상되어, 비디오 이미지의 화질이 향상될 수 있다.
가능한 구현예에서, 이동 단말기에 의해, 수집된 N개의 비디오 프레임에 기반하여 촬영 시나리오에서의 광도를 결정하는 단계는: 이동 단말기에 의해, N개의 비디오 프레임의 노출 파라미터가 제1 노출 파라미터 임계치보다 작은지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 촬영 시나리오에서의 광도가 제1 광도 임계치보다 큰 것으로 결정하는 단계를 포함한다.
가능한 구현예에서, 이동 단말기에 의해, 수집된 N개의 비디오 프레임에 기반하여 촬영 시나리오에서의 광도를 결정하는 단계는: 이동 단말기에 의해, N개의 비디오 프레임의 노출 파라미터가 제2 노출 파라미터 임계치보다 큰지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작은 것으로 결정하는 단계를 포함한다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 촬영 시나리오에서의 광도가 제1 광도 임계치보다 큰 경우, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제2 프레임 레이트는 제1 프레임 레이트보다 더 크다. 이와 같이, 촬영 시나리오에서의 광도가 상대적으로 강한 경우, 이동 단말기로 촬영한 비디오의 노출은 충분하고, 이동 단말기는 촬영된 비디오의 프레임 레이트를 증가시킬 수 있다. 프레임 레이트의 증가로 인해, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량이 증가하고 비디오는 보다 매끄러워진다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작은 경우, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제3 프레임 레이트는 제1 프레임 레이트보다 작고, 제2 광도 임계치는 제1 광도 임계치보다 작다. 이와 같이, 촬영 시나리오에서의 광도가 상대적으로 약한 경우, 이동 단말기에 의해 촬영된 비디오의 노출은 불충분하고, 이동 단말기는 촬영된 비디오의 프레임 레이트를 감소시킬 수 있다. 프레임 레이트의 감소로 인해, 이동 단말기 상에서 각 비디오 프레임의 노출 시간 기간은 길어지고, 비디오 이미지의 명도는 향상될 수 있다.
가능한 구현예에서, 이동 단말기가 제2 프레임 레이트에서 촬영 시나리오의 비디오 프레임을 수집하는 경우, 방법은: 이동 단말기에 의해, 현재 수집되는 비디오 프레임의 노출 파라미터가 제3 노출 파라미터 임계치보다 크고, 제2 노출 파라미터 임계치보다 작은지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제1 프레임 레이트로 조정하는 단계를 더 포함하고, 여기서 제1 노출 파라미터 임계치는 제3 노출 파라미터 임계치보다 작고, 제3 노출 파라미터 임계치는 제2 노출 파라미터 임계치보다 작다. 이와 같이, 비디오 프레임의 노출 파라미터가 대략 제1 노출 파라미터 임계치에서 변할 때 제1 프레임 레이트와 제2 프레임 레이트 간의 녹화 프레임 레이트의 빈번한 전환이 방지될 수 있다.
가능한 구현예에서, 이동 단말기가 제2 프레임 레이트에서 촬영 시나리오의 비디오 프레임을 수집하는 경우, 방법은: 이동 단말기에 의해, 현재 수집되는 비디오 프레임의 노출 파라미터가 제4 노출 파라미터 임계치보다 작고, 제1 노출 파라미터 임계치보다 큰지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제1 프레임 레이트로 조정하는 단계를 더 포함하고, 여기서 제1 노출 파라미터 임계치는 제4 노출 파라미터 임계치보다 작고, 제4 노출 파라미터 임계치는 제2 노출 파라미터 임계치보다 작다. 이와 같이, 비디오 프레임의 노출 파라미터가 대략 제2 노출 파라미터 임계치에서 변할 때 제1 프레임 레이트와 제3 프레임 레이트 간의 녹화 프레임 레이트의 빈번한 전환이 방지될 수 있다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 이동 단말기에 의해, 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 이동 단말기의 움직임 변위가 제1 거리 임계치보다 큰지의 여부를 결정하는 단계; 또는 이동 단말기에 의해, 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 이동 단말기의 움직임 속도가 제1 속도 임계치보다 큰지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제2 프레임 레이트는 제1 프레임 레이트보다 크다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 이동 단말기에 의해, 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작은지의 여부와, 이동 단말기의 움직임 변위가 제2 거리 임계치보다 작고, 이동 단말기의 움직임 속도가 제2 속도 임계치보다 작은지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제3 프레임 레이트는 제1 프레임 레이트보다 작다.
이와 같이, 이동 단말기가 격렬하게 움직이는 경우, 녹화 프레임 레이트는 증가하고, 이동 단말기에 의해 촬영되는 이미지의 각 프레임의 노출 시간 기간은 감소되며, 이동 단말기의 움직임으로 인해 유발되는 비디오 이미지의 블러는 감소된다. 이와 같이, 격렬한 움직임 상태에서의 이동 단말기에 의해 촬영된 비디오의 모션 블러를 감소시켜 비디오의 평활도 및 비디오 이미지의 화질을 향상시킬 수 있다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 이동 단말기에 의해, 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제3 거리 임계치보다 큰지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제2 프레임 레이트는 제1 프레임 레이트보다 크다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 이동 단말기에 의해, 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작고, N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치보다 작은지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제3 프레임 레이트는 제1 프레임 레이트보다 작다.
이와 같이, 촬영된 물체가 격렬하게 움직이는 경우에 녹화 프레임 레이트가 증가하므로, 이동 단말기에 의해 촬영되는 이미지의 각 프레임의 노출 시간 기간은 단축되며, 촬영된 물체의 움직임으로 인해 유발되는 비디오 이미지의 블러는 감소된다. 촬영된 물체가 약간 움직이는 경우 녹화 프레임 레이트는 감소하므로, 초당 촬영되는 이미지의 프레임의 수량은 감소되고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 따라서, 촬영된 비디오의 이미지 명도가 보장될 수 있고, 이동 단말기가 촬영된 이미지를 처리할 때 발생하는 전력 소비는 감소된다. 이와 같이, 촬영된 물체가 격렬한 움직임 상태에 있는 경우에 촬영된 비디오의 모션 블러를 감소시켜 비디오의 평활도 및 비디오 이미지의 화질을 향상시킬 수 있다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 이동 단말기에 의해, 다음의 조건이 충족되는지의 여부: 즉, 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 이동 단말기의 움직임 변위가 제1 거리 임계치보다 크거나 이동 단말기의 움직임 속도가 제1 속도 임계치보다 큰지; 또는 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제3 거리 임계치보다 큰지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제2 프레임 레이트는 제1 프레임 레이트보다 크다.
가능한 구현예에서, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계는: 이동 단말기에 의해, 다음의 조건이 충족되는지의 여부: 즉, 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작고, 이동 단말기의 움직임 변위가 제2 거리 임계치보다 작고, 그리고 N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치보다 작은지; 또는 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작고, 이동 단말기의 움직임 속도가 제2 속도 임계치보다 작고, 그리고 N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치보다 작은지의 여부를 결정하는 단계; 및 만약 그러하다면, 이동 단말기에 의해, 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 단계를 포함하고, 여기서 제3 프레임 레이트는 제1 프레임 레이트보다 작고, 제1 광도 임계치는 제2 광도 임계치보다 크고, 제1 거리 임계치는 제2 거리 임계치보다 작고, 제1 속도 임계치는 제2 속도 임계치보다 크며, 제4 거리 임계치는 제3 거리 임계치보다 작다.
이와 같이, 촬영 시나리오에서의 광도가 강하고 이동 단말기가 격렬한 움직임 상태에 있는 경우 녹화 프레임 레이트가 높기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 증가되고, 이미지의 각 프레임의 노출 시간 기간은 단축된다. 이와 같이, 이동 단말기의 격렬한 움직임으로 인해 유발되는 이미지의 모션 블러를 감소시켜, 비디오의 평활도를 향상시킬 수 있다. 또한, 촬영 시나리오에서의 광도가 강하기 때문에, 녹화 프레임 레이트가 높아도 이미지의 각 프레임은 상대적으로 밝다. 촬영 시나리오에서의 광도가 약하고 이동 단말기가 약간의 움직임 상태에 있는 경우 녹화 프레임 레이트가 낮기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 감소하고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 따라서, 저명도 환경에서 비디오의 이미지 명도는 향상된다. 이와 같이, 주변 광도 및 이동 단말기의 움직임 상태를 참조하여, 프레임 레이트를 여러 수준으로 제어함으로써, 고명도 시나리오에서 비디오의 이미지 명도 및 비디오의 평활도를 향상시킨다.
제2 양태에 따르면, 본 출원은 터치스크린, 카메라, 하나 이상의 프로세서, 및 하나 이상의 메모리를 포함하는 이동 단말기를 제공하며, 여기서 하나 이상의 메모리는 하나 이상의 프로세서에 연결되고, 하나 이상의 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성되고, 컴퓨터 프로그램 코드는 컴퓨터 인스트럭션을 포함한다. 하나 이상의 프로세서가 컴퓨터 인스트럭션을 실행하는 경우, 이동 단말기는 전술한 양태의 가능한 구현예 중 어느 하나에 따른 녹화 프레임 레이트 제어 방법을 수행한다.
제3 양태에 따르면, 본 출원의 실시예는 컴퓨터 인스트럭션을 포함하는 컴퓨터 저장 매체를 제공한다. 컴퓨터 인스트럭션이 이동 단말기 상에서 실행되는 경우, 통신 장치는 전술한 양태의 가능한 구현예 중 어느 하나에 따른 녹화 프레임 레이트 제어 방법을 수행하도록 활성화된다.
제4 양태에 따르면, 본 출원의 실시예는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행되는 경우, 컴퓨터는 전술한 양태의 가능한 구현예 중 어느 하나에 따른 녹화 프레임 레이트 제어 방법을 수행하도록 활성화된다.
도 1은 본 출원의 일 실시예에 따른 이동 단말기의 개략적인 구조 다이어그램이다.
도 2는 본 출원의 일 실시예에 따른 소프트웨어 아키텍처의 개략적인 다이어그램이다.
도 3은 본 출원의 일 실시예에 따른 녹화 프레임 레이트 제어 방법의 개략적인 논리 다이어그램이다.
도 4는 본 출원의 일 실시예에 따른 촬영 시나리오에서의 광도에 따라 변화하는 녹화 프레임 레이트의 그룹의 라인 그래프를 도시한 것이다.
도 5는 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 논리 다이어그램이다.
도 6은 본 출원의 일 실시예에 따른 이동 단말기의 움직임 상태에 따라 변화하는 녹화 프레임 레이트 그룹의 개략적인 선 그래프를 도시한다.
도 7은 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 논리 다이어그램이다.
도 8은 본 출원의 일 실시예에 따른 촬영된 물체의 움직임 상태에 따라 변화하는 녹화 프레임 레이트의 그룹의 개략적인 라인 그래프를 도시한 것이다.
도 9는 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 논리 다이어그램이다.
도 10은 본 출원의 일 실시예에 따른 촬영 시나리오에서의 광도 및 이동 단말기의 움직임 상태에 따라 변화하는 녹화 프레임 레이트의 그룹의 개략적인 라인 그래프를 도시한 것이다.
도 11은 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 논리 다이어그램이다.
도 12는 본 출원의 일 실시예에 따른 촬영 시나리오에서의 광도 및 촬영된 물체의 움직임 상태에 따라 변화하는 녹화 프레임 레이트의 그룹의 개략적인 라인 그래프를 도시한 것이다.
도 13은 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 논리 다이어그램이다.
도 14는 본 출원의 일 실시예에 따른 이동 단말기의 움직임 상태 및 촬영된 물체의 움직임 상태에 따라 변화하는 녹화 프레임 레이트의 그룹의 개략적인 라인 그래프를 도시한 것이다.
도 15는 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 논리 다이어그램이다.
도 16은 본 출원의 일 실시예에 따른 촬영 시나리오에서의 광도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태에 따라 변화하는 녹화 프레임 레이트의 그룹의 개략적인 라인 그래프이다.
도 17a 내지 도 17f는 본 출원의 일 실시예에 따른 인터페이스 그룹의 개략적인 다이어그램이다.
도 18은 본 출원의 일 실시예에 따른 녹화 프레임 레이트 제어 시스템의 개략적인 구조 다이어그램이다.
도 19는 본 출원의 일 실시예에 따른 녹화 프레임 레이트 제어 방법의 개략적인 플로우차트이다.
도 20은 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 플로우차트이다.
이하에서는 첨부 도면을 상세하게 참조하여 본 출원의 실시예의 기술적 솔루션을 명확하게 기술한다. 본 출원의 실시예에 대한 설명에서, "/"는 달리 언급되지 않는 한 "또는"을 나타낸다. 예를 들어, A/B는 A 또는 B를 나타낼 수 있다. 본 명세서의 "및/또는"이라는 용어는 단지 관련 객체를 설명하는 연관 관계를 기술할 뿐이며, 세 가지 관계가 존재할 수 있음을 나타낸다. 예를 들어, A 및/또는 B는 다음 세 가지 경우를 나타낼 수 있다: A만 존재하고, A와 B가 모두 존재하며, 그리고 B만 존재한다. 또한, 본 출원의 실시예에 대한 설명에서, "복수"는 둘 이상을 의미한다.
이하에서 언급되는 "제1" 및 "제2"라는 용어는 단지 설명의 목적만을 위한 것이며, 표시된 기술적 특징의 상대적 중요성의 표시 또는 의미로 또는 그 수량의 암시적 표시로서 이해되지 않아야 한다. 따라서, "제1" 또는 "제2"에 의해 제한되는 특징은 하나 이상의 특징을 명시적으로 또는 암시적으로 포함할 수 있다. 본 출원의 실시예에 대한 설명에서, 달리 명시되지 않는 한, "복수"는 둘 이상을 의미한다.
도 1은 이동 단말기(100)의 개략적인 구조 다이어그램이다.
이하에서는 이동 단말기(100)를 예로서 사용하여 실시예를 상세히 기술한다. 도 1에 도시된 이동 단말기(100)는 예시일 뿐이며, 이동 단말기(100)는 도 1에 도시된 것보다 많거나 적은 구성을 가질 수 있거나, 2개 이상의 컴포넌트를 결합할 수 있거나, 상이한 컴포넌트 구성을 가질 수 있음을 이해해야 한다. 도면에 도시된 다양한 컴포넌트는 하나 이상의 신호 처리 및/또는 주문형 집적 회로, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 포함하는 하드웨어 상에서 구현될 수 있다.
이동 단말기(100)는 프로세서(110), 외장 메모리 인터페이스(120), 내장 메모리(121), 범용 직렬 버스(universal serial bus)(USB) 인터페이스(130), 충전 관리 모듈(140), 전원 관리 모듈(141), 배터리(142), 안테나 1, 안테나 2, 이동 통신 모듈(150), 무선 통신 모듈(160), 오디오 모듈(170), 스피커(170A), 전화 수신기(170B), 마이크로폰(170C), 헤드셋 잭(170D), 센서 모듈(180), 키(190), 모터(191), 표시기(192), 카메라(193), 디스플레이(194), 가입자 식별 모듈(subscriber identification module)(SIM) 카드 인터페이스(195) 등을 포함할 수 있다. 센서 모듈(180)은 압력 센서(180A), 자이로 센서(180B), 기압 센서(180C), 자기 센서(180D), 가속도 센서(180E), 거리 센서(180F), 광 근접 센서(180G), 지문 센서(180H), 온도 센서(180J), 터치 센서(180K), 주변광 센서(180L), 골전도 센서(180M) 등을 포함할 수 있다.
본 발명의 이 실시예에서의 예시적인 구조는 이동 단말기(100)에 대한 특정한 제한을 구성하지 않는 것으로 이해될 수 있다. 본 출원의 일부 다른 실시예에서, 이동 단말기(100)는 도면에 도시된 것보다 더 많거나 더 적은 컴포넌트를 포함할 수 있거나, 일부 컴포넌트가 결합될 수 있거나, 일부 컴포넌트가 분할될 수 있거나, 상이한 컴포넌트 배열이 사용될 수 있다. 도면에서의 컴포넌트는 하드웨어, 소프트웨어, 또는 소프트웨어와 하드웨어의 조합을 사용하여 구현될 수 있다.
프로세서(110)는 하나 이상의 처리 유닛을 포함할 수 있다. 예를 들어, 프로세서(110)는 애플리케이션 프로세서(application processor)(AP), 모뎀 프로세서, 그래픽 처리 유닛(graphics processing unit)(GPU), 이미지 신호 프로세서(image signal processor)(ISP), 컨트롤러, 메모리, 비디오 코덱, 디지털 신호 프로세서(digital signal processor)(DSP), 기저대역 프로세서, 및/또는 신경망 처리 유닛(neural-network processing unit)(NPU)을 포함할 수 있다. 서로 다른 처리 유닛은 독립적인 컴포넌트일 수 있거나 하나 이상의 프로세서에 통합될 수 있다.
컨트롤러는 이동 단말기(100)의 신경 센터(nerve center) 및 커맨드 센터(command center)일 수 있다. 컨트롤러는 인스트럭션 연산 코드 및 시간 시퀀스 신호에 기반한 연산 제어 신호를 생성하여, 인스트럭션 판독 및 인스트럭션 실행의 제어를 완료할 수 있다.
프로세서(110)에는 인스트럭션 및 데이터를 저장하는 메모리가 추가로 배치될 수 있다. 일부 실시예에서, 프로세서(110) 내의 메모리는 캐시 메모리이다. 이 메모리는 프로세서(110)에 의해 방금 사용되거나 주기적으로 사용되는 인스트럭션 또는 데이터를 저장할 수 있다. 프로세서(110)가 인스트럭션 또는 데이터를 다시 사용해야 하는 경우, 프로세서(110)는 메모리로부터 인스트럭션 또는 데이터를 직접 호출하여, 반복된 액세스를 방지할 수 있고, 프로세서(110)의 대기 시간을 줄일 수 있다. 따라서, 시스템 효율성이 향상된다.
일부 실시예에서, 프로세서(110)는 하나 이상의 인터페이스를 포함할 수 있다. 인터페이스는 집적 회로 간(inter-integrated circuit)(I2C) 인터페이스, 사운드 집적 회로 간(inter-integrated circuit sound)(I2S) 인터페이스, 펄스 코드 변조(pulse code modulation)(PCM) 인터페이스, 범용 비동기 수신기/송신기(universal asynchronous receiver/transmitter)(UART) 인터페이스, 모바일 산업 프로세서 인터페이스(mobile industry processor interface)(MIPI), 범용 입력/출력(general-purpose input/output)(GPIO) 인터페이스, 가입자 식별 모듈(subscriber identity module)(SIM) 인터페이스, 범용 직렬 버스(universal serial bus)(USB) 인터페이스 등을 포함할 수 있다.
I2C 인터페이스는 양방향 동기화 직렬 버스이며, 하나의 직렬 데이터 라인(serial data line)(SDA)과 하나의 직렬 클럭 라인(serial clock line)(SCL)을 포함한다. 일부 실시예에서, 프로세서(110)는 복수의 I2C 버스 그룹을 포함할 수 있다. 프로세서(110)는 서로 다른 I2C 버스 인터페이스를 사용하여 터치 센서(180K), 충전기, 플래시 라이트, 카메라(193) 등에 연결될 수 있다. 예를 들어, 프로세서(110)는 I2C 버스 인터페이스를 사용하여 터치 센서(180K)에 연결될 수 있고, 그에 따라 프로세서(110)는 I2C 버스 인터페이스를 사용하여 터치 센서(180K)와 통신하여 이동 단말기(100)의 터치 기능을 구현할 수 있다.
I2S 인터페이스는 오디오 통신용으로 사용될 수 있다. 일부 실시예에서, 프로세서(110)는 복수의 I2S 버스 그룹을 포함할 수 있다. 프로세서(110)는 I2S 버스를 사용하여 오디오 모듈(170)에 연결되어, 프로세서(110)와 오디오 모듈(170) 간의 통신을 구현할 수 있다. 일부 실시예에서, 오디오 모듈(170)은 I2S 인터페이스를 사용하여 오디오 신호를 무선 통신 모듈(160)에 전달하여, 블루투스 헤드셋을 통해 호출에 응답하는 기능을 구현할 수 있다.
PCM 인터페이스는 또한 오디오 통신용으로 사용될 수 있으며, 아날로그 신호를 샘플링, 양자화, 및 코딩한다. 일부 실시예에서, 오디오 모듈(170)은 PCM 버스 인터페이스를 사용하여 무선 통신 모듈(160)에 연결될 수 있다. 일부 실시예에서, 오디오 모듈(170)은 또한 PCM 인터페이스를 사용하여 오디오 신호를 무선 통신 모듈(160)에 전달하여, 블루투스 헤드셋을 사용하여 호출에 응답하는 기능을 구현할 수 있다. I2S 인터페이스와 PCM 인터페이스는 모두 오디오 통신용으로 사용될 수 있다.
UART 인터페이스는 범용 직렬 데이터 버스이며, 비동기 통신용으로 사용된다. 버스는 양방향 통신 버스일 수 있다. 버스는 전송될 데이터에 대해 직렬 통신과 병렬 통신 간의 변환을 수행한다. 일부 실시예에서, UART 인터페이스는 일반적으로 프로세서(110)를 무선 통신 모듈(160)에 연결하도록 구성된다. 예를 들어, 프로세서(110)는 UART 인터페이스를 사용하여 무선 통신 모듈(160) 내의 블루투스 모듈과 통신하여, 블루투스 기능을 구현한다. 일부 실시예에서, 오디오 모듈(170)은 UART 인터페이스를 사용하여 오디오 신호를 무선 통신 모듈(160)에 전달하여, 블루투스 헤드셋을 통해 음악을 재생하는 기능을 구현할 수 있다.
MIPI 인터페이스는 프로세서(110)를 디스플레이(194) 또는 카메라(193)와 같은 주변 장치에 연결하도록 구성될 수 있다. MIPI 인터페이스는 카메라 직렬 인터페이스(camera serial interface)(CSI), 디스플레이 직렬 인터페이스(display serial interface)(DSI) 등을 포함한다. 일부 실시예에서, 프로세서(110)는 CSI 인터페이스를 사용하여 카메라(193)와 통신하여, 이동 단말기(100)의 촬영 기능을 구현한다. 프로세서(110)는 DSI 인터페이스를 사용하여 디스플레이(194)와 통신하여, 이동 단말기(100)의 디스플레이 기능을 구현한다.
GPIO 인터페이스는 소프트웨어를 사용하여 구성될 수 있다. GPIO 인터페이스는 제어 신호로서 구성될 수 있거나, 데이터 신호로서 구성될 수 있다. 일부 실시예에서, GPIO 인터페이스는 프로세서(110)를 카메라(193), 디스플레이(194), 무선 통신 모듈(160), 오디오 모듈(170), 센서 모듈(180) 등에 연결하도록 구성될 수 있다. GPIO 인터페이스는 대안적으로 I2C 인터페이스, I2S 인터페이스, UART 인터페이스, MIPI 인터페이스 등으로서 구성될 수 있다.
USB 인터페이스(130)는 USB 표준 사양을 따르는 인터페이스이며, 구체적으로 미니 USB 인터페이스, 마이크로 USB 인터페이스, USB 타입 C 인터페이스 등이 될 수 있다. USB 인터페이스(130)는 충전기와 연결되어 이동 단말기(100)를 충전하도록 구성될 수 있거나, 이동 단말기(100)와 주변 장치 간에 데이터를 전송하도록 구성될 수 있다. USB 인터페이스(130)는 대안적으로 헤드셋에 연결되어 헤드셋을 통해 오디오를 재생하도록 구성될 수 있다. USB 인터페이스(130)는 대안적으로 AR 디바이스와 같은 다른 이동 단말기에 연결하도록 구성될 수 있다.
본 발명의 실시예에 도시된 모듈들 간의 인터페이스 연결 관계는 설명을 위한 예시일 뿐이며, 이동 단말기(100)의 구조에 대한 제한을 형성하지 않음을 이해할 수 있다. 본 출원의 일부 다른 실시예에서, 이동 단말기(100)는 전술한 실시예의 것과 다른 인터페이스 연결 모드를 대안적으로 사용할 수 있거나, 복수의 인터페이스 연결 모드의 조합을 사용할 수 있다.
충전 관리 모듈(140)은 충전기로부터 충전 입력을 수신하도록 구성된다. 충전기는 무선 충전기 또는 유선 충전기일 수 있다. 유선 충전의 일부 실시예에서, 충전 관리 모듈(140)은 USB 인터페이스(130)를 사용하여 유선 충전기의 충전 입력을 수신할 수 있다. 무선 충전의 일부 실시예에서, 충전 관리 모듈(140)은 이동 단말기(100)의 무선 충전 코일을 사용하여 무선 충전 입력을 수신할 수 있다. 충전 관리 모듈(140)은 배터리(142)를 충전하면서 전원 관리 모듈(141)을 사용하여 이동 단말기에 전력을 추가로 공급할 수 있다.
전력 관리 모듈(141)은 배터리(142), 충전 관리 모듈(140), 및 프로세서(110)에 연결되도록 구성된다. 전원 관리 모듈(141)은 배터리(142) 및/또는 충전 관리 모듈(140)로부터 입력을 수신하고, 프로세서(110), 내장 메모리(121), 외장 메모리, 디스플레이(194), 카메라(193), 무선 통신 모듈(160) 등에 전력을 공급한다. 전력 관리 모듈(141)은 배터리 용량, 배터리 사이클, 및 배터리 건전 상태(누전 또는 임피던스)와 같은 파라미터를 모니터링하도록 추가로 구성될 수 있다. 일부 다른 실시예에서, 전력 관리 모듈(141)은 대안적으로 프로세서(110) 내에 배치될 수 있다. 일부 다른 실시예에서, 전력 관리 모듈(141) 및 충전 관리 모듈(140)은 대안적으로 동일한 컴포넌트 내에 배치될 수 있다.
이동 단말기(100)의 무선 통신 기능은 안테나 1, 안테나 2, 이동 통신 모듈(150), 무선 통신 모듈(160), 모뎀 프로세서, 기저대역 프로세서 등을 사용하여 구현될 수 있다.
안테나 1 및 안테나 2는 전자파 신호를 송신 및 수신하도록 구성된다. 이동 단말기(100)의 각 안테나는 하나 이상의 통신 대역을 커버하도록 구성될 수 있다. 안테나 활용도를 향상시키기 위해 다른 안테나가 추가로 다중화될 수 있다. 예를 들어, 안테나 1은 무선 근거리 통신망의 다이버시티 안테나로서 다중화될 수 있다. 일부 다른 실시예에서, 안테나는 튜닝 스위치와 조합하여 사용될 수 있다.
이동 통신 모듈(150)은 이동 단말기(100)에 적용되는 2G/3G/4G/5G 등을 포함하는 무선 통신을 위한 솔루션을 제공할 수 있다. 이동 통신 모듈(150)은 적어도 하나의 필터, 스위치, 전력 증폭기, 저잡음 증폭기(low noise amplifier)(LNA) 등을 포함할 수 있다. 이동 통신 모듈(150)은 안테나 1을 사용하여 전자파를 수신할 수 있고, 수신된 전자파에 대해 필터링 또는 증폭과 같은 처리를 수행할 수 있고, 전자파를 복조를 위해 모뎀 프로세서에 전달할 수 있다. 이동 통신 모듈(150)은 모뎀 프로세서에 의해 변조된 신호를 추가로 증폭하고, 안테나 1을 사용하여 신호를 방사용 전자파로 변환할 수 있다. 일부 실시예에서, 이동 통신 모듈(150) 내의 적어도 일부 기능 모듈은 프로세서(110) 내에 배치될 수 있다. 일부 실시예에서, 이동 통신 모듈(150) 내의 적어도 일부 기능 모듈과 프로세서(110) 내의 적어도 일부 모듈은 동일한 컴포넌트 내에 배치될 수 있다.
모뎀 프로세서는 변조기 및 복조기를 포함할 수 있다. 변조기는 전송될 저주파 기저대역 신호를 중-고주파 신호(medium-high-frequency signal)로 변조하도록 구성된다. 복조기는 수신된 전자기파 신호를 저주파 기저대역 신호로 복조하도록 구성된다. 그 후, 복조기는 복조를 통해 얻은 저주파 기저대역 신호를 처리를 위한 기저대역 프로세서로 전달한다. 저주파 기저대역 신호는 기저대역 프로세서에 의해 처리되고, 그 후 애플리케이션 프로세서로 전달된다. 애플리케이션 프로세서는 (스피커(170A), 전화 수신기(170B) 등으로 제한되지 않는) 오디오 디바이스를 사용하여 사운드 신호를 출력하거나, 디스플레이(194)를 사용하여 이미지 또는 비디오를 디스플레이한다. 일부 실시예에서, 모뎀 프로세서는 독립 컴포넌트일 수 있다. 일부 다른 실시예에서, 모뎀 프로세서는 프로세서(110)와 독립적일 수 있고, 이동 통신 모듈(150) 또는 다른 기능 모듈과 함께 동일한 컴포넌트 내에 배치된다.
무선 통신 모듈(160)은 이동 단말기(100)에 적용되는 무선 근거리 통신망(wireless local area network)(WLAN)(예를 들어, 무선 충실도(wireless fidelity)(Wi-Fi) 네트워크), 블루투스(bluetooth)(BT), 글로벌 내비게이션 위성 시스템(global navigation satellite system)(GNSS), 주파수 변조(frequency modulation)(FM), 근거리 통신(near field communication)(NFC) 기술, 또는 적외선(infrared)(IR) 기술과 같은 무선 통신을 위한 솔루션을 제공할 수 있다. 무선 통신 모듈(160)은 적어도 하나의 통신 프로세서 모듈을 통합하는 하나 이상의 컴포넌트일 수 있다. 무선 통신 모듈(160)은 안테나 2를 사용하여 전자파를 수신하고, 전자파 신호에 대해 주파수 변조 및 필터링 처리를 수행하고, 처리된 신호를 프로세서(110)로 전송한다. 무선 통신 모듈(160)은 추가적으로 프로세서(110)로부터 전송될 신호를 수신하고, 그 신호에 대해 주파수 변조를 수행하고 그 신호를 증폭하며, 그 신호를 안테나 2를 사용한 방사를 위한 전자파로 변환할 수 있다.
일부 실시예에서, 이동 단말기(100)의 안테나 1과 이동 통신 모듈(150)이 연결되고, 이동 단말기(100)의 안테나 2와 무선 통신 모듈(160)이 연결되며, 그에 따라 이동 단말기(100)는 무선 통신 기술을 사용하여 네트워크 및 다른 디바이스와 통신할 수 있다. 무선 통신 기술은 글로벌 이동 통신 시스템(global system for mobile communications)(GSM), 일반 패킷 무선 서비스(general packet radio service)(GPRS), 코드 분할 다중 접속(code division multiple access)(CDMA), 광대역 코드 분할 다중 접속(wideband code division multiple access)(WCDMA), 시분할 코드 분할 다중 접속(time-division code division multiple access)(TD-SCDMA), 롱텀에볼루션(long term evolution)(LTE), BT, GNSS, WLAN, NFC, FM, 및/또는 IR과 같은 기술을 포함할 수 있다. GNSS는 글로벌 위치 확인 시스템(global positioning system)(GPS), 글로벌 내비게이션 위성 시스템(global navigation satellite system)(GLONASS), BeiDou 내비게이션 위성 시스템(BeiDou navigation satellite system)(BDS), 준천정 위성 시스템(quasi-zenith satellite system)(QZSS), 및/또는 위성 기반 증강 시스템(satellite based augmentation system)(SBAS)을 포함할 수 있다.
이동 단말기(100)는 GPU, 디스플레이(194), 애플리케이션 프로세서 등을 사용하여 디스플레이 기능을 구현한다. GPU는 이미지 처리를 위한 마이크로프로세서이며, 디스플레이(194) 및 애플리케이션 프로세서에 연결된다. GPU는 수학적 및 기하학적 계산을 수행하도록 구성되고, 이미지를 렌더링하도록 구성된다. 프로세서(110)는, 프로그램 인스트럭션을 실행하여 디스플레이 정보를 생성 또는 변경하는 하나 이상의 GPU를 포함할 수 있다.
디스플레이(194)는 이미지, 비디오 등을 디스플레이하도록 구성된다. 디스플레이(194)는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 디스플레이(liquid crystal display)(LCD), 유기 발광 다이오드(organic light-emitting diode)(OLED), 능동 매트릭스 유기 발광 다이오드(active-matrix organic light emitting diode)(AMOLED), 플렉시블 발광 다이오드(flexible light-emitting diode)(FLED), 미니 LED, 마이크로 LED, 마이크로 OLED, 양자점 발광 다이오드(quantum dot light emitting diode)(QLED) 등을 사용할 수 있다. 일부 실시예에서, 이동 단말기(100)는 하나 또는 N개의 디스플레이(194)를 포함할 수 있으며, 여기서 N은 1보다 큰 양의 정수이다.
이동 단말기(100)는 ISP, 카메라(193), 비디오 코덱, GPU, 디스플레이(194), 애플리케이션 프로세서 등을 사용하여 촬영 기능을 구현할 수 있다.
ISP는 카메라(193)에 의해 피드백된 데이터를 처리하도록 구성된다. 예를 들어, 촬영 동안, 셔터가 턴온되고, 렌즈를 통해 카메라의 감광 요소에 광선이 전달되고, 광학 신호가 전기 신호로 변환되고, 카메라의 감광 요소는 전기 신호를 처리를 위해 ISP로 전송하고, 전기 신호는 볼 수 있는 이미지로 변환된다. ISP는 이미지의 노이즈, 명도, 및 외관(complexion)에 대해 알고리즘 최적화를 추가로 수행할 수 있다. ISP는 촬영 시나리오의 노출 및 색온도와 같은 파라미터를 추가로 최적화할 수 있다. 일부 실시예에서, ISP는 카메라(193) 내에 배치될 수 있다.
카메라(193)는 정적 이미지 또는 비디오를 캡처하도록 구성된다. 물체의 광학 이미지는 렌즈를 사용하여 생성되고 감광 요소에 투사된다. 감광 요소는 전하 결합 소자(charge coupled device)(CCD) 또는 상보형 금속 산화물 반도체(complementary metal-oxide-semiconductor)(CMOS) 광전 트랜지스터일 수 있다. 감광 요소는 광학 신호를 전기 신호로 변환하고, 그 후 전기 신호를 ISP에 전송하여 전기 신호를 디지털 이미지 신호로 변환한다. ISP는 디지털 이미지 신호를 처리를 위해 DSP로 출력한다. DSP는 디지털 이미지 신호를 RGB 또는 YUV와 같은 형식의 표준 이미지 신호로 변환한다. 일부 실시예에서, 이동 단말기(100)은 하나 또는 N개의 카메라(193)를 포함할 수 있으며, 여기서 N은 1보다 큰 양의 정수이다.
디지털 신호 프로세서는 디지털 신호를 처리하도록 구성된다. 디지털 이미지 신호 외에도, 디지털 신호 프로세서는 다른 디지털 신호를 추가로 처리할 수 있다. 예를 들어, 이동 단말기(100)가 주파수를 선택하면, 디지털 신호 프로세서는 주파수 에너지 등에 대한 푸리에 변환을 수행하도록 구성된다.
비디오 코덱은 디지털 비디오를 압축하거나 압축 해제하도록 구성된다. 이동 단말기(100)는 하나 이상의 타입의 비디오 코덱을 지원할 수 있다. 이와 같이, 이동 단말기(100)는 동화상 전문가 그룹(moving picture experts group)(MPEG) 1, MPEG 2, MPEG 3, 및 MPEG 4와 같은 복수의 코딩 형식으로 비디오를 재생하거나 녹화할 수 있다.
NPU는 생물학적 신경망의 구조, 예를 들어 인간의 뇌 뉴런 간의 전달 방식을 참고하여 입력 정보를 빠르게 처리하는 신경망(neural-network)(NN) 컴퓨팅 프로세서이며, 추가로 자기 학습을 지속적으로 수행할 수 있다. NPU는 이미지 인식, 얼굴 인식, 음성 인식 및 텍스트 이해와 같은 이동 단말기(100)의 지능형 인식 및 다른 애플리케이션을 구현하는 데 사용될 수 있다.
외장 메모리 인터페이스(120)는 마이크로 SD 카드와 같은 외장 저장 카드에 연결되어 이동 단말기(100)의 저장 능력을 확장하도록 구성될 수 있다. 외장 저장 카드는 외장 메모리 인터페이스(120)를 사용하여 프로세서(110)와 통신하여, 데이터 저장 기능을 구현한다. 예를 들어, 음악 및 비디오와 같은 파일은 외장 저장 카드에 저장된다.
내장 메모리(121)는 컴퓨터에서 실행 가능한 프로그램 코드를 저장하도록 구성될 수 있으며, 실행 가능한 프로그램 코드는 인스트럭션을 포함한다. 프로세서(110)는 내장 메모리(121)에 저장된 인스트럭션을 실행하여, 이동 단말기(100)의 다양한 기능 애플리케이션을 구현하고, 데이터를 처리한다. 내장 메모리(121)는 프로그램 저장 구역 및 데이터 저장 구역을 포함할 수 있다. 프로그램 저장 구역은 운영 체제, 적어도 하나의 기능(예컨대, 음성 재생 기능 또는 이미지 재생 기능)에 필요한 애플리케이션 프로그램 등을 저장할 수 있다. 데이터 저장 구역은 이동 단말기(100)의 사용 동안에 생성된 데이터(예를 들어, 오디오 데이터 및 주소록) 등을 저장할 수 있다. 또한, 내장 메모리(121)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비 휘발성 메모리, 예를 들어, 적어도 하나의 자기 디스크 저장 디바이스, 플래시 저장 디바이스, 또는 범용 플래시 스토리지(universal flash storage)(UFS)를 더 포함할 수 있다.
이동 단말기(100)는 오디오 모듈(170), 스피커(170A), 전화 수신기(170B), 마이크로폰(170C), 헤드셋 잭(170D), 애플리케이션 프로세서 등을 사용하여, 음악 재생 및 녹음과 같은 오디오 기능을 구현할 수 있다.
오디오 모듈(170)은 디지털 오디오 정보를 아날로그 오디오 신호 출력으로 변환하도록 구성되며, 또한 아날로그 오디오 입력을 디지털 오디오 신호로 변환하도록 구성된다. 오디오 모듈(170)은 오디오 신호를 인코딩 및 디코딩하도록 추가로 구성될 수 있다. 일부 실시예에서, 오디오 모듈(170)은 프로세서(110) 내에 배치될 수 있거나, 오디오 모듈(170) 내의 일부 기능 모듈은 프로세서(110) 내에 배치된다.
"혼(horn)"이라고도 하는 스피커(170A)는 오디오 전기 신호를 사운드 신호로 변환하도록 구성된다. 이동 단말기(100)는 핸즈프리 모드에서 스피커(170A)를 통해 음악을 듣거나 통화에 응답하는 데 사용될 수 있다.
"이어피스(earpiece)"라고도 하는 전화 수신기(170B)는 오디오 전기 신호를 사운드 신호로 변환하도록 구성된다. 이동 단말기(100)를 사용하여 통화에 응답하거나 오디오 정보를 청취할 경우, 전화 수신기(170B)를 사람의 귀에 가까이 대어 음성을 들을 수 있다.
"마이크" 또는 "음성 송신기"라고도 하는 마이크로폰(170C)은 사운드 신호를 전기 신호로 변환하도록 구성된다. 통화를 하거나 음성 정보를 전송할 경우, 사용자는 사용자의 입을 사용하여 마이크로폰(170C) 근처에서 사운드를 만들어, 마이크로폰(170C)에 사운드 신호를 입력할 수 있다. 이동 단말기(100)에는 적어도 하나의 마이크로폰(170C)이 배치될 수 있다. 일부 다른 실시예에서, 두 개의 마이크로폰(170C)이 이동 단말기(100) 내에 배치되어, 사운드 신호를 수집하고, 노이즈 감소 기능을 구현할 수 있다. 일부 다른 실시예에서, 3개, 4개, 또는 그 이상의 마이크로폰(170C)이 이동 단말기(100) 내에 대안적으로 배치되어, 사운드 신호를 수집하고, 노이즈를 감소시키고, 사운드 소스를 식별하고, 방향성 녹음 기능 등을 구현할 수 있다.
헤드셋 잭(170D)은 유선 헤드셋에 연결되도록 구성된다. 헤드셋 잭(170D)은 USB 인터페이스(130), 3.5mm 개방형 이동 단말기 플랫폼(open mobile terminal platform)(OMTP) 표준 인터페이스, 또는 미국 셀룰러 통신 산업 협회(cellular telecommunications industry association of the USA)(CTIA) 표준 인터페이스일 수 있다.
압력 센서(180A)는 압력 신호를 감지하도록 구성되며, 압력 신호를 전기 신호로 변환할 수 있다. 일부 실시예에서, 압력 센서(180A)는 디스플레이(194) 상에 배치될 수 있다. 압력 센서(180A)에는 저항성 압력 센서, 유도성 압력 센서, 및 용량성 압력 센서와 같은 많은 타입이 있다. 용량성 압력 센서는 적어도 두 개의 전도성 재료를 포함하는 평행 플레이트(parallel plate)일 수 있다. 압력 센서(180A)에 힘이 가해지면 전극들 간의 정전 용량이 변한다. 이동 단말기(100)는 정전 용량 변화에 기반하여 압력 강도를 결정한다. 이동 단말기(100)는 디스플레이(194)에 터치 조작이 수행되면 압력 센서(180A)를 사용하여 터치 조작에 대한 강도를 검출한다. 이동 단말기(100)는 압력 센서(180A)의 검출 신호에 기반하여 터치 위치를 추가로 계산할 수 있다. 일부 실시예에서, 동일한 터치 위치에 서로 다른 터치 조작 강도로 가해지는 터치 조작은 서로 다른 조작 인스트럭션에 대응할 수 있다. 예를 들어, 제1 압력 임계치보다 작은 터치 조작 강도의 터치 조작이 SMS 메시지 애플리케이션 아이콘에 대해 수행되면, SMS 메시지를 보기 위한 인스트럭션이 실행된다. 제1 압력 임계치보다 크거나 같은 터치 조작 강도의 터치 조작이 SMS 메시지 애플리케이션 아이콘에 대해 수행되면, SMS 메시지를 생성하기 위한 인스트럭션이 실행된다.
자이로 센서(180B)는 이동 단말기(100)의 움직임 자세(motion posture)를 결정하도록 구성될 수 있다. 일부 실시예에서, 자이로 센서(180B)를 사용하여 3축(x, y, 및 z 축) 주위로의 이동 단말기(100)의 각 속도를 결정할 수 있다. 자이로 센서(180B)는 촬영 동안 손떨림 보정(image stabilization)을 위해 사용될 수 있다. 예를 들어, 셔터가 턴온되면, 자이로 센서(180B)는 이동 단말기(100)가 떨리는 각도를 검출하고, 그 각도에 기반하여 렌즈 모듈이 보정해야 할 거리를 계산하고, 렌즈가 역방향 움직임을 통해 이동 단말기(100)의 떨림(jitter)을 상쇄시켜, 손떨림 보정을 구현한다. 자이로 센서(180B)는 또한 내비게이션 및 움직임 감지 게임 장면용으로 사용될 수 있다.
기압 센서(180C)는 기압을 측정하도록 구성된다. 일부 실시예에서, 이동 단말기(100)는 기압 센서(180C)에 의해 측정된 기압 값을 사용하여 고도를 계산하여, 포지셔닝 및 내비게이션을 돕는다.
자기 센서(180D)는 홀 센서를 포함한다. 이동 단말기(100)는 자기 센서(180D)를 사용하여 플립 가죽 케이스의 개폐를 검출할 수 있다. 일부 실시예에서, 이동 단말기(100)가 플립 폰(flip phone)인 경우, 이동 단말기(100)는 자기 센서(180D)에 기반하여 플립 커버의 개폐를 검출할 수 있다. 또한, 검출된 가죽 케이스의 개폐 상태 또는 검출된 플립 커버의 개폐 상태에 기반하여 플립 커버의 자동 잠금 해제와 같은 특징이 설정된다.
가속도 센서(180E)는 이동 단말기(100)의 다양한 방향(보통 3 축 방향)의 가속도의 값을 검출할 수 있다. 이동 단말기(100)가 정지된 경우, 중력의 값 및 방향이 검출될 수 있다. 가속도 센서(180E)는 이동 단말기의 자세를 식별하도록 추가로 구성될 수 있으며, 가로 모드와 세로 모드 간의 화면 전환 및 만보계와 같은 애플리케이션에 적용된다.
거리 센서(180F)는 거리를 측정하도록 구성된다. 이동 단말기(100)는 적외선 또는 레이저를 사용하여 거리를 측정할 수 있다. 일부 실시예에서, 촬영 시나리오에서, 이동 단말기(100)는 거리 센서(180F)를 사용하여 거리를 측정하여, 고속 포커싱(fast focusing)을 구현할 수 있다.
광 근접 센서(180G)는, 예를 들어, 발광 다이오드(LED), 및 포토 다이오드와 같은 광 검출기를 포함할 수 있다. 발광 다이오드는 적외선 발광 다이오드일 수 있다. 이동 단말기(100)는 발광 다이오드를 사용하여 적외선을 외부로 방출한다. 이동 단말기(100)는 포토 다이오드를 사용하여 주변 물체로부터 적외선 반사광을 검출한다. 충분한 반사광이 검출되면, 이동 단말기(100) 주변에 물체가 있는 것으로 결정될 수 있다. 불충분한 반사광이 검출되면, 이동 단말기(100)는 이동 단말기(100) 주변에 물체가 없는 것으로 결정할 수 있다. 이동 단말기(100)는 광 근접 센서(180G)를 사용하여, 사용자가 통화를 위해 이동 단말기(100)를 귀에 가까이 대고 있음을 검출하고, 절전을 위해 디스플레이를 자동으로 턴오프할 수 있다. 광 근접 센서(180G)는 또한 스마트 커버 모드나 포켓 모드에서도 사용되어, 화면을 자동으로 잠금 또는 잠금 해제할 수 있다.
주변광 센서(180L)는 주변광 명도를 감지하도록 구성된다. 이동 단말기(100)는 감지된 주변 광의 명도에 기반하여 디스플레이(194)의 명도를 적응적으로 조정할 수 있다. 주변광 센서(180L)는 촬영 동안 화이트 밸런스를 자동으로 조정하도록 추가로 구성될 수 있다. 주변광 센서(180L)는 광 근접 센서(180G)와 추가로 협력하여, 이동 단말기(100)가 포켓 내에 있는지의 여부를 검출하여 오터치(false touch)를 방지할 수 있다.
지문 센서(180H)는 지문을 수집하도록 구성된다. 이동 단말기(100)는 수집된 지문의 특징을 사용하여 지문의 잠금 해제, 애플리케이션 접근 차단, 지문 촬영, 지문 통화 응답 등을 구현할 수 있다.
온도 센서(180J)는 온도를 검출하도록 구성된다. 일부 실시예에서, 이동 단말기(100)는 온도 센서(180J)에 의해 검출된 온도를 사용하여 온도 처리 정책을 실행한다. 예를 들어, 온도 센서(180J)에 의해 보고된 온도가 임계치를 초과하는 경우, 이동 단말기(100)는 온도 센서(180J) 근처에 위치한 프로세서의 성능을 낮추어, 열 보호를 구현하기 위한 전력 소비를 감소시킨다. 일부 다른 실시예에서, 온도가 다른 임계치 미만인 경우, 이동 단말기(100)는 배터리(142)를 가열하여 저온으로 인해 유발되는 이동 단말기(100)의 비정상 종료를 방지할 수 있다. 일부 다른 실시예에서, 온도가 또 다른 임계치 미만인 경우, 이동 단말기(100)는 배터리(142)의 출력 전압을 승압하여, 저온으로 인해 유발되는 비정상 종료를 방지할 수 있다.
터치 센서(180K)는 "터치 패널"이라고도 한다. 터치 센서(180K)는 디스플레이(194) 내에 배치될 수 있고, 터치 센서(180K)와 디스플레이(194)는 터치스크린을 구성한다. 터치 센서(180K)는 터치 센서(180K) 상의 또는 그 근처의 터치 조작을 검출하도록 구성된다. 터치 센서는 검출된 터치 조작을 애플리케이션 프로세서에 전달하여 터치 이벤트의 타입을 결정할 수 있다. 터치 조작과 관련된 시각적 출력은 디스플레이(194)를 사용하여 제공될 수 있다. 일부 다른 실시예에서, 터치 센서(180K)는 또한 이동 단말기(100)의 표면 상에서 디스플레이(194)와는 다른 위치에 배치될 수 있다.
골전도 센서(180M)는 진동 신호를 수집할 수 있다. 일부 실시예에서, 골전도 센서(180M)는 사람의 성대 부분의 진동 뼈의 진동 신호를 획득할 수 있다. 골전도 센서(180M)는 또한 체맥(body pulse)과 접촉하여 혈압 박동 신호를 수신할 수 있다. 일부 실시예에서, 골전도 센서(180M)는 대안적으로 헤드셋 내에 배치되어, 골전도 헤드셋을 획득할 수 있다. 오디오 모듈(170)은 골전도 센서(180M)에 의해 획득된, 성대의 진동 뼈에 대한 진동 신호에 기반한 파싱을 통해 음성 신호를 획득하여, 음성 기능을 구현할 수 있다. 애플리케이션 프로세서는 골전도 센서(180M)에 의해 획득된 혈압 박동 신호에 기반하여 심박수 정보를 파싱하여, 심박수 검출 기능을 구현할 수 있다.
키(190)는 전원 키, 볼륨 키 등을 포함한다. 키(190)는 기계식 키일 수 있거나, 터치 키일 수 있다. 이동 단말기(100)는 키 입력을 수신할 수 있고, 이동 단말기(100)의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있다.
모터(191)는 진동 프롬프트를 생성할 수 있다. 모터(191)는 착신 진동 프롬프트 및 터치 진동 피드백을 위해 사용될 수 있다. 예를 들어, 서로 다른 애플리케이션(예를 들어, 촬영 및 오디오 재생)에서 수행되는 터치 조작은 서로 다른 진동 피드백 효과에 해당할 수 있다. 모터(191)는 또한 디스플레이(194)의 서로 다른 구역에 가해지는 터치 조작에 대한 서로 다른 진동 피드백 효과에 대응할 수 있다. 서로 다른 애플리케이션 시나리오(예를 들어, 시간 리마인더, 정보 수신, 알람 시계, 및 게임)는 또한 서로 다른 진동 피드백 효과에 해당할 수 있다. 터치 진동 피드백 효과의 커스텀화(customization)가 추가로 지원될 수 있다.
표시기(192)는, 충전 상태 및 전원 변경을 표시하도록 구성될 수 있거나, 메시지, 부재중 통화, 통지 등을 표시하도록 구성될 수 있는 표시기 라이트(indicator light)일 수 있다.
SIM 카드 인터페이스(195)는 SIM 카드에 연결하도록 구성된다. SIM 카드는 SIM 카드 인터페이스(195)에 삽입되거나 SIM 카드 인터페이스(195)에 플러그로 꽂혀, 이동 단말기(100)와의 접촉 또는 분리를 구현할 수 있다. 이동 단말기(100)는 하나 또는 N개의 SIM 카드 인터페이스를 지원할 수 있으며, 여기서 N은 1보다 큰 양의 정수이다. SIM 카드 인터페이스(195)는 나노 SIM 카드, 마이크로 SIM 카드, SIM 카드 등을 지원할 수 있다. 동일한 SIM 카드 인터페이스(195)에 복수의 카드가 동시에 삽입될 수 있다. 복수의 카드는 동일한 타입일 수 있거나 상이한 타입일 수 있다. SIM 카드 인터페이스(195)는 또한 상이한 타입의 SIM 카드와 호환될 수 있다. SIM 카드 인터페이스(195)는 또한 외장 저장 카드와 호환될 수 있다. 이동 단말기(100)는 SIM 카드를 사용하여 네트워크와 상호 작용하여, 통화, 데이터 통신 등의 기능을 구현한다. 일부 실시예에서, 이동 단말기(100)는 eSIM, 즉 임베디드 SIM 카드를 사용한다. eSIM 카드는 이동 단말기(100) 내에 내장될 수 있으며, 이동 단말기(100)로부터 분리될 수 없다.
이동 단말기(100)의 소프트웨어 시스템은 계층화된 아키텍처(layered architecture), 이벤트 구동식 아키텍처(event-driven architecture), 마이크로커널 아키텍처(microkernel architecture), 마이크로서비스 아키텍처(microservice architecture), 또는 클라우드 아키텍처(cloud architecture)를 사용할 수 있다. 본 발명의 실시예에서, 이동 단말기(100)의 소프트웨어 구조를 설명하기 위해 계층화된 아키텍처를 사용하는 안드로이드 시스템을 일 예로서 사용한다.
도 2는 본 발명의 일 실시예에 따른 이동 단말기(100)의 소프트웨어 구조의 블럭 다이어그램이다.
계층화된 아키텍처에서, 소프트웨어는 여러 계층으로 분할되며, 각 계층은 명확한 역할과 태스크를 갖는다. 계층은 소프트웨어 인터페이스를 사용하여 서로 통신한다. 일부 실시예에서, 안드로이드 시스템은 4개의 계층, 즉, 위에서 아래로 애플리케이션 프로그램 계층, 애플리케이션 프로그램 프레임워크 계층, 안드로이드 런타임(Android runtime), 시스템 라이브러리, 및 커널 계층으로 분할된다.
애플리케이션 프로그램 계층은 일련의 애플리케이션 프로그램 패키지를 포함할 수 있다.
도 2에 도시된 바와 같이, 애플리케이션 프로그램 패키지는 카메라, 갤러리, 캘린더, 전화, 맵, 내비게이션, WLAN, 블루투스, 음악, 비디오, 및 메시징과 같은 애플리케이션 프로그램을 포함할 수 있다.
애플리케이션 프로그램 프레임워크 계층은 애플리케이션 프로그램 계층에서의 애플리케이션 프로그램을 위해 애플리케이션 프로그래밍 인터페이스(application programming interface)(API) 및 프로그래밍 프레임워크를 제공한다. 애플리케이션 프로그램 프레임워크 계층은 일부의 미리 정의된 기능을 포함한다.
도 2에 도시된 바와 같이, 애플리케이션 프로그램 프레임워크 계층은 윈도우 관리자, 콘텐츠 공급자, 뷰 시스템, 전화 관리자, 리소스 관리자, 통지 관리자 등을 포함할 수 있다.
윈도우 관리자는 윈도우 프로그램을 관리하도록 구성된다. 윈도우 관리자는 디스플레이의 사이즈를 획득하고, 상태 바(status bar)가 존재하는지의 여부를 결정하고, 화면을 잠그고, 스크린샷을 찍는 등의 작업을 수행할 수 있다.
콘텐츠 공급자는: 데이터를 저장 및 획득하고, 데이터가 애플리케이션 프로그램에 액세스될 수 있도록 구성된다. 데이터는 비디오, 이미지, 오디오, 발신 및 응답 통화, 브라우징 이력 및 북마크, 주소록 등을 포함할 수 있다.
뷰 시스템(view system)은 텍스트를 디스플레이하기 위한 컨트롤 및 사진을 디스플레이하기 위한 컨트롤과 같은 시각적 컨트롤을 포함한다. 뷰 시스템은 애플리케이션 프로그램을 구성하도록 구성될 수 있다. 디스플레이 인터페이스는 하나 이상의 뷰를 포함할 수 있다. 예를 들어, SMS 메시지 통지 아이콘을 포함하는 디스플레이 인터페이스는 텍스트를 디스플레이하는 뷰와 사진을 디스플레이하는 뷰를 포함할 수 있다.
전화 관리자는 이동 단말기(100)의 통신 기능, 예를 들어, 통화 상태(응답 또는 거절 포함) 관리를 제공하도록 구성된다.
리소스 관리자는 애플리케이션 프로그램을 위한 다양한 리소스, 예를 들어, 로컬화된 문자열, 아이콘, 사진, 레이아웃 파일, 및 비디오 파일을 제공한다.
통지 관리자는 애플리케이션 프로그램이 상태 바에 통지 정보를 디스플레이할 수 있도록 하며, 통지 타입의 메시지를 전달하도록 구성될 수 있다. 통지 타입 메시지는 사용자 상호 작용 없이 짧은 일시 중지 후 자동으로 사라질 수 있다. 예를 들어, 통지 관리자는 다운로드 완료 통지, 메시지 프롬프트 등을 제공하도록 구성된다. 통지 관리자는 시스템의 상단 상태 바(top status bar)에 그래프 또는 스크롤바 텍스트(scroll bar text)의 형태로 나타나는 통지, 예를 들어, 백그라운드에서 실행되는 애플리케이션 프로그램에 대한 통지일 수 있거나, 또는 화면 상에 대화 창의 형태로 나타나는 통지일 수 있다. 예를 들어, 텍스트 정보가 상태 바에 프롬프트되거나, 알림 내용이 생성되거나, 이동 단말기가 진동하거나, 표시기 라이트가 깜박인다.
안드로이드 런타임은 커널 라이브러리 및 가상 머신을 포함한다. 안드로이드 런타임은 안드로이드 시스템의 스케줄링 및 관리를 담당한다.
커널 라이브러리는 두 개의 부분: 즉, 자바 언어에 의해 호출되어야 하는 함수와 안드로이드의 커널 라이브러리를 포함한다.
애플리케이션 프로그램 계층과 애플리케이션 프로그램 프레임워크 계층은 가상 머신 상에서 실행된다. 가상 머신은 애플리케이션 프로그램 계층과 애플리케이션 프로그램 프레임워크 계층의 자바 파일(Java file)을 바이너리 파일로서 실행한다. 가상 머신은 객체 수명 주기 관리, 스택 관리, 스레드 관리, 보안 및 예외 관리, 및 가비지 수집과 같은 기능을 수행하도록 구성된다.
시스템 라이브러리는 복수의 기능 모듈, 예를 들어, 표면 관리자(surface manager), 매체 라이브러리(media library), 3차원 그래픽 처리 라이브러리(예를 들어, OpenGL ES), 및 2D 그래픽 엔진(예를 들어, SGL)을 포함할 수 있다.
표면 관리자는: 디스플레이 서브시스템을 관리하고, 복수의 애플리케이션 프로그램에 대해 2D 및 3D 계층의 융합을 제공하도록 구성된다.
매체 라이브러리는 일반적으로 사용되는 복수의 오디오 및 비디오 형식, 정적 이미지 파일 등의 재생 및 녹화를 지원한다. 매체 라이브러리는 MPEG-4, H.264, MP3, AAC, AMR, JPG, 및 PNG와 같은 복수의 오디오 및 비디오 코딩 형식을 지원할 수 있다.
3차원 그래픽 처리 라이브러리는 3차원 그래픽 드로잉, 이미지 렌더링, 합성, 계층 처리 등을 구현하도록 구성된다.
2D 그래픽 엔진은 2D 드로잉을 위한 드로잉 엔진이다.
커널 계층은 하드웨어와 소프트웨어 사이의 계층이다. 커널 계층은 적어도 디스플레이 드라이버, 카메라 드라이버, 오디오 드라이버, 및 센서 드라이버를 포함한다.
이하에서는 촬영 캡처 시나리오를 예로 들어 이동 단말기(100)의 소프트웨어 및 하드웨어의 동작 과정을 기술한다.
터치 센서(180K)가 터치 조작을 수신하면, 해당 하드웨어 인터럽트가 커널 계층으로 전송된다. 커널 계층은 터치 조작을 원시 입력 이벤트(터치 좌표 또는 터치 조작의 타임 스탬프와 같은 정보를 포함)로 처리한다. 원시 입력 이벤트는 커널 계층에 저장된다. 애플리케이션 프로그램 프레임워크 계층은 커널 계층으로부터 원시 입력 이벤트를 획득하고, 입력 이벤트에 해당하는 컨트롤을 식별한다. 예를 들어, 터치 조작은 터치 탭 조작이고, 탭 조작에 해당하는 컨트롤은 카메라 애플리케이션의 아이콘 컨트롤이다. 카메라 애플리케이션은 애플리케이션 프레임워크 계층에서 인터페이스를 호출하여 카메라 애플리케이션을 활성화한 다음, 커널 계층을 호출하여 카메라 드라이버를 활성화하고, 카메라(193)를 사용하여 정적 이미지 또는 비디오를 캡처한다.
이하에서는 본 출원의 실시예에서 이동 단말기가 비디오를 촬영하는 프레임 레이트를 기술한다.
이러한 프레임 레이트(frame rate)는 프레임 레이트라고 지칭되기도 하며, 프레임/초(fps) 단위이다. 이동 단말기를 사용하여 비디오를 녹화하는 경우, 프레임 레이트는 이동 단말기에 의해 초당 캡처되는 정적 사진의 수량을 지칭할 수 있다. 이동 단말기가 동일한 프레임 레이트로 비디오를 재생하는 경우, 초당 동일한 수량의 정적 사진이 재생된다. 사용자의 관점에서, 이러한 정적 사진은 동적인 효과를 갖는다. 일반적으로, 프레임 레이트가 8 fps 이상일 경우, 사용자는 비디오가 매끄럽게 재생된다고 느낀다. 영화의 표준 프레임 레이트는 24 fps 이상이다. 이동 단말기에 의해 촬영되는 비디오의 프레임 레이트가 낮은 경우, 이동 단말기에 의해 초당 캡처되는 정적 이미지의 수량은 적어지고, 각 정적 이미지의 노출 시간 기간은 증가하며, 정적 이미지의 명도가 증가한다.
모션 블러(motion blur)는 동적 블러라고 지칭되기도 하며, 장면 이미지에서 움직이는 효과로서, 장면에서 긴 노출이나 물체가 빠르게 움직이는 동안 명확하게 나타난다. 이동 단말기가 비디오를 촬영하는 경우, 이동 단말기가 빠르게 움직이거나 촬영된 이미지 내의 물체가 빠르게 움직이지만 녹화 프레임 레이트가 상대적으로 낮다면, 모션 블러가 발생한다. 그 이유는 녹화 프레임 레이트가 상대적으로 낮을 경우 이동 단말기가 초당 상대적으로 적은 수량의 정적 이미지를 캡처하기 때문이다. 이 경우, 정적 이미지의 노출 시간 기간은 증가하게 된다. 이동 단말기가 빠르게 움직이거나 촬영된 이미지 내의 물체가 빠르게 움직이기 때문에, 정적 이미지 내의 물체가 흐릿하게 보이거나 드래그되는 것처럼 보인다.
본 출원의 실시예는 이동 단말기에 의해 수행되는 비디오 녹화 동안 촬영 시나리오에서의 광도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태인 3개의 인자 중 하나 이상에 기반하여 이동 단말기의 녹화 프레임 레이트를 제어하기 위한 녹화 프레임 레이트 제어 방법을 제공한다. 이동 단말기는 촬영 시나리오에서의 광도에 기반하여 녹화 프레임 레이트를 자동으로 조정하여, 저명도 시나리오에서는 비디오 이미지의 명도를 향상시키고, 고명도 시나리오에서는 비디오의 평활도를 향상시킨다. 이동 단말기는 이동 단말기의 움직임 상태에 기반하여 프레임 레이트를 제어하여, 움직임 동안 이동 단말기에 의해 촬영된 비디오의 평활도를 향상시킨다. 이동 단말기는 촬영된 물체의 움직임 상태에 기반하여 프레임 레이트를 제어하여, 비디오 이미지 내에 움직이는 물체가 있을 때 이미지의 평활도를 향상시키고, 촬영된 이미지 내에 촬영된 물체의 움직임으로 인해 유발되는 모션 블러를 감소시킨다. 이와 같이, 이동 단말기의 녹화 프레임 레이트는 자동으로 조정되고, 비디오 이미지의 화질이 향상된다.
이하에서는 애플리케이션 시나리오를 참조하여 본 출원의 실시예에 제공되는 녹화 프레임 레이트 제어 방법을 구체적으로 기술한다.
일부 애플리케이션 시나리오에서, 이동 단말기가 비디오를 녹화할 경우, 촬영된 촬영 시나리오에서의 광도가 변경될 수 있다. 예를 들어, 이동 단말기가 비디오를 녹화하는 경우, 촬영 시나리오의 일부에서의 광도가 상대적으로 강하고, 그 촬영 시나리오의 다른 부분에서의 광도는 상대적으로 약할 수 있다. 촬영 시나리오에서의 광도가 상대적으로 약하면, 비디오 녹화를 통해 이동 단말기에 의해 생성되는 비디오의 이미지 명도가 또한 상대적으로 약하여, 결국 촬영 시나리오의 디테일은 불분명해진다. 예를 들어, 사용자가 이동 단말기를 사용하여 야간에 비디오를 녹화하는 경우, 사용자는 먼저 실내 광 아래에서 가족 구성원을 촬영하며, 즉, 처음 이동 단말기의 촬영 시나리오는 건물 내이다. 그 후, 광이 없이, 야외 환경으로 렌즈를 돌려, 야외 야경을 계속 촬영한다. 이 경우, 이동 단말기의 촬영 시나리오는 실외 시나리오로 전환된다. 이 경우, 야외 야경에서의 불충분한 광으로 인해, 비디오의 이미지 명도가 또한 상대적으로 낮다. 따라서, 본 출원의 실시예에서, 도 3에 도시된 녹화 프레임 레이트 제어 방법이 제공된다. 이동 단말기는 촬영 시나리오에서의 광도에 기반하여 녹화 프레임 레이트를 자동으로 제어할 수 있다. 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집한다. 그 후, 촬영 시나리오에서의 광도가 강한 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 촬영 시나리오에서의 광도가 약하다고 결정한 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 촬영 시나리오에서의 광도가 중간이라고 결정한 경우, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속 수집할 수 있다. 제2 프레임 레이트는 제1 프레임 레이트보다 크고, 제1 프레임 레이트는 제3 프레임 레이트보다 크다. 녹화 프레임 레이트가 감소하면, 이동 단말기에 의해 촬영되는 이미지의 각 프레임의 노출 시간 기간은 증가되어, 촬영된 비디오의 이미지 명도를 향상시킨다. 촬영 시나리오에서의 광도가 상대적으로 강한 경우, 이동 단말기에 의해 촬영되는 비디오의 노출은 충분하고, 이동 단말기는 촬영된 비디오의 프레임 레이트를 증가시킬 수 있다. 프레임 레이트의 증가로 인해, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량이 증가하고 비디오는 보다 매끄러우진다. 촬영 시나리오에서의 광도에 기반하여 프레임 레이트를 동적으로 조정하면, 상대적으로 어두운 촬영 시나리오에서 이동 단말기로 촬영한 비디오의 이미지 명도가 향상되고 상대적으로 밝은 촬영 시나리오에서 이동 단말기로 촬영한 비디오의 이미지 평활도(smoothness)가 향상되어, 비디오 이미지의 화질이 향상될 수 있다.
도 4a는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 녹화 동안 촬영 시나리오에서의 광도 변화를 나타낸 예시적인 다이어그램이고, 도 4b는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 촬영 동안 프레임 레이트 변화를 나타낸 다이어그램이다.
도 4a에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 10초까지인 경우, 이동 단말기에 의해 수행되는 비디오 녹화 동안 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, 촬영 시나리오는 고명도 시나리오이다. 이동 단말기의 촬영 시간 기간이 10초부터 25초까지인 경우, 촬영 시나리오에서의 광도는 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다. 이동 단말기의 촬영 시간 기간이 25초부터 40초까지인 경우, 촬영 시나리오에서의 광도는 제2 광도 임계치(예를 들어, 100 lux)보다 작다. 이동 단말기의 촬영 시간 기간이 40초부터 55초까지인 경우, 촬영 시나리오에서의 광도는 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다. 이동 단말기의 촬영 시간 기간이 55초부터 65초까지인 경우, 촬영 시나리오에서의 광도는 제1 광도 임계치(예를 들어, 1000 lux)보다 크다. 제1 광도 임계치는 제2 광도 임계치보다 크다.
도 4b에 도시된 바와 같이, 이동 단말기가 (예를 들어, 0초부터 2초까지의 촬영 시간 기간에) 비디오 녹화를 시작할 때, 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 2초부터 10초까지인 경우, 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, 촬영 시나리오가 고명도 환경이므로, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오를 촬영하여, 비디오의 평활도를 보장한다. 이동 단말기의 촬영 시간 기간이 10초부터 25초까지인 경우, 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있고, 촬영 시나리오가 중간 명도 환경이므로, 이동 단말기는 녹화 프레임 레이트를 감소시킬 수 있고, 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이와 같이, 비디오의 이미지의 각 프레임의 노출 시간 기간은 길어지고, 비디오의 평활도를 보장하면서 이동 단말기에 의해 촬영된 비디오의 이미지 명도는 향상된다. 이동 단말기의 촬영 시간 기간이 25초부터 40초까지인 경우, 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 촬영 시나리오에서의 광도가 저명도 촬영 시나리오이므로, 이동 단말기는 녹화 프레임 레이트를 추가로 감소시킬 수 있고, 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 이와 같이, 비디오의 이미지의 각 프레임의 노출 시간 기간은 추가로 길어지고, 저명도 촬영 시나리오에서 이동 단말기에 의해 촬영된 비디오의 이미지 명도는 향상된다. 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크고, 제1 프레임 레이트는 제3 프레임 레이트(예를 들어, 24 fps)보다 크다. 제2 프레임 레이트는 도 4b에 도시된 60 fps에 제한되지는 않으며, 다른 값일 수 있다. 제1 프레임 레이트는 도 4b에 도시된 30 fps에 제한되지는 않으며, 다른 값일 수 있다. 제3 프레임 레이트는 도 4b에 도시된 24 fps에 제한되지는 않으며, 다른 값일 수 있다.
일부 가능한 구현예에서, 이동 단말기는 녹화 프레임 레이트를 감소시키는 경우, 이동 단말기는 비디오 이미지의 명도를 단계적인 방식으로 추가로 조정할 수 있다. 예를 들어, 이동 단말기의 촬영 시나리오에서의 광도가 100 lux인 경우, 이동 단말기의 녹화 프레임 레이트가 30 fps이라면, 이동 단말기에 의해 촬영된 비디오의 이미지 명도의 값은 40이 되고, 이동 단말기의 녹화 프레임 레이트가 24 fps로 감소되면, 이동 단말기에 의해 촬영된 비디오의 이미지 명도의 값은 80이 된다. 이동 단말기의 녹화 프레임 레이트가 30 fps에서 24 fps로 변경되면, 이동 단말기는 촬영된 비디오의 이미지 명도의 값을 일정 시간 기간(예를 들어, 1초 이내)에 40에서 80으로 단계적인 방식으로 조정한다. 이와 같이, 비디오의 이미지 명도가 변경될 경우, 전환 기간이 존재하여, 이동 단말기에 의해 촬영된 비디오의 이미지 화질을 향상시키고 사용자 경험을 향상시킬 수 있다.
일부 가능한 구현예에서, 이동 단말기가 비디오를 녹화하는 경우, 이동 단말기는 먼저 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다고 검출하면, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 제2 프레임 레이트에서 비디오 프레임을 수집하는 경우, 이동 단말기가 촬영 시나리오에서의 광도가 제4 광도 임계치(예를 들어, 150 lux)와 제3 광도 임계치(950 lux) 사이에 있다고 결정하면, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 비디오를 녹화하는 경우, 이동 단말기는 먼저 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작다고 검출하면, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 먼저 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집하는 경우, 이동 단말기가 촬영 시나리오에서의 광도가 제4 광도 임계치(예를 들어, 150 lux)와 제3 광도 임계치(예를 들어, 950 lux) 사이에 있다고 결정하면, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 제1 광도 임계치(예를 들어, 1000 lux)는 제3 광도 임계치(예를 들어, 950 lux)보다 크고, 제3 광도 임계치는 제4 광도 임계치(예를 들어, 150 lux)보다 크며, 제4 광도 임계치는 제2 광도 임계치(예를 들어, 100 lux)보다 크다. 또한, 제3 광도 임계치와 제1 광도 임계치 간의 차이는 지정된 명도 차이(예를 들어, 50 lux)이고, 제4 광도 임계치와 제2 광도 임계치 간의 차이는 지정된 명도 차이(예를 들어, 50 lux)이다. 이와 같이, 촬영 시나리오에서의 광도가 대략 제1 광도 임계치 또는 제2 광도 임계치에서 변할 때 유발되는 녹화 프레임 레이트의 빈번한 변경은 방지될 수 있다.
이동 단말기의 일부 움직임 시나리오에서, 예를 들어, 사용자가 이동 단말기를 사용하여 이동하는 차량에서 비디오를 녹화하는 경우, 또는 사용자가 이동 단말기를 빠르게 회전하여 일부 움직이는 물체를 촬영하는 경우, 이동 단말기의 움직임 상태가 변경되므로, 이동 단말기가 비디오를 촬영하는 경우, 상대적으로 낮은 녹화 프레임 레이트로 인해 촬영된 비디오에서 이미지의 각 프레임의 노출 시간 간격은 과도하게 길어진다. 이동 단말기의 움직임으로 인해 이미지의 한 프레임 내의 물체는 그 이미지 프레임 내의 서로 다른 위치에 나타나, 이미지의 블러를 유발할 수 있다. 따라서, 본 출원의 실시예에서, 도 5에 도시된 녹화 프레임 레이트 제어 방법이 제공된다. 이동 단말기는 이동 단말기의 움직임 상태에 기반하여 녹화 프레임 레이트를 자동으로 제어할 수 있다. 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 그 후, 이동 단말기가 격렬한 움직임 상태에 있는 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 약간의 움직임 상태에 있는 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오를 촬영할 수 있다. 제2 프레임 레이트는 제1 프레임 레이트보다 크고, 제1 프레임 레이트는 제3 프레임 레이트보다 크다. 이동 단말기가 중간의 움직임 상태에 있는 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 격렬하게 움직이면, 녹화 프레임 레이트는 증가하고, 이동 단말기에 의해 촬영되는 이미지의 각 프레임의 노출 시간 기간이 감소되고, 이동 단말기의 움직임으로 인해 유발되는 비디오 이미지의 블러가 감소된다. 이와 같이, 격렬한 움직임 상태에서의 이동 단말기에 의해 촬영된 비디오의 모션 블러를 감소시켜, 비디오의 평활도 및 비디오 이미지의 화질을 향상시킬 수 있다.
도 6a는 본 출원의 일 실시예에 따른 이동 단말기의 움직임 상태를 나타낸 예시적인 다이어그램이고, 도 6b는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 촬영 동안 프레임 레이트 변화를 나타낸 다이어그램이다.
도 6a에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 5초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 중간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 5초부터 30초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 약간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 30초부터 65초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 격렬한 움직임 상태임을 검출한다.
도 6b에 도시된 바와 같이, 이동 단말기가 (예를 들어, 0초부터 2초까지의 촬영 시간 기간에) 비디오 녹화를 시작할 때, 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 2초부터 5초까지인 경우, 이동 단말기의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속 수집하여, 비디오의 평활도를 보장한다. 이동 단말기의 촬영 시간 기간이 5초부터 30초까지인 경우, 이동 단말기의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 녹화 프레임 레이트를 감소시킬 수 있고, 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 이와 같이, 이미지의 각 프레임의 노출 시간은 길어지고, 이미지의 각 프레임의 명도가 향상된다. 이동 단말기의 촬영 시간 기간이 30초부터 65초까지인 경우, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 녹화 프레임 레이트를 증가시킬 수 있고, 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 이와 같이, 이미지의 각 프레임의 노출 시간 기간은 단축되고, 이동 단말기의 움직임으로 인해 유발되는 모션 블러는 감소되며, 이동 단말기에 의해 촬영된 비디오의 이미지 평활도는 향상된다. 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크고, 제1 프레임 레이트는 제3 프레임 레이트(예를 들어, 24 fps)보다 크다. 제2 프레임 레이트는 도 6b에 도시된 60 fps에 제한되지는 않으며, 다른 값일 수 있다. 제1 프레임 레이트는 도 6b에 도시된 30 fps에 제한되지는 않으며, 다른 값일 수 있다. 제3 프레임 레이트는 도 6b에 도시된 24 fps에 제한되지는 않으며, 다른 값일 수 있다.
촬영된 물체의 일부 움직임 시나리오에서, 예를 들어, 사용자가 이동 단말기를 사용하여 이동하는 차량을 촬영하는 경우, 촬영된 물체의 움직임 상태가 변경되므로, 이동 단말기가 비디오를 촬영하는 경우, 상대적으로 낮은 녹화 프레임 레이트로 인해 촬영된 비디오에서 이미지의 각 프레임의 노출 시간 간격은 과도하게 길어진다. 이미지의 한 프레임에서 고속으로 움직이는 물체는 그 이미지 프레임 내의 서로 다른 위치에 나타나서, 이미지의 블러를 유발할 수 있다. 따라서, 본 출원의 실시예에서, 도 7에 도시된 녹화 프레임 레이트 제어 방법이 제공된다. 이동 단말기는 촬영된 물체의 움직임 상태에 기반하여 녹화 프레임 레이트를 자동으로 제어할 수 있다. 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 그 후, 이동 단말기가 촬영된 물체의 움직임 상태가 격렬한 움직임 상태라고 검출하는 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오를 촬영할 수 있다. 이동 단말기가 촬영된 물체의 움직임 상태가 약간의 움직임 상태라고 검출하는 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오를 촬영할 수 있다. 이동 단말기가 촬영된 물체의 움직임 상태가 중간의 움직임 상태라고 검출하는 경우, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오를 촬영할 수 있다. 제2 프레임 레이트는 제1 프레임 레이트보다 크고, 제1 프레임 레이트는 제3 프레임 레이트보다 크다. 촬영된 물체가 격렬하게 움직일 경우에 녹화 프레임 레이트가 증가하므로, 이동 단말기에 의해 촬영되는 이미지의 각 프레임의 노출 시간 기간은 단축되며, 촬영된 물체의 움직임으로 인해 유발되는 비디오 이미지의 블러는 감소된다. 촬영된 물체가 약간 움직이는 경우 녹화 프레임 레이트는 감소하므로, 초당 촬영되는 이미지의 프레임의 수량은 감소되고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 따라서, 촬영된 비디오의 이미지 명도가 보장될 수 있고, 이동 단말기가 촬영된 이미지를 처리할 때 발생하는 전력 소비는 감소된다. 이와 같이, 촬영된 물체가 격렬한 움직임 상태에 있는 경우에 촬영된 비디오의 모션 블러를 감소시켜 비디오의 평활도 및 비디오 이미지의 화질을 향상시킬 수 있다.
도 8a는 본 출원의 일 실시예에 따른 이동 단말기에 의해 촬영된 물체의 움직임 상태를 나타낸 예시적인 다이어그램이고, 도 8b는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 촬영 동안 프레임 레이트 변화를 나타낸 다이어그램이다.
도 8a에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 15초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 중간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 15초부터 35초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 약간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 35초부터 65초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 격렬한 움직임 상태임을 검출한다.
도 8b에 도시된 바와 같이, 이동 단말기가 (예를 들어, 0초부터 2초까지의 촬영 시간 기간에) 비디오 녹화를 시작할 때, 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 2초부터 15초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 중간의 움직임 상태임을 검출하므로, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 촬영을 계속하여, 비디오의 평활도를 보장한다. 이동 단말기의 촬영 시간 기간이 15초부터 35초까지인 경우, 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 프레임 레이트를 감소시킬 수 있고, 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오를 촬영할 수 있다. 이와 같이, 이미지의 각 프레임의 노출 시간은 길어지고, 이미지의 각 프레임의 명도는 향상된다. 이동 단말기의 촬영 시간 기간이 35초부터 65초까지인 경우, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 녹화 프레임 레이트를 증가시킬 수 있고, 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오를 촬영할 수 있다. 이와 같이, 이미지의 각 프레임의 노출 시간 기간은 단축되고, 촬영된 물체의 움직임으로 인해 유발되는 모션 블러는 감소되며, 이동 단말기에 의해 촬영된 비디오의 이미지 평활도는 향상된다. 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크고, 제1 프레임 레이트는 제3 프레임 레이트(예를 들어, 24 fps)보다 크다. 제2 프레임 레이트는 도 8b에 도시된 60 fps에 제한되지는 않으며, 다른 값일 수 있다. 제1 프레임 레이트는 도 8b에 도시된 30 fps에 제한되지는 않으며, 다른 값일 수 있다. 제3 프레임 레이트는 도 8b에 도시된 24 fps에 제한되지는 않으며, 다른 값일 수 있다.
일부 애플리케이션 시나리오에서, 이동 단말기의 촬영 시나리오에서의 광도는 때때로 약하고 강하며, 이동 단말기는 움직이는 동안 비디오를 녹화한다. 예를 들어, 사용자는 야간에 이동 단말기를 들고, 실내의 고명도 시나리오에서 실외의 저명도 촬영 시나리오로 이동하여, 비디오의 세그먼트를 촬영한다. 이동 단말기의 촬영 시나리오에서의 광도가 때때로 약하고 강하기 때문에, 촬영 시나리오에서의 광도가 상대적으로 약하고 녹화 프레임 레이트가 과도하게 높은 경우, 이미지의 각 프레임의 노출 시간 기간은 불충분하고, 이동 단말기에 의해 녹화된 비디오의 이미지 명도가 또한 상대적으로 낮다. 이동 단말기는 움직임이 있는 동안 비디오를 녹화하기 때문에, 이동 단말기가 격렬한 움직임 상태에 있는 경우, 과도하게 낮은 프레임 레이트로 인해 촬영된 비디오의 이미지에 모션 블러가 발생할 수 있다. 따라서, 본 출원의 실시예에서, 도 9에 도시된 녹화 프레임 레이트 제어 방법이 제공된다. 이동 단말기는 촬영 시나리오에서의 광도 및 이동 단말기의 움직임 상태에 기반하여 녹화 프레임 레이트를 자동으로 제어할 수 있다. 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 그 후, 촬영 시나리오에서의 광도가 강하고, 이동 단말기가 격렬한 움직임 상태에 있는 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 촬영 시나리오에서의 광도가 약하고, 이동 단말기의 움직임 상태가 약간의 움직임 상태인 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 다른 경우에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집한다. 제2 프레임 레이트는 제1 프레임 레이트보다 크고, 제1 프레임 레이트는 제3 프레임 레이트보다 크다. 촬영 시나리오에서의 광도가 강하고 이동 단말기가 격렬한 움직임 상태에 있는 경우 녹화 프레임 레이트가 높기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 증가되고, 이미지의 각 프레임의 노출 시간 기간은 단축된다. 이와 같이, 이동 단말기의 격렬한 움직임으로 인해 유발되는 이미지의 모션 블러를 감소시켜 비디오의 평활도를 향상시킬 수 있다. 또한, 촬영 시나리오에서의 광도가 강하기 때문에, 녹화 프레임 레이트가 높아도 이미지의 각 프레임은 상대적으로 밝다. 촬영 시나리오에서의 광도가 약하고 이동 단말기가 약간의 움직임 상태에 있는 경우 녹화 프레임 레이트가 낮기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 감소하고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 이와 같이, 저명도 환경에서 비디오의 이미지 명도는 향상된다. 이와 같이, 주변 광도 및 이동 단말기의 움직임 상태를 참조하여, 프레임 레이트를 여러 수준으로 제어함으로써, 고명도 시나리오에서 비디오의 이미지 명도 및 비디오의 평활도를 향상시킨다.
도 10a는 본 출원의 일 실시예에 따른 이동 단말기의 촬영 시나리오에서의 광도 변화를 나타낸 예시적인 다이어그램이고, 도 10b는 본 출원의 일 실시예에 따른 이동 단말기의 움직임 상태 변화를 나타낸 다이어그램이고, 도 10c는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 촬영 동안 프레임 레이트 변화를 나타낸 다이어그램이다.
도 10a에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 10초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 10초부터 25초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 25초부터 40초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 40초부터 55초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 55초부터 65초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다는 것을 검출한다. 제1 광도 임계치는 제2 광도 임계치보다 크다.
도 10b에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 5초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 중간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 5초부터 30초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 약간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 30초부터 65초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 격렬한 움직임 상태임을 검출한다.
도 10c에 도시된 바와 같이, 이동 단말기가 (예를 들어, 0초부터 2초까지의 촬영 시간 기간에) 비디오 녹화를 시작할 때, 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 2초부터 5초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, 촬영 시나리오가 고명도 환경이고, 그리고 이동 단말기의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속해서 수집한다. 이동 단말기의 촬영 시간 기간이 5초부터 10초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 촬영 시나리오가 고명도 시나리오이고, 그리고 이동 단말기의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트에서 비디오를 계속해서 촬영한다. 이동 단말기의 촬영 시간 기간이 10초부터 25초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 중간 명도 시나리오이고, 그리고 이동 단말기의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트에서 비디오 프레임을 계속해서 수집한다. 이동 단말기의 촬영 시간 기간이 25초부터 30초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작고, 촬영 시나리오가 저명도 시나리오이고, 그리고 이동 단말기의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집한다. 이동 단말기의 촬영 시간 기간이 30초부터 40초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작고, 촬영 시나리오가 저명도 시나리오이고, 그리고 이동 단말기의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트에서 비디오를 촬영한다. 이동 단말기의 촬영 시간 기간이 40초부터 55초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 중간 명도 환경이고, 그리고 이동 단말기의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트에서 비디오를 촬영한다. 이동 단말기의 촬영 시간 기간이 55초부터 65초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 촬영 시나리오가 고명도 시나리오이고, 그리고 이동 단말기의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오를 촬영한다. 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크고, 제1 프레임 레이트는 제3 프레임 레이트(예를 들어, 24 fps)보다 크다.
일부 애플리케이션 시나리오에서, 이동 단말기가 비디오를 녹화하는 촬영 시나리오는 고명도 시나리오와 저명도 시나리오 사이에서 전환되고, 이동 단말기에 의해 촬영된 물체는 움직이고 있다. 촬영 시나리오에서의 광도가 상대적으로 약한 경우, 녹화 프레임 레이트가 과도하게 높으면, 이미지의 각 프레임의 노출 시간 기간은 불충분하고, 이동 단말기에 의해 촬영된 비디오의 이미지 명도가 또한 상대적으로 낮다. 이동 단말기가 격렬한 움직임 상태에 있는 경우, 과도하게 낮은 녹화 프레임 레이트로 인해 촬영된 비디오의 이미지에 모션 블러가 발생할 수 있다. 따라서, 본 출원의 실시예에서, 도 11에 도시된 녹화 프레임 레이트 제어 방법이 제공된다. 이동 단말기는 촬영 시나리오에서의 광도 및 촬영된 물체의 움직임 상태에 기반하여 녹화 프레임 레이트를 자동으로 제어할 수 있다. 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 그 후, 촬영 시나리오에서의 광도가 강하고, 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 촬영 시나리오에서의 광도가 약하고, 촬영된 물체의 움직임 상태가 약간의 움직임 상태인 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 다른 경우에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집한다. 제2 프레임 레이트는 제1 프레임 레이트보다 크고, 제1 프레임 레이트는 제3 프레임 레이트보다 크다. 촬영 시나리오에서의 광도가 강하고 이동 단말기가 격렬한 움직임 상태에 있는 경우 녹화 프레임 레이트가 높기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 증가되고, 이미지의 각 프레임의 노출 시간 기간은 단축된다. 이와 같이, 촬영된 물체의 격렬한 움직임으로 인해 유발되는 비디오 이미지의 모션 블러를 감소시켜, 비디오의 평활도를 향상시킬 수 있다. 또한, 촬영 시나리오에서의 광도가 강하기 때문에, 녹화 프레임 레이트가 높아도 이미지의 각 프레임은 상대적으로 밝다. 촬영 시나리오에서의 광도가 약하고, 촬영된 물체가 약간의 움직임 상태에 있는 경우에, 녹화 프레임 레이트가 낮기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 감소하고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 이와 같이, 저명도 촬영 시나리오에서 비디오의 이미지 명도는 향상된다. 다른 상태에서, 이동 단말기는 (높은 프레임 레이트보다 낮고 낮은 프레임 레이트보다 높은) 공통 프레임 레이트에서 비디오를 촬영할 수 있다. 이와 같이, 촬영 시나리오에서의 광도 및 촬영된 물체의 움직임 상태를 참조하여, 프레임 레이트를 여러 수준으로 제어함으로써, 고명도 시나리오에서 비디오의 이미지 명도 및 비디오의 평활도를 향상시킨다.
도 12a는 본 출원의 일 실시예에 따른 이동 단말기의 촬영 시나리오에서의 광도 변화를 나타낸 예시적인 다이어그램이고, 도 12b는 본 출원의 일 실시예에 따른 촬영된 물체의 움직임 상태 변화를 나타낸 다이어그램이고, 도 12c는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 촬영 동안 프레임 레이트 변화를 나타낸 다이어그램이다.
도 12a에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 10초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 10초부터 25초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있고, 촬영 시나리오가 중간 명도 시나리오라는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 25초부터 40초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 40초부터 55초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 55초부터 65초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다는 것을 검출한다. 제1 광도 임계치는 제2 광도 임계치보다 크다.
도 12b에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 15초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 중간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 15초부터 35초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 약간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 35초부터 65초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 격렬한 움직임 상태임을 검출한다.
도 12c에 도시된 바와 같이, 이동 단말기가 (예를 들어, 0초부터 2초까지의 촬영 시간 기간에) 비디오 녹화를 시작할 때, 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 2초부터 10초까지인 경우, 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, 촬영 시나리오가 고명도 시나리오이고, 그리고 촬영된 물체의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속해서 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 10초부터 15초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 중간 명도 시나리오이고, 그리고 촬영된 물체의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트에서 비디오 프레임을 계속해서 수집한다. 이동 단말기의 촬영 시간 기간이 15초부터 25초까지인 경우, 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 중간 명도 시나리오이고, 그리고 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트에서 비디오 프레임을 계속해서 수집한다. 이동 단말기의 촬영 시간 기간이 25초부터 35초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작고, 촬영 시나리오가 저명도 시나리오이고, 그리고 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집한다. 이동 단말기의 촬영 시간 기간이 35초부터 40초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작고, 촬영 시나리오가 저명도 시나리오이고, 그리고 촬영된 물체의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집한다. 이동 단말기의 촬영 시간 기간이 40초부터 55초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 중간 명도 환경이고, 그리고 촬영된 물체의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집한다. 이동 단말기의 촬영 시간 기간이 55초부터 65초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 촬영 시나리오가 고명도 환경이고, 그리고 촬영된 물체의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집한다. 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크고, 제1 프레임 레이트는 제3 프레임 레이트(예를 들어, 24 fps)보다 크다.
일부 애플리케이션 시나리오에서, 이동 단말기는 움직이는 경우에 비디오를 녹화하고, 이동 단말기에 의해 촬영된 물체가 또한 움직이고 있다. 이동 단말기가 격렬한 움직임 상태에 있거나, 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 상대적으로 낮은 녹화 프레임 레이트로 인해 촬영된 비디오의 이미지에 모션 블러가 발생할 수 있다. 따라서, 본 출원의 실시예에서, 도 13에 도시된 녹화 프레임 레이트 제어 방법이 제공된다. 이동 단말기는 이동 단말기의 움직임 상태 및 촬영된 물체의 움직임 상태에 기반하여 녹화 프레임 레이트를 자동으로 제어할 수 있다. 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 그 후, 이동 단말기가 격렬한 움직임 상태에 있거나 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오를 촬영할 수 있다. 이동 단말기가 약간의 움직임 상태에 있고, 이동 단말기의 움직임 상태가 약간의 움직임 상태인 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오를 촬영할 수 있다. 다른 경우에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오를 촬영한다. 제2 프레임 레이트는 제1 프레임 레이트보다 크고, 제1 프레임 레이트는 제3 프레임 레이트보다 크다. 이동 단말기가 격렬한 움직임 상태에 있거나 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 녹화 프레임 레이트가 높기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 증가되고, 이미지의 각 프레임의 노출 시간 기간은 단축된다. 이와 같이, 촬영된 물체의 격렬한 움직임으로 인해 유발되는 비디오 이미지의 모션 블러를 감소시켜, 비디오의 평활도를 향상시킬 수 있다. 이동 단말기가 약간의 움직임 상태이고 촬영된 물체가 약간의 움직임 상태인 경우, 비디오는 낮은 프레임 레이트로 촬영되기 때문에, 이동 단말기에 의해 비디오를 촬영하는 데 드는 전력 소비는 감소될 수 있다. 이와 같이, 이동 단말기의 움직임 상태 및 촬영된 물체의 움직임 상태를 참조하여 여러 수준의 프레임 레이트를 제어함으로써 비디오의 평활도를 향상시킨다.
도 14a는 본 출원의 일 실시예에 따른 이동 단말기의 움직임 상태 변화를 나타낸 예시적인 다이어그램이고, 도 14b는 본 출원의 일 실시예에 따른 촬영된 물체의 움직임 상태 변화를 나타낸 다이어그램이고, 도 14c는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 촬영 동안 프레임 레이트 변화를 나타낸 다이어그램이다.
도 14a에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 5초까지인 경우, 이동 단말기의 움직임 상태는 중간의 움직임 상태이다. 이동 단말기의 촬영 시간 기간이 5초부터 30초까지인 경우, 이동 단말기의 움직임 상태는 약간의 움직임 상태이다. 이동 단말기의 촬영 시간 기간이 30초부터 65초까지인 경우, 이동 단말기의 움직임 상태는 격렬한 움직임 상태이다.
도 14b에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 15초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 중간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 15초부터 35초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 약간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 35초부터 65초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 격렬한 움직임 상태임을 검출한다.
도 14c에 도시된 바와 같이, 이동 단말기가 (예를 들어, 0초부터 2초까지의 촬영 시간 기간에) 비디오 녹화를 시작할 때, 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 2초부터 5초까지인 경우, 이동 단말기의 움직임 상태가 중간의 움직임 상태이고, 촬영된 물체의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속해서 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 5초부터 15초까지인 경우, 이동 단말기의 움직임 상태가 약간의 움직임 상태이고, 촬영된 물체의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속해서 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 15초부터 30초까지인 경우, 이동 단말기의 움직임 상태가 약간의 움직임 상태이고, 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 30초부터 35초까지인 경우, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이고, 촬영된 물체의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 35초부터 65초까지인 경우, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이고, 촬영된 물체의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오를 촬영할 수 있다. 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크고, 제1 프레임 레이트는 제3 프레임 레이트(예를 들어, 24 fps)보다 크다.
애플리케이션 시나리오에서, 이동 단말기가 비디오를 녹화하는 촬영 시나리오는 고명도 시나리오와 저명도 시나리오 사이에서 전환되고, 이동 단말기는 움직이면서 움직이는 물체를 촬영한다. 촬영 시나리오에서의 광도가 상대적으로 약한 경우, 녹화 프레임 레이트가 과도하게 높으면, 이미지의 각 프레임의 노출 시간 기간은 불충분하고, 이동 단말기에 의해 촬영된 비디오의 이미지 명도가 또한 상대적으로 낮다. 이동 단말기가 격렬한 움직임 상태에 있거나, 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 과도하게 낮은 녹화 프레임 레이트로 인해 촬영된 비디오의 이미지에 모션 블러가 발생할 수 있다. 따라서, 본 출원의 실시예에서, 도 15에 도시된 녹화 프레임 레이트 제어 방법이 제공된다. 이동 단말기는 촬영 시나리오에서의 광도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태에 기반하여, 녹화 프레임 레이트를 자동으로 제어할 수 있다. 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 그 후, 이동 단말기의 촬영 시나리오에서의 광도가 강하고 이동 단말기가 격렬한 움직임 상태에 있는 경우; 또는 이동 단말기의 촬영 시나리오에서의 광도가 강하고 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있다. 촬영 시나리오에서의 광도가 약하고, 촬영된 물체의 움직임 상태가 약간의 움직임 상태인 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 다른 경우에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집한다. 제2 프레임 레이트는 제1 프레임 레이트보다 크고, 제1 프레임 레이트는 제3 프레임 레이트보다 크다. 이동 단말기의 촬영 시나리오에서의 광도가 강하고 이동 단말기가 격렬한 움직임 상태에 있는 경우, 또는 이동 단말기의 촬영 시나리오에서의 광도가 강하고 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 녹화 프레임 레이트는 높다. 따라서, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 증가하고, 이미지의 각 프레임의 노출 시간 기간은 단축된다. 이와 같이, 촬영된 물체의 격렬한 움직임으로 인해 유발되는 비디오 이미지의 모션 블러를 감소시켜, 비디오의 평활도를 향상시킬 수 있다. 촬영 시나리오에서의 광도가 약하고, 이동 단말기가 약간의 움직임 상태에 있고, 촬영된 물체가 약간의 움직임 상태에 있는 경우에 녹화 프레임 레이트가 낮기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 감소하고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 이와 같이, 저명도 시나리오에서 비디오의 이미지 명도는 향상된다. 이와 같이, 주변 광도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태를 참조하여, 프레임 레이트를 여러 수준으로 제어함으로써, 고명도 시나리오에서 비디오의 이미지 명도 및 비디오의 평활도를 향상시킨다.
도 16a는 본 출원의 일 실시예에 따른 이동 단말기의 촬영 시나리오에서의 광도 변화를 나타낸 예시적인 다이어그램이고, 도 16b는 본 출원의 일 실시예에 따른 이동 단말기의 움직임 상태 변화를 나타낸 예시적인 다이어그램이고, 도 16c는 본 출원의 일 실시예에 따른 촬영된 물체의 움직임 상태 변화를 나타낸 예시적인 다이어그램이고, 도 16d는 본 출원의 일 실시예에 따른 이동 단말기에 의해 수행되는 비디오 촬영 동안 프레임 레이트 변화를 나타낸 다이어그램이다.
도 16a에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 5초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 10초부터 25초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 25초부터 40초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 40초부터 55초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다는 것을 검출한다. 이동 단말기의 촬영 시간 기간이 55초부터 65초까지인 경우, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다는 것을 검출한다. 제1 광도 임계치는 제2 광도 임계치보다 크다.
도 16b에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 5초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 중간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 5초부터 30초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 약간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 30초부터 65초까지인 경우, 이동 단말기는 이동 단말기의 움직임 상태가 격렬한 움직임 상태임을 검출한다.
도 16c에 도시된 바와 같이, 이동 단말기의 촬영 시간 기간이 0초부터 15초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 중간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 15초부터 35초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 약간의 움직임 상태임을 검출한다. 이동 단말기의 촬영 시간 기간이 35초부터 65초까지인 경우, 이동 단말기는 촬영된 물체의 움직임 상태가 격렬한 움직임 상태임을 검출한다.
도 16d에 도시된 바와 같이, 이동 단말기가 (예를 들어, 0초부터 2초까지의 촬영 시간 기간에) 비디오 녹화를 시작할 때, 이동 단말기는 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 2초부터 5초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, 촬영 시나리오가 고명도 시나리오이고, 이동 단말기의 움직임 상태가 중간의 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속해서 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 5초부터 10초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 촬영 시나리오가 고명도 시나리오이고, 이동 단말기의 움직임 상태가 약간의 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 10초부터 15초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 중간 명도 시나리오이고, 이동 단말기의 움직임 상태가 약간의 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 중간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속해서 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 15초부터 25초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 중간 명도 촬영 시나리오이고, 이동 단말기의 움직임 상태가 약간의 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 계속해서 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 25초부터 30초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 촬영 시나리오가 저명도 촬영 시나리오이고, 이동 단말기의 움직임 상태가 약간의 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 30초부터 35초까지인 경우, 이동 단말기가 위치한 환경에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 촬영 시나리오가 저명도 촬영 시나리오이고, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기의 촬영 시간 기간이 35초부터 40초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 촬영 시나리오가 저명도 촬영 시나리오이고, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오를 촬영할 수 있다. 이동 단말기의 촬영 시간 기간이 40초부터 55초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제2 광도 임계치와 제1 광도 임계치 사이에 있고, 촬영 시나리오가 저명도 촬영 시나리오이고, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 격렬한 움직임 상태이기 때문에, 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오를 촬영할 수 있다. 이동 단말기의 촬영 시간 기간이 55초부터 65초까지인 경우, 이동 단말기의 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고, 촬영 시나리오가 고명도 촬영 시나리오이고, 이동 단말기의 움직임 상태가 격렬한 움직임 상태이고, 그리고 촬영된 물체의 움직임 상태가 약간의 움직임 상태이기 때문에, 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오를 촬영할 수 있다. 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크고, 제1 프레임 레이트는 제3 프레임 레이트(예를 들어, 24 fps)보다 크다.
일부 구현예에서, 이동 단말기가 비디오를 촬영하는 경우, 이동 단말기는 터치스크린 상에 현재의 녹화 프레임 레이트를 디스플레이할 수 있고, 녹화 프레임 레이트가 변경되는 경우, 사용자에게 녹화 프레임 레이트가 변경된다는 것을 프롬프트할 수 있다.
예를 들어, 도 17a는 이미지를 촬영하는 데 사용되는 사용자 인터페이스(1710)의 일 예를 도시한 것이다. 사용자 인터페이스(1710)는 사용자가 카메라 아이콘을 탭핑하여 액세스하는 사용자 인터페이스일 수 있으며, 이에 제한되지는 않는다. 사용자는 대안적으로, 다른 애플리케이션 프로그램에서, 이미지를 촬영하는 데 사용되는 사용자 인터페이스(1710)를 디스플레이할 수 있다. 예를 들어, 사용자는 WeChat 애플리케이션에서 촬영 컨트롤을 탭핑하여, 이미지를 촬영하는 데 사용되는 사용자 인터페이스(1710)를 디스플레이한다. 도 17a에 도시된 바와 같이, 이미지를 촬영하는 데 사용되는 사용자 인터페이스(1710)는: 플래시 라이트를 턴 온/오프하는 데 사용되는 컨트롤(1711A), 촬영 색상 모드를 설정하는 데 사용되는 컨트롤(1711B), 촬영 동안 다양한 파라미터를 설정하는 데 사용되는 컨트롤(1711C), 뷰파인더 프레임(1713)에 디스플레이되는 초점 거리를 조정하는 데 사용되는 컨트롤(1712), 카메라 전환에 사용되는 컨트롤(1715), 촬영 컨트롤(1716), 촬영 이미지 재생 컨트롤(1717), 및 촬영 모드 컨트롤(예를 들어, 야간 모드 컨트롤(1718A), 세로 모드 컨트롤(1718B), 공통 촬영 모드 컨트롤(1718C), 비디오 모드 컨트롤(1718D), 프로페셔널 모드 컨트롤(1718E), 또는 추가 모드 컨트롤(1718F))을 포함할 수 있다.
촬영 모드가 비디오 모드로 전환되고, 이동 단말기가 촬영 컨트롤(1716)에 대해 사용자에 의해 수행된 입력 조작(1719)(예를 들어, 탭)을 수신하면, 이동 단말기는 입력 조작(1719)에 응답하여, 비디오의 녹화를 시작할 수 있고, 도 17b에 도시된 녹화 인터페이스(1720)를 디스플레이할 수 있다. 도 17b에 도시된 바와 같이, 이동 단말기의 녹화 인터페이스(1720)는 플래시 라이트를 턴 온/오프하는 데 사용되는 컨트롤(1721), 프레임 레이트 디스플레이 구역(1722), 뷰파인더 프레임(1724)에 디스플레이되는 초점 거리를 조정하는 데 사용되는 컨트롤(1723), 녹화 시간 디스플레이 구역(1725), 사진 촬영 컨트롤(1726), 녹화 정지 컨트롤(1727), 및 녹화 일시 정지 컨트롤(1728)을 포함한다.
도 3에 도시된 촬영 시나리오에서의 광도에 기반하여 녹화 프레임 레이트를 제어하는 전술한 실시예를 참조하면, 이동 단말기는 비디오 녹화를 시작할 때 디폴트로 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 도 17b에 도시된 바와 같이, 이동 단말기는, 촬영 시점이 1초인 경우, 디폴트로 30 fps에서 비디오 프레임을 수집하고, 현재 촬영 프레임 레이트 값(예를 들어, "fps: 30")을 도 17b에 도시된 프레임 레이트 디스플레이 구역(1722)에 디스플레이한다. 도 17c에 도시된 바와 같이, 이동 단말기의 촬영 시점이 9초일 때, 촬영 시나리오에서의 광도는 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, 이동 단말기는 고명도 촬영 시나리오에 있다. 이동 단말기는 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집할 수 있고, 현재 촬영 프레임 레이트 값(예를 들어, "fps: 60")을 도 17c에 도시된 프레임 레이트 디스플레이 구역(1722)에 디스플레이할 수 있다. 도 17d에 도시된 바와 같이, 이동 단말기의 촬영 시점이 25초일 때, 촬영 시나리오에서의 광도는 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있고, 촬영 시나리오는 중간 명도 촬영 시나리오에 있다. 이동 단말기는 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있고, 현재 촬영 프레임 레이트 값(예를 들어, "fps: 30")을 도 17d에 도시된 프레임 레이트 디스플레이 구역(1722)에 디스플레이할 수 있다. 도 17e에 도시된 바와 같이, 이동 단말기의 촬영 시점이 26초일 때, 촬영 시나리오에서의 광도는 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 촬영 시나리오는 저명도 촬영 시나리오에 있다. 이동 단말기가 여전히 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집하는 경우, 비디오 이미지의 명도는 상대적으로 낮다. 도 17f에 도시된 바와 같이, 이동 단말기의 촬영 시점이 27초일 때, 촬영 시나리오에서의 광도는 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 촬영 시나리오는 저명도 촬영 시나리오에 있다. 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집하여 비디오 이미지의 명도를 향상시키고, 현재 녹화 프레임 레이트 값(예를 들어, "fps: 24")을 도 17f에 도시된 프레임 레이트 디스플레이 구역(1722)에 디스플레이한다. 저명도 촬영 시나리오에서는 녹화 프레임 레이트가 감소하기 때문에 이동 단말기에 의해 촬영된 비디오 이미지는 더 밝아진다.
본 출원의 실시예에서, 비디오의 임의의 시간 구간에서, 이동 단말기로 촬영하는 동안의 녹화 프레임 레이트는, 촬영이 완료된 후 비디오를 재생할 때 사용되는 재생 프레임 레이트와 동일하다. 예를 들어, 이동 단말기는 비디오의 0초부터 2초까지의 동안 30 fps의 프레임 레이트에서 비디오 프레임을 수집하며, 비디오의 2초부터 10초까지의 동안 60 fps의 프레임 레이트에서 비디오 프레임을 수집하며, 비디오의 10초부터 55초까지의 동안 30 fps의 프레임 레이트에서 비디오 프레임을 수집하며, 비디오의 25초부터 40초까지의 동안 24 fps의 프레임 레이트에서 비디오 프레임을 수집하며, 비디오의 40초부터 55초까지의 동안 30 fps의 프레임 레이트에서 비디오 프레임을 수집하며, 그리고 비디오의 55초부터 65초까지의 동안 60 fps의 프레임 레이트에서 비디오 프레임을 수집한다. 이 경우, 비디오가 촬영되고 비디오 파일이 생성된 후, 이동 단말기는 비디오의 0초부터 2초까지의 동안 30 fps의 프레임 레이트에서, 비디오의 2초부터 10초까지의 동안 60 fps의 프레임 레이트에서, 비디오의 10초부터 25초까지의 동안 30 fps의 프레임 레이트에서, 비디오의 25초로부터 40초까지의 동안 24 fps의 프레임 레이트에서, 비디오의 40초로부터 55초까지의 동안 30 fps의 프레임 레이트에서, 그리고 비디오의 55초로부터 65초까지의 동안 60 fps의 프레임 레이트에서, 비디오 파일을 재생한다.
이하에서는 본 출원의 일 실시예에서 제공되는 녹화 프레임 레이트 제어 시스템(1800)을 기술한다.
도 18은 본 출원의 일 실시예에 따른 녹화 프레임 레이트 제어 시스템의 개략적인 블럭 다이어그램이다. 도 18에 도시된 바와 같이, 녹화 프레임 레이트 제어 시스템(1800)은 중앙 처리 유닛(1810), 이미지 센서(1830), 이미지 프로세서(1840), 인코딩 모듈(1850), 메모리(1860), 각도 센서(1870), 및 변위 센서(1880)를 포함할 수 있다.
중앙 처리 유닛(1810)은 주변 명도 검출 모듈(1811), 이동 단말기 움직임 검출 모듈(1812), 촬영된 물체 움직임 검출 모듈(1813), 및 촬영된 물체 인식 유닛(1820)을 포함할 수 있다. 촬영된 물체 인식 유닛(1820)은 얼굴 인식 모듈(1821), 인체 인식 모듈(1822), 동작 인식 모듈(1823), 및 차량 인식 모듈(1824)을 포함할 수 있다. 중앙 처리 유닛(1810)은 비디오 촬영 시, 촬영 시나리오의 명도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태인 3개의 인자 중 하나 이상에 기반하여 이미지 센서(1830)의 녹화 프레임 레이트를 제어하도록 구성될 수 있다.
이동 단말기 움직임 검출 모듈(1812)은 각도 센서(1870)에 의해 전송된 각속도 데이터 및/또는 변위 센서(1880)에 의해 전송된 변위 데이터에 기반하여 이동 단말기의 움직임 상태를 검출할 수 있다. 촬영된 물체 움직임 검출 모듈(1813)은 촬영된 물체 인식 유닛(1820)에 의해 인식된 촬영된 물체에 기반하여 촬영된 물체(예를 들어, 얼굴, 인체, 동작, 또는 차량)의 움직임 상태를 검출하도록 구성될 수 있다. 얼굴 인식 모듈(1821)은 카메라에 의해 캡처된 이미지로부터 얼굴을 인식하도록 구성되고, 인체 인식 모듈(1822)은 카메라에 의해 캡처된 이미지로부터 인체를 인식하도록 구성되고, 동작 인식 모듈(1823)은 카메라에 의해 캡처된 이미지로부터 동작을 인식하도록 구성되고, 그리고 차량 인식 모듈(1824)은 카메라에 의해 캡처된 이미지로부터 차량을 인식하도록 구성된다.
이미지 센서(1830)는 광을 감지하고 이미지를 생성하도록 구성될 수 있다. 이미지 센서(1830)는 상보형 금속 산화물 반도체(complementary metal oxide semiconductor)(CMOS) 센서일 수 있거나, 또는 전하 결합 소자(charge-coupled device)(CCD) 센서와 같은 광학 이미지 센서일 수 있다. 이미지 프로세서(1840)는 이미지 센서(1830)에 의해 생성된 이미지를 처리하여, 이미지 데이터 및 노출 파라미터와 같은 데이터를 획득하고, 데이터를 중앙 처리 유닛(1810)으로 전송하도록 구성될 수 있다. 이미지 센서(1830)는 광 감지를 통해 이미지 센서(1830)에 의해 생성된 이미지에 대해 데이터 처리를 수행하여, 이미지 데이터를 획득하고, 이미지 데이터를 인코딩 모듈(1850)로 전송하도록 추가로 구성된다. 인코딩 모듈(1850)은 이미지 데이터를 인코딩하여, 비디오 파일(1861)을 획득하고, 비디오 파일(1861)을 메모리(1860)에 저장하도록 구성될 수 있다.
각도 센서(1870)는 3차원 좌표계에서 X 방향, Y 방향, 및 Z 방향으로의 디바이스의 회전 움직임을 검출하도록 구성될 수 있다. 각도 센서(1870)는 자이로스코프 또는 다른 움직임 센서일 수 있다. 각도 센서(1870)는 디바이스 본체 상에 또는 카메라 모듈 내에 설치될 수 있다. 각도 센서(1870)가 자이로스코프인 경우, 자이로스코프에 의해 출력되는 신호는 이동 단말기의 각도 움직임 속도이다. 이동 단말기에 의해 회전된 각도는 자이로스코프 신호에 대해 적분을 1회 수행함으로써 획득될 수 있다. 자이로스코프는 마이크로 전자 기계 시스템(micro electro mechanical system)(MEMS) 자이로스코프일 수 있다.
변위 센서(1880)는 3차원 좌표계에서 X, Y, 및 Z 방향으로의 디바이스의 병진 움직임을 검출하도록 구성될 수 있다. 변위 센서(1880)는 가속도계 또는 다른 움직임 센서일 수 있다. 변위 센서(1880)는 이동 단말기의 본체 상에 설치될 수 있거나, 카메라 모듈 내에 설치될 수 있다. 변위 센서(1880)가 가속도 센서인 경우, 가속도 센서에 의해 출력되는 신호는 디바이스의 움직임 가속도이다. 디바이스의 움직임 동안의 선속도는 가속도 센서의 신호에 대해 적분을 1회 수행함으로써 획득될 수 있고, 디바이스가 움직인 거리는 선속도에 대해 적분을 수행함으로써 획득될 수 있다. 가속도 센서는 압전 MEMS 가속도계 또는 용량성 MEMS 가속도계일 수 있다. 압전 MEMS 가속도계는 압전 효과를 사용한다. 압전 MEMS 가속도계에는 강체에 의해 지지되는 질량 블록이 존재한다. 디바이스가 움직일 경우, 질량 블록은 압력을 생성하고, 강체는 변형(strain)을 생성하여, 가속도를 출력을 위한 전기 신호로 변환한다. 용량성 MEMS 가속도계 내부에도 질량 블록이 존재하며, 질량 블록은 표준 플레이트 캐패시터이다. 가속도의 변화는 움직이는 질량 블록의 움직임을 구동하여, 플레이트 캐패시터의 두 극 사이의 간격과 중첩 면적을 변화시키고, 가속도는 캐패시턴스 변화량을 측정함으로써 계산된다. 일 구현예에서, 자이로스코프와 가속도계는 동일한 전자 컴포넌트로 설계될 수 있거나, 두 개의 독립적인 전자 컴포넌트로서 개별적으로 설계될 수 있다.
이하에서는 본 출원의 이 실시예에서 이동 단말기가 비디오를 녹화하는 촬영 시나리오에서의 광도가 강하거나, 중간이거나, 또는 약하다는 것을 이동 단말기가 결정하는 방법을 기술한다.
이동 단말기는 이미지 프로세서(1840)에 의해 이미지 처리를 수행함으로써 획득된 이미지 노출 파라미터를 사용하여 촬영 시나리오에서의 광도를 결정할 수 있다.
이미지 노출 파라미터 ISO 값이 제1 노출 파라미터 임계치(예를 들어, 800)보다 작은 경우, 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크다는 것을 나타낼 수 있으며, 이동 단말기는 촬영 시나리오에서의 광도가 강한 것으로 결정할 수 있다.
이러한 ISO 값이 제2 노출 파라미터 임계치(예를 들어, 2000)보다 큰 경우, 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작다는 것을 나타낼 수 있으며, 이동 단말기는 촬영 시나리오에서의 명도가 낮은 것으로 결정할 수 있다.
이러한 ISO 값이 제1 노출 파라미터 임계치(예를 들어, 800)와 제2 노출 파라미터 임계치(예를 들어, 2000) 사이에 있는 경우, 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)와 제1 광도 임계치(예를 들어, 1000 lux) 사이에 있다는 것을 나타낼 수 있으며, 이동 단말기는 촬영 시나리오에서의 광도가 중간인 것으로 결정할 수 있다.
제1 광도 임계치는 제2 광도 임계치보다 크다. 제1 노출 파라미터 임계치는 제2 노출 파라미터 임계치보다 작다. 제1 노출 파라미터 임계치는 다른 표준 값일 수 있으며, 800으로 제한되지는 않는다. 제2 노출 파라미터 임계치는 다른 표준 값일 수 있으며, 2000으로 제한되지는 않는다. 촬영 시나리오에서의 광도를 결정하기 위한 파라미터는 대안적으로 다른 노출 파라미터, 또는 자동 노출 시간 또는 이미지 픽셀 정보와 같이, ISO와는 상이한 이미지 정보일 수 있다. 이것은 이에 제한되지는 않는다.
예를 들어, 도 19는 본 출원의 일 실시예에 따른 다른 녹화 프레임 레이트 제어 방법의 개략적인 플로우차트이다. 도 19에서, 이동 단말기는 촬영 시나리오에서의 광도를 결정하기 위한 토대로서 이미지 노출 파라미터 ISO 값을 사용하고, 촬영 시나리오에서의 광도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태에 기반하여, 비디오 녹화 동안 녹화 프레임 레이트를 제어한다.
도 19에 도시된 바와 같이, 이동 단말기는 먼저 디폴트로 제2 프레임 레이트(예를 들어, 30 fps)에서 비디오를 녹화할 수 있고, 촬영 시나리오에서의 광도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태에 기반하여, 제1 프레임 레이트(예를 들어, 60 fps) 또는 제3 프레임 레이트(예를 들어, 24 fps)로 동적으로 전환할 수 있다. 이미지 노출 파라미터 ISO 값이 800보다 작고, 이동 단말기가 격렬한 움직임 상태에 있는 경우, 또는 이미지 노출 파라미터 ISO 값이 800 보다 작고, 촬영된 물체가 격렬한 움직임 상태에 있는 경우, 이동 단말기는 제1 프레임 레이트(즉, 60 fps)에서 비디오를 녹화할 수 있다. 이미지 노출 파라미터 ISO 값이 2000보다 크고, 이동 단말기가 약간의 움직임 상태에 있고, 그리고 촬영된 물체가 약간의 움직임 상태에 있는 경우, 이동 단말기는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오를 녹화할 수 있다. 다른 상태에서, 이동 단말기는 제2 프레임 레이트(예를 들어, 30 fps)에서 비디오를 녹화할 수 있다.
대안적으로, 이동 단말기는 먼저 제1 프레임 레이트(예를 들어, 60 fps) 또는 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오를 녹화할 수 있고, 그 후, 촬영 시나리오에서의 명도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태에 기반하여, 녹화 프레임 레이트를 60 fps, 30 fps, 또는 24 fps로 동적으로 전환할 수 있다. 이것은 이에 제한되지 않는다.
이와 같이, 이동 단말기가 고명도 촬영 시나리오에 있고, 이동 단말기가 격렬한 움직임 시나리오에 있거나 촬영된 물체가 격렬한 움직임 시나리오에 있을 경우, 촬영된 비디오의 이미지는 더 매끄럽고, 이미지는 더 명확하다. 저명도 촬영 시나리오에서, 이동 단말기가 약간의 움직임 시나리오에 있고, 촬영된 물체가 약간의 움직임 시나리오에 있을 경우, 촬영된 비디오의 이미지의 명도는 더 높고, 노이즈는 더 낮다.
일 구현예에서, 이동 단말기가 비디오를 녹화하는 경우, 이동 단말기는 먼저 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 수집된 비디오 프레임의 이미지 노출 파라미터 ISO 값이 제1 노출 파라미터 임계치(예를 들어, 800)보다 작다고 검출하면, 이동 단말기는 제1 프레임 레이트를 제2 프레임 레이트(예를 들어, 60 fps)로 조정하여 비디오 프레임을 수집할 수 있다. 이동 단말기가 제2 프레임 레이트(예를 들어, 60 fps)에서 비디오 프레임을 수집하는 경우, 이동 단말기가 수집된 비디오 프레임의 이미지 노출 파라미터 ISO 값이 제3 노출 파라미터 임계치(예를 들어, 800 )와 제4 노출 파라미터 임계치(예를 들어, 1900) 사이에 있다는 것을 검출하면, 이동 단말기는 제2 프레임 레이트를 제1 프레임 레이트(예를 들어, 30 fps)로 조정하여 비디오 프레임을 수집할 수 있다. 이동 단말기가 비디오를 녹화하는 경우, 이동 단말기는 먼저 제1 프레임 레이트(예를 들어, 30 fps)에서 비디오 프레임을 수집할 수 있다. 이동 단말기가 수집된 비디오 프레임의 이미지 노출 파라미터 ISO 값이 제2 노출 파라미터 임계치(예를 들어, 2000)보다 크다는 것을 검출하면, 이동 단말기는 제1 프레임 레이트를 제3 프레임 레이트(예를 들어, 24 fps)로 조정하여 비디오 프레임을 수집할 수 있다. 이동 단말기가 먼저 제3 프레임 레이트(예를 들어, 24 fps)에서 비디오 프레임을 수집하는 경우, 이동 단말기가 수집된 비디오 프레임의 이미지 노출 파라미터 ISO 값이 제3 노출 파라미터 임계치(예를 들어, 900)와 제4 노출 파라미터 임계치(예를 들어, 1900) 사이에 있다는 것을 검출하면, 이동 단말기는 제3 프레임 레이트를 제1 프레임 레이트(예를 들어, 30 fps)로 조정하여 비디오 프레임을 수집할 수 있다. 제1 노출 파라미터 임계치는 제3 노출 파라미터 임계치보다 작고, 제3 노출 파라미터 임계치는 제4 노출 파라미터 임계치보다 작고, 제4 노출 파라미터 임계치는 제2 노출 파라미터 임계치보다 작다. 제1 노출 파라미터 임계치와 제3 노출 파라미터 임계치 간의 차이는 지정된 차이(예를 들어, 100)이고, 제3 노출 파라미터 임계치와 제4 노출 파라미터 임계치 간의 차이는 지정된 차이(예를 들어, 100)이다. 이와 같이, 비디오 프레임의 노출 파라미터 ISO 값이 대략 제1 노출 파라미터 임계치 또는 제2 노출 파라미터 임계치에서 변할 때 유발되는 녹화 프레임 레이트의 빈번한 변경은 방지될 수 있다.
이하에서는 본 출원의 이 실시예에서 이동 단말기의 움직임 상태가 격렬한 움직임 상태, 중간의 움직임 상태, 또는 약간의 움직임 상태인지를 이동 단말기가 결정하는 방법을 기술한다.
(1) 이동 단말기는 자이로스코프에 의해 측정된 데이터를 사용하여 이동 단말기의 움직임 상태를 결정할 수 있다.
이동 단말기는 XYZ 3축 자이로스코프에 의해 측정된 데이터를 사용하여, 3차원 좌표계에서 X, Y, 및 Z 방향으로 측정된 데이터의 평균 제곱근(Rx, Ry, Rz)을 계산할 수 있다. Rx는 자이로스코프에 의해 X축 방향으로 측정된 데이터의 평균 제곱근이고, Ry는 자이로스코프에 의해 Y축 방향으로 측정된 데이터의 평균 제곱근이고, Rz는 자이로스코프에 의해 Z축 방향으로 측정된 데이터의 평균 제곱근이다. Rx는 다음의 수학식 1에 따라 계산될 수 있으며 ― 여기서 N은 자이로스코프에 의해 측정된 데이터 그룹의 수량임 ―,
Figure pct00001
는 자이로스코프에 의해 X축 상에서 측정된 i 번째 그룹의 데이터이다. Ry는 다음의 수학식 2에 따라 계산될 수 있으며,
Figure pct00002
는 자이로스코프에 의해 Y축 상에서 측정된 i 번째 그룹의 데이터이다. Rz는 다음의 수학식 3에 따라 계산될 수 있으며,
Figure pct00003
는 자이로스코프에 의해 Z축 상에서 측정된 i 번째 그룹의 데이터이다.
Figure pct00004
Figure pct00005
Figure pct00006
Rx, Ry, 또는 Rz가 제1 값보다 큰 경우, 이동 단말기는 이동 단말기의 움직임 상태를 격렬한 움직임 상태인 것으로 결정할 수 있다.
Rx, Ry, 및 Rz가 모두 제2 값보다 작은 경우, 이동 단말기는 이동 단말기의 움직임 상태를 약간의 움직임 상태인 것으로 결정할 수 있고, 여기서 제1 값은 제2 값보다 크다.
Rx, Ry, 및 Rz가 다른 상태인 경우, 이동 단말기는 이동 단말기의 움직임 상태를 중간의 움직임 상태인 것으로 결정할 수 있다.
일 구현예에서, 단말기가 일정한 속도로 회전하는 경우, 단말기는 격렬한 움직임 상태에 있는 것으로 간주될 수 있다. 이동 단말기가 일정한 속도로 회전하는 경우, 한 축(예를 들어, X축, Y축, 또는 Z축) 상의 자이로스코프 데이터는 다른 두 축 상의 자이로스코프 데이터보다 확실히 크며, 이 방향 축 상의 자이로스코프 데이터는 안정적이며, 역극 플랩핑(reverse polar flapping)을 갖지 않는다. 따라서, 이동 단말기는 신호 표준 편차와 신호 진폭을 사용하여 회전 상태를 검출할 수 있다. Sx는 다음의 수학식 4에 따라 계산될 수 있으며 ― 여기서 N은 자이로스코프에 의해 측정된 데이터 그룹의 수량임 ―,
Figure pct00007
는 자이로스코프에 의해 X축 상에서 측정된 i 번째 그룹의 데이터이고, r은 X축 상의 N개 그룹의 자이로스코프 데이터의 평균값이다. Sy는 다음의 수학식 5에 따라 계산될 수 있으며 ― 여기서 N은 자이로스코프에 의해 측정된 데이터 그룹의 수량임 ―,
Figure pct00008
는 자이로스코프에 의해 Y축 상에서 측정된 i 번째 그룹의 데이터이고, s는 Y축 상의 N개 그룹의 자이로스코프 데이터의 평균값이다. Sz는 다음의 수학식 6에 따라 계산될 수 있으며 ― 여기서
Figure pct00009
는 자이로스코프에 의해 Z축 상에서 측정된 i 번째 그룹의 데이터임 ―, t는 Z축 상의 N개 그룹의 자이로스코프 데이터의 평균값이다.
Figure pct00010
Figure pct00011
Figure pct00012
Sx, Sy, 및 Sz가 모두 소정의 값보다 작고, Rx, Ry, 또는 Rz 중 어느 하나가 제1 값보다 큰 경우, 이동 단말기는 이동 단말기의 움직임 상태를 격렬한 움직임 상태인 것으로 결정할 수 있다.
Rx, Ry, 또는 Rz가 모두 제2 값보다 작은 경우, 이동 단말기는 이동 단말기의 움직임 상태를 약간의 움직임 상태인 것으로 결정할 수 있다.
Rx, Ry, 및 Rz가 다른 상태인 경우, 이동 단말기는 이동 단말기의 움직임 상태를 중간의 움직임 상태인 것으로 결정할 수 있다.
(2) 이동 단말기는 가속도계에 의해 측정된 데이터를 사용하여 이동 단말기의 움직임 상태를 결정할 수 있다.
이동 단말기는 XYZ 3축 가속도계에 의해 측정된 데이터를 사용하여, 3차원 좌표계에서 X, Y, 및 Z 방향으로 측정된 데이터의 평균 제곱근(Ax, Ay, Az)을 계산할 수 있다. Ax는 가속도계에 의해 X축 방향으로 측정된 데이터의 평균 제곱근이다. Ay는 가속도계에 의해 Y축 방향으로 측정된 데이터의 평균 제곱근이다. Az는 가속도계에 의해 Z축 방향으로 측정된 데이터의 평균 제곱근이다. Rx는 다음의 수학식 7에 따라 계산될 수 있으며 ― 여기서 M은 가속도계에 의해 측정된 데이터 그룹의 수량임 ―,
Figure pct00013
는 가속도계에 의해 X축 상에서 측정된 i 번째 그룹의 데이터이다. Ry는 다음의 수학식 8에 따라 계산될 수 있으며,
Figure pct00014
는 가속도계에 의해 Y축 상에서 측정된 i 번째 그룹의 데이터이다. Rz는 다음의 수학식 9에 따라 계산될 수 있으며,
Figure pct00015
는 가속도계에 의해 Z축 상에서 측정된 i 번째 그룹의 데이터이다.
Figure pct00016
Figure pct00017
Figure pct00018
Ax, Ay, 또는 Az가 제3 값보다 큰 경우, 이동 단말기는 이동 단말기의 움직임 상태를 격렬한 움직임 상태인 것으로 결정할 수 있다.
Ax, Ay, 및 Az가 모두 제4 값보다 작은 경우, 이동 단말기는 이동 단말기의 움직임 상태를 약간의 움직임 상태인 것으로 결정할 수 있고, 여기서 제3 값은 제4 값보다 크다.
Ax, Ay, 및 Az가 다른 상태인 경우, 이동 단말기는 이동 단말기의 움직임 상태를 중간의 움직임 상태인 것으로 결정할 수 있다.
이하에서는 본 출원의 이 실시예에서 이동 단말기가 촬영된 비디오의 이미지 내에서 촬영된 물체의 움직임 상태를 결정하는 방법을 기술한다.
이동 단말기는 얼굴 인식 모듈(1821), 인체 인식 모듈(1822), 동작 인식 모듈(1823), 차량 인식 모듈(1824) 등을 사용하여, 비디오의 이미지 내에서 촬영된 물체, 예를 들어, 얼굴, 인체, 또는 차량을 검출할 수 있다. 이동 단말기는 연속된 둘 이상의 이미지 프레임 내의 동일한 촬영된 물체의 위치를 비교함으로써 촬영된 물체의 움직임 상태를 결정할 수 있다.
두 개 이상의 이미지 프레임 사이의 동일한 촬영된 물체의 움직임 거리가 제1 거리 임계치보다 큰 경우, 이동 단말기는 촬영된 물체의 움직임 상태를 격렬한 움직임 상태인 것으로 결정할 수 있다.
두 개 이상의 이미지 프레임 사이의 동일한 촬영된 물체의 움직임 거리가 제1 거리 임계치와 제2 거리 임계치 사이에 있는 경우, 이동 단말기는 촬영된 물체의 움직임 상태를 중간의 움직임 상태인 것으로 결정할 수 있다.
두 개 이상의 이미지 프레임 사이의 동일한 촬영된 물체의 움직임 거리가 제2 거리 임계치보다 작은 경우, 이동 단말기는 촬영된 물체의 움직임 상태를 약간의 움직임 상태인 것으로 결정할 수 있다.
도 20은 본 출원의 일 실시예에 따른 녹화 프레임 레이트 제어 방법의 개략적인 플로우차트이다. 도 20에 도시된 바와 같이, 녹화 프레임 레이트 제어 방법은 다음의 단계를 포함할 수 있다.
S2001: 이동 단말기는 사용자의 제1 입력을 수신한다.
제1 입력은 도 17a에 도시된 입력 조작(1719)일 수 있다. 구체적인 내용에 대해서는 도 17a에 도시된 전술한 실시예가 참조된다. 세부 사항은 여기에 다시 기술되지 않는다.
S2002: 제1 입력에 응답하여, 이동 단말기는 비디오 녹화를 시작한다.
세부 사항에 대해서는 도 17b에 도시된 전술한 실시예가 참조된다. 세부 사항은 여기에 다시 기술되지 않는다.
S2003: 이동 단말기는 제1 프레임 레이트에서 촬영 시나리오의 N개의 비디오 프레임을 수집한다.
제1 프레임 레이트는 30 fps일 수 있지만, 30 fps로 제한되지는 않는다. 이것은 이에 제한되지 않는다. 촬영 시나리오는 도 17a 내지 도 17f의 촬영 시나리오일 수 있다. 예를 들어, 사용자가 이동 단말기를 사용하여 야간에 비디오를 녹화하는 경우, 사용자는 먼저 실내 광 아래에서 가족 구성원을 촬영하며, 즉, 처음 이동 단말기의 촬영 시나리오는 건물 내이다. 그 후, 광이 없이, 야외 환경으로 렌즈를 돌려, 야외 야경을 계속 촬영한다. 이 경우, 이동 단말기의 촬영 시나리오는 실외 시나리오로 전환된다.
S2004: 이동 단말기는 수집된 N개의 비디오 프레임에 기반하여 촬영 시나리오에서의 광도를 결정하고, 촬영 시나리오에서의 광도에 기반하여 이동 단말기의 녹화 프레임 레이트를 자동으로 조정한다.
이동 단말기는 N개의 비디오 프레임의 노출 파라미터가 제1 노출 파라미터 임계치보다 작은지의 여부를 결정할 수 있고; 만약 그러하다면, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크다고 결정한다. 이동 단말기는 N개의 비디오 프레임의 노출 파라미터가 제2 노출 파라미터 임계치보다 큰지의 여부를 결정할 수 있고; 만약 그러하다면, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작다고 결정한다. 예를 들어, 노출 파라미터는 ISO일 수 있고, 제1 노출 파라미터 임계치(예를 들어, 800)는 제2 노출 파라미터 임계치(예를 들어, 2000)보다 작다. 제1 광도 임계치(예를 들어, 1000 lux)는 제2 광도 임계치(예를 들어, 100 lux)보다 크다. 전술한 예는 단지 본 출원을 설명하는 데 사용되며, 여기에 제한을 구성하지는 않는다.
일 구현예에서, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 2000 lux)보다 클 경우 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하고, 여기서 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크다. 이와 같이, 촬영 시나리오에서의 광도가 상대적으로 강한 경우, 이동 단말기로 촬영한 비디오의 노출은 충분하고, 이동 단말기는 촬영된 비디오의 프레임 레이트를 증가시킬 수 있다. 프레임 레이트의 증가로 인해, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량이 증가하고 비디오는 보다 매끄러워진다. 촬영 시나리오에서의 광도에 기반하여 프레임 레이트를 동적으로 조정하면, 상대적으로 어두운 촬영 시나리오에서 이동 단말기로 촬영한 비디오의 이미지 명도가 향상되고 상대적으로 밝은 촬영 시나리오에서 이동 단말기로 촬영한 비디오의 이미지 평활도(smoothness)가 향상되어, 비디오 이미지의 화질이 향상될 수 있다.
일 구현예에서, 이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작은 경우 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하고, 여기서 제3 프레임 레이트(예를 들어, 24 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크다. 이와 같이, 촬영 시나리오에서의 광도가 상대적으로 약한 경우, 이동 단말기에 의해 촬영된 비디오의 노출은 불충분하고, 이동 단말기는 촬영된 비디오의 프레임 레이트를 감소시킬 수 있다. 프레임 레이트의 감소로 인해, 이동 단말기 상에서 각 비디오 프레임의 노출 시간 기간은 길어지고, 비디오 이미지의 명도는 향상될 수 있다.
일 구현예에서, 이동 단말기가 제2 프레임 레이트(예를 들어, 60 fps)에서 촬영 시나리오의 비디오 프레임을 수집하는 경우, 모바일 단말기는 현재 수집된 비디오 프레임의 노출 파라미터(예를 들어, ISO 값)가 제3 노출 파라미터 임계치(예를 들어, 900)보다 크고 제2 노출 파라미터 임계치(예를 들어, 2000)보다 작은지의 여부를 결정할 수 있다. 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제1 프레임 레이트(예를 들어, 30 fps)로 조정한다. 제1 노출 파라미터 임계치(예를 들어, 800)는 제3 노출 파라미터 임계치(예를 들어, 900)보다 작고, 제3 노출 파라미터 임계치는 제2 노출 파라미터 임계치(예를 들어, 2000)보다 작다. 이와 같이, 비디오 프레임의 노출 파라미터가 대략 제1 노출 파라미터 임계치에서 변할 때 제1 프레임 레이트와 제2 프레임 레이트 간의 녹화 프레임 레이트의 빈번한 전환은 방지될 수 있다.
일 구현예에서, 이동 단말기가 제3 프레임 레이트(예를 들어, 24 fps)에서 촬영 시나리오의 비디오 프레임을 수집하는 경우, 모바일 단말기는 현재 수집된 비디오 프레임의 노출 파라미터(예를 들어, ISO 값)가 제4 노출 파라미터 임계치(예를 들어, 1900)보다 작고 제1 노출 파라미터 임계치(예를 들어, 800)보다 큰지의 여부를 결정할 수 있다. 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제1 프레임 레이트(예를 들어, 30 fps)로 조정한다. 제1 노출 파라미터 임계치(예를 들어, 800)는 제4 노출 파라미터 임계치(예를 들어, 1900)보다 작고, 제4 노출 파라미터 임계치는 제2 노출 파라미터 임계치(예를 들어, 2000)보다 작다. 이와 같이, 비디오 프레임의 노출 파라미터가 대략 제2 노출 파라미터 임계치에서 변할 때 제1 프레임 레이트와 제3 프레임 레이트 간의 녹화 프레임 레이트의 빈번한 전환은 방지될 수 있다.
일 구현예에서, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고 이동 단말기의 움직임 변위가 제1 거리 임계치(예를 들어, 1 미터)보다 큰지의 여부를 결정할 수 있거나, 또는 촬영 시나리오에서의 광도가 제1 광도 임계치보다 크고 이동 단말기의 움직임 속도가 제1 속도 임계치(예를 들어, 1 미터/초)보다 큰지의 여부를 결정할 수 있고; 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트(예를 들어, 60 fps)로 조정하고, 여기서 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크다.
이동 단말기는, 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 이동 단말기의 움직임 변위가 제2 거리 임계치(예를 들어, 0.5 미터)보다 작고, 그리고 움직임 속도가 제2 속도 임계치(예를 들어, 0.5 미터/초)보다 작은지의 여부를 결정할 수 있다. 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트(예를 들어, 24 fps)로 조정하고, 여기서 제3 프레임 레이트(예를 들어, 24 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 작다. 제2 거리 임계치(예를 들어, 0.5 미터)는 제1 거리 임계치(예를 들어, 1 미터)보다 작고, 제2 속도 임계치(예를 들어, 0.5 미터/초)는 제1 속도 임계치(예를 들어, 1 미터/초)보다 작다. 이동 단말기에 의해 움직임 변위 및 움직임 속도를 측정하는 구체적인 구현예에 대해서는 이동 단말기에 의해 움직임 상태를 결정하는 전술한 내용이 참조된다. 세부 사항은 여기에 다시 기술되지 않는다.
이와 같이, 이동 단말기가 격렬하게 움직이는 경우, 녹화 프레임 레이트는 증가하고, 이동 단말기에 의해 촬영되는 이미지의 각 프레임의 노출 시간 기간은 감소되며, 이동 단말기의 움직임으로 인해 유발되는 비디오 이미지의 블러는 감소된다. 이와 같이, 격렬한 움직임 상태에서의 이동 단말기에 의해 촬영된 비디오의 모션 블러를 감소시켜, 비디오의 평활도 및 비디오 이미지의 화질을 향상시킬 수 있다.
일 구현예에서, 이동 단말기는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고 N개의 비디오 프레임 중 임의의 두 개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제3 거리 임계치(예를 들어, 2 센티미터)보다 큰지의 여부를 결정할 수 있다. 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트(예를 들어, 60 fps)로 조정하고, 여기서 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크다.
이동 단말기는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, N개의 비디오 프레임 중 임의의 두 개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치(예를 들어, 1 센티미터)보다 작은지의 여부를 결정할 수 있다. 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트(예를 들어, 24 fps)로 조정하고, 여기서 제3 프레임 레이트(예를 들어, 24 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 작다. 이동 단말기에 의해 촬영된 물체의 변위를 측정하는 구체적인 구현예에 대해서는 이동 단말기에 의해 촬영된 이미지 내의 촬영된 물체의 움직임 상태를 결정하는 전술한 내용이 참조된다. 세부 사항은 여기에 다시 기술되지 않는다.
이와 같이, 촬영된 물체가 격렬하게 움직이는 경우에 녹화 프레임 레이트가 증가하므로, 이동 단말기에 의해 촬영되는 이미지의 각 프레임의 노출 시간 기간은 단축되며, 촬영된 물체의 움직임으로 인해 유발되는 비디오 이미지의 블러는 감소된다. 촬영된 물체가 약간 움직이는 경우 녹화 프레임 레이트는 감소하므로, 초당 촬영되는 이미지의 프레임의 수량은 감소되고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 따라서, 촬영된 비디오의 이미지 명도가 보장될 수 있고, 이동 단말기가 촬영된 이미지를 처리할 때 발생하는 전력 소비는 감소된다. 이와 같이, 촬영된 물체가 격렬한 움직임 상태에 있는 경우에 촬영된 비디오의 모션 블러를 감소시켜 비디오의 평활도 및 비디오 이미지의 화질을 향상시킬 수 있다.
일 구현예에서, 이동 단말기는 다음의 조건이 충족되는지 여부: 즉, 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, 이동 단말기의 움직임 변위가 제1 거리 임계치(예를 들어, 1 미터)보다 크거나 또는 이동 단말기의 움직임 속도가 제1 속도 임계치(예를 들어, 1 미터/초)보다 큰지; 또는 촬영 시나리오에서의 광도가 제1 광도 임계치(예를 들어, 1000 lux)보다 크고, N개의 비디오 프레임 중 임의의 두 개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제3 거리 임계치(예를 들어, 2 센티미터)보다 작은지의 여부를 결정할 수 있다. 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트(예를 들어, 60 fps)로 조정하고, 여기서 제2 프레임 레이트(예를 들어, 60 fps)는 제1 프레임 레이트(예를 들어, 30 fps)보다 크다.
이동 단말기는 다음의 조건이 충족되는지 여부: 즉, 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 이동 단말기의 움직임 변위가 제2 거리 임계치(예를 들어, 0.5 미터)보다 작고, 그리고 N개의 비디오 프레임 중 임의의 두 개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치(예를 들어, 1 센티미터)보다 작은지; 또는 촬영 시나리오에서의 광도가 제2 광도 임계치(예를 들어, 100 lux)보다 작고, 이동 단말기의 움직임 속도가 제2 속도 임계치(예를 들어, 0.5 미터/초)보다 작고, 그리고 N개의 비디오 프레임 중 임의의 두 개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치(예를 들어, 1 센티미터)보다 작은지의 여부를 결정할 수 있다. 만약 그러하다면, 이동 단말기는 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트(예를 들어, 24 fps)로 조정한다.
이와 같이, 촬영 시나리오에서의 광도가 강하고 이동 단말기가 격렬한 움직임 상태에 있는 경우 녹화 프레임 레이트가 높기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 증가되고, 이미지의 각 프레임의 노출 시간 기간은 단축된다. 이와 같이, 이동 단말기의 격렬한 움직임으로 인해 유발되는 이미지의 모션 블러를 감소시켜, 비디오의 평활도를 향상시킬 수 있다. 또한, 촬영 시나리오에서의 광도가 강하기 때문에, 녹화 프레임 레이트가 높아도 이미지의 각 프레임은 상대적으로 밝다. 촬영 시나리오에서의 광도가 약하고 이동 단말기가 약간의 움직임 상태에 있는 경우 녹화 프레임 레이트가 낮기 때문에, 이동 단말기에 의해 초당 촬영되는 이미지의 프레임의 수량은 감소하고, 이미지의 각 프레임의 노출 시간 기간은 길어진다. 따라서, 저명도 환경에서 비디오의 이미지 명도는 향상된다. 이와 같이, 주변 광도 및 이동 단말기의 움직임 상태를 참조하여, 프레임 레이트를 여러 수준으로 제어함으로써, 고명도 시나리오에서 비디오의 이미지 명도 및 비디오의 평활도를 향상시킨다.
S2005: 이동 단말기는 조정 후 획득한 녹화 프레임 레이트에 기반하여 촬영 시나리오의 비디오 프레임을 계속 수집한다.
S2006: 이동 단말기는 제1 프레임 레이트에서 수집된 비디오 프레임 및 조정 후 획득된 녹화 프레임 레이트에 기반하여 수집된 비디오 프레임에 기반하여 비디오 파일을 생성한다.
이동 단말기가 비디오 파일을 생성하는 과정에 대해서는 도 18에 도시된 전술한 실시예가 참조된다. 세부 사항은 여기에 다시 기술되지 않는다.
본 출원의 이 실시예에서, 이동 단말기의 녹화 프레임 레이트는 이동 단말기에 의해 수행되는 비디오 녹화 동안 촬영 시나리오에서의 광도, 이동 단말기의 움직임 상태, 및 촬영된 물체의 움직임 상태인 3개의 인자 중 하나 이상에 기반하여 제어될 수 있다. 이동 단말기는 촬영 시나리오에서의 광도에 기반하여 녹화 프레임 레이트를 자동으로 조정하여, 저명도 시나리오에서는 비디오 이미지의 명도를 향상시키고, 고명도 시나리오에서는 비디오의 평활도를 향상시킨다. 이동 단말기는 이동 단말기의 움직임 상태에 기반하여 프레임 레이트를 제어하여, 움직임 동안 이동 단말기에 의해 촬영된 비디오의 평활도를 향상시킨다. 이동 단말기는 촬영된 물체의 움직임 상태에 기반하여 프레임 레이트를 제어하여, 비디오 이미지 내에 움직이는 물체가 있을 때 이미지의 평활도를 향상시키고, 촬영된 이미지 내에 촬영된 물체의 움직임으로 인해 유발되는 모션 블러를 감소시킨다. 이와 같이, 이동 단말기의 녹화 프레임 레이트는 자동으로 조정되고, 비디오 이미지의 화질이 향상된다.
결론적으로, 전술한 실시예는 단지 본 출원의 기술적 솔루션을 설명하기 위한 것일 뿐이지 본 출원을 제한하기 위한 것은 아니다. 본 출원은 전술한 실시예를 참조하여 상세히 설명되었지만, 본 기술 분야의 통상의 기술자는 전술한 실시예에서 설명된 기술적 솔루션에 대한 수정을 여전히 행할 수 있거나 그의 일부의 기술적 특징에 대해 등가의 대체를 행할 수 있음을 이해해야 한다. 이러한 수정 또는 대체으로 인해 해당 기술적 솔루션의 본질이 본 출원의 실시예의 기술 솔루션의 범위를 벗어나게 되는 것은 아니다.

Claims (16)

  1. 녹화 프레임 레이트 제어 방법으로서,
    이동 단말기에 의해, 사용자의 제1 입력을 수신하는 단계;
    상기 이동 단말기에 의해, 상기 제1 입력에 응답하여 비디오 녹화를 시작하는 단계;
    상기 이동 단말기에 의해, 제1 프레임 레이트에서 촬영 시나리오의 N개의 비디오 프레임을 수집하는 단계;
    상기 이동 단말기에 의해, 상기 수집된 N개의 비디오 프레임에 기반하여 상기 촬영 시나리오에서의 광도를 결정하고, 상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 단계 ― 상기 조정 후에 획득되는 녹화 프레임 레이트는 상기 제1 프레임 레이트와는 상이하며, N은 2보다 큰 양의 정수임 ―;
    상기 이동 단말기에 의해, 상기 조정 후 획득된 상기 녹화 프레임 레이트에 기반하여 상기 촬영 시나리오의 비디오 프레임을 계속 수집하는 단계; 및
    상기 이동 단말기에 의해, 상기 제1 프레임 레이트에서 수집된 비디오 프레임 및 상기 조정 후 획득된 상기 녹화 프레임 레이트에 기반하여 수집된 비디오 프레임에 기반하여 비디오 파일을 생성하는 단계를 포함하는
    녹화 프레임 레이트 제어 방법.
  2. 제1항에 있어서,
    상기 이동 단말기에 의해, 상기 수집된 N개의 비디오 프레임에 기반하여 상기 촬영 시나리오에서의 광도를 결정하는 것은:
    상기 이동 단말기에 의해, 상기 N개의 비디오 프레임의 노출 파라미터가 제1 노출 파라미터 임계치보다 작은지의 여부를 결정하는 것; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 제1 광도 임계치보다 큰 것으로 결정하는 것을 포함하는
    녹화 프레임 레이트 제어 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 이동 단말기에 의해, 상기 수집된 N개의 비디오 프레임에 기반하여 상기 촬영 시나리오에서의 광도를 결정하는 것은:
    상기 이동 단말기에 의해, 상기 N개의 비디오 프레임의 노출 파라미터가 제2 노출 파라미터 임계치보다 큰지의 여부를 결정하는 것; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 제2 광도 임계치보다 작은 것으로 결정하는 것을 포함하는
    녹화 프레임 레이트 제어 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 상기 제1 광도 임계치보다 큰 경우, 상기 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 것을 포함하고, 상기 제2 프레임 레이트는 상기 제1 프레임 레이트보다 큰
    녹화 프레임 레이트 제어 방법.
  5. 제1항, 제3항, 또는 제4항 중 어느 한 항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 상기 제2 광도 임계치보다 작은 경우, 상기 이동 단말기의 상기 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 것을 포함하고, 상기 제3 프레임 레이트는 상기 제1 프레임 레이트보다 작으며, 상기 제2 광도 임계치는 상기 제1 광도 임계치보다 작은
    녹화 프레임 레이트 제어 방법.
  6. 제4항에 있어서,
    상기 이동 단말기가 상기 제2 프레임 레이트에서 상기 촬영 시나리오의 비디오 프레임을 수집하는 경우, 상기 방법은:
    상기 이동 단말기에 의해, 현재 수집되는 비디오 프레임의 노출 파라미터가 제3 노출 파라미터 임계치보다 크고, 상기 제2 노출 파라미터 임계치보다 작은지의 여부를 결정하는 단계; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 상기 제1 프레임 레이트로 조정하는 단계를 더 포함하고, 상기 제1 노출 파라미터 임계치는 상기 제3 노출 파라미터 임계치보다 작고, 상기 제3 노출 파라미터 임계치는 상기 제2 노출 파라미터 임계치보다 작은
    녹화 프레임 레이트 제어 방법.
  7. 제5항에 있어서,
    상기 이동 단말기가 상기 제3 프레임 레이트에서 상기 촬영 시나리오의 비디오 프레임을 수집하는 경우, 상기 방법은:
    상기 이동 단말기에 의해, 현재 수집되는 비디오 프레임의 노출 파라미터가 제4 노출 파라미터 임계치보다 작고, 제1 노출 파라미터 임계치보다 큰지의 여부를 결정하는 단계; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 상기 제1 프레임 레이트로 조정하는 단계를 더 포함하고, 상기 제1 노출 파라미터 임계치는 상기 제4 노출 파라미터 임계치보다 작고, 상기 제4 노출 파라미터 임계치는 상기 제2 노출 파라미터 임계치보다 작은
    녹화 프레임 레이트 제어 방법.
  8. 제1항 또는 제2항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 상기 제1 광도 임계치보다 크고, 상기 이동 단말기의 움직임 변위가 제1 거리 임계치보다 큰지의 여부를 결정하는 것; 또는
    상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 상기 제1 광도 임계치보다 크고, 상기 이동 단말기의 움직임 속도가 제1 속도 임계치보다 큰지의 여부를 결정하는 것; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 것을 포함하고, 상기 제2 프레임 레이트는 상기 제1 프레임 레이트보다 큰
    녹화 프레임 레이트 제어 방법.
  9. 제1항, 제3항, 또는 제8항 중 어느 한 항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 상기 제2 광도 임계치보다 작은지의 여부와, 상기 이동 단말기의 움직임 변위가 제2 거리 임계치보다 작고, 상기 이동 단말기의 움직임 속도가 제2 속도 임계치보다 작은지의 여부를 결정하는 것; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 것을 포함하고, 상기 제3 프레임 레이트는 상기 제1 프레임 레이트보다 작은
    녹화 프레임 레이트 제어 방법.
  10. 제1항 또는 제2항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 상기 제1 광도 임계치보다 크고, 상기 N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제3 거리 임계치보다 큰지의 여부를 결정하는 것; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 것을 포함하고, 상기 제2 프레임 레이트는 상기 제1 프레임 레이트보다 큰
    녹화 프레임 레이트 제어 방법.
  11. 제1항, 제3항, 또는 제10항 중 어느 한 항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 상기 촬영 시나리오에서의 광도가 상기 제2 광도 임계치보다 작고, 상기 N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치보다 작은지의 여부를 결정하는 것; 및 만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 것을 포함하고, 상기 제3 프레임 레이트는 상기 제1 프레임 레이트보다 작은
    녹화 프레임 레이트 제어 방법.
  12. 제1항 또는 제2항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 다음의 조건이 충족되는지의 여부:
    상기 촬영 시나리오에서의 광도가 상기 제1 광도 임계치보다 크고, 상기 이동 단말기의 움직임 변위가 제1 거리 임계치보다 크거나 상기 이동 단말기의 움직임 속도가 제1 속도 임계치보다 큰지의 여부; 또는
    상기 촬영 시나리오에서의 광도가 상기 제1 광도 임계치보다 크고, 상기 N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제3 거리 임계치보다 큰지의 여부를 결정하는 것; 및
    만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 제2 프레임 레이트로 조정하는 것을 포함하고, 상기 제2 프레임 레이트는 상기 제1 프레임 레이트보다 큰
    녹화 프레임 레이트 제어 방법.
  13. 제1항, 제3항, 또는 제12항 중 어느 한 항에 있어서,
    상기 촬영 시나리오에서의 광도에 기반하여 상기 이동 단말기의 녹화 프레임 레이트를 자동으로 조정하는 것은:
    상기 이동 단말기에 의해, 다음의 조건이 충족되는지의 여부:
    상기 촬영 시나리오에서의 광도가 상기 제2 광도 임계치보다 작고, 상기 이동 단말기의 움직임 변위가 제2 거리 임계치보다 작고, 그리고 상기 N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 제4 거리 임계치보다 작은지의 여부; 또는
    상기 촬영 시나리오에서의 광도가 상기 제2 광도 임계치보다 작고, 상기 이동 단말기의 움직임 속도가 제2 속도 임계치보다 작고, 그리고 상기 N개의 비디오 프레임 중 임의의 2개의 비디오 프레임 내의 동일한 촬영된 물체의 변위가 상기 제4 거리 임계치보다 작은지의 여부를 결정하는 것; 및
    만약 그러하다면, 상기 이동 단말기에 의해, 상기 이동 단말기의 녹화 프레임 레이트를 제3 프레임 레이트로 조정하는 것을 포함하고, 상기 제3 프레임 레이트는 상기 제1 프레임 레이트보다 작고, 상기 제1 광도 임계치는 상기 제2 광도 임계치보다 크고, 상기 제1 거리 임계치는 상기 제2 거리 임계치보다 작고, 상기 제1 속도 임계치는 상기 제2 속도 임계치보다 크며, 상기 제4 거리 임계치는 상기 제3 거리 임계치보다 작은
    녹화 프레임 레이트 제어 방법.
  14. 이동 단말기로서,
    터치스크린, 카메라, 하나 이상의 프로세서, 및 하나 이상의 메모리를 포함하고, 상기 하나 이상의 메모리는 상기 하나 이상의 프로세서에 연결되고, 상기 하나 이상의 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성되고, 상기 컴퓨터 프로그램 코드는 컴퓨터 인스트럭션을 포함하고; 상기 하나 이상의 프로세서가 상기 컴퓨터 인스트럭션을 실행하는 경우, 상기 이동 단말기는 제1항 내지 제13항 중 어느 한 항에 따른 녹화 프레임 레이트 제어 방법을 수행하는
    이동 단말기.
  15. 컴퓨터 인스트럭션을 포함하는 컴퓨터 저장 매체로서,
    상기 컴퓨터 인스트럭션이 단말기 상에서 실행되는 경우, 상기 단말기는 제1항 내지 제13항 중 어느 한 항에 따른 녹화 프레임 레이트 제어 방법을 수행하도록 활성화되는
    컴퓨터 저장 매체.
  16. 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행되는 경우, 상기 컴퓨터는 제1항 내지 제13항 중 어느 한 항에 따른 녹화 프레임 레이트 제어 방법을 수행하는 것이 가능한
    컴퓨터 프로그램 제품.
KR1020217026498A 2019-02-28 2020-02-21 녹화 프레임 레이트 제어 방법 및 관련 장치 KR102577396B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910153286.XA CN111107292B (zh) 2019-02-28 2019-02-28 一种录像帧率的控制方法、移动终端及计算机存储介质
CN201910153286.X 2019-02-28
PCT/CN2020/076130 WO2020173394A1 (zh) 2019-02-28 2020-02-21 一种录像帧率的控制方法及相关装置

Publications (2)

Publication Number Publication Date
KR20210114522A true KR20210114522A (ko) 2021-09-23
KR102577396B1 KR102577396B1 (ko) 2023-09-11

Family

ID=70420355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026498A KR102577396B1 (ko) 2019-02-28 2020-02-21 녹화 프레임 레이트 제어 방법 및 관련 장치

Country Status (8)

Country Link
US (1) US11818497B2 (ko)
EP (1) EP3907981B1 (ko)
JP (1) JP7403551B2 (ko)
KR (1) KR102577396B1 (ko)
CN (4) CN113411529A (ko)
AU (1) AU2020229917B2 (ko)
BR (1) BR112021016828A2 (ko)
WO (1) WO2020173394A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918098A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备、服务器及存储介质
US20220138964A1 (en) * 2020-10-30 2022-05-05 Qualcomm Incorporated Frame processing and/or capture instruction systems and techniques
CN115225823A (zh) * 2021-04-16 2022-10-21 成都鼎桥通信技术有限公司 图像采集方法及设备
CN113919382B (zh) * 2021-04-29 2023-04-28 荣耀终端有限公司 一种扫码的方法及装置
CN113596320B (zh) * 2021-06-16 2022-07-01 荣耀终端有限公司 视频拍摄变速录制方法、设备、存储介质
CN113938678B (zh) * 2021-12-17 2022-04-22 深圳市丹芽科技有限公司 一种摄像头测试方法、装置、设备及计算机可读存储介质
CN115526787B (zh) * 2022-02-28 2023-10-20 荣耀终端有限公司 视频处理方法和装置
CN116074634B (zh) * 2022-05-27 2023-11-14 荣耀终端有限公司 一种曝光参数确定方法和装置
CN116055711B (zh) * 2022-08-12 2023-09-15 荣耀终端有限公司 一种帧率动态调节性能的评估系统、方法及装置
CN116347224B (zh) * 2022-10-31 2023-11-21 荣耀终端有限公司 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质
CN117750191A (zh) * 2024-02-19 2024-03-22 荣耀终端有限公司 一种摄像头控制方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001358984A (ja) * 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
US20060072031A1 (en) * 2004-10-01 2006-04-06 Curitel Communications, Inc. Mobile communication terminal equipped with digital image capturing module and method of capturing digital image

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4033456B2 (ja) 2002-11-28 2008-01-16 富士フイルム株式会社 デジタルカメラ
JPWO2007057971A1 (ja) * 2005-11-21 2009-04-30 パナソニック株式会社 デジタルカメラ、デジタルカメラを搭載した電子機器、デジタルカメラの撮像方法、およびデジタルカメラのプログラムを記憶した記憶媒体
JP4861234B2 (ja) * 2007-04-13 2012-01-25 株式会社エルモ社 露出制御方法及び撮像装置
JP4556995B2 (ja) * 2007-12-10 2010-10-06 カシオ計算機株式会社 撮像装置及びその露出制御方法、露出制御プログラム
JP2010271600A (ja) * 2009-05-22 2010-12-02 Sanyo Electric Co Ltd 電子カメラ
JP5423187B2 (ja) * 2009-07-08 2014-02-19 カシオ計算機株式会社 撮像装置、画像選択方法、及び、プログラム
CN102196183A (zh) * 2010-03-01 2011-09-21 英属开曼群岛商恒景科技股份有限公司 影像传感器的自适应帧速率控制系统及方法
CN102096924B (zh) 2010-11-18 2012-07-25 无锡中星微电子有限公司 一种调整检测帧率的方法
JP5234119B2 (ja) * 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
KR101822655B1 (ko) 2011-06-21 2018-01-29 삼성전자주식회사 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템
RU2517042C2 (ru) 2012-04-24 2014-05-27 Федеральное государственное унитарное предприятие федеральный научно-производственный центр "Производственное объединение "Старт" им. М.В. Проценко" (ФГУП ФНПЦ ПО "Старт" им. М.В. Проценко") Малокадровая система видеонаблюдения для контроля протяженных рубежей охраны
CN102790862A (zh) 2012-07-30 2012-11-21 成都西可科技有限公司 一种动态提升手机前摄像头效果的方法
CN103905708B (zh) 2012-12-24 2017-06-27 联想(北京)有限公司 一种拍摄帧率调整方法及电子设备
CN103024279A (zh) * 2012-12-27 2013-04-03 上海华勤通讯技术有限公司 摄像头亮度调节装置及其实现方法
CN103347152A (zh) 2013-07-08 2013-10-09 华为终端有限公司 一种图像处理方法、装置及终端
JP6103481B2 (ja) * 2013-07-11 2017-03-29 カシオ計算機株式会社 撮像装置、及びその制御方法とプログラム
CN104580969A (zh) 2013-10-23 2015-04-29 中兴通讯股份有限公司 录像帧率调整方法和装置
KR20150069413A (ko) * 2013-12-13 2015-06-23 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
CN104754200A (zh) * 2013-12-31 2015-07-01 联芯科技有限公司 调整自动曝光量的方法和系统
CN203840441U (zh) 2014-05-12 2014-09-17 台湾微米科技股份有限公司 摄影帧率调整装置
US20150373293A1 (en) * 2014-06-24 2015-12-24 Sony Corporation Video acquisition with adaptive frame rate
US9325876B1 (en) * 2014-09-08 2016-04-26 Amazon Technologies, Inc. Selection of a preferred image from multiple captured images
CN104683691B (zh) * 2015-02-02 2017-11-14 上海小蚁科技有限公司 拍摄方法、装置及设备
JP6518452B2 (ja) * 2015-02-05 2019-05-22 オリンパス株式会社 撮像装置及び撮像方法
US20160182853A1 (en) 2015-03-20 2016-06-23 Mediatek Inc. Dynamic Content Adaptive Frame Rate Conversion
JP6808333B2 (ja) * 2015-04-03 2021-01-06 キヤノン株式会社 表示制御装置及び方法、及び撮像装置
CN105323466B (zh) 2015-06-25 2019-01-29 维沃移动通信有限公司 一种基于场景的拍摄方法及终端
CN104967803B (zh) * 2015-07-01 2018-01-19 广东欧珀移动通信有限公司 一种视频录制方法及装置
CN107690804B (zh) * 2015-10-28 2020-08-25 华为技术有限公司 一种图像处理方法及用户终端
CN106023346B (zh) 2016-07-06 2018-08-14 福州瑞芯微电子股份有限公司 动态帧率行车记录系统及车辆速度判断装置
CN107277388A (zh) * 2017-07-27 2017-10-20 青岛海信移动通信技术股份有限公司 移动终端及其补光方法
CN107396019B (zh) 2017-08-11 2019-05-17 维沃移动通信有限公司 一种慢动作视频录制方法及移动终端
CN108377335B (zh) * 2018-04-20 2021-02-02 浙江大华技术股份有限公司 一种摄像机聚焦方法及摄像机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001358984A (ja) * 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
US20060072031A1 (en) * 2004-10-01 2006-04-06 Curitel Communications, Inc. Mobile communication terminal equipped with digital image capturing module and method of capturing digital image

Also Published As

Publication number Publication date
CN111107292B (zh) 2021-05-18
AU2020229917A1 (en) 2021-08-19
US11818497B2 (en) 2023-11-14
JP7403551B2 (ja) 2023-12-22
EP3907981A1 (en) 2021-11-10
WO2020173394A1 (zh) 2020-09-03
CN113411529A (zh) 2021-09-17
AU2020229917B2 (en) 2023-05-18
CN111107292A (zh) 2020-05-05
CN113411528B (zh) 2022-10-11
US20220174238A1 (en) 2022-06-02
KR102577396B1 (ko) 2023-09-11
EP3907981A4 (en) 2022-03-16
BR112021016828A2 (pt) 2021-10-19
JP2022522453A (ja) 2022-04-19
CN113411528A (zh) 2021-09-17
CN113475057A (zh) 2021-10-01
CN113475057B (zh) 2023-04-18
EP3907981B1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
KR102577396B1 (ko) 녹화 프레임 레이트 제어 방법 및 관련 장치
CN113362783B (zh) 刷新率切换方法和电子设备
EP3893491A1 (en) Method for photographing the moon and electronic device
CN113726950B (zh) 一种图像处理方法和电子设备
CN113722030B (zh) 一种显示方法、电子设备及计算机存储介质
WO2021190613A9 (zh) 一种拍照方法及装置
WO2023273323A9 (zh) 一种对焦方法和电子设备
WO2021052388A1 (zh) 一种视频通信方法及视频通信装置
US20230412929A1 (en) Photographing Method and Related Apparatus
US20230388658A1 (en) Photographing method from plurality of artificial light sources and related apparatus
CN113923372B (zh) 曝光调整方法及相关设备
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
CN114827098A (zh) 合拍的方法、装置、电子设备和可读存储介质
RU2782255C1 (ru) Способ управления частотой кадров записи и соответствующее устройство
WO2023160224A9 (zh) 一种拍摄方法及相关设备
CN115379039A (zh) 视频拍摄方法、装置和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant