WO2019134271A1 - 预览帧画面生成方法、装置及移动终端、存储介质 - Google Patents

预览帧画面生成方法、装置及移动终端、存储介质 Download PDF

Info

Publication number
WO2019134271A1
WO2019134271A1 PCT/CN2018/081230 CN2018081230W WO2019134271A1 WO 2019134271 A1 WO2019134271 A1 WO 2019134271A1 CN 2018081230 W CN2018081230 W CN 2018081230W WO 2019134271 A1 WO2019134271 A1 WO 2019134271A1
Authority
WO
WIPO (PCT)
Prior art keywords
delay time
model
mobile terminal
matrix
preview frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/081230
Other languages
English (en)
French (fr)
Inventor
尹成
张文明
陈少杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Publication of WO2019134271A1 publication Critical patent/WO2019134271A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Definitions

  • the present disclosure relates to the field of Internet technologies, and in particular, to a preview frame picture generating method and apparatus, and a mobile terminal and a storage medium.
  • the Android application In the process of calling the camera to collect data and generate images, the Android application first acquires the Camera driver class, and then opens the camera through the Camera driver class to start continuous preview (time interval is 16.67ms).
  • the camera preview essentially captures the color channel value of the scene, generates a byte data in YUV format, YUV is essentially a grayscale image, then the camera application converts the YUV grayscale color data into RGB color data, and finally the camera application will RGB Convert to a Bitmap bitmap, which forms a frame in the preview image of the camera application.
  • the above is the mainstream practice of camera application in taking scenes and generating video, that is, generating a picture (one frame) every 16.67 ms, and continuously generating at least 60 frames in 1 s.
  • the processing flow exists only for cameras and camera video applications, and it is necessary to continuously generate a frame picture, and some special scenes do not need to generate continuous frame pictures, and continuously generate frame pictures regardless of CPU consumption or memory usage. Higher.
  • An object of the embodiments of the present disclosure is to provide a preview frame picture generation method and apparatus, and a mobile terminal and a storage medium for generating a discontinuous preview frame picture.
  • an embodiment of the present disclosure provides a preview frame picture generating method, which is applied to a mobile terminal, where the mobile terminal includes an image capturing apparatus, and the method includes: acquiring a first preview frame image collected by the camera device; and using a pre-established delay time prediction The model predicts the delay time of the camera according to the current performance parameter of the mobile terminal; and acquires the second preview frame captured by the camera device during the delay time to obtain a non-continuous preview frame picture.
  • the embodiment of the present disclosure further provides a preview frame picture generating apparatus, which is applied to a mobile terminal, where the mobile terminal includes an imaging device, and the preview frame picture generating device includes a first picture acquiring module, a delay time prediction module, and a second picture. Get the module.
  • the first picture acquiring module is configured to acquire a first preview frame picture collected by the camera device
  • the delay time prediction module is configured to predict a delay time of the camera device according to the current performance parameter of the mobile terminal by using a pre-established delay time prediction model
  • the second picture acquiring module is configured to acquire a second preview frame picture acquired by the camera device during the delay time to obtain a non-contiguous preview frame picture.
  • an embodiment of the present disclosure further provides a mobile terminal, where the mobile terminal includes an image capturing device, the mobile terminal further includes a memory, a processor, and a preview frame image generating device, wherein the preview frame image generating device is stored in the memory and includes a Or multiple software function modules executed by the processor.
  • the preview frame picture generating device includes a first picture acquiring module, a delay time prediction module, and a second picture acquiring module.
  • the first picture acquiring module is configured to acquire a first preview frame picture collected by the camera device, and the delay time prediction module is configured to predict a delay time of the camera device according to the current performance parameter of the mobile terminal by using a pre-established delay time prediction model;
  • the second picture acquiring module is configured to acquire a second preview frame picture acquired by the camera device during the delay time to obtain a non-contiguous preview frame picture.
  • the present disclosure is also directed to a storage medium having stored therein computer instructions, wherein the computer instructions, when being read and executed, perform a preview frame picture generation method as described above.
  • a preview frame picture generating method and apparatus a mobile terminal, and a storage medium are provided.
  • a first preview frame picture acquired by the camera device is acquired; and then, a pre-established delay time is utilized.
  • the prediction model predicts the delay time of the camera according to the current performance parameter of the mobile terminal.
  • the second preview frame captured by the camera is acquired during the delay time to obtain a non-continuous preview frame.
  • the delay time of the camera device is dynamically predicted according to the current performance parameter of the mobile terminal, so that the second preview frame picture is acquired in the delay time, and the discontinuous preview frame picture is generated. Practical.
  • FIG. 1 is a block diagram showing a mobile terminal provided by an embodiment of the present disclosure.
  • FIG. 2 is a flowchart of a method for generating a preview frame picture provided by the first embodiment of the present disclosure.
  • FIG. 3 is a flow chart of the sub-steps of step S102 shown in FIG. 2.
  • step S103 is a flow chart of the sub-steps of step S103 shown in FIG. 2.
  • FIG. 5 is a block diagram showing a preview frame picture generating apparatus provided by a second embodiment of the present disclosure.
  • FIG. 6 is a functional block diagram of a submodule of a model building module provided by a second embodiment of the present disclosure
  • FIG. 7 is a block diagram showing a sub-module of a delay time prediction module according to a second embodiment of the present disclosure.
  • Icon 100-mobile terminal; 101-memory; 102-storage controller; 103-processor; 104-peripheral interface; 105-camera device; 200-preview frame picture generating device; 201-first picture acquisition module; - model building module; 203 - delay time prediction module; 204 - second picture acquisition module; 2021 - variable determination sub-module; 2022-standardization processing sub-module; 2023-regression analysis sub-module; 2031-principal component extraction sub-module; - Confidence analysis sub-module.
  • FIG. 1 is a block diagram of a mobile terminal 100 according to an embodiment of the present disclosure.
  • the mobile terminal 100 can be, but is not limited to, a smartphone, a tablet, a laptop portable computer, a car computer, a personal digital assistant (PDA), a wearable mobile terminal, and the like.
  • the mobile terminal 100 is equipped with an Android system including a preview frame picture generating device 200, a memory 101, a memory controller 102, a processor 103, a peripheral interface 104, and a camera device 105.
  • Android system including a preview frame picture generating device 200, a memory 101, a memory controller 102, a processor 103, a peripheral interface 104, and a camera device 105.
  • the components of the memory 101, the memory controller 102, the processor 103, the peripheral interface 104, and the camera 105 are electrically connected directly or indirectly to each other to implement data transmission or interaction.
  • the components can be electrically connected to one another via one or more communication buses or signal lines.
  • the preview frame picture generating apparatus 200 includes at least one software function module that can be stored in the memory 101 or solidified in an operating system (OS) of the mobile terminal 100 in the form of software or firmware.
  • the processor 103 is configured to execute an executable module stored in the memory 101, such as a software function module or a computer program included in the preview frame picture generating device 200.
  • the memory 101 may be, but not limited to, a random access memory (RAM), a read only memory (ROM), and a programmable read-only memory (PROM). Erasable Programmable Read-Only Memory (EPROM), Electric Erasable Programmable Read-Only Memory (EEPROM), and the like.
  • RAM random access memory
  • ROM read only memory
  • PROM programmable read-only memory
  • EPROM Erasable Programmable Read-Only Memory
  • EEPROM Electric Erasable Programmable Read-Only Memory
  • the processor 103 can be an integrated circuit chip with signal processing capabilities.
  • the processor 103 may be a general-purpose processor, including a central processing unit (CPU), a network processor (NP), a voice processor, a video processor, etc., and may also be a digital signal processor.
  • ASIC field programmable gate array or other programmable logic device, discrete gate or transistor logic device, discrete hardware component.
  • the methods, steps, and logical block diagrams disclosed in the embodiments of the present disclosure may be implemented or carried out.
  • the general purpose processor may be a microprocessor or the processor 103 may be any conventional processor or the like.
  • Peripheral interface 104 is used to couple various input/output devices to processor 103 and memory 101.
  • peripheral interface 104, processor 103, and memory controller 102 can be implemented in a single chip. In other instances, they can be implemented by separate chips.
  • the camera device 105 is configured to collect the first preview frame and the second preview frame.
  • the camera 105 may be, but is not limited to, an Android camera.
  • FIG. 2 is a flowchart of a method for generating a preview frame picture according to the first embodiment of the present disclosure.
  • the preview frame picture generation method includes the following steps:
  • Step S101 Acquire a first preview frame screen acquired by the camera.
  • the first preview frame picture may be a preview frame picture that is collected after the user turns on the camera device 105 for the first time, or may be a camera responsing delay (CRD) during the camera device 105 is turned on. Open any preview frame of the frame captured by the camera preview.
  • CCD camera responsing delay
  • the CRD is a response delay generated by the operation of the camera 105, for example, hardware operation such as turning on, off, turning on the preview, turning off the preview, the flash switch, and the like.
  • the CRD is an unsteady parameter of the camera 105, and the smaller the CRD, the higher the hardware performance of the camera 105.
  • the value of the CRD of the mobile terminal 100 fluctuates in the interval of 1 ms to 16 ms, and the value thereof is not fixed.
  • the CRDs of the mobile terminals 100 of different types have a large difference, even if the same mobile terminal 100 has CRD in different time. The value is also floating.
  • the embodiment of the present disclosure predicts the CRD value range of the camera 105 according to the real-time performance of the mobile terminal 100, and turns on the preview of the camera 105 in time within the CRD value range, thereby generating a discontinuity. Preview the frame picture.
  • the preview image frame generating method may further include the following step S102:
  • Step S102 Establish a delay time prediction model according to the performance parameter matrix of the mobile terminal.
  • the performance parameter of the mobile terminal 100 is a factor that affects the value of the CRD.
  • the performance parameters include, but are not limited to, a CPU load value, a memory footprint, and the like.
  • the performance parameter matrix may be a matrix established according to the value interval of the performance parameter, for example, a matrix established according to a value interval of a CPU load value, a memory occupancy, and the like. The inventor has found through a large number of research tests that the CPU load value is the most significant factor in the performance parameters of the mobile terminal 100 that affects the value of the CRD. Therefore, the delay time prediction model can be established according to the CPU load value of the mobile terminal 100. .
  • the delay time prediction model is established by using a partial least squares regression analysis method.
  • the specific modeling method may be: first, determining a model dependent variable of the delay time prediction model according to the performance parameter matrix of the mobile terminal 100, The model independent variables are determined according to the delay time matrix. Then, the model independent variables and the model dependent variables are respectively standardized to obtain the corresponding standardized independent variable matrix and standardized dependent variable matrix. Finally, according to the standardized independent variable matrix and the standardized dependent variable The matrix calculates the regression coefficient of the delay time prediction model to establish a delay time prediction model.
  • For the specific delay time prediction model establishment process refer to sub-steps S1021 to S1023.
  • step S102 may include the following sub-steps:
  • Sub-step S1021 determining a model independent variable and a model dependent variable of the delay time prediction model, wherein the model independent variable is a delay time matrix, and the model dependent variable is a performance parameter matrix of the mobile terminal.
  • the performance parameter matrix of the mobile terminal 100 is determined as a model dependent variable, that is, a model independent variable is established according to the value interval of the CPU load value, and as an implementation manner, the value range of the CPU load value is determined.
  • the user can perform a large number of tests on the mobile terminal 100 when the camera 105 captures the preview frame picture.
  • the inventor has conducted a large number of research tests to determine that the value range of the CPU load value is [0.10, 0.99].
  • the model dependent variable Y L is a 1 ⁇ 90 Matrix.
  • the delay time matrix is determined as a model independent variable, that is, the model independent variable is established according to the value of the delay time.
  • the value of the delay time may be performed by the user when the camera 105 captures the preview frame image. A large number of tests have been obtained.
  • the independent variable model X is a 90 ⁇ 16 matrix.
  • L is the standard variance matrix of the principal components of the first preview frame picture
  • l [1,2,3,...,16] 1 ⁇ 16
  • x 1 , x 2 , . . . , x 90 each include 16
  • the value, and the 16 values are the 16 CRD value intervals tested in 1 s.
  • Sub-step S1022 respectively, normalizes the model independent variable and the model dependent variable to obtain a corresponding standardized independent variable matrix and a standardized dependent variable matrix.
  • the standardization process can be carried out according to the following formula:
  • x ij represents the jth variable x j in the model argument X
  • the i-th sample value Represents the mean of the jth variable x j in the model argument X
  • s j represents the standard deviation of the jth variable x j in the model argument X
  • y i represents the ith sample value in the model dependent variable Y
  • s y represents the standard deviation of the model dependent variable Y
  • Represents the value normalized by x ij Indicates the value after y i is normalized.
  • Sub-step S1023 regression analysis is performed on the normalized independent variable matrix and the standardized dependent variable matrix to obtain the regression coefficient of the delay time prediction model.
  • the model independent variable X and the model dependent variable Y are respectively standardized, and the corresponding standardized independent variable matrix E 0 and the standardized dependent variable matrix F 0 are obtained , and the normalized independent variable matrix E 0 and the normalized are normalized.
  • Regression analysis is performed by the variable matrix F 0 , and the regression coefficient of the delay time prediction model is calculated.
  • the calculation formula of the regression coefficient is At this point, a delay time prediction model is established, where p is the regression coefficient.
  • step of establishing the delay time prediction model introduced in step S102 may be performed before the first video frame picture is acquired, that is, the process of establishing the delay time prediction model and the other steps of the preview frame generation method are not Continuously, the delay time prediction model may be established and stored in advance using the method described in step S102, and may be directly invoked subsequently.
  • Step S103 using a pre-established delay time prediction model, predicting the delay time of the camera device according to the current performance parameter of the mobile terminal.
  • the current performance parameter of the mobile terminal 100 is obtained.
  • the current CPU load value of the mobile terminal 100 is selected, and according to the mobile terminal 100.
  • the current CPU load value predicts the delay time of the camera 105, that is, the next time the camera preview is turned on, and the time interval of the second preview frame picture is acquired.
  • the method for predicting the delay time of the camera device 105 may be: first, using the established delay time prediction model, performing principal component extraction on the preset delay time to obtain an initial value of the delay time, and a preset delay.
  • the specific prediction process refer to sub-steps S1031 to S1032.
  • step S103 may include the following sub-steps:
  • Sub-step S1031 using the delay time prediction model, performs principal component extraction on the preset delay time to obtain an initial value of the delay time.
  • Sub-step S1032 performing a confidence analysis on the initial value according to the current performance parameter of the mobile terminal, and predicting the delay time of the imaging device.
  • the current performance parameter of the mobile terminal 100 that is, the current CPU load value of the mobile terminal 100 is acquired in real time, and the delay time is determined according to the current performance parameter of the mobile terminal 100.
  • the initial value is subjected to confidence analysis.
  • the specific method may be: first, select the confidence regression factor Among them, 0.0975 is the partial least squares regression standard confidence factor; then, the confidence matrix M b is established according to the confidence regression factor, and the formula is:
  • the L CPU is the current CPU load value of the mobile terminal 100.
  • the current CPU load value L CPU of the mobile terminal 100 is obtained, and the L CPU is input to the confidence matrix M b to calculate a confidence interval, that is, the delay of the camera 105.
  • Step S104 Acquire a second preview frame picture acquired by the camera device during the delay time to obtain a non-contiguous preview frame picture.
  • the second preview frame picture is the next frame picture of the first preview frame picture.
  • the imaging sensor is turned on within the delay time, and the imaging device 105 outputs the captured scene data in a byte array format, and then converts the byte array into a grayscale image of the YUV format.
  • the YUV is converted into an RGB image with a color channel to generate a second preview frame picture, thereby obtaining a non-contiguous preview frame picture.
  • the delay time prediction model is established by using the partial least-squares regression analysis algorithm; and the current CPU load value of the mobile terminal 100 acquired in real time is
  • the delay time prediction model is input to calculate the time interval for the next time the imaging sensor is turned on, and the imaging sensor is turned on within the time interval to obtain a non-continuous preview frame picture.
  • the embodiment of the present disclosure dynamically estimates the delay time of the camera device 105 based on the partial least squares regression analysis algorithm, thereby enabling the image preview to be turned on in time during the delay time, thereby implementing the generation of the discontinuous preview frame image of the camera device 105, for CPU consumption. Still low memory usage, with good practicality.
  • FIG. 5 is a block diagram showing a preview frame picture generating apparatus 200 according to a second embodiment of the present disclosure.
  • the preview frame picture generating apparatus 200 includes a first picture acquiring module 201, a model establishing module 202, a delay time prediction module 203, and a second picture acquiring module 204.
  • the first picture acquiring module 201 is configured to acquire a first preview frame picture collected by the camera.
  • the first screen obtaining module 201 may be configured to perform step S101.
  • the model establishing module 202 is configured to establish a delay time prediction model according to the performance parameter matrix of the mobile terminal.
  • the model establishing module 202 may be configured to perform step S102.
  • the model establishing module 202 is further configured to perform sub-steps S1021 - S1023 of step S102.
  • the model establishing module 202 includes a variable determining sub-module 2021 , a normalization processing sub-module 2022 , and a regression analysis sub-module 2023 .
  • the variable determination sub-module 2021 can be used to perform step S1021.
  • the normalization processing sub-module 2022 can be used to perform step S1022, and the regression analysis sub-module 2023 can be used to perform step S1023.
  • the delay time prediction module 203 is configured to predict the delay time of the camera according to the current performance parameter of the mobile terminal by using the pre-established delay time prediction model.
  • the delay time prediction module 203 may be configured to perform step S103.
  • the delay time prediction module 203 is further configured to perform sub-steps S1031 - S1032 of step S103.
  • the delay time prediction module 203 includes a principal component extraction sub-module 2031 and a confidence analysis sub-module 2032.
  • the principal component extraction sub-module 2031 can be used to perform step S1031, and the confidence analysis sub-module 2032 can be used to perform step S1032.
  • the second picture obtaining module 204 is configured to acquire a second preview frame picture acquired by the camera device during the delay time to obtain a non-contiguous preview frame picture.
  • the second screen obtaining module 204 may be configured to perform step S104.
  • the present disclosure also relates to a storage medium having stored therein computer instructions, wherein the computer instructions, when being read and executed, perform a preview frame picture generation method as described above.
  • the present disclosure provides a preview frame picture generating method and apparatus, and a mobile terminal and a storage medium.
  • the mobile terminal includes an image capturing apparatus, and the method includes: acquiring a first preview frame picture collected by the camera apparatus.
  • the pre-established delay time prediction model is used to predict the delay time of the camera according to the current performance parameter of the mobile terminal; and the second preview frame picture acquired by the camera device is acquired during the delay time to obtain a non-continuous preview frame picture.
  • the delay time of the camera device is dynamically predicted according to the current performance parameter of the mobile terminal, so that the second preview frame picture is acquired in the delay time, and the discontinuous preview frame picture is generated.
  • each block of the flowchart or block diagram can represent a module, a program segment, or a portion of code that includes one or more of the Executable instructions. It should also be noted that, in some alternative implementations, the functions noted in the blocks may also occur in a different order than those illustrated in the drawings.
  • each block of the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented in a dedicated hardware-based system that performs the specified function or function. Or it can be implemented by a combination of dedicated hardware and computer instructions.
  • each functional module in various embodiments of the present disclosure may be integrated to form a separate part, or each module may exist separately, or two or more modules may be integrated to form a separate part.
  • the functions, if implemented in the form of software functional modules and sold or used as separate products, may be stored in a computer readable storage medium.
  • a computer readable storage medium including: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like.
  • the storage medium, the preview frame picture generation method, the device and the mobile terminal provided by the embodiment of the present disclosure enable the image preview to be turned on in time in the delay time, thereby implementing the generation of the discontinuous preview frame image of the camera device 105, and the CPU consumption is still Low memory usage and good practicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

本公开实施例涉及互联网技术领域，提供一种预览帧画面生成方法、装置及移动终端、存储介质，所述移动终端包括摄像装置，所述方法包括：获取摄像装置采集的第一预览帧画面；利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间；在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。本公开实施例在采集第一预览帧画面后，依据移动终端的当前性能参数动态预测摄像装置的延迟时间，从而实现在延迟时间内采集第二预览帧画面，实现非连续预览帧画面的生成，实用性强。

Description

预览帧画面生成方法、装置及移动终端、存储介质
相关申请的交叉引用
本申请要求于2018年01月04日提交中国专利局的申请号为2018100089210、名称为“预览帧画面生成方法、装置及移动终端”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及互联网技术领域，具体而言，涉及一种预览帧画面生成方法、装置及移动终端、存储介质。
背景技术
Android应用在调用摄像头采集数据并生成图片的过程中，首先会获取Camera驱动类，然后通过Camera驱动类打开相机开始进行连续预览(时间间隔为16.67ms)。摄像头预览本质上就是抓取景象的色彩通道值，生成一个YUV格式的字节数据，YUV本质上是灰度图像，然后相机应用将YUV灰度色彩数据转为RGB彩色数据，最后相机应用将RGB转为Bitmap位图，这样就形成了相机应用里预览景象画面中的一帧。
上述是目前相机应用在进行景象拍照和生成视频时的主流做法，即每隔16.67ms生成一张图片(一帧)，1s内会连续生成至少60帧。但是，该处理流程存在只是针对类似相机以及拍照视频类应用，需要连续生成帧画面的场景，而某些特殊场景无需进行连续帧画面的生成，而且连续生成帧画面无论对于CPU消耗还是内存占用都会较高。
发明内容
本公开实施例的目的在于提供一种预览帧画面生成方法、装置及移动终 端、存储介质，用以生成非连续预览帧画面。
为了实现上述目的，本公开实施例采用的技术方案如下：
第一方面，本公开实施例提供了一种预览帧画面生成方法，应用于移动终端，移动终端包括摄像装置，方法包括：获取摄像装置采集的第一预览帧画面；利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间；在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
第二方面，本公开实施例还提供了一种预览帧画面生成装置，应用于移动终端，移动终端包括摄像装置，预览帧画面生成装置包括第一画面获取模块、延迟时间预测模块及第二画面获取模块。其中，第一画面获取模块用于获取摄像装置采集的第一预览帧画面；延迟时间预测模块用于利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间；第二画面获取模块用于在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
第三方面，本公开实施例还提供了一种移动终端，移动终端包括摄像装置，移动终端还包括存储器；处理器；以及预览帧画面生成装置，预览帧画面生成装置存储于存储器中并包括一个或多个由处理器执行的软件功能模组。预览帧画面生成装置包括第一画面获取模块、延迟时间预测模块及第二画面获取模块。其中，第一画面获取模块用于获取摄像装置采集的第一预览帧画面；延迟时间预测模块用于利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间；第二画面获取模块用于在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
第四方面，本公开还涉及了一种存储介质，所述存储介质中存储有计算机 指令，其中，所述计算机指令在被读取并运行时执行如上述的预览帧画面生成方法。
相对现有技术，本公开实施例提供的一种预览帧画面生成方法、装置及移动终端、存储介质，首先，获取所述摄像装置采集的第一预览帧画面；然后，利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间；最后，在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。本公开实施例在采集第一预览帧画面后，依据移动终端的当前性能参数动态预测摄像装置的延迟时间，从而实现在延迟时间内采集第二预览帧画面，实现非连续预览帧画面的生成，实用性强。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例提供的移动终端的方框示意图。
图2示出了本公开第一实施例提供的预览帧画面生成方法流程图。
图3为图2示出的步骤S102的子步骤流程图。
图4为图2示出的步骤S103的子步骤流程图。
图5示出了本公开第二实施例提供的预览帧画面生成装置的方框示意图。
图6示出了本公开第二实施例提供的模型建立模块的子模块功能框图；
图7示出了本公开第二实施例提供的延迟时间预测模块的子模块功能框 图。
图标：100-移动终端；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-摄像装置；200-预览帧画面生成装置；201-第一画面获取模块；202-模型建立模块；203-延迟时间预测模块；204-第二画面获取模块；2021-变量确定子模块；2022-标准化处理子模块；2023-回归分析子模块；2031-主成分提取子模块；2032-置信分析子模块。
具体实施方式
下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本公开的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1示出了本公开实施例提供的移动终端100的方框示意图。移动终端100可以是，但不限于智能手机、平板电脑、膝上型便携计算机、车载电脑、个人数字助理(personal digital assistant，PDA)、穿戴式移动终端等等。移动终端100安装有安卓系统，其包括预览帧画面生成装置200、存储器 101、存储控制器102、处理器103、外设接口104和摄像装置105。
存储器101、存储控制器102、处理器103、外设接口104和摄像装置105各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。预览帧画面生成装置200包括至少一个可以软件或固件(firmware)的形式存储于存储器101中或固化在移动终端100的操作系统(operating system，OS)中的软件功能模块。处理器103用于执行存储器101中存储的可执行模块，例如预览帧画面生成装置200包括的软件功能模块或计算机程序。
其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，处理器103在接收到执行指令后，执行程序。
处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104、处理器103以及存储控制器102可以 在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
摄像装置105用于采集第一预览帧画面和第二预览帧画面，在本实施例中，摄像装置105可以是，但不限于安卓摄像头。
第一实施例
请参照图2，图2示出了本公开第一实施例提供的预览帧画面生成方法流程图。预览帧画面生成方法包括以下步骤：
步骤S101，获取摄像装置采集的第一预览帧画面。
在本公开实施例中，第一预览帧画面可以是用户首次开启摄像装置105后采集到的预览帧画面，也可以是用户在摄像装置105开启期间，在摄像头延迟时间(Camera Responsing Delay，CRD)内开启摄像头预览采集到的任意一帧预览帧画面。
CRD是操作摄像装置105，例如，开启、关闭、开启预览、关闭预览、闪光灯开关等的硬件操作产生的响应延迟。CRD是摄像装置105的一个非稳定参数，CRD越小，摄像装置105硬件性能越高。目前，移动终端100的CRD的取值在1ms～16ms区间内浮动，其取值是不固定的，不同型号移动终端100的CRD存在较大差别，即使同一台移动终端100在不同时间内CRD的值也存在浮动，因此，本公开实施例采用根据移动终端100的实时性能，来预测摄像装置105的CRD取值范围，并在CRD取值范围内及时开启摄像装置105的预览，从而生成非连续预览帧画面。
在本公开实施例中，采集到第一预览帧画面之后，需要根据移动终端100的当前性能参数，例如，CPU负载值、内存占用量等，来估算摄像装置105的延迟时间，以便在该延迟时间内再次开启摄像装置105预览，以采集第二预览帧画面，因此，本公开实施例提供的预览帧画面生成方法还可以包括以下的 步骤S102：
步骤S102，根据移动终端的性能参数矩阵，建立延迟时间预测模型。
在本公开实施例中，移动终端100的性能参数是影响CRD取值的因素，性能参数包括，但不限于CPU负载值、内存占用量等。性能参数矩阵可以是根据性能参数的取值区间建立的矩阵，例如，根据CPU负载值、内存占用量等的取值区间建立的矩阵。发明人经过大量的研究测试发现，影响CRD取值的移动终端100的性能参数中，CPU负载值是影响最为显著的因素，因此，可以根据移动终端100的CPU负载值，来建立延迟时间预测模型。
在本公开实施例中，利用偏最小二乘回归分析方法建立延迟时间预测模型，具体的建模方法可以是：首先，根据移动终端100的性能参数矩阵确定出延迟时间预测模型的模型因变量，并根据延迟时间矩阵确定出模型自变量；然后，对模型自变量和模型因变量分别进行标准化处理，得到对应的标准化自变量矩阵和标准化因变量矩阵；最后，根据标准化自变量矩阵和标准化因变量矩阵，计算出延迟时间预测模型的回归系数，从而建立出延迟时间预测模型，具体的延迟时间预测模型建立过程请参照子步骤S1021～S1023。
请参照图3，步骤S102可以包括以下子步骤：
子步骤S1021，确定延迟时间预测模型的模型自变量和模型因变量，其中，模型自变量为延迟时间矩阵，模型因变量为移动终端的性能参数矩阵。
在本公开实施例中，确定移动终端100的性能参数矩阵为模型因变量，也就是说，根据CPU负载值的取值区间建立模型自变量，作为一种实施方式，CPU负载值的取值区间可以由用户在摄像装置105采集预览帧画面时对移动终端100进行大量测试得到，在本实施例中，发明人经过大量的研究测试，确定出CPU负载值的取值区间为[0.10，0.99]，接下来根据该CPU负载值的取值 区间，建立模型因变量为：Y L＝[0.10，0.11，0.12，….，0.98，0.99] 1×90，模型因变量Y L为一个1×90的矩阵。
另外，确定延迟时间矩阵为模型自变量，也就是说，根据延迟时间的取值建立模型自变量，作为一种实施方式，延迟时间的取值可以由用户在摄像装置105采集预览帧画面时进行大量测试得到，在本实施例中，确定自变量模型为：X＝[x 1,x 2,…,L,…,x 90] 90×16，自变量模型X为一个90×16的矩阵，其中，L为第一预览帧画面的主成分的标准方差矩阵，且l＝[1,2,3,…,16] 1×16，x 1,x 2,…,x 90均包括16个取值，且这16个取值是在1s时间内测试到的16个CRD取值区间。
子步骤S1022，对模型自变量和模型因变量分别进行标准化处理，得到对应的标准化自变量矩阵和标准化因变量矩阵。
在本公开实施例中，确定出模型自变量X和模型因变量Y之后，对模型自变量X和模型因变量Y分别进行标准化处理，得到对应的标准化自变量矩阵E 0和标准化因变量矩阵F 0，标准化处理可以按照以下公式进行：
Figure PCTCN2018081230-appb-000001
Figure PCTCN2018081230-appb-000002
Figure PCTCN2018081230-appb-000003
Figure PCTCN2018081230-appb-000004
其中，i＝1,2,…L…,n，n＝90；j＝1,2,…L…,k，k＝16；x ij表示模型自变量X中的第j个变量x j的第i个样本值；
Figure PCTCN2018081230-appb-000005
表示模型自变量X中第j个变量x j的均值；s j表示模型自变量X中的第j个变量x j的标准差；y i表示模型因变量Y中的第i个样本值；
Figure PCTCN2018081230-appb-000006
表示模型因变量Y的均值；s y表示模型因变量Y的标准差；
Figure PCTCN2018081230-appb-000007
表示x ij标准化后的数值；
Figure PCTCN2018081230-appb-000008
表示y i标准化后的数值。
子步骤S1023，对标准化自变量矩阵和标准化因变量矩阵进行回归分析，得到延迟时间预测模型的回归系数。
在本公开实施例中，对模型自变量X和模型因变量Y分别进行标准化处理，得到对应的标准化自变量矩阵E 0和标准化因变量矩阵F 0之后，对据标准化自变量矩阵E 0和标准化因变量矩阵F 0进行回归分析，计算出延迟时间预测模型的回归系数，回归系数的计算公式为
Figure PCTCN2018081230-appb-000009
至此，便建立出了延迟时间预测模型，其中，p为回归系数。
需要说明的是，步骤S102中介绍的建立延迟时间预测模型的步骤，可以在采集第一视频帧画面之前进行，也就是说，建立延迟时间预测模型的过程可以和预览帧生成方法的其它步骤不是连续的，可以预先利用步骤S102中介绍的的方法建立好延迟时间预测模型并进行存储，后续直接调用即可。
步骤S103，利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间。
在本公开实施例中，获取到摄像装置105采集到的第一视频帧画面之后，获取移动终端100的当前性能参数，本实施例中选取移动终端100的当前CPU负载值，并依据移动终端100的当前CPU负载值来预测摄像装置105的延迟时间，也就是下一次开启摄像头预览，获取第二预览帧画面的时间区间。
在本公开实施例中，摄像装置105的延迟时间的预测方法可以是：首先，利用建立好的延迟时间预测模型，对预设延迟时间进行主成分提取，得到延迟时间的初始值，预设延迟时间设置为R o＝[1,16]，也就是目前操作系统为安卓系统的移动终端100的CRD取值范围；然后，计算出延迟时间的初始值之后，实时获取移动终端100的CPU负载值，也就是获取移动终端100的当前CPU 负载值，并依据移动终端100的当前性能参数移动终端100的当前CPU负载值，对延迟时间的初始值进行置信分析，预测出摄像装置105的延迟时间，具体的预测过程请参照子步骤S1031～S1032。
请参照图4，步骤S103可以包括以下子步骤：
子步骤S1031，利用延迟时间预测模型，对预设延迟时间进行主成分提取，得到延迟时间的初始值。
在本公开实施例中，预设延迟时间设置为目前操作系统为安卓系统的移动终端100的CRD取值范围，即R o＝[1,16]。作为一种实施方式，利用交叉有效性算法对预设延迟时间进行主成分提取，得到延迟时间的初始值，主成分提取公式为R Origin＝pR i,i∈[1,16]。
子步骤S1032，依据移动终端的当前性能参数，对初始值进行置信分析，预测出摄像装置的延迟时间。
在本公开实施例中，计算出延迟时间的初始值之后，实时获取移动终端100的当前性能参数，也就是移动终端100的当前CPU负载值，并依据移动终端100的当前性能参数，对延迟时间的初始值进行置信分析，具体方法可以是：首先，选取置信回归因子
Figure PCTCN2018081230-appb-000010
其中，0.0975为偏最小二乘回归标准置信因子；然后，根据置信回归因子建立置信矩阵M b，建立公式为：
Figure PCTCN2018081230-appb-000011
其中，L CPU为移动终端100的当前CPU负载值；最后，获取移动终端100的当前CPU负载值L CPU，并将L CPU输入置信矩阵M b，计算出置信区间，也就是摄像装置105的延迟时间，计算公式为：M＝R origin×M b，其中，M为摄像装置105的延迟时间。
步骤S104，在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
在本公开实施例中，第二预览帧画面为第一预览帧画面的后一帧画面。计算出摄像装置105的延迟时间之后，在该延迟时间内开启摄像传感器，摄像装置105会将采集的景象数据以字节数组的格式输出，然后将字节数组转为YUV格式的灰度图像，最后将YUV转为带彩色通道的RGB图像，生成第二预览帧画面，从而得到非连续的预览帧画面。
在本公开实施例中，依据移动终端100的性能参数矩阵和延迟时间矩阵，利用偏最小二成法回归分析算法建立出延迟时间预测模型；再将实时获取的移动终端100的当前CPU负载值，输入延迟时间预测模型，来计算出下一次开启摄像传感器的时间区间，并在该时间区间内开启摄像传感器，得到非连续的预览帧画面。本公开实施例基于偏最小二乘回归分析算法来动态估算摄像装置105的延迟时间，从而实现在延迟时间内及时开启图像预览，进而实现摄像装置105的非连续预览帧画面的生成，对于CPU消耗还是内存占用低，具有良好的实用性。
第二实施例
请参照图5，图5示出了本公开第二实施例提供的预览帧画面生成装置200的方框示意图。预览帧画面生成装置200包括第一画面获取模块201、模型建立模块202、延迟时间预测模块203及第二画面获取模块204。
第一画面获取模块201，用于获取摄像装置采集的第一预览帧画面。
在本公开实施例中，第一画面获取模块201可以用于执行步骤S101。
模型建立模块202，用于根据移动终端的性能参数矩阵，建立延迟时间预测模型。
在本公开实施例中，模型建立模块202可以用于执行步骤S102。
在本公开实施例中，模型建立模块202还可以用于执行步骤S102的子 步骤S1021～S1023。具体地，如图6所示，模型建立模块202包括变量确定子模块2021、标准化处理子模块2022、回归分析子模块2023。其中，变量确定子模块2021可以用于执行步骤S1021、标准化处理子模块2022可以用于执行步骤S1022，回归分析子模块2023可以用于执行步骤S1023。
延迟时间预测模块203，用于利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间。
在本公开实施例中，延迟时间预测模块203可以用于执行步骤S103。
在本公开实施例中，延迟时间预测模块203还可以用于执行步骤S103的子步骤S1031～S1032。
延迟时间预测模块203包括主成分提取子模块2031与置信分析子模块2032。其中，主成分提取子模块2031可以用于执行步骤S1031，置信分析子模块2032可以用于执行步骤S1032。
第二画面获取模块204，用于在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
在本公开实施例中，第二画面获取模块204可以用于执行步骤S104。
第三实施例
本公开还涉及了一种存储介质，所述存储介质中存储有计算机指令，其中，所述计算机指令在被读取并运行时执行如上述的预览帧画面生成方法。
综上所述，本公开实施例提供的一种预览帧画面生成方法、装置及移动终端、存储介质，所述移动终端包括摄像装置，所述方法包括：获取摄像装置采集的第一预览帧画面；利用预先建立的延迟时间预测模型，依据移动终端的当前性能参数，预测摄像装置的延迟时间；在延迟时间内，获取摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。本公开实施例在采集第一预览 帧画面后，依据移动终端的当前性能参数动态预测摄像装置的延迟时间，从而实现在延迟时间内采集第二预览帧画面，实现非连续预览帧画面的生成，实用性强。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设 备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
工业实用性
本公开实施例提供的一种存储介质、预览帧画面生成方法、装置及移动终端，实现在延迟时间内及时开启图像预览，进而实现摄像装置105的非连续预览帧画面的生成，对于CPU消耗还是内存占用低，具有良好的实用性。

Claims (20)

  1. 一种预览帧画面生成方法，其特征在于，应用于移动终端，所述移动终端包括摄像装置，所述方法包括：
    获取所述摄像装置采集的第一预览帧画面；
    利用预先建立的延迟时间预测模型，依据所述移动终端的当前性能参数，预测所述摄像装置的延迟时间；
    在所述延迟时间内，获取所述摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
  2. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    根据所述移动终端的性能参数矩阵，建立所述延迟时间预测模型。
  3. 如权利要求1或2所述的方法，其特征在于，所述根据所述移动终端的性能参数矩阵，建立所述延迟时间预测模型的步骤包括：
    根据所述移动终端的性能参数矩阵与偏最小二乘回归分析方法，建立所述延迟时间预测模型。
  4. 如权利要求1-3任一项所述的方法，其特征在于，所述建立所述延迟时间预测模型的步骤，包括：
    确定所述延迟时间预测模型的模型自变量和模型因变量，其中，所述模型自变量为延迟时间矩阵，所述模型因变量为所述移动终端的性能参数矩阵；
    对所述模型自变量和所述模型因变量分别进行标准化处理，得到对应的标准化自变量矩阵和标准化因变量矩阵；
    对所述标准化自变量矩阵和所述标准化因变量矩阵进行回归分析，得到所述延迟时间预测模型的回归系数。
  5. 如权利要求4所述的方法，其特征在于，所述对所述模型自变量和所 述模型因变量分别进行标准化处理，得到对应的标准化自变量矩阵和标准化因变量矩阵的步骤包括：
    依据算式
    Figure PCTCN2018081230-appb-100001
    对所述模型自变量和所述模型因变量分别进行标准化处理，得到对应的标准化自变量矩阵和标准化因变量矩阵，其中，i＝1,2,…L…,n，n＝90；j＝1,2,…L…,k，k＝16；x ij表示模型自变量X中的第j个变量x j的第i个样本值；
    Figure PCTCN2018081230-appb-100002
    表示模型自变量X中第j个变量x j的均值；s j表示模型自变量X中的第j个变量x j的标准差；y i表示模型因变量Y中的第i个样本值；
    Figure PCTCN2018081230-appb-100003
    表示模型因变量Y的均值；s y表示模型因变量Y的标准差；
    Figure PCTCN2018081230-appb-100004
    表示x ij标准化后的数值；
    Figure PCTCN2018081230-appb-100005
    表示y i标准化后的数值，E 0为标准化自变量矩阵，F 0为标准化因变量矩阵。
  6. 如权利要求1-5任一项所述的方法，其特征在于，所述利用预先建立的延迟时间预测模型，依据所述移动终端的当前性能参数，预测所述摄像装置的延迟时间的步骤，包括：
    利用所述延迟时间预测模型，对预设延迟时间进行主成分提取，得到所述延迟时间的初始值；
    依据所述移动终端的当前性能参数，对所述初始值进行置信分析，预测出所述摄像装置的延迟时间。
  7. 如权利要求6所述的方法，其特征在于，所述利用所述延迟时间预测模型，对预设延迟时间进行主成分提取，得到所述延迟时间的初始值的步骤包 括：
    利用交叉有效性算法以及对预设延迟时间进行主成分提取，得到延迟时间的初始值。
  8. 如权利要求6或7所述的方法，其特征在于，所述根据所述移动终端的当前性能参数，对所述初始值进行置信分析，预测出所述摄像装置的延迟时间的步骤，包括：
    获取所述延迟时间预测模型的回归置信因子；
    根据所述回归置信因子，建立所述移动终端的当前性能参数的置信矩阵，并将所述置信矩阵作为所述摄像装置的延迟时间。
  9. 如权利要求1-8任一项所述的方法，其特征在于，所述第一预览帧画面为用户首次开启所述摄像装置后采集到的预览帧画面或用户在所述摄像装置开启期间，在所述摄像装置的延迟时间内开启摄像装置预览采集到的任意一帧预览帧画面。
  10. 一种预览帧画面生成装置，其特征在于，应用于移动终端，所述移动终端包括摄像装置，所述预览帧画面生成装置包括：
    第一画面获取模块，配置成获取所述摄像装置采集的第一预览帧画面；
    延迟时间预测模块，配置成利用预先建立的延迟时间预测模型，依据所述移动终端的当前性能参数，预测所述摄像装置的延迟时间；
    第二画面获取模块，配置成在所述延迟时间内，获取所述摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
  11. 如权利要求10所述的装置，其特征在于，所述预览帧画面生成装置还包括：
    模型建立模块，配置成根据所述移动终端的性能参数矩阵，建立所述延迟 时间预测模型。
  12. 如权利要求10或11所述的装置，其特征在于，所述模型建立模块配置成根据所述移动终端的性能参数矩阵与偏最小二乘回归分析方法，建立所述延迟时间预测模型。
  13. 如权利要求10-12任一项所述的装置，其特征在于，所述模型建立模块包括：
    变量确定子模块，配置成确定所述延迟时间预测模型的模型自变量和模型因变量，其中，所述模型自变量为延迟时间矩阵，所述模型因变量为所述移动终端的性能参数矩阵；
    标准化处理子模块，配置成对所述模型自变量和所述模型因变量进行标准化处理，得到标准化自变量矩阵和标准化因变量矩阵；
    回归分析子模块，配置成对所述标准化自变量矩阵和所述标准化因变量矩阵进行回归分析，得到所述延迟时间预测模型的回归系数。
  14. 如权利要求13所述的装置，其特征在于，所述标准化处理子模块具体用于依据算式
    Figure PCTCN2018081230-appb-100006
    对所述模型自变量和所述模型因变量分别进行标准化处理，得到对应的标准化自变量矩阵和标准化因变量矩阵，其中，i＝1,2,…L…,n，n＝90；j＝1,2,…L…,k，k＝16；x ij表示模型自变量X中的第j个变量x j的第i个样本值；
    Figure PCTCN2018081230-appb-100007
    表示模型自变量X中第j个变量x j的均值；s j表示模型自变量X中的第j个变量x j的标准差；y i表示模型因变量Y中的第i个样 本值；
    Figure PCTCN2018081230-appb-100008
    表示模型因变量Y的均值；s y表示模型因变量Y的标准差；
    Figure PCTCN2018081230-appb-100009
    表示x ij标准化后的数值；
    Figure PCTCN2018081230-appb-100010
    表示y i标准化后的数值，E 0为标准化自变量矩阵，F 0为标准化因变量矩阵。
  15. 如权利要求10-14任一项所述的装置，其特征在于，所述延迟时间预测模块包括：
    主成分提取子模块，配置成利用所述延迟时间预测模型，对预设延迟时间进行主成分提取，得到所述延迟时间的初始值；
    置信分析子模块，配置成依据所述移动终端的当前性能参数，对所述初始值进行置信分析，预测出所述摄像装置的延迟时间。
  16. 如权利要求15所述的装置，其特征在于，所述主成分提取子模块配置成利用交叉有效性算法以及对预设延迟时间进行主成分提取，得到延迟时间的初始值。
  17. 如权利要求15任一项所述的装置，其特征在于，所述置信分析子模块配置成获取所述延迟时间预测模型的回归置信因子；根据所述回归置信因子，建立所述移动终端的当前性能参数的置信矩阵，并将所述置信矩阵作为所述摄像装置的延迟时间。
  18. 如权利要求10-17任一项所述的装置，其特征在于，所述第一预览帧画面为用户首次开启所述摄像装置后采集到的预览帧画面或用户在所述摄像装置开启期间，在所述摄像装置的延迟时间内开启摄像装置预览采集到的任意一帧预览帧画面。
  19. 一种移动终端，其特征在于，所述移动终端包括摄像装置，所述移动终端还包括：
    存储器；
    处理器；以及
    预览帧画面生成装置，所述预览帧画面生成装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，其包括：
    第一预览帧画面获取模块，配置成获取所述摄像装置采集的第一预览帧画面；
    延迟时间预测模块，配置成利用预先建立的延迟时间预测模型，依据所述移动终端的当前性能参数，预测所述摄像装置的延迟时间；
    第二预览帧画面获取模块，配置成在所述延迟时间内，获取所述摄像装置采集的第二预览帧画面，以得到非连续的预览帧画面。
  20. 一种存储介质，其特征在于，所述存储介质中存储有计算机指令，其中，所述计算机指令在被读取并运行时执行如权利要求1-9中任一权项所述的预览帧画面生成方法。
PCT/CN2018/081230 2018-01-04 2018-03-30 预览帧画面生成方法、装置及移动终端、存储介质 Ceased WO2019134271A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810008921.0A CN108184065B (zh) 2018-01-04 2018-01-04 预览帧画面生成方法、装置及移动终端
CN201810008921.0 2018-01-04

Publications (1)

Publication Number Publication Date
WO2019134271A1 true WO2019134271A1 (zh) 2019-07-11

Family

ID=62549864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/081230 Ceased WO2019134271A1 (zh) 2018-01-04 2018-03-30 预览帧画面生成方法、装置及移动终端、存储介质

Country Status (2)

Country Link
CN (1) CN108184065B (zh)
WO (1) WO2019134271A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457173B2 (en) 2020-02-21 2022-09-27 Mediatek Inc. Dynamic frame rate adjustment mechanism

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1988662A (zh) * 2006-12-22 2007-06-27 清华大学 一种自适应多媒体播放的方法
CN101076084A (zh) * 2006-05-16 2007-11-21 奥林巴斯映像株式会社 摄像装置
US20110298962A1 (en) * 2010-06-04 2011-12-08 Seiko Epson Corporation Image-displaying device and display control circuit
CN103685921A (zh) * 2012-09-12 2014-03-26 三星电子株式会社 显示便携式终端的相机预览屏幕的方法和设备
CN104902179A (zh) * 2015-05-27 2015-09-09 广东欧珀移动通信有限公司 一种相机图像的预览方法和装置
CN105144690A (zh) * 2013-04-26 2015-12-09 富士胶片株式会社 摄像装置
CN106453886A (zh) * 2016-09-30 2017-02-22 维沃移动通信有限公司 一种移动终端的拍照方法及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101076084A (zh) * 2006-05-16 2007-11-21 奥林巴斯映像株式会社 摄像装置
CN1988662A (zh) * 2006-12-22 2007-06-27 清华大学 一种自适应多媒体播放的方法
US20110298962A1 (en) * 2010-06-04 2011-12-08 Seiko Epson Corporation Image-displaying device and display control circuit
CN103685921A (zh) * 2012-09-12 2014-03-26 三星电子株式会社 显示便携式终端的相机预览屏幕的方法和设备
CN105144690A (zh) * 2013-04-26 2015-12-09 富士胶片株式会社 摄像装置
CN104902179A (zh) * 2015-05-27 2015-09-09 广东欧珀移动通信有限公司 一种相机图像的预览方法和装置
CN106453886A (zh) * 2016-09-30 2017-02-22 维沃移动通信有限公司 一种移动终端的拍照方法及移动终端

Also Published As

Publication number Publication date
CN108184065A (zh) 2018-06-19
CN108184065B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
US8660343B2 (en) System and method of detecting abnormal segments of video
CN108269254B (zh) 图像质量评估方法和装置
CN103617432B (zh) 一种场景识别方法及装置
CN105611275B (zh) 执行电子装置的多照相机捕捉控制的方法及其设备
US20190230269A1 (en) Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium
CN105096281B (zh) 图像处理装置及图像处理方法
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US11900676B2 (en) Method and apparatus for detecting target in video, computing device, and storage medium
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
US20150146006A1 (en) Display control apparatus and display control method
CN112712498B (zh) 移动终端执行的车辆定损方法、装置、移动终端、介质
CN107784281B (zh) 人脸检测方法、装置、设备及计算机可读介质
CN110689565B (zh) 一种深度图确定的方法、装置及电子设备
CN106101540B (zh) 对焦点确定方法及装置
WO2021082231A1 (zh) 目标检测方法及装置、电子设备和存储介质
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
CN110602488A (zh) 一种日夜型摄像装置切换异常检测方法、装置及摄像装置
US9986152B2 (en) Intelligently capturing digital images based on user preferences
CN111882578A (zh) 前景图像获取方法、前景图像获取装置和电子设备
US10115206B2 (en) Detection system, detection method, and program storage medium
US10878272B2 (en) Information processing apparatus, information processing system, control method, and program
CN109447022B (zh) 一种镜头类型识别方法及装置
TWI521473B (zh) 影像分析裝置、方法及電腦可讀取媒體
US20200045242A1 (en) Display control device, display control method, and program
US10755107B2 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18898646

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18898646

Country of ref document: EP

Kind code of ref document: A1