WO2016011877A1 - 拍摄光绘视频的方法和移动终端、存储介质 - Google Patents
拍摄光绘视频的方法和移动终端、存储介质 Download PDFInfo
- Publication number
- WO2016011877A1 WO2016011877A1 PCT/CN2015/082987 CN2015082987W WO2016011877A1 WO 2016011877 A1 WO2016011877 A1 WO 2016011877A1 CN 2015082987 W CN2015082987 W CN 2015082987W WO 2016011877 A1 WO2016011877 A1 WO 2016011877A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- image
- composite image
- video
- mobile terminal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Definitions
- Photographic photography refers to a shooting mode that uses long-time exposure to create a special image through changes in the light source during exposure.
- the image synthesis module compares the brightness parameter of a pixel with an average value of brightness parameters of several (preferably 8) pixels around the pixel, and if it is higher or lower than a preset multiple of the average value, the pixel is determined to be Mutant pixels.
- the preset multiple is preferably 2 times higher than the average value or 0.5 times lower than the average value.
- the camera continuously collects the light drawing image, and reads the light drawing image at intervals, generates a composite image according to the current light drawing image and the previously collected light drawing image; captures the composite image, and captures the captured image.
- the composite image is subjected to video encoding processing, and a light-drawn video is generated according to the composite image after the video encoding process, thereby realizing the shooting of the light-drawn video.
- the user can use the camera to capture the video of the running process of the display light source, or apply to a similar application scenario, which satisfies the diverse needs of the user and improves the user experience.
- the composite image is encoded while being photographed, there is no need to store the generated composite image, so the volume of the video file obtained by the final shooting is not large and does not occupy too much storage space.
- special effects processing is also performed on the captured composite image before the encoding process of the captured composite image, the special effect processing including basic effect processing, filter effect processing, and/or Special scene effects processing, etc.
- the basic effect processing including noise reduction, brightness, chromaticity and other processing
- filter effect processing including sketch, negative, black and white processing
- special scene effect processing including processing for common weather, starry sky and so on.
- the invention adds a light painting photography mode for the shooting function of the mobile terminal, and the user can select the light painting photography mode or the ordinary photography mode to perform the shooting, wherein the light painting photography mode combined with the requirements of the light painting photography scene, the ISO, the painting in advance
- the parameters such as quality and scene mode are adjusted and limited, and the parameters are output to the relevant hardware devices, so that the related hardware devices can sample or process the collected image data.
- the foregoing storage medium includes various media that can store program codes, such as a USB flash drive, a mobile hard disk, a read only memory (ROM), a magnetic disk, or an optical disk.
- program codes such as a USB flash drive, a mobile hard disk, a read only memory (ROM), a magnetic disk, or an optical disk.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
Abstract
一种拍摄光绘视频的方法，该方法包括以下步骤：拍摄开始后，通过摄像头连续采集光绘图像；间隔读取所述光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；抓取所述合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频。还公开了一种移动终端、存储介质。
Description
本发明涉及摄像技术领域，尤其涉及拍摄光绘视频的方法和移动终端、存储介质。
随着手机、平板电脑等移动终端的摄像硬件的不断提升，移动终端的拍摄功能也越来越多样化，用户对移动终端的拍摄要求也越来越高。目前的移动终端具备的拍摄功能，依赖于摄像硬件设备和芯片供应商提供的相关处理算法，只有对焦、白平衡等几种固定的拍摄模式。近几年兴起了一种光绘摄影的拍摄模式，用户可以利用光绘摄影进行艺术创作。光绘摄影是指利用长时间曝光，在曝光过程中通过光源的变化创造出特殊影像的一种拍摄模式。
由于需要长时间曝光，因此需要相应的感光硬件予以支持，而能够支持长时间曝光的感光硬件比较昂贵，所以目前只有专业的摄像装置如单反机才具备光绘摄影功能。
目前的光缓摄影只能拍摄出光绘照片，即最终得到的只是一张显示光源轨迹的静态图像，无法拍摄出能够显示光源的运行过程的动态视频。因此，现有技术中尚没有实现拍摄光绘视频的解决方案，无法满足用户的多样化需求，影响了用户体验。
发明内容
本发明实施例为解决现有技术中存在的问题而提供一种拍摄光绘视频的方法和移动终端、存储介质，能够实现光绘视频的拍摄，满足用户的多
样化需求，提升用户体验。
本发明实施例的技术方案如下：
第一方面，本发明实施例提供一种拍摄光绘视频的方法，所述拍摄光绘视频的方法包括以下步骤：
拍摄开始后，通过摄像头连续采集光绘图像；
间隔读取所述光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；
抓取所述合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频。
在本发明的一种实施例中，所述根据当前的光绘图像与之前采集的光绘图像生成合成图像的步骤包括：
从当前的光绘图像和之前采集的光绘图像中，选出满足预设条件的像素，对同一位置的像素执行加法运算，生成合成图像。
在本发明的一种实施例中，所述选出满足预设条件的像素包括：
判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
在本发明的一种实施例中，所述选出满足预设条件的像素包括：
判断所述像素是否为突变像素；
若所述像素为突变像素，则计算出所述突变像素周围预设个数像素的亮度参数的平均值，并判断该平均值是否大于预设阈值，若是，则判定所述突变像素满足预设条件，选出该突变像素；
若所述像素不是突变像素，则进一步判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
在本发明的一种实施例中，所述对抓取的合成图像进视频编码处理的步骤之前，所述拍摄光绘视频的方法还包括：
对抓取的所述合成图像进行特效处理。
第二方面，本发明实施例还提供一种移动终端，所述移动终端包括：
采集模块，配置为拍摄开始后，通过摄像头连续采集光绘图像；
图像生成模块，配置为间隔读取所述光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；
视频生成模块，配置为抓取所述合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频。
在本发明的一种实施例中，所述图像生成模块，配置为从当前的光绘图像和之前采集的光绘图像中，选出满足预设条件的像素，对同一位置的像素执行加法运算，生成合成图像。
在本发明的一种实施例中，所述图像生成模块，配置为判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
在本发明的一种实施例中，所述图像生成模块，配置为判断所述像素是否为突变像素；
若所述像素为突变像素，则计算出所述突变像素周围预设个数像素的亮度参数的平均值，并判断该平均值是否大于预设阈值，若是，则判定所述突变像素满足预设条件，选出该突变像素；
若所述像素不是突变像素，则进一步判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
在本发明的一种实施例中，所述移动终端还包括：处理模块，配置为对抓取的所述合成图像进行特效处理。
第三方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行本发明第一方面实施例提供的拍摄光绘视频的方法。
本发明实施例通过在拍摄开始后，利用摄像头连续采集光绘图像，并间隔读取光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；抓取合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频，实现了光绘视频的拍摄。使得用户可以利用拍摄装置拍摄出显示光源的运行过程的视频，或者应用于类似的应用场景，满足了用户的多样化需求，提升了用户体验。同时，由于是一边拍摄一边对合成图像进行编码处理，无需存储生成的合成图像，因此最终拍摄获得的视频文件的体积不会很大，不会占用太多的存储空间。
图1为本发明拍摄光绘视频的方法第一实施例的流程示意图；
图2为本发明拍摄光绘视频的方法第二实施例的流程示意图；
图3为本发明移动终端第一实施例的功能模块示意图；
图4为本发明移动终端第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明的技术方案。
应当理解，此处所描述的具体实施例仅仅用以解释本发明的技术方案，并不用于限定本发明的保护范围。
本发明实施例提供一种拍摄光绘视频的方法。参照图1，图1为本发明拍摄光绘视频的方法第一实施例的流程示意图。
在一实施例中，拍摄光绘视频的方法包括：
步骤S10，拍摄开始后，通过摄像头连续采集光绘图像；
本发明为移动终端的拍摄功能增加了一种光绘摄影模式，用户可以选择光绘摄影模式或普通摄影模式进行拍摄，其中，光绘摄影模式结合光绘
摄影场景的要求，预先对ISO、画片质量、场景模式等参数进行了调整和限制，将该参数输出给相关硬件设备，以使相关硬件设备对采集到的图像数据进行选样或处理。
当用户选择了光绘摄影模式，按下拍摄按键或触发虚拟拍摄按键后，移动终端开始进行光绘拍摄，利用摄像头连续采集光绘图像，摄像头连续采集光绘图像的速度可以预先设置。为了保证光绘的连贯性，摄像头需要在1s钟之内连续采集至少十多张图像，而后续对图像的合成处理往往跟不上图像的采集速度，因此优选将光绘图像缓存于缓存模块中(当然，如果移动终端的处理速度足够快，也可以不用缓存)。进一步地，在采集光绘图像的过程中，移动终端可以根据缓存模块的剩余空间来实时调整采集速度，从而既能最大限度的利用移动终端的处理能力，又能防止因采集速度过快导致数据溢出，进而导致数据丢失。
步骤S20，间隔读取光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；
移动终端中配置为处理光绘图像以生成合成图像的图像合成模块直接接收并间隔读取采集到的光绘图像；或者从缓存模块中实时间隔读取光绘图像进行图像合成，并重置缓存模块，清空其中的数据，为后续数据提供空间。图像合成模块读取光绘图像的速度或间隔时间可以预先设置，或者取决于移动终端的计算速度。图像合成模块将当前的光绘图像与之前采集的光绘图像中的像素进行叠加，生成一张合成图像。因摄像头连续采集光绘图像，因此合成图像也是实时的连续的生成。在拍摄的过程中，在采集到第一张光绘图像时，将其作为待合成图像，在采集到第二张光绘图像后将其与待合成图像合成为一张当前合成图像，并依次将后面所采集到的光绘图像与上一张生成的合成图像进行合成，最终生成所拍摄的所有光绘图像所形成的合成图像。
作为优选，图像合成模块从当前的光绘图像和之前采集的光绘图像中选出满足预设条件的像素，然后对该像素执行加法运算。
具体地，在一种实施方式中，图像合成模块在判断某一像素是否满足预设条件时，可以直接判断该像素的亮度参数是否大于阈值，若是，则判定该像素满足预设条件。图像合成模块从当前的光绘图像和之前采集的光绘图像中选出亮度参数大于阈值的像素(即图像上某点亮度的绝对值大于阈值)后，只对这些满足预设条件的像素执行加法运算，从而对亮度较低的像素进行了一定程度的过滤，避免了环境光的累计效果对最终的合成图像的画面造成污染。所述阈值的大小，可根据图像的平均亮度而定；所述亮度参数为RGB值、YUV值等光学参数。
例如，光绘图像中包括像素单元1、像素单元2…像素单元n共n个像素单元，其中像素单元101～像素单元200在当前的光绘图像中的像素参数大于阈值，像素单元1～100在过去的光绘图像中的亮度参数大于阈值，则对像素单元1～像素单元200的当前和过去的像素参数执行加法运算。假设像素单元1在当前光绘图像中的亮度参数值为10，在过去的光绘图像中的亮度参数值为100，则执行加法运算后在合成图像中像素单元1的亮度参数值就为100+10＝110。此外，图像合成模块还对合成图像进行降噪处理，同时还根据现有图像的曝光度，控制新合成图像的合成比例，抑制过曝产生。
在另外一种实施方式中，还可以通过以下步骤来选择满足预设条件的像素：
判断像素是否为突变像素；
若像素为突变像素，则计算出突变像素周围预设个数像素的亮度参数的平均值，并判断该平均值是否大于预设阈值，若是，则判定突变像素满足预设条件，选出该突变像素；
若像素不是突变像素，则进一步判断像素的亮度参数是否大于预设阈
值，若是，则判定像素满足预设条件，选出该像素。
图像合成模块比较某一像素的亮度参数，与该像素周围若干个(优选8个)像素的亮度参数的平均值进行比较，如果高于或低于平均值的预设倍数，则判定该像素为突变像素。所述预设倍数优选为高于平均值2倍或低于平均值0.5倍。
如果该像素为突变像素，则取其周围像素的亮度参数的平均值。其中，
周围的像素优选为该像素周围若干个的像素，所述预设个数优选为8个。计算出突变像素周围预设个数像素的亮度参数的平均值后，判断该平均值是否大于预设阈值，如果平均值大于预设阈值，则判定该突变像素满足预设条件，选出该像素，后续执行加法运算，生成合成图像，从而排除了图像中的噪点，避免其影响最终的合成图像的画面效果，如果平均值小于等于预设阈值，则判定该突变像素不满足预设条件，不予选取。
如果该像素不是突变像素，则直接将该像素的亮度参数与预设阈值进行比较。如果大于预设阈值，则判定该像素满足预设条件，选取该像素，后续执行加法运算，生成合成图像。如果小于等于预设阈值，则判定该像素不满足预设条件，不予选取。
由于在进行图像合成时，只叠加图像中亮度较高的区域，其余区域不予叠加，使得亮者恒亮，暗者恒暗，提高了合成图像的光绘效果。
各合成图像虽为连续生成，但受限于图像合成模块的处理速度，生成的相邻图像之间实际上也有一定的时间间隔，计算速度越快，时间间隔越短；同时，生成图像的速度反过来影响着采集图像数据的速度，生成图像的速度越快，读取缓存模块中的图像数据也越快，则缓存模块的空间被腾空得也快，从而移动终端采集光绘图像数据的速度也更快。
移动终端在显示屏上实时显示合成图像，供用户实时预览当前的光绘效果。为了达到流畅预览的效果，移动终端显示的合成图像为经压缩后的
小尺寸的缩略图，全尺寸的图像予以存储，即显示和存储为两个线程。当用户再次按下拍摄按键或按下结束按键后，拍摄结束。移动终端可以将每一张合成图像均存储于本地，也可以仅存储结束拍摄时最后生成的一张合成图像。
步骤S30，抓取合成图像；
步骤S31，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频。
在生成光绘图像对应的合成图像后，可以连续抓取合成图像或者间隔的抓取合成图像，并对合成图像进行视频编码处理，以生成光绘视频。连续抓取合成图像，是指每生成一张合成图像就抓取一张进行编码处理，即，将生成的所有合成图像都作为合成视频的素材。生成合成图像和抓取合成图像进行编码处理是两个线程同步进行，由于是一边拍摄一边对合成图像进行编码处理，因此无需存储生成的合成图像。
间隔抓取是指选择性的抓取部分合成图像作为合成视频的素材。间隔方式可以是手动间隔模式或者自动间隔模式。其中，手动间隔模式，是指提供操作界面以便用户点击触发抓取图像数据，如点击屏幕，抓取当前生成的合成图像(有预览时，即当前的预览图像)；自动间隔模式，是指按照预设的时间间隔抓取合成图像，即每隔预设时间抓取一张合成图像。抓取合成图像的间隔时间优选长于摄像头采集图像的间隔时间(即曝光时间)，避免两次或多次抓取到相同的合成图像，或者减小最终合成的视频文件的大小。例如可以每隔1～2Min抓取一张合成图像，该合成图像即当前所生成的合成图像，当前时刻的星轨照片。然后对抓取到的合成图像进行视频编码处理，将其处理为MPEG-4、H264、H263、VP8等常见视频编码，以备后续生成视频文件，对合成图像进行编码处理的方法与现有技术相同，在此不再赘述。
此外，每隔预设时间抓取一张合成图像，也可为当摄像头每采集预设张图像后抓取一张合成图像。例如，假设摄像头每隔10S采集一张图像(即曝光时间为10S)，拍摄装置在其摄像头每采集3张图像后抓取一张合成图像，实则相当于每隔3*10S＝30S后抓取一张合成图像。
将抓取的合成图像进行视频编码处理，并在拍摄结束后，根据编码处理后的合成图像生成视频文件，所生成的视频文件的格式，可以由用户指定。
视频文件格式包括但不限于mp4、3gp、avi、rmvb等。
本实施例通过在拍摄开始后，利用摄像头连续采集光绘图像，并间隔读取光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；抓取合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频，实现了光绘视频的拍摄。使得用户可以利用拍摄装置拍摄出显示光源的运行过程的视频，或者应用于类似的应用场景，满足了用户的多样化需求，提升了用户体验。同时，由于是一边拍摄一边对合成图像进行编码处理，无需存储生成的合成图像，因此最终拍摄获得的视频文件的体积不会很大，不会占用太多的存储空间。
参照图2，图2为本发明拍摄光绘视频的方法第二实施例的流程示意图；在本发明拍摄光绘视频的方法第一实施例的基础上，在执行步骤S31之前，该方法还包括：
步骤S40，对抓取的合成图像进行特效处理。
进一步地，为了提高用户拍摄的趣味性，在对抓取的合成图像进行编码处理之前，还对抓取的合成图像进行特效处理，所述特效处理包括基本效果处理、滤镜效果处理和/或特殊场景效果处理等。其中，基本效果处理，包含减噪、亮度、色度等处理；滤镜效果处理，包含素描、负片、黑白等处理；特殊场景效果处理，包含处理为常见天气、星空等。
进一步地，为了在录制视频的同时，用户能够录制声音，抓取合成图像并进行编码处理的同时，还包括：开启音频设备，接收音频数据；对音频数据进行编码处理。音频数据的来源方式主要有两种：麦克风采集或者自定义音频文件。当音频来源为自定义音频文件时，先对音频文件进行解码，得到原始的音频数据。优选地，在对音频数据进行编码处理之前，还对接收到的音频数据进行特效处理，所述特效处理包括特效录音、变声、变调和/或变速等。
在增加了录制音频的功能基础上，生成视频文件的具体方式为：根据用户拍摄结束指令，将编码处理后的图像数据，以及编码处理后的音频数据，按照用户设定的视频文件格式，生成视频文件。
为了用户操作起来更为方便实用，还可以给用户提供一个操作界面，用来设定抓取合成图像的方式(间隔抓取或连续抓取)，间隔抓取时的间隔时间，是否进行特效处理，是否开启录制音频功能等。
本发明还提供一种移动终端。参照图3，图3为本发明移动终端第一实施例的功能模块示意图。在一实施例中，移动终端包括：
采集模块10，配置为拍摄开始后，通过摄像头连续采集光绘图像；
图像生成模块20，配置为间隔读取光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；
视频生成模块30，配置为抓取合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频。
本发明为移动终端的拍摄功能增加了一种光绘摄影模式，用户可以选择光绘摄影模式或普通摄影模式进行拍摄，其中，光绘摄影模式结合光绘摄影场景的要求，预先对ISO、画片质量、场景模式等参数进行了调整和限制，将该参数输出给相关硬件设备，以使相关硬件设备对采集到的图像数据进行选样或处理。
当用户选择了光绘摄影模式，按下拍摄按键或触发虚拟拍摄按键后，移动终端开始进行光绘拍摄，采集模块10利用摄像头连续采集光绘图像，摄像头连续采集光绘图像的速度可以预先设置。为了保证光绘的连贯性，摄像头需要在1s钟之内连续采集至少十多张图像，而后续对图像的合成处理往往跟不上图像的采集速度，因此优选将光绘图像缓存于缓存模块中(当然，如果移动终端的处理速度足够快，也可以不用缓存)。进一步地，在采集光绘图像的过程中，移动终端可以根据缓存模块的剩余空间来实时调整采集速度，从而既能最大限度的利用移动终端的处理能力，又能防止因采集速度过快导致数据溢出，进而导致数据丢失。
图像生成模块20通过移动终端中配置为处理光绘图像以生成合成图像的图像合成模块直接接收并间隔读取采集到的光绘图像；或者从缓存模块中实时间隔读取光绘图像进行图像合成，并重置缓存模块，清空其中的数据，为后续数据提供空间。图像合成模块读取光绘图像的速度或间隔时间可以预先设置，或者取决于移动终端的计算速度。图像合成模块将当前的光绘图像与之前采集的光绘图像中的像素进行叠加，生成一张合成图像。因摄像头连续采集光绘图像，因此合成图像也是实时的连续的生成。在拍摄的过程中，在采集到第一张光绘图像时，将其作为待合成图像，在采集到第二张光绘图像后将其与待合成图像合成为一张当前合成图像，并依次将后面所采集到的光绘图像与上一张生成的合成图像进行合成，最终生成所拍摄的所有光绘图像所形成的合成图像。
作为优选，图像合成模块从当前的光绘图像和之前采集的光绘图像中选出满足预设条件的像素，然后对该像素执行加法运算。
具体地，在一种实施方式中，图像合成模块在判断某一像素是否满足预设条件时，可以直接判断该像素的亮度参数是否大于阈值，若是，则判定该像素满足预设条件。图像合成模块从当前的光绘图像和之前采集的光
绘图像中选出亮度参数大于阈值的像素(即图像上某点亮度的绝对值大于阈值)后，只对这些满足预设条件的像素执行加法运算，从而对亮度较低的像素进行了一定程度的过滤，避免了环境光的累计效果对最终的合成图像的画面造成污染。所述阈值的大小，可根据图像的平均亮度而定；所述亮度参数为RGB值、YUV值等光学参数。
例如，光绘图像中包括像素单元1、像素单元2…像素单元n共n个像素单元，其中像素单元101～像素单元200在当前的光绘图像中的像素参数大于阈值，像素单元1～100在过去的光绘图像中的亮度参数大于阈值，则对像素单元1～像素单元200的当前和过去的像素参数执行加法运算。假设像素单元1在当前光绘图像中的亮度参数值为10，在过去的光绘图像中的亮度参数值为100，则执行加法运算后在合成图像中像素单元1的亮度参数值就为100+10＝110。此外，图像合成模块还对合成图像进行降噪处理，同时还根据现有图像的曝光度，控制新合成图像的合成比例，抑制过曝产生。
在另外一种实施方式中，还可以通过以下步骤来选择满足预设条件的像素：
判断像素是否为突变像素；
若像素为突变像素，则计算出突变像素周围预设个数像素的亮度参数的平均值，并判断该平均值是否大于预设阈值，若是，则判定突变像素满足预设条件，选出该突变像素；
若像素不是突变像素，则进一步判断像素的亮度参数是否大于预设阈值，若是，则判定像素满足预设条件，选出该像素。
图像合成模块比较某一像素的亮度参数，与该像素周围若干个(优选8个)像素的亮度参数的平均值进行比较，如果高于或低于平均值的预设倍数，则判定该像素为突变像素。所述预设倍数优选为高于平均值2倍或低于平均值0.5倍。
如果该像素为突变像素，则取其周围像素的亮度参数的平均值。其中，
周围的像素优选为该像素周围若干个的像素，所述预设个数优选为8个。计算出突变像素周围预设个数像素的亮度参数的平均值后，判断该平均值是否大于预设阈值，如果平均值大于预设阈值，则判定该突变像素满足预设条件，选出该像素，后续执行加法运算，生成合成图像，从而排除了图像中的噪点，避免其影响最终的合成图像的画面效果，如果平均值小于等于预设阈值，则判定该突变像素不满足预设条件，不予选取。
如果该像素不是突变像素，则直接将该像素的亮度参数与预设阈值进行比较。如果大于预设阈值，则判定该像素满足预设条件，选取该像素，后续执行加法运算，生成合成图像。如果小于等于预设阈值，则判定该像素不满足预设条件，不予选取。
由于在进行图像合成时，只叠加图像中亮度较高的区域，其余区域不予叠加，使得亮者恒亮，暗者恒暗，提高了合成图像的光绘效果。
各合成图像虽为连续生成，但受限于图像合成模块的处理速度，生成的
相邻图像之间实际上也有一定的时间间隔，计算速度越快，时间间隔越短；同时，生成图像的速度反过来影响着采集图像数据的速度，生成图像的速度越快，读取缓存模块中的图像数据也越快，则缓存模块的空间被腾空得也快，从而移动终端采集光绘图像数据的速度也更快。
移动终端在显示屏上实时显示合成图像，供用户实时预览当前的光绘效果。为了达到流畅预览的效果，移动终端显示的合成图像为经压缩后的小尺寸的缩略图，全尺寸的图像予以存储，即显示和存储为两个线程。当用户再次按下拍摄按键或按下结束按键后，拍摄结束。移动终端可以将每一张合成图像均存储于本地，也可以仅存储结束拍摄时最后生成的一张合成图像。
在生成光绘图像对应的合成图像后，视频生成模块30可以连续抓取合成图像或者间隔的抓取合成图像，并对合成图像进行视频编码处理，以生成光绘视频。连续抓取合成图像，是指每生成一张合成图像就抓取一张进行编码处理，即，将生成的所有合成图像都作为合成视频的素材。生成合成图像和抓取合成图像进行编码处理是两个线程同步进行，由于是一边拍摄一边对合成图像进行编码处理，因此无需存储生成的合成图像。
间隔抓取是指选择性的抓取部分合成图像作为合成视频的素材。间隔方式可以是手动间隔模式或者自动间隔模式。其中，手动间隔模式，是指提供操作界面以便用户点击触发抓取图像数据，如点击屏幕，抓取当前生成的合成图像(有预览时，即当前的预览图像)；自动间隔模式，是指按照预设的时间间隔抓取合成图像，即每隔预设时间抓取一张合成图像。抓取合成图像的间隔时间优选长于摄像头采集图像的间隔时间(即曝光时间)，避免两次或多次抓取到相同的合成图像，或者减小最终合成的视频文件的大小。例如可以每隔1～2Min抓取一张合成图像，该合成图像即当前所生成的合成图像，当前时刻的星轨照片。然后对抓取到的合成图像进行视频编码处理，将其处理为MPEG-4、H264、H263、VP8等常见视频编码，以备后续生成视频文件，对合成图像进行编码处理的方法与现有技术相同，在此不再赘述。
此外，每隔预设时间抓取一张合成图像，也可为当摄像头每采集预设张图像后抓取一张合成图像。例如，假设摄像头每隔10S采集一张图像(即曝光时间为10S)，拍摄装置在其摄像头每采集3张图像后抓取一张合成图像，实则相当于每隔3*10S＝30S后抓取一张合成图像。
将抓取的合成图像进行视频编码处理，并在拍摄结束后，根据编码处理后的合成图像生成视频文件，所生成的视频文件的格式，可以由用户指定。
视频文件格式包括但不限于mp4、3gp、avi、rmvb等。
本实施例通过在拍摄开始后，利用摄像头连续采集光绘图像，并间隔读取光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；抓取合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频，实现了光绘视频的拍摄。使得用户可以利用拍摄装置拍摄出显示光源的运行过程的视频，或者应用于类似的应用场景，满足了用户的多样化需求，提升了用户体验。同时，由于是一边拍摄一边对合成图像进行编码处理，无需存储生成的合成图像，因此最终拍摄获得的视频文件的体积不会很大，不会占用太多的存储空间。
参照图4，图4为本发明移动终端第二实施例的功能模块示意图。在本发明移动终端第一实施例的基础上，该移动终端还包括：
处理模块40，配置为对抓取的所述合成图像进行特效处理。
进一步地，为了提高用户拍摄的趣味性，在对抓取的合成图像进行编码处理之前，处理模块40还对抓取的合成图像进行特效处理，所述特效处理包括基本效果处理、滤镜效果处理和/或特殊场景效果处理等。其中，基本效果处理，包含减噪、亮度、色度等处理；滤镜效果处理，包含素描、负片、黑白等处理；特殊场景效果处理，包含处理为常见天气、星空等。
进一步的，为了在录制视频的同时，用户能够录制声音，抓取合成图像并进行编码处理的同时，还包括：开启音频设备，接收音频数据；对音频数据进行编码处理。音频数据的来源方式主要有两种：麦克风采集或者自定义音频文件。当音频来源为自定义音频文件时，先对音频文件进行解码，得到原始的音频数据。优选地，在对音频数据进行编码处理之前，还对接收到的音频数据进行特效处理，所述特效处理包括特效录音、变声、变调和/或变速等。
在增加了录制音频的功能基础上，生成视频文件的具体方式为：根据
用户拍摄结束指令，将编码处理后的图像数据，以及编码处理后的音频数据，按照用户设定的视频文件格式，生成视频文件。
为了用户操作起来更为方便实用，还可以给用户提供一个操作界面，用来设定抓取合成图像的方式(间隔抓取或连续抓取)，间隔抓取时的间隔时间，是否进行特效处理，是否开启录制音频功能等。
本发明实施例提供的移动终端中的采集模块、图像生成模块、视频生成模块和处理模块，都可以通过移动终端如手机中的处理器来实现；当然上述处理器完成的功能也可通过具体的逻辑电路实现；在具体实施例的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述的拍摄光绘视频的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
相应地，本发明实施例再提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行本发明实施例中拍摄光绘视频的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接
或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
本发明实施例中，拍摄开始后，通过摄像头连续采集光绘图像；间隔读取所述光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；抓取所述合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频；如此，本发明实施例能够使得用户可以利用拍摄装置拍摄出显示光源的运行过程的视频，或者应用于类似的应用场景，满足了用户的多样化需求，提升了用户体验。同时，由于是一边拍摄一边对合成图像进行编码处理，无需存储生成的合成图像，因此最终拍摄获得的视频文件的体积不会很大，不会占用太多的存储空间。
Claims (11)
- 一种拍摄光绘视频的方法，所述拍摄光绘视频的方法包括以下步骤：拍摄开始后，通过摄像头连续采集光绘图像；间隔读取所述光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；抓取所述合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频。
- 如权利要求1所述的拍摄光绘视频的方法，其中，所述根据当前的光绘图像与之前采集的光绘图像生成合成图像的步骤包括：从当前的光绘图像和之前采集的光绘图像中，选出满足预设条件的像素，对同一位置的像素执行加法运算，生成合成图像。
- 如权利要求2所述的拍摄光绘视频的方法，其中，所述选出满足预设条件的像素包括：判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
- 根据权利要求2所述的拍摄光绘视频的方法，其中，所述选出满足预设条件的像素包括：判断所述像素是否为突变像素；若所述像素为突变像素，则计算出所述突变像素周围预设个数像素的亮度参数的平均值，并判断该平均值是否大于预设阈值，若是，则判定所述突变像素满足预设条件，选出该突变像素；若所述像素不是突变像素，则进一步判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
- 根据权利要求1至4中任一项所述的拍摄光绘视频的方法，其中， 所述对抓取的合成图像进视频编码处理的步骤之前，所述拍摄光绘视频的方法还包括：对抓取的所述合成图像进行特效处理。
- 一种移动终端，所述移动终端包括：采集模块，配置为拍摄开始后，通过摄像头连续采集光绘图像；图像生成模块，配置为间隔读取所述光绘图像，根据当前的光绘图像与之前采集的光绘图像生成合成图像；视频生成模块，配置为抓取所述合成图像，对抓取的合成图像进视频编码处理，根据视频编码处理后的合成图像生成光绘视频。
- 如权利要求6所述的移动终端，其中，所述图像生成模块，配置为从当前的光绘图像和之前采集的光绘图像中，选出满足预设条件的像素，对同一位置的像素执行加法运算，生成合成图像。
- 如权利要求7所述的移动终端，其中，所述图像生成模块，配置为判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
- 如权利要求7所述的移动终端，其中，所述图像生成模块，配置为：判断所述像素是否为突变像素；若所述像素为突变像素，则计算出所述突变像素周围预设个数像素的亮度参数的平均值，并判断该平均值是否大于预设阈值，若是，则判定所述突变像素满足预设条件，选出该突变像素；若所述像素不是突变像素，则进一步判断所述像素的亮度参数是否大于预设阈值，若是，则判定所述像素满足预设条件，选出该像素。
- 如权利要求6至9中任一项所述的移动终端，其中，所述移动终端还包括：处理模块，配置为对抓取的所述合成图像进行特效处理。
- 一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行权利要求1至5任一项所述的拍摄光绘视频的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410352575.XA CN104104798A (zh) | 2014-07-23 | 2014-07-23 | 拍摄光绘视频的方法和移动终端 |
| CN201410352575.X | 2014-07-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016011877A1 true WO2016011877A1 (zh) | 2016-01-28 |
Family
ID=51672589
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2015/081871 WO2016011859A1 (zh) | 2014-07-23 | 2015-06-18 | 拍摄光绘视频的方法、移动终端和计算机存储介质 |
| PCT/CN2015/082987 WO2016011877A1 (zh) | 2014-07-23 | 2015-06-30 | 拍摄光绘视频的方法和移动终端、存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2015/081871 WO2016011859A1 (zh) | 2014-07-23 | 2015-06-18 | 拍摄光绘视频的方法、移动终端和计算机存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10129488B2 (zh) |
| CN (1) | CN104104798A (zh) |
| WO (2) | WO2016011859A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104079833A (zh) | 2014-07-02 | 2014-10-01 | 深圳市中兴移动通信有限公司 | 拍摄星轨视频的方法和装置 |
| CN104104798A (zh) * | 2014-07-23 | 2014-10-15 | 深圳市中兴移动通信有限公司 | 拍摄光绘视频的方法和移动终端 |
| CN105072350B (zh) | 2015-06-30 | 2019-09-27 | 华为技术有限公司 | 一种拍照方法及装置 |
| US20170208354A1 (en) * | 2016-01-15 | 2017-07-20 | Hi Pablo Inc | System and Method for Video Data Manipulation |
| CN106331482A (zh) * | 2016-08-23 | 2017-01-11 | 努比亚技术有限公司 | 一种照片处理装置和方法 |
| CN106534552B (zh) * | 2016-11-11 | 2019-08-16 | 努比亚技术有限公司 | 移动终端及其拍照方法 |
| CN106713777A (zh) * | 2016-11-28 | 2017-05-24 | 努比亚技术有限公司 | 一种实现光绘摄影的方法、装置及拍摄设备 |
| CN106713745A (zh) * | 2016-11-28 | 2017-05-24 | 努比亚技术有限公司 | 一种实现光绘摄影的方法、装置及拍摄设备 |
| CN106686297A (zh) * | 2016-11-28 | 2017-05-17 | 努比亚技术有限公司 | 一种实现光绘摄影的方法、装置及拍摄设备 |
| CN107077720A (zh) * | 2016-12-27 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 图像处理的方法、装置和设备 |
| KR102401659B1 (ko) * | 2017-03-23 | 2022-05-25 | 삼성전자 주식회사 | 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법 |
| CN110913118B (zh) * | 2018-09-17 | 2021-12-17 | 腾讯数码（天津）有限公司 | 视频处理方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103595925A (zh) * | 2013-11-15 | 2014-02-19 | 深圳市中兴移动通信有限公司 | 照片合成视频的方法和装置 |
| WO2014035642A1 (en) * | 2012-08-28 | 2014-03-06 | Mri Lightpainting Llc | Light painting live view |
| CN103634530A (zh) * | 2012-08-27 | 2014-03-12 | 三星电子株式会社 | 拍摄装置及其控制方法 |
| CN103888683A (zh) * | 2014-03-24 | 2014-06-25 | 深圳市中兴移动通信有限公司 | 移动终端及其拍摄方法 |
| CN104104798A (zh) * | 2014-07-23 | 2014-10-15 | 深圳市中兴移动通信有限公司 | 拍摄光绘视频的方法和移动终端 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006243701A (ja) * | 2005-02-07 | 2006-09-14 | Fuji Photo Film Co Ltd | カメラ及びレンズ装置 |
| US9307212B2 (en) * | 2007-03-05 | 2016-04-05 | Fotonation Limited | Tone mapping for low-light video frame enhancement |
| US9813638B2 (en) * | 2012-08-28 | 2017-11-07 | Hi Pablo, Inc. | Lightpainting live view |
| US8830367B1 (en) * | 2013-10-21 | 2014-09-09 | Gopro, Inc. | Frame manipulation to reduce rolling shutter artifacts |
-
2014
- 2014-07-23 CN CN201410352575.XA patent/CN104104798A/zh active Pending
-
2015
- 2015-06-18 WO PCT/CN2015/081871 patent/WO2016011859A1/zh active Application Filing
- 2015-06-18 US US15/327,627 patent/US10129488B2/en active Active
- 2015-06-30 WO PCT/CN2015/082987 patent/WO2016011877A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103634530A (zh) * | 2012-08-27 | 2014-03-12 | 三星电子株式会社 | 拍摄装置及其控制方法 |
| WO2014035642A1 (en) * | 2012-08-28 | 2014-03-06 | Mri Lightpainting Llc | Light painting live view |
| CN103595925A (zh) * | 2013-11-15 | 2014-02-19 | 深圳市中兴移动通信有限公司 | 照片合成视频的方法和装置 |
| CN103888683A (zh) * | 2014-03-24 | 2014-06-25 | 深圳市中兴移动通信有限公司 | 移动终端及其拍摄方法 |
| CN104104798A (zh) * | 2014-07-23 | 2014-10-15 | 深圳市中兴移动通信有限公司 | 拍摄光绘视频的方法和移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10129488B2 (en) | 2018-11-13 |
| CN104104798A (zh) | 2014-10-15 |
| WO2016011859A1 (zh) | 2016-01-28 |
| US20170208259A1 (en) | 2017-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016011877A1 (zh) | 拍摄光绘视频的方法和移动终端、存储介质 | |
| JP6388673B2 (ja) | 携帯端末及びその撮像方法 | |
| US10244184B2 (en) | Method and apparatus for shooting star trail video, and computer storage medium | |
| TWI530911B (zh) | 動態曝光調整方法及其電子裝置 | |
| JP4513903B2 (ja) | 画像処理装置、及び画像処理方法 | |
| US9195880B1 (en) | Interactive viewer for image stacks | |
| JP2017220892A (ja) | 画像処理装置及び画像処理方法 | |
| JP2016197858A (ja) | リアルタイム画像ステッチ装置およびリアルタイム画像ステッチ方法 | |
| WO2016008356A1 (zh) | 星轨拍摄的方法、物体运动轨迹的拍摄方法和移动终端 | |
| KR20150108774A (ko) | 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체 | |
| US10721450B2 (en) | Post production replication of optical processing for digital cinema cameras using metadata | |
| WO2017000664A1 (zh) | 一种拍照方法及装置 | |
| US9077894B2 (en) | Method and apparatus for capturing still image during photographing or reproduction of moving image | |
| US10127455B2 (en) | Apparatus and method of providing thumbnail image of moving picture | |
| WO2016000514A1 (zh) | 拍摄星云视频的方法和装置和计算机存储介质 | |
| US8363128B2 (en) | Image processing apparatus and image processing method | |
| US20180365802A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable recording medium | |
| JP6021594B2 (ja) | 撮像装置及びプログラム | |
| JP2015019397A (ja) | 画像合成装置、画像合成方法、及びプログラム | |
| JP2010183460A (ja) | 撮像装置およびその制御方法 | |
| US12010433B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6223173B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
| JP2016052081A (ja) | 撮像装置、画像保存方法及びプログラム | |
| JP2011166301A (ja) | 撮像装置 | |
| JP6708495B2 (ja) | 映像処理装置、撮像装置および映像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15824592 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26/06/17) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15824592 Country of ref document: EP Kind code of ref document: A1 |