RU2785789C1 - Photography using night mode processing and user interface - Google Patents
Photography using night mode processing and user interface Download PDFInfo
- Publication number
- RU2785789C1 RU2785789C1 RU2022108425A RU2022108425A RU2785789C1 RU 2785789 C1 RU2785789 C1 RU 2785789C1 RU 2022108425 A RU2022108425 A RU 2022108425A RU 2022108425 A RU2022108425 A RU 2022108425A RU 2785789 C1 RU2785789 C1 RU 2785789C1
- Authority
- RU
- Russia
- Prior art keywords
- exposure
- electronic device
- photographing
- exposure parameters
- image
- Prior art date
Links
- 230000002194 synthesizing Effects 0.000 claims abstract description 120
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 115
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 113
- 230000000875 corresponding Effects 0.000 claims description 101
- 230000001174 ascending Effects 0.000 claims description 19
- 206010034960 Photophobia Diseases 0.000 claims description 13
- 206010034972 Photosensitivity reaction Diseases 0.000 claims description 8
- 230000036211 photosensitivity Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims 4
- 230000000694 effects Effects 0.000 abstract description 29
- 239000000126 substance Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 49
- 238000002156 mixing Methods 0.000 description 22
- 230000035945 sensitivity Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000003287 optical Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000000554 Iris Anatomy 0.000 description 1
- 230000001413 cellular Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001809 detectable Effects 0.000 description 1
- 230000003203 everyday Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 101710031899 moon Proteins 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Abstract
Description
Область техникиTechnical field
[0001] Варианты осуществления настоящего изобретения относятся к области терминальных устройств (терминалов), и более конкретно, к способу фотографирования, устройству фотографирования и мобильному терминалу в области терминалов.[0001] Embodiments of the present invention relate to the field of terminal devices (terminals), and more specifically, to a photographing method, a photographing device, and a mobile terminal in the field of terminals.
Уровень техникиState of the art
[0002] С постоянным развитием технологий фотографирования и повсеместным использованием мобильных терминалов, функция фотографирования мобильного терминала становится все более популярной среди людей. Существующий мобильный терминал может обеспечивать автоматический режим фотографирования или режим, в котором пользователь может вручную установить параметр фотографирования.[0002] With the continuous development of photographing technology and the widespread use of mobile terminals, the photographing function of a mobile terminal is becoming more and more popular among people. The existing mobile terminal may provide an automatic photographing mode or a mode in which the user can manually set the photographing parameter.
[0003] Когда свет, окружающий сфотографированный объект, относительно слабый, или когда возникает сильное дрожание, пока пользователь делает снимок, эффект от фотографии, сделанной в автоматическом режиме фотографирования мобильного терминала, обычно относительно слаб. Как показано на Фиг. 1, когда рука пользователя дрожит во время фотографирования, полученная фотография относительно размыта. Как показано на Фиг. 2, при относительно плохом освещении полученная фотография имеет сильный шум. Хотя существующий мобильный терминал также обеспечивает режим ручной установки параметра фотографирования, поскольку обычный пользователь недостаточно разбирается в технологии фотографирования, обычному пользователю очень трудно вручную установить различные параметры фотографирования на основе различных сценариев. Следовательно, фотографический эффект изображения относительно плохой, когда фотографирование выполняется с использованием автоматического режима фотографирования существующего мобильного терминала.[0003] When the light surrounding the photographed object is relatively weak, or when strong jitter occurs while the user is taking a photograph, the effect of a photograph taken in the automatic photographing mode of the mobile terminal is generally relatively weak. As shown in FIG. 1, when the user's hand shakes while taking a photo, the resulting photo is relatively blurred. As shown in FIG. 2, in relatively poor lighting, the resulting photo has a lot of noise. Although the existing mobile terminal also provides a mode for manually setting the photographing parameter, since a general user is not sufficiently versed in photographing technology, it is very difficult for a general user to manually set various photographing parameters based on various scenarios. Therefore, the photographic image effect is relatively poor when photographing is performed using the automatic photographing mode of an existing mobile terminal.
Сущность изобретенияThe essence of the invention
[0004] Настоящее изобретение предоставляет способ фотографирования, устройство для фотографирования и мобильный терминал для улучшения фотографического эффекта изображения.[0004] The present invention provides a photographing method, a photographing apparatus, and a mobile terminal for improving the photographic effect of an image.
[0005] Согласно первому аспекту вариант осуществления настоящего изобретения обеспечивает способ фотографирования. Способ включает в себя:[0005] According to a first aspect, an embodiment of the present invention provides a photographing method. The method includes:
получение мобильным терминалом предварительно просматриваемого первого изображения; определение мобильным терминалом текущего режима фотографирования, при этом режим фотографирования включает в себя статус фотографирования и сцену фотографирования, статус фотографирования включает в себя состояние съемки с рук или состояние штатива, и сцена фотографирования включает в себя сцену с источником света или темную сцену; определение мобильным терминалом последовательности параметров экспозиции на основе первого изображения и режима фотографирования, причем последовательность параметров экспозиции включает в себя по меньшей мере два параметра экспозиции, отсортированных в порядке возрастания времени фотографирования, и параметры экспозиции используются для управления светом, поступающим к мобильному терминалу во время фотографирования; получение мобильным терминалом по меньшей мере двух кадров на основе параметров экспозиции в последовательности параметров экспозиции; выполнение мобильным терминалом обработки синтеза на основе режима фотографирования и некоторых или всех из упомянутых по меньшей мере двух кадров для получения целевого изображения; и вывод мобильным терминалом целевого изображения.obtaining by the mobile terminal a previewed first image; determining, by the mobile terminal, a current photographing mode, wherein the photographing mode includes a photographing status and a photographing scene, the photographing status includes a handheld shooting state or a tripod state, and the photographing scene includes a light source scene or a dark scene; determination by the mobile terminal of an exposure parameter sequence based on the first image and the photographing mode, wherein the exposure parameter sequence includes at least two exposure parameters sorted in ascending order of photographing time, and the exposure parameters are used to control the light supplied to the mobile terminal at the time of photographing ; obtaining by the mobile terminal at least two frames based on the exposure parameters in the sequence of exposure parameters; performing, by the mobile terminal, synthesis processing based on the photographing mode and some or all of the at least two frames to obtain a target image; and outputting the target image by the mobile terminal.
[0006] Опционально, до того, как мобильный терминал получит предварительно просматриваемое первое изображение, мобильный терминал может отображать на основе обнаруженной инструкции запуска камеры, введенной пользователем, предварительный просмотр изображения, полученного камерой в реальном времени для пользователя с использованием интерфейса отображения. Соответственно, пользователь может запустить камеру мобильного терминала и предварительно просмотреть, используя интерфейс отображения мобильного терминала, изображение, получаемое камерой в реальном времени.[0006] Optionally, before the mobile terminal obtains the first preview image, the mobile terminal may display, based on the detected camera start instruction entered by the user, a live preview of the camera image to the user using the display interface. Accordingly, the user can start the camera of the mobile terminal and preview, using the display interface of the mobile terminal, an image acquired by the camera in real time.
[0007] Следует отметить, что первое изображение может пониматься как изображение, которое захватывается непосредственно при запуске камеры мобильного терминала, или может пониматься как первое сфотографированное изображение после того, как пользователь нажимает кнопку затвора. Это не ограничено в этом варианте осуществления настоящего изобретения.[0007] It should be noted that the first image may be understood as an image that is captured directly when the camera of the mobile terminal is started, or may be understood as the first photographed image after the user presses the shutter button. This is not limited in this embodiment of the present invention.
[0008] Опционально, мобильный терминал может получить предварительно просматриваемое первое изображение на основе инициирующего события или предварительно установленной второй продолжительности. Это не ограничено в этом варианте осуществления настоящего изобретения.[0008] Optionally, the mobile terminal may obtain a preview of the first image based on the triggering event or a preset second duration. This is not limited in this embodiment of the present invention.
[0009] Следует понимать, что в этом варианте осуществления настоящего изобретения предварительно установленная вторая продолжительность может пониматься как предварительно установленная продолжительность.[0009] It should be understood that in this embodiment of the present invention, the preset second duration may be understood as the preset duration.
[0010] В возможной реализации мобильный терминал может получать текущее предварительно просматриваемое изображение в соответствии с обнаруженной инструкцией фотографирования, введенной пользователем, и определять текущее предварительно просматриваемое изображение как первое изображение.[0010] In an exemplary implementation, the mobile terminal may acquire the current preview image according to the detected photographing instruction entered by the user, and determine the current preview image as the first image.
[0011] Например, мобильный терминал может получить текущее просматриваемое изображение при обнаружении операции щелчка пользователем по положению кнопки спуска затвора (фотографирования).[0011] For example, the mobile terminal can obtain the currently viewed image upon detecting a user click operation on the position of the shutter button (taking a photo).
[0012] В другой возможной реализации мобильный терминал может получить текущее предварительно просматриваемое изображение в конечный момент времени предварительно установленной второй продолжительности и определить текущее предварительно просматриваемое изображение как первое изображение.[0012] In another possible implementation, the mobile terminal may acquire the current preview image at the end time of the preset second duration and determine the current preview image as the first image.
[0013] Например, мобильный терминал может запускать таймер после запуска функции фотографирования. Продолжительность таймера 5 с. Когда таймер истекает, мобильный терминал получает текущее просматриваемое изображение.[0013] For example, the mobile terminal may start a timer after starting the photographing function. The duration of the timer is 5 s. When the timer expires, the mobile terminal obtains the currently viewed image.
[0014] Опционально, мобильный терминал может определять режим фотографирования множеством способов. Это не ограничено в этом варианте осуществления настоящего изобретения.[0014] Optionally, the mobile terminal may determine the photographing mode in a variety of ways. This is not limited in this embodiment of the present invention.
[0015] В возможной реализации мобильный терминал может получать инструкцию по режиму фотографирования, введенную пользователем. Инструкция по режиму фотографирования используется для указания режима фотографирования, указанного пользователем.[0015] In an exemplary implementation, the mobile terminal may receive a photographing mode instruction entered by a user. The photographing mode instruction is used to indicate the photographing mode specified by the user.
[0016] В другой возможной реализации мобильный терминал может автоматически определять режим фотографирования на основе первого изображения. В частности, мобильный терминал определяет, на основе первого изображения, захваченного камерой, статус фотографирования и/или сцену фотографирования для текущего фотографирования.[0016] In another possible implementation, the mobile terminal may automatically determine the photographing mode based on the first image. Specifically, the mobile terminal determines, based on the first image captured by the camera, a photographing status and/or a photographing scene for the current photographing.
[0017] Опционально, мобильный терминал может определять статус фотографирования множеством способов. Это не ограничено в этом варианте осуществления настоящего изобретения.[0017] Optionally, the mobile terminal may determine the photographing status in a variety of ways. This is not limited in this embodiment of the present invention.
[0018] В возможной реализации мобильный терминал может определять статус фотографирования на основе множества порций данных датчика, которые собираются датчиком в пределах предварительно установленной первой продолжительности. Данные датчика используются для указания угла между мобильным терминалом и горизонтальным направлением или направлением силы тяжести.[0018] In an exemplary implementation, the mobile terminal may determine the photographing status based on the plurality of sensor data pieces that are collected by the sensor within a predetermined first duration. The sensor data is used to indicate the angle between the mobile terminal and the horizontal or gravity direction.
[0019] Например, если среднее значение (или максимальное значение) множества порций данных датчика больше или равно предварительно установленному первому значению, мобильный терминал определяет, что статусом фотографирования является состояние съемки с рук; или если среднее значение (или максимальное значение) множества порций данных датчика меньше первого значения, мобильный терминал определяет, что статусом фотографирования является состояние штатива.[0019] For example, if the average value (or maximum value) of the plurality of sensor data pieces is greater than or equal to the preset first value, the mobile terminal determines that the photographing status is the handheld shooting state; or if the average value (or maximum value) of the plurality of sensor data pieces is less than the first value, the mobile terminal determines that the photographing status is the tripod status.
[0020] Опционально, датчик может быть гироскопическим датчиком, датчиком угловой скорости, датчиком ускорения или другим датчиком, способным получать данные датчика, указывающие угол между мобильным терминалом и горизонтальным направлением или направлением силы тяжести. Это не ограничено в этом варианте осуществления настоящего изобретения.[0020] Optionally, the sensor may be a gyro sensor, an angular velocity sensor, an acceleration sensor, or another sensor capable of receiving sensor data indicative of the angle between the mobile terminal and the horizontal or gravity direction. This is not limited in this embodiment of the present invention.
[0021] Опционально, мобильный терминал может определять режим фотографирования множеством способов. Это не ограничено в этом варианте осуществления настоящего изобретения.[0021] Optionally, the mobile terminal may determine the photographing mode in a variety of ways. This is not limited in this embodiment of the present invention.
[0022] В возможной реализации мобильный терминал может определять сцену фотографирования на основе значения яркости первого изображения.[0022] In an exemplary implementation, the mobile terminal may determine the photographing scene based on the brightness value of the first image.
[0023] В частности, мобильный терминал может определять сцену фотографирования на основе количества пикселей в первом изображении, значения яркости которых больше, чем предварительно установленное второе значение.[0023] In particular, the mobile terminal can determine the photographing scene based on the number of pixels in the first image whose brightness values are greater than a preset second value.
[0024] Например, если отношение количества пикселей в первом изображении, значения яркости которых больше второго значения, к количеству всех пикселей больше или равно предварительно установленному значению отношения, мобильный терминал определяет, что сцена фотографирования представляет собой сцену с источником света; или если отношение количества пикселей в первом изображении, значения яркости которых больше второго значения, к количеству всех пикселей меньше, чем упомянутое значение отношения, мобильный терминал определяет, что сцена фотографирования является темной сценой.[0024] For example, if the ratio of the number of pixels in the first image whose brightness values are greater than the second value to the number of all pixels is greater than or equal to a preset ratio value, the mobile terminal determines that the photographing scene is a scene with a light source; or if the ratio of the number of pixels in the first image whose brightness values are greater than the second value to the number of all pixels is less than said ratio value, the mobile terminal determines that the photographing scene is a dark scene.
[0025] Опционально, мобильный терминал может отображать первую информацию с подсказкой для пользователя с использованием интерфейса отображения. Первая информация с подсказкой используется для подсказки пользователю касательно режима фотографирования.[0025] Optionally, the mobile terminal may display the first prompt information to the user using the display interface. The first prompt information is used to prompt the user regarding the photographing mode.
[0026] Ниже описывается, как мобильный терминал определяет последовательность параметров экспозиции на основе первого изображения и режима фотографирования в различных режимах фотографирования.[0026] The following describes how the mobile terminal determines the sequence of exposure parameters based on the first image and the photographing mode in various photographing modes.
[0027] Следует понимать, что следующие варианты осуществления описаны просто с использованием примера, в котором параметры экспозиции включают в себя продолжительность экспозиции и светочувствительность.[0027] It should be understood that the following embodiments are described simply using an example in which exposure parameters include exposure duration and photosensitivity.
[0028] Следует отметить, что параметры экспозиции могут дополнительно включать в себя другое значение параметра, например, значение диафрагмы. Это не ограничено в этом варианте осуществления настоящего изобретения.[0028] It should be noted that the exposure parameters may further include another parameter value, such as an aperture value. This is not limited in this embodiment of the present invention.
[0029] Режим фотографирования 1: режим штатива и режим источника света[0029] Photo mode 1: tripod mode and light source mode
[0030] Если сцена фотографирования представляет собой сцену с источником света, мобильный терминал определяет, на основе среднего значения пикселя первой области в первом изображении, среднего значения пикселя второй области в первом изображении и параметра экспозиции первого изображения, первый параметр экспозиции и второй параметр экспозиции, которые включены в опорную последовательность экспозиции.[0030] If the photographing scene is a scene with a light source, the mobile terminal determines, based on the average pixel value of the first area in the first image, the average pixel value of the second area in the first image, and the exposure parameter of the first image, the first exposure parameter and the second exposure parameter, which are included in the exposure reference sequence.
[0031] Первая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наибольшими в первом изображении, а вторая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наименьшими в первом изображении. Среднее значение пикселя области, соответствующей первой области в кадре, который получен с использованием первого параметра экспозиции, равно предварительно установленному первому пороговому значению пикселя, а среднее значение пикселя первой области больше или равно первому пороговому значению пикселя. Среднее значение пикселя области, соответствующей второй области в кадре, который получен с использованием второго параметра экспозиции, равно предварительно установленному второму пороговому значению пикселя, а среднее значение пикселя второй области меньше или равно второму пороговому значению пикселя. Первое пороговое значение пикселя больше, чем второе пороговое значение пикселя. Время фотографирования, соответствующее первому параметру экспозиции, является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0031] The first region includes at least two pixels whose pixel values are the largest in the first image, and the second region includes at least two pixels whose pixel values are the smallest in the first image. The average pixel value of the area corresponding to the first area in the frame obtained using the first exposure parameter is equal to the preset first pixel threshold, and the average pixel value of the first area is greater than or equal to the first pixel threshold. The average pixel value of the area corresponding to the second area in the frame obtained using the second exposure parameter is equal to the preset second pixel threshold, and the average pixel value of the second area is less than or equal to the second pixel threshold. The first pixel threshold is greater than the second pixel threshold. The photographing time corresponding to the first exposure parameter is earlier than the photographing time corresponding to the second exposure parameter.
[0032] Если статусом фотографирования является состояние штатива, мобильный терминал определяет, что светочувствительность, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной первой светочувствительности.[0032] If the photographing status is the tripod state, the mobile terminal determines that the sensitivity included in the exposure parameters in the exposure sequence is less than or equal to the preset first sensitivity.
[0033] Следует отметить, что в этом варианте осуществления настоящего изобретения среднее значение пикселя первой области (или второй области) может пониматься как отношение суммы значений пикселей для пикселей в первой области (или второй области) к количеству пикселей. В возможном альтернативном способе среднее значение пикселя первой области (или второй области) может быть заменено суммой значений пикселей для пикселей в первой области (или второй области). Это не ограничено в этом варианте осуществления настоящего изобретения.[0033] It should be noted that in this embodiment of the present invention, the average pixel value of the first region (or second region) can be understood as the ratio of the sum of pixel values for pixels in the first region (or second region) to the number of pixels. In a possible alternative method, the average pixel value of the first region (or second region) may be replaced by the sum of the pixel values for the pixels in the first region (or second region). This is not limited in this embodiment of the present invention.
[0034] Следует дополнительно отметить, что если среднее значение пикселя первой области больше или равно первому пороговому значению пикселя, первая область представляет собой область переэкспонирования, и яркость первой области необходимо уменьшить; и аналогично, если среднее значение пикселя второй области меньше или равно второму пороговому значению пикселя, это указывает на то, что вторая область представляет собой область недоэкспонирования, и яркость второй области должна быть увеличена.[0034] It should be further noted that if the average pixel value of the first region is greater than or equal to the first pixel threshold value, the first region is an overexposed region, and the brightness of the first region must be reduced; and similarly, if the average pixel value of the second region is less than or equal to the second pixel threshold value, it indicates that the second region is an underexposed region and the brightness of the second region should be increased.
[0035] В сцене с источником света диапазон распределения яркости пикселей изображения относительно велик, и может произойти переэкспонирование или недоэкспонирование. Поэтому мобильный терминал может уменьшить яркость области переэкспонирования (первая область) на основе кадра, который получен с использованием первого параметра экспозиции, и увеличить яркость области недоэкспонирования (вторая область) на основе кадра, который получен с использованием второго параметра экспозиции, чтобы получить изображение с высоким динамическим диапазоном путем синтеза, так что предполагаемая яркая область изображения будет яркой, а предполагаемая темная область изображения темной, и изображение включает больше деталей.[0035] In a scene with a light source, the brightness distribution range of image pixels is relatively large, and overexposure or underexposure may occur. Therefore, the mobile terminal can reduce the brightness of the overexposed area (first area) based on the frame that is obtained using the first exposure parameter, and increase the brightness of the underexposed area (second area) based on the frame that is obtained using the second exposure parameter, to obtain an image with high dynamic range by synthesis, so that the supposed bright area of the image is bright and the supposed dark area of the image is dark, and the image includes more details.
[0036] Следует понимать, что значения пикселей изображения составляют от 0 до 255, всего 256 значений. Чем больше значение, тем выше яркость. 0 указывает на самую темную область полностью черного цвета, 255 указывает на полностью белый цвет наивысшей яркости, а числа от 0 до 255 указывают на серые цвета различной яркости.[0036] It should be understood that the pixel values of an image are from 0 to 255, for a total of 256 values. The larger the value, the higher the brightness. 0 indicates the darkest area of pure black, 255 indicates the purest white of the highest brightness, and numbers from 0 to 255 indicate grays of varying brightness.
[0037] Например, если предположить, что продолжительность экспозиции первого изображения составляет 1 с, светочувствительность первого изображения равна 100, а первое изображение включает в себя шесть пикселей, значения пикселей которых равны 5, 5, 60, 80, 250 и 250, соответственно, первая область включает в себя два пикселя, значения пикселей которых являются наибольшими, то есть среднее значение пикселя первой области равно 250; и вторая область включает в себя два пикселя, значения пикселей которых являются наименьшими, то есть среднее значение пикселя второй области равно 5.[0037] For example, assuming that the exposure time of the first image is 1 second, the light sensitivity of the first image is 100, and the first image includes six pixels whose pixel values are 5, 5, 60, 80, 250, and 250, respectively, the first region includes two pixels whose pixel values are the largest, that is, the average pixel value of the first region is 250; and the second region includes two pixels whose pixel values are the smallest, that is, the average pixel value of the second region is 5.
[0038] Следует понимать, что когда параметр экспозиции включает в себя продолжительность экспозиции и светочувствительность, поступающий свет, соответствующий параметру экспозиции, можно понимать как произведение продолжительности экспозиции и светочувствительности.[0038] It should be understood that when the exposure parameter includes the exposure duration and the ISO, the incoming light corresponding to the exposure parameter can be understood as the product of the exposure duration and the ISO.
[0039] Если предположить, что первое пороговое значение пикселя равно 200, поскольку среднее значение пикселя первой области равно 250, и поступающий свет, соответствующий параметру экспозиции первого изображения, равен 100, можно определить, что поступающий свет, соответствующий первому параметру экспозиции, равен 200 х 100/250=80.[0039] Assuming that the first threshold pixel value is 200, since the average pixel value of the first area is 250, and the incoming light corresponding to the exposure parameter of the first image is 100, it can be determined that the incoming light corresponding to the first exposure parameter is 200 x 100/250=80.
[0040] Если предположить, что второе пороговое значение пикселя равно 30, поскольку среднее значение пикселя второй области равно 5, и поступающий свет, соответствующий параметру экспозиции первого изображения, равен 100, можно определить, что поступающий свет, соответствующий второму параметру экспозиции, равен 30 х 100/5=600.[0040] Assuming that the second threshold pixel value is 30, since the average pixel value of the second area is 5 and the incoming light corresponding to the exposure value of the first image is 100, it can be determined that the incoming light corresponding to the second exposure value is 30 x 100/5=600.
[0041] Когда поступающий свет одинаков, изображение с более низкой светочувствительностью имеет меньший шум изображения и лучший фотографический эффект. Мобильный терминал относительно стабилен в состоянии штатива. Поэтому, в состоянии штатива мобильный терминал устанавливает светочувствительность в параметре экспозиции на значение, меньшее или равное предварительно установленной светочувствительности.[0041] When the incoming light is the same, an image with a lower photosensitivity has less image noise and a better photographic effect. The mobile terminal is relatively stable in the tripod state. Therefore, in the tripod state, the mobile terminal sets the ISO in the exposure parameter to a value less than or equal to the preset ISO.
[0042] Другими словами, в состоянии штатива мобильный терминал получает изображение на основе относительно меньшей светочувствительности и относительно большой продолжительности экспозиции, чтобы улучшить фотографический эффект изображения.[0042] In other words, in the tripod state, the mobile terminal acquires an image based on a relatively lower light sensitivity and a relatively long exposure time to improve the photographic effect of the image.
[0043] В возможной реализации продолжительности экспозиции, включенные в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличиваются, или светочувствительность, включенная в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличивается.[0043] In an exemplary implementation, the exposure durations included in the exposure parameters in the exposure parameter sequence are sequentially increased, or the light sensitivity included in the exposure parameters in the exposure parameter sequence is sequentially increased.
[0044] Например, если предположить, что предварительно установленная светочувствительность равна 200, продолжительность экспозиции в первом параметре экспозиции может составлять 0,5 с, светочувствительность в первом параметре экспозиции может составлять 160, продолжительность экспозиции во втором параметре экспозиции может составлять 3 с, и светочувствительность во втором параметре экспозиции может составлять 200.[0044] For example, assuming a preset ISO of 200, the exposure duration in the first exposure parameter may be 0.5 s, the ISO in the first exposure parameter may be 160, the exposure duration in the second exposure parameter may be 3 s, and the ISO in the second exposure parameter can be 200.
[0045] Опционально, последовательность параметров экспозиции может дополнительно включать в себя по меньшей мере один четвертый параметр экспозиции, отсортированный в порядке возрастания времени фотографирования. Время фотографирования, соответствующее любому одному из по меньшей мере одного четвертого параметра экспозиции, является более поздним, чем время фотографирования, соответствующее первому параметру экспозиции, но является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0045] Optionally, the sequence of exposure parameters may further include at least one fourth exposure parameter, sorted in ascending order of photographing time. The photographing time corresponding to any one of the at least one fourth exposure parameter is later than the photographing time corresponding to the first exposure parameter, but is earlier than the photographing time corresponding to the second exposure parameter.
[0046] Опционально, поступающий свет, соответствующий параметрам экспозиции в последовательности параметров экспозиции, может последовательно увеличиваться в порядке возрастания времени фотографирования. Более конкретно, в последовательности экспозиции, поступающий свет, соответствующий первому параметру экспозиции, является наименьшим, и поступающий свет, соответствующий второму параметру экспозиции, является наибольшим. По меньшей мере один четвертый параметр экспозиции может быть установлен между первым параметром экспозиции и вторым параметром экспозиции, так что поступающий свет, соответствующий параметрам экспозиции в последовательности экспозиции, последовательно увеличивается в порядке возрастания времени фотографирования, чтобы избежать воздействия на эффект синтеза кадра, возникающего из-за относительно большой разницы между двумя последовательными кадрами в последующей процедуре обработки синтеза.[0046] Optionally, the incoming light corresponding to the exposure settings in the sequence of exposure settings can be sequentially increased in order of increasing photographing time. More specifically, in the exposure sequence, the incoming light corresponding to the first exposure is the smallest, and the incoming light corresponding to the second exposure is the largest. At least one fourth exposure parameter may be set between the first exposure parameter and the second exposure parameter, so that the incoming light corresponding to the exposure parameters in the exposure sequence is sequentially increased in ascending order of photographing time to avoid affecting the frame synthesis effect resulting from for the relatively large difference between two consecutive frames in the subsequent synthesis processing procedure.
[0047] Опционально, разница между поступающим светом, соответствующим любым двум параметрам экспозиции в последовательности экспозиции, может быть равна или не равна разнице между поступающим светом, соответствующим любым другим двум параметрам экспозиции. Это не ограничено в этом варианте осуществления настоящего изобретения.[0047] Optionally, the difference between the incoming light corresponding to any two exposure parameters in the exposure sequence may or may not be equal to the difference between the incoming light corresponding to any other two exposure parameters. This is not limited in this embodiment of the present invention.
[0048] Например, если предположить, что один четвертый параметр экспозиции включен между первым параметром экспозиции и вторым параметром экспозиции, продолжительность экспозиции в первом параметре экспозиции составляет 0,5 с, светочувствительность в первом параметре экспозиции составляет 160, продолжительность экспозиции во втором параметре экспозиции - 3 с, и светочувствительность во втором параметре экспозиции - 200, продолжительность экспозиции в четвертом параметре экспозиции может быть установлена равной 1 с, и светочувствительность в четвертом параметре экспозиции может быть установлена равной 180.[0048] For example, assuming that one fourth exposure parameter is included between the first exposure parameter and the second exposure parameter, the exposure duration at the first exposure parameter is 0.5 s, the ISO at the first exposure parameter is 160, the exposure duration at the second exposure parameter is 3 s, and the sensitivity in the second exposure parameter is 200, the exposure time in the fourth exposure parameter can be set to 1 s, and the sensitivity in the fourth exposure parameter can be set to 180.
[0049] В качестве другого примера, если предположить, что два четвертых параметра экспозиции включены между первым параметром экспозиции и вторым параметром экспозиции, продолжительность экспозиции в первом параметре экспозиции составляет 0,5 с, светочувствительность в первом параметре экспозиции составляет 160, продолжительность экспозиции во втором параметре экспозиции - 3 с, и светочувствительность во втором параметре экспозиции - 200, продолжительность экспозиции в 1-м четвертом параметре экспозиции может быть установлена равной 1 с, и светочувствительность в 1-м четвертом параметре экспозиции может быть установлена равной 180; и продолжительность экспозиции во 2-м четвертом параметре экспозиции может быть установлена равной 2 с, и светочувствительность во 2-м четвертом параметре экспозиции может быть установлена равной 180.[0049] As another example, assuming that two fourth exposure parameters are included between the first exposure parameter and the second exposure parameter, the exposure duration in the first exposure parameter is 0.5 s, the ISO in the first exposure parameter is 160, the exposure duration in the second exposure parameter is 3 s, and the sensitivity in the second exposure parameter is 200, the exposure time in the 1st fourth exposure parameter can be set to 1 s, and the ISO sensitivity in the 1st fourth exposure parameter can be set to 180; and the exposure duration in the 2nd fourth exposure parameter may be set to 2 s, and the ISO in the 2nd fourth exposure parameter may be set to 180.
[0050] Опционально, если значение пикселя области, соответствующей второй области в кадре, которая получена с использованием самого большого параметра экспозиции мобильного терминала, все еще меньше, чем второе пороговое значение пикселя, то есть яркость области недоэкспонирования все еще нежелательна, в этом случае мобильный терминал может добавить по меньшей мере один второй параметр экспозиции (например, вторые параметры экспозиции, обозначенные пунктирными тенями на Фиг. 6) после второго параметра экспозиции, чтобы увеличить яркость области недоэкспонирования.[0050] Optionally, if the pixel value of the area corresponding to the second area in the frame, which is obtained using the largest exposure parameter of the mobile terminal, is still less than the second pixel threshold value, that is, the brightness of the underexposed area is still undesirable, in this case, the mobile the terminal may add at least one second exposure parameter (eg, second exposure parameters indicated by dotted shadows in FIG. 6) after the second exposure parameter to increase the brightness of the underexposed area.
[0051] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в сцене с источником света кадры одного и того же сфотографированного объекта при разных уровнях экспозиции получаются путем установки различных параметров экспозиции. Первый параметр экспозиции используется для восстановления деталей изображения яркой области в кадре, а второй параметр экспозиции используется для восстановления деталей изображения темной области в кадре. Синтезируются кадры, полученные с использованием различных параметров экспозиции. Таким образом уравновешиваются как общие детали, так и яркость окончательного изображения, чтобы улучшить динамический диапазон изображения, тем самым улучшая фотографический эффект изображения. В состоянии штатива, когда поступающий свет одинаков, шум изображения может быть дополнительно уменьшен путем установки относительно большой продолжительности экспозиции и относительно низкой светочувствительности, чтобы улучшить фотографический эффект изображения.[0051] According to the photographing method provided in this embodiment of the present invention, in a scene with a light source, frames of the same photographed object at different exposure levels are obtained by setting different exposure parameters. The first exposure setting is used to restore the image details of the bright area in the frame, and the second exposure setting is used to restore the image details of the dark area in the frame. Frames obtained using various exposure parameters are synthesized. In this way, both the general details and the brightness of the final image are balanced to improve the dynamic range of the image, thereby improving the photographic effect of the image. In a tripod state where the incoming light is uniform, image noise can be further reduced by setting a relatively long exposure time and a relatively low ISO to improve the photographic effect of the image.
[0052] Режим фотографирования 2: режим съемки с рук и режим источника света[0052] Photo mode 2: handheld mode and light source mode
[0053] Если сцена фотографирования представляет собой сцену с источником света, мобильный терминал определяет, на основе среднего значения пикселя первой области в первом изображении, среднего значения пикселя второй области в первом изображении и параметра экспозиции первого изображения, первый параметр экспозиции и второй параметр экспозиции, которые включены в опорную последовательность экспозиции.[0053] If the photographing scene is a scene with a light source, the mobile terminal determines, based on the average pixel value of the first area in the first image, the average pixel value of the second area in the first image, and the exposure parameter of the first image, the first exposure parameter and the second exposure parameter, which are included in the exposure reference sequence.
[0054] Первая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наибольшими в первом изображении, а вторая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наименьшими в первом изображении. Среднее значение пикселя области, соответствующей первой области в кадре, который получен с использованием первого параметра экспозиции, равно предварительно установленному первому пороговому значению пикселя, а среднее значение пикселя первой области больше или равно первому пороговому значению пикселя. Среднее значение пикселя области, соответствующей второй области в кадре, который получен с использованием второго параметра экспозиции, равно предварительно установленному второму пороговому значению пикселя, а среднее значение пикселя второй области меньше или равно второму пороговому значению пикселя. Первое пороговое значение пикселя больше, чем второе пороговое значение пикселя. Время фотографирования, соответствующее первому параметру экспозиции, является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0054] The first region includes at least two pixels whose pixel values are the largest in the first image, and the second region includes at least two pixels whose pixel values are the smallest in the first image. The average pixel value of the area corresponding to the first area in the frame obtained using the first exposure parameter is equal to the preset first pixel threshold, and the average pixel value of the first area is greater than or equal to the first pixel threshold. The average pixel value of the area corresponding to the second area in the frame obtained using the second exposure parameter is equal to the preset second pixel threshold, and the average pixel value of the second area is less than or equal to the second pixel threshold. The first pixel threshold is greater than the second pixel threshold. The photographing time corresponding to the first exposure parameter is earlier than the photographing time corresponding to the second exposure parameter.
[0055] Если статусом фотографирования является состояние съемки с рук, мобильный терминал определяет, что опорная последовательность экспозиции включает в себя опорный параметр экспозиции, и продолжительность экспозиции, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной первой продолжительности экспозиции. Опорный параметр экспозиции представляет собой параметр экспозиции, который имеет самое раннее время фотографирования в последовательности параметров экспозиции, и поступающий свет, соответствующий опорному параметру экспозиции, больше, чем поступающий свет, соответствующий первому параметру экспозиции, но меньше, чем поступающий свет, соответствующий второму параметру экспозиции.[0055] If the photographing status is a handheld shooting state, the mobile terminal determines that the exposure reference sequence includes the exposure reference parameter, and the exposure duration included in the exposure parameters in the exposure sequence is less than or equal to the preset first exposure duration. The reference exposure parameter is the exposure parameter that has the earliest photographing time in the sequence of exposure parameters and the incoming light corresponding to the reference exposure parameter is greater than the incoming light corresponding to the first exposure parameter but less than the incoming light corresponding to the second exposure parameter .
[0056] Следует отметить, что в этом варианте осуществления настоящего изобретения среднее значение пикселя первой области (или второй области) может пониматься как отношение суммы значений пикселей для пикселей в первой области (или второй области) к количеству пикселей. В качестве возможного альтернативного способа среднее значение пикселя первой области (или второй области) может быть заменено суммой значений пикселей для пикселей в первой области (или второй области). Это не ограничено в этом варианте осуществления настоящего изобретения.[0056] It should be noted that in this embodiment of the present invention, the average pixel value of the first region (or second region) can be understood as the ratio of the sum of pixel values for pixels in the first region (or second region) to the number of pixels. As a possible alternative, the average pixel value of the first region (or second region) may be replaced by the sum of the pixel values for the pixels in the first region (or second region). This is not limited in this embodiment of the present invention.
[0057] Следует также отметить, что если среднее значение пикселя первой области больше или равно предварительно установленного первого порогового значения пикселя, это указывает на то, что первая область представляет собой область переэкспонирования, и яркость первой области должна быть уменьшена; и также, если среднее значение пикселя второй области меньше или равно предварительно установленного второго порогового значения пикселя, это указывает на то, что вторая область представляет собой область недоэкспонирования, и яркость второй области должна быть увеличена.[0057] It should also be noted that if the average pixel value of the first region is greater than or equal to the preset first pixel threshold value, this indicates that the first region is an overexposed region and the brightness of the first region should be reduced; and also, if the average pixel value of the second region is less than or equal to the preset second threshold pixel value, it indicates that the second region is an underexposed region and the brightness of the second region should be increased.
[0058] Например, если предположить, что продолжительность экспозиции первого изображения составляет 1 с, светочувствительность первого изображения составляет 100, а первое изображение включает в себя шесть пикселей, значения пикселей которых равны 5, 5, 60, 80, 250 и 250, соответственно, как показано на Фиг. 5, первая область включает в себя два пикселя, значения пикселей которых являются наибольшими, то есть среднее значение пикселя первой области равно 250; и вторая область включает в себя два пикселя, значения пикселей которых являются наименьшими, то есть среднее значение пикселя второй области равно 5.[0058] For example, assuming that the exposure time of the first image is 1 s, the ISO of the first image is 100, and the first image includes six pixels whose pixel values are 5, 5, 60, 80, 250, and 250, respectively, as shown in FIG. 5, the first region includes two pixels whose pixel values are the largest, that is, the average pixel value of the first region is 250; and the second region includes two pixels whose pixel values are the smallest, that is, the average pixel value of the second region is 5.
[0059] Следует понимать, что когда параметр экспозиции включает в себя продолжительность экспозиции и светочувствительность, поступающий свет, соответствующий параметру экспозиции, можно понимать как произведение продолжительности экспозиции и светочувствительности.[0059] It should be understood that when the exposure parameter includes the exposure duration and the ISO, the incoming light corresponding to the exposure parameter can be understood as the product of the exposure duration and the ISO.
[0060] Если предположить, что предварительно установленное первое пороговое значение пикселя составляет 200, поскольку среднее значение пикселя первой области составляет 250, а поступающий свет, соответствующий параметру экспозиции первого изображения, составляет 100, можно определить, что поступающий свет, соответствующий первому параметру экспозиции, составляет 200 х 100/250 = 80.[0060] Assuming that the preset first pixel threshold value is 200, since the average pixel value of the first area is 250 and the incoming light corresponding to the exposure value of the first image is 100, it can be determined that the incoming light corresponding to the first exposure value is is 200 x 100/250 = 80.
[0061] Если предположить, что предварительно установленное второе пороговое значение пикселя составляет 30, поскольку среднее значение пикселя второй области составляет 5, а поступающий свет, соответствующий параметру экспозиции первого изображения, составляет 100, можно определить, что поступающий свет, соответствующий второму параметру экспозиции, составляет 30 х 100/5 = 600.[0061] Assuming that the preset second pixel threshold value is 30, since the average pixel value of the second area is 5 and the incoming light corresponding to the exposure value of the first image is 100, it can be determined that the incoming light corresponding to the second exposure value is is 30 x 100/5 = 600.
[0062] Поскольку встряхивание может произойти в режиме съемки с рук, мобильный терминал устанавливает продолжительность экспозиции параметра экспозиции в значение, меньшее или равное предварительно установленной продолжительности экспозиции.[0062] Since shaking may occur in the handheld mode, the mobile terminal sets the exposure duration of the exposure parameter to a value less than or equal to the preset exposure duration.
[0063] Другими словами, в состоянии съемки с рук, мобильный терминал получает изображение, основанное на относительно короткой продолжительности экспозиции и относительно высокой светочувствительности, чтобы улучшить фотографический эффект изображения.[0063] In other words, in the handheld state, the mobile terminal acquires an image based on a relatively short exposure time and a relatively high light sensitivity to improve the photographic effect of the image.
[0064] В возможной реализации продолжительности экспозиции, включенные в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличиваются, и/или светочувствительность, включенная в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличивается.[0064] In an exemplary implementation, the exposure durations included in the exposure parameters in the exposure parameter sequence are sequentially increased and/or the sensitivity included in the exposure parameters in the exposure parameter sequence is sequentially increased.
[0065] Например, если предположить, что предварительно установленная продолжительность экспозиции составляет 1 с, продолжительность экспозиции в первом параметре экспозиции может составлять 0,2 с, светочувствительность в первом параметре экспозиции может составлять 400, продолжительность экспозиции во втором параметре экспозиции может составлять 0,5 с, и светочувствительность во втором параметре экспозиции может составлять 1200.[0065] For example, assuming the preset exposure duration is 1 s, the exposure duration in the first exposure parameter may be 0.2 s, the ISO in the first exposure parameter may be 400, the exposure duration in the second exposure parameter may be 0.5 s, and ISO in the second exposure setting can be 1200.
[0066] В другом примере, если предположить, что продолжительность экспозиции в первом параметре экспозиции составляет 0,2 с, светочувствительность в первом параметре экспозиции составляет 400, продолжительность экспозиции во втором параметре экспозиции составляет 0,5 с, и светочувствительность во втором параметре экспозиции составляет 1200, опорный параметр экспозиции может быть установлен перед первым параметром экспозиции. Например, продолжительность экспозиции в опорном параметре экспозиции может составлять 0,3 с, и светочувствительность в опорном параметре экспозиции составляет 800.[0066] In another example, assuming that the exposure duration at the first exposure parameter is 0.2 s, the ISO at the first exposure parameter is 400, the exposure duration at the second exposure parameter is 0.5 s, and the ISO at the second exposure parameter is 1200, the reference exposure parameter can be set before the first exposure parameter. For example, the exposure duration in the exposure reference may be 0.3 s and the ISO in the exposure reference may be 800.
[0067] Опционально, последовательность параметров экспозиции может дополнительно включать в себя по меньшей мере один четвертый параметр экспозиции, отсортированный в порядке возрастания времени фотографирования. Время фотографирования, соответствующее любому одному из по меньшей мере одного четвертого параметра экспозиции, является более поздним, чем время фотографирования, соответствующее первому параметру экспозиции, но является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0067] Optionally, the sequence of exposure parameters may further include at least one fourth exposure parameter, sorted in ascending order of photographing time. The photographing time corresponding to any one of the at least one fourth exposure parameter is later than the photographing time corresponding to the first exposure parameter, but is earlier than the photographing time corresponding to the second exposure parameter.
[0068] Опционально, поступающий свет, соответствующий параметрам экспозиции в последовательности параметров экспозиции, может последовательно увеличиваться в порядке возрастания времени фотографирования. Более конкретно, в последовательности экспозиции, поступающий свет, соответствующий первому параметру экспозиции, является наименьшим, а поступающий свет, соответствующий второму параметру экспозиции, является наибольшим. По меньшей мере один четвертый параметр экспозиции может быть установлен между первым параметром экспозиции и вторым параметром экспозиции, так что поступающий свет, соответствующий параметрам экспозиции в последовательности экспозиции, последовательно увеличивается в порядке возрастания времени фотографирования, чтобы избежать воздействия на эффект синтеза изображения, возникающего из-за относительно большой разницы между двумя последовательными кадрами в последующей процедуре обработки синтеза.[0068] Optionally, the incoming light corresponding to the exposure settings in the sequence of exposure settings can be sequentially increased in ascending order of the photographing time. More specifically, in the exposure sequence, the incoming light corresponding to the first exposure is the smallest, and the incoming light corresponding to the second exposure is the largest. At least one fourth exposure parameter can be set between the first exposure parameter and the second exposure parameter, so that the incoming light corresponding to the exposure parameters in the exposure sequence is successively increased in the ascending order of the photographing time to avoid affecting the image synthesis effect resulting from for the relatively large difference between two consecutive frames in the subsequent synthesis processing procedure.
[0069] Опционально, если среднее значение пикселя области, соответствующей второй области в изображении, которое получено с использованием самого большого параметра экспозиции мобильного терминала, все еще меньше, чем предварительно установленное второе пороговое значение пикселя, то есть яркость области недоэкспонирования все еще остается нежелательной, в этом случае мобильный терминал может добавить по меньшей мере один второй параметр экспозиции (например, второй параметр экспозиции, обозначенный пунктирными тенями на Фиг. 7) после второго параметра экспозиции, чтобы увеличить яркость области недоэкспонирования.[0069] Optionally, if the average pixel value of the area corresponding to the second area in the image, which is obtained using the largest exposure parameter of the mobile terminal, is still less than the preset second pixel threshold value, that is, the brightness of the underexposed area is still undesirable, in this case, the mobile terminal may add at least one second exposure parameter (eg, the second exposure parameter indicated by dotted shadows in FIG. 7) after the second exposure parameter to increase the brightness of the underexposed area.
[0070] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в сцене с источником света изменения в яркости пикселей в изображении являются относительно большими, и может произойти переэкспонирование или недоэкспонирование. Поэтому мобильный терминал может уменьшать яркость области переэкспонирования на основе кадра, который получен с использованием первого параметра экспозиции, и увеличивать яркость области недоэкспонирования на основе кадра, который получен с использованием второго параметра экспозиции, чтобы получить изображение с высоким динамическим диапазоном путем синтеза, так что предполагаемая яркая область изображения будет яркой, а предполагаемая темная область изображения темной, и изображение включает больше деталей.[0070] According to the photographing method provided in this embodiment of the present invention, in a light source scene, changes in brightness of pixels in an image are relatively large, and overexposure or underexposure may occur. Therefore, the mobile terminal can reduce the brightness of the overexposure area based on the frame that is obtained using the first exposure parameter and increase the brightness of the underexposed area based on the frame that is obtained using the second exposure parameter to obtain a high dynamic range image by synthesis, so that the estimated the bright area of the image will be bright, and the intended dark area of the image will be dark, and the image will include more details.
[0071] Кроме того, в режиме съемки с рук мобильный терминал недостаточно стабилен и может трястись. Следовательно, сфотографированное изображение может быть размыто из-за тряски, и множество последовательных сфотографированных кадров не может быть выровнено из-за тряски. Следовательно, продолжительность экспозиции должна быть установлена на минимально возможное значение, чтобы избежать размытия изображения из-за тряски. Кроме того, опорный параметр экспозиции должен быть установлен в самом начале последовательности экспозиции, а изображение, полученное с использованием опорного параметра экспозиции, используется для выравнивания впоследствии сфотографированных кадров.[0071] In addition, in the handheld mode, the mobile terminal is not stable enough and may shake. Therefore, the photographed image may be blurred due to shaking, and a plurality of consecutive photographed frames may not be aligned due to shaking. Therefore, the exposure time should be set to the shortest possible value to avoid image blur due to shaking. In addition, the exposure reference must be set at the very beginning of the exposure sequence, and the image obtained using the exposure reference is used to align subsequently photographed frames.
[0072] Опционально, количество параметров экспозиции, которые включены в последовательность параметров экспозиции в состоянии штатива, может быть больше, чем количество параметров экспозиции, которые включены в последовательность параметров экспозиции в состоянии съемки с рук.[0072] Optionally, the number of exposure parameters that are included in the exposure parameter string in the tripod state may be greater than the number of exposure parameters that are included in the exposure parameter string in the handheld state.
[0073] Режим фотографирования 3: режим штатива и темный режим[0073] Photo mode 3: tripod mode and dark mode
[0074] Если сцена фотографирования является темной сценой, мобильный терминал определяет, на основе среднего значения пикселя первого изображения и параметра экспозиции первого изображения, множество третьих параметров экспозиции, включенных в опорную последовательность экспозиции.[0074] If the photographing scene is a dark scene, the mobile terminal determines, based on the average pixel value of the first image and the exposure parameter of the first image, a plurality of third exposure parameters included in the exposure reference sequence.
[0075] Среднее значение пикселя кадра, полученного с использованием третьих параметров экспозиции, равно предварительно установленному третьему пороговому значению пикселя, а среднее значение пикселя первого изображения меньше или равно предварительно установленному пороговому значению пикселя.[0075] The average pixel value of the frame obtained using the third exposure parameters is equal to the preset third pixel threshold, and the average pixel value of the first image is less than or equal to the preset pixel threshold.
[0076] Если статусом фотографирования является состояние штатива, мобильный терминал определяет, что светочувствительность, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной светочувствительности.[0076] If the photographing status is the tripod state, the mobile terminal determines that the ISO included in the exposure parameters in the exposure sequence is less than or equal to the preset ISO.
[0077] Следует отметить, что в этом варианте осуществления настоящего изобретения среднее значение пикселя первого изображения можно понимать как отношение суммы значений пикселей для пикселей в первом изображении к количеству пикселей. В возможном альтернативном способе среднее значение пикселей первого изображения может быть заменено суммой значений пикселей для пикселей в первом изображении. Это не ограничено в этом варианте осуществления настоящего изобретения.[0077] It should be noted that in this embodiment of the present invention, the average pixel value of the first image can be understood as the ratio of the sum of pixel values for pixels in the first image to the number of pixels. In a possible alternative method, the average pixel value of the first image may be replaced by the sum of the pixel values for the pixels in the first image. This is not limited in this embodiment of the present invention.
[0078] Следует также отметить, что если среднее значение пикселя первого изображения меньше или равно предварительно установленному третьему пороговому значению пикселя, это указывает, что первое изображение является недоэкспонированным изображением, и яркость первого изображения необходимо увеличить.[0078] It should also be noted that if the average pixel value of the first image is less than or equal to the preset third pixel threshold value, this indicates that the first image is an underexposed image and the brightness of the first image needs to be increased.
[0079] Например, если предположить, что продолжительность экспозиции первого изображения равна 1 с, светочувствительность первого изображения равна 100, а первое изображение включает в себя шесть пикселей, значения пикселей которых равны 5, 5, 60, 80, 250 и 250, соответственно, как показано на Фиг. 5, среднее значение пикселя первого изображения составляет 108.[0079] For example, assuming that the exposure time of the first image is 1 second, the light sensitivity of the first image is 100, and the first image includes six pixels whose pixel values are 5, 5, 60, 80, 250, and 250, respectively, as shown in FIG. 5, the average pixel value of the first image is 108.
[0080] Следует понимать, что когда параметр экспозиции включает в себя продолжительность экспозиции и светочувствительность, поступающий свет, соответствующий параметру экспозиции, можно понимать как произведение продолжительности экспозиции и светочувствительности.[0080] It should be understood that when the exposure parameter includes the exposure duration and the ISO, the incoming light corresponding to the exposure parameter can be understood as the product of the exposure duration and the ISO.
[0081] Если предположить, что третье пороговое значение пикселя составляет 128, поскольку среднее значение пикселя первого изображения равно 108, и поступающий свет, соответствующий параметру экспозиции первого изображения, равен 100, можно определить, что поступающий свет, соответствующий третьему параметру экспозиции, равен 200 х 100/250=118.[0081] Assuming that the third threshold pixel value is 128, since the average pixel value of the first image is 108, and the incoming light corresponding to the exposure parameter of the first image is 100, it can be determined that the incoming light corresponding to the third exposure parameter is 200 x 100/250=118.
[0082] Когда поступающий свет одинаков, изображение с более низкой светочувствительностью имеет меньший шум изображения и лучший фотографический эффект. Мобильный терминал относительно стабилен в режиме штатива. Поэтому в режиме штатива мобильный терминал устанавливает светочувствительность в параметре экспозиции на значение, меньшее, чем предварительно установленная первая светочувствительность, и получает изображение на основе относительно меньшей светочувствительности и относительно большой продолжительности экспозиции.[0082] When the incoming light is the same, an image with a lower photosensitivity has less image noise and a better photographic effect. The mobile terminal is relatively stable in tripod mode. Therefore, in the tripod mode, the mobile terminal sets the ISO in the exposure parameter to a value smaller than the preset first ISO, and acquires an image based on the relatively lower ISO and the relatively long exposure time.
[0083] В заключение, если предположить, что предварительно установленная первая светочувствительность равна 100, продолжительность экспозиции в третьем параметре экспозиции может составлять, например, 1,2 с, и светочувствительность в третьем параметре экспозиции может составлять, например, 100.[0083] Finally, assuming that the preset first ISO is 100, the exposure time in the third exposure parameter may be, for example, 1.2 seconds, and the ISO in the third exposure parameter may be, for example, 100.
[0084] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в темной сцене свет относительно слаб, яркость изображения относительно низкая, и переэкспонирование не происходит. Поэтому мобильный терминал может увеличивать яркость области недоэкспонирования на основе кадра, который получен с использованием множества третьих параметров экспозиции, чтобы увеличить яркость изображения, так что изображение включает в себя больше деталей, тем самым улучшая фотографический эффект изображения. В состоянии штатива, когда поступающий свет одинаков, шум изображения может быть дополнительно уменьшен путем установки относительно большой продолжительности экспозиции и относительно низкой светочувствительности, чтобы улучшить фотографический эффект изображения.[0084] According to the photographing method provided in this embodiment of the present invention, in a dark scene, the light is relatively weak, the image brightness is relatively low, and overexposure does not occur. Therefore, the mobile terminal can increase the brightness of the underexposure area based on the frame that is obtained using the plurality of third exposure parameters to increase the brightness of the image so that the image includes more details, thereby improving the photographic effect of the image. In a tripod state where the incoming light is uniform, image noise can be further reduced by setting a relatively long exposure time and a relatively low ISO to improve the photographic effect of the image.
[0085] Режим фотографирования 4: режим съемки с рук и темный режим[0085] Photo mode 4: handheld mode and dark mode
[0086] Если сцена фотографирования является темной сценой, мобильный терминал определяет, на основе среднего значения пикселя первого изображения и параметра экспозиции первого изображения, множество третьих параметров экспозиции, включенных в опорную последовательность экспозиции.[0086] If the photographing scene is a dark scene, the mobile terminal determines, based on the average pixel value of the first image and the exposure parameter of the first image, a plurality of third exposure parameters included in the exposure reference sequence.
[0087] Среднее значение пикселя кадра, полученного с использованием третьих параметров экспозиции, равно предварительно установленному третьему пороговому значению пикселя, а среднее значение пикселя первого изображения меньше или равно третьему пороговому значению пикселя.[0087] The average pixel value of the frame obtained using the third exposure parameters is equal to the preset third pixel threshold, and the average pixel value of the first image is less than or equal to the third pixel threshold.
[0088] Если статусом фотографирования является состояние съемки с рук, мобильный терминал определяет, что опорная последовательность экспозиции включает в себя опорный параметр экспозиции, и продолжительность экспозиции, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной продолжительности экспозиции. Опорный параметр экспозиции представляет собой параметр экспозиции, который имеет самое раннее время фотографирования в последовательности параметров экспозиции, и поступающий свет, соответствующий опорному параметру экспозиции, равен поступающему свету, соответствующему третьему параметру экспозиции.[0088] If the photographing status is a handheld shooting state, the mobile terminal determines that the exposure reference sequence includes the exposure reference parameter, and the exposure duration included in the exposure parameters in the exposure sequence is less than or equal to the preset exposure duration. The reference exposure parameter is the exposure parameter which has the earliest photographing time in the sequence of exposure parameters, and the incoming light corresponding to the reference exposure parameter is equal to the incoming light corresponding to the third exposure parameter.
[0089] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в темной сцене свет относительно слаб, яркость изображения относительно низкая, и переэкспонирование не происходит. Поэтому мобильный терминал может увеличивать яркость области недоэкспонирования на основе кадра, который получен с использованием множества третьих параметров экспозиции, чтобы увеличить яркость изображения, так что изображение включает в себя больше деталей, тем самым улучшая фотографический эффект изображения.[0089] According to the photographing method provided in this embodiment of the present invention, in a dark scene, the light is relatively weak, the image brightness is relatively low, and overexposure does not occur. Therefore, the mobile terminal can increase the brightness of the underexposure area based on the frame that is obtained using the plurality of third exposure parameters to increase the brightness of the image so that the image includes more details, thereby improving the photographic effect of the image.
[0090] Кроме того, в режиме съемки с рук мобильный терминал недостаточно стабилен и может трястись. Следовательно, сфотографированное изображение может быть размыто из-за тряски, и множество последовательных сфотографированных кадров не может быть выровнено из-за тряски. Следовательно, продолжительность экспозиции должна быть установлена на минимально возможное значение, чтобы избежать размытия изображения из-за тряски. Кроме того, опорный параметр экспозиции должен быть установлен в самом начале последовательности экспозиции, а изображение, полученное с использованием опорного параметра экспозиции, используется для выравнивания впоследствии сфотографированных кадров.[0090] In addition, in the handheld mode, the mobile terminal is not stable enough and may shake. Therefore, the photographed image may be blurred due to shaking, and a plurality of consecutive photographed frames may not be aligned due to shaking. Therefore, the exposure time should be set to the shortest possible value to avoid image blur due to shaking. In addition, the exposure reference must be set at the very beginning of the exposure sequence, and the image obtained using the exposure reference is used to align subsequently photographed frames.
[0091] Далее описывается, как мобильный терминал выполняет обработку синтеза на основе некоторых или всех из по меньшей мере двух кадров в разных режимах фотографирования для получения целевого изображения.[0091] The following describes how the mobile terminal performs synthesis processing based on some or all of the at least two frames in different photographic modes to obtain a target image.
[0092] Режим фотографирования 1: режим штатива и режим источника света[0092] Photo mode 1: tripod mode and light source mode
[0093] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, и N является целым числом больше 1, обработка синтеза включает в себя обработку наложения пикселей и обработку смешивания кадров в режиме фотографирования 1.[0093] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes pixel overlay processing and frame mixing processing in photographing mode 1.
[0094] В частности, мобильный терминал выполняет обработку наложения пикселей для i-го кадра в N кадрах и результата обработки синтеза первых i-1 кадров, чтобы получить результат обработки наложения пикселей для первых i кадров, при этом значение i равно 2, 3, …, или N; терминальное устройство выполняет обработку смешивания кадров для i-го кадра и результата обработки наложения пикселей для первых i кадров, чтобы получить i-е возможное целевое изображение; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0094] Specifically, the mobile terminal performs pixel overlay processing for the ith frame in N frames and the synthesis processing result of the first i-1 frames to obtain the pixel overlay processing result for the first i frames, where i is 2, 3, …, or N; the terminal apparatus performs frame blending processing for the i-th frame and a pixel overlay processing result for the first i frames to obtain the i-th possible target image; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0095] Следует отметить, что когда значение i равно 2, результат обработки синтеза первого изображения может пониматься как первое возможное целевое изображение или результат обработки наложения пикселей первого изображения или 1-е изображение.[0095] It should be noted that when the value of i is 2, the first image synthesis processing result can be understood as the first possible target image or the first image pixel overlay processing result or the 1st image.
[0096] В возможной реализации то, что мобильный терминал выполняет обработку наложения пикселей для i-го кадра и результата обработки синтеза первых i-1 кадров может пониматься как то, что мобильный терминал выполняет обработку наложения пикселей для i-го кадра и результата обработки синтеза первых i-1 кадров на основе предварительно установленного первого веса результата обработки синтеза первых i-1 кадров и предварительно установленного второго веса i-го кадра. Сумма предварительно установленного первого веса и предварительно установленного второго веса больше 1, но меньше 2.[0096] In an exemplary implementation, that the mobile terminal performs pixel overlay processing for the i-th frame and the result of synthesis processing of the first i-1 frames can be understood as that the mobile terminal performs pixel overlay processing for the i-th frame and the result of synthesis processing the first i-1 frames based on the preset first weight of the synthesis processing result of the first i-1 frames and the preset second weight of the i-th frame. The sum of the preset first weight and the preset second weight is greater than 1 but less than 2.
[0097] Например, предварительно установленный первый вес равен 1, а предварительно установленный второй вес больше 0, но меньше 1; или предварительно установленный первый вес и предварительно установленный второй вес больше 0, но меньше 1.[0097] For example, the preset first weight is 1 and the preset second weight is greater than 0 but less than 1; or the preset first weight and the preset second weight are greater than 0 but less than 1.
[0098] Например, если предположить, что значение пикселя 1-го пикселя (пиксель в строке 1 и столбце 1) в 1-м кадре равно 60, предварительно установленный первый вес равен 1, значение пикселя 1-го пикселя во 2-м кадре равно 80, и предварительно установленный второй вес равен 0,4, значение пикселя 1-го пикселя в результате обработки наложения пикселей первых двух кадров, полученное после выполнения обработки наложения пикселей для 1-го кадра и 2-го кадра, составляет 60x1+80x0,4=92.[0098] For example, assuming that the pixel value of the 1st pixel (the pixel in row 1 and column 1) in the 1st frame is 60, the preset first weight is 1, the pixel value of the 1st pixel in the 2nd frame is 80, and the preset second weight is 0.4, the pixel value of the 1st pixel as a result of the pixel overlay processing of the first two frames, obtained after performing the pixel overlay processing for the 1st frame and the 2nd frame, is 60x1+80x0, 4=92.
[0099] В возможной реализации мобильный терминал определяет, согласно предварительно установленному первому правилу, вес пикселя в результате наложения пикселей первых i кадров и вес пикселя в i-м кадре, при этом предварительно установленное первое правило включает в себя следующее: Пиксель, расположенный ближе к центру яркости (например, пиксель, значение которого равно 128), имеет больший вес, а пиксель, находящийся дальше от центра яркости, имеет меньший вес; и выполняет обработку смешивания кадров для i-го кадра и результата наложения пикселей первых i кадров на основе веса пикселя в результате наложения пикселей первых i кадров и веса пикселя в i-м кадре, чтобы получить i-е возможное целевое изображение.[0099] In an exemplary implementation, the mobile terminal determines, according to a predetermined first rule, a pixel weight resulting from pixel overlap of the first i frames and a pixel weight in the i-th frame, wherein the predetermined first rule includes the following: The pixel closest to the center of brightness (for example, a pixel whose value is 128) has more weight, and a pixel farther from the center of brightness has less weight; and performs frame blending processing on the i-th frame and the pixel stacking result of the first i frames based on the pixel weight of the pixel stacking result of the first i frames and the pixel weight in the i-th frame to obtain the i-th possible target image.
[0100] В качестве другого примера, если предположить, что значение пикселя 1-го пикселя (пикселя в строке 1 и столбце 1) в результате обработки наложения пикселей первых двух кадров составляет 92, вес первого пикселя, полученный в соответствии с предварительно установленным первым правилом, в результате обработки наложения пикселей первых двух кадров равен 0,6, значение пикселя 1-го пикселя во 2-м кадре равно 80, а вес 1-го пикселя, полученный в соответствии с предварительно установленным первым правилом, во 2-м кадре равен 0.4, когда обработка смешивания кадров выполняется для 2-го кадра и результата обработки наложения пикселей первых двух кадров, веса двух кадров сначала нормализуются (0,6:0,4=3/5:2/5), а затем выполняется наложение, то есть значение пикселя 1-го пикселя во 2-м возможном целевом кадре составляет 3/5x92+2/5x80=87,2.[0100] As another example, assuming that the pixel value of the 1st pixel (the pixel in row 1 and column 1) as a result of the pixel overlay processing of the first two frames is 92, the weight of the first pixel obtained in accordance with the preset first rule , as a result of the pixel overlay processing of the first two frames is 0.6, the pixel value of the 1st pixel in the 2nd frame is 80, and the weight of the 1st pixel obtained according to the preset first rule in the 2nd frame is 0.4, when frame blending processing is performed on the 2nd frame and the pixel blending processing result of the first two frames, the weights of the two frames are first normalized (0.6:0.4=3/5:2/5) and then blending is performed, then there is a pixel value of the 1st pixel in the 2nd possible target frame is 3/5x92+2/5x80=87.2.
[0101] Другими словами, мобильный терминал сначала выполняет обработку наложения пикселей для i-го кадра в N кадрах и результата обработки синтеза первых i-1 кадров, чтобы улучшить яркость изображения; и затем выполняет обработку смешивания кадров для i-го кадра и результата обработки наложения первых i кадров, так что все области во всем изображении приближаются к центру яркости. Наконец, улучшается динамический диапазон изображения, полученного после синтеза, и улучшается фотографический эффект изображения.[0101] In other words, the mobile terminal first performs pixel overlay processing for the i-th frame in N frames and the result of the synthesis processing of the first i-1 frames to improve image brightness; and then performs frame blending processing on the i'th frame and the result of the first i frames' overlay processing so that all areas in the entire image approach the brightness center. Finally, the dynamic range of the post-synthesis image is improved and the photographic effect of the image is improved.
[0102] Следует отметить, что в вышеприведенных примерах процедура обработки наложения пикселей и процедура обработки смешивания кадров описываются с использованием пикселей в соответствующих местах в 1-м кадре и 2-м кадре. Процедура обработки пикселей в соответствующих местах в двух кадрах аналогична описанным выше процедурам. Чтобы избежать повторов, подробности здесь снова не приводятся.[0102] It should be noted that in the above examples, the pixel overlay processing procedure and the frame blending processing procedure are described using pixels at respective locations in the 1st frame and the 2nd frame. The procedure for processing pixels at respective locations in two frames is similar to the procedures described above. To avoid repetition, details are again omitted here.
[0103] Опционально, если мобильный терминал не обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал выполняет обработку синтеза для (i+1)-го кадра в N кадрах и результата синтеза первых i кадров для получения (i+1)-го возможного целевого изображения; и мобильный терминал отображает (i+1)-е возможное целевое изображение и вторую информацию с подсказкой для пользователя, используя интерфейс отображения.[0103] Optionally, if the mobile terminal does not detect within the preset first duration a synthesis processing completion instruction that is input by the user based on the second prompt information, the mobile terminal performs synthesis processing for the (i+1)th frame in N frames and the result synthesizing the first i frames to obtain the (i+1)th possible target image; and the mobile terminal displays the (i+1)th candidate target image and the second user prompt information using the display interface.
[0104] Опционально, если мобильный терминал не принимает в пределах предварительно установленной первой продолжительности после отображения N-го возможного целевого изображения пользователю с помощью интерфейса отображения инструкцию завершения обработки синтеза, которую вводит пользователь, мобильный терминал определяет N-е возможное целевое изображение в качестве целевого изображения.[0104] Optionally, if the mobile terminal does not receive, within a predetermined first duration, after displaying the Nth possible target image to the user via the display interface, the synthesis processing completion instruction that the user inputs, the mobile terminal determines the Nth possible target image as the target Images.
[0105] Другими словами, в процедуре последовательного выполнения мобильным терминалом обработки синтеза по меньшей мере для двух кадров, каждый раз, когда выполняется синтез, результат обработки синтеза отображается пользователю с использованием интерфейса отображения, и пользователю предлагается выводить или не выводить результат синтеза в качестве целевого изображения; и если инструкция завершения обработки синтеза от пользователя обнаружена в пределах предварительно установленной первой продолжительности после того, как пользователю сделана подсказка, результат синтеза, полученный на этот раз, выводится как целевое изображение; в противном случае синтез продолжается для следующего изображения, пока не будет завершен последний синтез.[0105] In other words, in the procedure for the mobile terminal to sequentially perform synthesis processing for at least two frames, each time synthesis is performed, the synthesis processing result is displayed to the user using the display interface, and the user is prompted to output or not output the synthesis result as a target. Images; and if a synthesis processing termination instruction from the user is detected within a predetermined first duration after the user is prompted, the synthesis result obtained this time is output as the target image; otherwise, synthesis continues for the next image until the last synthesis is completed.
[0106] Опционально, до того, как мобильный терминал выполнит обработку синтеза для 1-го кадра и 2-го кадра, мобильный терминал может отображать 1-й кадр пользователю с помощью интерфейса отображения; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет 1-й кадр как целевое изображение; или если мобильный терминал не обнаруживает инструкцию завершения обработки синтеза в пределах предварительно установленной первой продолжительности, мобильный терминал выполняет обработку синтеза для 1-го кадра и 2-го кадра.[0106] Optionally, before the mobile terminal performs the synthesis processing for the 1st frame and the 2nd frame, the mobile terminal may display the 1st frame to the user with the display interface; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the 1st frame as the target image; or if the mobile terminal does not detect a synthesis processing completion instruction within a preset first duration, the mobile terminal performs synthesis processing for the 1st frame and the 2nd frame.
[0107] Режим фотографирования 2: режим съемки с рук и режим источника света[0107] Photo mode 2: handheld mode and light source mode
[0108] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, а N является целым числом больше 1, обработка синтеза включает в себя обработку регистрации кадров, обработку наложения пикселей и обработку смешивания кадров в режиме фотографирования 1.[0108] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes frame registration processing, pixel overlay processing, and frame blending processing in photograph mode 1 .
[0109] В частности, мобильный терминал выполняет обработку регистрации кадров для i-го кадра в N кадрах на основе кадра, который получен с помощью опорного параметра экспозиции, для получения i-го результата обработки регистрации кадров; терминальное устройство выполняет обработку наложения пикселей для i-го результата обработки регистрации кадров и результата обработки синтеза для первых i-1 кадров, чтобы получить i-й результат обработки наложения пикселей, при этом значение i равно 2, 3, …, или N; терминальное устройство выполняет обработку смешивания кадров для i-го результата обработки наложения пикселей и i-го кадра, чтобы получить i-е возможное целевое изображение; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0109] Specifically, the mobile terminal performs frame registration processing for the i-th frame in N frames based on the frame that is acquired by the reference exposure parameter to obtain the i-th frame registration processing result; the terminal apparatus performs pixel overlay processing on the i-th frame registration processing result and the synthesis processing result on the first i-1 frames to obtain the i-th pixel overlay processing result, where i is 2, 3, ..., or N; the terminal apparatus performs frame mixing processing on the i-th pixel overlay processing result and the i-th frame to obtain the i-th possible target image; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0110] Следует отметить, что разница между режимом фотографирования 2 и режимом фотографирования 1 заключается в следующем: В режиме фотографирования 2 мобильный терминал находится в состоянии съемки с рук; поэтому, перед тем как синтезировать каждый кадр, должна быть выполнена обработка регистрации кадров для данного кадра и опорного кадра, который получен с использованием опорного параметра экспозиции, чтобы избежать межкадрового дрожания, вызванного состоянием съемки с рук, то есть, все кадры, кроме опорного кадра, необходимо выровнять с опорным кадром.[0110] It should be noted that the difference between the photographing mode 2 and the photographing mode 1 is as follows: In the photographing mode 2, the mobile terminal is in a handheld shooting state; therefore, before synthesizing each frame, frame registration processing must be performed for this frame and the key frame which is obtained using the reference exposure parameter to avoid inter-frame jitter caused by the handheld state, i.e., all frames except the key frame , must be aligned with the reference frame.
[0111] Кроме того, после обработки регистрации кадров может иметься невыровненная краевая область. Результат обработки регистрации кадров может быть обрезан или увеличен для удаления невыровненной краевой области.[0111] In addition, after frame registration processing, there may be an unaligned edge region. The result of the frame registration processing may be cropped or enlarged to remove the unaligned edge region.
[0112] В частности, регистрация кадров может быть выполнена с использованием способа регистрации кадров, известного из предшествующего уровня техники. Это не ограничено в этом варианте осуществления настоящего изобретения.[0112] In particular, frame registration can be performed using a frame registration method known from the prior art. This is not limited in this embodiment of the present invention.
[0113] Опционально, поскольку в состоянии съемки с рук могут происходить дрожание и размытие, для каждого кадра может быть произведено увеличение резкости в процедуре обработки синтеза, чтобы улучшить четкость изображения.[0113] Optionally, since jitter and blur may occur in the handheld state, sharpening may be performed for each frame in the synthesis processing procedure to improve image clarity.
[0114] Следует понимать, что процедура обработки наложения пикселей и процедура обработки смешивания кадров в режиме фотографирования 2 идентичны процедуре обработки наложения пикселей в режиме фотографирования 1. Для получения подробной информации см. режим фотографирования 1. Чтобы избежать повторов, подробности здесь снова не приводятся.[0114] It should be understood that the pixel overlay processing procedure and the frame blending processing procedure in photograph mode 2 are identical to the pixel overlay processing procedure in photograph mode 1. For details, see photograph mode 1. To avoid repetition, details are omitted here again.
[0115] Режим фотографирования 3: режим штатива и темный режим[0115] Photo mode 3: tripod mode and dark mode
[0116] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, а N является целым числом больше 1, обработка синтеза включает в себя обработку наложения пикселей в режиме фотографирования 1.[0116] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes pixel overlay processing in photographing mode 1.
[0117] В частности, мобильный терминал выполняет обработку наложения пикселей для i-го кадра в N кадрах и результата обработки синтеза первых i-1 кадров, чтобы получить i-е возможное целевое изображение, при этом значение i равно 2, 3, …, или N; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0117] Specifically, the mobile terminal performs pixel overlay processing for the i-th frame in N frames and the result of the synthesis processing of the first i-1 frames to obtain the i-th possible target image, where the value of i is 2, 3, ..., or N; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0118] Следует понимать, что процедура обработки наложения пикселей в режиме фотографирования 3 аналогична процедуре обработки наложения пикселей в режиме фотографирования 1. Для получения подробной информации см. режим фотографирования 1. Чтобы избежать повторов, подробности здесь снова не приводятся.[0118] It should be understood that the procedure for pixel overlay processing in photograph mode 3 is the same as that for pixel overlay processing in photograph mode 1. For details, see photograph mode 1. To avoid repetition, details are omitted here again.
[0119] Режим фотографирования 4: режим съемки с рук и темный режим[0119] Photo mode 4: handheld mode and dark mode
[0120] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, а N является целым числом больше 1, обработка синтеза включает в себя обработку регистрации кадров и обработку наложения пикселей в режиме фотографирования 1.[0120] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes frame registration processing and pixel overlay processing in photographing mode 1.
[0121] В частности, терминальное устройство выполняет обработку регистрации кадров для i-го кадр в N кадрах на основе кадра, который получен с использованием опорного параметра экспозиции, для получения i-го результата обработки регистрации кадров; мобильный терминал выполняет обработку наложения пикселей для i-го результата обработки регистрации кадров и результата обработки синтеза первых i-1 кадров, чтобы получить i-е возможное целевое изображение, при этом значение i равно 2, 3, …, или N; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0121] Specifically, the terminal device performs frame registration processing for the i-th frame in N frames based on the frame that is obtained using the reference exposure parameter to obtain the i-th frame registration processing result; the mobile terminal performs pixel overlay processing on the i-th frame registration processing result and the first i-1 frame synthesis processing result to obtain the i-th candidate target image, where i is 2, 3, ..., or N; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0122] Следует понимать, что процедура обработки регистрации кадров и процедура обработки наложения пикселей в режиме фотографирования 3 идентичны процедуре обработки наложения пикселей в режиме фотографирования 1. Для получения подробной информации см. режим фотографирования 1. Чтобы избежать повторов, подробности здесь снова не приводятся.[0122] It should be understood that the frame registration processing procedure and the pixel overlay processing procedure in photograph mode 3 are identical to the pixel overlay processing procedure in photograph mode 1. For details, see photograph mode 1. To avoid repetition, details are omitted here again.
[0123] Опционально, в процедуре фотографирования на этапах S210-S250 мобильный терминал может дополнительно отображать пользователю с помощью интерфейса отображения обратный отсчет фотографирования, показанный на Фиг. 10. Таймер фотографирования используется для указания пользователю оставшегося времени для обработки изображения в процедуре фотографирования.[0123] Optionally, in the photographing procedure in steps S210-S250, the mobile terminal may further display the photographing countdown shown in FIG. 10. The photo timer is used to indicate to the user the remaining time for image processing in the photo procedure.
[0124] В возможной реализации перед этапом S240 мобильный терминал может отображать по меньшей мере два изображения для пользователя с помощью интерфейса отображения и обнаруживать инструкцию выбора изображения, которая вводится пользователем на основе по меньшей мере двух изображений, при этом инструкция выбора изображения используется для указания множества изображений, которые выбираются пользователем из по меньшей мере двух изображений. Соответственно, на этапе S240 мобильный терминал может выполнять обработку синтеза для множества кадров на основе инструкции выбора обнаруженного изображения, чтобы получить целевое изображение.[0124] In an exemplary implementation, before step S240, the mobile terminal may display at least two images to the user with the display interface, and detect an image selection instruction that is input by the user based on at least two images, wherein the image selection instruction is used to specify a plurality images that are selected by the user from at least two images. Accordingly, in step S240, the mobile terminal may perform synthesis processing for a plurality of frames based on the detected image selection instruction to obtain a target image.
[0125] Опционально, то, что мобильный терминал выводит целевое изображение, можно понимать как то, что мобильный терминал может использовать целевое изображение в качестве изображения, которое будет окончательно сохранено в галерее после текущего фотографирования. Другими словами, мобильный терминал может сохранять целевое изображение в памяти.[0125] Optionally, that the mobile terminal outputs the target image can be understood as that the mobile terminal can use the target image as an image to be finally stored in the gallery after the current photograph. In other words, the mobile terminal may store the target image in memory.
[0126] Согласно второму аспекту настоящее изобретение предоставляет устройство для фотографирования, включающее в себя блоки, сконфигурированные с возможностью выполнения этапов способа фотографирования согласно первому аспекту и реализациям первого аспекта.[0126] According to a second aspect, the present invention provides a photographing apparatus including units configured to perform the steps of a photographing method according to the first aspect and implementations of the first aspect.
[0127] Согласно третьему аспекту настоящее изобретение предоставляет компьютерный программный продукт, причем компьютерный программный продукт включает в себя компьютерную программу (которая также может называться кодом или инструкцией), и когда компьютерная программа запускается, компьютер получает возможность выполнять способ фотографирования в соответствии с первым аспектом и реализациями первого аспекта.[0127] According to a third aspect, the present invention provides a computer program product, wherein the computer program product includes a computer program (which may also be referred to as code or instruction), and when the computer program is started, the computer is enabled to perform the photographing method according to the first aspect, and realizations of the first aspect.
[0128] Согласно четвертому аспекту настоящее изобретение предоставляет компьютерно-читаемый носитель, при этом компьютерно-читаемый носитель хранит компьютерную программу (которая также может называться кодом или инструкцией), и когда компьютерная программа выполняется на компьютере, компьютер имеет возможность выполнять способ фотографирования согласно первому аспекту и реализациям первого аспекта.[0128] According to a fourth aspect, the present invention provides a computer-readable medium, wherein the computer-readable medium stores a computer program (which may also be referred to as code or instructions), and when the computer program is executed on the computer, the computer is able to perform the photographing method according to the first aspect. and implementations of the first aspect.
[0129] Согласно пятому аспекту настоящее изобретение предоставляет систему микросхем, включая память и процессор, при этом память сконфигурирована с возможностью хранения компьютерной программы, а процессор сконфигурирован с возможностью вызова компьютерной программы из памяти и выполнения компьютерной программы, так что устройство, на котором установлена система микросхем, выполняет способ фотографирования согласно первому аспекту и реализациям первого аспекта.[0129] According to a fifth aspect, the present invention provides a chip system including a memory and a processor, wherein the memory is configured to store a computer program, and the processor is configured to recall the computer program from the memory and execute the computer program, such that a device on which the system is installed chips, performs the photographing method according to the first aspect and implementations of the first aspect.
[0130] В соответствии с шестым аспектом настоящее изобретение предоставляет мобильный терминал, при этом мобильный терминал включает в себя процессор, память и компьютерную программу, которая хранится в памяти и может выполняться на процессоре, и когда компьютерная программа выполняется в процессоре, выполняется способ фотографирования согласно первому аспекту и реализациям первого аспекта.[0130] According to a sixth aspect, the present invention provides a mobile terminal, wherein the mobile terminal includes a processor, a memory, and a computer program that is stored in the memory and can be executed on the processor, and when the computer program is executed on the processor, a photographing method according to the first aspect and implementations of the first aspect.
[0131] Мобильный терминал может получать данные датчика с помощью датчика и предоставлять пользователю интерфейс отображения с помощью экрана дисплея.[0131] The mobile terminal may acquire sensor data using the sensor and provide a display interface to the user using the display screen.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
[0132] Фиг. 1 - нечеткое изображение, возникающее в результате встряхивания, согласно варианту осуществления настоящего изобретения;[0132] FIG. 1 is a fuzzy image resulting from shaking according to an embodiment of the present invention;
[0133] Фиг. 2 - недоэкспонированное изображение согласно варианту осуществления настоящего изобретения;[0133] FIG. 2 is an underexposed image according to an embodiment of the present invention;
[0134] Фиг. 3 - схематическое изображение примера мобильного терминала, к которому применим способ фотографирования согласно варианту осуществления настоящего изобретения;[0134] FIG. 3 is a schematic diagram of an example of a mobile terminal to which the photographing method according to an embodiment of the present invention is applicable;
[0135] Фиг. 4 - схематическая блок-схема способа фотографирования согласно варианту осуществления настоящего изобретения;[0135] FIG. 4 is a schematic flowchart of a photographing method according to an embodiment of the present invention;
[0136] Фиг. 5 - схематическое изображение пикселей в первом изображении согласно варианту осуществления настоящего изобретения;[0136] FIG. 5 is a schematic representation of pixels in a first image according to an embodiment of the present invention;
[0137] Фиг. 6 - схематическое изображение последовательности параметров экспозиции в режиме фотографирования 1 согласно варианту осуществления настоящего изобретения;[0137] FIG. 6 is a schematic view of the sequence of exposure parameters in photograph mode 1 according to an embodiment of the present invention;
[0138] Фиг. 7 - схематическое изображение последовательности параметров экспозиции в режиме фотографирования 2 согласно варианту осуществления настоящего изобретения;[0138] FIG. 7 is a schematic view of the sequence of exposure parameters in photograph mode 2 according to an embodiment of the present invention;
[0139] Фиг. 8 - схематическое изображение последовательности параметров экспозиции в режиме фотографирования 3 согласно варианту осуществления настоящего изобретения;[0139] FIG. 8 is a schematic view of the sequence of exposure parameters in photograph mode 3 according to an embodiment of the present invention;
[0140] Фиг. 9 - схематическое изображение последовательности параметров экспозиции в режиме фотографирования 4 согласно варианту осуществления настоящего изобретения;[0140] FIG. 9 is a schematic representation of the sequence of exposure parameters in photograph mode 4 according to an embodiment of the present invention;
[0141] Фиг. 10 - схематическое изображение интерфейса предварительного просмотра согласно варианту осуществления настоящего изобретения;[0141] FIG. 10 is a schematic representation of a preview interface according to an embodiment of the present invention;
[0142] Фиг. 11 - схематическое изображение другого интерфейса предварительного просмотра согласно варианту осуществления настоящего изобретения;[0142] FIG. 11 is a schematic view of another preview interface according to an embodiment of the present invention;
[0143] Фиг. 12 - схематическое изображение интерфейса отображения первой информации с подсказкой согласно варианту осуществления настоящего изобретения;[0143] FIG. 12 is a schematic view of a first prompt information display interface according to an embodiment of the present invention;
[0144] Фиг. 13 - схематическое изображение интерфейса отображения в процессе фотографирования согласно варианту осуществления настоящего изобретения;[0144] FIG. 13 is a schematic view of a display interface in a photographing process according to an embodiment of the present invention;
[0145] Фиг. 14 - схематическое изображение другого интерфейса отображения в процессе фотографирования согласно варианту осуществления настоящего изобретения;[0145] FIG. 14 is a schematic view of another display interface in a photographing process according to an embodiment of the present invention;
[0146] Фиг. 15 - схематическое изображение еще одного интерфейса отображения в процессе фотографирования согласно варианту осуществления настоящего изобретения;[0146] FIG. 15 is a schematic view of another display interface in a photographing process according to an embodiment of the present invention;
[0147] Фиг. 16 - схематическое изображение еще одного интерфейса отображения в процессе фотографирования согласно варианту осуществления настоящего изобретения;[0147] FIG. 16 is a schematic view of another display interface in a photographing process according to an embodiment of the present invention;
[0148] Фиг. 17 - схематическое изображение интерфейса отображения второй информации с подсказками согласно варианту осуществления настоящего изобретения;[0148] FIG. 17 is a schematic view of a second prompt information display interface according to an embodiment of the present invention;
[0149] Фиг. 18 - схематическое изображение архитектуры системы согласно варианту осуществления настоящего изобретения; и[0149] FIG. 18 is a schematic diagram of a system architecture according to an embodiment of the present invention; and
[0150] Фиг. 19 - схематическая блок-схема устройства для фотографирования согласно варианту осуществления настоящего изобретения.[0150] FIG. 19 is a schematic block diagram of a photographing apparatus according to an embodiment of the present invention.
Описание вариантов осуществленияDescription of Embodiments
[0151] Технические решения согласно настоящем изобретении описаны ниже со ссылкой на сопроводительные чертежи.[0151] Technical solutions according to the present invention are described below with reference to the accompanying drawings.
[0152] Способ фотографирования в настоящем изобретении может быть применен к мобильному терминалу. Мобильный терминал также может называться терминальным устройством, пользовательским оборудованием (UE), терминалом доступа, абонентским устройством, абонентской станцией, мобильной станцией, мобильной консолью, удаленной станцией, удаленным терминалом, мобильным устройством, пользовательским терминалом, терминалом, устройством беспроводной связи, пользовательским агентом или пользовательским устройством. Мобильный терминал может быть станцией (ST) в WLAN; или может быть сотовым телефоном, беспроводным телефоном, телефоном с протоколом инициирования сеанса (SIP), станцией беспроводной локальной сети (WLL), устройством персонального цифрового помощника (PDA), портативным устройством с функцией беспроводной связи, вычислительным устройством или другим устройством обработки данных, подключенным к беспроводному модему, автомобильным устройством, Интернет-терминалом транспортного средства, компьютером, переносным компьютером, портативным устройством связи, портативным вычислительным устройством, устройством спутниковой радиосвязи, картой беспроводного модема, телевизионной приставкой (STB), оборудованием в помещении клиента (CPE) и/или другим устройством, сконфигурированным с возможностью осуществления связи в беспроводной системе, или мобильным терминалом в системе связи следующего поколения, такой как сеть 5G, или мобильным терминалом в будущей развитой сети наземной мобильной связи общего пользования (PLMN) и т.п.[0152] The photographing method in the present invention can be applied to a mobile terminal. A mobile terminal may also be referred to as a terminal device, user equipment (UE), access terminal, user equipment, subscriber station, mobile station, mobile console, remote station, remote terminal, mobile device, user terminal, terminal, wireless communications device, user agent, or user device. The mobile terminal may be a station (ST) in a WLAN; or may be a cellular phone, cordless phone, session initiation protocol (SIP) phone, wireless LAN station (WLL), personal digital assistant (PDA) device, wireless capable handheld device, computing device, or other data processing device connected to to a wireless modem, vehicle device, vehicle Internet terminal, computer, laptop, portable communication device, laptop computing device, satellite radio device, wireless modem card, set top box (STB), customer premises equipment (CPE), and/or another device configured to communicate in a wireless system, or a mobile terminal in a next generation communication system such as a 5G network, or a mobile terminal in a future evolved public land mobile network (PLMN), or the like.
[0153] В качестве примера, но не ограничения, в вариантах осуществления настоящего изобретения мобильный терминал альтернативно может быть носимым устройством. Носимое устройство также может называться носимым интеллектуальным устройством. Носимое интеллектуальное устройство - это собирательное название носимых устройств, таких как очки, перчатки, часы, одежда и обувь, полученных в результате интеллектуального проектирования и разработки повседневных носимых устройств с использованием носимых технологий. Носимое устройство - это портативное устройство, которое надевается непосредственно на тело человека или интегрируется с одеждой или украшениями пользователя. Носимое устройство - это не просто аппаратное устройство, оно дополнительно реализует мощную функцию за счет поддержки программного обеспечения, обмена данными и взаимодействия через облако. В широком смысле носимое интеллектуальное устройство включает в себя устройство, которое обеспечивает полную функцию, имеет большой размер и может реализовывать все или некоторые функции, не полагаясь на смартфон, например, умные часы или умные очки; и включает в себя устройство, ориентированное только на определенный тип приложения и которое необходимо использовать в сочетании с другим устройством, таким как смартфон, например, различные умные браслеты и умные украшения, используемые для мониторинга показателей жизнедеятельности.[0153] By way of example, and not limitation, in embodiments of the present invention, the mobile terminal may alternatively be a wearable device. A wearable device may also be referred to as a wearable smart device. Wearable smart device is the collective name for wearable devices such as glasses, gloves, watches, clothes and shoes resulting from the intelligent design and development of everyday wearable devices using wearable technology. A wearable device is a portable device that is worn directly on a person's body or integrated with the wearer's clothing or jewelry. A wearable device is not just a hardware device, it further realizes a powerful function through software support, data sharing and cloud interaction. In a broad sense, a wearable smart device includes a device that provides a complete function, is large in size, and can realize all or some of the functions without relying on a smart phone, such as a smart watch or smart glasses; and includes a device that only targets a certain type of application and needs to be used in conjunction with another device such as a smartphone, such as various smart bracelets and smart jewelry used for vital sign monitoring.
[0154] Фиг. 3 показывает пример архитектуры мобильного терминала согласно варианту осуществления настоящего изобретения. Как показано на Фиг. 3 мобильный терминал 100 может включать в себя следующие компоненты.[0154] FIG. 3 shows an example of a mobile terminal architecture according to an embodiment of the present invention. As shown in FIG. 3,
[0155] A. RF схема 110[0155]
[0156] RF-схема 110 может быть сконфигурирована с возможностью приема или отправки сигнала в процессе приема/отправки информации или в процессе вызова, и, в частности, для приема информации нисходящей линии связи от базовой станции и отправки информации нисходящей линии связи в процессор 180 для обработки; и отправки предназначенных данных восходящей линии связи на базовую станцию. Обычно RF-схема включает в себя, но не ограничивается этим, антенну, по меньшей мере, один усилитель, приемопередатчик, блок сопряжения, LNA (малошумящий усилитель), дуплексор и т.п. Кроме того, RF-схема 110 может дополнительно связываться с сетью и другим устройством посредством радиосвязи. Для радиосвязи может использоваться любой стандарт или протокол связи, включая, помимо прочего, беспроводную локальную сеть (WLAN), систему глобальной системы мобильной связи (GSM), систему множественного доступа с кодовым разделением каналов (CDMA), систему широкополосного множественного доступа с кодовым разделением каналов (WCDMA), систему общей службы пакетной радиосвязи (GPRS), систему долгосрочного развития (LTE), систему дуплексной связи с частотным разделением (FDD) LTE, систему дуплексной связи с временным разделением (TDD) LTE, универсальную систему мобильной связи (UMTS), всемирную систему связи для микроволнового доступа (WiMAX), систему будущего 5-го поколения (5G), новую систему радиосвязи (NR) и т.п.[0156] The
[0157] B. Память 120[0157]
[0158] Память 120 может быть сконфигурирована с возможностью хранения программы и модуля программного обеспечения. Процессор 180 запускает программу и модуль программного обеспечения, которые хранятся в памяти 120, для выполнения различных функций приложений и обработки данных мобильного терминала 100. Память 120 может в целом включать в себя область хранения программ и область хранения данных. Область хранения программ может хранить операционную систему, прикладную программу, требуемую по меньшей мере для одной функции (такой как функция воспроизведения звука или функция воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и телефонная книга), которые создаются на основе использования мобильного терминала 100 и т.п. Кроме того, память 120 может включать в себя высокоскоростную память с произвольным доступом и может дополнительно включать в себя энергонезависимую память, например, по меньшей мере, одно устройство хранения на магнитном диске, устройство флэш-памяти или другое энергозависимое твердотельное устройство хранения.[0158] The
[0159] C. Другое устройство ввода 130[0159] C.
[0160] Другое устройство 130 ввода может быть сконфигурировано с возможностью приема введенной цифровой или символьной информации и генерирования входных сигналов клавиш, которые связаны с пользовательскими настройками и управлением функциями мобильного терминала 100. В частности, другое устройство 130 ввода может включать в себя, помимо прочего, одну или несколько физических клавиатур, функциональную клавишу (например, клавишу регулировки громкости или клавишу включения/выключения), трекбол, мышь, джойстик, оптическую мышь (при этом оптическая мышь представляет собой сенсорную поверхность, которая не отображает визуальный вывод, или является продолжением сенсорной поверхности, образованной сенсорным экраном) и т.п. Другое устройство 130 ввода подключено к контроллеру 171 другого устройства ввода подсистемы 170 ввода-вывода и выполняет обмен сигналами с процессором 180 под управлением контроллера 171 другого устройства ввода.[0160] The
[0161] D. Экран дисплея 140[0161]
[0162] Экран 140 дисплея может быть сконфигурирован с возможностью отображения информации, введенной пользователем, или информации, предоставленной пользователю, и различных меню мобильного терминала 100; и может дополнительно получать вводимые пользователем данные. В частности, экран 140 дисплея может включать в себя панель 141 дисплея и сенсорную панель 142. Панель 141 дисплея может быть сконфигурирована в виде жидкокристаллического дисплея (Liquid Crystal Display, LCD), органического светодиода (Organic Light-Emitting Diode, OLED) или тому подобного. Сенсорная панель 142 также называется сенсорным экраном, сенсорно-чувствительным экраном и т.п. и может собирать данные о касании или отсутствии прикосновения пользователя к сенсорной панели 142 или вокруг нее (например, операции, выполняемые на сенсорной панели 142 или вокруг нее пользователем с помощью любого подходящего предмета или аксессуара, такого как палец или стилус, при этом операция может также включать в себя операцию определения движения, и операция включает в себя такие типы операций, как операция одноточечного управления и операция многоточечного управления), и управлять соответствующим соединительным устройством с использованием предварительно установленной программы. Опционально сенсорная панель 142 может включать в себя две части: устройство обнаружения касания и сенсорный контроллер. Устройство обнаружения касания определяет ориентацию касания и жест пользователя, обнаруживает сигнал, возникающий в результате операции касания, и передает сигнал на сенсорный контроллер. Контроллер касания принимает информацию касания от устройства обнаружения касания, преобразует информацию касания в информацию, которая может быть обработана процессором 180, и отправляет преобразованную информацию процессору 180. Кроме того, сенсорный контроллер может принимать команду, отправленную процессором 180, а затем выполнять эту команду. Кроме того, сенсорная панель 142 может быть реализована во множестве типов, таких как резистивный тип, емкостной тип, инфракрасный тип и поверхностная акустическая волна; или сенсорная панель 142 может быть реализована с использованием любой технологии, которая будет разработана в будущем. Кроме того, сенсорная панель 142 может закрывать панель 141 дисплея. Пользователь может выполнять на основе контента (при этом контент включает в себя, помимо прочего, программную клавиатуру, виртуальную мышь, виртуальную клавишу, значок и т.п.), отображаемого на панели 141 дисплея, операцию на или вокруг сенсорной панели 142, закрывающей панель 141 дисплея. После обнаружения операции на сенсорной панели 142 или рядом с ней сенсорная панель 142 передает, используя подсистему 170 ввода-вывода, информацию об операции в процессор 180 для определения пользовательского ввода. Затем процессор 180 обеспечивает, используя подсистему 170 ввода-вывода, соответствующий визуальный вывод на панели 141 дисплея на основе пользовательского ввода. На Фиг. 1, сенсорная панель 142 и панель 141 дисплея являются двумя независимыми компонентами для реализации функций ввода и вывода мобильного терминала 100. Однако в некоторых вариантах осуществления сенсорная панель 142 и панель 141 дисплея могут быть объединены для реализации функций ввода и вывода мобильного терминала 100.[0162] The
[0163] E. Датчик 150[0163] E. Sensor 150
[0164] Может иметься один или несколько типов датчиков 150. Например, датчики 150 могут включать в себя датчики света, датчики движения и другие датчики.[0164] There may be one or more types of sensors 150. For example, sensors 150 may include light sensors, motion sensors, and other sensors.
[0165] В частности, датчики света могут включать в себя датчики внешней освещенности и датчики приближения. Датчик окружающего света может регулировать яркость панели 141 дисплея на основе интенсивности окружающего света. Когда мобильный терминал 100 перемещается и приближается к уху, датчик приближения может выключить панель 141 дисплея и/или подсветку.[0165] In particular, light sensors may include ambient light sensors and proximity sensors. The ambient light sensor may adjust the brightness of the
[0166] В качестве датчика движения датчик ускорения может определять значение ускорения в различных направлениях (обычно по трем осям) и может обнаруживать значение и направление силы тяжести, когда мобильный терминал неподвижен. Датчик ускорения может использоваться для приложения (например, переключение экрана между портретным режимом и ландшафтным режимом, связанная игра или калибровка положения магнитометра) для распознавания положения мобильного терминала, функции (например, шагомера или нажатие клавиши), относящейся к распознаванию вибрации, и тому подобное.[0166] As a motion sensor, the acceleration sensor can detect an acceleration value in various directions (typically three axes), and can detect the value and direction of gravity when the mobile terminal is stationary. The acceleration sensor can be used for an application (for example, switching the screen between portrait mode and landscape mode, a related game or magnetometer position calibration) to recognize the position of the mobile terminal, a function (for example, a pedometer or a keystroke) related to vibration recognition, and the like.
[0167] Кроме того, мобильный терминал 100 может быть дополнительно оснащен другим датчиком, таким как датчик силы тяжести (который также может упоминаться как датчик силы тяжести), гироскоп, барометр, гигрометр, термометр или инфракрасный датчик. Подробности не описаны здесь снова.[0167] In addition, the
[0168] F. Схема звуковой частоты 160, динамик 161 и микрофон 162[0168] F.
[0169] Между пользователем и мобильным терминалом 100 может быть предусмотрен аудиоинтерфейс. Схема 160 звуковой частоты может передавать на динамик 161 сигнал, который преобразован из принятых звуковых данных. Динамик 161 преобразовывает сигнал в звуковой сигнал и выводит звуковой сигнал. Кроме того, микрофон 162 преобразует собранный звуковой сигнал в сигнал; и схема 160 звуковой частоты принимает этот сигнал, преобразует сигнал в аудиоданные, а затем выводит аудиоданные в RF-схему 108 для отправки, например, на другой мобильный терминал, или выводит аудиоданные в память 120 для дальнейшей обработки.[0169] An audio interface may be provided between the user and the
[0170] Подсистема ввода-вывода 170[0170] I/
[0171] Подсистема 170 ввода/вывода сконфигурирована с возможностью управления внешними устройствами ввода/вывода и может включать в себя контроллер 171 другого устройства ввода, контроллер 172 датчика и контроллер 173 дисплея. Опционально, один или несколько контроллеров 171 другого устройства ввода принимают сигнал от другого устройства 130 ввода и/или отправляют сигнал другому устройству 130 ввода. Другое устройство 130 ввода может включать в себя физическую кнопку (такую как нажимная кнопка или качающаяся кнопка), панель набора номера, ползунковый переключатель, джойстик, колесико управления или оптическую мышь (при этом оптическая мышь является сенсорной поверхностью, которая не отображает визуальный вывод или является продолжением сенсорной поверхности, образованной сенсорным экраном). Стоит отметить, что контроллер 171 другого устройства ввода может быть подключен к любому одному или нескольким из вышеупомянутых устройств. Контроллер 173 дисплея в подсистеме 170 ввода-вывода принимает сигнал с экрана 140 дисплея и/или отправляет сигнал на экран 140 дисплея. После того как экран 140 дисплея обнаруживает ввод пользователя, контроллер 173 дисплея преобразует обнаруженный ввод пользователя во взаимодействие с объектом пользовательского интерфейса, который отображается на экране 140 дисплея, чтобы реализовать взаимодействие человека с машиной. Контроллер 172 датчиков может принимать сигнал от одного или нескольких датчиков 150 и/или отправлять сигнал одному или нескольким датчикам 150.[0171] The input/
[0172] H. Процессор 180[0172]
[0173] Процессор 180 является центром управления мобильного терминала 100, соединяет различные части всего мобильного терминала с помощью различных интерфейсов и линий, а также выполняет различные функции и обработку данных мобильного терминала 100 путем запуска или выполнения программы и/или модуля программного обеспечения, хранящихся в памяти 120, и вызывает данные, хранящиеся в памяти 120, для выполнения общего мониторинга на мобильном терминале. Опционально, процессор 180 может включать в себя один или несколько процессоров. Предпочтительно, процессор 180 может объединять процессор приложений и процессор модема. Процессор приложений в основном обрабатывает операционную систему, пользовательский интерфейс, прикладную программу и т.п. Процессор модема в основном обрабатывает радиосвязь. Можно понять, что альтернативно процессор модема может не быть интегрирован в процессор 180.[0173] The
[0174] Мобильный терминал 100 дополнительно включает в себя источник 190 питания (например, аккумулятор), который подает питание на различные компоненты. Предпочтительно, источник питания может быть логически подключен к процессору 180 с использованием системы управления источником питания, чтобы реализовать с помощью системы управления источником питания такие функции, как управление зарядкой, управление разрядкой и управление потреблением энергии.[0174] The
[0175] Опционально, мобильный терминал 100 может дополнительно включать камеру.[0175] Optionally, the
[0176] Опционально, камера может быть расположена спереди или сзади мобильного терминала 100. Это не ограничено в этом варианте осуществления настоящего изобретения.[0176] Optionally, the camera may be located in front or behind the
[0177] Опционально, мобильный терминал 100 может включать в себя одну камеру, две камеры, три камеры и т.п. Это не ограничено в этом варианте осуществления настоящего изобретения.[0177] Optionally, the
[0178] Например, мобильный терминал 100 может включать в себя три камеры: одну основную камеру, одну широкоугольную камеру и одну длиннофокусную камеру.[0178] For example, the
[0179] Опционально, когда мобильный терминал 100 включает в себя множество камер, все эти камеры могут быть расположены спереди; или все они могут быть расположены сзади; или некоторые из камер могут быть расположены спереди, а другие могут быть расположены сзади. Это не ограничено в этом варианте осуществления настоящего изобретения.[0179] Optionally, when the
[0180] Кроме того, хотя это и не показано, мобильный терминал 100 может дополнительно включать в себя модуль Bluetooth и т.п. Подробности не описаны здесь снова.[0180] Also, although not shown, the
[0181] Фиг. 4 представляет собой схематическую блок-схему способа 200 фотографирования согласно настоящему изобретению. Например, способ 200 может применяться к вышеупомянутому мобильному терминалу 100.[0181] FIG. 4 is a schematic flowchart of a photographing
[0182] S210. Мобильный терминал получает предварительно просматриваемое первое изображение.[0182] S210. The mobile terminal receives the previewed first image.
[0183] Опционально, перед этапом S210 мобильный терминал может отображать на основе обнаруженной инструкции запуска камеры, введенной пользователем, предварительный просмотр изображения, полученного камерой в реальном времени для пользователя с использованием интерфейса отображения. Соответственно, пользователь может запустить камеру мобильного терминала и предварительно просмотреть, используя интерфейс отображения мобильного терминала, изображение, получаемое камерой в реальном времени.[0183] Optionally, before step S210, the mobile terminal may display, based on the detected camera start instruction entered by the user, a preview of the camera's real-time image to the user using the display interface. Accordingly, the user can start the camera of the mobile terminal and preview, using the display interface of the mobile terminal, an image acquired by the camera in real time.
[0184] Следует отметить, что первое изображение может пониматься как изображение, которое захватывается непосредственно при запуске камеры мобильного терминала, или может пониматься как первое сфотографированное изображение после того, как пользователь нажимает кнопку затвора. Это не ограничено в этом варианте осуществления настоящего изобретения.[0184] It should be noted that the first image may be understood as an image that is captured directly when the camera of the mobile terminal is started, or may be understood as the first photographed image after the user presses the shutter button. This is not limited in this embodiment of the present invention.
[0185] Опционально, на этапе S210 мобильный терминал может получить предварительно просматриваемое первое изображение на основе инициирующего события или предварительно установленной второй продолжительности. Это не ограничено в этом варианте осуществления настоящего изобретения.[0185] Optionally, in step S210, the mobile terminal may obtain a preview of the first image based on the triggering event or a preset second duration. This is not limited in this embodiment of the present invention.
[0186] Следует понимать, что в этом варианте осуществления настоящего изобретения предварительно установленная вторая продолжительность может пониматься как предварительно установленная продолжительность.[0186] It should be understood that in this embodiment of the present invention, the preset second duration may be understood as the preset duration.
[0187] В возможной реализации мобильный терминал может получать текущее предварительно просматриваемое изображение в соответствии с обнаруженной инструкцией фотографирования, введенной пользователем, и определять текущее предварительно просматриваемое изображение как первое изображение.[0187] In an exemplary implementation, the mobile terminal may acquire the current preview image in accordance with the detected photographing instruction entered by the user, and determine the current preview image as the first image.
[0188] Например, мобильный терминал может получить текущее просматриваемое изображение при обнаружении операции щелчка пользователем по положению кнопки спуска затвора (фотографирования).[0188] For example, the mobile terminal can obtain the currently viewed image upon detecting a user click operation on the position of the shutter button (taking a photo).
[0189] В другой возможной реализации мобильный терминал может получить текущее предварительно просматриваемое изображение в конечный момент времени предварительно установленной второй продолжительности и определить текущее предварительно просматриваемое изображение как первое изображение.[0189] In another possible implementation, the mobile terminal may acquire the current preview image at the end time of the preset second duration and determine the current preview image as the first image.
[0190] Например, мобильный терминал может запускать таймер после запуска функции фотографирования. Продолжительность таймера 5 с. Когда таймер истекает, мобильный терминал получает текущее просматриваемое изображение.[0190] For example, the mobile terminal may start a timer after starting the photographing function. The duration of the timer is 5 s. When the timer expires, the mobile terminal obtains the currently viewed image.
[0191] S220. Мобильный терминал определяет текущий режим фотографирования, при этом режим фотографирования включает в себя статус фотографирования или сцену фотографирования, статус фотографирования включает в себя состояние съемки с рук или состояние штатива, и сцена фотографирования включает в себя сцену с источником света или темную сцену.[0191] S220. The mobile terminal determines the current photographing mode, wherein the photographing mode includes a photographing status or a photographing scene, the photographing status includes a handheld shooting state or a tripod state, and the photographing scene includes a light source scene or a dark scene.
[0192] Опционально, мобильный терминал может определять режим фотографирования множеством способов. Это не ограничено в этом варианте осуществления настоящего изобретения.[0192] Optionally, the mobile terminal may determine the photographing mode in a variety of ways. This is not limited in this embodiment of the present invention.
[0193] В возможной реализации мобильный терминал может получать инструкцию по режиму фотографирования, введенную пользователем. Инструкция по режиму фотографирования используется для указания режима фотографирования, указанного пользователем.[0193] In an exemplary implementation, the mobile terminal may receive a photographing mode instruction entered by a user. The photographing mode instruction is used to indicate the photographing mode specified by the user.
[0194] В другой возможной реализации мобильный терминал может автоматически определять режим фотографирования на основе первого изображения. В частности, мобильный терминал определяет, на основе первого изображения, захваченного камерой, статус фотографирования и/или сцену фотографирования для текущего фотографирования.[0194] In another possible implementation, the mobile terminal may automatically determine the photographing mode based on the first image. Specifically, the mobile terminal determines, based on the first image captured by the camera, a photographing status and/or a photographing scene for the current photographing.
[0195] Опционально, мобильный терминал может определять статус фотографирования множеством способов. Это не ограничено в этом варианте осуществления настоящего изобретения.[0195] Optionally, the mobile terminal may determine the photographing status in a variety of ways. This is not limited in this embodiment of the present invention.
[0196] В возможной реализации мобильный терминал может определять статус фотографирования на основе множества порций данных датчика, которые собираются датчиком в пределах предварительно установленной первой продолжительности. Данные датчика используются для указания угла между мобильным терминалом и горизонтальным направлением или направлением силы тяжести.[0196] In an exemplary implementation, the mobile terminal may determine the photographing status based on the plurality of sensor data pieces that are collected by the sensor within a predetermined first duration. The sensor data is used to indicate the angle between the mobile terminal and the horizontal or gravity direction.
[0197] Например, если среднее значение (или максимальное значение) множества порций данных датчика больше или равно предварительно установленному первому значению, мобильный терминал определяет, что статусом фотографирования является состояние съемки с рук; или если среднее значение (или максимальное значение) множества порций данных датчика меньше первого значения, мобильный терминал определяет, что статусом фотографирования является состояние штатива.[0197] For example, if the average value (or maximum value) of the plurality of sensor data pieces is greater than or equal to the preset first value, the mobile terminal determines that the photographing status is the handheld shooting state; or if the average value (or maximum value) of the plurality of sensor data pieces is less than the first value, the mobile terminal determines that the photographing status is the tripod status.
[0198] Опционально, датчик может быть гироскопическим датчиком, датчиком угловой скорости, датчиком ускорения или другим датчиком, способным получать данные датчика, указывающие угол между мобильным терминалом и горизонтальным направлением или направлением силы тяжести. Это не ограничено в этом варианте осуществления настоящего изобретения.[0198] Optionally, the sensor may be a gyro sensor, an angular velocity sensor, an acceleration sensor, or another sensor capable of receiving sensor data indicative of the angle between the mobile terminal and the horizontal or gravity direction. This is not limited in this embodiment of the present invention.
[0199] Опционально, мобильный терминал может определять режим фотографирования множеством способов. Это не ограничено в этом варианте осуществления настоящего изобретения.[0199] Optionally, the mobile terminal may determine the photographing mode in a variety of ways. This is not limited in this embodiment of the present invention.
[0200] В возможной реализации мобильный терминал может определять сцену фотографирования на основе значения яркости первого изображения.[0200] In an exemplary implementation, the mobile terminal may determine the photographing scene based on the brightness value of the first image.
[0201] В частности, мобильный терминал может определять сцену фотографирования на основе количества пикселей в первом изображении, значения яркости которых больше, чем предварительно установленное второе значение.[0201] In particular, the mobile terminal can determine the photographing scene based on the number of pixels in the first image whose brightness values are greater than a preset second value.
[0202] Например, если отношение количества пикселей в первом изображении, значения яркости которых больше второго значения, к количеству всех пикселей больше или равно предварительно установленному значению отношения, мобильный терминал определяет, что сцена фотографирования представляет собой сцену с источником света; или если отношение количества пикселей в первом изображении, значения яркости которых больше второго значения, к количеству всех пикселей меньше, чем упомянутое значение отношения, мобильный терминал определяет, что сцена фотографирования является темной сценой.[0202] For example, if the ratio of the number of pixels in the first image whose brightness values are greater than the second value to the number of all pixels is greater than or equal to a preset ratio value, the mobile terminal determines that the photographing scene is a scene with a light source; or if the ratio of the number of pixels in the first image whose brightness values are greater than the second value to the number of all pixels is less than said ratio value, the mobile terminal determines that the photographing scene is a dark scene.
[0203] Опционально, мобильный терминал может отображать первую информацию с подсказкой для пользователя с использованием интерфейса отображения. Первая информация с подсказкой используется для подсказки пользователю касательно режима фотографирования.[0203] Optionally, the mobile terminal may display the first prompt information to the user using the display interface. The first prompt information is used to prompt the user regarding the photographing mode.
[0204] S230. Мобильный терминал определяет последовательность параметров экспозиции на основе первого изображения и режима фотографирования, при этом последовательность параметров экспозиции включает в себя по меньшей мере два параметра экспозиции, отсортированных в порядке возрастания времени фотографирования, и параметры экспозиции используются для управления светом, поступающим к мобильному терминалу во время фотографирования.[0204] S230. The mobile terminal determines the exposure parameter sequence based on the first image and the photographing mode, wherein the exposure parameter sequence includes at least two exposure parameters sorted in ascending order of photographing time, and the exposure parameters are used to control the light supplied to the mobile terminal during photographing.
[0205] Ниже описано, как мобильный терминал определяет последовательность параметров экспозиции на основе первого изображения и режима фотографирования в различных режимах фотографирования.[0205] The following describes how the mobile terminal determines the sequence of exposure parameters based on the first image and the photographing mode in various photographing modes.
[0206] Следует понимать, что следующие варианты осуществления описаны просто с использованием примера, в котором параметры экспозиции включают в себя продолжительность экспозиции и светочувствительность.[0206] It should be understood that the following embodiments are described simply using an example in which exposure parameters include exposure duration and photosensitivity.
[0207] Следует отметить, что параметры экспозиции могут дополнительно включать в себя другое значение параметра, например, значение диафрагмы. Это не ограничено в этом варианте осуществления настоящего изобретения.[0207] It should be noted that the exposure parameters may further include another parameter value, such as an aperture value. This is not limited in this embodiment of the present invention.
[0208] Режим фотографирования 1: режим штатива и режим источника света[0208] Photo mode 1: tripod mode and light source mode
[0209] Если сцена фотографирования представляет собой сцену с источником света, мобильный терминал определяет, на основе среднего значения пикселя первой области в первом изображении, среднего значения пикселя второй области в первом изображении и параметра экспозиции первого изображения, первый параметр экспозиции и второй параметр экспозиции, которые включены в опорную последовательность экспозиции.[0209] If the photographing scene is a scene with a light source, the mobile terminal determines, based on the average pixel value of the first area in the first image, the average pixel value of the second area in the first image, and the exposure parameter of the first image, the first exposure parameter and the second exposure parameter, which are included in the exposure reference sequence.
[0210] Первая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наибольшими в первом изображении, а вторая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наименьшими в первом изображении. Среднее значение пикселя области, соответствующей первой области в кадре, который получен с использованием первого параметра экспозиции, равно предварительно установленному первому пороговому значению пикселя, а среднее значение пикселя первой области больше или равно первому пороговому значению пикселя. Среднее значение пикселя области, соответствующей второй области в кадре, который получен с использованием второго параметра экспозиции, равно предварительно установленному второму пороговому значению пикселя, а среднее значение пикселя второй области меньше или равно второму пороговому значению пикселя. Первое пороговое значение пикселя больше, чем второе пороговое значение пикселя. Время фотографирования, соответствующее первому параметру экспозиции, является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0210] The first region includes at least two pixels whose pixel values are the largest in the first image, and the second region includes at least two pixels whose pixel values are the smallest in the first image. The average pixel value of the area corresponding to the first area in the frame obtained using the first exposure parameter is equal to the preset first pixel threshold, and the average pixel value of the first area is greater than or equal to the first pixel threshold. The average pixel value of the area corresponding to the second area in the frame obtained using the second exposure parameter is equal to the preset second pixel threshold, and the average pixel value of the second area is less than or equal to the second pixel threshold. The first pixel threshold is greater than the second pixel threshold. The photographing time corresponding to the first exposure parameter is earlier than the photographing time corresponding to the second exposure parameter.
[0211] Если статусом фотографирования является состояние штатива, мобильный терминал определяет, что светочувствительность, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной первой светочувствительности.[0211] If the photographing status is the tripod state, the mobile terminal determines that the sensitivity included in the exposure parameters in the exposure sequence is less than or equal to the preset first sensitivity.
[0212] Следует отметить, что в этом воплощении настоящего изобретения среднее значение пикселя первой области (или второй области) может пониматься как отношение суммы значений пикселей для пикселей в первой области (или второй области) к количеству пикселей. В качестве возможного альтернативного способа среднее значение пикселя первой области (или второй области) может быть заменено суммой значений пикселей для пикселей в первой области (или второй области). Это не ограничено в этом варианте осуществления настоящего изобретения.[0212] It should be noted that in this embodiment of the present invention, the average pixel value of the first region (or second region) can be understood as the ratio of the sum of pixel values for pixels in the first region (or second region) to the number of pixels. As a possible alternative, the average pixel value of the first region (or second region) may be replaced by the sum of the pixel values for the pixels in the first region (or second region). This is not limited in this embodiment of the present invention.
[0213] Следует также отметить, что если среднее значение пикселя первой области больше или равно первому пороговому значению пикселя, то это указывает на то, что первая область представляет собой область переэкспонирования, и яркость первой области должна быть уменьшена; и также, если среднее значение пикселя второй области меньше или равно второму пороговому значению пикселя, это указывает на то, что вторая область представляет собой область недоэкспонирования, и яркость второй области должна быть увеличена.[0213] It should also be noted that if the average pixel value of the first region is greater than or equal to the first pixel threshold value, then this indicates that the first region is an overexposed region, and the brightness of the first region should be reduced; and also, if the average pixel value of the second region is less than or equal to the second pixel threshold value, it indicates that the second region is an underexposed region and the brightness of the second region should be increased.
[0214] В сцене с источником света диапазон распределения яркости пикселей изображения относительно велик, и может произойти переэкспонирование или недоэкспонирование. Поэтому мобильный терминал может уменьшить яркость области переэкспонирования (первая область) на основе кадра, который получен с использованием первого параметра экспозиции, и увеличить яркость области недоэкспонирования (вторая область) на основе кадра, который получен с использованием второго параметра экспозиции, чтобы получить изображение с высоким динамическим диапазоном путем синтеза, так что предполагаемая яркая область изображения будет яркой, а предполагаемая темная область изображения темной, и изображение включает больше деталей.[0214] In a scene with a light source, the brightness distribution range of image pixels is relatively large, and overexposure or underexposure may occur. Therefore, the mobile terminal can reduce the brightness of the overexposed area (first area) based on the frame that is obtained using the first exposure parameter, and increase the brightness of the underexposed area (second area) based on the frame that is obtained using the second exposure parameter, to obtain an image with high dynamic range by synthesis, so that the supposed bright area of the image is bright and the supposed dark area of the image is dark, and the image includes more details.
[0215] Следует понимать, что значения пикселей изображения составляют от 0 до 255, всего 256 значений. Чем больше значение, тем выше яркость. 0 указывает на самую темную область полностью черного цвета, 255 указывает на полностью белый цвет наивысшей яркости, а числа от 0 до 255 указывают на серые цвета различной яркости.[0215] It should be understood that the pixel values of an image are from 0 to 255, for a total of 256 values. The larger the value, the higher the brightness. 0 indicates the darkest area of pure black, 255 indicates the purest white of the highest brightness, and numbers from 0 to 255 indicate grays of varying brightness.
[0216] Например, если предположить, что продолжительность экспозиции первого изображения составляет 1 с, светочувствительность первого изображения составляет 100, а первое изображение включает в себя шесть пикселей, значения пикселей которых равны 5, 5, 60, 80, 250 и 250, соответственно, как показано на Фиг. 5, первая область включает в себя два пикселя, значения пикселей которых являются наибольшими, то есть среднее значение пикселя первой области равно 250; и вторая область включает в себя два пикселя, значения пикселей которых являются наименьшими, то есть среднее значение пикселя второй области равно 5.[0216] For example, assuming that the exposure time of the first image is 1 s, the ISO of the first image is 100, and the first image includes six pixels whose pixel values are 5, 5, 60, 80, 250, and 250, respectively, as shown in FIG. 5, the first region includes two pixels whose pixel values are the largest, that is, the average pixel value of the first region is 250; and the second region includes two pixels whose pixel values are the smallest, that is, the average pixel value of the second region is 5.
[0217] Следует понимать, что когда параметр экспозиции включает в себя продолжительность экспозиции и светочувствительность, поступающий свет, соответствующий параметру экспозиции, можно понимать как произведение продолжительности экспозиции и светочувствительности.[0217] It should be understood that when the exposure parameter includes the exposure duration and the ISO, the incoming light corresponding to the exposure parameter can be understood as the product of the exposure duration and the ISO.
[0218] Если предположить, что первое пороговое значение пикселя равно 200, поскольку среднее значение пикселя первой области равно 250, и поступающий свет, соответствующий параметру экспозиции первого изображения, равен 100, можно определить, что поступающий свет, соответствующий первому параметру экспозиции, равен 200 х 100/250=80.[0218] Assuming that the first threshold pixel value is 200, since the average pixel value of the first area is 250, and the incoming light corresponding to the exposure parameter of the first image is 100, it can be determined that the incoming light corresponding to the first exposure parameter is 200 x 100/250=80.
[0219] Если предположить, что второе пороговое значение пикселя равно 30, поскольку среднее значение пикселя второй области равно 5, и поступающий свет, соответствующий параметру экспозиции первого изображения, равен 100, можно определить, что поступающий свет, соответствующий второму параметру экспозиции, равен 30 х 100/5=600.[0219] Assuming that the second threshold pixel value is 30, since the average pixel value of the second area is 5, and the incoming light corresponding to the exposure parameter of the first image is 100, it can be determined that the incoming light corresponding to the second exposure parameter is 30 x 100/5=600.
[0220] Когда поступающий свет одинаков, изображение с более низкой светочувствительностью имеет меньший шум изображения и лучший фотографический эффект. Мобильный терминал относительно стабилен в состоянии штатива. Поэтому, в состоянии штатива мобильный терминал устанавливает светочувствительность в параметре экспозиции на значение, меньшее или равное предварительно установленной светочувствительности.[0220] When the incoming light is the same, an image with a lower photosensitivity has less image noise and a better photographic effect. The mobile terminal is relatively stable in the tripod state. Therefore, in the tripod state, the mobile terminal sets the ISO in the exposure parameter to a value less than or equal to the preset ISO.
[0221] Другими словами, в состоянии штатива мобильный терминал получает изображение на основе относительно меньшей светочувствительности и относительно большой продолжительности экспозиции, чтобы улучшить фотографический эффект изображения.[0221] In other words, in the tripod state, the mobile terminal acquires an image based on a relatively lower light sensitivity and a relatively long exposure time to improve the photographic effect of the image.
[0222] В возможной реализации продолжительности экспозиции, включенные в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличиваются, или светочувствительность, включенная в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличивается.[0222] In an exemplary implementation, the exposure durations included in the exposure parameters in the exposure parameter sequence are incrementally increased, or the light sensitivity included in the exposure parameters in the exposure parameter sequence is sequentially increased.
[0223] Например, если предположить, что предварительно установленная светочувствительность равна 200, продолжительность экспозиции в первом параметре экспозиции может составлять 0,5 с, светочувствительность в первом параметре экспозиции может составлять 160, продолжительность экспозиции во втором параметре экспозиции может составлять 3 с, и светочувствительность во втором параметре экспозиции может составлять 200.[0223] For example, assuming that the preset ISO is 200, the exposure duration in the first exposure parameter may be 0.5 s, the ISO in the first exposure parameter may be 160, the exposure duration in the second exposure parameter may be 3 s, and the ISO in the second exposure parameter can be 200.
[0224] Опционально, последовательность параметров экспозиции может дополнительно включать в себя по меньшей мере один четвертый параметр экспозиции, отсортированный в порядке возрастания времени фотографирования. Время фотографирования, соответствующее любому одному из по меньшей мере одного четвертого параметра экспозиции, является более поздним, чем время фотографирования, соответствующее первому параметру экспозиции, но является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0224] Optionally, the sequence of exposure parameters may further include at least one fourth exposure parameter, sorted in ascending order of photographing time. The photographing time corresponding to any one of the at least one fourth exposure parameter is later than the photographing time corresponding to the first exposure parameter, but is earlier than the photographing time corresponding to the second exposure parameter.
[0225] Опционально, поступающий свет, соответствующий параметрам экспозиции в последовательности параметров экспозиции, может последовательно увеличиваться в порядке возрастания времени фотографирования. Более конкретно, в последовательности экспозиции, поступающий свет, соответствующий первому параметру экспозиции, является наименьшим, а поступающий свет, соответствующий второму параметру экспозиции, является наибольшим. По меньшей мере один четвертый параметр экспозиции может быть установлен между первым параметром экспозиции и вторым параметром экспозиции, так что поступающий свет, соответствующий параметрам экспозиции в последовательности экспозиции, последовательно увеличивается в порядке возрастания времени фотографирования, чтобы избежать воздействия на эффект синтеза изображения, возникающего из-за относительно большой разницы между двумя последовательными изображениями в последующей процедуре обработки синтеза.[0225] Optionally, the incoming light corresponding to the exposure settings in the sequence of exposure settings can be sequentially increased in ascending order of the photographing time. More specifically, in the exposure sequence, the incoming light corresponding to the first exposure is the smallest, and the incoming light corresponding to the second exposure is the largest. At least one fourth exposure parameter can be set between the first exposure parameter and the second exposure parameter, so that the incoming light corresponding to the exposure parameters in the exposure sequence is successively increased in the ascending order of the photographing time to avoid affecting the image synthesis effect resulting from for the relatively large difference between two successive images in the subsequent synthesis processing procedure.
[0226] Опционально, разница между поступающим светом, соответствующим любым двум параметрам экспозиции в последовательности экспозиции, может быть равна или не равна разнице между поступающим светом, соответствующим любым другим двум параметрам экспозиции. Это не ограничено в этом варианте осуществления настоящего изобретения.[0226] Optionally, the difference between the incoming light corresponding to any two exposure parameters in the exposure sequence may or may not be equal to the difference between the incoming light corresponding to any other two exposure parameters. This is not limited in this embodiment of the present invention.
[0227] Например, если предположить, что один четвертый параметр экспозиции включен между первым параметром экспозиции и вторым параметром экспозиции, продолжительность экспозиции в первом параметре экспозиции составляет 0,5 с, светочувствительность в первом параметре экспозиции составляет 160, продолжительность экспозиции во втором параметре экспозиции - 3 с, и светочувствительность во втором параметре экспозиции - 200, продолжительность экспозиции в четвертом параметре экспозиции может быть установлена равной 1 с, и светочувствительность в четвертом параметре экспозиции может быть установлена равной 180.[0227] For example, assuming that one fourth exposure parameter is included between the first exposure parameter and the second exposure parameter, the exposure duration at the first exposure parameter is 0.5 s, the ISO at the first exposure parameter is 160, the exposure duration at the second exposure parameter is 3 s, and the sensitivity in the second exposure parameter is 200, the exposure time in the fourth exposure parameter can be set to 1 s, and the sensitivity in the fourth exposure parameter can be set to 180.
[0228] В качестве другого примера, если предположить, что два четвертых параметра экспозиции включены между первым параметром экспозиции и вторым параметром экспозиции, продолжительность экспозиции в первом параметре экспозиции составляет 0,5 с, светочувствительность в первом параметре экспозиции составляет 160, продолжительность экспозиции во втором параметре экспозиции - 3 с, и светочувствительность во втором параметре экспозиции - 200, продолжительность экспозиции в 1-м четвертом параметре экспозиции может быть установлена равной 1 с, и светочувствительность в 1-м четвертом параметре экспозиции может быть установлена равной 180; и продолжительность экспозиции во 2-м четвертом параметре экспозиции может быть установлена равной 2 с, и светочувствительность во 2-м четвертом параметре экспозиции может быть установлена равной 180.[0228] As another example, assuming that two fourth exposure parameters are included between the first exposure parameter and the second exposure parameter, the exposure duration in the first exposure parameter is 0.5 s, the ISO in the first exposure parameter is 160, the exposure duration in the second exposure parameter is 3 s, and the sensitivity in the second exposure parameter is 200, the exposure time in the 1st fourth exposure parameter can be set to 1 s, and the ISO sensitivity in the 1st fourth exposure parameter can be set to 180; and the exposure duration in the 2nd fourth exposure parameter may be set to 2 s, and the ISO in the 2nd fourth exposure parameter may be set to 180.
[0229] На Фиг. 6 показана возможная реализация последовательности параметров экспозиции в режиме фотографирования 1. Как показано черными тенями на Фиг. 6, горизонтальное направление представляет время фотографирования, соответствующее параметру экспозиции, а вертикальное направление представляет поступающий свет, соответствующий параметру экспозиции. Настоящее изобретение этим не ограничено.[0229] In FIG. 6 shows a possible implementation of the exposure sequence in photograph mode 1. As shown by the black shadows in FIG. 6, the horizontal direction represents the photographing time corresponding to the exposure setting, and the vertical direction represents the incoming light corresponding to the exposure setting. The present invention is not limited to this.
[0230] Опционально, если значение пикселя области, соответствующей второй области в кадре, которая получена с использованием самого большого параметра экспозиции мобильного терминала, все еще меньше, чем второе пороговое значение пикселя, то есть яркость области недоэкспонирования все еще нежелательна, в этом случае мобильный терминал может добавить по меньшей мере один второй параметр экспозиции (например, вторые параметры экспозиции, обозначенные пунктирными тенями на Фиг. 6) после второго параметра экспозиции, чтобы увеличить яркость области недоэкспонирования.[0230] Optionally, if the pixel value of the area corresponding to the second area in the frame, which is obtained using the largest exposure parameter of the mobile terminal, is still less than the second threshold pixel value, that is, the brightness of the underexposed area is still undesirable, in this case, the mobile the terminal may add at least one second exposure parameter (eg, second exposure parameters indicated by dotted shadows in FIG. 6) after the second exposure parameter to increase the brightness of the underexposed area.
[0231] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в сцене с источником света кадры одного и того же сфотографированного объекта при разных уровнях экспозиции получаются путем установки различных параметров экспозиции. Первый параметр экспозиции используется для восстановления деталей изображения яркой области в кадре, а второй параметр экспозиции используется для восстановления деталей изображения темной области в кадре. Синтезируются кадры, полученные с использованием различных параметров экспозиции. Таким образом уравновешиваются как общие детали, так и яркость окончательного изображения, чтобы улучшить динамический диапазон изображения, тем самым улучшая фотографический эффект изображения. В состоянии штатива, когда поступающий свет одинаков, шум изображения может быть дополнительно уменьшен путем установки относительно большой продолжительности экспозиции и относительно низкой светочувствительности, чтобы улучшить фотографический эффект изображения.[0231] According to the photographing method provided in this embodiment of the present invention, in a scene with a light source, frames of the same photographed object at different exposure levels are obtained by setting different exposure parameters. The first exposure setting is used to restore the image details of the bright area in the frame, and the second exposure setting is used to restore the image details of the dark area in the frame. Frames obtained using various exposure parameters are synthesized. In this way, both the general details and the brightness of the final image are balanced to improve the dynamic range of the image, thereby improving the photographic effect of the image. In a tripod state where the incoming light is uniform, image noise can be further reduced by setting a relatively long exposure time and a relatively low ISO to improve the photographic effect of the image.
[0232] Режим фотографирования 2: режим съемки с рук и режим источника света[0232] Photo mode 2: handheld mode and light source mode
[0233] Если сцена фотографирования представляет собой сцену с источником света, мобильный терминал определяет, на основе среднего значения пикселя первой области в первом изображении, среднего значения пикселя второй области в первом изображении и параметра экспозиции первого изображения, первый параметр экспозиции и второй параметр экспозиции, которые включены в опорную последовательность экспозиции.[0233] If the photographing scene is a scene with a light source, the mobile terminal determines, based on the average pixel value of the first area in the first image, the average pixel value of the second area in the first image, and the exposure parameter of the first image, the first exposure parameter and the second exposure parameter, which are included in the exposure reference sequence.
[0234] Первая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наибольшими в первом изображении, а вторая область включает в себя по меньшей мере два пикселя, значения пикселей которых являются наименьшими в первом изображении. Среднее значение пикселя области, соответствующей первой области в кадре, который получен с использованием первого параметра экспозиции, равно предварительно установленному первому пороговому значению пикселя, а среднее значение пикселя первой области больше или равно первому пороговому значению пикселя. Среднее значение пикселя области, соответствующей второй области в кадре, который получен с использованием второго параметра экспозиции, равно предварительно установленному второму пороговому значению пикселя, а среднее значение пикселя второй области меньше или равно второму пороговому значению пикселя. Первое пороговое значение пикселя больше, чем второе пороговое значение пикселя. Время фотографирования, соответствующее первому параметру экспозиции, является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0234] The first region includes at least two pixels whose pixel values are the largest in the first image, and the second region includes at least two pixels whose pixel values are the smallest in the first image. The average pixel value of the area corresponding to the first area in the frame obtained using the first exposure parameter is equal to the preset first pixel threshold, and the average pixel value of the first area is greater than or equal to the first pixel threshold. The average pixel value of the area corresponding to the second area in the frame obtained using the second exposure parameter is equal to the preset second pixel threshold, and the average pixel value of the second area is less than or equal to the second pixel threshold. The first pixel threshold is greater than the second pixel threshold. The photographing time corresponding to the first exposure parameter is earlier than the photographing time corresponding to the second exposure parameter.
[0235] Если статусом фотографирования является состояние съемки с рук, мобильный терминал определяет, что опорная последовательность экспозиции включает в себя опорный параметр экспозиции, и продолжительность экспозиции, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной первой продолжительности экспозиции. Опорный параметр экспозиции представляет собой параметр экспозиции, который имеет самое раннее время фотографирования в последовательности параметров экспозиции, и поступающий свет, соответствующий опорному параметру экспозиции, больше, чем поступающий свет, соответствующий первому параметру экспозиции, но меньше, чем поступающий свет, соответствующий второму параметру экспозиции.[0235] If the photographing status is a handheld shooting state, the mobile terminal determines that the exposure reference sequence includes the exposure reference parameter, and the exposure duration included in the exposure parameters in the exposure sequence is less than or equal to the preset first exposure duration. The reference exposure parameter is the exposure parameter that has the earliest photographing time in the sequence of exposure parameters and the incoming light corresponding to the reference exposure parameter is greater than the incoming light corresponding to the first exposure parameter but less than the incoming light corresponding to the second exposure parameter .
[0236] Следует отметить, что в этом варианте осуществления настоящего изобретения среднее значение пикселя первой области (или второй области) может пониматься как отношение суммы значений пикселей для пикселей в первой области (или второй области) к количеству пикселей. В возможном альтернативном способе среднее значение пикселя первой области (или второй области) может быть заменено суммой значений пикселей для пикселей в первой области (или второй области). Это не ограничено в этом варианте осуществления настоящего изобретения.[0236] It should be noted that in this embodiment of the present invention, the average pixel value of the first region (or second region) can be understood as the ratio of the sum of pixel values for pixels in the first region (or second region) to the number of pixels. In a possible alternative method, the average pixel value of the first region (or second region) may be replaced by the sum of the pixel values for the pixels in the first region (or second region). This is not limited in this embodiment of the present invention.
[0237] Следует также отметить, что если среднее значение пикселя первой области больше или равно предварительно установленного первого порогового значения пикселя, это указывает на то, что первая область представляет собой область переэкспонирования, и яркость первой области должна быть уменьшена; и также, если среднее значение пикселя второй области меньше или равно предварительно установленного второго порогового значения пикселя, это указывает на то, что вторая область представляет собой область недоэкспонирования, и яркость второй области должна быть увеличена.[0237] It should also be noted that if the average pixel value of the first region is greater than or equal to the preset first pixel threshold value, this indicates that the first region is an overexposed region and the brightness of the first region should be reduced; and also, if the average pixel value of the second region is less than or equal to the preset second threshold pixel value, it indicates that the second region is an underexposed region and the brightness of the second region should be increased.
[0238] Например, если предположить, что продолжительность экспозиции первого изображения составляет 1 с, светочувствительность первого изображения составляет 100, а первое изображение включает в себя шесть пикселей, значения пикселей которых равны 5, 5, 60, 80, 250 и 250, соответственно, как показано на Фиг. 5, первая область включает в себя два пикселя, значения пикселей которых являются наибольшими, то есть среднее значение пикселя первой области равно 250; и вторая область включает в себя два пикселя, значения пикселей которых являются наименьшими, то есть среднее значение пикселя второй области равно 5.[0238] For example, assuming that the exposure time of the first image is 1 s, the light sensitivity of the first image is 100, and the first image includes six pixels whose pixel values are 5, 5, 60, 80, 250, and 250, respectively, as shown in FIG. 5, the first region includes two pixels whose pixel values are the largest, that is, the average pixel value of the first region is 250; and the second region includes two pixels whose pixel values are the smallest, that is, the average pixel value of the second region is 5.
[0239] Следует понимать, что когда параметр экспозиции включает в себя продолжительность экспозиции и светочувствительность, поступающий свет, соответствующий параметру экспозиции, можно понимать как произведение продолжительности экспозиции и светочувствительности.[0239] It should be understood that when the exposure parameter includes the exposure duration and the ISO, the incoming light corresponding to the exposure parameter can be understood as the product of the exposure duration and the ISO.
[0240] Если предположить, что предварительно установленное первое пороговое значение пикселя составляет 200, поскольку среднее значение пикселя первой области составляет 250, а поступающий свет, соответствующий параметру экспозиции первого изображения, составляет 100, можно определить, что поступающий свет, соответствующий первому параметру экспозиции, составляет 200 х 100/250 = 80.[0240] Assuming that the preset first pixel threshold value is 200, since the average pixel value of the first area is 250 and the incoming light corresponding to the exposure value of the first image is 100, it can be determined that the incoming light corresponding to the first exposure parameter is is 200 x 100/250 = 80.
[0241] Если предположить, что предварительно установленное второе пороговое значение пикселя составляет 30, поскольку среднее значение пикселя второй области составляет 5, а поступающий свет, соответствующий параметру экспозиции первого изображения, составляет 100, можно определить, что поступающий свет, соответствующий второму параметру экспозиции, составляет 30 х 100/5 = 600.[0241] Assuming that the preset second pixel threshold value is 30, since the average pixel value of the second area is 5 and the incoming light corresponding to the exposure value of the first image is 100, it can be determined that the incoming light corresponding to the second exposure value is is 30 x 100/5 = 600.
[0242] Поскольку встряхивание может произойти в режиме съемки с рук, мобильный терминал устанавливает продолжительность экспозиции параметра экспозиции в значение, меньшее или равное предварительно установленной продолжительности экспозиции.[0242] Since shaking may occur in the handheld mode, the mobile terminal sets the exposure time of the exposure parameter to a value less than or equal to the preset exposure time.
[0243] Другими словами, в состоянии съемки с рук, мобильный терминал получает изображение, основанное на относительно короткой продолжительности экспозиции и относительно высокой светочувствительности, чтобы улучшить фотографический эффект изображения.[0243] In other words, in the handheld state, the mobile terminal acquires an image based on a relatively short exposure time and a relatively high light sensitivity to improve the photographic effect of the image.
[0244] В возможной реализации продолжительности экспозиции, включенные в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличиваются, и/или светочувствительность, включенная в параметры экспозиции в последовательности параметров экспозиции, последовательно увеличивается.[0244] In an exemplary implementation, the exposure durations included in the exposure parameters in the exposure parameter sequence are sequentially increased, and/or the sensitivity included in the exposure parameters in the exposure parameter sequence is sequentially increased.
[0245] Например, если предположить, что предварительно установленная продолжительность экспозиции составляет 1 с, продолжительность экспозиции в первом параметре экспозиции может составлять 0,2 с, светочувствительность в первом параметре экспозиции может составлять 400, продолжительность экспозиции во втором параметре экспозиции может составлять 0,5 с, и светочувствительность во втором параметре экспозиции может составлять 1200.[0245] For example, assuming the preset exposure duration is 1 s, the exposure duration in the first exposure parameter may be 0.2 s, the ISO in the first exposure parameter may be 400, the exposure duration in the second exposure parameter may be 0.5 s, and ISO in the second exposure setting can be 1200.
[0246] В другом примере, если предположить, что продолжительность экспозиции в первом параметре экспозиции составляет 0,2 с, светочувствительность в первом параметре экспозиции составляет 400, продолжительность экспозиции во втором параметре экспозиции составляет 0,5 с, и светочувствительность во втором параметре экспозиции составляет 1200, опорный параметр экспозиции может быть установлен перед первым параметром экспозиции. Например, продолжительность экспозиции в опорном параметре экспозиции может составлять 0,3 с, и светочувствительность в опорном параметре экспозиции составляет 800.[0246] In another example, assuming that the exposure duration in the first exposure parameter is 0.2 s, the ISO in the first exposure parameter is 400, the exposure duration in the second exposure parameter is 0.5 s, and the ISO in the second exposure parameter is 1200, the reference exposure parameter can be set before the first exposure parameter. For example, the exposure duration in the exposure reference may be 0.3 s and the ISO in the exposure reference may be 800.
[0247] Опционально, последовательность параметров экспозиции может дополнительно включать в себя по меньшей мере один четвертый параметр экспозиции, отсортированный в порядке возрастания времени фотографирования. Время фотографирования, соответствующее любому одному из по меньшей мере одного четвертого параметра экспозиции, является более поздним, чем время фотографирования, соответствующее первому параметру экспозиции, но является более ранним, чем время фотографирования, соответствующее второму параметру экспозиции.[0247] Optionally, the sequence of exposure parameters may further include at least one fourth exposure parameter, sorted in ascending order of photographing time. The photographing time corresponding to any one of the at least one fourth exposure parameter is later than the photographing time corresponding to the first exposure parameter, but is earlier than the photographing time corresponding to the second exposure parameter.
[0248] Опционально, поступающий свет, соответствующий параметрам экспозиции в последовательности параметров экспозиции, может последовательно увеличиваться в порядке возрастания времени фотографирования. Более конкретно, в последовательности экспозиции, поступающий свет, соответствующий первому параметру экспозиции, является наименьшим, а поступающий свет, соответствующий второму параметру экспозиции, является наибольшим. По меньшей мере один четвертый параметр экспозиции может быть установлен между первым параметром экспозиции и вторым параметром экспозиции, так что поступающий свет, соответствующий параметрам экспозиции в последовательности экспозиции, последовательно увеличивается в порядке возрастания времени фотографирования, чтобы избежать воздействия на эффект синтеза изображения, возникающего из-за относительно большой разницы между двумя последовательными кадрами в последующей процедуре обработки синтеза.[0248] Optionally, the incoming light corresponding to the exposure settings in the sequence of exposure settings can be sequentially increased in ascending order of the photographing time. More specifically, in the exposure sequence, the incoming light corresponding to the first exposure is the smallest, and the incoming light corresponding to the second exposure is the largest. At least one fourth exposure parameter can be set between the first exposure parameter and the second exposure parameter, so that the incoming light corresponding to the exposure parameters in the exposure sequence is successively increased in the ascending order of the photographing time to avoid affecting the image synthesis effect resulting from for the relatively large difference between two consecutive frames in the subsequent synthesis processing procedure.
[0249] Фиг. 7 показывает возможную реализацию последовательности параметров экспозиции в режиме фотографирования 2. Как указано черными тенями на Фиг. 7, горизонтальное направление представляет время фотографирования, соответствующее параметру экспозиции, а вертикальное направление представляет поступающий свет, соответствующий параметру экспозиции. Настоящее изобретение этим не ограничено.[0249] FIG. 7 shows a possible implementation of the exposure sequence in photograph mode 2. As indicated by the black shadows in FIG. 7, the horizontal direction represents the photographing time corresponding to the exposure setting, and the vertical direction represents the incoming light corresponding to the exposure setting. The present invention is not limited to this.
[0250] Опционально, если среднее значение пикселя области, соответствующей второй области в изображении, которое получено с использованием самого большого параметра экспозиции мобильного терминала, все еще меньше, чем предварительно установленное второе пороговое значение пикселя, то есть яркость области недоэкспонирования все еще остается нежелательной, в этом случае мобильный терминал может добавить по меньшей мере один второй параметр экспозиции (например, второй параметр экспозиции, обозначенный пунктирными тенями на Фиг. 7) после второго параметра экспозиции, чтобы увеличить яркость области недоэкспонирования.[0250] Optionally, if the average pixel value of the area corresponding to the second area in the image, which is obtained using the largest exposure parameter of the mobile terminal, is still less than the preset second pixel threshold value, that is, the brightness of the underexposed area is still undesirable, in this case, the mobile terminal may add at least one second exposure parameter (eg, the second exposure parameter indicated by dotted shadows in FIG. 7) after the second exposure parameter to increase the brightness of the underexposed area.
[0251] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в сцене с источником света изменения в яркости пикселей в изображении являются относительно большими, и может произойти переэкспонирование или недоэкспонирование. Поэтому мобильный терминал может уменьшить яркость области переэкспонирования на основе изображения, которое получено с использованием первого параметра экспозиции, и увеличить яркость области недоэкспонирования на основе изображения, которое получено с использованием второго параметра экспозиции, чтобы получить изображение с высоким динамическим диапазоном путем синтеза, так что предполагаемая яркая область изображения будет яркой, а предполагаемая темная область изображения темной, и изображение включает больше деталей.[0251] According to the photographing method provided in this embodiment of the present invention, in a light source scene, changes in brightness of pixels in an image are relatively large, and overexposure or underexposure may occur. Therefore, the mobile terminal can reduce the brightness of the overexposure area based on the image that is obtained using the first exposure parameter and increase the brightness of the underexposed area based on the image that is obtained using the second exposure parameter to obtain a high dynamic range image by synthesis, so that the estimated the bright area of the image will be bright, and the intended dark area of the image will be dark, and the image will include more details.
[0252] Кроме того, в режиме съемки с рук мобильный терминал недостаточно стабилен и может трястись. Следовательно, сфотографированное изображение может быть размыто из-за тряски, и множество последовательных сфотографированных изображений не может быть выровнено из-за тряски. Следовательно, продолжительность экспозиции должна быть установлена на минимально возможное значение, чтобы избежать размытия изображения из-за тряски. Кроме того, опорный параметр экспозиции должен быть установлен в самом начале последовательности экспозиции, а изображение, полученное с использованием опорного параметра экспозиции, используется для выравнивания впоследствии сфотографированных изображений.[0252] In addition, in the handheld mode, the mobile terminal is not stable enough and may shake. Therefore, a photographed image may be blurred due to shaking, and a plurality of successive photographed images may not be aligned due to shaking. Therefore, the exposure time should be set to the shortest possible value to avoid image blur due to shaking. In addition, the exposure reference must be set at the very beginning of the exposure sequence, and the image obtained using the exposure reference is used to align the subsequently photographed images.
[0253] Опционально, количество параметров экспозиции, которые включены в последовательность параметров экспозиции в состоянии штатива, может быть больше, чем количество параметров экспозиции, которые включены в последовательность параметров экспозиции в состоянии съемки с рук.[0253] Optionally, the number of exposure parameters that are included in the exposure parameter string in the tripod state may be greater than the number of exposure parameters that are included in the exposure parameter string in the handheld state.
[0254] Режим фотографирования 3: режим штатива и темный режим[0254] Photo mode 3: tripod mode and dark mode
[0255] Если сцена фотографирования является темной сценой, мобильный терминал определяет, на основе среднего значения пикселя первого изображения и параметра экспозиции первого изображения, множество третьих параметров экспозиции, включенных в опорную последовательность экспозиции.[0255] If the photographing scene is a dark scene, the mobile terminal determines, based on the average pixel value of the first image and the exposure parameter of the first image, a plurality of third exposure parameters included in the exposure reference sequence.
[0256] Среднее значение пикселя изображения, которое получено с использованием третьих параметров экспозиции, равно предварительно установленному третьему пороговому значению пикселя, а среднее значение пикселя первого изображения меньше или равно предварительно установленному пороговому значению пикселя.[0256] The average pixel value of the image that is obtained using the third exposure parameters is equal to the preset third pixel threshold, and the average pixel value of the first image is less than or equal to the preset pixel threshold.
[0257] Если статусом фотографирования является состояние штатива, мобильный терминал определяет, что светочувствительность, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной светочувствительности.[0257] If the photographing status is the tripod state, the mobile terminal determines that the ISO included in the exposure parameters in the exposure sequence is less than or equal to the preset ISO.
[0258] Следует отметить, что в этом варианте осуществления настоящего изобретения среднее значение пикселя первого изображения можно понимать как отношение суммы значений пикселей для пикселей в первом изображении к количеству пикселей. В возможном альтернативном способе среднее значение пикселей первого изображения может быть заменено суммой значений пикселей для пикселей в первом изображении. Это не ограничено в этом варианте осуществления настоящего изобретения.[0258] It should be noted that in this embodiment of the present invention, the average pixel value of the first image can be understood as the ratio of the sum of pixel values for pixels in the first image to the number of pixels. In a possible alternative method, the average pixel value of the first image may be replaced by the sum of the pixel values for the pixels in the first image. This is not limited in this embodiment of the present invention.
[0259] Следует также отметить, что если среднее значение пикселя первого изображения меньше или равно предварительно установленному третьему пороговому значению пикселя, это указывает, что первое изображение является недоэкспонированным изображением, и яркость первого изображения необходимо увеличить.[0259] It should also be noted that if the average pixel value of the first image is less than or equal to the preset third pixel threshold value, this indicates that the first image is an underexposed image and the brightness of the first image needs to be increased.
[0260] Например, если предположить, что продолжительность экспозиции первого изображения составляет 1 с, светочувствительность первого изображения составляет 100, а первое изображение включает в себя шесть пикселей, значения пикселей которых равны 5, 5, 60, 80, 250 и 250, соответственно, как показано на Фиг. 5, среднее значение пикселя первого изображения составляет 108.[0260] For example, assuming that the exposure time of the first image is 1 s, the ISO of the first image is 100, and the first image includes six pixels whose pixel values are 5, 5, 60, 80, 250, and 250, respectively, as shown in FIG. 5, the average pixel value of the first image is 108.
[0261] Следует понимать, что когда параметр экспозиции включает в себя продолжительность экспозиции и светочувствительность, поступающий свет, соответствующий параметру экспозиции, можно понимать как произведение продолжительности экспозиции и светочувствительности.[0261] It should be understood that when the exposure parameter includes the exposure duration and the ISO, the incoming light corresponding to the exposure parameter can be understood as the product of the exposure duration and the ISO.
[0262] Если предположить, что третье пороговое значение пикселя составляет 128, поскольку среднее значение пикселя первого изображения составляет 108, и поступающий свет, соответствующий параметру экспозиции первого изображения, равен 100, можно определить, что поступающий свет, соответствующий третьему параметру экспозиции, равен 200 х 100/250=118.[0262] Assuming that the third threshold pixel value is 128, since the average pixel value of the first image is 108, and the incoming light corresponding to the exposure parameter of the first image is 100, it can be determined that the incoming light corresponding to the third exposure parameter is 200 x 100/250=118.
[0263] Когда поступающий свет одинаков, изображение с более низкой светочувствительностью имеет меньший шум изображения и лучший фотографический эффект. Мобильный терминал относительно стабилен в режиме штатива. Поэтому в режиме штатива мобильный терминал устанавливает светочувствительность в параметре экспозиции на значение, меньшее, чем предварительно установленная первая светочувствительность, и получает изображение на основе относительно меньшей светочувствительности и относительно большой продолжительности экспозиции.[0263] When the incoming light is the same, an image with a lower photosensitivity has less image noise and a better photographic effect. The mobile terminal is relatively stable in tripod mode. Therefore, in the tripod mode, the mobile terminal sets the ISO in the exposure parameter to a value smaller than the preset first ISO, and acquires an image based on the relatively lower ISO and the relatively long exposure time.
[0264] В заключение, если предположить, что предварительно установленная первая светочувствительность равна 100, продолжительность экспозиции в третьем параметре экспозиции может составлять, например, 1,2 с, и светочувствительность в третьем параметре экспозиции может составлять, например, 100.[0264] Finally, assuming that the preset first ISO is 100, the exposure time in the third exposure parameter may be, for example, 1.2 seconds, and the ISO in the third exposure parameter may be, for example, 100.
[0265] Фиг. 8 показывает возможную реализацию последовательности параметров экспозиции в режиме фотографирования 3. Как показано на Фиг. 8, горизонтальное направление представляет время фотографирования, соответствующее параметру экспозиции, а вертикальное направление представляет поступающий свет, соответствующий параметру экспозиции. Настоящее изобретение этим не ограничено.[0265] FIG. 8 shows a possible implementation of the sequence of exposure parameters in photograph mode 3. As shown in FIG. 8, the horizontal direction represents the photographing time corresponding to the exposure setting, and the vertical direction represents the incoming light corresponding to the exposure setting. The present invention is not limited to this.
[0266] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в темной сцене свет относительно слаб, яркость изображения относительно низкая, и переэкспонирование не происходит. Поэтому мобильный терминал может увеличить яркость области недоэкспонирования на основе изображения, которое получено с использованием множества третьих параметров экспозиции, чтобы увеличить яркость изображения, так что изображение включает в себя больше деталей, тем самым улучшая фотографический эффект изображения. В состоянии штатива, когда поступающий свет одинаков, шум изображения может быть дополнительно уменьшен путем установки относительно большой продолжительности экспозиции и относительно низкой светочувствительности, чтобы улучшить фотографический эффект изображения.[0266] According to the photographing method provided in this embodiment of the present invention, in a dark scene, the light is relatively weak, the image brightness is relatively low, and overexposure does not occur. Therefore, the mobile terminal can increase the brightness of the underexposure area based on the image that is obtained using the plurality of third exposure parameters to increase the brightness of the image so that the image includes more details, thereby improving the photographic effect of the image. In a tripod state where the incoming light is uniform, image noise can be further reduced by setting a relatively long exposure time and a relatively low ISO to improve the photographic effect of the image.
[0267] Режим фотографирования 4: режим съемки с рук и темный режим[0267] Photo mode 4: handheld mode and dark mode
[0268] Если сцена фотографирования является темной сценой, мобильный терминал определяет, на основе среднего значения пикселя первого изображения и параметра экспозиции первого изображения, множество третьих параметров экспозиции, включенных в опорную последовательность экспозиции.[0268] If the photographing scene is a dark scene, the mobile terminal determines, based on the average pixel value of the first image and the exposure parameter of the first image, a plurality of third exposure parameters included in the exposure reference sequence.
[0269] Среднее значение пикселя изображения, которое получено с использованием третьих параметров экспозиции, равно предварительно установленному третьему пороговому значению пикселя, а среднее значение пикселя первого изображения меньше или равно третьему пороговому значению пикселя.[0269] The average pixel value of the image that is obtained using the third exposure parameters is equal to the preset third pixel threshold, and the average pixel value of the first image is less than or equal to the third pixel threshold.
[0270] Если статусом фотографирования является состояние съемки с рук, мобильный терминал определяет, что опорная последовательность экспозиции включает в себя опорный параметр экспозиции, и продолжительность экспозиции, включенная в параметры экспозиции в последовательности экспозиции, меньше или равна предварительно установленной продолжительности экспозиции. Опорный параметр экспозиции представляет собой параметр экспозиции, который имеет самое раннее время фотографирования в последовательности параметров экспозиции, и поступающий свет, соответствующий опорному параметру экспозиции, равен поступающему свету, соответствующему третьему параметру экспозиции.[0270] If the photographing status is a handheld shooting state, the mobile terminal determines that the exposure reference sequence includes the exposure reference parameter, and the exposure duration included in the exposure parameters in the exposure sequence is less than or equal to the preset exposure duration. The reference exposure parameter is the exposure parameter which has the earliest photographing time in the sequence of exposure parameters, and the incoming light corresponding to the reference exposure parameter is equal to the incoming light corresponding to the third exposure parameter.
[0271] Фиг. 9 показывает возможную реализацию последовательности параметров экспозиции в режиме фотографирования 4. Как показано на Фиг. 9, горизонтальное направление представляет время фотографирования, соответствующее параметру экспозиции, а вертикальное направление представляет поступающий свет, соответствующий параметру экспозиции. Настоящее изобретение этим не ограничено.[0271] FIG. 9 shows a possible implementation of the sequence of exposure parameters in photograph mode 4. As shown in FIG. 9, the horizontal direction represents the photographing time corresponding to the exposure setting, and the vertical direction represents the incoming light corresponding to the exposure setting. The present invention is not limited to this.
[0272] Согласно способу фотографирования, предоставленному в этом варианте осуществления настоящего изобретения, в темной сцене свет относительно слаб, яркость изображения относительно низкая, и переэкспонирование не происходит. Поэтому мобильный терминал может увеличить яркость области недоэкспонирования на основе изображения, которое получено с использованием множества третьих параметров экспозиции, чтобы увеличить яркость изображения, так что изображение включает в себя больше деталей, тем самым улучшая фотографический эффект изображения.[0272] According to the photographing method provided in this embodiment of the present invention, in a dark scene, the light is relatively weak, the image brightness is relatively low, and overexposure does not occur. Therefore, the mobile terminal can increase the brightness of the underexposure area based on the image that is obtained using the plurality of third exposure parameters to increase the brightness of the image so that the image includes more details, thereby improving the photographic effect of the image.
[0273] Кроме того, в режиме съемки с рук мобильный терминал недостаточно стабилен и может трястись. Следовательно, сфотографированное изображение может быть размыто из-за тряски, и множество последовательных сфотографированных изображений не может быть выровнено из-за тряски. Следовательно, продолжительность экспозиции должна быть установлена на минимально возможное значение, чтобы избежать размытия изображения из-за тряски. Кроме того, опорный параметр экспозиции должен быть установлен в самом начале последовательности экспозиции, а изображение, полученное с использованием опорного параметра экспозиции, используется для выравнивания впоследствии сфотографированных изображений.[0273] In addition, in the handheld mode, the mobile terminal is not stable enough and may shake. Therefore, a photographed image may be blurred due to shaking, and a plurality of successive photographed images may not be aligned due to shaking. Therefore, the exposure time should be set to the shortest possible value to avoid image blur due to shaking. In addition, the exposure reference must be set at the very beginning of the exposure sequence, and the image obtained using the exposure reference is used to align the subsequently photographed images.
[0274] S240. Мобильный терминал последовательно получает изображения, используя параметры экспозиции в последовательности параметров экспозиции, чтобы получить по меньшей мере два изображения.[0274] S240. The mobile terminal acquires images sequentially using the exposure parameters in the exposure parameter sequence to obtain at least two images.
[0275] Следует отметить, что по меньшей мере два изображения также сортируются в порядке возрастания времени фотографирования, поскольку по меньшей мере два изображения последовательно получены мобильным терминалом на основе параметров экспозиции в последовательности параметров экспозиции, и параметры экспозиции в последовательности экспозиции сортируются в порядке возрастания времени фотографирования.[0275] It should be noted that at least two images are also sorted in ascending order of photographing time, since at least two images are sequentially acquired by the mobile terminal based on the exposure parameters in the exposure parameter sequence, and the exposure parameters in the exposure sequence are sorted in ascending order of time photographing.
[0276] Следует также отметить, что по меньшей мере два изображения, полученные на этапе S240, могут быть по меньшей мере двумя изображениями, которые получены сразу после получения первого изображения на этапе S210.[0276] It should also be noted that at least two images obtained in step S240 may be at least two images that are obtained immediately after the first image is acquired in step S210.
[0277] Другими словами, после обнаружения инструкции фотографирования, введенной пользователем, мобильный терминал может последовательно получить первое изображение на этапе S210 и по меньшей мере два изображения на этапе S240. Первое изображение, полученное на этапе S210, используется для определения последовательности параметров экспозиции для использования по меньшей мере двумя изображениями, полученными на этапе S240.[0277] In other words, after detecting the photographing instruction entered by the user, the mobile terminal can sequentially acquire the first image in step S210 and at least two images in step S240. The first image obtained in step S210 is used to determine the sequence of exposure parameters to be used by at least two images obtained in step S240.
[0278] S250. Мобильный терминал выполняет обработку синтеза на основе режима фотографирования и некоторых или всех из упомянутых по меньшей мере двух изображений, чтобы получить целевое изображение.[0278] S250. The mobile terminal performs synthesis processing based on the photographing mode and some or all of the at least two images to obtain a target image.
[0279] Ниже описано, как мобильный терминал выполняет обработку синтеза на основе некоторых или всех из упомянутых по меньшей мере двух изображений в разных режимах фотографирования, чтобы получить целевое изображение.[0279] The following describes how the mobile terminal performs synthesis processing based on some or all of the at least two images in different photographic modes to obtain a target image.
[0280] Режим фотографирования 1: режим штатива и режим источника света[0280] Photo mode 1: tripod mode and light source mode
[0281] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, и N является целым числом больше 1, обработка синтеза включает в себя обработку наложения пикселей и обработку смешивания кадров в режиме фотографирования 1.[0281] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes pixel overlay processing and frame mixing processing in photographing mode 1.
[0282] В частности, мобильный терминал выполняет обработку наложения пикселей для i-го кадра в N кадрах и результата обработки синтеза первых i-1 кадров, чтобы получить результат обработки наложения пикселей первых i кадров, при этом значение i составляет 2, 3,..., или N; терминальное устройство выполняет обработку смешивания кадров для i-го кадра и результата обработки наложения пикселей первых i кадров, чтобы получить i-е возможное целевое изображение; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0282] Specifically, the mobile terminal performs pixel overlay processing for the ith frame in N frames and the result of the synthesis processing of the first i-1 frames to obtain the pixel overlay process result of the first i frames, where i is 2, 3,. .., or N; the terminal device performs frame blending processing for the i-th frame and the pixel overlay processing result of the first i frames to obtain the i-th possible target image; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0283] Следует отметить, что когда значение i равно 2, результат обработки синтеза первого изображения может пониматься как первое возможное целевое изображение или результат обработки наложения пикселей первого изображения или 1-е изображение.[0283] It should be noted that when the value of i is 2, the result of the first image synthesis processing can be understood as the first possible target image or the result of the pixel overlay processing of the first image or the 1st image.
[0284] В возможной реализации то, что мобильный терминал выполняет обработку наложения пикселей для i-го кадра и результата обработки синтеза первых i-1 кадров может пониматься как то, что мобильный терминал выполняет обработку наложения пикселей для i-го кадра и результата обработки синтеза первых i-1 кадров на основе предварительно установленного первого веса результата обработки синтеза первых i-1 кадров и предварительно установленного второго веса i-го кадра. Сумма предварительно установленного первого веса и предварительно установленного второго веса больше 1, но меньше 2.[0284] In an exemplary implementation, that the mobile terminal performs pixel overlay processing for the i-th frame and the result of synthesis processing of the first i-1 frames can be understood as that the mobile terminal performs pixel overlay processing for the i-th frame and the result of synthesis processing the first i-1 frames based on the preset first weight of the synthesis processing result of the first i-1 frames and the preset second weight of the i-th frame. The sum of the preset first weight and the preset second weight is greater than 1 but less than 2.
[0285] Например, предварительно установленный первый вес равен 1, а предварительно установленный второй вес больше 0, но меньше 1; или предварительно установленный первый вес и предварительно установленный второй вес больше 0, но меньше 1.[0285] For example, the preset first weight is 1, and the preset second weight is greater than 0 but less than 1; or the preset first weight and the preset second weight are greater than 0 but less than 1.
[0286] Например, если предположить, что значение пикселя 1-го пикселя (пиксель в строке 1 и столбце 1) в 1-м кадре равно 60, предварительно установленный первый вес равен 1, значение пикселя 1-го пикселя во 2-м кадре равно 80, и предварительно установленный второй вес равен 0,4, значение пикселя 1-го пикселя в результате обработки наложения пикселей первых двух кадров, полученное после выполнения обработки наложения пикселей для 1-го кадра и 2-го кадра, составляет 60x1+80x0,4=92.[0286] For example, assuming that the pixel value of the 1st pixel (the pixel in row 1 and column 1) in the 1st frame is 60, the preset first weight is 1, the pixel value of the 1st pixel in the 2nd frame is 80, and the preset second weight is 0.4, the pixel value of the 1st pixel as a result of the pixel overlay processing of the first two frames, obtained after performing the pixel overlay processing for the 1st frame and the 2nd frame, is 60x1+80x0, 4=92.
[0287] В возможной реализации мобильный терминал определяет, согласно предварительно установленному первому правилу, вес пикселя в результате наложения пикселей первых i кадров и вес пикселя в i-м кадре, при этом предварительно установленное первое правило включает в себя следующее: Пиксель, расположенный ближе к центру яркости (например, пиксель, значение которого равно 128), имеет больший вес, а пиксель, находящийся дальше от центра яркости, имеет меньший вес; и выполняет обработку смешивания кадров для i-го кадра и результата наложения пикселей первых i кадров на основе веса пикселя в результате наложения пикселей первых i кадров и веса пикселя в i-м кадре, чтобы получить i-е возможное целевое изображение.[0287] In an exemplary implementation, the mobile terminal determines, according to a predetermined first rule, the pixel weight of the pixel overlay of the first i frames and the weight of the pixel in the i-th frame, the predetermined first rule includes the following: The pixel closest to the center of brightness (for example, a pixel whose value is 128) has more weight, and a pixel farther from the center of brightness has less weight; and performs frame blending processing on the i-th frame and the pixel stacking result of the first i frames based on the pixel weight of the pixel stacking result of the first i frames and the pixel weight in the i-th frame to obtain the i-th possible target image.
[0288] В качестве другого примера, если предположить, что значение пикселя 1-го пикселя (пикселя в строке 1 и столбце 1) в результате обработки наложения пикселей первых двух кадров составляет 92, вес первого пикселя, полученный в соответствии с предварительно установленным первым правилом, в результате обработки наложения пикселей первых двух кадров равен 0,6, значение пикселя 1-го пикселя во 2-м кадре равно 80, а вес 1-го пикселя, полученный в соответствии с предварительно установленным первым правилом, во 2-м кадре равен 0.4, когда обработка смешивания кадров выполняется для 2-го кадра и результата обработки наложения пикселей первых двух кадров, веса двух кадров сначала нормализуются (0,6:0,4=3/5:2/5), а затем выполняется наложение, то есть значение пикселя 1-го пикселя во 2-м возможном целевом кадре составляет 3/5x92+2/5x80=87,2.[0288] As another example, assuming that the pixel value of the 1st pixel (the pixel in row 1 and column 1) as a result of the pixel overlay processing of the first two frames is 92, the weight of the first pixel obtained in accordance with the preset first rule , as a result of the pixel overlay processing of the first two frames is 0.6, the pixel value of the 1st pixel in the 2nd frame is 80, and the weight of the 1st pixel obtained according to the preset first rule in the 2nd frame is 0.4, when frame blending processing is performed on the 2nd frame and the pixel blending processing result of the first two frames, the weights of the two frames are first normalized (0.6:0.4=3/5:2/5) and then blending is performed, then there is a pixel value of the 1st pixel in the 2nd possible target frame is 3/5x92+2/5x80=87.2.
[0289] Другими словами, мобильный терминал сначала выполняет обработку наложения пикселей для i-го кадра в N кадрах и результата обработки синтеза первых i-1 кадров, чтобы улучшить яркость изображения; и затем выполняет обработку смешивания кадров для i-го кадра и результата обработки наложения первых i кадров, так что все области во всем изображении приближаются к центру яркости. Наконец, улучшается динамический диапазон изображения, полученного после синтеза, и улучшается фотографический эффект изображения.[0289] In other words, the mobile terminal first performs pixel overlay processing for the i-th frame in N frames and the result of the synthesis processing of the first i-1 frames to improve image brightness; and then performs frame blending processing on the i'th frame and the result of the first i frames' overlay processing so that all areas in the entire image approach the brightness center. Finally, the dynamic range of the post-synthesis image is improved and the photographic effect of the image is improved.
[0290] Следует отметить, что в вышеприведенных примерах процедура обработки наложения пикселей и процедура обработки смешивания кадров описываются с использованием пикселей в соответствующих местах в 1-м кадре и 2-м кадре. Процедура обработки пикселей в соответствующих местах в двух кадрах аналогична описанным выше процедурам. Чтобы избежать повторов, подробности здесь снова не приводятся.[0290] It should be noted that in the above examples, the pixel overlay processing procedure and the frame blending processing procedure are described using pixels at respective locations in the 1st frame and the 2nd frame. The procedure for processing pixels at respective locations in two frames is similar to the procedures described above. To avoid repetition, details are again omitted here.
[0291] Опционально, если мобильный терминал не обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал выполняет обработку синтеза для (i+1)-го кадра в N кадрах и результата синтеза первых i кадров для получения (i+1)-го возможного целевого изображения; и мобильный терминал отображает (i+1)-е возможное целевое изображение и вторую информацию с подсказкой для пользователя, используя интерфейс отображения.[0291] Optionally, if the mobile terminal does not detect within the predetermined first duration a synthesis processing completion instruction that is input by the user based on the second prompt information, the mobile terminal performs synthesis processing for the (i+1)th frame in N frames and the result synthesizing the first i frames to obtain the (i+1)th possible target image; and the mobile terminal displays the (i+1)th candidate target image and the second user prompt information using the display interface.
[0292] Опционально, если мобильный терминал не принимает в пределах предварительно установленной первой продолжительности после отображения N-го возможного целевого изображения пользователю с помощью интерфейса отображения инструкцию завершения обработки синтеза, которую вводит пользователь, мобильный терминал определяет N-е возможное целевое изображение в качестве целевого изображения.[0292] Optionally, if the mobile terminal does not receive, within a predetermined first duration, after displaying the Nth possible target image to the user via the display interface, the synthesis processing completion instruction that the user inputs, the mobile terminal determines the Nth possible target image as the target image. Images.
[0293] Другими словами, в процедуре последовательного выполнения мобильным терминалом обработки синтеза по меньшей мере для двух кадров, каждый раз, когда выполняется синтез, результат обработки синтеза отображается пользователю с использованием интерфейса отображения, и пользователю предлагается выводить или не выводить результат синтеза в качестве целевого изображения; и если инструкция завершения обработки синтеза от пользователя обнаружена в пределах предварительно установленной первой продолжительности после того, как пользователю сделана подсказка, результат синтеза, полученный на этот раз, выводится как целевое изображение; в противном случае синтез продолжается для следующего изображения, пока не будет завершен последний синтез.[0293] In other words, in the procedure for sequentially performing synthesis processing by the mobile terminal for at least two frames, each time synthesis is performed, the synthesis processing result is displayed to the user using the display interface, and the user is prompted to output or not to output the synthesis result as a target. Images; and if a synthesis processing termination instruction from the user is detected within a predetermined first duration after the user is prompted, the synthesis result obtained this time is output as the target image; otherwise, synthesis continues for the next image until the last synthesis is completed.
[0294] Опционально, до того, как мобильный терминал выполнит обработку синтеза для 1-го кадра и 2-го кадра, мобильный терминал может отображать 1-й кадр пользователю с помощью интерфейса отображения; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет 1-й кадр как целевое изображение; или если мобильный терминал не обнаруживает инструкцию завершения обработки синтеза в пределах предварительно установленной первой продолжительности, мобильный терминал выполняет обработку синтеза для 1-го кадра и 2-го кадра.[0294] Optionally, before the mobile terminal performs the synthesis processing for the 1st frame and the 2nd frame, the mobile terminal may display the 1st frame to the user with a display interface; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the 1st frame as the target image; or if the mobile terminal does not detect a synthesis processing completion instruction within a preset first duration, the mobile terminal performs synthesis processing for the 1st frame and the 2nd frame.
[0295] Режим фотографирования 2: режим съемки с рук и режим источника света[0295] Photo mode 2: handheld mode and light source mode
[0296] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, а N является целым числом больше 1, обработка синтеза включает в себя обработку регистрации кадров, обработку наложения пикселей и обработку смешивания кадров в режиме фотографирования 1.[0296] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes frame registration processing, pixel overlay processing, and frame blending processing in photograph mode 1 .
[0297] В частности, мобильный терминал выполняет обработку регистрации кадров для i-го кадра в N кадрах на основе кадра, полученного с помощью опорного параметра экспозиции, для получения i-го результата обработки регистрации кадров; мобильный терминал выполняет обработку наложения пикселей для i-го результата обработки регистрации кадров и результата обработки синтеза первых i-1 кадров, чтобы получить i-й результат обработки наложения пикселей, где значение i составляет 2, 3,..., или N; терминальное устройство выполняет обработку смешивания кадров для i-го результата обработки наложения пикселей и i-го кадра, чтобы получить i-е возможное целевое изображение; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0297] Specifically, the mobile terminal performs frame registration processing for the i-th frame in N frames based on the frame obtained by the reference exposure parameter to obtain the i-th frame registration processing result; the mobile terminal performs pixel overlay processing on the i-th frame registration processing result and the first i-1 frame synthesis processing result to obtain the i-th pixel overlay processing result, where the value of i is 2, 3,..., or N; the terminal apparatus performs frame mixing processing on the i-th pixel overlay processing result and the i-th frame to obtain the i-th possible target image; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0298] Следует отметить, что разница между режимом фотографирования 2 и режимом фотографирования 1 заключается в следующем: В режиме фотографирования 2 мобильный терминал находится в состоянии съемки с рук; поэтому, перед тем как синтезировать каждый кадр, должна быть выполнена обработка регистрации кадров для данного кадра и опорного кадра, который получен с использованием опорного параметра экспозиции, чтобы избежать межкадрового дрожания, вызванного состоянием съемки с рук, то есть, все кадры, кроме опорного кадра, необходимо выровнять с опорным кадром.[0298] It should be noted that the difference between the photographing mode 2 and the photographing mode 1 is as follows: In the photographing mode 2, the mobile terminal is in a handheld shooting state; therefore, before synthesizing each frame, frame registration processing must be performed for this frame and the key frame which is obtained using the reference exposure parameter to avoid inter-frame jitter caused by the handheld state, i.e., all frames except the key frame , must be aligned with the reference frame.
[0299] Кроме того, после обработки регистрации кадров может иметься невыровненная краевая область. Результат обработки регистрации кадров может быть обрезан или увеличен для удаления невыровненной краевой области.[0299] In addition, after frame registration processing, there may be an unaligned edge region. The result of the frame registration processing may be cropped or enlarged to remove the unaligned edge region.
[0300] В частности, регистрация кадров может быть выполнена с использованием способа регистрации кадров, известного из предшествующего уровня техники. Это не ограничено в этом варианте осуществления настоящего изобретения.[0300] In particular, frame registration may be performed using a frame registration method known in the prior art. This is not limited in this embodiment of the present invention.
[0301] Опционально, поскольку в состоянии съемки с рук могут происходить дрожание и размытие, для каждого кадра может быть произведено увеличение резкости в процедуре обработки синтеза, чтобы улучшить четкость изображения.[0301] Optionally, since jitter and blur may occur in the handheld shooting state, sharpening can be performed for each frame in the synthesis processing procedure to improve image clarity.
[0302] Следует понимать, что процедура обработки наложения пикселей и процедура обработки смешивания кадров в режиме фотографирования 2 идентичны процедуре обработки наложения пикселей в режиме фотографирования 1. Для получения подробной информации см. режим фотографирования 1. Чтобы избежать повторов, подробности здесь снова не приводятся.[0302] It should be understood that the pixel overlay processing procedure and the frame blending processing procedure in the photograph mode 2 are identical to the pixel overlay processing procedure in the photograph mode 1. For details, see the photograph mode 1. To avoid repetition, details are omitted here again.
[0303] Режим фотографирования 3: режим штатива и темный режим[0303] Photo mode 3: tripod mode and dark mode
[0304] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, а N является целым числом больше 1, обработка синтеза включает в себя обработку наложения пикселей в режиме фотографирования 1.[0304] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes pixel overlay processing in photographing mode 1.
[0305] В частности, мобильный терминал выполняет обработку наложения пикселей для i-го кадра в N кадрах и результата обработки синтеза первых i-1 кадров, чтобы получить i-е возможное целевое изображение, при этом значение i равно 2, 3, …, или N; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0305] Specifically, the mobile terminal performs pixel overlay processing for the i-th frame in N frames and the result of the synthesis processing of the first i-1 frames to obtain the i-th possible target image, where the value of i is 2, 3, ..., or N; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0306] Следует понимать, что процедура обработки наложения пикселей в режиме фотографирования 3 аналогична процедуре обработки наложения пикселей в режиме фотографирования 1. Для получения подробной информации см. режим фотографирования 1. Чтобы избежать повторов, подробности здесь снова не приводятся.[0306] It should be understood that the procedure for pixel overlay processing in photograph mode 3 is the same as that for pixel overlay processing in photograph mode 1. For details, see photograph mode 1. To avoid repetition, details are omitted here again.
[0307] Режим фотографирования 4: режим съемки с рук и темный режим[0307] Photo mode 4: handheld mode and dark mode
[0308] Следует отметить, что если предположить, что по меньшей мере два кадра включают в себя N кадров, а N является целым числом больше 1, обработка синтеза включает в себя обработку регистрации кадров и обработку наложения пикселей в режиме фотографирования 1.[0308] It should be noted that, assuming that at least two frames include N frames, and N is an integer greater than 1, the synthesis processing includes frame registration processing and pixel overlay processing in photographing mode 1.
[0309] В частности, терминальное устройство выполняет обработку регистрации кадров для i-го кадр в N кадрах на основе кадра, который получен с использованием опорного параметра экспозиции, для получения i-го результата обработки регистрации кадров; мобильный терминал выполняет обработку наложения пикселей для i-го результата обработки регистрации кадров и результата обработки синтеза первых i-1 кадров, чтобы получить i-е возможное целевое изображение, при этом значение i равно 2, 3, …, или N; мобильный терминал отображает i-е возможное целевое изображение и вторую информацию с подсказкой для пользователя с помощью интерфейса отображения, при этом вторая информация с подсказкой используется для подсказки пользователю завершить или не завершить обработку синтеза; и если мобильный терминал обнаруживает в пределах предварительно установленной первой продолжительности инструкцию завершения обработки синтеза, которая вводится пользователем на основе второй информации с подсказкой, мобильный терминал останавливает обработку синтеза и определяет i-е возможное целевое изображение в качестве целевого изображения.[0309] Specifically, the terminal device performs frame registration processing for the i-th frame in N frames based on the frame that is obtained using the reference exposure parameter to obtain the i-th frame registration processing result; the mobile terminal performs pixel overlay processing on the i-th frame registration processing result and the first i-1 frame synthesis processing result to obtain the i-th candidate target image, where i is 2, 3, ..., or N; the mobile terminal displays the i-th possible target image and the second prompt information to the user through the display interface, the second prompt information is used to prompt the user to complete or not complete the synthesis processing; and if the mobile terminal detects, within the predetermined first duration, a synthesis processing end instruction that is input by the user based on the second prompt information, the mobile terminal stops the synthesis processing and determines the i-th possible target image as the target image.
[0310] Следует понимать, что процедура обработки регистрации кадров и процедура обработки наложения пикселей в режиме фотографирования 3 идентичны процедуре обработки наложения пикселей в режиме фотографирования 1. Для получения подробной информации см. режим фотографирования 1. Чтобы избежать повторов, подробности здесь снова не приводятся.[0310] It should be understood that the frame registration processing procedure and the pixel overlay processing procedure in photograph mode 3 are identical to the pixel overlay processing procedure in photograph mode 1. For details, see photograph mode 1. To avoid repetition, details are omitted here again.
[0311] S260. Мобильный терминал выводит целевое изображение.[0311] S260. The mobile terminal outputs the target image.
[0312] Более конкретно, мобильный терминал может использовать целевое изображение в качестве изображения, которое будет, в конечном счете, храниться в галерее после текущего фотографирования.[0312] More specifically, the mobile terminal may use the target image as an image that will eventually be stored in the gallery after the current photograph.
[0313] Другими словами, мобильный терминал может хранить целевое изображение в памяти.[0313] In other words, the mobile terminal may store the target image in memory.
[0314] Ниже подробно описывается, со ссылкой на Фиг. 10 - Фиг. 17, как интерфейс отображения мобильного терминала представлен в процессе выполнения способа фотографирования, предусмотренного в этом воплощении данного приложения.[0314] Described in detail below with reference to FIG. 10 - Fig. 17 as a display interface of the mobile terminal is presented in the process of executing the photographing method provided in this embodiment of this application.
[0315] Например, когда пользователю необходимо сделать снимок, пользователь может дать команду электронному устройству запустить камеру. Например, пользователь может дать команду электронному устройству, нажав значок камеры, чтобы запустить камеру; или пользователь может голосовым образом дать команду электронному устройству, чтобы запустить камеру; или пользователь может дать команду электронному устройству, нарисовав линию в форме "C" на экране в состоянии выключенного экрана, чтобы запустить камеру. Способ запуска электронного устройства для запуска камеры не ограничен в этом воплощении настоящего изобретения.[0315] For example, when the user needs to take a picture, the user can instruct the electronic device to start the camera. For example, the user may command the electronic device by pressing the camera icon to launch the camera; or the user can verbally command the electronic device to start the camera; or the user can command the electronic device by drawing a "C" shaped line on the screen in the screen off state to start the camera. The method for triggering the camera trigger electronic device is not limited in this embodiment of the present invention.
[0316] После запуска камеры мобильный терминал отображает интерфейс отображения, показанный на Фиг. 10. Интерфейс отображения включает в себя текущее предварительно просматриваемое изображение, информацию с подсказкой о статусе фотографирования, информацию о сцене фотографирования, значок затвора, информацию с подсказкой о параметре экспозиции и подобное. Это не ограничено в этом варианте осуществления настоящего изобретения.[0316] After starting the camera, the mobile terminal displays the display interface shown in FIG. 10. The display interface includes the current preview image, photographing status prompt information, photographing scene information, shutter icon, exposure parameter prompt information, and the like. This is not limited in this embodiment of the present invention.
[0317] В возможной реализации, на интерфейсе отображения, показанном на Фиг. 10, информация с подсказкой о статусе фотографирования может быть в текстовой форме, форме значка или другой форме, например голосовой подсказкой, которая может подсказать пользователю текущий статус фотографирования. Это не ограничено в этом варианте осуществления настоящего изобретения.[0317] In a possible implementation, on the display interface shown in FIG. 10, the photographing status prompt information may be in text form, icon form, or other form such as a voice prompt, which may prompt the user for the current photographing status. This is not limited in this embodiment of the present invention.
[0318] Например, интерфейс отображения может отображать "использовать штатив для съемки (use a tripod to shoot)", "пожалуйста, стабилизируйте Ваше устройство (please steady your device) ", или тому подобное.[0318] For example, the display interface may display "use a tripod to shoot", "please steady your device (please steady your device)", or the like.
[0319] В другом примере интерфейс отображения может отображать значок "штатив" и значок "без тряски".[0319] In another example, the display interface may display a "tripod" icon and a "no shake" icon.
[0320] В возможной реализации, на интерфейсе отображения, показанном на Фиг. 10, информация с подсказкой о сцене фотографирования может быть в текстовой форме, форме значка или другой форме, например голосовой подсказкой, которая может подсказать пользователю текущую сцену фотографирования. Это не ограничено в этом варианте осуществления настоящего изобретения.[0320] In a possible implementation, on the display interface shown in FIG. 10, the photographing scene prompt information may be in text form, icon form, or other form such as a voice prompt, which may prompt the current photographing scene to the user. This is not limited in this embodiment of the present invention.
[0321] Например, интерфейс отображения может отображать "ночной снимок (night shot)", "яркий снимок", "темный снимок" или "светлый снимок".[0321] For example, the display interface may display "night shot", "bright shot", "dark shot", or "bright shot".
[0322] В другом примере интерфейс отображения может отображать значок "солнце", чтобы указать, что есть источник света, и указать интенсивность текущего источника света, используя количество солнечных лучей в значке "солнце"; или отобразить значок "луна", чтобы указать ночной снимок.[0322] In another example, the display interface may display a sun icon to indicate that there is a light source and indicate the intensity of the current light source using the amount of sun rays in the sun icon; or display a "moon" icon to indicate a night shot.
[0323] В возможной реализации на интерфейсе отображения, показанном на Фиг. 10, информация с подсказкой о параметре экспозиции может быть в текстовой форме, форме значка или другой форме, такой как голосовая подсказка, которая может подсказывать пользователю текущий параметр экспозиции. Это не ограничено в этом варианте осуществления настоящего изобретения.[0323] In a possible implementation on the display interface shown in FIG. 10, the exposure setting prompt information may be in text form, icon form, or other form such as a voice prompt that may prompt the current exposure setting to the user. This is not limited in this embodiment of the present invention.
[0324] Например, интерфейс отображения может отображать «продолжительность экспозиции T: ** секунд (миллисекунд)», «светочувствительность ISO: **» или «значение диафрагмы F: ***».[0324] For example, the display interface may display "exposure duration T: ** seconds (milliseconds)", "ISO sensitivity: **", or "aperture value F: ***".
[0325] В качестве другого примера интерфейс отображения может отображать значок «режим автоматической установки продолжительности экспозиции (auto)», значок «режим автоматической настройки ISO» или значок «режим автоматической установки значения диафрагмы».[0325] As another example, the display interface may display an "auto duration exposure mode (auto)" icon, an "ISO auto mode" icon, or an "auto iris value mode" icon.
[0326] Опционально, параметр экспозиции может находиться в режиме автоматической настройки, или может находиться в режиме ручной настройки пользователем, или может находиться в полуавтоматическом или полуручном режиме. Это не ограничено в этом варианте осуществления настоящего изобретения.[0326] Optionally, the exposure parameter may be in automatic setting mode, or may be in manual mode by the user, or may be in semi-automatic or semi-manual mode. This is not limited in this embodiment of the present invention.
[0327] Например, как показано на Фиг. 11, интерфейс отображения может отображать значок «ISO». После нажатия на значок пользователь может вручную установить ISO.[0327] For example, as shown in FIG. 11, the display interface can display the "ISO" icon. After clicking on the icon, the user can manually install the ISO.
[0328] Следует понимать, что Фиг. 11 показывает просто пример интерфейса отображения, который отображается после запуска камеры. Интерфейс отображения на Фиг. 11 может дополнительно включать в себя другую часть существующего интерфейса отображения, такую как экран предварительного просмотра альбома, клавишу «домой», клавишу возврата или клавишу меню. Этот вариант осуществления настоящего изобретения не должен ограничиваться этим.[0328] It should be understood that FIG. 11 simply shows an example of a display interface that is displayed after starting the camera. The display interface in FIG. 11 may further include another portion of the existing display interface, such as an album preview screen, a home key, a back key, or a menu key. This embodiment of the present invention should not be limited to this.
[0329] Когда пользователю нужно сделать снимок, он нажимает на кнопку затвора. В этом случае мобильный терминал на основе обнаруженной инструкции фотографирования, введенной пользователем, предлагает пользователю стабилизировать устройство, получает предварительно просматриваемое изображение, определяет текущий режим фотографирования, определяет последовательность параметров экспозиции на основе предварительно просматриваемого изображения и режим фотографирования, и получает по меньшей мере два кадра, соответствующие последовательности параметров экспозиции.[0329] When the user needs to take a picture, he presses the shutter button. In this case, the mobile terminal, based on the detected photographing instruction input by the user, prompts the user to stabilize the device, acquires a preview image, determines the current photographing mode, determines the exposure sequence based on the preview image and the photographing mode, and acquires at least two frames, appropriate sequence of exposure settings.
[0330] После того, как мобильный терминал определит текущий режим фотографирования, мобильный терминал может выдать подсказку пользователю касательно текущего режима фотографирования с помощью интерфейса отображения.[0330] After the mobile terminal determines the current photographing mode, the mobile terminal may prompt the user regarding the current photographing mode using the display interface.
[0331] Например, как показано на Фиг. 12, интерфейс отображения подсказывает пользователю, что текущий режим фотографирования - это режим штатива и режим источника света.[0331] For example, as shown in FIG. 12, the display interface prompts the user that the current photographing mode is tripod mode and light source mode.
[0332] Например, если по меньшей мере два кадра представляют собой кадр 1, кадр 2, кадр 3 и кадр 4, на Фиг. 13 - Фиг. 16 показаны возможные способы отображения интерфейса отображения в процессе выполнения, мобильным терминалом после получения по меньшей мере двух кадров на основе параметров экспозиции, обработки синтеза на основе этих по меньшей мере двух кадров. Однако этот вариант осуществления настоящего изобретения не должен ограничиваться этим.[0332] For example, if at least two frames are frame 1, frame 2, frame 3, and frame 4, in FIG. 13 - Fig. 16 shows possible methods for displaying a display interface in progress by a mobile terminal after receiving at least two frames based on exposure parameters, processing synthesis based on these at least two frames. However, this embodiment of the present invention should not be limited to this.
[0333] На Фиг. 13 показано 1-е возможное целевое изображение (кадр 1). Фиг. 14 показывает второе возможное целевое изображение (которое является результатом синтеза кадра 1 и кадра 2). Фиг. 15 показывает третье возможное целевое изображение (которое является результатом синтеза второго возможного целевого изображения и кадра 3). Фиг. 16 показывает четвертое возможное целевое изображение (которое является результатом синтеза третьего возможного целевого изображения и кадра 4), а именно окончательное целевое изображение.[0333] In FIG. 13 shows the 1st possible target image (frame 1). Fig. 14 shows a second possible target image (which is the result of a synthesis of frame 1 and frame 2). Fig. 15 shows a third candidate target image (which is the result of synthesizing the second candidate target image and frame 3). Fig. 16 shows the fourth candidate target image (which is the result of synthesizing the third candidate target image and frame 4), namely the final target image.
[0334] Опционально, интерфейс отображения может дополнительно подсказывать пользователю, что съемка или обработка продолжается.[0334] Optionally, the display interface may further prompt the user that filming or processing is ongoing.
[0335] Опционально, интерфейс отображения может дополнительно включать в себя счетчик обратного отсчета обработки синтеза и отображать полосу 1300 выполнения обратного отсчета для пользователя (полоса 1300 выполнения обратного отсчета изображена и обозначена на фиг. 13-15 и 17).[0335] Optionally, the display interface may further include a synthesis processing countdown counter and display a countdown progress bar 1300 to the user (the countdown progress bar 1300 is depicted and labeled in FIGS. 13-15 and 17).
[0336] Опционально, интерфейс отображения может дополнительно отображать продолжительность, в течение которой уже используется текущая обработка синтеза.[0336] Optionally, the display interface may further display the duration for which the current synthesis processing is already in use.
[0337] Опционально, интерфейс отображения может дополнительно предлагать пользователю конкретное изображение, на котором выполняется синтез.[0337] Optionally, the display interface may further offer the user a specific image on which synthesis is performed.
[0338] Опционально, интерфейс отображения может дополнительно выдавать подсказку для пользователя касательно полученного в настоящее время возможного целевого изображения и количества полученных возможных целевых изображений.[0338] Optionally, the display interface may further provide a hint to the user regarding the currently acquired candidate target image and the number of acquired candidate target images.
[0339] В качестве другого примера Фиг. 17 показывает пример возможного интерфейса отображения второй информации с подсказкой. Мобильный терминал может предлагать пользователю с помощью интерфейса отображения прекратить текущее фотографирование после получения удовлетворительного эффекта; и предоставить значок завершения. Вторая информация с подсказкой может отображаться на любом из интерфейсов отображения на Фиг. 13 - Фиг. 16, чтобы выдать подсказку пользователю. Когда пользователь нажимает кнопку завершения, обработка синтеза кадров заканчивается, и возможное целевое изображение, отображаемое на текущем интерфейсе отображения, отображается пользователю как окончательное целевое изображение и сохраняется в галерее.[0339] As another example, FIG. 17 shows an example of a possible display interface of the second prompt information. The mobile terminal may prompt the user through the display interface to stop the current photographing after obtaining a satisfactory effect; and provide a completion icon. The second prompt information may be displayed on any of the display interfaces in FIG. 13 - Fig. 16 to prompt the user. When the user presses the end button, the frame synthesis processing ends and the candidate target image displayed on the current display interface is displayed to the user as the final target image and stored in the gallery.
[0340] Опционально, Фиг. 13 и Фиг. 17 показывают просто пример изменений интерфейса отображения в процессе фотографирования мобильного терминала. В процессе фотографирования интерфейс отображения мобильного терминала может дополнительно отображать другой процесс изменения, связанный с обработкой фотографирования и синтеза. Этот вариант осуществления настоящего изобретения не должен ограничиваться этим.[0340] Optionally, FIG. 13 and FIG. 17 simply show an example of changes in the display interface in the process of photographing the mobile terminal. In the photographing process, the display interface of the mobile terminal may further display another change process related to the photographing and synthesis processing. This embodiment of the present invention should not be limited to this.
[0341] Со ссылкой на Фиг. 18 ниже описывается схематическое изображение архитектуры 400 системы, представленной в варианте осуществления настоящего изобретения. Системная структура используется для реализации способа, предусмотренного в способе 400.[0341] With reference to FIG. 18, a schematic representation of a
[0342] Приложение (APP) 410 камеры сконфигурировано с возможностью получения инструкции запуска камеры, введенной пользователем, и обеспечения функции фотографирования для пользователя.[0342] The camera application (APP) 410 is configured to receive the camera start instruction entered by the user and provide a photographing function to the user.
[0343] Центр 420 управления сконфигурирован с возможностью обнаружения инструкции фотографирования, введенной пользователем; и после обнаружения инструкции фотографирования запроса начального параметра экспозиции у центра 430 обработки и запросить параметр датчика у датчика 440.[0343] The control center 420 is configured to detect the photographing instruction entered by the user; and upon detecting the photographing instruction, request an initial exposure parameter from the processing center 430, and request a sensor parameter from the sensor 440.
[0344] В возможной реализации центр 420 управления может быть, например, операционной системой мобильного терминала.[0344] In a possible implementation, the control center 420 may be, for example, the operating system of a mobile terminal.
[0345] Центр обработки 430 сконфигурирован так, чтобы доставлять начальный параметр экспозиции в центр 420 управления согласно запросу центра 420 управления.[0345] The processing center 430 is configured to deliver the initial exposure parameter to the control center 420 according to the request of the control center 420.
[0346] В возможной реализации центр 430 обработки может быть, например, модулем фоновой обработки, используемым с камерой.[0346] In a possible implementation, the processing center 430 may be, for example, a background processing module used with a camera.
[0347] Центр управления 420 дополнительно сконфигурирован с возможностью доставки начального параметра экспозиции в процессор сигналов изображения (ISP) 450 на основе принятого начального параметра экспозиции и инструктирования ISP 450 о захвате предварительно просматриваемого изображения на основе начального параметра экспозиции.[0347] The control center 420 is further configured to deliver an initial exposure parameter to the image signal processor (ISP) 450 based on the received initial exposure parameter and instruct the ISP 450 to capture a preview image based on the initial exposure parameter.
[0348] ISP 450 сконфигурирован с возможностью управления камерой 460 для получения предварительно просматриваемого изображения на основе начального параметра и отправки предварительно просматриваемого изображения в центр 430 обработки.[0348] The ISP 450 is configured to control the
[0349] В возможной реализации ISP 450 может быть, например, аппаратным, сконфигурированным с возможностью выполнения конфигурации параметров камеры и выполнения обработки, такой как обработка формата, на выходе изображения камерой.[0349] In an exemplary implementation, the ISP 450 may be, for example, hardware configured to perform camera parameter configuration and perform processing, such as format processing, on the image output of the camera.
[0350] Датчик 440 сконфигурирован с возможностью отправки данных датчика в центр 420 управления согласно запросу центра 420 управления.[0350] The sensor 440 is configured to send sensor data to the control center 420 according to the request of the control center 420.
[0351] Центр 420 управления дополнительно сконфигурирован с возможностью отправки в центр 430 обработки данных датчика, которые получены от датчика 440, и предварительно просматриваемого изображения, которое получено от ISP 450.[0351] The control center 420 is further configured to send to the processing center 430 the sensor data that is received from the sensor 440 and the preview image that is received from the ISP 450.
[0352] Центр обработки 430 дополнительно выполнен с возможностью: (1) отправить в блок 470 кодирования изображения предварительно просматриваемое изображение, полученное из центра 420 управления, для кодирования; (2) определить текущий режим фотографирования и дать команду экрану дисплея отображать текущий режим фотографирования; и (3) определить последовательность параметров экспозиции на основе полученного предварительно просматриваемого изображения и полученных данных датчика и отправить последовательность параметров экспозиции в центр 420 управления.[0352] The processing center 430 is further configured to: (1) send to the image encoding unit 470 the preview image received from the control center 420 for encoding; (2) determine the current photographing mode and instruct the display screen to display the current photographing mode; and (3) determine the sequence of exposure parameters based on the received preview image and the received sensor data, and send the sequence of exposure parameters to the control center 420 .
[0353] В процессе (1) блок 470 кодирования изображения сконфигурирован с возможностью кодирования предварительно просматриваемого изображения, отправленного центром 430 управления, и затем отправки закодированного предварительно просматриваемого изображения на экран 480 дисплея. Экран 480 дисплея сконфигурирован с возможностью отображения пользователю предварительно просматриваемого изображения, отправленного блоком 470 кодирования изображения.[0353] In process (1), the image encoding unit 470 is configured to encode the preview image sent by the control center 430 and then send the encoded preview image to the
[0354] В процессе (2) экран 480 дисплея дополнительно сконфигурирован с возможностью отображения пользователю текущего режима фотографирования.[0354] In process (2), the
[0355] В процессе (3) центр 420 управления дополнительно сконфигурирован с возможностью доставки полученной последовательности параметров экспозиции на ISP 450.[0355] In process (3), the control center 420 is further configured to deliver the received exposure parameter sequence to the ISP 450.
[0356] ISP 450 дополнительно сконфигурирован с возможностью управления камерой на основе последовательности параметров экспозиции для захвата по меньшей мере двух кадров, соответствующих последовательности параметров экспозиции, и выполнен с возможностью отправки захваченных по меньшей мере двух кадров в центр 430 обработки.[0356] The ISP 450 is further configured to control the camera based on the exposure sequence to capture at least two frames corresponding to the exposure sequence, and is configured to send the captured at least two frames to the processing center 430.
[0357] Центр обработки 430 дополнительно сконфигурирован с возможностью: выполнять обработку синтеза кадров на основе полученных по меньшей мере двух кадров и режима фотографирования; каждый раз, когда кадр получается посредством синтеза, отправлять кадр в блок 470 кодирования кадра и отображать кадр с использованием экрана 480 дисплея; и после определения окончательного целевого изображения сохранять целевое изображение в галерее 490.[0357] The processing center 430 is further configured to: perform frame synthesis processing based on the received at least two frames and the photographing mode; each time a frame is obtained by synthesis, send the frame to the frame encoding unit 470 and display the frame using the
[0358] Фиг. 19 является схематической блок-схемой устройства 500 для фотографирования согласно варианту осуществления настоящего изобретения. Устройство 500 для фотографирования может соответствовать терминальному устройству, описанному в способе 200, а модули или блоки в устройстве 500 для фотографирования сконфигурированы с возможностью выполнения действий и процедур обработки, выполняемых терминальным устройством в способе 200. Здесь, чтобы избежать повторения, их подробное описание опущено.[0358] FIG. 19 is a schematic block diagram of a photographing
[0359] Специалист в данной области техники должен понимать, что со ссылкой на примеры, описанные в вариантах осуществления, раскрытых в этом описании, блоки и этапы алгоритма могут быть реализованы электронным аппаратным обеспечением или комбинацией компьютерного программного обеспечения и электронного аппаратного обеспечения. Выполнение функций аппаратным или программным обеспечением зависит от конкретных применений и состояний проектных ограничений технических решений. Специалист в данной области может использовать разные способы для реализации описанных функций для каждого конкретного приложения, но не следует считать, что такая реализация выходит за пределы настоящего изобретения.[0359] Those skilled in the art will understand that with reference to the examples described in the embodiments disclosed in this specification, the blocks and steps of an algorithm may be implemented by electronic hardware or a combination of computer software and electronic hardware. The performance of functions by hardware or software depends on the specific applications and the states of the design constraints of the technical solutions. A person skilled in the art can use different methods to implement the described functions for each particular application, but such an implementation should not be considered outside the scope of the present invention.
[0360] Специалисту в данной области техники должно быть ясно, что для удобства и краткости описания для подробного рабочего процесса вышеупомянутой системы, устройства и блока может быть сделана ссылка на соответствующий процесс в вышеупомянутых вариантах осуществления способа, и подробности здесь снова не описываются.[0360] A person skilled in the art should be clear that for convenience and brevity of description for the detailed workflow of the above system, device and unit, reference may be made to the corresponding process in the above method embodiments, and the details are not described here again.
[0361] В некоторых вариантах осуществления, обеспеченных в настоящем изобретении, следует понимать, что раскрытые система, устройство и способ могут быть реализованы другими способами. Например, описанный вариант осуществления устройства является просто примером. Например, разделение на блоки является лишь логическим функциональным разделением, но оно может быть другим разделением при фактической реализации. Например, множество блоков или компонентов могут быть объединены или интегрированы в другую систему, или некоторые особенности могут игнорироваться или не выполняться. Кроме того, показанные или обсуждаемые взаимные связи или прямые связи или коммуникационные соединения могут быть реализованы с использованием некоторых интерфейсов. Непрямые соединения или коммуникационные соединения между устройствами или блоками могут быть выполнены в электрических, механических или других формах.[0361] In some embodiments provided in the present invention, it should be understood that the disclosed system, apparatus, and method may be implemented in other ways. For example, the device embodiment described is merely an example. For example, the block division is only a logical functional division, but it may be a different division in actual implementation. For example, many blocks or components may be combined or integrated into another system, or certain features may be ignored or not implemented. In addition, the interconnections shown or discussed or direct links or communication connections may be implemented using some interfaces. Indirect connections or communication connections between devices or units may be in electrical, mechanical, or other forms.
[0362] Блоки, описанные как отдельные части, могут быть или могут не быть физически разделены, а части, показанные как блоки, могут быть или не быть физическими блоками, то есть могут быть расположены в одной позиции или могут быть распределены по множеству сетевых блоков. Некоторые или все блоки могут быть выбраны в зависимости от фактических требований для достижения целей решений вариантов осуществления.[0362] Blocks described as separate parts may or may not be physically separated, and parts shown as blocks may or may not be physical blocks, that is, they may be located in the same position or may be distributed over multiple network blocks. . Some or all of the blocks may be selected depending on the actual requirements to achieve the objectives of the solutions of the embodiments.
[0363] Кроме того, функциональные блоки в вариантах осуществления настоящего изобретения могут быть интегрированы в один блок обработки, или каждый из блоков может существовать отдельно физически, или два или более блоков могут быть интегрированы в один блок.[0363] In addition, the functional blocks in the embodiments of the present invention may be integrated into one processing unit, or each of the units may exist separately physically, or two or more units may be integrated into one unit.
[0364] Когда функции реализованы в форме функционального блока программного обеспечения и продаются или используются как независимый продукт, функции могут храниться на компьютерно-читаемом запоминающем носителе. Основываясь на таком понимании, технические решения из настоящего изобретения по существу, или часть, вносящая вклад в предшествующий уровень техники, или некоторые технические решения, могут быть реализованы в форме программного продукта. Компьютерный программный продукт хранится на запоминающем носителе и включает в себя несколько инструкций для указания компьютерному устройству (которое может быть персональным компьютером, сервером, сетевым устройством или т.п.) выполнять все или некоторые из этапов способов, описанных в вариантах осуществления настоящего изобретения. Запоминающий носитель включает в себя любой носитель, на котором может храниться программный код, например USB-накопитель, съемный жесткий диск, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), магнитный диск или оптический диск.[0364] When the functions are implemented in the form of a software functional block and sold or used as a standalone product, the functions may be stored on a computer-readable storage medium. Based on this understanding, the technical solutions of the present invention per se, or the part contributing to the prior art, or some of the technical solutions, can be implemented in the form of a software product. The computer program product is stored on a storage medium and includes several instructions for directing a computing device (which may be a personal computer, server, network device, or the like) to perform all or some of the steps of the methods described in the embodiments of the present invention. A storage medium includes any medium that can store program code, such as a USB flash drive, removable hard drive, read only memory (ROM), random access memory (RAM), magnetic disk, or optical disk.
[0365] Вышеприведенные описания являются просто конкретными реализациями настоящего изобретения, но не предназначены для ограничения объема охраны настоящего изобретения. Любое изменение или замена, легко обнаруживаемые специалистом в данной области техники в пределах технического объема, раскрытого в настоящем изобретении, должны попадать в объем охраны настоящего изобретения. Соответственно, объем охраны настоящего изобретения определяется объемом охраны формулы изобретения.[0365] The above descriptions are merely specific implementations of the present invention, but are not intended to limit the scope of the present invention. Any change or substitution readily detectable by a person skilled in the art within the technical scope disclosed in the present invention should fall within the protection scope of the present invention. Accordingly, the scope of protection of the present invention is determined by the scope of protection of the claims.
Claims (80)
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2020134122A Division RU2769759C1 (en) | 2018-03-27 | 2018-03-27 | Mobile photography terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2785789C1 true RU2785789C1 (en) | 2022-12-13 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6272289B1 (en) * | 1998-09-14 | 2001-08-07 | Canon Kabushiki Kaisha | Camera |
JP2007240732A (en) * | 2006-03-07 | 2007-09-20 | Pentax Corp | Camera with vibration-proof function |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6272289B1 (en) * | 1998-09-14 | 2001-08-07 | Canon Kabushiki Kaisha | Camera |
JP2007240732A (en) * | 2006-03-07 | 2007-09-20 | Pentax Corp | Camera with vibration-proof function |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2769759C1 (en) | Mobile photography terminal | |
US20090227283A1 (en) | Electronic device | |
WO2021219141A1 (en) | Photographing method, graphic user interface, and electronic device | |
CN112866557A (en) | Composition recommendation method and electronic device | |
CN111416936A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
RU2785789C1 (en) | Photography using night mode processing and user interface | |
JPWO2019187648A1 (en) | Imaging equipment, imaging methods, programs and recording media | |
CN112422814A (en) | Shooting method and electronic equipment | |
WO2022206783A1 (en) | Photography method and apparatus, and electronic device and readable storage medium | |
JP7212128B2 (en) | Image processing method, device and storage medium | |
RU2789447C1 (en) | Method and apparatus for multichannel video recording | |
CN117560574B (en) | Shooting method, electronic equipment and readable storage medium |