RU2631994C1 - Способ, устройство и сервер для определения плана съемки изображения - Google Patents

Способ, устройство и сервер для определения плана съемки изображения Download PDF

Info

Publication number
RU2631994C1
RU2631994C1 RU2016110590A RU2016110590A RU2631994C1 RU 2631994 C1 RU2631994 C1 RU 2631994C1 RU 2016110590 A RU2016110590 A RU 2016110590A RU 2016110590 A RU2016110590 A RU 2016110590A RU 2631994 C1 RU2631994 C1 RU 2631994C1
Authority
RU
Russia
Prior art keywords
image
plan
determining
model
processed
Prior art date
Application number
RU2016110590A
Other languages
English (en)
Inventor
Тао ЖАН
Чжицзюнь ЧЭНЬ
Фэй Лун
Original Assignee
Сяоми Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сяоми Инк. filed Critical Сяоми Инк.
Application granted granted Critical
Publication of RU2631994C1 publication Critical patent/RU2631994C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions

Abstract

Изобретение относится к определению плана съемки изображения. Техническим результатом является повышение точности классификации изображений. В способе получают галерею пользовательского терминала; осуществляют идентификацию и маркировку изображения; получают обучающий набор выборки; вводят каждую из множества последовательностей обучающих изображений; обучают коэффициенты признака между уровнями скрытых узлов модели определения исходного изображения плана съемки; получают тестовый набор выборки; осуществляют идентификацию тестовых изображений; определяют точность классификации модели определения плана съемки изображения; если точность классификации меньше заданного порогового значения, выполняют: обновление обучающего набора выборки; обучение, в соответствии с обновленным обучающим набором выборки, коэффициентов признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения; выполнения итерации обновления модели определения плана съемки изображения; выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения. 3 н. и 8 з.п. ф-лы, 14 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к области технологий связи и более конкретно, к способу, устройству и серверу для определения плана съемки изображения.
Уровень техники
В настоящее время смартфоны становятся все более и более популярными, и все более и более популярным становится способ фотографирования посредством использования мобильного телефона в любом месте в любое время. Что касается большого количества изображений, хранящиеся в галерее мобильного телефона, то в предшествующем уровне техники для маркировки изображения используется информация о времени или месте съемки, так что пользователь может просматривать изображения, которые были сфотографированы в определенный период времени или в определенном месте.
Раскрытие изобретения
Далее приводится описание способа, устройства и сервера для определения плана съемки изображения.
В соответствии с первым аспектом настоящего изобретения предложен способ определения плана съемки изображения, включающий в себя этапы, на которых: получают галерею пользовательского терминала, при этом галерея содержит по меньшей мере одно изображение, подлежащее обработке; осуществляют идентификацию по меньшей мере одного изображения, подлежащего обработке, с помощью модели идентификации плана съемки изображения, соответственно, для определения плана съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и осуществляют маркировку каждого из по меньшей мере одного изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке.
Варианты осуществления настоящего изобретения могут обеспечить, по меньшей мере, некоторые из следующих полезных эффектов: путем получения галереи пользовательского терминала, когда галерея содержит по меньшей мере одно изображение, подлежащее обработке; посредством идентификации по меньшей мере одного изображения, подлежащего обработке, используя модель идентификации плана съемки изображения, соответственно, для определения плана съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и посредством маркировки каждого из по меньшей мере одного изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке, облегчается классификация изображений, подлежащих обработке, в галерее в соответствии с планом съемки, которым они соответствуют, и предоставляют изображения пользователю, при просмотре пользователем изображения, так что усовершенствуется способ использования галереи пользователем.
Дополнительно, перед идентификацией, способ дополнительно содержит этап, на котором: получают обучающий набор выборок, причем обучающий набор выборок включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемок; вводят, случайным образом, обучающие изображения, которым соответствующие обучающие планы съемок соответствуют, в модель идентификации исходного плана съемки изображения; и обучают признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного плана съемки изображения для получения модели идентификации плана съемки изображения.
Варианты осуществления изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность того, что модель определения плана съемки изображения правильной идентификации изображения, подлежащего обработке, улучшается за счет выполнения операций, на которых: получают обучающий набор выборки, при этом обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствующие соответствуют обучающие планы съемки, в модель идентификации исходного изображения плана съемки; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного изображения плана съемки для получения модели идентификации изображения плана съемки.
Дополнительно, способ содержит этапы, на которых: получают тестовый набор выборки, при этом тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки; осуществляют идентификацию тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели идентификации изображения плана съемки, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений; и определяют точность классификации модели идентификации планов съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений.
Дополнительно, после определения способ дополнительно содержит этапы, на которых: если точность классификации меньше предварительно установленного порогового значения, следующие процессы выполняются итерационно, пока не достигнуто максимальное число итераций или величина точности классификации не превысит заданное пороговое значение: обновляют обучающий набор выборки; обучают, в соответствии с обновленным набором обучающий набор выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и выполняют итерации обновленной модели идентификации планов съемки изображения, которой соответствует текущая итерация; и выполняют, в соответствии с обновленным обучающим набором выборки, тест величины точности классификации обновленной модели идентификации плана съемки плана съемки изображения, соответствующей текущей итерации, для определения соответствующей точности классификации.
Способ дополнительно содержит этапы, на которых: определяют величину максимальной точности классификации среди величин точности классификации, соответствующих итераций; и определяют обновленную модель идентификации плана съемки изображения, которой соответствует величина максимальной точности классификации, в качестве модели идентификации целевого плана изображения.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность того, что модель определения плана съемки изображения, которая идентифицирует изображение, подлежащее обработке, улучшается посредством выполнения следующих операций: если точность классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока максимальное количество итераций не будет достигнуто или достигнута точность классификации больше, чем заданное пороговое значение: процесс обновления обучающего набора выборки; процесс обучения, в соответствии с обновленным обучающим набором выборки, признаков коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и процесс итерации обновления модели идентификации плана съемки обновленного изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели идентификации плана съемки изображения, соответствующей текущей итерации для определения соответствующей точности классификации; определение максимальной точности классификации среди величин точности классификации соответствующих итерациям; и определение обновленной модели идентификации плана съемки изображения, которой соответствует максимальная точность классификации, в качестве модели идентификации целевого плана съемки изображения.
Дополнительно, перед идентификацией способ дополнительно содержит этапы, на которых: выполняют процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, для получения изображения заданного размера и соответствующего изображению, подлежащему обработке; и идентификация соответственно содержит этапы, на которых: определяют изображение заданного размера, используя модель идентификации плана съемки изображения, чтобы получить план съемки, которой соответствует изображение, подлежащее обработке.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: путем осуществления процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующее изображению, подлежащему обработке; и идентификация соответственно содержит этапы, на которых: определяют изображение заданного размера, с использованием модели идентификации плана съемки изображения, чтобы получить план съемки, соответствующий изображению, подлежащему обработке; это повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, так чтобы повысить эффективность идентификации изображения, подлежащего обработке.
Способ дополнительно содержит этапы, на которых: сохраняют посредством классификации по меньшей мере одно изображение, подлежащее обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классифицированного альбома; и осуществляют маркировку по меньшей мере одного классифицированного альбома посредством плана съемки, которому соответствует по меньшей мере один классификационный альбом.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: сохранение посредством классификации по меньшей мере одного изображения, подлежащего обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классификационного альбома; и маркировку по меньшей мере одного классификационного альбома посредством плана съемки, которому соответствует по меньшей мере один классификационный альбом, что облегчает пользователю просмотр соответствующих классификационных альбомов и улучшает способ использования галереи пользователем.
Способ дополнительно содержит: сохранение посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классифицированном альбоме в соответствии с местоположением и/или временем, которому по меньшей мере одно изображение, подлежащее обработке, соответствует, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которому по меньшей мере один субклассификационный альбом соответствует.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: сохранение, посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или временем, которому соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку, по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которому соответствует по меньшей мере один субклассификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, таким образом, улучшая способ использования галереи пользователем.
В соответствии со вторым аспектом настоящего изобретения, обеспечивается устройство для определения плана съемки изображения, включающее в себя: первый модуль получения, выполненный с возможностью получения галереи пользовательского терминала, при этом галерея содержит по меньшей мере одно изображение, подлежащее обработке; первый модуль идентификации, выполненный с возможностью идентификации изображения, подлежащего обработке, с использованием модели идентификации плана съемки изображения для определения плана съемки, которому соответствует изображение, подлежащее обработке; и первый модуль маркировки, выполненный с возможностью маркировки изображения, подлежащего обработке, с помощью плана съемки, которому соответствует изображение, подлежащее обработке.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: посредством получения галереи пользовательского терминала, когда галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификации по меньшей мере одного изображения, подлежащего обработке, с использованием модели идентификации плана съемки изображения, соответственно, чтобы определить план съемки, которому соответствует каждое по меньшей мере одно изображение, подлежащее обработке; и маркировки каждого по меньшей мере одного изображения, подлежащего обработке, с помощью плана съемки, которому соответствует изображение для обработки, что облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с планом съемки, которым они соответствуют, и предоставления изображения пользователю, когда пользователь просматривает изображения так, что улучшается способ использования галереи пользователем.
Дополнительно, устройство содержит: второй модуль получения, выполненный с возможностью получения обучающего набора выборки, при этом обучающий набор выборки включает в себя обучающие изображения, которые соответствуют соответствующим обучающим планам съемки; модуль ввода, выполненный с возможностью вводить случайным образом обучающие изображения, которые соответствуют соответствующим обучающим планам съемки, в модель идентификации исходного плана съемки изображения, и обучать признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного плана съемки изображения для получения модели идентификации плана съемки изображения.
Варианты осуществления изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность усовершенствования модели определения плана съемки изображения для правильной идентификации изображения, подлежащего обработке, за счет выполнения следующих операций: получения обучающего набора выборки, при этом обучающий набор выборки включает в себя обучающие изображения, которые соответствуют соответствующим обучающим планам съемки; ввод случайным образом обучающих изображений, которые соответствуют соответствующим обучающим планам съемки, в модель идентификации исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного плана съемки изображения для получения модели идентификации плана съемки изображения.
Дополнительно, устройство содержит: третий модуль получения, выполненный с возможностью получения тестового набора выборки, при этом тестовый набор выборки включает в себя тестовые изображения, которые соответствуют соответствующим планам съемки; второй модуль идентификации, выполненный с возможностью идентифицировать тестовые изображения, которые соответствуют соответствующим планам съемки, используя модель идентификации плана съемки изображения соответственно, чтобы получить результаты классификации плана съемки соответствующих тестовых изображений; и первый модуль определения, выполненный с возможностью определять точность классификации модели идентификации плана съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений.
Дополнительно, устройство содержит: модуль обработки итерации, выполненный с возможностью выполнения следующих процессов итеративно, пока максимальное количество итераций не будет достигнуто или величина точности классификации будет больше, чем предварительно установленное пороговое значение, если величина точности классификации меньше, чем предварительно установленное пороговое значение: обновляют обучающий набор выборки; обучают, в соответствии с обновленным обучающим набором выборки, признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и выполняют итерации, обновленной модели идентификации плана съемки изображения, которой соответствует текущая итерация; и выполняют, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели идентификации плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствующую точность классификации.
Дополнительно, устройство содержит: второй модуль определения, выполненный с возможностью определять величину максимальной точности классификации среди величин точности классификации, соответствующих итераций; и третий модуль определения, выполненный с возможностью определять обновленную модель идентификации плана съемки изображения, которой соответствует максимальная точность классификации, как целевая модель идентификации плана съемки изображения.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность усовершенствования модели определения плана съемки изображения, которая корректно идентифицирует изображение, подлежащее обработке, посредством выполнения следующих операций: если точность классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока не достигнуто максимальное количество итераций или величина точности классификации не станет больше, чем заданное пороговое значение: обновляют обучающий набор выборки; обучают, в соответствии с обновленным обучающим набором выборки, признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и выполнение итераций обновленной модели идентификации плана съемки изображения, которая соответствует текущей итерации; и выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели идентификации плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствующую величину точности классификации; определяют максимальную точность классификации среди величин точности классификации, соответствующих итераций; и определяют обновленную модель идентификации плана съемки изображения, которой соответствует максимальная величина точности классификации, как модель идентификации целевого плана съемки изображения.
Дополнительно, устройство содержит: модуль обработки, выполненный с возможностью выполнять процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера, и соответствующее изображению, подлежащего обработке; и, в котором первый модуль идентификации содержит: блок идентификации, выполненный с возможностью идентификации изображения заданного размера, используя модель идентификации плана съемки изображения, чтобы получить план съемки, которому соответствует каждое из изображений, подлежащее обработке.
Варианты осуществления изобретения могут обеспечивать, по меньшей мере, некоторые из следующих полезных эффектов: путем осуществления процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера, и соответствующее изображению, подлежащего обработке; и процесс идентификации соответственно содержит: определение изображения заданного размера с помощью модели идентификации плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке; это повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, так что эффективность идентификации изображения, подлежащих обработке, повышается.
Дополнительно, устройство содержит: первый модуль хранения, выполненный с возможностью хранить посредством классификации по меньшей мере одно изображение, подлежащее обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один классификационный альбом; и второй модуль маркировки, выполненный с возможностью маркировать по меньшей мере один классификационный альбом, с планом съемки, которому соответствует по меньшей мере один классификационный альбом.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: при хранении посредством классификации по меньшей мере одного изображения, подлежащего обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один классификационный альбом; и маркировку по меньшей мере одного классификационного альбома с планом съемки, которому соответствует по меньшей мере один классификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов, что улучшает способ использования галереи пользователем.
Дополнительно, устройство содержит: второй модуль хранения, выполненный с возможностью хранить посредством классификации по меньшей мере одно изображение, подлежащее обработке, в каждом классификационном альбоме в соответствии с информацией о месте и/или времени, которое соответствует по меньшей мере одному изображению, подлежащему обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и третий модуль маркировки, выполненный с возможностью маркировать по меньшей мере один субклассификационный альбом, используя информацию о месте и/или времени, которая соответствует по меньшей мере одному субклассификационному альбому.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: хранение посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классификационном альбоме в соответствии с информацией о месте и/или времени, которое соответствует по меньшей мере одному изображению, подлежащему обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположения и/или времени, которое соответствует по меньшей мере одному субклассификационному альбому; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, таким образом, улучшает способ использования галереи пользователем.
В соответствии с третьим аспектом настоящего изобретения, обеспечивается сервер, включающий в себя: компонент обработки; и память для хранения команд, исполняемых компонентом обработки, в котором компонент обработки выполнен с возможностью выполнять следующие операции: получение галереи пользовательского терминала, причем галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификацию изображения, подлежащего обработке, с использованием модели идентификации плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и маркировку изображения, подлежащего обработке с планом съемки, которому соответствует изображение для обработки.
Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: путем получения галереи пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификации по меньшей мере одного изображения, подлежащего обработке, с помощью модели идентификации плана съемки изображения, соответственно, чтобы определить план съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и маркировку каждого из по меньшей мере одного изображения, подлежащего обработке, с планом съемки, которому соответствует изображение для обработки, это облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с соответствующими планам съемки, и предоставляет изображения пользователю, когда пользователь просматривает изображения, таким образом, чтобы улучшить способ использования галереи пользователем.
Следует понимать, что вышеизложенное общее описание и последующее подробное описание являются только иллюстративными и не ограничивают настоящее изобретение.
Краткое описание чертежей
Прилагаемые чертежи, которые включены в описание и составляют часть данного описания, иллюстрируют варианты осуществления в соответствии с настоящим изобретением, и вместе с описанием служат для объяснения принципов настоящего изобретения.
Фиг. 1 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с примерным вариантом осуществления.
Фиг. 2 представляет собой структуру сверточной нейронной сети.
Фиг. 3 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 4 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 5 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 6 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 7 показывает блок-схему алгоритма, иллюстрирующую способ для определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 8 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с примерным вариантом осуществления.
Фиг. 9 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 10 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 11 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 12 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 13 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.
Фиг. 14 показывает блок-схему, иллюстрирующую сервер в соответствии с примерным вариантом осуществления.
Варианты осуществления разъяснены в настоящем описании, как было показано, с помощью описанных выше чертежей; они будут описаны ниже более подробно. Эти чертежи и описание не предназначены для ограничения каким-либо образом объема раскрываемой концепции; вместо этого, они уточняют концепции настоящего раскрытия специалистам в данной области техники со ссылкой на конкретные варианты осуществления.
Осуществление изобретения
Далее будет приведено подробное описание примерных вариантов осуществления, примеры которых проиллюстрированы на прилагаемых чертежах. Следующее описание приведено со ссылками на прилагаемые чертежи, на которых одинаковые номера на разных чертежах представляют одинаковые или сходные элементы, если не указано иное. Варианты реализации, изложенные в следующем описании примерных вариантов осуществления, не представляют все варианты реализации в соответствии с изобретением. Вместо этого, они являются просто примерами устройства и способов в соответствии с аспектами, относящиеся к настоящему изобретению, как изложено в прилагаемой формуле изобретения.
На фиг. 1 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с примерным вариантом осуществления, способ определения плана съемки изображения может быть выполнен с помощью устройства определения плана съемки изображения, устройство определения плана съемки изображения может быть сервером или приложением, установленным на сервере, который представляет собой интеллектуальный терминал (например, мобильный терминал, PAD и т.д.). Устройство определения плана съемки изображения также может быть интеллектуальным терминалом (например, мобильный терминал, PAD и т.д.) или приложением, установленным на смарт-терминале. Этот примерный вариант осуществления показывает способ определения плана съемки изображения, который может содержать следующие этапы.
На этапе 101 получается галерея пользовательского терминала; галерея содержит по меньшей мере одно изображение, которое будет обрабатываться.
В этом примере, до получения галереи пользовательского терминала, пользовательский терминал может вручную или автоматически обновлять галерею или загружать галерею на облако сервера.
На этапе 102 изображение, подлежащее обработке, определяется с использованием модели определения плана съемки изображения, чтобы определить сцену, которой соответствует изображение для обработки.
В этом варианте осуществления сверточная нейронная сеть используется для построения модели определения плана съемки изображения. Сверточная нейронная сеть является своего рода искусственной нейронной сетью; она стала актуальной темой исследования в области анализа речи и распознавания образов. Таким образом, совместно используемые весовые значения сетевой структуры делает ее более похожим на биологическую нейронную сеть, уменьшая сложность модели сети и уменьшая количество весовых значений. Это преимущество становится более очевидным, когда на вход сети поступает многомерное изображение, что позволяет изображению служить в качестве непосредственного входа в сеть, что позволяет избежать сложных процессов извлечения признаков и восстановления данных в традиционных алгоритмах идентификации.
Структура сверточной нейронной сети показана на фиг. 2, сверточная нейронная сеть представляет собой многоуровневую нейронную сеть, причем каждый уровень состоит из множества двумерных плоскостей, и каждая плоскость состоит из множества независимых нейронов. В этом варианте осуществления предполагается, что чувствительная модель идентификации изображения, полученная на основании сверточной нейронной сети, имеет N-уровневую структуру, и соответствующие соединения уровня скрытых узлов двух смежных уровней имеют весовые коэффициенты, определенные посредством тренировок обучающего набора выборки. Для удобства описания, в вариантах осуществления настоящего изобретения весовые коэффициенты соединений уровня скрытых узлов называются признаком коэффициентов; поэтому чувствительная модель идентификации изображения имеет N уровней признака коэффициентов.
В этом примере, входом модели определения плана съемки изображения является изображение для обработки, выходом таковой могут быть результаты классификации плана съемки изображения, подлежащего обработке; план съемки, которому соответствует изображение, подлежащее обработке, может включать в себя: план съемки вечеринки, план съемки пейзажа, план съемки пляжа, другие планы съемки и так далее. Путем ввода изображения, подлежащего обработке, в модель определения плана съемки изображения, план съемки, который соответствует изображению, подлежащего обработке, может быть определен как один из указанных выше в соответствии с результатом классификации плана съемки изображения, подлежащего обработке.
На этапе 103 изображение для обработки маркируется планом съемки, которому соответствует изображение, подлежащее обработке.
В этом примере, изображение, подлежащее обработке, не может быть ограничено изображениями в галерее пользовательского терминала; это могут быть изображения, которые получаются с помощью других средств или из других источников. При этом отсутствуют какие-либо ограничения для средств обработки изображения, которые могут быть установлены по желанию.
В примерных вариантах осуществления, осуществляется получение галереи пользовательского терминала, в котором галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификация изображения, подлежащее обработке, с использованием модели определения плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и маркировка изображения, подлежащее обработке, с планом съемки, которому соответствует изображение, подлежащее обработке, что облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с планом съемки, которым они соответствует, и предоставляют изображения пользователю, когда пользователь просматривает изображения с тем, чтобы улучшить способ использования галереи пользователем.
На фиг. 3 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 3, на основании примерного варианта осуществления, показанного на фиг. 1, перед этапом 102 способ может также включать в себя следующие этапы.
На этапе 104 получается обучающий набор выборок, обучающий набор выборок включает в себя обучающие образы, которым соответствуют соответствующие обучающие планы съемки.
В этом примере, чтобы обеспечить тренировочный эффект, количество обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, может быть больше, чем первое заданное число. Например, количество обучающих изображений, которым соответствует план съемки вечеринки, может быть 100000, количество обучающих изображений, к которым соответствует план съемки пейзажа, может быть 100000, количество обучающих изображений, к которым соответствует план съемки пляжа, может быть 100000 и количество обучающих изображений, к которым соответствуют другие планы съемки, может быть равно 200000 или более.
На этапе 105, обучающие изображения, которые соответствуют соответствующим обучающим планам съемки, случайным образом вводятся в модель определения исходного плана съемки изображения; и обучается признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, чтобы получить модель определения плана съемки изображения.
В этом примере сервер может случайным образом вводить каждое обучающее изображение в модель определения исходного плана съемки изображения, сравнивать результат классификации плана съемки модели определения исходного плана съемки изображения с планом съемки, которому соответствует вводимое обучающее изображение, таким образом, чтобы определить признак коэффициентов между соответствующими уровнями скрытых узлов текущей модели определения плана съемки изображения для корректировки. Но такой способ обучения часто может иметь следующий недостаток: после того, как признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения корректируется, в соответствии с предшествующим обучающим изображением, они могут быть скорректированы обратно в соответствии со следующим обучающим изображением; в результате, признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения часто корректируются.
По этой причине, в этом примере, сервер может также ввести последовательность обучающих изображений последовательно в модель определения исходного плана съемки изображения и определить, нужно ли корректировать признак коэффициентов между соответствующими уровнями скрытых узлов текущей модели определения плана съемки изображения в соответствии с результатами классификации плана съемки последовательности обучающих изображений, выводимых моделью определения исходного плана съемки изображения. Затем последовательность обучающих изображений последовательно вводится в модель определения плана съемки изображения.
В настоящем примерном варианте осуществления предусмотрена возможность усовершенствования модели определения плана съемки изображения для корректного определения изображения, которое будет обрабатываться, посредством выполнения следующих операций: получение обучающего набора выборок, где обучающий набор выборок включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, в модель определения исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели определения исходного плана съемки изображения, чтобы получить модель определения плана съемки изображения.
В настоящем примерном варианте осуществления после того, как модель определения плана съемки изображения получается, величина точности классификации модели определения плана съемки изображения не обязательно должна удовлетворять заданной пороговой величине. Поэтому, чтобы величина точности классификации модели определения плана съемки изображения удовлетворяла заданной пороговой величине, после этапа 105, следующие этапы могут быть выполнены с помощью сервера со ссылкой на фиг. 4.
На этапе 106 получается тестовый набор выборки; тестовый набор выборки включает в себя тестовые изображения, которые соответствуют соответствующим планам съемки.
В этом примере, чтобы улучшить результаты тестов, количество тестовых изображений, которые соответствуют соответствующим обучающим планам съемки, может быть больше, чем второе заранее заданное количество. Например, количество тестовых изображений, которые соответствуют плану съемки вечеринки, может быть 10000, количество тестовых изображений, которые соответствуют пейзажу, может быть 10000, количество тестовых изображений, которые соответствуют плану съемки пляжа, может быть 10000 и количество тестовых изображений, которые соответствуют другим планам съемки, может быть 20000 или более.
На этапе 107 тестовые изображения, которые соответствуют соответствующим планам съемки, идентифицируются с использованием модели определения плана съемки изображения соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений.
На этапе 108 определяется величина точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений.
В этом примере, если результат классификации плана съемки тестового изображения совпадает с планом съемки тестового изображения, то классификация верна; если результат классификации плана съемки тестового изображения не совпадает с планом съемки тестового изображения, то классификация неверна, и величина точности классификации модели определения плана съемки изображения определяется как отношение числа тестовых изображений, чьи результаты классификации плана съемки правильные и общего количества тестовых изображений.
На этапе 109, если величина точности классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока не будет достигнуто максимальное число итераций или величина точности классификации превысит предварительно установленное пороговое значение: обновление обучающего набора выборки; обучение, в соответствии с обновленным обучающим набором выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствие величины точности классификации.
На этапе 110 максимальная величина точности классификации определяется среди величин точности классификации, соответствующих итераций.
На этапе 111 обновленная модель определения плана съемки изображения, которой соответствует максимальная точность классификации, определяется как целевая модель определения плана съемки изображения.
В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения, которая корректно идентифицирует изображение, подлежащее обработке, за счет выполнения следующих операций: получение тестового набора выборки, где тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки; идентификация тестовых изображений, которым соответствуют соответствующие планы съемки с использованием модели определения изображения, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений; и определение точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; если величина точности классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока не будет достигнуто максимальное число итераций или величина точности классификации не превысит заданное пороговое значение: обновление набора обучающей выборки; обучение, в соответствии с обновленным обучающим набором выборки признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным набором обучающей выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствие величине точности классификации.
На фиг. 5 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 5, на основании примерного варианта осуществления, показанного на фиг. 3, чтобы повысить скорость обработки изображения модели определения плана съемки изображения введенного изображения, размер изображения, подлежащего обработке, может быть установлен в качестве предварительно установленного размера. Таким образом, перед этапом 102 способ может дополнительно включать в себя следующие этапы.
На этапе 112 выполняется процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующий изображению для обработки.
В этом примере сервер может установить заданный размер по мере необходимости. Например, заданный размер может быть 224 пикселей на 224 пикселей и тому подобное.
Следует отметить, что до этапа 105 и этапа 107 обучающие изображения и тестовые изображения, которые соответствуют соответствующим планам съемки, обрабатываются способом, идентичным вышеописанному процессу обработки, соответственно.
Соответственно, этап 102 может включать в себя этап 1021, где идентифицируется изображение заданного размера с использованием модели определения плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке.
В примерном варианте осуществления посредством выполнения процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующий изображению, подлежащего обработке; и идентификация, соответственно, включает в себя: идентификацию изображения заданного размера с помощью модели идентификации плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке; что повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, чтобы повысить эффективность идентификации изображения, подлежащего обработке.
На фиг. 6 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 6, на основании примерного варианта осуществления, показанного на фиг. 1, способ может дополнительно включает в себя следующие этапы.
На этапе 113 по меньшей мере одно изображение, которое будет обрабатываться, в галерее пользовательского терминала хранится посредством классификации в зависимости от плана съемки, которому по меньшей мере одно изображение, которое будет обрабатываться, соответствует, чтобы получить по меньшей мере один классификационный альбом.
На этапе 114 по меньшей мере один классификационный альбом маркирован с планом съемки, к которому по меньшей мере соответствует один классификационный альбом.
В настоящем примерном варианте осуществления, при хранении, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в галерее пользовательского терминала в зависимости от плана съемки, которому по меньшей мере соответствует одно изображение, подлежащее обработке, чтобы получить по меньшей мере один классификационный альбом; и маркировку по меньшей мере одного классификационного альбома с планом съемки, которому по меньшей мере соответствует один классификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов, чтобы улучшить способ использования галереи пользователем.
На фиг. 7 показана блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 7, на основании примерного варианта осуществления, показанного на фиг. 6, способ может дополнительно включает в себя следующие этапы.
На этапе 115 по меньшей мере одно изображение, которое будет обрабатываться, в каждом классификационным альбоме хранится посредством классификации, в соответствии с информацией о местоположении и/или времени, к которому по меньшей мере соответствует одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома.
На этапе 116 маркирован по меньшей мере один субклассификационный альбом с использованием информации о местоположении и/или времени, которой по меньшей мере соответствует один субклассификационный альбом.
В настоящем примерном варианте осуществления, при хранении, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, чтобы улучшить способ использования галереи пользователем.
Ниже приведены варианты осуществления устройства настоящего раскрытия для осуществления вариантов осуществления способа настоящего изобретения. Для получения дополнительной информации, которая не упомянута в вариантах осуществления устройства, может быть сделана ссылка на варианты осуществления способа настоящего изобретения.
На фиг. 8 показана блок-схема, иллюстрирующая устройство определения плана съемки изображения в соответствии с примерным вариантом осуществления. Устройство определения плана съемки изображения может реализовать описанный вышеупомянутый способ посредством программного обеспечения, аппаратных средств или их комбинации. Устройство определение плана съемки изображения может включать в себя следующие компоненты.
Первый модуль 81 получения, выполненный с возможностью получать галерею пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; первый модуль 82 идентификации, выполненный с возможностью идентифицировать изображение, подлежащее обработке, с использованием модели определения плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и первый модуль 83 маркировки, выполненный с возможностью маркировать изображение, подлежащее обработке, с планом съемки, соответствующим изображению, подлежащему обработке.
В этом варианте осуществления сверточная нейронная сеть используется для построения моделей определения планов съемки изображения. Сверточная нейронная сеть является своего рода искусственной нейронной сетью; она стала актуальной темой исследования в области анализа речи и распознавания образов. Сетевая структура, совместно используя весовые значения, становится более похожей на биологическую нейронную сеть, что уменьшает сложность модели сети и уменьшает количество весовых значений. Это преимущество становится более очевидным, когда на вход сети поступает многомерное изображение, позволяя изображению служить в качестве прямого входного значения в сеть, и позволяет избежать сложных процессов извлечения и восстановления данных в традиционных алгоритмах идентификации.
Сверточная структура нейронной сети показана на фиг. 2, сверточная нейронная сеть представляет собой многоуровневую нейронную сеть, причем каждый уровень состоит из множества двумерных плоскостей, и каждая плоскость состоит из множества независимых нейронов. В этом варианте осуществления предполагается, что чувствительная модель идентификации изображения, полученная на, основании сверточной нейронной сети, имеет N-уровневую структуру, и соответствующие соединения уровня скрытых узлов двух смежных уровней имеют весовые коэффициенты, определенные тренировками обучающего набора выборки. Для удобства описания, в вариантах осуществления настоящего изобретения, весовые коэффициенты соединений уровня скрытых узлов называются как признак коэффициентов; поэтому чувствительная модель идентификации изображения имеет N уровней признака коэффициентов.
В этом примере, ввод модели определения плана съемки изображения является изображение для обработки, выход таковой может быть результаты классификации изображения, подлежащего обработке; план съемки, которому соответствует изображение, подлежащее обработке, может включать в себя: план съемки вечеринки, план съемки пейзажа, план съемки пляжа, другие планы съемки и так далее. Путем ввода изображения, подлежащего обработке, в модель определения плана съемки изображения, план съемки, которому соответствует изображение, подлежащее обработке, может быть определен как один из указанных выше, в соответствии с результатами классификации плана съемки изображения, подлежащего обработке.
В этом примере, изображение, подлежащее обработке, не может быть ограничено изображением в галерее пользовательского терминала; это может быть изображение, которое получают с помощью других средств или из других источников. При этом отсутствуют какие-либо ограничения для выбора средств обработки изображения, которые могут быть установлены по желанию.
В примерных вариантах осуществления, осуществляется получение галереи пользовательского терминала, галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификация изображения, подлежащего обработке, с использованием модели определения плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и маркировка изображения, подлежащее обработке, с планом съемки, которому соответствует изображение, подлежащее обработке, это облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с планами съемки, которым они соответствуют, и обеспечение изображений для пользователя, когда пользователь просматривает изображения, чтобы улучшить способ использования галереи пользователем.
Со ссылкой на фиг. 9, на основании примерного варианта осуществления, показанного на фиг. 8, описывается устройство, которое дополнительно содержит следующие компоненты.
Второй модуль 84 получения, выполненный с возможностью получать обучающий набор выборки, обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; и модуль 85 ввода, выполненный с возможностью вводить случайным образом обучающие изображения, которые соответствуют соответствующим обучающим планам съемки, в модель определения исходного плана съемки изображения, и обучать признак коэффициентов между соответствующими уровнями скрытых узлов модели определения исходного плана съемки изображения, чтобы получить модель определения плана съемки изображения.
В этом примере, чтобы обеспечить обучающий эффект, количество обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, может быть больше, чем первое заданное число. Например, количество обучающих изображений, которые соответствуют плану съемки вечеринки, может быть 100000, количество обучающих изображений, которым соответствует план съемки пейзажа, может быть 100000, количество обучающих изображений, которым соответствует план съемки пляжа, может быть 100000 и количество обучающих изображений, которым соответствуют другие планы съемки, может быть 200000 или более.
В этом примере сервер может случайным образом обеспечивать ввод каждого обучающего изображения в модель определения исходного плана съемки изображения, сравнивать результат классификации плана съемки модели определения исходного плана съемки изображения с планом съемки, которому соответствует вводимое обучающее изображение, таким образом, определяется необходимость корректировки признака коэффициентов между соответствующими уровнями скрытых узлов модели определения текущего плана съемки изображения. Но такой способ обучения часто может иметь следующий недостаток: после того, как признак коэффициентов соответствующих уровней скрытых узлов модели определения плана съемки изображения корректируются в соответствии с предшествующим одним обучающим изображением, он может быть скорректирован обратно в соответствии со следующим обучающим изображением; в результате, признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения часто корректируется.
По этой причине, в этом примере, сервер может также вводить последовательно ряд обучающих изображений в модель определения исходного плана съемки изображения, и определять, нужно ли корректировать признак коэффициентов между соответствующими уровнями скрытых узлов модели определения текущего плана съемки изображения, в соответствии с результатами классификации плана съемки серии обучающих изображений, выводимых моделью определения исходного плана съемки изображения. Затем ряд обучающих изображений последовательно вводятся в модель определения исходного изображения.
В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения, которая корректно определяет изображение, которое будет обрабатываться, за счет выполнения следующих операций: получение обучающего набора выборки, где обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, в модель определения исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели определения исходного плана съемки изображения, чтобы получить модель определения плана съемки изображения.
В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения, которая корректно определяет изображение, подлежащее обработке, за счет выполнения следующих операций: получение обучающего набора выборки, где обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, в модель определения исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели определения исходящего плана съемки изображения, чтобы получить модель определения плана съемки изображения.
Со ссылкой на фиг. 10, на основании примерного варианта осуществления, показанного на фиг. 9, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.
Третий модуль 86 получения, выполненный с возможностью получать тестовый набор выборки, тестовый набор выборки включает в себя тестовые изображения, к которым соответствующие планы съемки соответствуют; второй модуль 87 идентификации, выполненный с возможностью идентифицировать тестовые изображения, которым соответствующие планы съемки соответствуют, используя модель определения изображения, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений; и первый модуль 88 определения, выполненный с возможностью определять величину точности классификации модели определения планов съемки изображения, в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; модуль 89 обработки итераций, выполненный с возможностью выполнять следующие процессы итеративно, пока максимальное число итераций не будет достигнуто или точность классификации будет больше, чем предварительно установленное пороговое значение, если точность классификации меньше, чем предварительно установленное пороговое значение: обновление обучающего набора выборки; обучение, в соответствии с обновленным обучающим набором выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным набором обучающей выборки, теста на точность классификации модели определения обновленного плана съемки изображения, соответствующего текущей итерации, чтобы определить соответствие точности классификации; второй модуль 90 определения, выполненный с возможностью определения величины максимальной точности классификации среди величин точности классификации, соответствующих итераций; и третий модуль 91 определения, выполненный с возможностью определять обновленную модель определения плана съемки изображения, которой соответствует максимальная величина точности классификации, как целевую модель определения плана съемки изображения.
В этом примере, чтобы улучшить результат тестов, количество тестовых изображений, к которым соответствующие учебные планы съемки соответствуют, может быть больше, чем вторая предварительно заданная величина. Например, количество тестовых изображений, которому соответствует план съемки вечеринки, может быть 10000, количество тестовых изображений, которому соответствует план съемки пейзажа, может быть 10000, количество тестовых изображений, которому соответствует план съемки пляжа, может быть 10000 и количество тестовых изображений, которым соответствуют другие планы съемки, может быть 20000 или более.
В этом примере, если результат классификации плана съемки тестового изображения совпадает с планом съемки тестового изображения, то классификация верна; если результат классификации плана съемки тестового изображения совпадает с планом съемки тестового изображения, то классификация неверна, а точность классификации модели определения плана съемки изображения определяется как отношение числа тестовых изображений, чьи результаты классификации плана съемки правильные, к общему количеству тестовых изображений.
В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения для корректной идентификации изображения, подлежащего обработке, за счет выполнения следующих операций: получение тестового набора выборки, где тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки; идентификация тестовых изображений, которым соответствующие планы съемки соответствуют, используя модель определения плана съемки изображения, соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений; и определение величины точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; если величина точности классификации меньше, чем предварительно установленное пороговое значение, то выполняются следующие процессы итеративно, пока не будет достигнуто максимальное число итераций или величина точности классификации превысит заданное пороговое значение: обновление обучающего набора выборки; обучение, в соответствии с обучающим обновленным набором выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которому соответствует текущая итерация; и выполнение, в соответствии с обновленным набором обучающей выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующего текущей итерации, чтобы определить соответствие величины точности классификации.
Со ссылкой на фиг. 11, на основании примерного варианта осуществления, показанного на фиг. 8, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.
Модуль 92 обработки, выполненный с возможностью выполнять процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующий изображению, подлежащему обработке; и в котором первый модуль 82 идентификации содержит блок 821 идентификации, выполненный с возможностью идентифицировать изображение заданного размера с использованием модели определения плана съемки изображения, чтобы получить план съемки, которому соответствует каждое из изображений, подлежащих обработке.
В этом примере обучающие изображения и тестовые изображения, которым соответствуют соответствующие планы съемки, обрабатываются идентичным вышеописанным способом, соответственно.
В примерном варианте осуществления, посредством выполнения процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, получают изображение заданного размера, соответствующее изображению, подлежащему обработке; и идентификация, соответственно, включает в себя: определение изображения заданного размера с помощью модели идентификации плана съемки изображения, чтобы получить план съемки, которой соответствует изображение, подлежащее обработке; что повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, чтобы повысить эффективность идентификации изображения, подлежащего обработке.
Со ссылкой на фиг. 12, на основании примерного варианта осуществления, показанного на фиг. 8, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.
Первый модуль 93 хранения, выполненный с возможностью хранить, посредством классификации по меньшей мере одно изображение, которое будет обрабатываться, в галерее пользовательского терминала в зависимости от плана съемки, которому по меньшей мере соответствует одно изображение, подлежащее обработке, чтобы получить по меньшей мере один альбом классификации; и второй модуль 94 маркировки, выполненный с возможностью маркировать по меньшей мере один классификационный альбом с планом съемки, которому соответствует по меньшей мере один классификационный альбом.
В настоящем примерном варианте осуществления, сохраняя, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в галерее пользовательского терминала в зависимости от плана съемки, которому по меньшей мере соответствует одно изображение, подлежащее обработке, можно получить по меньшей мере один альбом классификации; и посредством маркировки по меньшей мере одного классификационного альбома с планом съемки, которому соответствует по меньшей мере один классификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов, чтобы улучшить способ использования галереи пользователем.
Со ссылкой на фиг. 13, на основании примерного варианта осуществления, показанного на фиг. 12, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.
Второй модуль 95 хранения, выполненный с возможностью хранить, посредством классификации по меньшей мере одно изображение, которое будет обрабатываться, в каждом классификационном альбоме, в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и третий модуль 96 маркировки, выполненный с возможностью маркировать по меньшей мере один субклассификационный альбом, используя информацию о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом.
В настоящем примерном варианте осуществления, при хранении, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в каждом классификационном альбоме, в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, чтобы улучшить способ использования галереи пользователем.
Что касается вышеприведенного описания устройства в вариантах осуществления, то варианты выполнения операций соответствующего модуля были описаны в соответствующих вариантах осуществления способа, соответственно, нет необходимости повторять их подробное описание.
На фиг. 14 показана блок-схема, иллюстрирующая сервер 140 в соответствии с примерным вариантом осуществления. Со ссылкой на фиг. 14, сервер 140 может включать в себя один или более из следующих компонентов: компонент 142 обработки, память 144, компонент 146 источника питания, интерфейс 148 ввода/вывода (I/O) и компонент 1410 связи.
Компонент 142 обработки, как правило, управляет всеми операциями сервера 140. В частности, компонент 142 обработки может быть выполнен с возможностью получать галерею пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентифицировать изображение, подлежащее обработке, с использованием модели определения плана съемки изображения, соответственно для определения плана съемки, которому соответствует изображение, подлежащее обработке; и маркировать изображение, которое будет обрабатываться, с планом съемки, которому соответствует изображение, подлежащее обработке.
Компонент 142 обработки может содержать один или более процессоров 1420, чтобы выполнять инструкции всех или части этапов описанных выше способов. Кроме того, компонент 142 обработки может содержать один или более модулей, которые облегчают взаимодействие между компонентом 142 обработки и другими компонентами. Например, компонент 142 обработки может содержать модуль связи для облегчения взаимодействия между компонентом 1410 связи и компонентом 142 обработки.
Память 144 выполнена с возможностью хранить различные типы данных и исполняемых инструкций компонента 142 обработки для поддержки работы сервера 140. Примеры таких данных включают в себя прикладные программы, инструкции или оперативные данные. Память 144 может быть реализована с использованием любого типа энергозависимых или энергонезависимых запоминающих устройств или их комбинации, таких как статическая оперативная память (SRAM), электронно-стираемая программируемая постоянная память (EEPROM), стираемая программируемая постоянная память (EPROM), программируемая постоянная память (PROM), постоянная память (ROM), магнитная память, флэш-память, магнитный или оптический диск.
Компонент 146 источника питания обеспечивает питание различных компонентов сервера 140. Компонент 146 источника питания может содержать систему управления электропитанием, один или более источников питания и любые другие компоненты, ассоциированные с генерацией, управлением и распределением электроэнергии для сервера 140.
Интерфейс 148 ввода/вывода обеспечивает интерфейс между компонентом 142 обработки и модулями периферийного интерфейса, модулями периферийного интерфейса являются, например, клавиатура, колесо прокрутки, кнопки и тому подобное. Компонент 1410 связи выполнен с возможностью способствовать устанавливать связь, проводную или беспроводную, между сервером 140 и другими устройствами. Сервер 140 может взаимодействовать с беспроводной сетью, основанной на стандарте связи, таком как Wi-Fi, 2G или 3G, или их комбинации. В примерном варианте осуществления компонент 1416 связи принимает сигнал широковещательной передачи или широковещательной передачи, ассоциированной с информацией от внешней системы управления вещания по каналу вещания. В примерном варианте осуществления компонент 1416 связи дополнительно содержит модуль ближней бесконтактной связи (NFC) для установления связи малой дальности. Например, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (RFID), технологии ассоциации в инфракрасном диапазоне (IrDA), технологии сверх широкой полосой пропускания (UWB), технологии Bluetooth-(BT) и другими технологиями.
В примерных вариантах осуществления сервер 140 может быть реализован посредством одной или более специализированных интегральных схем (ASIC), цифровыми сигнальными процессорами (DSP), устройствами цифровой обработки сигналов (DSPD), программируемыми логическими устройствами (PLD), программируемыми логическими интегральными схемами (FPGA), контроллерами, микроконтроллерами, микропроцессорами или другими электронными компонентами для выполнения описанных выше способов определения плана съемки изображения.
В примерных вариантах осуществления также предложен невременный носитель информации, считываемый компьютером, включающий в себя инструкции, например, содержащиеся в памяти 144, исполняемые процессором 1420 на сервере 140, для выполнения описанных выше способов. Например, энергонезависимый считываемый компьютером носитель информации может быть ROM, RAM, компакт-диском, магнитной лентой, гибким диском, оптическим устройством хранения данных и тому подобное.
Энергонезависимый машиночитаемый носитель информации, в котором, при выполнении процессорами сервера 140 инструкций на носителе информации, позволяет серверу 140 выполнять описанные выше способы определения плана съемки изображения.
В примерных вариантах осуществления получается галерея пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентифицируется по меньшей мере одно изображение, подлежащее обработке, с помощью модели идентификации плана съемки изображение, соответственно, чтобы определить план съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и маркируется каждое из по меньшей мере одного изображения, подлежащего обработке, с планом съемки, которому соответствует изображение для обработки, это облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с соответствующим планом съемки, и предоставление изображения пользователю, когда пользователь просматривает изображения так, чтобы улучшить способ использования галереи пользователем.
Другие варианты осуществления настоящего изобретения будут очевидны для специалистов в данной области из рассмотрения описания и реализации настоящего изобретения, согласно данному контексту. Настоящая заявка охватывает любые вариации, варианты использования или адаптации изобретения, которые используют их общие принципы и включающие в себя такие отклонения от настоящего описания, которые применяются в известной или обычной практике в данной области техники. Предполагается, что описание и примеры следует рассматривать только как иллюстративные, где истинный объем и сущность настоящего изобретения указаны в следующей формуле изобретения.
Следует понимать, что изобретение не ограничивается точной конструкцией, которая была описана выше и показана на прилагаемых чертежах, и что возможны различные модификации и изменения, которые могут быть сделаны без отхода от объема настоящего изобретения. Предполагается, что объем изобретения будет ограничен только прилагаемой формулой изобретения.

Claims (70)

1. Способ определения плана съемки изображения, содержащий этапы, на которых:
получают галерею пользовательского терминала, причем галерея содержит по меньшей мере одно изображение, подлежащее обработке;
осуществляют идентификацию изображения, подлежащего обработке, с использованием модели определения плана съемки изображения, для определения плана съемки, которому соответствует изображение, подлежащее обработке;
осуществляют маркировку изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке;
при этом до этапа идентификации способ содержит этапы, на которых:
получают обучающий набор выборки, причем обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки, соответственно содержащие множество последовательностей обучающих изображений;
вводят, последовательным или случайным образом, каждую из множества последовательностей обучающих изображений, содержащихся в обучающих изображениях, соответствующие соответствующим обучающим планам съемки, в модель определения исходного изображения плана съемки;
обучают соответствующие коэффициенты признака между соответствующими уровнями скрытых узлов модели определения исходного изображения плана съемки для получения модели определения плана съемки изображения;
получают тестовый набор выборки, причем тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки;
осуществляют идентификацию тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели определения плана съемки изображения, соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений; и
определяют точность классификации модели определения плана съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений; при этом
если точность классификации меньше заданного порогового значения, выполняют итеративно, пока не достигнуто максимальное число итераций или точность классификации не станет больше заданного порогового значения:
обновление обучающего набора выборки;
обучение, в соответствии с обновленным обучающим набором выборки, коэффициенты признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которому соответствует текущая итерация; и
выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, для определения соответствия точности классификации.
2. Способ по п. 1, дополнительно содержащий этапы, на которых:
определяют максимальную точность классификации из величин точности классификации соответствующих итераций;
определяют обновленную модель определения плана съемки изображения, которой соответствует максимальная точность классификации, в качестве целевой модели определения плана съемки изображения.
3. Способ по п. 1, в котором перед этапом идентификации способ дополнительно содержит этапы, на которых:
выполняют процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, для получения изображения заданного размера и соответствующего изображению, подлежащему обработке; а
этап идентификации соответственно содержит подэтап, на котором осуществляют идентификацию изображения заданного размера с использованием модели определения плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке.
4. Способ по п. 1, дополнительно содержащий этапы, на которых:
сохраняют, посредством классификации, по меньшей мере одно изображение, подлежащее обработке, в галерее пользовательского терминала, в зависимости от плана съемки, которому соответствует указанное по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классификационного альбома; и
осуществляют маркировку по меньшей мере одного классификационного альбома планом съемки, которому соответствует по меньшей мере один классификационный альбом.
5. Способ по п. 4, дополнительно содержащий этапы, на которых:
сохраняют, посредством классификации, по меньшей мере одно изображение, подлежащее обработке, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома;
осуществляют маркировку по меньшей мере одного субклассификационного альбома, с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом.
6. Устройство определения плана съемки изображения, содержащее:
первый модуль получения, выполненный с возможностью получения галереи пользовательского терминала, при этом галерея содержит по меньшей мере одно изображение, подлежащее обработке;
первый модуль идентификации, выполненный с возможностью идентификации изображения, подлежащего обработке, с использованием модели определения плана съемки изображения для определения плана съемки, которому соответствует изображение, подлежащее обработке;
первый модуль маркировки, выполненный с возможностью маркировки изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке;
второй модуль получения, выполненный с возможностью получения обучающего набора выборки, причем обучающий набор выборки включает в себя обучающие изображения, соответствующие соответствующим обучающим планам съемки, соответственно содержащие множество последовательностей обучающих изображений;
модуль ввода, выполненный с возможностью ввода, последовательным или случайным образом, каждой из множества последовательностей обучающих изображений содержащихся в обучающих изображениях, которым соответствуют соответствующие обучающие планы съемки, в модель определения изображения исходного плана съемки, и соответствующего обучения коэффициентов признака между соответствующими уровнями скрытых узлов модели определения исходного изображения плана съемки для получения модели определения плана съемки изображения;
третий модуль получения, выполненный с возможностью получения тестового набора выборки, причем тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки;
второй модуль идентификации, выполненный с возможностью идентификации тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели определения плана съемки изображения, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений;
первый модуль определения, выполненный с возможностью определения точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; и
модуль обработки итераций, выполненный с возможностью выполнения, итеративно, пока не достигнуто максимальное число итераций или точность классификации не превысит заданное пороговое значение, если точность классификации меньше, чем заданное пороговое значение:
обновления обучающего набора выборки;
обучения, в соответствии с обновленным обучающим набором выборки, коэффициентов признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнения итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и
выполнения, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, для определения соответствия точности классификации.
7. Устройство по п. 6, дополнительно содержащее:
второй модуль определения, выполненный с возможностью определения максимальной точности классификации среди точностей классификации соответствующих итераций;
третий модуль определения, выполненный с возможностью определения обновленной модели определения плана съемки изображения, которой соответствует максимальная точность классификации, в качестве целевой модели определения плана съемки изображения.
8. Устройство по п. 6, дополнительно содержащее:
модуль обработки, выполненный с возможностью осуществления нормализации изображения, подлежащего обработке, в соответствии с заданным размером, для получения изображения заданного размера и соответствующего изображению, подлежащему обработке; при этом
первый модуль идентификации содержит
блок идентификации, выполненный с возможностью идентификации изображения заданного размера с использованием модели определения плана съемки изображения, для получения плана съемки, которому соответствует каждое из изображений, подлежащих обработке.
9. Устройство по п. 6, дополнительно содержащее:
первый модуль хранения, выполненный с возможностью сохранения, посредством классификации, по меньшей мере одного изображения, подлежащего обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует указанное по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классификационного альбома; и
второй модуль маркировки, выполненный с возможностью маркировки, по меньшей мере одного классификационного альбома, планом съемки, которому соответствует по меньшей мере один классификационный альбом.
10. Устройство по п. 9, дополнительно содержащее:
второй модуль хранения, выполненный с возможностью сохранения посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного субклассификационного альбома классификационного альбома;
третий модуль маркировки, выполненный с возможностью маркировки по меньшей мере одного субклассификационного альбома, с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом.
11. Сервер, содержащий:
компонент обработки; и
память для хранения команд, исполняемых компонентом обработки, при этом компонент обработки выполнен с возможностью выполнения операций:
получения галереи пользовательского терминала, причем галерея содержит по меньшей мере одно изображение, подлежащее обработке;
идентификации изображения, подлежащего обработке, с использованием модели определения плана съемки изображения, для определения плана съемки, которому соответствует изображение, подлежащее обработке; и
маркировки изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке;
при этом до операции идентификации компонент обработки дополнительно выполнен с возможностью:
получения обучающего набора выборки, причем обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки, соответственно содержащие множество последовательностей обучающих изображений;
ввода, последовательным или случайным образом, каждой из множества последовательностей обучающих изображений, содержащихся в обучающих изображениях, соответствующие соответствующим обучающим планам съемки, в модель определения исходного изображения плана съемки;
соответствующего обучения коэффициентов признака между соответствующими уровнями скрытых узлов модели определения исходного изображения плана съемки для получения модели определения плана съемки изображения;
получения тестового набора выборки, причем тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки;
осуществления идентификации тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели определения плана съемки изображения, соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений;
определения точности классификации модели определения плана съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений;
при этом если точность классификации меньше заданного порогового значения, выполняют итеративно, пока не достигнуто максимальное число итераций или точность классификации не станет больше заданного порогового значения:
обновление обучающего набора выборки;
обучение, в соответствии с обновленным обучающим набором выборки, коэффициентов признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которому соответствует текущая итерация; и
выполнения, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, для определения соответствия точности классификации.
RU2016110590A 2015-07-31 2015-12-28 Способ, устройство и сервер для определения плана съемки изображения RU2631994C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510463271.5A CN105138963A (zh) 2015-07-31 2015-07-31 图片场景判定方法、装置以及服务器
CN201510463271.5 2015-07-31
PCT/CN2015/099291 WO2017020514A1 (zh) 2015-07-31 2015-12-28 图片场景判定方法、装置以及服务器

Publications (1)

Publication Number Publication Date
RU2631994C1 true RU2631994C1 (ru) 2017-09-29

Family

ID=54724307

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016110590A RU2631994C1 (ru) 2015-07-31 2015-12-28 Способ, устройство и сервер для определения плана съемки изображения

Country Status (8)

Country Link
US (1) US20170032189A1 (ru)
EP (1) EP3125156A1 (ru)
JP (1) JP2017536635A (ru)
KR (1) KR101796401B1 (ru)
CN (1) CN105138963A (ru)
MX (1) MX2016003724A (ru)
RU (1) RU2631994C1 (ru)
WO (1) WO2017020514A1 (ru)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL236598A0 (en) * 2015-01-05 2015-05-31 Superfish Ltd Image similarity as a function of image weighted image descriptors generated from neural networks
CN105138963A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 图片场景判定方法、装置以及服务器
CN105678622A (zh) * 2016-01-07 2016-06-15 平安科技（深圳）有限公司 车险理赔照片的分析方法及系统
CN107527091B (zh) * 2016-10-14 2021-05-25 腾讯科技（北京）有限公司 数据处理方法和装置
US10970605B2 (en) * 2017-01-03 2021-04-06 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN107864333B (zh) * 2017-11-08 2020-04-21 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN108229680B (zh) * 2017-12-15 2021-11-23 北京市商汤科技开发有限公司 神经网络系统、遥感图像识别方法、装置、设备及介质
CN108009280B (zh) * 2017-12-21 2021-01-01 Oppo广东移动通信有限公司 图片处理方法、装置、终端及存储介质
CN108236784B (zh) * 2018-01-22 2021-09-24 腾讯科技（深圳）有限公司 模型的训练方法和装置、存储介质、电子装置
CN110276364B (zh) * 2018-03-15 2023-08-08 阿里巴巴集团控股有限公司 分类模型的训练方法、数据分类方法、装置及电子设备
CN108615071B (zh) * 2018-05-10 2020-11-24 创新先进技术有限公司 模型测试的方法及装置
CN109101547B (zh) * 2018-07-05 2021-11-12 北京泛化智能科技有限公司 用于野生动物的管理方法及装置
CN109284687B (zh) * 2018-08-24 2020-08-07 武汉大学 一种基于室内机会信号增强的场景识别方法及装置
CN109242984B (zh) * 2018-08-27 2020-06-16 百度在线网络技术（北京）有限公司 虚拟三维场景构建方法、装置及设备
CN109452914A (zh) * 2018-11-01 2019-03-12 北京石头世纪科技有限公司 智能清洁设备，清洁模式选择方法，计算机存储介质
CN111209904A (zh) * 2018-11-21 2020-05-29 华为技术有限公司 一种业务处理的方法以及相关装置
CN110060122A (zh) * 2019-03-16 2019-07-26 平安城市建设科技(深圳)有限公司 图片展示方法、装置、设备及计算机可读存储介质
CN110059707B (zh) * 2019-04-25 2021-05-14 北京小米移动软件有限公司 图像特征点的优化方法、装置和设备
CN110399803B (zh) * 2019-07-01 2022-04-22 北京邮电大学 一种车辆检测方法及装置
CN110489592B (zh) * 2019-07-18 2024-05-03 平安科技（深圳）有限公司 视频分类方法、装置、计算机设备和存储介质
US10943353B1 (en) 2019-09-11 2021-03-09 International Business Machines Corporation Handling untrainable conditions in a network architecture search
US11023783B2 (en) * 2019-09-11 2021-06-01 International Business Machines Corporation Network architecture search with global optimization
CN110929663B (zh) * 2019-11-28 2023-12-29 Oppo广东移动通信有限公司 一种场景预测方法及终端、存储介质
CN111860403A (zh) * 2020-07-28 2020-10-30 商汤国际私人有限公司 场景信息的检测方法和装置、电子设备
CN112580481A (zh) * 2020-12-14 2021-03-30 康佳集团股份有限公司 基于边缘节点和云端协同视频处理方法、装置、服务器
CN113705362B (zh) * 2021-08-03 2023-10-20 北京百度网讯科技有限公司 图像检测模型的训练方法、装置、电子设备及存储介质
CN114677691B (zh) * 2022-04-06 2023-10-03 北京百度网讯科技有限公司 文本识别方法、装置、电子设备及存储介质
CN116524302B (zh) * 2023-05-05 2024-01-26 广州市智慧城市投资运营有限公司 一种场景识别模型的训练方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2533444C2 (ru) * 2009-08-26 2014-11-20 Сони Корпорейшн Устройство и способ обработки изображений

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6482133A (en) * 1987-09-24 1989-03-28 Nec Corp Network learning system
JP4220595B2 (ja) * 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
JP3965983B2 (ja) * 2001-11-30 2007-08-29 松下電工株式会社 画像処理方法およびその装置
US7295700B2 (en) * 2003-10-24 2007-11-13 Adobe Systems Incorporated Object extraction based on color and visual texture
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US9443141B2 (en) * 2008-06-02 2016-09-13 New York University Method, system, and computer-accessible medium for classification of at least one ICTAL state
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US8238671B1 (en) * 2009-12-07 2012-08-07 Google Inc. Scene classification for place recognition
US8385632B2 (en) * 2010-06-01 2013-02-26 Mitsubishi Electric Research Laboratories, Inc. System and method for adapting generic classifiers for object detection in particular scenes using incremental training
US20130229262A1 (en) * 2012-03-05 2013-09-05 Symbol Technologies, Inc. Radio frequency identification reader antenna arrangement with multiple linearly-polarized elements
CN102663448B (zh) * 2012-03-07 2016-08-10 北京理工大学 一种基于网络的增强现实物体识别分析方法
JP2016519807A (ja) * 2013-03-15 2016-07-07 ザ クリーブランド クリニック ファウンデーションＴｈｅ Ｃｌｅｖｅｌａｎｄ ＣｌｉｎｉｃＦｏｕｎｄａｔｉｏｎ 自己進化型予測モデル
US20140280561A1 (en) * 2013-03-15 2014-09-18 Fujifilm North America Corporation System and method of distributed event based digital image collection, organization and sharing
CN103440318B (zh) * 2013-08-29 2016-08-17 王靖洲 移动终端的景观识别系统
US10043112B2 (en) 2014-03-07 2018-08-07 Qualcomm Incorporated Photo management
US9524450B2 (en) * 2015-03-04 2016-12-20 Accenture Global Services Limited Digital image processing using convolutional neural networks
CN104751175B (zh) * 2015-03-12 2018-12-14 西安电子科技大学 基于增量支持向量机的sar图像多类标场景分类方法
CN104809469A (zh) * 2015-04-21 2015-07-29 重庆大学 一种面向服务机器人的室内场景图像分类方法
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
CN105138963A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 图片场景判定方法、装置以及服务器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2533444C2 (ru) * 2009-08-26 2014-11-20 Сони Корпорейшн Устройство и способ обработки изображений

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Bing Shuai et al, "Integrating Parametric and Non-parametric Models For Scene Labeling", 2015IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 07.06.2015 *
Bolei Zhou et al, "Learning Deep Features for Scene Recognition using Places Database", Advances in Neural Information Processing Systems 27(NIPS 2014), 08.12.2014, 9 л., размещено в Интернет: http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2014_5349.pdf *
Bolei Zhou et al, "Learning Deep Features for Scene Recognition using Places Database", Advances in Neural Information Processing Systems 27(NIPS 2014), 08.12.2014, 9 л., размещено в Интернет: http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2014_5349.pdf. Bing Shuai et al, "Integrating Parametric and Non-parametric Models For Scene Labeling", 2015IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 07.06.2015. Yunchao Gong et al, "Deep Convolutional Ranking for Multilabel Image Annotation", 17.12.2013, 9 л., размещено в Интернет: https ://arxiv.org/pdf/ 1312.4894.pdf. *
Yunchao Gong et al, "Deep Convolutional Ranking for Multilabel Image Annotation", 17.12.2013, 9 л., размещено в Интернет: https ://arxiv.org/pdf/ 1312.4894.pdf. *

Also Published As

Publication number Publication date
CN105138963A (zh) 2015-12-09
KR20170023761A (ko) 2017-03-06
WO2017020514A1 (zh) 2017-02-09
EP3125156A1 (en) 2017-02-01
KR101796401B1 (ko) 2017-11-10
MX2016003724A (es) 2018-06-22
JP2017536635A (ja) 2017-12-07
US20170032189A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
RU2631994C1 (ru) Способ, устройство и сервер для определения плана съемки изображения
RU2622874C1 (ru) Способ, устройство и сервер распознавания конфиденциальной фотографии
CN108491805B (zh) 身份认证方法和装置
CN107977390B (zh) 绘本识别方法、装置、系统及电子设备
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN106548468B (zh) 图像清晰度的判别方法及装置
WO2020119419A1 (zh) 基于图像识别的测试方法、装置、计算机设备及存储介质
CN106777177A (zh) 检索方法和装置
US10614347B2 (en) Identifying parameter image adjustments using image variation and sequential processing
CN111340131A (zh) 图像的标注方法、装置、可读介质和电子设备
CN110930296B (zh) 图像处理方法、装置、设备及存储介质
CN107871001B (zh) 音频播放方法、装置、存储介质及电子设备
CN107465868A (zh) 基于终端的物体识别方法、装置及电子设备
CN108256549A (zh) 图像分类方法、装置及终端
CN109657539B (zh) 人脸颜值评价方法、装置、可读存储介质及电子设备
CN110807472B (zh) 图像识别方法、装置、电子设备及存储介质
CN109683756B (zh) 一种图片处理方法、装置、电子设备及存储介质
CN111881944A (zh) 图像鉴别的方法、电子设备和计算机可读介质
CN106446946A (zh) 图像识别方法及装置
CN112434556A (zh) 宠物鼻纹识别方法、装置、计算机设备及存储介质
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN107077594A (zh) 标记移动设备上的视觉媒体
CN111814538A (zh) 目标对象的类别识别方法、装置、电子设备及存储介质
CN112969032A (zh) 光照模式识别方法、装置、计算机设备及存储介质
CN113824874A (zh) 辅助摄像方法、装置、电子设备及存储介质