RU2462757C2 - Устройство и способ обработки изображений, устройство ввода изображений и программа - Google Patents

Abstract

Изобретение относится к устройствам и способам обработки изображений. Техническим результатом является возможность получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека. Результат достигается тем, что секция (33) задания образца композиции задает образец композиции, соответствующий входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения. На основе образца композиции, заданного секцией (33) задания образца композиции, секция (34) анализа композиции определяет область "обрезания" на входном изображении, которое является оптимальным для изображения, получаемого "обрезанием" по образцу композиции из входного изображения. Настоящее изобретение может быть применено, например, в устройстве обработки изображений, которое настраивает композицию введенного изображения. 3 н. и 11 з.п. ф-лы, 46 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, устройству ввода изображений и программе, в частности к устройству и способу обработки изображений, устройству ввода изображений и программе, которые позволяют получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека.

Уровень техники, предшествующий изобретению

При съемке объекта посредством устройства ввода изображений, такого как цифровая фотокамера, съемка производится таким образом, чтобы достигнуть подходящей композиции. Поскольку надлежащий выбор композиции при съемке требует навыка, то изображение, получаемое при съемке, может не всегда иметь желательную композицию. Для такого случая существует технология, которая выполняет подгонку на изображении для достижения желательной композиции.

Например, было предложено выполнить подгонку, не приводящую к потере (на изображении) человеческого тела или важного заднего плана (см., например, Патентный документ 1).

Патентный документ 1: публикация японской нерассмотренной патентной заявки, имеющей номер 2008-42800

Сущность изобретения

Техническая задача

Однако технология, соответствующая Патентному документу 1, основывается на допущении, что в состав объекта изображения входит человек, и существует опасение того, что оптимальная подгонка может быть невозможна для изображений, включающих в себя объект, отличный от человека.

Настоящее изобретение было сделано ввиду вышеизложенных обстоятельств, и позволяет получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека.

Техническое решение

Устройство обработки изображений в соответствии с первым аспектом настоящего изобретения включает в себя задающее средство для задания образца композиции, соответствующего входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения и определяющее средство для того, чтобы определять на основе образца композиции, заданного задающим средством, область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Устройство обработки изображений может дополнительно включать в себя "обрезающее" средство для получения "обрезанием" области "обрезания", определенной определяющим средством, из входного изображения.

Определяющее средство может определять на основе образца композиции, заданного задающим средством, множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения, устройство обработки изображений может дополнительно включать в себя средство отображения для отображения на входном изображении множества кандидатов на область "обрезания", и средство выбора для выбора одного из множества кандидатов на область "обрезания", отображаемых средством отображения, и "обрезающее" средство может получать "обрезанием" из входного изображения область "обрезания", выбранную средствами выбора.

Устройство обработки изображений может дополнительно включать в себя извлекающее средство для извлечения каждой из выделяющихся областей, на которые направлено внимание на входном изображении, и различающее средство для различения сцены входного изображения.

Определяющее средство может определять область "обрезания" таким образом, чтобы положение центра самой малой прямоугольной области, включающей в себя все выделяющиеся области, на которые направлено внимание на входном изображении, приближалось к центру области "обрезания" на входном изображении.

Определяющее средство может определять область "обрезания" таким образом, чтобы область "обрезания" стала большей, и чтобы общая область между самой малой прямоугольной областью, включающей в себя все выделяющиеся области, на которые направлено внимание на входном изображении, и областью "обрезания" стало большей.

Определяющее средство может определять область "обрезания" таким образом, чтобы область "обрезания" не лежала вне входного изображения.

Устройство обработки изображений может дополнительно включать в себя оценивающее средство для оценки того, является ли входное изображение панорамным изображением, посредством сравнения форматного соотношения входного изображения с некоторым заранее заданным пороговым значением, и, если оценивающим средством оценивается, что входное изображение является панорамным изображением, то определяющее средство может на основе образца композиции, заданного задающим средством, определить множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Устройство обработки изображений может дополнительно включать в себя средство суммирования для того, чтобы суммировать информацию, указывающую область "обрезания", определенную определяющим средством, с входным изображением как EXIF-информацию.

Объект, на который направлено внимание на входном изображении, может входить в состав каждой из выделяющихся областей, устройство обработки изображений может дополнительно включать в себя выявляющее средство для выявления ориентации объекта, и определяющее средство может определять область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по образцу композиции из входного изображения, на основе образца композиции, заданного задающим средством, и ориентации объекта, выявленной выявляющим средством.

Объект, на который направлено внимание на входном изображении, может входить в состав каждой из выделяющихся областей, устройство обработки изображений может дополнительно включать в себя средство определения направления движения для определения направления движения объекта, и определяющее средство может определять область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по образцу композиции из входного изображения, на основе образца композиции, заданного задающим средством, и направления движения объекта, определенного средством определения направления движения.

Устройство обработки изображений может дополнительно включать в себя средство вычисления общего движения для определения общего движения входного изображения и средство вычисления локального движения для определения движение каждой из выделяющихся областей, и средство определения направления движения может определять направление движения объекта на основе ориентации общего движения входного изображения, определенной средством вычисления общего движения, и ориентации движения каждой из выделяющихся областей, определенной средством вычисления локального движения.

Способ обработки изображений в соответствии с первым аспектом настоящего изобретения включает в себя этап задания, на котором задают образец композиции, соответствующий входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения, и этапа определения, на котором определяют на основе образца композиции, заданного на этапе задания, область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Программа в соответствии с первым аспектом настоящего изобретения заставляет компьютер исполнять обработку данных, включающую в себя этап задания, на котором задают образец композиции, соответствующий входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения, и этап определения, на котором определяют на основе образца композиции, заданного на этапе задания, область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Устройство ввода изображений согласно второму аспекту настоящего изобретения включает в себя: средство ввода изображения для ввода изображения объекта, средство получения информации для получения информации о сцене вводимого изображения, введенного средством ввода изображения, задающее средство для задания образца композиции, соответствующего введенному изображению, на основе количества выделяющихся областей, включающих в себя объекты, на которые направлено внимание на введенном изображении, и сцены, информация о которой получена средством получения информации, и определяющее средство для того, чтобы определять на основе образца композиции, заданного задающим средством, область "обрезания" на введенном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из введенного изображения.

В первом аспекте настоящего изобретения задают образец композиции, соответствующий входному изображению, на основе количества выделяющихся областей, на которые направлено внимание на входном изображении, и сцены входного изображения, и определяют на основе заданного образца композиции область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

Во втором аспекте настоящего изобретения вводят изображение объекта, получают информацию о сцене вводимого изображения, которое было введено, задают образец композиции, соответствующий введенному изображению, на основе количества выделяющихся областей, включающих в себя объекты, на которые направлено внимание на введенном изображении, и сцены, информация о которой получена, и определяют на основе заданного образца композиции область "обрезания" на введенном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из введенного изображения.

Полезные результаты

В соответствии с первым и вторым аспектами настоящего изобретения имеется возможность получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека.

Краткое описание чертежей

Фиг.1 представляет собой структурную схему, показывающую пример функциональной конфигурации варианта реализации устройства обработки изображений, в котором применено настоящее изобретение.

Фиг.2 представляет собой структурную схему, показывающую пример функциональной конфигурации секции извлечения выделяющейся области.

Фиг.3 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.1.

Фиг.4 представляет собой схему, показывающую пример выделяющейся области.

Фиг.5 представляет собой схему, иллюстрирующую образцы композиции, которые задаются на основе количеств выделяющихся областей и сцен.

Фиг.6 представляет собой схему, иллюстрирующую пример образцов композиции, задаваемых секцией задания образца композиции.

Фиг.7 представляет собой блок-схему алгоритма, иллюстрирующую процесс определения области "обрезания".

Фиг.8 представляет собой схему, иллюстрирующую коэффициенты энергетической функции Е_с.

Фиг.9 представляет собой схему, иллюстрирующую выделяющиеся области в трехчастной композиции.

Фиг.10 представляет собой схему, иллюстрирующую девятичастную композицию.

Фиг.11 представляет собой схему, иллюстрирующую создание энергетической функции E_s.

Фиг.12 представляет собой схему, иллюстрирующую создание энергетической функции Е_р.

Фиг.13 представляет собой схему, показывающую пример оптимальной области "обрезания".

Фиг.14 представляет собой схему, показывающую пример изображения оптимальной области "обрезания".

Фиг.15 представляет собой структурную схему, показывающую другой пример конфигурации устройства обработки изображений.

Фиг.16 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.15.

Фиг.17 представляет собой схему, иллюстрирующую пример образца композиции в соответствии с предметами.

Фиг.18 представляет собой схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.19 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.18.

Фиг.20 представляет собой блок-схему, иллюстрирующую процесс определения кандидатов на область "обрезания".

Фиг.21 представляет собой схему, показывающую пример отображения кандидатов на область "обрезания".

Фиг.22 представляет собой схему, показывающую пример отображения экранного изображения для утверждения.

Фиг.23 представляет собой структурную схему, показывающую другой пример конфигурации устройства обработки изображений.

Фиг.24 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.23.

Фиг.25 представляет собой схему, иллюстрирующую коэффициенты целевой функции Е.

Фиг.26 представляет собой схему, иллюстрирующую "обрезание" изображений кандидатов на область "обрезания" в панорамном изображении.

Фиг.27 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.28 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.29 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.28.

Фиг.30 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.31 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.30.

Фиг.32 представляет собой структурную схему, показывающую пример функциональной конфигурации варианта реализации устройства ввода изображений, в котором применено настоящее изобретение.

Фиг.33 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве ввода изображений, показанном на Фиг.32.

Фиг.34 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства ввода изображений.

Фиг.35 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве ввода изображений, показанном на Фиг.34.

Фиг.36 представляет собой блок-схему алгоритма, иллюстрирующую процесс выявления ориентации.

Фиг.37 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.34.

Фиг.38 представляет собой схему, иллюстрирующую информацию об ориентации.

Фиг.39 представляет собой схему, иллюстрирующую трехчастную композицию.

Фиг.40 представляет собой схему, иллюстрирующую информацию об ориентации.

Фиг.41 представляет собой структурную схему, показывающую еще один другой пример конфигурации устройства обработки изображений.

Фиг.42 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.41.

Фиг.43 представляет собой блок-схему алгоритма, иллюстрирующую процесс определения направления движения.

Фиг.44 представляет собой блок-схему алгоритма, иллюстрирующую процесс "обрезания" изображения в устройстве обработки изображений, показанном на Фиг.41.

Фиг.45 представляет собой схему, иллюстрирующую информацию о направлении движения.

Фиг.46 представляет собой структурную схему, показывающую пример конфигурации аппаратного обеспечения компьютера.

Подробное описание изобретения

Ниже со ссылкой на чертежи будут описаны варианты реализации настоящего изобретения. Следует отметить, что описание будет дано в следующем порядке.

1. Первый вариант реализации изобретения

2. Второй вариант реализации изобретения

3. Третий вариант реализации изобретения

4. Четвертый вариант реализации изобретения

5. Пятый вариант реализации изобретения

6. Шестой вариант реализации изобретения

7. Седьмой вариант реализации изобретения

8. Восьмой вариант реализации изобретения

9. Девятый вариант реализации изобретения

10. Десятый вариант реализации изобретения

<Первый вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.1 показан пример функциональной конфигурации варианта реализации устройства обработки изображений, в котором применено настоящее изобретение.

Устройство обработки изображений, показанное на Фиг.1, задает образец композиции, соответствующий выделяющейся области и сцене входного изображения, вводимого из устройства ввода изображений, такого как цифровая фотокамера, и выводит изображение, "обрезанное" в соответствии с оптимальной областью "обрезания", в качестве выходного изображения, на основе образца композиции.

Устройство (11) обработки изображений включает в себя секцию (31) извлечения выделяющейся (привлекающей к себе внимание) области, секцию (32) различения сцены, секцию (33) задания образца композиции, секцию (34) анализа композиции и секцию (35) "обрезания" изображения.

Входное изображение, введенное в устройство (11) обработки изображений, предоставляется секции (31) извлечения выделяющейся области, секции (32) различения сцены и секции (35) "обрезания" изображения.

Секция (31) извлечения выделяющейся области извлекает выделяющуюся область, на которую направлено внимание на входном изображении, и предоставляет информацию о выделяющейся области, указывающую на эту выделяющуюся область, секции (33) задания образца композиции. Выделяющаяся область представляет собой прямоугольную область, включающую в себя (окружающую) объект (предмет) на входном изображении. Выделяющиеся области устанавливаются и извлекаются для ряда объектов на входном изображении. Кроме того, информация о выделяющейся области представляет собой, например, информацию о положениях вершин прямоугольной области или тому подобном.

На Фиг.2 показан пример функциональной конфигурации секции (31) извлечения выделяющейся области.

Секция (31) извлечения выделяющейся области включает в себя секцию (51) вычисления выделяющей (отличающей эту область) характеристики, секцию (52) определения выделяющейся прямоугольной области и секцию (53) определения прямоугольной области с лицом.

Секция (51) вычисления выделяющей характеристики находит количество признака в отношении каждого пикселя входного изображения, и вычисляет выделяющую характеристику в каждом пикселе, исходя из количества признака. При этом количество признака представляет собой величину компонента контура изображения, разность в цветовом оттенке соседних пикселей, распределение цвета в заранее задаваемой области изображения, разность между средним цветом всего изображения и цветовым оттенком каждого пикселя или тому подобное. Кроме того, секция (51) вычисления выделяющей характеристики генерирует карту выделяющей характеристики, соответствующую отдельному входному изображению, исходя из выделяющей характеристики (количества признака) в каждом пикселе, и предоставляет карту выделяющей характеристики в секцию (52) определения выделяющейся прямоугольной области. Карта выделяющей характеристики, сгенерированная секцией (51) вычисления выделяющей характеристики, представляет собой, если можно так выразиться, информацию, указывающую области, включающие в себя объекты, на которые направлено внимание на отдельном входном изображении.

Кроме того, секция (51) вычисления выделяющей характеристики вычисляет, исходя из количества признака, найденного в отношении каждого пикселя отдельного входного изображения, показатель присутствия лица (вероятность присутствия лица), генерируя карту присутствия лица, соответствующую отдельному входному изображению, и предоставляет эту карту присутствия лица в секцию (53) определения прямоугольной области с лицом. Карта присутствия лица, сгенерированная секцией (51) вычисления выделяющей характеристики, представляет собой, если можно так выразиться, информацию, указывающую области, включающие в себя лица, на которые направлено внимание на отдельном входном изображении.

Секция (52) определения выделяющейся прямоугольной области определяет выделяющуюся прямоугольную область на основе карты выделяющей характеристики, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о выделяющейся прямоугольной области, указывающую выделяющуюся прямоугольную область, секции (33) задания образца композиции. Если описать это более конкретно, то на карте выделяющей характеристики секция (52) определения выделяющейся прямоугольной области задает пиксели (позиции), у которых значения выделяющей характеристики выше, чем некоторое заранее заданное пороговое значения, в качестве центра прямоугольника, а расположенные по соседству с ними пиксели (позиции), у которых значения выделяющей характеристики ниже, чем другое пороговое значения, в качестве конечных точек (вершин) этого прямоугольника, определяя, таким образом, выделяющуюся прямоугольную область.

Кроме того, если определено множество выделяющихся прямоугольных областей, в случае, когда расстояние между центрами прямоугольников меньше чем некоторое заранее заданное расстояние, то в качестве выделяющейся прямоугольной области задается самая малая прямоугольная область, включающая в себя эти прямоугольные области все вместе.

Секция (53) определения прямоугольной области с лицом определяет прямоугольную область с лицом, основываясь при этом на карте присутствия лица, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о прямоугольной области с лицом, указывающую прямоугольную область с лицом, секции (33) задания образца композиции. Если описать это более конкретно, то на карте присутствия лица секция (53) определения прямоугольной области с лицом задает пиксели (позиции) носа лица в качестве центра прямоугольника, а расположенные по соседству с ними пиксели (позиции), в которых имеется резкое изменение (падение) показателя присутствия лица, - в качестве конечных точек (вершин) этого прямоугольника, определяя, таким образом, прямоугольную область с лицом.

Следует отметить, что выделяющаяся прямоугольная область, полученная секцией (52) определения выделяющейся прямоугольной области, и прямоугольная область с лицом, полученная секцией (53) определения прямоугольной области с лицом, все вместе именуются информацией о выделяющейся области.

Возвращаясь к Фиг.1, отметим, что секция (32) различения сцены выполняет преобразование частоты на входном изображении для того, чтобы извлечь частотную информацию, различает сцену входного изображения, используя эту частотную информацию в качестве количества признака (вектора), и предоставляет информацию о сцене, указывающую сцену, каковая информация получена в результате этого различения, секции (33) задания образца композиции. Если описать это более конкретно, то секция (32) различения сцены выполняет различение сцены, используя при этом некоторое заранее заданное изображения для обучения и, например, для машинного обучения, такого как SVM-машина (поддерживающая векторная машина).

В SVM-машине выполняется различение с двумя классами (взаимно-однозначное различение). Например, классы оцениваются на предмет того, являются ли они классом "Побережье" и классом "другие классы", классом "Сельский ландшафт" и классом "другие классы", классом "Небо" и классом "другие классы", классом "Гора" и классом "другие классы и так далее, и их соответствующие оценки в баллах сравниваются, при этом результатом различения является класс, имеющий самую высокую оценку в баллах.

Следует отметить, что, в то время как секция (32) различения сцены использует SVM-машину, это не является ограничением. Например, может быть использовано распознавание образов с использованием нейронной сети или распознавание образов, основанное на сопоставлении с образцом или тому подобное.

Секция (33) задания образца композиции задает образец композиции, соответствующий входному изображению, на основе количества порций информации о выделяющихся областях, поступающих из секции (31) извлечения выделяющейся области, и информации о сцене, поступающей из секции (32) различения сцены, и предоставляет образец композиции в секцию (34) анализа композиции. Образец композиции предварительно определен в связи с количеством выделяющихся областей (объектов) и сценой. Подробности об образце композиции будут описаны ниже со ссылкой на Фиг.5.

На основе образца композиции, поступающего из секции (33) задания образца композиции, секция (34) анализа композиции определяет область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции, и предоставляет эту оптимальную область "обрезания" в секцию (35) "обрезания" изображения.

Секция (34) анализа композиции включает в себя секцию (34а) создания модели композиции, секцию (34b) создания предохранительной модели, секцию (34с) создания модели штрафов, секцию (34d) создания целевой функции и секцию (34е) оптимизации.

Секция (34а) создания модели композиции создает модель композиции, представляющую область "обрезания", основанную на образце композиции, поступающей из секции (33) задания образца композиции. Модель композиции представлена заранее заданной энергетической функцией E_c.

Секция (34b) создания предохранительной модели создает предохранительную модель для предотвращения того, чтобы область "обрезания" стала слишком маленькой. Предохраняющая модель представлена заранее заданной энергетической функцией E_s.

Секция (34с) создания модели штрафов создает модель штрафов для оценки площади области для области "обрезания", которая лежит вне входного изображения.

Модель штрафов представлена заданной энергетической функцией Е_р.

Секция (34d) создания целевой функции создает целевую функцию Е из энергетической функции Е_с, представляющей модель композиции, энергетической функции E_s, представляющей предохранительную модель, и энергетической функции Е_р, представляющей модель штрафов.

Секция (34е) оптимизации определяет область "обрезания", которая минимизирует целевую функцию Е, и предоставляет эту область "обрезания", в качестве оптимальной области "обрезания", в секцию (35) "обрезания" изображения.

Подробности, касающиеся энергетических функций. Е_с, E_s, и Е_р и целевой функции Е, будут детально описаны ниже.

Секция (35) "обрезания" изображения "обрезает" на введенном входном изображении изображение оптимальной области "обрезания", основываясь на оптимальной области "обрезания", поступающей из секции (34) анализа композиции, и выводит полученное "обрезанием" изображение.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.3, будет дано описание процесса "обрезания" изображения в устройстве (11) обработки изображений, показанном на Фиг.1.

На этапе S 11 секция (31) извлечения выделяющейся области генерирует карту выделяющей характеристики и карту присутствия лица, соответствующие входному изображению. Если описать это более конкретно, то секция (51) вычисления выделяющей характеристики генерирует карту выделяющей характеристики, соответствующую входному изображению и предоставляет эту карту выделяющей характеристики в секцию (52) определения выделяющейся прямоугольной области, и также генерирует карту присутствия лица, соответствующую входному изображению, и предоставляет карту присутствия лица в секцию (53) определения прямоугольной области с лицом.

На этапе S 12 секция (31) извлечения выделяющейся области извлекает и определяет выделяющуюся область, на которую направлено внимание на входном изображении, на основе карты выделяющей характеристики и карты присутствия лица. Если описать это более конкретно, то секция (52) определения выделяющейся прямоугольной области определяет выделяющуюся прямоугольную область на основе карты выделяющей характеристики, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о выделяющейся прямоугольной области, указывающую выделяющуюся прямоугольную область, секции (33) задания образца композиции. Кроме того, секция (53) определения прямоугольной области с лицом определяет прямоугольная область с лицом на основе карты присутствия лица, поступающей из секции (51) вычисления выделяющей характеристики, и предоставляет информацию о прямоугольной области с лицом, указывающую прямоугольную область с лицом, секции (33) задания образца композиции.

Следует отметить, что, хотя на этапе S 12 выделяющаяся прямоугольная область и прямоугольная область с лицом каждая определены в качестве выделяющейся области, прямоугольная область с лицом может обрабатываться коллективно как выделяющаяся прямоугольная область.

Пример выделяющейся области, определенной таким образом, показан на Фиг.4.

На Фиг.4 входное изображение Р представляет собой изображение единственной птицы (журавля), летящей в небе. Как показано на Фиг.4, в соответствии с процессом на этапе S 12, внимание направлено на единственную птицу, и единственная выделяющаяся область (L) определена таким образом, чтобы включать в себя эту птицу.

Возвращаясь к блок-схеме, показанной на Фиг.3, отметим, что на этапе S 13, секция (32) различения сцены выполняет преобразование частоты на входном изображении для того, чтобы извлечь частотную информацию, различает сцену входного изображения по частотной информации, выступающей в качестве количества признака (вектора), и предоставляет информацию о сцене, указывающей сцену, которая получена в результате различения, секции (33) задания образца композиции.

На этапе S 14 секция (33) задания образца композиции задает образец композиции, соответствующий входному изображению, на основе количества порций информации о выделяющихся областях, поступающей из секции (31) извлечения выделяющейся области, и информации о сцене, поступающей из секции (32) различения сцены, и предоставляет образец композиции в секцию (34) анализа композиции.

Ниже, со ссылкой на Фиг.5, будет дано описание из образцов композиции, которые задаются на основе количества выделяющихся областей (объектов), и сцен.

На Фиг.5 различные образцы композиции определены каждый в связи с количествами выделяющихся областей (объектов), и каждой из сцен, которые представляют собой "Побережье", "Сельский ландшафт", "Небо", "Гора", "Скоростная автомагистраль", "Улица", "Город" и "Высотное здание".

В соответствии с Фиг.5, например, когда количество выделяющихся областей составляет 0 на входном изображении, сцена которого представляет собой "Побережье" (то есть, когда присутствует только ландшафт побережья), в качестве образца композиции задается горизонтальная композиция. Когда количество выделяющихся областей составляет 1, в качестве образцов композиции задаются трехчастная композиция и горизонтальная композиция. Кроме того, когда количество выделяющихся областей составляет от 2 до 5, в качестве образцов композиции задаются контрастная композиция и горизонтальная композиция, и когда количество выделяющихся областей составляет 6 или больше, в качестве образцов композиции задаются контрастная композиция и горизонтальная композиция.

Кроме того, когда количество выделяющихся областей составляет 0 на входном изображении, сцена которого представляет собой "Сельский ландшафт" (то есть, когда присутствует только сельский ландшафт), в качестве образца композиции задается радиальная композиция. Когда количество выделяющихся областей составляет 1, в качестве образцов композиции задаются трехчастная композиция и радиальная композиция. Кроме того, когда количество выделяющихся областей составляет от 2 до 5, в качестве образцов композиции задаются контрастная композиция и радиальная композиция, и когда количество выделяющихся областей составляет 6 или больше, в качестве образцов композиции задаются радиальная композиция и периодическая композиция.

Аналогичным образом, задаются образцы композиции в соответствии с количествами выделяющихся областей на входном изображении, сцена которого представляет собой "Небо", входном изображении, сцена которого представляет собой "Гору", входном изображении, сцена которого представляет собой "Скоростную автомагистраль", и так далее.

Следует отметить, что в случае, когда задаются образцы двух композиций, задается такой образец композиции, который удовлетворяет каждой из композиций.

Кроме того, образцы композиции, связанные с количествами выделяющихся областей и сценами, описанными со ссылкой на Фиг.5, могут быть заданы заранее, или могут задаваться пользователем, в соответствии с тем, что требуется.

Ниже, со ссылкой на. Фиг.6, будет дано описание примера образцов композиции, задаваемых секцией (33) задания образца композиции.

Композиция А на Фиг.6 показывает трехчастную композицию, в которой объект размещается на пересечении вертикальной линии и горизонтальной линии, обеспечивая, таким образом, хорошо сбалансированное изображение.

Композиция В на Фиг.6 показывает контрастную композицию, которая представляет собой композицию, в которой аналогичные объекты или похожие объекты располагаются бок о бок. В композиции В размещая основной объект таким образом, чтобы он был большим, а другой объект - таким образом, чтобы он был маленьким, заставляют основной объект выделяться.

Композиция С на Фиг.6 показывает диагональную композицию, которая используется в случае, когда желательно создать ощущение ритма. Кроме того, композиция С является композицией, которая позволяет добиться эффективного использования узкого участка.

Композиция D на Фиг.6 показывает радиальную композицию, которая используется в случае, когда желательно создать ощущение открытости или протяженности. Примеры объекта включают в себя ветви дерева и солнечный свет, проходящий через разрыв в облаках.

Композиция Е на Фиг.6 представляет собой горизонтальную композицию, которая используется в случае, когда желательно дать ощущение боковой протяженности. Основная тема может быть изменена посредством сдвига положения горизонтальной линии в вертикальном направлении.

Композиция F на Фиг.6 представляет собой вертикальную композицию, которая используется в случае, когда желательно акцентировать вертикальное направление изображения. Примеры объекта включают в себя ствол дерева и дорогу.

Композиция G на Фиг.6 представляет собой перспективную композицию, которая используется в случае, когда желательно создать ощущение протяженности от точки схода (пересечения диагоналей на чертеже).

Композиция Н на Фиг.6 представляет собой периодическую композицию, в которой множество аналогичных предметов размещены с равными промежутками, и которая используется в случае, когда желательно создать ощущение ритма или ощущения единства.

Таким образом, на основе количества выделяющихся областей и информации о сцене, секция (33) задания образца композиции задает из числа образцов композиции, показанных на Фиг.6, образец композиции, связанный с количеством выделяющихся областей и сценой, показанными на Фиг.5. Следует отметить, что виды образцов композиции не ограничены этими восьмью видами, показанными на Фиг.6, но может быть и больше видов образцов.

Например, что касается входного изображения Р, показанного на Фиг.4, поскольку количество выделяющихся областей составляет 1, и сцена представляет собой "Небо", то секция (33) задания образца композиции задает трехчастную композицию (Композицию А), с которой они связаны на Фиг.5.

Следует отметить, что в нижеследующем описании предполагается, что в качестве образца композиции для входного изображения Р на этапе S 14 задается трехчастная композиция.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.3, отметим, что на этапе S 15 секция (34) анализа композиции исполняет процесс определения области "обрезания", основываясь на образце композиции, поступающем из секции (33) задания образца композиции, и определяет область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции.

[Процесс определения области "обрезания" в секции анализа композиции]

Ниже, со ссылкой на блок-схему алгоритма, показанную на Фиг.7, будет дано описание процесса определения области "обрезания", исполняемого на этапе S 15 в блок-схеме алгоритма, показанного на Фиг.3.

На этапе S 31 секция (34 а) создания модели композиции, входящая в состав секции (34) анализа композиции, создает модель композиции, представляющую область "обрезания", основанную на образце композиции, поступающем из секции (33) задания образца композиции. Другими словами, секция (34 а) создания модели композиции находит энергетическую функцию Е_с, относящуюся к модели композиции. Энергетическая функция Е_с задается Уравнением (1), приведенным ниже.

[Уравнение 1]

В Уравнении (1) S_VA представляет площадь выделяющейся области, a G_DLhn, G_DLvn и G_DPn задаются Уравнением (2), приведенным ниже.

[Уравнение 2]

В Уравнении (2) L_Dh, L_Dv и P_D обозначают линию (линию горизонтальных третей), разделяющую горизонтальное направление ни трети, линию (линию вертикальных третей), разделяющую горизонтальное направление на трети, и пересечение (пересечение линий третей) линии горизонтальных третьей и линии вертикальных третей, соответственно, на входном изображении, и P_n обозначает положение центра выделяющейся области. Кроме того, d представляет собой длину диагоналей области "обрезания", которая задается Уравнением (3), приведенным ниже.

[Уравнение 3]

Следовательно, G_DLhn, G_DLvn и G_DPn в Уравнении (1) принимает более высокое значение по мере того, как положение центра выделяющейся области приближается, соответственно, к линии горизонтальных третей, линии вертикальных третей и пересечению линий третей.

Кроме того, коэффициенты α_hn, α_vn и α_pn в Уравнении (1) представляют собой параметры, которые изменяются таким образом, как это показано, соответственно, на схемах, с верхней по нижнюю, показанных на Фиг.8, в соответствии с форматным соотношением VA_aspect_ratio_n выделяющейся области, которое задается Уравнением (4), приведенным ниже, при этом принимается, что ширина и высота выделяющейся области являются, соответственно, Crop_width и Crop_height. На схемах, с верхней по нижнюю, показанных на Фиг.8, горизонтальная ось указывает форматное соотношение VA_aspect_ratio_n, а вертикальная ось указывает значение каждого из коэффициентов α_hn, α_vn и α_pn.

[Уравнение 4]

В соответствии с верхней схемой, показанной на Фиг.8, когда форматное соотношение VA_aspect_ratio_n составляет от 0 до r_min, коэффициент а_hn становится равным 1,0, а когда форматное соотношение, VA_aspect_ratio_n больше чем r_mid1, коэффициент α_hn становится равным 0,0. Кроме того, когда форматное соотношение VA_aspect_ratio_n составляет от r_min до r_mid1, коэффициент α_hn уменьшается с увеличением форматного соотношения VA_aspect_ratio_n. Таким образом, в Уравнении (1), коэффициент a_hn становится значащим тогда, когда выделяющаяся область удлинена в вертикальном направлении.

В соответствии со средней схемой, показанной на Фиг.8, когда форматное соотношение VA_aspect_ratio_n составляет от 0 до r_mid2, коэффициент α_vn становится равным 0,0, а когда форматное соотношение VA_aspect_ratio_n больше, чем r_max, коэффициент α_vn становится равным 1,0. Кроме того, когда форматное соотношение VA_aspect_ratio_n составляет от r_mid2 до r_max, коэффициент α_vn увеличивается при увеличении форматного соотношения VA_aspect_ratio_n. Таким образом, в Уравнении (1), коэффициент α_vn становится значащим, когда выделяющаяся область удлинена в горизонтальном направлении.

В соответствии с нижней схемой, показанной на Фиг.8, когда форматное соотношение VA_aspect_ratio_n составляет от 0 до r_min или больше чем r_max, коэффициент α_pn становится равным 0,0, а когда форматное соотношение VA_aspect_ratio_n составляет от r_mid1 до r_mid2, коэффициент α_pn становится равным 1,0. Кроме того, когда форматное соотношение VA_aspect_ratio_n составляет от r-min до r_mid1, коэффициент α_pn увеличивается при увеличении форматного соотношения VA_aspect_ration, а когда форматное соотношение VA_aspect_ratio_n составляет от r_mid2 до r_max, коэффициент α_vn уменьшается при увеличении форматного соотношения VA_aspect_ratio_n. Таким образом, в Уравнении (1), коэффициент α_pn становится значащим, когда выделяющаяся область имеет форму, близкую к квадрату.

Исходя из вышесказанного, Уравнение (1) показывает, что значение энергетической функции E_c становится большим по мере того, как выделяющаяся область приближается к линии горизонтальных третей, линии вертикальных третей и пересечению линий третей, если выделяющаяся область является, соответственно, удлиненной в вертикальном направлении, удлиненной в горизонтальном направлении или имеет форму, близкую к квадрату.

Например, в примере, показанном на Фиг.9, поскольку выделяющаяся область (R_h) является удлиненной в вертикальном направлении и близка к линии горизонтальных третей, выделяющаяся область (R_v) является удлиненной в горизонтальном направлении и близка к линии вертикальных третей, и выделяющаяся область (R_p) имеет форму, близкую к квадрату, и близка к пересечению линий третей, то энергетическая функция E_c становится большой.

В то время как предшествующее описание относится к случаю, в котором в качестве образца композиции используется трехчастная композиция, также имеется возможность, например, как это показано на Фиг.10, использовать композицию (девятичастную композицию), получаемую дальнейшим делением одной разделяемой области в трехчастной композиции на три части. В соответствии с девятичастной композицией ожидается, что эта композиция обеспечивает глубину по сравнению с трехчастной композицией.

Энергетическая функция E_c, относящаяся к девятичастной композиции, задается Уравнением (5), приведенным ниже.

[Уравнение 5]

В Уравнении (5) G_dLhn, G_dLvn и G_dPn задаются Уравнением (6), приведенным ниже.

[Уравнение 6]

В Уравнении (6) L_dh, L_dv и P_d обозначают линию (линию горизонтальных девятых частей), разделяющую горизонтальное направление на девятые части в девятичастной композиции, линию (линию вертикальных девятых частей), разделяющую вертикальное направление на девятые части, и пересечение (пересечение линий девятых частей), соответственно, линии горизонтальных девятых частей и линии вертикальных девятых частей. Следует, однако, отметить, что как показано на Фиг.10, пересечения между линиями (h1a), (h1b) горизонтальных девятых частей и линиями (v1 a), (v1 b) вертикальных девятых частей внутри разделенной области в центре в трехчастной композиции не включены.

Кроме того, в Уравнении (5) коэффициент α_3rd принимает значение от 0 до 1, и представляет собой параметр, который определяет отношение между значением энергетической функции, относящейся к трехчастной композиции, и значением энергетической функции, относящейся к девятичастной композиции. Например, когда подлежащий применению образец композиции представляет собой только девятичастную композицию, коэффициент может быть задан как α_3rd=0.

Возвращаясь к блок-схеме алгоритма, приведенной на Фиг.7, отметим, что на этапе S 32 секция (34b) создания предохранительной модели создает предохранительную модель для предотвращения того, чтобы область "обрезания" стала слишком маленькой. Иначе говоря, секция (34b) создания предохранительной модели создает энергетическую функцию E_s, относящуюся к предохранительной модели. Энергетическая функция E_s задается Уравнением (7), приведенным ниже.

[Уравнение 7]

Пусть здесь, как показано на Фиг.11, самый малый прямоугольник, включающий в себя все выделяющиеся области в пределах входного изображения, будет полной выделяющейся прямоугольной областью, ее площадь будет S_WVA, и положение центра будет P_WVA. Кроме того, пусть площадь области "обрезания" будет S_Crop, и положение центра будет P_Crop. Помимо этого, пусть площадь общей области, общей для полной выделяющейся прямоугольной области и области "обрезания", будет S_WVA&Crop.

При этом энергетическая функция E_s в Уравнении (7) принимает более высокое значение по мере того, как площадь S_WVA&Crop области, общей для полной выступающей прямоугольной области и области "обрезания", становится больше (первый член Уравнения (7)).

Кроме того, энергетическая функция. E_s в Уравнении (7) принимает более высокое значение по мере того, как расстояние между положением (P_Crop) центра области "обрезания" и положением (P_WVA) центра полной выделяющейся прямоугольной области становится меньше (второй член Уравнения (7)).

На этапе S 33 секция (34с) создания модели штрафов создает модель штрафов для оценки площади области для области "обрезания", которая лежит вне входного изображения. Иначе говоря, секция (34с) создания модели штрафов создает энергетическую функцию Е_р, относящуюся к модели штрафов. Энергетическая функция Е_р задается Уравнением (8), приведенным ниже.

[Уравнение 8]

Пусть здесь, как показано на Фиг.12, площадь области "обрезания" будет S_Crop, a площадь области "обрезания", которая лежит вне области входного изображения, будет S_Over.

При этом энергетическая функция Е_р в Уравнении (8) принимает более высокое значение по мере того, как площадь S_Over области "обрезания", которая лежит вне области входного изображения, становится больше. Следует отметить, что для уменьшения количества вычислений энергетическая функция может задаваться как Е_р=1 всякий раз, когда область "обрезания" лежит вне области входного изображения.

На этапе S 34 секция (34d) создания целевой функции создает целевую функцию Е, заданную Уравнением (9), приведенным ниже, из энергетических функций E_c, E_s, и Е_р.

[Уравнение 9]

В Уравнении (9) коэффициенты C_C, C_S, и C_P представляют собой корректировочные функции, относящиеся, соответственно, к энергетическим функциям E_c, E_s, и E_p. Уравнение (9) показывает, что чем меньше значение целевой функции Е, тем ближе полученная область "обрезания" становится к оптимальной области "обрезания".

На этапе S 35 секция (34е) оптимизации определяет оптимальную область "обрезания" на основе информации о положении области "обрезания", которая минимизирует целевую функцию Е, и предоставляет оптимальную область "обрезания" в секцию (35) "обрезания" изображения. Если описать это более конкретно, то секция (34 е) оптимизации оптимизирует целевую функцию Е с использованием метода "оптимизации роя частиц" (PSO - оптимизация).

В методе "оптимизация роя частиц", в то время как множество переменных изменяются случайным образом, по мере того, как одна из переменных приближается к целевому оптимальному значению, другие переменные также приближаются к оптимальным значениям, и это повторяется таким образом, чтобы это множество переменных приняло свои соответствующие оптимальные значения.

Таким образом, взяв в качестве переменной начальную позицию (в горизонтальном направлении/вертикальном направлении) "обрезания" области "обрезания", и размер (ширина/высота) области "обрезания", секция (34е) оптимизации находит информацию о положении (начальной позиции и размере области "обрезания"), которая минимизирует целевую функцию Е методом "оптимизация роя частиц". Секция (34е) оптимизации определяет на основе найденной информации о положении оптимальную область "обрезания", и обработка данных возвращается на этап S 15.

Следует отметить, что в случае, когда форматное соотношение области "обрезания" является постоянным, секция (34е) оптимизации может в качестве переменных задать начальную позицию (в горизонтальном направлении/вертикальном направлении) "обрезания" области "обрезания", и размер (ширину) области "обрезания". Помимо этого в качестве переменной может быть добавлен угол поворота области "обрезания".

На Фиг.13 показан пример оптимальной области "обрезания", определенной таким образом.

Как показано на Фиг.13, на входном изображении Р, оптимальная область Р_с "обрезания" определяется таким образом, что единственная птица размещается в положении пересечения линий третей в трехчастной композиции.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.3, отметим, что на этапе S 16 секция (35) "обрезания" изображения "обрезает" на введенном входном изображении изображение оптимальной области "обрезания", основываясь на оптимальной области "обрезания", поступающей из секции (34) анализа композиции, и выдает полученное "обрезанием" изображение. Например, секция (35) "обрезания" изображения "обрезает" изображение оптимальной области "обрезания" в трехчастной композиции, как это показано на Фиг.14, на основе оптимальной области "обрезания", поступающей из секции (34) анализа композиции.

В соответствии с вышеупомянутым процессом область "обрезания" может быть определена на основе образца композиции, связанного с количеством выделяющихся областей на входном изображении и сценой входного изображения. Поскольку выделяющаяся область определяется даже в случае, когда объект отличен от человека, то имеется возможность получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека. Кроме того, поскольку образец композиции задается на основе количества выделяющихся областей и сцены, то имеется возможность получать "обрезанием" изображение с оптимальной композицией независимо от категории входного изображения.

Хотя вышеприведенное описание относится к конфигурации, в которой образец композиции определен заранее в связи с количеством выделяющихся областей и сцены, также имеется возможность выполнять распознавание предметов в отношении входного изображения и задавать образец композиции в соответствии с этими предметами.

<2. Второй вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.15 показан пример конфигурации устройства обработки изображений, сконфигурированного таким образом, чтобы выполнять распознавание предметов в отношении входного изображения и задавать образец композиции в соответствии с предметами. Следует отметить, что в устройстве (111) обработки изображений, показанном на Фиг.15, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (111) обработки изображений, показанное на Фиг.15, отличается от устройства (11) обработки изображений, показанного на Фиг.1, тем, что вместо секции (33) задания образца композиции предусматривается секция (131) задания образца композиции.

Следует отметить, что на Фиг.15 секция (32) различения сцены различает сцену входного изображения и предоставляет информацию о сцене, указывающую сцену, каковая информация получена в результате различения, в секцию (131) задания образца композиции.

Секция (131) задания образца композиции распознает предметы на входном изображении, поступающем из секции (32) различения сцены. Кроме того, секция (131) задания образца композиции задает образец композиции, соответствующий входному изображению, на основе сцены, указанной в информации о сцене, поступающей из секции (32) различения сцены и распознанных предметов, и предоставляет этот образец композиции в секцию (34) анализа композиции. Секция (131) задания образца композиции хранит для каждой сцены образец композиции, для которого размещение и пропорции предметов в пределах композиции определены заранее, и задает образец композиции, выбирая из числа хранимых образцов композиции образец композиции в соответствии со сценой и предметами. Размещение и пропорции предметов в пределах композиции могут быть заданы таким образом, чтобы усилить сбалансированность композиции. Следует отметить, что образец композиции с размещением и пропорциями предметов в пределах композиции, определенный заранее для каждой сцены, может храниться в непоказанной на иллюстрациях базе данных или тому подобном.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.16, будет дано описание процесса "обрезания" изображения в устройстве (111) обработки изображений, показанном на Фиг.15. Следует отметить, что поскольку процессы на этапах с S 111 по S 113, S 115 и S 116 на блок-схеме алгоритма, показанной на Фиг.16, являются теми же самыми, что и процессы на этапах c S ll по S 13, S 15 и S 16, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается.

Таким образом, на этапе S 114 секция (131) задания образца композиции распознает предметы на входном изображении, поступающем из секции (32) различения сцены. Кроме того, секция (131) задания образца композиции задает образец композиции, соответствующий входному изображению, на основе сцены, указанной в информации о сцене, поступающей из секции (32) различения сцены, и распознанных предметов, и предоставляет этот образец композиции в секцию (34) анализа композиции.

Ниже, со ссылкой на Фиг.17, будет дано описание примера образца композиции в соответствии с предметами.

На входном изображении, показанном на Фиг.17, в качестве предметов имеются небо, скала, трава и люди. После распознавания этих предметов на входном изображении, показанном на Фиг.17, секция (131) задания образца композиции выбирает из числа хранимых образцов композиции образец композиции, в котором пропорции неба, скалы, травы, и людей в пределах композиции составляют, соответственно, 30%, 20%, 40% и 10%. В результате, в конечном счете, "обрезанием" получают изображение композиции, указанной рамкой на входном изображении, показанном на Фиг.17.

В соответствии с вышеописанным процессом имеется возможность распознавать предметы на входном изображении и задавать образец композиции в соответствии с предметами и сценой. Поскольку размещение и пропорции предметов в пределах композиции, определенной образцом композиции, заданы таким образом, чтобы усилить сбалансированность композиции, то имеется возможность получать "обрезанием" изображение с оптимальной композицией.

Хотя предшествующее описание относится к конфигурации, в которой на входном изображении определяется только одна область "обрезания", на входном изображении может быть определено множество кандидатов на область "обрезания".

<3. Третий вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.18 показан пример конфигурации устройства обработки изображений, сконфигурированного для того, чтобы определить множество кандидатов на область "обрезания" на входном изображении. Следует отметить, что в устройстве (211) обработки изображений, показанном на Фиг.18, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (211) обработки изображений, показанное на Фиг.18, отличается от устройства (11) обработки изображений, показанного на Фиг.1, тем, что вместо секции (34) анализа композиции предусматривается секция (231) анализа композиции, и дополнительно предусматривается секция (232) отображения и секция (233) ввода команд.

Секция (231) анализа композиции определяет на основе образца композиции, поступающего из секции (33) задания образца композиции, для изображения, получаемого "обрезанием" по этому образцу композиции, множество кандидатов (кандидатов на область "обрезания") оптимальной области "обрезания" на входном изображении и предоставляет кандидатов на область "обрезания" в секцию (232) отображения. Кроме того, на основе сигнала команды, поступающего из секции (233) ввода команд, который указывает на то, что один из кандидатов на область "обрезания" был выбран, секция (231) анализа композиции предоставляет выбранную область "обрезания" в секцию (35) "обрезания" изображения.

Секция (231) анализа композиции включает в себя секцию (231а) создания модели композиции, секцию (231b) создания предохранительной модели, секцию (231с) создания модели штрафов, секцию (231d) создания целевой функции и секцию (231е) оптимизации. Следует отметить, что поскольку секции: с секции (231а) создания модели композиции по секцию (231d) создания целевой функции, имеют те же самые функции, что и секции: с секции (34а) создания модели композиции по секцию (34d) создания целевой функции, показанные на Фиг.1, то описание этих секций опускается.

Секция (231е) оптимизации определяет области "обрезания", которые дают первые n наименьших целевых функций Е, и предоставляет эти области "обрезания", в качестве кандидатов на область "обрезания", в секцию (232) отображения.

Секция (232) отображения сконфигурирована как монитор с секцией (231) ввода команд, выполненной как наложенная на него сенсорная панель, и отображает на входном изображении рамки, указывающие кандидатов на область "обрезания", поступающих из секции (231) анализа композиции, или отображает на входном изображении изображение команды, дающее пользователю инструкцию в отношении команды.

Секция (233) ввода команд сконфигурирована как сенсорная панель, наложенная на отображающую поверхность секции (232) отображения, и предоставляет сигнал команды, соответствующий команде пользователя, секции (231) анализа композиции.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.19, будет дано описание процесса "обрезания" изображения в устройстве (211) обработки изображений, показанном на Фиг.18. Следует отметить, что поскольку процессы на этапах с S 211 по S 114 на блок-схеме алгоритма, показанной на Фиг.16, являются теми же самыми, что и процессы на этапах с S 11 по S 14, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается.

Таким образом, на этапе S 215 секция (231) анализа композиции выполняет процесс определения кандидатов на область "обрезания", в ходе которого определяют на основе образца композиции, поступающего из секции (33) задания образца композиции, для изображения, получаемого "обрезанием" по этому образцу композиции, множество кандидатов на оптимальную область "обрезания" на входном изображении.

[Процесс определения кандидатов на область "обрезания", выполняемый в секции анализа композиции]

Ниже, со ссылкой на блок-схему алгоритма, показанного на Фиг.20, будет дано описание процесса определения кандидатов на область "обрезания", выполняемого на этапе S 215 на блок-схеме алгоритма, показанной на Фиг.19. Следует отметить, что поскольку процессы на этапах с S 231 по S 234 на блок-схеме алгоритма, показанного на Фиг.20, являются теми же самыми, что и процессы на этапах с S 31 по S 34, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.7, то описание этих процессов опускается.

Таким образом, на этапе S 235 секция (231 е) оптимизации определяет области "обрезания", которые дают первые (по ранжированию) n наименьших целевых функций Е, и предоставляет эти области "обрезания" в качестве кандидатов на области "обрезания" в секцию (232) отображения.

Если описать это более конкретно, то, например, при выполнении оптимизации целевой функции Е с использованием метода "оптимизация роя частиц" секция (231 е) оптимизации хранит значения локальных минимумов и информацию о положении на тот момент времени и предоставляет первые n наборов с сильно изменяющейся информацией о положении, ранжированных в порядке возрастания значения целевой функции Е, в секцию (232) отображения, и обработка данных возвращается на этап S 15.

Таким образом, секция (231) анализа композиции может определить кандидатов на область "обрезания".

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.19, отметим, что на этапе S 216 секция (232) отображения отображает рамки, указывающие кандидатов на область "обрезания", поступающих из секции (231) анализа композиции, на входном изображении таким образом, как это, например, показано на Фиг.21.

Секция (232) отображения, показанная на Фиг.21, отображает рамки, указывающие двух кандидатов на область "обрезания", и именует их "Кандидат 1" и "Кандидат 2" для того, чтобы идентифицировать каждого из них. Пользователь может выбрать кандидата на область "обрезания", обозначенного "Кандидатом 1" или "Кандидатом 2", посредством секции (233) ввода команд, выполненной как сенсорная панель, наложенная на секцию (232) отображения.

На этапе S 217 секция (231) анализа композиции оценивает, был ли выбран один из кандидатов на область "обрезания". То есть, секция (231) анализа композиции оценивает, был ли подан ли из секции (233) ввода команд сигнал команды, указывающий, что один из кандидатов на область "обрезания" был выбран.

При этом, когда один из кандидатов на область "обрезания", обозначенных "Кандидатом 1" и "Кандидатом 2", показанных на Фиг.21, выбран пользователем, отображается экранное изображение для утверждения, включающее в себя слова "Годится ли данный угол обзора?" "Да" "Нет", как это показано на Фиг.22. Когда командой пользователя на секции (233) ввода команд, выполненной как сенсорная панель на секции (232) отображения, на Фиг.22 выбран ответ "Да", в секцию (231) анализа композиции подается сигнал команды, указывающий, что один из кандидатов на область "обрезания" выбран.

Если на этапе S 217 оценено, что ни один из кандидатов на область "обрезания" не выбран, то процесс повторяется до тех пор, пока не подан сигнал команды из секции (233) ввода команд, указывающий, что один из кандидатов на область "обрезания" выбран.

С другой стороны, если на этапе S 217 оценено, что один из кандидатов на область "обрезания" выбран, то секция (231) анализа композиции, основываясь на сигнале команды, поступающей из секции (233) ввода команд, указывающем, что один из кандидатов на область "обрезания" выбран, предоставляет выбранная область "обрезания" в секцию (35) "обрезания" изображения.

На этапе S 218 секция (35) "обрезания" изображения "обрезает" на введенном входном изображении, основываясь на области "обрезания", поступающей из секции (231) анализа композиции, изображение выбранной области "обрезания".

В соответствии с вышеописанным процессом, поскольку для выбора может быть отображено множество кандидатов на оптимальную область "обрезания", то пользователь может проверить кандидатов на область "обрезания" и сделать выбор. Следовательно, имеется возможность получать "обрезанием" изображение с оптимальной композицией, которая соответствует предпочтению пользователя.

Хотя в предшествующем описании не упоминался размер входного изображения, в качестве входного изображения может быть введено панорамное изображение.

<4. Четвертый вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.23 показан пример конфигурации устройства обработки изображений, сконфигурированного таким образом, чтобы вводить в качестве входного изображения панорамное изображение. Следует отметить, что в устройстве (311) обработки изображений, показанном на Фиг.23, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (311) обработки изображений, показанное на Фиг.23, отличается от устройства (11) обработки изображений, показанного на Фиг.11, тем, что дополнительно предусматривается секция (331) различения панорамы, и что вместо секции (34) анализа композиции предусматривается секция (332) анализа композиции.

Секция (331) различения панорамы различает, является ли входное изображение панорамным изображением, и предоставляет результат этого различения в секцию (332) анализа композиции.

В соответствии с результатом различения, поступающим из секции (331) различения панорамы, на основе образца композиции, поступающего из секции (33) задания образца композиции, секция (332) анализа композиции определяет для изображения, получаемого "обрезанием" по этому образцу композиции, область "обрезания" на входном изображении, и предоставляет эту область "обрезания" в секцию (35) "обрезания".

Секция (332) анализа композиции включает в себя секцию (332а) создания модели композиции, секцию (332b) создания предохранительной модели, секцию (332с) создания модели штрафов, секцию (332d) создания целевой функции и секцию (332е) оптимизации. Следует отметить, что поскольку секция (332 а) создания модели композиции, секция (332b) создания предохранительной модели и секция (332с) создания модели штрафов имеют те же самые функции, что и, соответственно, секция (34а) создания модели композиции, секция (34b) создания предохранительной модели и секция (34с) создания модели штрафов, показанные на Фиг.1, то, соответственно, описание этих секций опускается.

Если результат различения панорамы, поступающий из секции (331) различения панорамы, указывает, что входное изображение является панорамным изображением, то секция (332d) создания целевой функции обращает в ноль член энергетической функции E_s в целевой функции Е.

Если результат различения панорамы, поступающий из секции (331) различения панорамы, указывает, что входное изображение не является панорамным изображением, секция (332е) оптимизации определяет область "обрезания", которая минимизирует целевую функцию Е, и предоставляет эту область "обрезания" в качестве оптимальной области "обрезания" в секцию (35) "обрезания" изображения. Кроме того, если результат различения панорамы, поступающий из секции (331) различения панорамы, указывает, что входное изображение является панорамным изображением, секция (231 е) оптимизации определяет области "обрезания", которые дают первые (по ранжированию) n наименьших целевых функций Е, и предоставляет эти области "обрезания" в качестве кандидатов на область "обрезания" в секцию (35) "обрезания" изображения.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.24, будет дано описание процесса "обрезания" изображения в устройстве (311) обработки изображений, показанном на Фиг.23. Следует отметить, что поскольку процессы на этапах с S 311 по S 314 на блок-схеме алгоритма, показанной на Фиг.24, являются теми же самыми, что и процессы на этапах с S 11 по S 14, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается. Кроме того, поскольку процессы на этапах S 318 по S 319 на блок-схеме алгоритма, показанной на Фиг.24, являются теми же самыми, что и процессы на этапах S 15 и S 16, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается.

Таким образом, на этапе S 315 секция (331) различения панорамы различает, является ли входное изображение панорамным изображением. Если описать это более конкретно, то, полагая, что ширина и высота входного изображения составляют, соответственно, Injwidth и In_height, секция (331) различения панорамы сравнивает форматное соотношение In_aspect_ratio, представленное Уравнением (10), приведенным ниже, с некоторым заранее заданным пороговым значением In_aspect_ratio_th.

[Уравнение 10]

Если на этапе S 315 различено, что входное изображение является панорамным изображением, то секция (331) различения панорамы предоставляет форматное соотношение In_aspect_ratio секции (332) анализа композиции вместе с информацией, указывающей, что входное изображение является панорамным изображением, и обработка данных переходит на этап S 316.

На этапе S 316 секция (332) анализа композиции выполняет процесс определения кандидатов на область "обрезания", основываясь на информации, поступающей из секции (331) различения панорамы и указывающей, что входное изображение является панорамным изображением, и форматном соотношении In_aspect_ratio.

Следует отметить, что, поскольку процесс определения кандидатов на область "обрезания", выполняемый устройством (311) обработки изображений, показанным на Фиг.23, является, по существу, тем же самым, что и процесс в устройстве (211) обработки изображений, показанном на Фиг.18, описанный выше со ссылкой на блок-схему алгоритма, показанную на Фиг.20, то описание этого процесса опускается.

Следует, однако, отметить, что на этапе S 234, который представляет собой процесс, показанный на блок-схеме алгоритма, приведенной на Фиг.20, соответствующем процессу определения кандидатов на область "обрезания", выполняемому устройством (311) обработки изображений, секция (332d) создания целевой функции обращает в ноль член энергетической функции E_s в целевой функции Е. Если описать это более конкретно, то секция (332d) создания целевой функции изменяет значение коэффициента C_S в целевой функции Е, представленной Уравнением (9), в соответствии с характеристикой, показанной на Фиг.25.

На Фиг.25 показана зависимость между форматным соотношением ln_aspect_ratio входного изображения и коэффициентом C_S в целевой функции Е.

Согласно Фиг.25, когда форматное соотношение In_aspect_ratio больше, чем заранее заданное пороговое значение In_aspect_ratio_th, значение коэффициента C_S в целевой функции Е становится равным 0,0, а когда форматное соотношение In_aspect_ratio меньше, чем заданное пороговое значение In_aspect_ratio_th, значение коэффициента Cs в целевой функции Е, становится равным 1,0. Таким образом, когда входное изображение является панорамным изображением, в целевой функции Е энергетическая функция, относящаяся к предохранительной модели для предотвращения того, чтобы область "обрезания" стала слишком маленькой, устанавливается в "0".

Соответственно, секции (35) "обрезания" изображения предоставляются кандидаты на область "обрезания" в виде относительно маленьких областей "обрезания".

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.24, отметим, что на этапе S 317, на основе кандидатов на область "обрезания", поступающих из секции (332) анализа композиции, секция (35) "обрезания" изображения "обрезает" на введенном входном изображении (панорамном изображении) изображения кандидатов на область "обрезания" таким образом, как это показано на Фиг.26, и выводит полученные "обрезанием" изображения.

На Фиг.26 показаны примеры кандидатов на область "обрезания" на панорамном изображении. На Фиг.26 на панорамном изображении, которое является входным изображением, заданы рамки, указывающие трех кандидатов на область "обрезания":

Кандидатов с 1 по 3.

Возвращаясь к блок-схеме, показанной на Фиг.24, отметим, что если различено, что входное изображение не является панорамным изображением, то секция (331) различения панорамы предоставляет информацию, указывающую, что входное изображение не является панорамным изображением, секции (332) анализа композиции. Затем обработка данных переходит на этап S 318, и определяется оптимальная область "обрезания". На этапе S 319 на входном изображении "обрезается" изображение оптимальной области "обрезания".

В соответствии с вышеописанным процессом, когда входное изображение является панорамным изображением, может быть определено множество малых кандидатов на область "обрезания". Следовательно, для пользователя имеется возможность выбрать из числа множества композиций, полученных "обрезанием" на панорамном изображении, изображение с оптимальной композицией, которая соответствует предпочтению пользователя.

Хотя предшествующее описание относится к конфигурации, в которой в качестве выходного изображения выводится только изображение области "обрезания", вместе с изображением области "обрезания" может выводиться и входное изображение в его неизменном виде.

<5. Пятый вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.27 показан пример конфигурации устройства обработки изображений, сконфигурированного таким образом, чтобы вместе с изображением области "обрезания" выводить входное изображение в его неизменном виде. Следует отметить, что в устройстве (411) обработки изображений, показанном на Фиг.27, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (411) обработки изображений, показанное на Фиг.27, отличается от устройства (11) обработки изображений, показанного на Фиг.1, тем, что вместе с изображением области "обрезания" выводится и входное изображение в его неизменном виде.

В соответствии с вышеописанной конфигурацией, поскольку вместе с изображением области "обрезания" может быть выведено и входное изображение в его неизменном виде, то, когда эти изображения выводятся на устройство отображения, пользователь может сравнивать входное изображение и изображение области "обрезания" друг с другом. Например, если входное изображение представляет собой изображение, вводимое пользователем посредством устройства ввода изображений, пользователь может проверить разницу между композицией изображения, снятого самим пользователем (самой пользовательницей), и композицией полученного "обрезанием" изображения.

Следует отметить, что, поскольку процесс определения кандидатов на область "обрезания", выполняемый устройством (411) обработки изображений, показанным на Фиг.27, является, по существу, тем же самым, что и процесс в устройстве (11) обработки изображений, показанном на Фиг.1, описанный выше со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этого процесса опускается.

Хотя предшествующее описание относится к конфигурации, в которой, основываясь на определяемой области "обрезания", получают "обрезанием" из входного изображения и выводят изображение этой области "обрезания", выводиться может только информация, указывающая область "обрезания".

<6. Третий вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.28 показан пример конфигурации устройства обработки изображений, сконфигурированного таким образом, чтобы вместе с изображением области "обрезания" выводить только информацию, указывающую область "обрезания". Следует отметить, что в устройстве (511) обработки изображений, показанном на Фиг.28, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (511) обработки изображений, показанное на Фиг.28, отличается от устройства (11) обработки изображений, показанного на Фиг.1, тем, что секция (35) "обрезания" изображения удалена, и входное изображение выводится в его неизменном виде.

Следует отметить, что секция (34) анализа композиции, показанная на Фиг.28, определяет на основе образца композиции, поступающего из секции (33) задания образца композиции, для изображения, получаемого "обрезанием" по этому образцу композиции, оптимальную область "обрезания" на входном изображении, и выводит информацию, указывающую оптимальную область "обрезания" на внешнее устройство или тому подобное.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.29, будет дано описание процесса "обрезания" изображения в устройстве (511) обработки изображений, показанном на Фиг.28. Следует отметить, что поскольку процессы на этапах с S 511 по S 515 на блок-схеме алгоритма, показанной на Фиг.29, являются теми же самыми, что и процессы на этапах с S 11 по S 15, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается.

Таким образом, на этапе S 516, устройство (511) обработки изображений выводит входное изображение в его неизменном виде, и секция (34) анализа композиции выводит информацию, указывающую полученную в результате определения оптимальную область "обрезания" на входном изображении, на внешнее устройство или тому подобное.

В соответствии с вышеописанным процессом, поскольку имеется возможность выводить вместе с входным изображением не изображение области "обрезания", но информацию, указывающую оптимальную область "обрезания", то можно уменьшить емкость памяти кадров, непоказанной на иллюстрациях, в устройстве (511) обработки изображений.

Хотя предшествующее описание относится к конфигурации, в которой входное изображение и информация, указывающая оптимальную область "обрезания", выводятся по-отдельности, входное изображение и информация, указывающая оптимальную область "обрезания" могут выводиться как единая порция данных.

<7. Третий вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.30 показан пример конфигурации устройства обработки изображений, сконфигурированного таким образом, чтобы выводить входное изображение и информацию, указывающую оптимальную область "обрезания", как единую порцию данных. Следует отметить, что в устройстве (611) обработки изображений, показанном на Фиг.30, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (611) обработки изображений, показанное на Фиг.30, отличается от устройства (11) обработки изображений, показанного на Фиг.1, тем, что вместо секции (35) "обрезания" изображения предусматривается секция (631) суммирования.

Следует отметить, что секция (34) анализа композиции, показанная на Фиг.30, определяет на основе образца композиции, поступающего из секции (33) задания образца композиции, для изображения, получаемого "обрезанием" по этому образцу композиции, оптимальную область "обрезания" на входном изображении, и выводит информацию, указывающую оптимальную область "обрезания" в секцию (631) суммирования.

Секция (631) суммирования суммирует информацию, указывающую оптимальную область "обрезания", поступающую из секции (34) анализа композиции, с введенным входным изображением как EXIF-информацию, и выводит результат в качестве выходного изображения.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.31, будет дано описание процесса "обрезания" изображения в устройстве (611) обработки изображений, показанном на Фиг.30. Следует отметить, что поскольку процессы на этапах с S 611 по S 615 на блок-схеме алгоритма, показанной на Фиг.31, являются теми же самыми, что и процессы на этапах с S 11 по S 15, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается.

Таким образом, на этапе S 616 секция (631) суммирования суммирует информацию, указывающую оптимальную область "обрезания", поступающую из секции (34) анализа композиции, с введенным входным изображением как EXIF-информацию, и выводит результат в качестве выходного изображения.

В соответствии с вышеописанным процессом, поскольку информация, указывающая оптимальную область "обрезания" может быть суммирована как EXIF-информация с входным изображением и выведена, то изображение области "обрезания" не генерируется, и емкость непоказанной на иллюстрациях памяти кадров в устройстве (611) обработки изображений может быть уменьшена.

Хотя предшествующее описание относится к устройству обработки изображений, которое выводит изображение области "обрезания" с использованием в качестве входного изображения, введенного устройством ввода изображений или ему подобного, устройство ввода изображений само может включать в себя конфигурацию для определения области "обрезания" в отношении вводимого изображения, которое было введено.

<8. Восьмой вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.32 показан пример конфигурации устройства ввода изображений, сконфигурированного таким образом, чтобы определять область обрезания в отношении вводимого изображения, которое было введено. Следует отметить, что в устройстве (711) ввода изображений, показанном на Фиг.32, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (711) ввода изображений, показанное на Фиг.32, отличается от устройства (11) обработки изображений, показанного на Фиг.1, что дополнительно предусматриваются секция (731) ввода изображения, секция (732) обработки изображения и секция (733) отображения.

Следует отметить, что секция (34) анализа композиции, показанная на Фиг.32, определяет, на основе образца композиции, поступающего из секции (33) задания образца композиции, для изображения, получаемого "обрезанием" по этому образцу композиции, оптимальную область "обрезания" на входном изображении, и предоставляет оптимальную область "обрезания" в секцию (35) "обрезания" изображения и секцию (733) отображения.

Секция (731) ввода изображения сконфигурирована таким образом, чтобы включать в себя оптическую линзу, устройство формирования изображения, и секцию аналого-цифрового (А/D) преобразования (ни один из этих компонентов на чертеже не показан). В секции (731) ввода изображения устройство формирования изображения принимает свет, который заставляют падать на оптическую линзу, и выполняет фотоэлектрическое преобразование, чтобы, таким образом, вводить изображение объекта, и полученный аналоговый сигнал изображения подвергается аналого-цифровому преобразованию. Секция (731) ввода изображения предоставляет цифровые данные изображения (введенное изображение), полученные в результате аналого-цифрового преобразования, секции (732) обработки изображения.

Секция (732) обработки изображения применяет к введенному изображению, поступающему из секции (731) ввода изображения, обработку изображения, такую как удаление шума, и предоставляет полученное в результате изображение в секцию (31) извлечения выделяющейся области, секцию (32) различения сцены, секцию (35) "обрезания" изображения и секцию (733) отображения.

Секция (733) отображения отображает на введенном изображении, поступающем из секции (732) обработки изображения, рамку, указывающую оптимальную область "обрезания", поступающую из секции (34) анализа композиции, или отображает изображение оптимальной области "обрезания", полученной "обрезанием" в секции (35) "обрезания" изображения.

[Процесс "обрезания" изображения в устройстве ввода изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.33, будет дано описание процесса "обрезания" изображения в устройстве (711) ввода изображений, показанном на Фиг.32. Следует отметить, что поскольку процессы на этапах с S 713 по S 717 на блок-схеме алгоритма, показанной на Фиг.33, являются теми же самыми, что и процессы на этапах с S 11 по S 15, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается.

Таким образом, на этапе S 711 секция (731) ввода изображения вводит изображение объекта и предоставляет полученное введенное изображение в секцию (732) обработки изображения.

На этапе S 712 секция (732) обработки изображения применяет к введенному изображению, поступающему из секции (731) ввода изображения, обработку изображения, такую как удаление шума, и предоставляет полученное в результате изображение в секцию (31) извлечения выделяющейся области, секцию (32) различения сцены, секцию (35) "обрезания" изображения и секцию (733) отображения.

На этапе S 718 секция (733) отображения отображает на введенном изображении, поступающем из секции (732) обработки изображения, рамку, указывающую оптимальную область "обрезания", поступающую из секции (34) анализа композиции. В это время, например, когда пользователь приводит в действие непоказанную на иллюстрации секцию ввода команд, и в секцию (35) "обрезания" изображения подается сигнал команды, означающий предписание на "обрезание" изображения оптимальной области "обрезания", обработка данных переходит на этап S 719.

На этапе S 719 секция (35) "обрезания" изображения "обрезает" изображение оптимальной области "обрезания" на введенном изображении, поступающем из секции (732) обработки изображения, на основе оптимальной области "обрезания", поступающей из секции (34) анализа композиции.

На этапе S 720 секция (733) отображения отображает изображение оптимальной области "обрезания", полученной "обрезанием" в секции (35) "обрезания" изображения.

В соответствии с вышеописанным процессом область "обрезания" может быть определена на основе образца композиции, который связан с количеством выделяющихся областей на введенном изображении и сценой введенного изображения. Поскольку выделяющаяся область определяется даже в случае, когда объект отличен от человека, то имеется возможность получать "обрезанием" изображение с оптимальной композицией даже для объекта, отличного от человека. Кроме того, поскольку образец композиции задается на основе количества выделяющихся областей и сцены, то имеется возможность получать "обрезанием" изображение с оптимальной композицией независимо от категории введенного изображения.

Хотя предшествующее описание относится к конфигурации, в которой оптимальная область "обрезания" определяется независимо от того, в каком направлении сориентирован объект, входящий в состав выделяющейся области, оптимальная область "обрезания" может быть определена в соответствии с ориентацией объекта.

<9. Девятый вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.34 показан пример конфигурации устройства обработки изображений, сконфигурированного таким образом, чтобы определять оптимальную область "обрезания" в соответствии с ориентацией объекта. Следует отметить, что в устройстве (811) обработки изображений, показанном на Фиг.34, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (811) обработки изображений, показанное на Фиг.34, отличается от устройства (11) обработки изображений, показанного на Фиг.1, тем, что дополнительно предусматривается секция (831) выявления ориентации, и что вместо секции (34) анализа композиции предусматривается секция (832) анализа композиции.

Следует отметить, что на Фиг.34 секция (31) извлечения выделяющейся области извлекает выделяющуюся область, на которую направлено внимание на входном изображении, и предоставляет информацию о выделяющейся области, указывающую выделяющуюся область, секции (33) задания образца композиции и секции (831) выявления ориентации. Кроме того, секция (32) различения сцены различает сцену входного изображения, предоставляет информацию о сцене, указывающую сцену, каковая информация получена в результате различения, вместе с входным изображением в секцию (131) задания образца композиции, и также предоставляет информацию о сцене в секцию (831) выявления ориентации.

Секция (831) выявления ориентации выявляет ориентацию объекта, входящего в состав выделяющейся области, указанной информацией о выделяющейся области, каковая информация поступает из секции (31) извлечения выделяющейся области, и предоставляет информацию об ориентации, указывающую ориентацию, секции (832) анализа композиции.

На основе образца композиции, поступающего из секции (33) задания образца композиции, и информации об ориентации, поступающей из секции (831) выявления ориентации, секция (832) анализа композиции определяет для изображения, получаемого "обрезанием" по этому образцу композиции, оптимальную область "обрезания" на входном изображении и предоставляет оптимальную область "обрезания" в секцию (35) "обрезания" изображения.

Секция (832) анализа композиции включает в себя секцию (832а) создания модели композиции, секцию (832b) создания предохранительной модели, секцию (832с) создания модели штрафов, секцию (832 d) создания целевой функции и секцию (832е) оптимизации. Следует отметить, что поскольку секции: с секции (832а) создания модели композиции по секцию (832d) создания целевой функции, имеют те же самые функции, что и секции: с секции (34а) создания модели композиции по секцию (34d) создания целевой функции, показанные на Фиг.1, то, соответственно, описание этих секций опускается.

Секция (832е) оптимизации определяет область "обрезания", которая минимизирует целевую функцию Е, на основе информации об ориентации, поступающей из секции (831) выявления ориентации, и предоставляет эту область "обрезания" в качестве оптимальной области "обрезания" в секцию (35) "обрезания" изображения.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.35, будет дано описание процесса "обрезания" изображения в устройстве (811) обработки изображений, показанном на Фиг.34. Следует отметить, что поскольку процессы на этапах с S 811 по S 814 и S 817 на блок-схеме алгоритма, показанной на Фиг.35, являются теми же самыми, что и процессы на этапах с S11 по S14 и S16, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается. Кроме того, для процесса "обрезания" изображения, описанного со ссылкой на блок-схему алгоритма, показанную на Фиг.35, предполагается, что количество объектов, то есть, количество выделяющихся областей, составляет 1.

Таким образом, на этапе S 815 секция (831) выявления ориентации исполняет процесс выявления ориентации для того, чтобы выявить на входном изображении ориентацию объекта, входящего в состав выделяющейся области, указанной информацией о выделяющейся области, каковая информация поступает из секции (31) извлечения выделяющейся области.

[Процесс выявления ориентации, выполняемый в секции выявления ориентации]

Ниже со ссылкой на блок-схему алгоритма, показанную на Фиг.36, будет дано описание процесса выявления ориентации, выполняемого на этапе S 815 на блок-схеме алгоритма, показанной на Фиг.35.

На этапе S 821 секция (831) выявления ориентации оценивает, является ли выделяющаяся область, указанная информацией о выделяющей области, поступающей из секции (31) извлечения выделяющейся области, прямоугольной областью с лицом.

Если на этапе S 821 оценено, что выделяющаяся область является прямоугольной областью с лицом, то есть, если информация о выделяющейся области, поступающая из секции (31) извлечения выделяющейся области, является информацией о прямоугольной области с лицом, то обработка данных переходит на этап S 822.

На этапе S 822 секция (831) выявления ориентации выявляет на входном изображении ориентацию лица, входящего в состав прямоугольной области с лицом, указанной информацией о прямоугольной области с лицом, и предоставляет информацию об ориентации, указывающую эту ориентацию, секции (832) анализа композиции.

Если описать это более конкретно, то, например, по древовидной структуре, сформированной посредством предварительного изучения изображений лиц, имеющих различные ориентации, выступающих в качестве образцов для изучения, секция (831) выявления ориентации повторяет процессы различения в отношении изображения лица, входящего в состав прямоугольной области с лицом, от исходного узла до конечного узла древовидной структуры, идентифицируя (выявляя), таким образом, ориентацию лица. Например, секция (831) выявления ориентации предварительно изучает изображения лица, сориентированные в девяти направлениях: вперед, вверх, вниз-влево, вправо, вверх-вправо, вниз-вправо, вверх-влево и вниз-влево, и выбирает из числа этих девяти направлений ориентацию лица, входящего в состав прямоугольной области с лицом.

Следует отметить, что секция (831) выявления ориентации может, конечно же, выявлять ориентацию лица не только посредством вышеупомянутой технологии, но также и посредством других технологий.

С другой стороны, если на этапе S 821 оценено, что выделяющаяся область не является прямоугольной областью с лицом, то есть, если информация о выделяющейся области, поступающая из секции (31) извлечения выделяющейся области, является информацией о выделяющейся прямоугольной области, то обработка данных переходит на этап S 823.

На этапе S 823 на основе информации о сцене, поступающей из секции (32) различения сцены, секция (831) выявления ориентации выявляет на входном изображении ориентацию объекта, входящего в состав выделяющейся прямоугольной области, указанной информацией о выделяющейся прямоугольной области, и предоставляет информацию об ориентации, указывающую эту ориентацию, секции (832) анализа композиции.

Если описать это более конкретно, то секция (831) выявления ориентации хранит для каждой сцены шаблоны, включающие в себя изображения, на которых предметы, которые могут иметься в сцене, сориентированы в девяти направлениях: вперед, вверх, вниз-влево, вправо, вверх-вправо, вниз-вправо, вверх-влево и вниз-влево, находит из числа шаблонов, соответствующих сцене, указанной информацией о сцене, поступающей из секции (32) различения сцены, шаблон предмета, соответствующего объекту, входящему в состав выделяющейся прямоугольной области, и выполняет сопоставление с шаблоном на основе этого найденного шаблона, идентифицируя (выявляя), таким образом, ориентацию объекта, входящего в состав выделяющейся прямоугольной области.

Например, если сцена, указанная информацией о сцене, поступающей из секции (32) различения сцены, представляет собой "Покрытый травой участок", и объект, входящий в состав выделяющейся прямоугольной области, представляет собой "Цветок", то секция (831) выявления ориентации находит шаблон "Цветок" из числа шаблонов для "Покрытого травой участка", и выполняет сопоставление с шаблоном на основе этого шаблона, идентифицируя, таким образом, ориентацию "Цветка" как объекта.

Следует отметить, что секция (831) выявления ориентации может, конечно, выявлять ориентацию объекта не только посредством вышеупомянутой технологии, но также и посредством других технологий.

Кроме того, в предшествующем описании секция (831) выявления ориентации идентифицирует объект и его ориентацию, используя шаблон предмета, соответствующего объекту, из числа шаблонов, соответствующих информации о сцене. Однако, секция (831) выявления ориентации может, например, также оценивать то, присутствует ли на входном изображении целевой предмет, на основе количества признака на входном изображении, используя для распознавания целевого предмета распознаватель, который генерируется при исполнении процесса статистического обучения на основе количества признака, идентифицируя, таким образом, объект и его ориентацию.

Согласно способу, упомянутому выше, секция (831) выявления ориентации выявляет ориентацию объекта, входящего в состав выделяющейся области на входном изображении.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.35, отметим, что на этапе S 816 секция (832) анализа композиции исполняет процесс определения области "обрезания", основываясь на образце композиции, поступающем из секции (33) задания образца композиции, и информации об ориентации, поступающей из секции (831) выявления ориентации, и определяет для изображения, получаемого "обрезанием" по этому образцу композиции, оптимальную область "обрезания" на входном изображении.

[Процесс определения области "обрезания", выполняемый в секции анализа композиции]

Ниже со ссылкой на блок-схему алгоритма, показанную на Фиг.37, будет дано описание процесса определения области "обрезания", выполняемого на этапе S 816 на блок-схеме алгоритма, показанной на Фиг.35.

Следует отметить, что поскольку процессы на этапах с S 831 по S 834 на блок-схеме алгоритма, показанной на Фиг.37, являются теми же самыми, что и процессы на этапах с S 31 по S 34, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.7, то описание этих процессов опускается.

Таким образом, на этапе S 835 секция (832 е) оптимизации определяет оптимальную область "обрезания" на основе информации о положении области "обрезания", которая минимизирует целевую функцию Е, и информации об ориентации, поступающей из секции (831) выявления ориентации, и предоставляет оптимальную область "обрезания" в секцию (35) "обрезания" изображения.

Если объект, входящий в состав выделяющейся области представляет собой лицо, то из секции (831) выявления ориентации в секцию (832 е) оптимизации предоставляется, например, одна из порций информации (с D₁₀ no D₁₈) об ориентации, показанных на Фиг.38. На Фиг.38 показаны лица с D₁₀ по D₁₈, которые, если смотреть на чертеж, имеют, соответственно, ориентацию: вперед, вверх, вверх-вправо, вправо, вниз-вправо, вниз, вниз-влево, влево и вверх-влево, каждое из которых соответствует информации об ориентации, указывающей ориентацию, которую имеет лицо. Таким образом, информация (D₁₀) об ориентации указывает, что лицо на входном изображении сориентировано вперед, информация (D₁₁) об ориентации указывает, что лицо сориентировано вверх, и информация (D₁₂) об ориентации указывает, что лицо сориентировано вверх-вправо. Аналогичным образом, информация (D₁₃) об ориентации указывает, что лицо сориентировано вправо, информация (D₁₄) об ориентации указывает, что лицо сориентировано вниз-вправо. Кроме того, информация (D₁₅) об ориентации указывает, что лицо сориентировано вниз, информация (D₁₆) об ориентации указывает, что лицо сориентировано вниз-влево, информация (D₁₇) об ориентации указывает, что лицо сориентировано влево, и информация (D₁₈) об ориентации указывает, что лицо сориентировано вверх-влево.

При этом, предполагая, что в качестве образца композиции задана трехчастная композиция, секция (832 е) оптимизации определяет размещение объекта (лица) в трехчастной композиции в соответствии с информацией (с D₁₀ no D₁₈) об ориентации, определяет информацию о положении области "обрезания", которая минимизирует целевую функцию Е, и на основе этой информации о положении определяет оптимальную область "обрезания".

Если описать это более конкретно, то, например, когда информация об ориентации представляет собой одну из информаций (D₁₃) и (D₁₄) об ориентации, то есть, когда лицо сориентировано вправо или вниз-вправо, секция (832 е) оптимизации определяет место размещения лица в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₀) линий третей. Кроме того, когда информация об ориентации представляет собой одну из информаций (D₁₆) и (D₁₇) об ориентации, то есть, когда лицо сориентировано вниз-влево или влево, секция (832 е) оптимизации определяет место размещения лица в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (P₁) линий третей. Помимо этого, когда информация об ориентации представляет собой информацию (D₁₂) об ориентации, то есть, когда лицо сориентировано вправо-вверх, секция (832 е) оптимизации определяет место размещения лица в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₂) линий третей. Кроме того, когда информация об ориентации представляет собой информацию (D₁₈) об ориентации, то есть, когда лицо сориентировано вверх-влево, секция (832е) оптимизации определяет место размещения лица в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₃) линий третей.

Следует отметить, что, когда информация об ориентации представляет собой одну из информации (D₁₀) и (D₁₅) об ориентации, то есть, когда лицо сориентировано вперед или вниз, секция (832 е) оптимизации определяет место размещения лица в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (Р₀) и (P₁) линий третей. Кроме того, когда информация об ориентации представляет собой информацию (D₁₁) об ориентации, то есть, когда лицо сориентировано вверх, секция (832 е) оптимизации определяет место размещения лица в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (Р₂) и (Р₃) линий третей. Таким образом, когда в отношении информации об ориентации выбраны два или более мест размещения лица, в качестве места размещения определяют то, которое дает меньшую целевую функцию Е.

При этом, причина, по которой количество порций информации об ориентации, служащих в качестве условий для размещения лица на расположенных снизу пересечениях (Р₂) и (Р₃) линий третей из числа пересечений (с Р₀ по Р₁) линий третей, показанных на Фиг.39, является меньшим, заключается в том, что, когда объектом является весь человек, естественно, чтобы лицо располагалось ближе к верхней стороне в композиции. Однако соответствие между каждой информацией об ориентации и пересечением линий третей может быть произвольным образом изменено.

Согласно способу, упомянутому выше, секция (832е) оптимизации определяет размещение лица в трехчастной композиции в соответствии с ориентацией лица. В частности, секция (832е) оптимизации определяет размещение лица таким образом, чтобы в трехчастной композиции пространство со стороны, в которую сориентировано лицо, стало большим. Таким образом, в область "обрезания" может быть включен предмет или ландшафт, который лежит перед лицом человека (линия взора), выступающим в качестве объекта изображения, тем самым позволяя получать "обрезанием" изображение с оптимальной композицией, которая дает большее ощущение простора.

Кроме того, если объект, входящий в состав выделяющейся области, представляет собой цветок, то из секции (831) выявления ориентации в секцию (832 е) оптимизации предоставляется, например, одна из порций информации (с D₂₀ по D₂₈) об ориентации, показанных на Фиг.40. На Фиг.40 показаны цветки с D₂₀ по D₂₈, которые, если смотреть на чертеж, соответственно, имеют ориентацию: вперед, вверх, вверх-вправо, вправо, вниз-вправо, вниз, вниз-влево, влево и вверх-влево, каждый из которых соответствует информации об ориентации, указывающей ориентацию, которую имеет цветок. Таким образом, информация (D₂₀) об ориентации указывает, что цветок на входном изображении сориентирован вперед, информация (D₂₁) об ориентации указывает, что цветок сориентирован вверх, и информация (D₂₂) об ориентации указывает, что цветок сориентирован вверх-вправо. Аналогичным образом, информация (D₂₃) об ориентации указывает, что цветок сориентирован вправо, информация (D₂₄) об ориентации указывает, что цветок сориентирован вниз-вправо. Кроме того, информация (D₂₅) об ориентации указывает, что цветок сориентирован вниз, информация (D₂₆) об ориентации указывает, что цветок сориентирован вниз-влево, информация (D₂₇) об ориентации указывает, что цветок сориентирован влево, и информация (D₂₈) об ориентации указывает, что цветок сориентирован вверх-влево.

В таком случае, предполагая, что в качестве образца композиции задана трехчастная композиция, секция (832 е) оптимизации определяет размещение объекта (цветка) в трехчастной композиции в соответствии с информацией (с D₂₀ no D₂₈) об ориентации, определяет информацию о положении области "обрезания", которая минимизирует целевую функцию Е, и на основе этой информации о положении определяет оптимальную область "обрезания".

Если описать это более конкретно, то, например, когда информация об ориентации представляет собой информацию (D₂₄) об ориентации, то есть, когда цветок сориентирован вниз-вправо, секция (832 е) оптимизации определяет место размещения цветка в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₀) линий третей. Кроме того, когда информация об ориентации представляет собой информацию (D₂₆) об ориентации, то есть, когда цветок сориентирован вниз-влево, секция (832е) оптимизации определяет место размещения цветка в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (P₁) линий третей. Помимо этого, когда информация об ориентации представляет собой одну из информации (D₂₂) и (D₂₃) об ориентации, то есть, когда цветок сориентирован вверх-вправо или вправо, секция (832е) оптимизации определяет место размещения цветка в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₂) линий третей. Кроме того, когда информация об ориентации представляет собой одну из информации (D₂₇) и (D₂₈) об ориентации, то есть, когда цветок сориентирован влево или вверх-влево, секция (832 е) оптимизации определяет место размещения цветка в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₃) линий третей.

Следует отметить, что, когда информация об ориентации представляет собой информацию (D₂₅) об ориентации, то есть, когда цветок сориентирован вниз, секция (832е) оптимизации определяет место размещения цветка в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (Р₀) и (P₁) линий третей. Кроме того, когда информация об ориентации представляет собой одну из информации (D₂₀) и (D₂₁) об ориентации, то есть, когда цветок сориентирован вперед или вверх, секция (832е) оптимизации определяет место размещения цветка в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (Р₂) и (Р₃) линий третей. Таким образом, когда в отношении информации об ориентации выбраны два или более мест размещения цветка, в качестве места размещения определяют то, которое дает меньшую целевую функцию Е.

При этом, причина, по которой количество порций информации об ориентации, служащих в качестве условий для размещения цветка на расположенных сверху пересечениях (Р₀) и (P₁) линий третей из числа пересечений (с Р₀ по Р₃) линий третей, показанных на Фиг.39, является меньшим, заключается в том, что для цветка естественно располагаться ближе к нижней стороне в композиции. Однако, соответствие между каждой информацией об ориентации и пересечением линий третей, на котором должен быть помещен цветок, может быть произвольным образом изменено.

Согласно способу, упомянутому выше, секция (832е) оптимизации определяет размещение цветка в трехчастной композиции в соответствии с ориентацией цветка. В частности, секция (832е) оптимизации определяет размещение цветка таким образом, чтобы в трехчастной композиции пространство со стороны, в которую сориентирован цветок, стало большим. Таким образом, в область "обрезания" может быть включен предмет или ландшафт, который лежит перед цветком, выступающим в качестве объекта изображения, тем самым позволяя получать "обрезанием" изображение с оптимальной композицией, которая дает большее ощущение простора.

Хотя предшествующее описание относится к конфигурации, в которой оптимальная область "обрезания" определяется в соответствии с ориентацией объекта, оптимальная область "обрезания" может быть также определена в соответствии с движением объекта.

<10. Десятый вариант реализации изобретения>

[Пример конфигурации устройства обработки изображений]

На Фиг.41 показан пример конфигурации устройства обработки изображений, сконфигурированного таким образом, чтобы определять оптимальную область "обрезания" в соответствии с движением объекта. Следует отметить, что в устройстве (861) обработки изображений, показанном на Фиг.41, компоненты, имеющие те же самые функции, что и компоненты, предусмотренные в устройстве (11) обработки изображений, показанном на Фиг.1, имеют те же самые наименования и те же самые ссылочные позиции, и описание этих компонентов, соответственно, опускается.

Таким образом, устройство (861) обработки изображений, показанное на Фиг.41, отличается от устройства (11) обработки изображений, показанного на Фиг.1, тем, что дополнительно предусматриваются буфер (881) кадра, секция (882) вычисления глобального вектора движения (GMV-вектора), секция (883) вычисления локального вектора движения (LMV-вектора) и секция (884) определения направления движения, и что вместо секции (34) анализа композиции предусматривается секция (885) анализа композиции.

Следует отметить, что на Фиг.41 секция (31) извлечения выделяющейся области извлекает выделяющуюся область, на которую направлено внимание на входном изображении, и предоставляет информацию о выделяющейся области, указывающую выделяющуюся область, секции (33) задания образца композиции и секции (883) вычисления локального вектора движения.

Буфер (881) кадра хранит содержимое одного кадра входного изображения и предоставляет это входное изображение в секцию (882) вычисления глобального вектора движения и в секцию (883) вычисления локального вектора движения.

Секция (882) вычисления глобального вектора движения вычисляет глобальный вектор движения, указывающий движение изображения в целом, на основе входного изображения и входного изображения непосредственно предшествующего кадра, поступающего из буфера (881) кадра (в дальнейшем именуемое "входным изображением предшествующего кадра"), и предоставляет глобальный вектор движения в секцию (884) определения направления движения.

Секция (883) вычисления локального вектора движения вычисляет локальный вектор движения, указывающий локальное движение в выделяющейся области, указанной информацией о выделяющейся области, поступающей из секции (31) извлечения выделяющейся области, основываясь на входном изображении и входном изображении предшествующего кадра, поступающего из буфера (881) кадра, и предоставляет локальный вектор движения в секцию (884) определения направления движения.

Секция (884) определения направления движения определяет направление движения (направленность движения) объекта, входящего в состав выделяющейся области, на основе глобального вектора движения, поступающего из секции (882) вычисления глобального вектора движения, и локального вектора движения, поступающего из секции (883) вычисления локального вектора движения, и предоставляет информацию о направлении движения, указывающую направление движения, секции (885) анализа композиции.

На основе образца композиции, поступающего из секции (33) задания образца композиции, и информации о направлении движения, поступающей из секции (884) определения направления движения, секция (885) анализа композиции определяет для изображения, получаемого "обрезанием" по этому образцу композиции, оптимальную область "обрезания" на входном изображении, и предоставляет оптимальную область "обрезания" в секцию (35) "обрезания" изображения.

Секция (885) анализа композиции включает в себя секцию (885а) создания модели композиции, секцию (885b) создания предохранительной модели, секцию (885с) создания модели штрафов, секцию (885d) создания целевой функции и секцию (885е) оптимизации. Следует отметить, что поскольку секции: с секции (885а) создания модели композиции по секцию (885d) создания целевой функции, имеют те же самые функции, что и секции: с секции (34а) создания модели композиции по секцию (34d) создания целевой функции, показанные на Фиг.1, то, соответственно, описание этих секций опускается.

Секция (885е) оптимизации определяет область "обрезания", которая минимизирует целевую функцию Е, на основе информации о движении, поступающей из секции (884) определения направления движения, и предоставляет эту область "обрезания" в качестве оптимальной области "обрезания" в секцию (35) "обрезания" изображения.

[Процесс "обрезания" изображения в устройстве обработки изображений]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.42, будет дано описание процесса "обрезания" изображения в устройстве (861) обработки изображений, показанном на Фиг.41. Следует отметить, что поскольку процессы на этапах с S 861 по S 864 и S 867 на блок-схеме алгоритма, показанной на Фиг.42, являются теми же самыми, что и процессы на этапах c S 11 по S 14 и S 16, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.3, то описание этих процессов опускается. Кроме того, для процесса "обрезания" изображения, описанного со ссылкой на блок-схему алгоритма, показанную на Фиг.42, предполагается, что количество объектов, то есть, количество выделяющихся областей, составляет 1.

Таким образом, на этапе S 865 секция (884) определения направления движения исполняет процесс определения направления движения для того, чтобы определить на входном изображении направление движения объекта, входящего в состав выделяющейся области, указанной информацией о выделяющейся области, каковая информация поступает из секции (31) извлечения выделяющейся области.

[Процесс определения направления движения в секции определения направления движения]

Ниже со ссылкой на блок-схему алгоритма, показанную на Фиг.43, будет дано описание процесса определения направления движения, каковой процесс выполняется на этапе S 865 на блок-схеме алгоритма, показанной на Фиг.42.

На этапе S 871 секция (882) вычисления глобального вектора движения вычисляет глобальный вектор движения, основываясь на входном изображении и входном изображении предшествующего кадра, поступающем из буфера (881) кадра, и предоставляет глобальный вектор движения в секцию (884) определения направления движения.

На этапе S 872 секция (883) вычисления локального вектора движения вычисляет локальный вектор движения выделяющейся области, обозначенной указанной информацией о выделяющейся области, поступающей из секции (31) извлечения выделяющейся области, основываясь на входном изображения и входном изображении предшествующего кадра, поступающем из буфера (881) кадра, и предоставляет локальный вектор движения в секцию (884) определения направления движения.

На этапе S 873 секция (884) определения направления движения оценивает то, действительно ли локальный вектор движения равен 0 или, по существу, 0.

Если на этапе S 873 оценено, что локальный вектор движения не равен 0 или, по существу, 0, то есть если имеется достаточное движение в объекте, входящем в состав выделяющейся области, то обработка данных переходит на этап S 874, и секция (884) определения направления движения определяет ориентацию локального вектора движения в качестве направления движения и предоставляет информацию о направлении движения, указывающую направление движения, секции (885) анализа композиции.

С другой стороны, если на этапе S 873 оценено, что локальный вектор движения равен 0 или, по существу, 0, то есть, если движение в объекте, входящем в состав выделяющейся области, абсолютно или, по существу, отсутствует, то обработка данных переходит на этап S 875, и секция (884) определения направления движения оценивает то, действительно ли глобальный вектор движения равен 0 или, по существу, 0.

Если на этапе S 875 оценено, что глобальный вектор движения не равен 0 или, по существу, 0, то есть, если имеется достаточное движение на изображении в целом, то обработка данных переходит на этап S 876, и секция (884) определения направления движения определяет ориентацию, противоположную ориентации глобального вектора движения в качестве направления движения объекта, и предоставляет информацию о направлении движения, указывающую направление движения, секции (885) анализа композиции.

Состояние на этапе S 875 представляет состояние, в котором, хотя имеется движение на входном изображении в целом, движение в объекте, входящем в состав выделяющейся области, отсутствует, например состояние, в котором движется задний план, в то время как объект остается неподвижным. В этом случае ориентация движения объекта по отношению к заднему плану противоположна ориентации движения заднего плана. То есть, собственно говоря, направлением движения объекта является ориентация, противоположная ориентации глобального вектора движения.

С другой стороны, если на этапе S 875 оценено, что глобальный вектор движения равен 0 или, по существу, 0, то есть, если есть движение на изображении в целом абсолютно или, по существу, отсутствует, то обработка данных переходит на этап S 877, и секция (884) определения направления движения определяет, что не существует никакого направления движения, и предоставляет информацию о направлении движения, указывающую, что не существует никакого направления движения, секции (34) анализа композиции.

Способом, упомянутым выше, секция (884) определения направления движения определяет направление движения объекта, входящего в состав выделяющейся области на входном изображении. Следует отметить, что в вышеописанном процессе секция (884) определения направления движения определяет направление движения как относящееся, например, к одному из следующих девяти видов: никакое, вверх, вниз, влево, вправо, вверх вправо, вниз-вправо, вверх-влево и вниз-влево.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.42, отметим, что на этапе S 866 секция (885) анализа композиции исполняет процесс определения области "обрезания" на основе образца композиции, поступающего из секции (33) задания образца композиции, и информации о направлении движения, поступающей из секции (884) определения направления движения, и определяет для изображения, получаемого "обрезанием" по этому образцу композиции, оптимальную область "обрезания" на входном изображении.

[Процесс определения области "обрезания", выполняемый в секции анализа композиции]

Ниже со ссылкой на блок-схему алгоритма, показанную на Фиг.44, будет дано описание процесса определения области "обрезания", выполняемого на этапе S 866 на блок-схеме алгоритма, показанной на Фиг.42.

Следует отметить, что поскольку процессы на этапах с S 881 по S 884 на блок-схеме алгоритма, показанной на Фиг.44, являются теми же самыми, что и процессы на этапах с S 31 по S 34, описанные со ссылкой на блок-схему алгоритма, показанную на Фиг.7, то описание этих процессов опускается.

Таким образом, на этапе S 885 секция (885е) оптимизации определяет оптимальную область "обрезания" на основе информации о положении области "обрезания", которая минимизирует целевую функцию Е, и информации о направлении движения, поступающей из секции (884) определения направления движения, и предоставляет оптимальную область "обрезания" в секцию (35) "обрезания" изображения.

Если описать это более конкретно, то из секции (884) выявления направления движения в секцию (885 е) оптимизации подается, например, одна из порций (с D₃₀ по D₃₈) информации о направлении движения, показанных на Фиг.45. На Фиг.45 показаны стрелки, указывающие движение в направлениях: вверх, вверх-вправо, вправо, вниз-вправо, вниз, вниз-влево, влево и вверх-влево, причем, стрелки, включая их начальные точки, соответственно корреспондируют информации (с D₃₀ по D₃₈) о направлении движения. Таким образом, информация (D₃₀) о направлении движения указывает, что на входном изображении не существует никакого направления движения объекта, информация (D₃₁) о направлении движения указывает, что направлением движения является "вверх", и информация (D₃₂) о направлении движения указывает, что направлением движения является "вверх-вправо". Аналогичным образом, информация (D₃₃) о направлении движения указывает, что направлением движения является "вправо", и информация (D₃₄) о направлении движения указывает, что направлением движения является "вниз-вправо". Кроме того, информация (D₃₅) о направлении движения указывает, что направлением движения является "вниз", и информация (D₃₆) о направлении движения указывает, что направлением движения является "вниз-влево", информация (D₃₇) о направлении движения указывает, что направлением движения является "влево", и информация (D₃₈) о направлении движения указывает, что направлением движения является "вверх-влево".

При этом, предполагая, что в качестве образца композиции задана трехчастная композиция (см. Фиг.39), секция (885 е) оптимизации определяет размещение объекта в трехчастной композиции в соответствии с информацией (с D₃₀ по D₃₈) о направлении движения, определяет информацию о положении области "обрезания", которая минимизирует целевую функцию Е, и на основе этой информации о положении определяет оптимальную область "обрезания".

Если описать это более конкретно, то, например, когда информация о направлении движения представляет собой информацию (D₃₄) о направлении движения, то есть, когда направлением движения объекта является "вниз-вправо", секция (885е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₀) линий третей. Кроме того, когда информация о направлении движения представляет собой информацию (D₃₆) о направлении движения, то есть, когда направлением движения объекта является "вниз-влево", секция (885е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (P₁) линий третей. Помимо этого, когда информация о направлении движения представляет собой информацию, являющуюся информации (D₃₂) о направлении движения, то есть, когда направлением движения объекта является "вверх-вправо", секция (885е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₂) линий третей. Кроме того, когда информация о направлении движения представляет собой информацию (D₃₈) о направлении движения, то есть, когда направлением движения объекта является "вверх-влево", секция (885е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на пересечении (Р₃) линий третей.

Следует отметить, что, когда информация о направлении движения представляет собой информацию (D₃₁) о направлении движения, то есть, когда направлением движения объекта является "вверх", секция (885 е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (Р₂) и (Р₃) линий третей. Кроме того, когда информация о направлении движения представляет собой информацию (D₃₃) о направлении движения, то есть, когда направлением движения объекта является "вправо", секция (885 е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (Р₀) и (Р₂) линий третей. Помимо этого, когда информация о направлении движения представляет собой информацию (D₃₅) о направлении движения, то есть, когда направлением движения объекта является "вниз", секция (885е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (Р₀) и (P₁) линий третей. Кроме того, когда информация о направлении движения представляет собой информацию (D₃₇) о направлении движения, то есть, когда направлением движения объекта является "влево", секция (885е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (P₁) и (Р₃) линий третей.

Кроме того, когда информация о направлении движения представляет собой информацию (D₃₀) о направлении движения, то есть, когда направление движения предмета не существует, секция (885е) оптимизации определяет место размещения объекта в трехчастной композиции, показанной на Фиг.39, находящимся на одном из пересечений (с Р₀ по Р₃) линий третей. Таким образом, когда в объекте движение отсутствует, место размещения объекта в трехчастной композиции может быть на любом одном из пересечений линий третей.

Таким образом, когда в отношении информации о направлении движения выбраны два или более мест размещения объекта, в качестве места размещения определяют то, которое дает меньшую целевую функцию Е.

Согласно способу, упомянутому выше, секция (885е) оптимизации определяет размещение объекта в трехчастной композиции в соответствии с направлением движения объекта. В частности, секция (885 е) оптимизации определяет размещение объекта таким образом, чтобы в трехчастной композиции пространство в направлении, в котором движется объект, стало большим. Таким образом, в область "обрезания" может быть включен предмет или ландшафт, который лежит впереди в направлении движения объекта, тем самым позволяя получать "обрезанием" изображение с оптимальной композицией, которая дает большее ощущение простора.

Следует отметить, что, хотя предшествующее описание относится к размещению объекта в трехчастной композиции (смотри Фиг.39), также имеется возможность размещать объект в соответствии с ориентацией или движением объекта не только в трехчастной композиции, но также и в других композициях, таких как контрастная композиция (Композиция В) и периодическая композиция (Композиция Н), показанные на Фиг.6.

Кроме того, хотя предшествующее описание базируется на допущении, что количество объектов, то есть, количество выделяющихся областей составляет 1, на даже когда количество объектов составляет два или больше, эти два или больше объектов размещаются в соответствии с их соответствующими ориентациями или направлениями движения.

Вышеописанная последовательность процессов может быть либо выполнена посредством аппаратного обеспечения, либо может быть выполнена посредством программного обеспечения. Если эта последовательность процессов подлежит выполнению посредством программного обеспечения, то программа, составляющая программное обеспечение, устанавливается с носителя записи программы на компьютер, встроенный в специализированное аппаратное обеспечение, или, например, на универсальный персональный компьютер или тому подобное, который может исполнять различные функции, когда на него установлены различные программы.

Фиг.46 представляет собой структурную схему, показывающую пример конфигурации аппаратного обеспечения компьютера, который исполняет вышеупомянутую последовательность процессов.

В этом компьютере ЦП (центральный процессор) (901), ПЗУ (Постоянное запоминающее устройство) (902), ОЗУ (оперативное запоминающее устройство) (903) соединены друг с другом посредством шины (904).

Шина (904), кроме того, соединена с интерфейсом (905) ввода-вывода. Интерфейс (905) ввода-вывода соединен с входным устройством (906), составленным из клавиатуры, " мыши ", микрофона или тому подобного, выходным устройством (907), составленным из дисплея, громкоговорителя или тому подобного, запоминающей секции (908), составленной из жесткого диска, энергонезависимого запоминающего устройства или тому подобного, секцией (909) связи, составленной из сетевого интерфейса или тому подобного, и приводом (910) для приведения в действие съемного носителя (911) информации, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, сконфигурированном так, как описано выше, вышеупомянутая последовательность процессов выполняется, например, центральным процессором (901), загружающим в оперативное запоминающее устройство (903) посредством интерфейса (905) ввода-вывода и шины (904) программу, хранящуюся в запоминающей секции (908), и исполняющего эту программу.

Программа, исполняемая компьютером (центральным процессором (901)), предоставляется, будучи записанной на съемном носителе (911) информации, который представляет собой, например, компактный носитель информации, составленный из магнитного диска (включая гибкий диск), оптического диска (такого как CD-ROM (постоянное запоминающее устройство на компакт-диске) или DVD (универсальный цифровой диск)), магнитооптического диска, полупроводникового запоминающего устройства или тому подобного, или предоставляется посредством проводной или беспроводной передающей среды, такой как локальная сеть, сеть Интернет или цифровое спутниковое вещание.

Затем эта программа может быть установлена в запоминающую секцию (908) через интерфейс (905) ввода-вывода посредством установки съемного носителя (911) информации на привод (910). Кроме того, программа может быть принята секцией (909) связи через проводную или беспроводную передающую среду и установлена в запоминающую секцию (908). В качестве альтернативы, программа может быть установлена заранее в постоянное запоминающее устройство (902) или запоминающую секцию (908).

Следует отметить, что программа, исполняемая компьютером, может представлять собой программу, в которой процессы выполняются последовательно во времени в порядке, описанном в этом описании, или может представлять собой программу, в которой процессы выполняются в требуемые моменты времени, как, например, будучи вызванными.

Кроме того, варианты реализации настоящего изобретения не ограничены вышеописанными вариантами реализации, и возможны разнообразные изменения, не выходящие за рамки объема настоящего изобретения.

Объяснение ссылочных позиций

11 - устройство обработки изображений, 31 - секция извлечения выделяющейся области, 32 - секция различения сцены, 33 - секция задания образца композиции, 34 - секция анализа композиции, 34а - секция создания модели композиции, 34b - секция создания предохранительной модели, 34с - секция создания модели штрафов, 34d - секция создания целевой функции, 34е - секция оптимизации, 35 - секция "обрезания" изображения, 51 - секция вычисления выделяющей характеристики, 52 - секция определения выделяющейся прямоугольной области, 53 - секция определения прямоугольной области с лицом, 111 - устройство обработки изображений, 131 - секция задания образца композиции, 211 - устройство обработки изображений, 231 - секция анализа композиции, 231а - секция создания модели композиции, 231b - секция создания предохранительной модели, 231с - секция создания модели штрафов, 231d - секция создания целевой функции, 231е - секция оптимизации, 232 - секция отображения, 233 - секция ввода команд, 311 - устройство обработки изображений, 331 - секция различения панорамы, 332 - секция анализа композиции, 332а -секция создания модели композиции, 332b - секция создания предохранительной модели, 332с - секция создания модели штрафов, 332d - секция создания целевой функции, 332е - секция оптимизации, 631 - секция суммирования, 711 - устройство ввода изображений, 811 - устройство обработки изображений, 831 - секция выявления ориентации, 832 - секция анализа композиции, 832е - секция оптимизации, 861 - устройство обработки изображений, 881 - буфер кадра, 882 - секция вычисления глобального вектора движения, 883 - секция вычисления локального вектора движения, 884 - секция определения направления движения, 885 - секция анализа композиции, 885е - секция оптимизации.

Claims (14)

1. Устройство обработки изображений, содержащее:
задающее средство, предназначенное для задания образца композиции, соответствующего входному изображению, на основе количества прямоугольных областей, включающих в себя объект на входном изображении, и сцены входного изображения; и
определяющее средство, предназначенное для того, чтобы определять множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения на основе образца композиции, заданного задающим средством.

2. Устройство обработки изображений по п.1, дополнительно содержащее "обрезающее" средство, предназначенное для получения "обрезанием" области "обрезания", определенной определяющим средством, из входного изображения.

3. Устройство обработки изображений по п.2, дополнительно содержащее:
средство отображения, предназначенное для отображения на входном изображении множества кандидатов на область "обрезания", и
средство выбора, предназначенное для выбора одного из множества кандидатов на область "обрезания", отображаемых средством отображения; и
"обрезающее" средство получает "обрезанием" из входного изображения область "обрезания", выбранную средством выбора.

4. Устройство обработки изображений по п.1, дополнительно содержащее:
извлекающее средство, предназначенное для извлечения каждой из выделяющихся областей, на которые направлено внимание на входном изображении; и
различающее средство, предназначенное для различения сцены входного изображения.

5. Устройство обработки изображений по п.1, в котором определяющее средство определяет область "обрезания" таким образом, чтобы положение центра самой малой прямоугольной области, включающей в себя все выделяющиеся области, на которые направлено внимание на входном изображении, приближалось к центру области "обрезания" на входном изображении.

6. Устройство обработки изображений по п.5, в котором определяющее средство определяет область "обрезания" таким образом, чтобы область "обрезания" стала большей, и чтобы общая область между самой малой прямоугольной областью, включающей в себя все выделяющиеся области, на которые направлено внимание на входном изображении, и областью "обрезания" стало большей.

7. Устройство обработки изображений по п.5, в котором определяющее средство определяет область "обрезания" таким образом, чтобы область "обрезания" не лежала вне входного изображения.

8. Устройство обработки изображений по п.1, дополнительно содержащее:
оценивающее средство, предназначенное для оценки того, является ли входное
изображение панорамным изображением, посредством сравнения форматного соотношения входного изображения с некоторым заранее заданным пороговым значением,
при этом, если оценивающим средством оценивается, что входное изображение является панорамным изображением, то определяющее средство определяет на основе образца композиции, заданного задающим средством, множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения.

9. Устройство обработки изображений по п.1, дополнительно содержащее:
средство суммирования, предназначенное для того, чтобы суммировать информацию, указывающую область "обрезания", определенную определяющим средством, с входным изображением как EXIF-информацию.

10. Устройство обработки изображений по п.1, в котором:
объект, на который направлено внимание на входном изображении, входит в состав каждой из выделяющихся областей;
устройство обработки изображений может дополнительно содержит выявляющее средство для выявления ориентации объекта; и
определяющее средство определяет область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по образцу композиции из входного изображения, на основе образца композиции, заданного задающим средством, и ориентации объекта, выявленной выявляющим средством.

11. Устройство обработки изображений по п.1, в котором:
объект, на который направлено внимание на входном изображении, входит в состав каждой из выделяющихся областей;
устройство обработки изображений дополнительно содержит средство определения направления движения для определения направления движения объекта; и
определяющее средство определяет область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по образцу композиции из входного изображения, на основе образца композиции, заданного задающим средством, и направления движения объекта, определенного средством определения направления движения.

12. Устройство обработки изображений по п.11, дополнительно содержащее:
средство вычисления общего движения, предназначенное для определения общего движения входного изображения; и
средство вычисления локального движения, предназначенное для определения движения каждой из выделяющихся областей,
при этом средство определения направления движения определяет направление движения объекта на основе ориентации общего движения входного изображения, определенной средством вычисления общего движения, и ориентации движения каждой из выделяющихся областей, определенной средством вычисления локального движения.

13. Способ обработки изображений, содержащий:
этап задания, на котором задают образец композиции, соответствующий входному изображению, на основе количества прямоугольных областей, включающих в себя объект на входном изображении, и сцены входного изображения; и
этапа определения, на котором определяют множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения, на основе образца композиции, заданного на этапе задания.

14. Устройство ввода изображений, содержащее:
средство ввода изображения, предназначенное для ввода изображения объекта;
средство получения информации, предназначенное для получения информации о сцене вводимого изображения, введенного средством ввода изображения;
задающее средство для задания образца композиции, соответствующего введенному изображению, на основе количества прямоугольных областей, включающих в себя объекты на введенном изображении, и сцены, информация о которой получена средством получения информации; и
определяющее средство, предназначенное для того, чтобы определять множество кандидатов на область "обрезания" на входном изображении, которая является оптимальной для изображения, получаемого "обрезанием" по этому образцу композиции из входного изображения, на основе образца композиции, заданного задающим средством.

Images