RU2735382C2

RU2735382C2 - Устройство обработки изображений, способ управления устройства обработки изображений и компьютерно-читаемый носитель хранения данных

Info

Publication number: RU2735382C2
Application number: RU2019112674A
Authority: RU
Inventors: Ясуфуми ТАКАМА
Original assignee: Кэнон Кабусики Кайся
Priority date: 2018-05-07
Filing date: 2019-04-25
Publication date: 2020-10-30
Also published as: CN110460835A; US11189041B2; RU2019112674A; JP2019197279A; RU2019112674A3; KR20190128110A; KR102387891B1; JP7164968B2; EP3567550A1; CN110460835B; EP3567550B1; BR102019007720A2; US20190340777A1

Abstract

Изобретение относится к области обработки изображений. Технический результат заключается в снижении риска формирования изображения с виртуальной точкой обзора. Устройство обработки изображений содержит: средство получения изображений для получения изображений на основе захвата посредством множества устройств захвата изображений; средство получения позиции для получения информации, представляющей предварительно определенную позицию, в которую направлено множество устройств захвата изображений; средство задания области для задания, на основе информации, полученной средством получения позиции, области для формирования данных трехмерной формы, представляющих трехмерную форму объекта, и что она является частью области, захваченной посредством множества устройств захвата изображений; и средство формирования для формирования, на основе изображений, полученных при помощи средства получения изображений, данных трехмерной формы объекта в области, заданной при помощи средства задания области. 3 н. и 12 з.п. ф-лы, 7 ил.

Description

Уровень техники

Область техники, к которой относится изобретение

[0001] Настоящее раскрытие сущности относится к устройству обработки изображений, к способу управления устройства обработки изображений и к компьютерно-читаемому носителю хранения данных, а более конкретно, к технологии формирования изображения с виртуальной точкой обзора на основе изображений, полученных посредством захвата объекта из множества направлений, и информации виртуальных точек обзора.

Описание предшествующего уровня техники

[0002] Привлекает внимание технология формирования изображения с виртуальной точкой обзора, которая обеспечивает просмотр сцены яркого участка изображения футбольного или баскетбольного матча из различных углов. Выложенный патентный документ Японии номер 2010-134546 предлагает способ захвата объекта с нескольких точек обзора с использованием множества камер, установленных в различных позициях, и оценки трехмерной формы объекта с использованием изображений с несколькими точками обзора, полученных посредством захвата изображений, и способ формирования изображения с виртуальной точкой обзора.

[0003] В случае если изображение с виртуальной точкой обзора формируется на основе изображений, захваченных посредством множества камер, изображение с виртуальной точкой обзора, включающее в себя объект с низкой точностью формы, иногда формируется в зависимости от компоновки камер и объекта. Например, в случае захвата футбольного матча, когда позиции, в которые направляются множество камер, задаются близко к одной цели, имеется небольшое число камер, которые включают в себя объект около другой цели в углу обзора. В этом случае, когда используется технология, описанная в выложенном патентном документе Японии номер 2010-134546, точность оценки формы объекта около другой цели понижается. Если изображение с виртуальной точкой обзора включает в себя объект с низкой точностью формы, у зрителя, который просматривает изображение с виртуальной точкой обзора, может возникать некомфортное ощущение.

[0004] Настоящее раскрытие сущности осуществлено с учетом вышеописанной проблемы и предоставляет технологию снижения риска формирования изображения с виртуальной точкой обзора, включающего в себя объект с низкой точностью формы.

Сущность изобретения

[0005] Согласно аспекту настоящего раскрытия сущности, предусмотрено устройство обработки изображений, содержащее: модуль получения изображений, выполненный с возможностью получать изображения на основе захвата посредством множества устройств захвата изображений; модуль получения позиции, выполненный с возможностью получать информацию, представляющую предварительно определенную позицию, в которую направляются множество устройств захвата изображений; модуль задания областей, выполненный с возможностью задавать, на основе информации, полученной модулем получения позиции, область для того, чтобы оценивать трехмерную форму объекта; и модуль оценки, выполненный с возможностью оценивать, в области, заданной модулем задания областей, трехмерную форму объекта на основе изображений, полученных модулем получения изображений.

[0006] Согласно одному аспекту настоящего раскрытия сущности, предусмотрен способ управления устройством обработки изображений, содержащий: получение изображений на основе захвата посредством множества устройств захвата изображений; получение информации, представляющей предварительно определенную позицию, в которую направляются множество устройств захвата изображений; задание, на основе полученной информации, области для того, чтобы оценивать трехмерную форму объекта; и оценку, в заданной области, трехмерной формы объекта на основе полученных изображений.

[0007] Согласно одному аспекту настоящего раскрытия сущности, предусмотрен компьютерно-читаемый носитель хранения данных, сохраняющий компьютерную программу для инструктирования компьютеру выполнять каждый этап способа управления устройством обработки изображений, при этом способ содержит: получение изображений на основе захвата посредством множества устройств захвата изображений; получение информации, представляющей предварительно определенную позицию, в которую направляются множество устройств захвата изображений; задание, на основе полученной информации, области для того, чтобы оценивать трехмерную форму объекта; и оценку, в заданной области, трехмерной формы объекта на основе полученных изображений.

[0008] Дополнительные признаки должны становиться очевидными из нижеприведенного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

[0009] Фиг. 1 является блок-схемой, показывающей пример компоновки системы обработки изображений согласно варианту осуществления;

[0010] Фиг. 2 является блок-схемой последовательности операций способа, показывающей процедуру обработки выполняемого посредством устройства обработки изображений согласно варианту осуществления;

[0011] Фиг. 3 является схематичным видом, показывающим пример размещения множество камер согласно варианту осуществления;

[0012] Фиг. 4 является схематичным видом, показывающим пример области для оценки формы согласно варианту осуществления;

[0013] Фиг. 5 является блок-схемой последовательности операций способа, показывающей подробную процедуру обработки на этапе S220 согласно варианту осуществления;

[0014] Фиг. 6 является схематичным видом относительно способа задания областей для оценки формы согласно варианту осуществления; и

[0015] Фиг. 7 является блок-схемой, показывающей пример аппаратной компоновки устройства обработки изображений согласно варианту осуществления.

Подробное описание вариантов осуществления

[0016] Далее подробно описывается примерный вариант(ы) осуществления настоящего раскрытия сущности со ссылкой на чертежи. Следует отметить, что относительное размещение компонентов, численные выражения и числовые значения, приводимые в этих вариантах осуществления, не ограничивают объем настоящего раскрытия сущности, если прямо не указано иное.

[0017] В этом варианте осуществления, в дальнейшем описывается пример, в котором при формировании изображения с виртуальной точкой обзора из изображений, полученных посредством захвата изображений множества устройств захвата изображений (камер), направленных в предварительно определенную позицию (точку взгляда), задается область в качестве цели оценки формы, оценивается трехмерная форма объекта в области, и формируется изображение с виртуальной точкой обзора, включающее в себя объект, в области. Более конкретно, получаются изображения, полученные посредством захвата изображения, захватывающего целевую область, включающую в себя объект, с использованием множества камер. Получается информация, представляющая позицию точки взгляда, в которую направляются множество камер. Область отображения объектов для того, чтобы отображать объект в трехмерном пространстве, задается на основе полученной информации, представляющей позицию точки взгляда. Изображение с виртуальной точкой обзора, в котором отображается объект, включенный в заданную область отображения объектов, формируется на основе полученных изображений.

[0018] Компоновка системы

Фиг. 1 является блок-схемой, показывающей пример компоновки системы обработки изображений согласно этому варианту осуществления. Система обработки изображений согласно этому варианту осуществления включает в себя устройство 1 захвата изображений (камеру), устройство 2 обработки изображений и устройство 3 отображения. Камера 1 включает в себя одну или более камер. Устройство 2 обработки изображений получает изображения, захваченные посредством камеры 1, и параметры каждой камеры и оценивает трехмерную форму объекта. Устройство 2 обработки изображений затем формирует изображение с виртуальной точкой обзора и передает изображение в устройство 3 отображения. Устройство 3 отображения выводит принимаемое изображение с виртуальной точкой обзора на дисплей и т.п.

[0019] Функциональная компоновка устройства обработки изображений

Как показано на фиг. 1, устройство 2 обработки изображений включает в себя модуль 110 получения информации камеры, модуль 120 задания назначений применения, модуль 125 получения точек взгляда, модуль 130 задания областей для оценки формы, модуль 140 оценки формы и модуль 150 формирования изображений с виртуальной точкой обзора. Функция каждого модуля обработки реализуется, когда CPU 1001, который описывается ниже со ссылкой на фиг. 7, выполняет компьютерную программу, считываемую из ROM 1002 или RAM 1003.

[0020] Модуль 110 получения информации камеры получает, из камеры 1, информацию камеры для каждой камеры, которая формирует камеру 1, и выводит полученную информацию камеры в модуль 140 оценки формы. Изображение, захваченное посредством каждой камеры, также вводится в модуль 140 оценки формы. Модуль 120 задания назначений применения задает информацию назначения применения для результата оценки формы посредством пользовательской операции с использованием устройства 1006 ввода, такого как клавиатура, которая описывается ниже, и выводит заданную информацию назначения применения в модуль 130 задания областей для оценки формы. Модуль 125 получения точек взгляда вычисляет и получает информацию точки взгляда, представляющую точку, на которую пристально смотрят. Модуль 130 задания областей для оценки формы задает информацию областей для оценки формы в соответствии с информацией точки взгляда и информацией назначения применения и выводит заданную информацию областей для оценки формы в модуль 140 оценки формы.

[0021] Модуль 140 оценки формы оценивает трехмерную форму объекта в области для оценки формы и выводит информацию оцененной трехмерной формы (данные трехмерной формы) в модуль 150 формирования изображений с виртуальной точкой обзора. Модуль 150 формирования изображений с виртуальной точкой обзора формирует изображение с виртуальной точкой обзора с использованием информации ввода виртуальной точки обзора посредством пользовательской операции с использованием устройства 1006 ввода, такого как мышь, информации камеры, полученной модулем 110 получения информации камеры, и информации оцененной трехмерной формы. Сформированное изображение с виртуальной точкой обзора затем выводится в устройство 3 отображения. Устройство 3 отображения выводит принимаемое изображение с виртуальной точкой обзора на экран отображения дисплея и т.п.

[0022] Аппаратная компоновка устройства обработки изображений

В дальнейшем здесь описывается пример аппаратной компоновки устройства обработки изображений согласно варианту осуществления настоящего раскрытия сущности со ссылкой на фиг. 7. Устройство 2 обработки изображений включает в себя CPU 1001, ROM 1002, RAM 1003, устройство 1004 хранения данных и шину 1005 и соединяется с устройством 1006 ввода и устройством 3 отображения.

[0023] CPU 1001 управляет различными видами операций посредством вышеописанных функциональных блоков устройства 2 обработки изображений согласно этому варианту осуществления. Контент управления инструктируется посредством программы на ROM 1002 или RAM 1003, которые описываются ниже. Помимо этого, CPU 1001 также может управлять множеством компьютерных программ параллельно. ROM 1002 сохраняет данные и компьютерные программы, которые сохраняют процедуру управления посредством CPU 1001. RAM 1003 сохраняет управляющие программы, которые должны обрабатываться посредством CPU 1001, и также предоставляет рабочую область для различных данных, когда CPU 1001 выполняет различные виды управления. Функции программных кодов, сохраненных на носителе записи, таком как ROM 1002 или RAM 1003, считываются и выполняются посредством CPU 1001 и в силу этого реализуются. Тип носителя записи не ограничен.

[0024] Устройство 1004 хранения данных может сохранять различные данные и т.п. Устройство 1004 хранения данных включает в себя носитель записи, такой как жесткий диск, гибкий диск, оптический диск, магнитный диск, магнитооптический диск, магнитная лента или энергонезависимая карта памяти, и накопитель, которое управляет носителем записи и записывает информацию. Сохраненные компьютерные программы и данные загружаются в RAM 1003 по мере необходимости в соответствии с инструкцией из клавиатуры и т.п. или инструкцией различных видов компьютерных программ.

[0025] Шина 1005 представляет собой шину данных и т.п., соединенную с каждым составляющим элементом, и реализует связь между составляющими элементами, а также реализует обмен информацией на высокой скорости. Устройство 1006 ввода предоставляет различные виды окружений ввода пользователем. Хотя клавиатура, мышь и т.п. может рассматриваться для предоставления различных видов окружений операций ввода, также может использоваться сенсорная панель, перо стилуса и т.п. Устройство 3 отображения формируется посредством жидкокристаллического дисплея и т.п. и отображает, пользователю, состояния различных видов операций ввода и результаты вычисления согласно им. Следует отметить, что вышеописанная компоновка представляет собой просто пример, и компоновка не ограничена описанной компоновкой.

[0026] Обработка

Далее описывается процедура обработки, выполняемой посредством устройства 2 обработки изображений согласно этому варианту осуществления, со ссылкой на блок-схему последовательности операций способа по фиг. 2. На этой блок-схеме последовательности операций способа, этап S210 представляет собой этап получения информации камеры для каждой камеры из камеры 1. Этап S220 представляет собой этап задания области для того, чтобы оценивать форму объекта. Этап S230 представляет собой этап оценки формы объекта в заданной области. Этап S240 представляет собой этап формирования изображения с виртуальной точкой обзора с использованием результата оценки формы, информации камеры и изображений. Ниже описывается подробная процедура.

[0027] S210

На этапе S210, модуль 110 получения информации камеры получает, в качестве информации камеры из камеры 1, изображения, захваченные посредством камер, и внешние параметры и внутренние параметры в качестве информации камеры камер. Здесь, внешние параметры представляют собой информацию позиции и ориентацию камеры. Внутренние параметры представляют собой информацию фокусной длины и центр изображения камеры.

[0028] Фиг. 3 показывает пример компоновки камеры 1 согласно этому варианту осуществления. В этом варианте осуществления, множество камер 310 выполнены с возможностью окружать спортивное поле 320. Тем не менее, цель захвата изображений, компоновка камер и число камер не ограничены означенным. Камера 1 формируется посредством одной или более камер 310, и каждая камера задается с возможностью наблюдать точку 330 взгляда. Обработке согласно этому варианту осуществления требуется, по меньшей мере, одна камера. Тем не менее, число камер не имеет верхнего предела. Помимо этого, дополнительно могут добавляться различные точки взгляда и камеры, выполненные с возможностью наблюдать их. Таким образом, множество камер 1, установленных в местах целей захвата изображений, могут включать в себя группу камер, направленную в определенную точку взгляда, и группу камер, направленную в другую точку взгляда.

[0029] В этом варианте осуществления, ось X системы 340 мировых координат является параллельной направлению длинной стороны спортивного поля 320, ось Y является параллельной направлению короткой стороны, и ось Z является вертикальной относительно плоскости X-Y. Фактический размер спортивного поля 320 может задаваться посредством, например, инструктирования пользователю вручную вводить длину в направлении длинной стороны, длину в направлении короткой стороны и высоту в вертикальном направлении заранее с использованием устройства ввода, такого как мышь или клавиатура.

[0030] S220

На этапе S220, модуль 130 задания областей для оценки формы задает область для оценки формы, которая представляет собой цель оценки трехмерной формы объекта. Ниже описывается область 410 для оценки формы со ссылкой на фиг. 4. Область 410 для оценки формы представляет собой трехмерную область, которая задается на основе позиции точки 330 взгляда, выражаемой системой 340 мировых координат, с тем чтобы оценивать трехмерную форму объекта. Например, предварительно определенный диапазон расстояний от точки 330 взгляда задается в качестве области 410 для оценки формы. Когда область 410 для оценки формы выражается посредством расстояния от точки 330 взгляда, она имеет полусферическую форму, разделенную на плоскости X-Y. Тем не менее, на фиг. 4, область 410 для оценки формы выражается двумерно. Точка взгляда представляет собой позицию, в которую направляется каждая из множества камер. Позиция фокусировки, по меньшей мере, одной из множества камер может задаваться на основе точки взгляда. Например, позиция фокусировки камеры может задаваться в качестве позиции точки взгляда или может задаваться в качестве позиции, отстоящей от позиции точки взгляда на предварительно определенное расстояние. Помимо этого, оптические оси камер могут пересекаться в позиции точки взгляда либо могут не пересекаться.

[0031] Следует отметить, что форма не ограничена этим. Например, две вершины на диагонали прямоугольного параллелепипеда могут вводиться, чтобы задавать область для оценки формы в качестве пространства, имеющего форму прямоугольного параллелепипеда, относительно позиции точки 330 взгляда в качестве центра. Помимо этого, форма не ограничена примером относительно позиции точки 330 взгляда в качестве центра, и область для оценки формы может задаваться в качестве пространства, имеющего форму прямоугольного параллелепипеда, окружающую позицию точки 330 взгляда. Альтернативно, белые линии на спортивном поле и пересечений линий могут обнаруживаться с использованием способа обработки изображений, такого как преобразование Хафа для обнаружения линии, и может задаваться нижняя поверхность области для оценки формы, имеющей форму прямоугольного параллелепипеда. В этом случае, информация высоты области для оценки формы может произвольно задаваться пользователем на основе вида спорта в качестве цели формирования изображений с виртуальной точкой обзора. В обработке оценки формы этапа S230, которая описывается ниже, оценивается форма объекта в области 410 для оценки формы. Если множество точек взгляда существуют, область для оценки формы задается для каждой точки взгляда.

[0032] В дальнейшем здесь подробно описывается обработка задания области для оценки формы на этапе S220 со ссылкой на блок-схему последовательности операций способа по фиг. 5. Следует отметить, что обработка задания областей для оценки формы, которая поясняется здесь, представляет собой обработку в случае, если задается область для оценки формы относительно точки 330 взгляда в качестве центра, и следующая обработка задания надлежащим образом изменяется в соответствии с формой области для оценки формы, которая должна задаваться, и т.п. Дополнительно, в случае если пользователь обозначает область для оценки формы, модуль 130 задания областей для оценки формы задает область для оценки формы на основе информации, вводимой посредством пользовательской операции.

[0033] S2200

На этапе S2200, модуль 120 задания назначений применения получает информацию назначения применения, вводимую пользователем. Назначение применения, например, представляет собой формирование изображений с виртуальной точкой обзора или анализ движения игроков.

[0034] S2210

На этапе S2210, модуль 130 задания областей для оценки формы разделяет трехмерное пространство на множество вокселов. В это время, в случае если назначение применения, представленное посредством информации назначения применения, заданной модулем 120 задания назначений применения, представляет собой формирование изображений с виртуальной точкой обзора, вокселы задаются с небольшим размером таким образом, что объект может отображаться с высоким разрешением. С другой стороны, если назначение применения представляет собой анализ движения игроков, вокселы задаются приблизительно до такой степени, что позиция объекта может оцениваться. Таким образом, размер вокселов, которые формируют трехмерное пространство и используются для того, чтобы оценивать трехмерную форму объекта, изменяется в соответствии с назначением применения. В случае если назначение применения представляет собой формирование изображения с виртуальной точкой обзора, вокселы, которые формируют пространство, задаются точно, по сравнению с другим назначением применения (например, анализом движения).

[0035] S2220

На этапе S2220, модуль 130 задания областей для оценки формы определяет то, представляет собой назначение применения, представленное посредством информации назначения применения, заданной модулем 120 задания назначений применения, формирование изображений с виртуальной точкой обзора или нет. Если назначение применения представляет собой формирование изображений с виртуальной точкой обзора ("Да" на этапе S2220), процесс переходит к этапу S2230. С другой стороны, если назначение применения представляет собой не формирование изображений с виртуальной точкой обзора, а, например, анализ движения игроков ("Нет" на этапе S2220), процесс переходит к этапу S2231.

[0036] S2230

На этапе S2230, модуль 125 получения точек взгляда получает информацию позиции (координат) точки 330 взгляда, чтобы задавать вокселы в качестве цели оценки формы. Координаты точки 330 взгляда выражаются системой 340 мировых координат и предположительно располагаются на плоскости (z=0) спортивного поля 320. Координаты точки взгляда получаются посредством вычисления пересечения плоскости z=0 и вектора поля зрения камеры, которое может вычисляться из внешнего параметра камеры, включенной в камеры 1. Если существуют множество точек взгляда, координаты каждой точки взгляда могут оцениваться посредством идентичного способа в камере, которая составляет камеры, которые наблюдают точки взгляда.

[0037] S2240

Затем, на этапе S2240, на основе позиции (координат) точки 330 взгляда, полученной на этапе S2230, модуль 130 задания областей для оценки формы задает область (область для оценки формы), чтобы оценивать форму объекта. Более конкретно, все вокселы сканируются, и вычисляется трехмерное расстояние 630 между точкой 330 взгляда и характерной точкой каждого воксела (например, центральной точкой каждого воксела). Затем трехмерное расстояние сравнивается с пороговым значением, заданным заранее. Если трехмерное расстояние равно или меньше порогового значения, воксельное значение задается равным 1 в качестве области для оценки формы. Когда множество точек взгляда существуют, идентификатор задается для каждой точки взгляда, и вычисляется расстояние между каждым вокселом и каждой точкой взгляда. Если расстояние до ближайшей точки взгляда равно или меньше порогового значения, идентификатор точки взгляда задается равным воксельному значению.

[0038] S2250

На этапе S2250, модуль 130 задания областей для оценки формы определяет то, завершается определение области для оценки формы для всех вокселов или нет. Если определение завершается, обработка задания областей для оценки формы завершается, и процесс переходит к этапу S230 на фиг. 2. С другой стороны, если неопределенный воксел остается, процесс возвращается к этапу S2240.

[0039] Как показано на фиг. 6, трехмерное пространство 610, заданное посредством входного размера спортивного поля 320, заполняется вокселами 620, имеющими одинаковый размер (разрешение), и каждое воксельное значение задается равным 0. В этом варианте осуществления, 0 задается для наружной части области для оценки формы, 1 задается для области для оценки формы первой точки взгляда, и 2 задается для области для оценки формы второй точки взгляда. В соответствии с числом точек взгляда, воксельные значения задаются таким образом, что область для оценки формы каждой точки взгляда может идентифицироваться. Размер каждого воксела в материальном мире задается пользователем заранее, к примеру, размер спортивного поля.

[0040] S2231

На этапе S2231, чтобы задавать весь набор вокселов на этапе S2210 как цели оценки формы, модуль 130 задания областей для оценки формы задает значения всех вокселов равными 1, завершает обработку задания областей для оценки формы и переходит к этапу S230 на фиг. 2.

[0041] S230

Процесс возвращается к этапу S230 на фиг. 2. На этапе S230, модуль 140 оценки формы оценивает трехмерную форму объекта в области для оценки формы, заданной модулем 130 задания областей для оценки формы. Ниже описывается обработка оценки формы модулем 140 оценки формы.

[0042] Во-первых, силуэтное изображение объекта формируется для изображения, полученного модулем 110 получения информации камеры. Силуэтное изображение может формироваться посредством общего способа, такого как способ на основе фоновой разности, для вычисления разности из фонового изображения из захваченного изображения, полученного посредством захвата объекта, и задания пиксела, равного или большего порогового значения, в качестве силуэта (области переднего плана). В этом варианте осуществления, пиксельные значения в области переднего плана равны 1, и пиксельные значения в фоновой области равны 0.

[0043] Затем, информация формы объекта оценивается с использованием силуэтного изображения и информации камеры. Чтобы оценивать трехмерную форму, каждый набор вокселов в качестве области для оценки формы на этапе S220 преобразуется в координаты изображения каждой камеры с использованием параметра камеры для каждой камеры. Число камер, для которых пиксельные значения в силуэтном изображении на координатах после преобразования 1, подсчитывается. Если число равно или более заданного значения, воксел определяется в качестве формы объекта. Это определение выполняется для всех вокселов в области для оценки формы, за счет этого оценивая трехмерную форму объекта в области для оценки формы. Как результат этой обработки, получаются данные объема, которые выражают трехмерную форму объекта.

[0044] Следует отметить, что в случае, если существуют множество точек взгляда, во-первых, информация камеры, которая наблюдает точку взгляда, получается на основе идентификатора точки взгляда, заданного в каждом воксельном значении. Затем координаты каждого воксела преобразуются в координаты изображения каждой камеры, включенные в камеру, и число видимых камер подсчитывается. Если число камер равно или более заданного порогового значения, воксел определяется в качестве формы объекта. Когда эта обработка повторяется для всех вокселов аналогичным образом, трехмерная форма объекта может оцениваться на основе области для оценки формы даже в случае, если множество точек взгляда задаются.

[0045] S240

На этапе S240, модуль 150 формирования изображений с виртуальной точкой обзора выполняет обработку окрашивания информации формы (набора трехмерных вокселов), оцененной на этапе S230, и проецирования информации формы на плоскость изображений виртуальной точки обзора, чтобы формировать изображение переднего плана области объекта. Модуль 150 формирования изображений с виртуальной точкой обзора дополнительно выполняет обработку формирования фонового изображения из виртуальной точки обзора. Изображение переднего плана накладывается на сформированное фоновое изображение, за счет этого формируя изображение с виртуальной точкой обзора. Сформированное изображение с виртуальной точкой обзора передается в устройство 3 отображения. Следует отметить, что виртуальная точка обзора может быть обозначена пользователем или автоматически обозначена посредством устройства.

[0046] Следует отметить, что при выполнении анализа движения, не формирование изображения с виртуальной точкой обзора, а анализ движения выполняется на этапе S240.

[0047] Формирование изображения переднего плана

Во-первых, чтобы формировать изображение переднего плана изображения с виртуальной точкой обзора, цвета вокселов, которые формируют трехмерную форму объекта, оцененного на этапе S230, вычисляются с использованием изображений камер, используемых для захвата изображений. Во-первых, определяется то, из какой камеры просматривается каждый воксел. В это время, в случае если задаются множество точек взгляда, в камерах, формирующих камеры, которые наблюдают точку взгляда, то, какая камера просматривает точку взгляда, определяется на основе идентификатора точки взгляда, заданного в качестве воксельного значения. Камера близко к виртуальной точке обзора выбирается из камер, которые просматривают воксел, и воксел проецируется на ближайшую камеру.

[0048] Цвет пиксела, ближайшего к проецируемому вокселу, получается и задается в качестве цвета воксела. Вокселы могут окрашиваться посредством повторения обработки для каждого воксела. Окрашенные вокселы визуализируются посредством известного способа CG-рендеринга, за счет этого формируя изображение переднего плана, в котором отображается объект в области 410 для оценки формы, заданной на этапе S230.

[0049] Следует отметить, что когда трехмерная форма объекта оценивается с использованием всего набора вокселов на этапе S2210 в качестве целей обработки и с использованием результата, рендеринг выполняется при определении того, расположен каждый воксел в области для оценки формы или нет, изображение переднего плана изображения с виртуальной точкой обзора может аналогично формироваться. Таким образом, хотя трехмерная форма объекта оценивается с использованием всех вокселов в качестве целей, цели рендеринга и отображения могут быть ограничены вокселами в заданной целевой области отображения. Это определение может выполняться посредством вычисления расстояния между точкой 330 взгляда и характерной точкой каждого воксела, который формирует трехмерную форму объекта. Помимо этого, может определяться то, вся или часть (например, центр тяжести) трехмерной формы определенного объекта включена в заданную область. Если включена, вся трехмерная форма объекта задается в качестве цели для отображения. В противном случае, вся трехмерная форма объекта может исключаться из цели для отображения.

[0050] Изображение с виртуальной точкой обзора всего спортивного поля может формироваться посредством выполнения обработки окрашивания не только в области 410 для оценки формы, но также и для вокселов за пределами области для оценки формы.

[0051] Дополнительно, модуль 140 оценки формы дополнительно может оценивать трехмерную форму объекта за пределами области для оценки формы с разрешением ниже разрешения трехмерной формы объекта в области для оценки формы. Таким образом, при задании объектов во всех областях, включающих в себя наружную часть области для оценки формы, в качестве возможных вариантов оценки трехмерной формы, предпочтительно может выполняться оценка трехмерной формы объекта в области для оценки формы. Затем модуль 150 формирования изображений с виртуальной точкой обзора может формировать изображение с виртуальной точкой обзора на основе трехмерной формы объекта в области для оценки формы и оцененной трехмерной формы объекта за пределами области для оценки формы. Например, размер (разрешение) воксела либо то, как утончать вокселы, которые должны окрашиваться, может изменяться между внутренней частью области для оценки формы и наружной частью области для оценки формы. Более конкретно, обработка окрашивания выполняется для всех вокселов в области для оценки формы. Что касается вокселов за пределами области для оценки формы, обработка окрашивания выполняется посредством, например, относительно восьми смежных вокселов в качестве одного воксела. Это может сокращать время формирования изображения с виртуальной точкой обзора. Кроме того, в этом случае, может получаться эффект размытости искаженного изображения объекта за пределами области для оценки формы и создания его незаметный. Помимо этого, вся область цели захвата изображений может разделяться на область для оценки формы, в которой предпочтительно выполняется оценка формы, область возможного варианта оценки формы, который становится целью оценки формы, когда нагрузка по системной обработке или время обработки не является существенным, и область не для оценки формы, которая не становится целью оценки формы.

[0052] Формирование фонового изображения

Затем, формируется фоновое изображение изображения с виртуальной точкой обзора. Во-первых, в фоновой трехмерной модели (данных трехмерной формы фона), получаются вершины четырех углов спортивного поля. В качестве фоновой трехмерной модели, используется CG-модель, созданная заранее и сохраненная в системе. Четыре вершины проецируются на две камеры (которые упоминаются как камера 1 и камера 2), близкие к виртуальной точке обзора и системе координат камеры виртуальной точки обзора. Проекционная матрица 1 между виртуальной точкой обзора и камерой 1 и проекционная матрица 2 между виртуальной точкой обзора и камерой 2 вычисляются с использованием соответствующих точек между виртуальной точкой обзора и камерой 1 и между виртуальной точкой обзора и камерой 2. Чтобы вычислять каждое пиксельное значение фонового изображения виртуальной точки обзора, координаты каждого пиксельного значения проецируются на фоновые изображения с использованием проекционной матрицы 1 и проекционной матрицы 2, и получаются пиксельные значения точек. Среднее двух полученных пиксельных значений вычисляется и используется в качестве пиксельного значения фонового изображения.

[0053] Сформированное изображение переднего плана накладывается на такое полученное фоновое изображение изображения с виртуальной точкой обзора, за счет этого формируя изображение с виртуальной точкой обзора. Таким образом, сформированное изображение с виртуальной точкой обзора представляет собой изображение, в котором изображение переднего плана объекта в области для оценки формы комбинируется с фоновым изображением полного изображения, захватывающего целевую область. Тем не менее, диапазон фонового изображения, которое должно формироваться, также может быть ограничен областью для оценки формы. Помимо этого, способ формирования изображения с виртуальной точкой обзора не ограничен этим способом, и может использоваться другой способ.

[0054] Как описано выше, согласно этому варианту осуществления, область оценки трехмерной формы объекта может быть ограничена на основе позиции точки взгляда. Трехмерная форма объекта в ограниченной области для оценки формы оценивается, и изображение с виртуальной точкой обзора формируется, за счет этого предотвращая отображение искаженного изображения объекта. Помимо этого, поскольку искаженная форма объекта не включена в обработку формирования изображения переднего плана с большой нагрузкой, может получаться эффект снижения нагрузки по обработке.

[0055] Когда область для оценки формы переключается для каждого назначения применения на этапе S2220, может формироваться изображение или трехмерная форма объекта, подходящего для цели.

[0056] Следует отметить, что в этом варианте осуществления, информация изображений или информация камеры получается из камеры 1. Тем не менее, настоящее раскрытие сущности не ограничено этим, и информация изображений или информация камеры может временно сохраняться в устройстве хранения данных и обрабатываться. В этом варианте осуществления, изображение выводится в устройство 3 отображения и отображается. Тем не менее, настоящее раскрытие сущности не ограничено этим, и, например, изображение может сохраняться посредством соединения устройства хранения данных или может печататься в качестве неподвижного изображения посредством соединения принтера. Помимо этого, задание области для оценки формы не ограничено этим и может осуществляться посредством инструктирования пользователю (не показан) произвольно создавать форму нижней поверхности или трехмерную форму. Следует отметить, что точка взгляда также может задаваться не на плоскости. Например, в таком виде спорта, как упражнения на кольцах, точка взгляда может задаваться в воздухе.

[0057] Следует отметить, что в этом варианте осуществления, описывается пример, в котором область для оценки формы переключается для каждого назначения применения. Тем не менее, модуль 120 задания назначений применения может опускаться, и может использоваться фиксированная область для оценки формы. Например, назначение применения может быть ограничено "формированием изображений с виртуальной точкой обзора", и позиция, форма и т.п. области для оценки формы могут быть фиксированными. Это может реализовываться посредством, например, записи этих фрагментов информации в энергонезависимое запоминающее устройство модуля 130 задания областей для оценки формы и т.п.

[0058] Согласно настоящему раскрытию сущности, можно снижать риск формирования изображения с виртуальной точкой обзора, включающего в себя объект с низкой точностью формы.

[0059] Другие варианты осуществления

Вариант(ы) осуществления настоящего раскрытия сущности также могут реализовываться посредством компьютера системы или устройства, которое считывает и выполняет компьютерно-исполняемые инструкции (например, одну или более программ), записанные на носителе хранения данных (который также более полно может называться "энергонезависимым компьютерно-читаемым носителем хранения данных"), с тем чтобы выполнять функции одного или более вышеописанных вариантов осуществления, и/или которое включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для выполнения функций одного или более вышеописанных вариантов осуществления, и посредством способа, осуществляемого посредством компьютера системы или устройства, например, посредством считывания и выполнения компьютерно-исполняемых инструкций из носителя хранения данных с возможностью выполнять функции одного или более вышеописанных вариантов осуществления, и/или управления одной или более схем с возможностью выполнять функции одного или более вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров, чтобы считывать и выполнять компьютерно-исполняемые инструкции. Компьютерно-исполняемые инструкции могут предоставляться в компьютер, например, из сети или с носителя хранения данных. Носитель хранения данных может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), устройства хранения распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), универсальный цифровой диск (DVD) или Blu-Ray-диск (BD)™), устройства флэш-памяти, карты памяти и т.п.

[0060] Хотя настоящее раскрытие сущности описано со ссылкой на примерные варианты осуществления, следует понимать, что раскрытие сущности не ограничено раскрытыми примерными вариантами осуществления. Объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации, так что он заключает в себе все такие модификации и эквивалентные структуры и функции.

Claims

1. Устройство обработки изображений, содержащее:

средство получения изображений для получения изображений на основе захвата посредством множества устройств захвата изображений;

средство получения позиции для получения информации, представляющей предварительно определенную позицию, в которую направлено множество устройств захвата изображений;

средство задания области для задания, на основе информации, полученной средством получения позиции, области для формирования данных трехмерной формы, представляющих трехмерную форму объекта, и что она является частью области, захваченной посредством множества устройств захвата изображений; и

средство формирования для формирования, на основе изображений, полученных при помощи средства получения изображений, данных трехмерной формы объекта в области, заданной при помощи средства задания области.

2. Устройство по п. 1, в котором средство задания области задает, в качестве области, предварительно определенный диапазон расстояний из предварительно определенной позиции.

3. Устройство по п. 1, в котором средство задания области задает, в качестве области, пространство, имеющее форму прямоугольного параллелепипеда относительно предварительно определенной позиции в качестве центра.

4. Устройство по п. 1, в котором в случае, если множество предварительно определенных позиций существуют, средство задания области задает область для каждой предварительно определенной позиции.

5. Устройство по п. 1, дополнительно содержащее средство получения информации назначения применения, для получения информации назначения применения представляющей назначение применения данных трехмерной формы объекта, формируемых средством формирования.

6. Устройство по п. 5, в котором средство задания области задает область на основе информации, полученной средством получения позиции, и информации назначения применения, полученной средством получения информации назначения применения.

7. Устройство по п. 5, в котором средство задания области задает размер области на основе информации назначения применения, полученной средством получения информации назначения применения.

8. Устройство по п. 7, в котором в случае, если назначение применения, представленное посредством информации назначения применения, полученной средством получения информации назначения применения, представляет собой формирование изображения на основе обозначенной точки обзора, средство задания области задает размер меньшим размера в случае, если назначение применения не представляет собой формирование изображения на основе обозначенной точки обзора.

9. Устройство по п. 5, в котором в соответствии с информацией назначения применения, полученной средством получения информации назначения применения, средство задания области изменяет размер воксела, который формирует трехмерное пространство и используется для того, чтобы формировать данные трехмерной формы объекта.

10. Устройство по п. 9, в котором в случае, если назначение применения, представленное посредством информации назначения применения, полученной средством получения информации назначения применения, представляет собой формирование изображения на основе обозначенной точки обзора, средство задания области задает размер воксела равным размеру, меньшему размера в случае, если назначение применения не представляет собой формирование изображения на основе обозначенной точки обзора.

11. Устройство по п. 1, в котором средство формирования может формировать данные трехмерной формы объекта за пределами области с разрешением ниже разрешения данных трехмерной формы объекта в области.

12. Устройство по п. 11, дополнительно содержащее средство формирования, выполненное с возможностью формировать изображение на основе обозначенной точки обзора на основе данных трехмерной формы, формируемых средством формирования,

при этом средство формирования формирует изображение на основе обозначенной точки обзора на основе данных трехмерной формы объекта в области и данных трехмерной формы объекта за пределами области.

13. Устройство по п. 1, дополнительно содержащее средство формирования, выполненное с возможностью формировать изображение на основе обозначенной точки обзора на основе данных трехмерной формы, формируемых средством формирования.

14. Способ управления устройством обработки изображений, содержащий этапы, на которых:

получают изображения на основе захвата посредством множества устройств захвата изображений;

получают информацию, представляющую предварительно определенную позицию, в которую направлено множество устройств захвата изображений;

задают, на основе полученной информации, область для формирования данных трехмерной формы, представляющих трехмерную форму объекта, и что она является частью области, захваченной посредством множества устройств захвата изображений; и

формируют, на основе полученных изображений, данные трехмерной формы объекта в заданной области.

15. Компьютерно-читаемый носитель хранения данных, хранящий компьютерную программу для инструктирования компьютеру выполнять каждый этап способа управления устройством обработки изображений, при этом способ содержит:

получение изображений на основе захвата посредством множества устройств захвата изображений;

получение информации, представляющей предварительно определенную позицию, в которую направлено множество устройств захвата изображений;

задание, на основе полученной информации, области для формирования данных трехмерной формы, представляющих трехмерную форму объекта, и что она является частью области, захваченной посредством множества устройств захвата изображений; и

формирование, на основе полученных изображений, данных трехмерной формы объекта в заданной области.