RU2725682C1

RU2725682C1 - Information processing device, information processing method and data medium

Info

Publication number: RU2725682C1
Application number: RU2019113135A
Authority: RU
Inventors: Юри ЙОСИМУРА
Original assignee: Кэнон Кабусики Кайся
Priority date: 2019-04-29
Filing date: 2019-04-29
Publication date: 2020-07-03

Abstract

FIELD: physics.SUBSTANCE: invention relates to image forming means. Information processing device includes a receiving unit configured to obtain viewpoint information relating to virtual viewpoints corresponding to images from virtual viewpoints formed based on a plurality of captured images obtained by the plurality of imaging devices, performing image capturing from a plurality of directions, a detection unit configured to detect an object included in at least any of a plurality of captured images and included in the field of view corresponding to the virtual viewpoint identified based on said viewpoint information obtained by the acquisition unit, and an output unit configured to, based on the detection result of the detection unit associated with the plurality of virtual viewpoints identified based on said viewpoint information obtained by the acquisition unit, display information associated with the number of virtual viewpoints whose field of view includes the same object.EFFECT: technical result is to determine the purpose of user attention.20 cl, 13 dwg

Description

Предпосылки созданияCreation Background

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

[0001] Настоящее раскрытие относится к изображению с виртуальной точки обзора, формируемому на основе множества захваченных изображений, полученных множеством устройств формирования изображения.[0001] The present disclosure relates to a virtual viewpoint image generated from a plurality of captured images obtained by a plurality of imaging devices.

Описание предшествующего уровня техникиDescription of the Related Art

[0002] Существует методика для выполнения синхронного формирования изображения с нескольких точек обзора с помощью множества устройств формирования изображения (камер), установленных в различных позициях и формирующих не только изображения, захваченные с позиций установки устройств формирования изображения, но также изображение с виртуальной точки обзора, точки обзора которого могут быть необязательно изменены, с помощью множества изображений, полученных путем синхронного формирования изображений. Изображение с виртуальной точки обзора формируется блоком обработки изображения, таким как сервер, путем сбора изображений, захваченных множеством устройств формирования изображения, формирования трехмерной модели и выполнения процесса воспроизведения. Сформированное изображение с виртуальной точки обзора затем передается пользовательскому терминалу для просмотра.[0002] There is a technique for performing synchronous imaging from multiple viewpoints using a plurality of imaging devices (cameras) installed at various positions and generating not only images captured from installation positions of the image forming apparatuses, but also an image from a virtual viewing point, whose viewpoints may optionally be changed using a plurality of images obtained by synchronously forming images. An image from a virtual viewpoint is generated by an image processing unit, such as a server, by collecting images captured by a plurality of image forming devices, forming a three-dimensional model, and performing a playback process. The generated image from the virtual viewpoint is then transmitted to the user terminal for viewing.

[0003] Например, изображение с виртуальной точки обзора, соответствующей точкам обзора, установленным пользователем, формируется из изображений, полученных путем захвата спортивного мероприятия, в результате чего пользователь может смотреть игру с желаемых пользователем точек обзора. В выложенной японской патентной заявке № 2014-215828 обсуждается методика, в которой совместное использование виртуальных точек обзора, указанных пользователем, с другими пользователями предоставляет возможность пользователю просматривать изображение с виртуальной точки обзора с ощущением чувства единства с другими пользователями. В выложенной японской патентной заявке № 2014-215828 дополнительно обсуждается методика отображения информации для определения (идентификации) виртуальных точек обзора, указанных множеством пользователей.[0003] For example, an image from a virtual viewpoint corresponding to the viewpoints set by the user is formed from images obtained by capturing a sporting event, as a result of which the user can watch the game from the viewpoints desired by the user. Japanese Patent Application Laid-Open No. 2014-215828 discusses a technique in which sharing virtual viewpoints specified by a user with other users enables a user to view an image from a virtual viewpoint with a sense of unity with other users. Japanese Patent Application Laid-Open No. 2014-215828 further discusses a method for displaying information for determining (identifying) virtual viewpoints indicated by a plurality of users.

[0004] Например, в изображении с виртуальной точки обзора, формируемом из изображений, полученных путем захвата изображения спортивного мероприятия, если могут быть определены сцена или объект (например, игрок) в качестве объекта внимания, к которому пользователь имеет высокую степень внимания, возможно использовать изображение с виртуальной точки обзора для различных применений, таких как создание изображения ключевого момента, которое удовлетворяет множество пользователей. Однако, даже если информация для определения виртуальных точек обзора, указанных множеством пользователей, в определенный момент времени получается с помощью методики, обсужденной в выложенной японской патентной заявке № 2014-215828, нелегко определять сцену или объект в качестве объекта внимания из этой информации. Аналогичная проблема сохраняется не только в случае, когда целью просмотра является спортивное мероприятие, относящееся к изображению с виртуальной точки обзора, но также в случае, когда целью просмотра является другое событие, такое как концерт, относящийся к изображению с виртуальной точки обзора.[0004] For example, in an image from a virtual viewpoint formed from images obtained by capturing an image of a sporting event, if a scene or object (eg, a player) can be defined as an object of attention to which the user has a high degree of attention, it is possible to use image from a virtual point of view for various applications, such as creating a key moment image that satisfies many users. However, even if information for determining virtual viewpoints indicated by a plurality of users is obtained at a certain point in time using the technique discussed in Japanese Patent Application Laid-Open No. 2014-215828, it is not easy to determine a scene or object as an object of attention from this information. A similar problem persists, not only when the viewing purpose is a sporting event related to the image from the virtual viewpoint, but also when the viewing purpose is another event, such as a concert, relating to the image from the virtual viewing point.

Сущность изобретенияSUMMARY OF THE INVENTION

[0005] Согласно одному или более аспектам настоящего изобретения, устройство обработки информации включает в себя блок получения, выполненный с возможностью получать информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений, блок обнаружения, выполненный с возможностью обнаруживать объект, включенный в по меньшей мере какое-либо из множества захваченных изображений и включенный в поле обзора, соответствующее виртуальной точке обзора, идентифицированной на основе информации о точках обзора, полученной блоком получения, и блок вывода, выполненный с возможностью, исходя из результата обнаружения блока обнаружения, ассоциированного с множеством виртуальных точек обзора, идентифицированных на основе информации о точках обзора, полученной блоком получения, выводить информацию, ассоциированную с множеством виртуальных точек обзора, поле обзора которых включает в себя один и тот же объект.[0005] According to one or more aspects of the present invention, the information processing apparatus includes a receiving unit configured to obtain viewpoint information related to virtual viewpoints corresponding to images from virtual viewpoints generated from a plurality of captured images obtained a plurality of imaging devices performing image capture from a variety of directions, a detection unit configured to detect an object included in at least one of the plurality of captured images and included in a field of view corresponding to a virtual viewpoint identified based on the point information a view obtained by the receiving unit and an output unit configured to, based on the result of detecting the detection unit associated with the plurality of virtual view points identified based on the information about the view points obtained by the receiving unit I, to display information associated with many virtual viewpoints, the field of view of which includes the same object.

[0006] Дополнительные признаки настоящего раскрытия сущности станут очевидными из последующего описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.[0006] Further features of the present disclosure will become apparent from the following description of exemplary embodiments with reference to the accompanying drawings.

Краткое описание чертежейBrief Description of the Drawings

[0007] Фиг. 1 - это схема, иллюстрирующая пример конфигурации системы обработки изображений согласно одному или более аспектам настоящего раскрытия.[0007] FIG. 1 is a diagram illustrating an example configuration of an image processing system according to one or more aspects of the present disclosure.

[0008] Фиг. 2 - это вид в перспективе, иллюстрирующий пример, где множество виртуальных камер установлены согласно одному или более аспектам настоящего раскрытия.[0008] FIG. 2 is a perspective view illustrating an example where a plurality of virtual cameras are installed according to one or more aspects of the present disclosure.

[0009] Фиг. 3 - это вид с высоты птичьего полета, иллюстрирующий пример, где множество виртуальных камер установлены согласно одному или более аспектам настоящего раскрытия.[0009] FIG. 3 is a bird's-eye view illustrating an example where a plurality of virtual cameras are installed in accordance with one or more aspects of the present disclosure.

[0010] Фиг. 4 - это блок-схема последовательности операций, иллюстрирующая обработку, касающуюся анализа информации виртуальных камер и формирования информации представления, с помощью устройства обработки информации согласно одному или более аспектам настоящего раскрытия.[0010] FIG. 4 is a flowchart illustrating processing related to analyzing virtual camera information and generating presentation information using an information processing apparatus according to one or more aspects of the present disclosure.

[0011] Фиг. 5 - это схема, иллюстрирующая пример представления результата анализа информации виртуальных камер согласно одному или более аспектам настоящего раскрытия.[0011] FIG. 5 is a diagram illustrating an example of presenting a result of analyzing information of virtual cameras in accordance with one or more aspects of the present disclosure.

[0012] Фиг. 6 - это вид в перспективе, иллюстрирующий пример, где множество виртуальных камер установлены согласно одному или более аспектам настоящего раскрытия.[0012] FIG. 6 is a perspective view illustrating an example where a plurality of virtual cameras are installed according to one or more aspects of the present disclosure.

[0013] Фиг. 7 - это вид с высоты птичьего полета, иллюстрирующий пример, где установлено множество виртуальных камер.[0013] FIG. 7 is a bird's-eye view illustrating an example where a plurality of virtual cameras are installed.

[0014] Фиг. 8 - это блок-схема последовательности операций, иллюстрирующая обработку, касающуюся анализа информации виртуальных камер и формирования информации представления, с помощью устройства обработки информации согласно одному или более аспектам настоящего раскрытия.[0014] FIG. 8 is a flowchart illustrating processing regarding analyzing virtual camera information and generating presentation information using an information processing apparatus according to one or more aspects of the present disclosure.

[0015] Фиг. 9 - это схема, иллюстрирующая пример результата анализа информации виртуальных камер согласно одному или более аспектам настоящего раскрытия.[0015] FIG. 9 is a diagram illustrating an example of a result of analyzing virtual camera information according to one or more aspects of the present disclosure.

[0016] Фиг. 10A и 10B - это схемы, каждая из которых иллюстрирует пример представления результата анализа информации виртуальных камер согласно одному или более аспектам настоящего раскрытия.[0016] FIG. 10A and 10B are diagrams, each of which illustrates an example of presenting a result of analyzing information of virtual cameras in accordance with one or more aspects of the present disclosure.

[0017] Фиг. 11 - это блок-схема последовательности операций, иллюстрирующая обработку, касающуюся формирования изображения ключевого момента, с помощью устройства обработки информации согласно одному или более аспектам настоящего раскрытия.[0017] FIG. 11 is a flowchart illustrating processing regarding imaging a key moment using an information processing apparatus according to one or more aspects of the present disclosure.

[0018] Фиг. 12 - это схема, иллюстрирующая пример конфигурации аппаратных средств устройства обработки информации согласно одному или более аспектам настоящего раскрытия.[0018] FIG. 12 is a diagram illustrating a hardware configuration example of an information processing apparatus according to one or more aspects of the present disclosure.

Подробное описание вариантов осуществленияDetailed Description of Embodiments

[0019] Примерные варианты осуществления настоящего раскрытия будут описаны подробно ниже со ссылкой на сопровождающие чертежи. Настоящее раскрытие, однако, не ограничивается этими примерными вариантами осуществления, но может быть модифицировано и изменено различными способами в рамках настоящего раскрытия, описанными в прилагаемой формуле изобретения.[0019] Exemplary embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. The present disclosure, however, is not limited to these exemplary embodiments, but may be modified and modified in various ways within the framework of the present disclosure described in the attached claims.

Конфигурация системы обработки изображенийImage Processing System Configuration

[0020] Фиг. 1 - это схема, иллюстрирующая общую конфигурацию системы 100 обработки изображений согласно примерному варианту осуществления настоящего изобретения. Система 100 обработки изображений является системой, предназначенной для, исходя из изображений, полученных путем формирования изображений множеством устройств формирования изображений, и указанных виртуальных точек обзора, формирования изображения с виртуальных точек обзора, представляющего поля обзора с указанных виртуальных точек обзора. Изображение с виртуальной точки обзора согласно настоящему примерному варианту осуществления также называется видеоизображением со свободной точки обзора. Изображение с виртуальной точки обзора, однако, не ограничивается изображением, соответствующим точкам обзора, свободно (необязательно) указываемым пользователем. Примеры изображения с виртуальной точки обзора также включают в себя изображение, соответствующее точкам обзора, выбранным пользователем среди множества вариантов. В настоящем примерном варианте осуществления главным образом описывается случай, когда виртуальные точки обзора указываются действием пользователя. Альтернативно, виртуальные точки обзора могут быть автоматически указаны системой 100 обработки изображений на основе результата анализа изображений. В настоящем примерном варианте осуществления главным образом описывается случай, когда изображение с виртуальной точки обзора является движущимся изображением. Альтернативно, изображение с виртуальной точки обзора, подлежащее обработке системой 100 обработки изображений, может быть фотоизображением (неподвижным изображением).[0020] FIG. 1 is a diagram illustrating an overall configuration of an image processing system 100 according to an exemplary embodiment of the present invention. The image processing system 100 is a system designed for, based on images obtained by imaging by a plurality of image forming apparatuses and said virtual viewpoints, forming an image from virtual viewpoints representing viewpoints from said virtual viewpoints. An image from a virtual viewpoint according to the present exemplary embodiment is also called a video image from a free viewpoint. The image from the virtual viewpoint, however, is not limited to the image corresponding to the viewpoints freely (optionally) specified by the user. Examples of images from a virtual viewpoint also include an image corresponding to viewpoints selected by a user among a variety of options. The present exemplary embodiment mainly describes a case where virtual viewpoints are indicated by a user action. Alternatively, virtual viewpoints may be automatically indicated by the image processing system 100 based on the result of the image analysis. In the present exemplary embodiment, a case is mainly described when the image from the virtual viewpoint is a moving image. Alternatively, the image from the virtual viewpoint to be processed by the image processing system 100 may be a photo image (still image).

[0021] Система 100 обработки изображений включает в себя блок 1 хранения изображения с множества точек обзора (далее здесь "блок 1 хранения изображения"), блок 2 хранения информации о субъекте (далее здесь "блок 2 хранения информации"), устройство 3 обработки информации и пользовательские терминалы 4a-4z. На фиг. 1 в качестве примеров с устройством 3 обработки информации соединено 26 пользовательских терминалов 4a-4z. Однако, число пользовательских терминалов, соединенных с устройством 3 обработки информации, не ограничивается этим. Далее здесь, пока не описано иное, 26 пользовательских терминалов 4a-4z будут называться "пользовательскими терминалами 4" без различия. Аналогично, пока не описано иное, функциональные блоки в каждом пользовательском терминале 4 будут также называться "блоком 401 связи терминала", "блоком 402 отображения информации", "блоком 403 указания пути виртуальной камеры" (далее здесь "блок 403 указания пути") и "блоком 404 передачи пользовательской информации" без различия.[0021] The image processing system 100 includes an image storage unit 1 from a plurality of viewpoints (hereinafter referred to as an "image storage unit 1"), a subject information storage unit 2 (hereinafter, an "information storage unit 2"), an information processing device 3 and user terminals 4a-4z. In FIG. 1, as examples, 26 user terminals 4a-4z are connected to the information processing apparatus 3. However, the number of user terminals connected to the information processing apparatus 3 is not limited to this. Hereinafter, unless otherwise described, 26 user terminals 4a-4z will be referred to as "user terminals 4" without distinction. Similarly, unless otherwise described, the function blocks in each user terminal 4 will also be referred to as “terminal communication unit 401”, “information display unit 402”, “virtual camera path indicating unit 403” (hereinafter “path indicating unit 403”) and “user information transmitting unit 404” without distinction.

[0022] Блок 1 хранения изображения сохраняет изображения (изображения с множества точек обзора), полученные с помощью целевой области отображения, изображаемой со множества различных направлений с помощью множества устройств формирования изображения. Целевая область формирования изображения включает в себя заданный объект (объект переднего плана), например, певца, музыканта-инструменталиста, актера и декорацию/реквизит или игрока и мяч в случае спортивного мероприятия. Множество устройств формирования изображения устанавливают вокруг целевой области формирования изображения и выполняют синхронное формирование изображений. Таким образом, по меньшей мере какое-либо из множества захваченных изображений, получаемых множеством устройств формирования изображений, включает в себя заданный объект в целевой области формирования изображения. Изображения, сохраненные в блоке 1 хранения изображения, могут быть множеством самих захваченных изображений или могут быть изображениями, полученными путем обработки изображений, выполняемой по множеству захваченных изображений.[0022] The image storage unit 1 stores images (images from a plurality of viewpoints) obtained by a target display area displayed from a plurality of different directions using a plurality of image forming apparatuses. The target imaging area includes a predetermined object (foreground object), for example, a singer, instrumental musician, actor and decoration / props or player and ball in case of a sporting event. A plurality of image forming apparatuses are installed around the target image forming region and synchronous image formation is performed. Thus, at least one of the plurality of captured images obtained by the plurality of image forming apparatuses includes a predetermined object in the target image forming region. Images stored in the image storage unit 1 may be a plurality of captured images themselves or may be images obtained by image processing performed on a plurality of captured images.

[0023] Блок 2 хранения информации сохраняет информацию, касающуюся цели формирования изображения. В частности, блок 2 хранения информации сохраняет информацию о трехмерной модели (далее здесь "модели заднего плана (фона)") относительно объекта в качестве заднего плана (объекте фона) в изображении с виртуальной точки обзора, таком как сцена концертного зала, поле стадиона или зрительный зал. Блок 2 хранения информации дополнительно сохраняет информацию трехмерной модели о каждом объекте переднего плана в естественном состоянии, в том числе характерную информацию, необходимую для индивидуального распознавания или распознавания ориентации объекта переднего плана, и трехмерную пространственную информацию, указывающую диапазон, где могут быть заданы виртуальные точки обзора. Естественное состояние относится к состоянию, когда на поверхность объекта переднего плана наиболее легко смотреть. Например, если объект переднего плана является человеком, естественное состояние может быть положением стоя, когда четыре конечности человека являются вытянутыми. Кроме того, блок 2 хранения информации сохраняет информацию, касающуюся сцены, относящуюся к цели формирования изображения, такую как информация планирования времени, относящаяся к началу представления и повороту сцены, или запланированные события, такие как сольная партия и действие или начало матча и перерыв между таймами. От блока 2 хранения информации может не требоваться сохранять все вышеупомянутые порции информации и может требоваться удерживать только по меньшей мере какую-либо из вышеупомянутых порций информации.[0023] The information storage unit 2 stores information regarding an image forming purpose. In particular, the information storage unit 2 stores information about the three-dimensional model (hereinafter referred to as the “background (background) model”) with respect to the object as the background (background object) in the image from a virtual viewpoint such as a concert hall stage, stadium field or auditorium. The information storage unit 2 additionally stores information of the three-dimensional model about each foreground object in a natural state, including the characteristic information necessary for individually recognizing or recognizing the orientation of the foreground object, and three-dimensional spatial information indicating the range where virtual view points can be set . A natural state refers to a state where it is most easy to look at the surface of a foreground object. For example, if the foreground object is human, the natural state may be a standing position when the four limbs of a person are elongated. In addition, the information storage unit 2 stores information related to the scene related to the imaging purpose, such as time planning information related to the start of the presentation and the rotation of the scene, or scheduled events such as a solo part and an action or the start of a match and a break between halves . The information storage unit 2 may not be required to store all of the above pieces of information and may be required to hold only at least any of the above pieces of information.

[0024] Устройство 3 обработки информации включает в себя блок 301 формирования изображения с виртуальной точки зрения (далее здесь "блок 301 формирования изображения"), блок 302 вычисления пути виртуальной камеры (далее здесь "блок 302 вычисления пути") и блок 303 анализа информации виртуальной камеры (далее здесь "блок 303 анализа"). Устройство 3 обработки информации дополнительно включает в себя блок 304 формирования информации представления (далее здесь "блок 304 формирования информации"), блок 305 отображения информации, блок 306 управления пользовательской информацией (далее здесь "блок 306 управления информацией") и блок 307 связи устройства.[0024] The information processing apparatus 3 includes a virtual imaging unit 301 (hereinafter referred to as an “imaging unit 301”), a virtual camera path calculating unit 302 (hereinafter “a path calculating unit 302”), and an information analyzing unit 303 virtual camera (hereinafter referred to as "analysis unit 303"). The information processing apparatus 3 further includes a presentation information generating unit 304 (hereinafter referred to as “information generating unit 304”), an information display unit 305, a user information management unit 306 (hereinafter “information management unit 306”) and a device communication unit 307.

[0025] Блок 301 формирования изображения формирует информацию трехмерной модели (далее здесь "модели переднего плана") для объекта(ов) переднего плана на основе изображений с множества точек обзора, полученных от блока 1 хранения изображений. Затем блок 301 формирования изображения выполняет, для сформированных моделей переднего плана и модели заднего плана, полученных от блока 2 хранения информации, сопоставление на текстурных изображениях в соответствии с путями виртуальной камеры, полученными от блока 302 вычисления пути. Блок 301 формирования изображения затем выполняет воспроизведение, тем самым формируя изображение с виртуальной точки обзора. Формируемое изображение с виртуальной точки обзора соответствует путям виртуальной камеры и передается на пользовательские терминалы 4 через блок 307 связи устройства. В этом процессе формирования, со ссылкой на характерную информацию об объектах переднего плана, хранимую в блоке 2 хранения информации, блок 301 формирования изображения идентифицирует объекты переднего плана и ассоциирует индивидуальные идентификаторы (ID) (далее здесь "ID объектов переднего плана") объектов переднего плана с моделями переднего плана. Альтернативно, пользователь системы 100 обработки изображения может визуально идентифицировать сформированные модели переднего плана и вручную ассоциировать ID объектов переднего плана с моделями переднего плана. Блок 301 формирования изображения формирует информацию элемента субъекта, относящуюся к элементам переднего плана, включенным в изображение с виртуальной точки обзора, исходя из характерной информации об объектах переднего плана. Элементы переднего плана относятся к элементам (частям), включенным в некоторый объект переднего плана. Например, если объект переднего плана является человеком, элементы переднего плана являются частями тела человека, такими как передняя сторона лица, затылок, передняя сторона туловища, спина и правая рука. Кроме того, информация об элементе субъекта включает в себя информацию, указывающую множество ID (далее здесь "ID элементов переднего плана"), позиции и ориентацию элементов переднего плана, включенных в создаваемое изображение с виртуальной точки обзора (захватываемое виртуальными камерами). Блок 301 формирования изображения передает ID объектов переднего плана и информацию об элементе субъекта в блок 303 анализа.[0025] The image forming unit 301 generates three-dimensional model information (hereinafter referred to as the "foreground model") for the foreground object (s) based on images from a plurality of viewpoints received from the image storage unit 1. Then, the image forming unit 301 performs, for the generated foreground and background models received from the information storage unit 2, matching on the texture images in accordance with the virtual camera paths obtained from the path calculating unit 302. The imaging unit 301 then performs playback, thereby forming an image from a virtual viewpoint. The generated image from the virtual point of view corresponds to the paths of the virtual camera and is transmitted to user terminals 4 through the device communication unit 307. In this formation process, with reference to the characteristic information about the foreground objects stored in the information storage unit 2, the image forming unit 301 identifies the foreground objects and associates individual identifiers (IDs) (hereinafter referred to as the "foreground object ID") of the foreground objects with foreground models. Alternatively, a user of the image processing system 100 may visually identify the generated foreground models and manually associate the ID of the foreground objects with the foreground models. The imaging unit 301 generates subject element information related to the foreground elements included in the image from the virtual point of view based on the characteristic information about the foreground objects. Foreground elements refer to elements (parts) included in some foreground object. For example, if the foreground object is a person, the foreground elements are parts of the person’s body, such as the front of the face, back of the head, front of the body, back and right arm. In addition, information about the subject element includes information indicating a plurality of IDs (hereinafter referred to as “Foreground Elements ID”), positions and orientations of the foreground elements included in the generated image from a virtual viewpoint (captured by virtual cameras). The imaging unit 301 transmits the ID of the foreground objects and information about the subject element to the analysis unit 303.

[0026] Блок 302 вычисления пути получает временно непрерывную информацию виртуальной камеры (информацию о точке обзора) на основе информации инструкции, соответствующей действию пользователя в блоке 403 указания пути каждого пользовательского терминала 4, или информации, полученной от блока 303 анализа. Блок 302 вычисления пути затем задает пути виртуальной камеры, которые являются путями перемещения виртуальных камер, соответствующих формируемому изображению с виртуальной точки обзора. Информация с виртуальной камеры включает в себя позицию (местоположение) и ориентацию каждой виртуальной камеры (каждой виртуальной точки обзора). Информация виртуальной камеры может дополнительно включать информацию, касающуюся угла обзора и фокусного расстояния виртуальной камеры. Кроме того, каждая порция информации виртуальной камеры включает номер кадра, назначенный изображениям с множества точек обзора, и информацию о времени, ассоциированную с временным кодом, с тем, чтобы было возможно идентифицировать (определить), какому моменту захваченной сцены соответствует упомянутая информация. При вычислении информации виртуальной камеры, со ссылкой на трехмерную пространственную информацию, полученную от блока 2 хранения информации, блок 302 вычисления пути задает пути виртуальной камеры в диапазоне, где виртуальные точки обзора являются задаваемыми.[0026] The path calculation unit 302 obtains temporarily continuous virtual camera information (viewpoint information) based on instruction information corresponding to a user action in the path indicating unit 403 of each user terminal 4, or information received from the analysis unit 303. The path calculation unit 302 then determines the paths of the virtual camera, which are the paths of movement of the virtual cameras corresponding to the image being generated from the virtual viewpoint. Information from a virtual camera includes the position (location) and orientation of each virtual camera (each virtual viewpoint). The virtual camera information may further include information regarding the viewing angle and focal length of the virtual camera. In addition, each piece of virtual camera information includes a frame number assigned to images from a plurality of viewpoints and time information associated with a time code so that it is possible to identify (determine) to which moment of the captured scene the mentioned information corresponds. When calculating virtual camera information, with reference to three-dimensional spatial information received from the information storage unit 2, the path calculating unit 302 sets the virtual camera paths in the range where the virtual viewpoints are preset.

[0027] Блок 303 анализа анализирует цель привлечения внимания пользователей, которые указывают пути виртуальной камеры, на основе ID объектов переднего плана и информации о рассматриваемом элементе, принятой от блока 301 формирования изображения, и информации виртуальной камеры, принятой от блока 302 вычисления пути. Примеры цели привлечения внимания включают объект переднего плана, на который вероятно обращает внимание множество пользователей, и сцену, на которой концентрируются линии визирования виртуальных камер множества пользователей.[0027] The analysis unit 303 analyzes the goal of attracting the attention of users who indicate the paths of the virtual camera based on the ID of the foreground objects and information about the item in question received from the image forming unit 301 and the virtual camera information received from the path calculation unit 302. Examples of the goal of attracting attention include a foreground object that many users are likely to pay attention to, and a scene on which the lines of sight of the virtual cameras of many users are concentrated.

[0028] Блок 304 формирования информации формирует информацию на основе результата анализа блока 303 анализа. Примеры информации, сформированной блоком 304 формирования информации, включают графические данные и текстовые данные, в которых результат анализа визуализируется таким образом, что пользователь может интуитивно улавливать результат анализа. Альтернативно, информация, сформированная блоком 304 формирования информации, может быть, например, изображением ключевого момента, полученным путем редактирования, которое удовлетворяет множество пользователей, таким как изображение, полученное за счет захвата сцен, на которых концентрируются линии визирования виртуальных камер множества пользователей. Анализ, осуществляемый блоком 303 анализа, и формирование информации, осуществляемое блоком 304 формирования информации, будут описаны подробно ниже.[0028] The information generation unit 304 generates information based on the analysis result of the analysis unit 303. Examples of information generated by the information generating unit 304 include graphic data and text data in which the analysis result is visualized so that the user can intuitively capture the analysis result. Alternatively, the information generated by the information generating unit 304 may be, for example, a key moment image obtained by editing that satisfies a plurality of users, such as an image obtained by capturing scenes on which the lines of sight of the virtual cameras of a plurality of users are concentrated. The analysis performed by the analysis unit 303 and the generation of information by the information generation unit 304 will be described in detail below.

[0029] Блок 305 отображения информации отображает различные типы информации, касающейся управления системой 100 обработки изображений, информации, принятой от пользовательских терминалов 4, и информации представления, сформированной блоком 304 формирования информации. Информация представления, сформированная блоком 304 формирования информации, может быть выведена в блок хранения устройства 3 обработки информации или внешнее устройство, или информация, полученная за счет информации представления, обрабатываемая позже, может быть представлена пользователю. Устройство 3 обработки информации может представлять по меньшей мере часть информации, сформированной блоком 304 формирования изображения, пользователю, не отображая изображение через блок 305 отображения информации, но воспроизводя звук через динамик (не проиллюстрирован).[0029] The information display unit 305 displays various types of information regarding the management of the image processing system 100, information received from user terminals 4, and presentation information generated by the information generation unit 304. Presentation information generated by the information generation unit 304 can be output to the storage unit of the information processing device 3 or an external device, or information obtained from the presentation information processed later can be presented to the user. The information processing device 3 may present at least a portion of the information generated by the image forming unit 304 to a user without displaying an image through the information display unit 305, but reproducing sound through a speaker (not illustrated).

[0030] Блок 306 управления информацией принимает пользовательскую информацию, такую как ID пользователя, касающуюся пользователя, управляющего каждым пользовательским терминалом 4, от блока 404 передачи пользовательской информации пользовательского терминала 4 через блок 401 связи терминала и блок 307 связи устройства и сохраняет пользовательскую информацию. Блок 306 управления информацией управляет изображением и различными порциями информации, такими как информация о пути камеры, передаваемая и принимаемая между устройством 3 обработки информации и пользовательским терминалом 4 таким способом, что ассоциация между информацией и ID пользователя сохраняется даже во время различных процессов, выполняемыми в устройстве 3 обработки информации. Это может реализовывать выполнение различных процессов и обмена различными порциями информации с множеством пользовательских терминалов 4.[0030] The information management unit 306 receives user information, such as a user ID regarding the user managing each user terminal 4, from the user information transmitting unit 404 of the user terminal 4 through the terminal communication unit 401 and the device communication unit 307, and stores the user information. The information management unit 306 controls the image and various pieces of information, such as camera path information transmitted and received between the information processing apparatus 3 and the user terminal 4 in such a way that the association between the information and the user ID is maintained even during various processes carried out on the device 3 information processing. This can implement the execution of various processes and the exchange of various pieces of information with many user terminals 4.

[0031] Блок 307 связи устройства передает и принимает изображение, звук и текстовые данные, подлежащие обмену между устройством 3 обработки информации и пользовательскими терминалами 4 по сети (не проиллюстрирована), и информацию инструкции, такую как указания путей виртуальной камеры, отправляемые из пользовательских терминалов 4, когда формируется изображение с виртуальной точки обзора. Согласно инструкции от блока 306 управления информацией, блок 307 связи устройства определяет партнера(ов) по связи, связанных с передачей и приемом этих порций информации.[0031] The device communication unit 307 transmits and receives image, sound and text data to be exchanged between the information processing device 3 and the user terminals 4 over the network (not illustrated), and instruction information such as virtual camera path directions sent from the user terminals 4 when an image is formed from a virtual viewpoint. According to the instructions from the information management unit 306, the device communication unit 307 determines the communication partner (s) associated with the transmission and reception of these pieces of information.

[0032] Каждый пользовательский терминал 4 включает в себя блок 401 связи терминала, блок 402 отображения изображения, блок 403 указания пути и блок 404 передачи пользовательской информации. Блок 401 связи терминала передает и принимает различные порции информации к и от блока 307 связи устройства для устройства 3 обработки информации, как описано выше. Блок 402 отображения изображения отображает изображение с виртуальной точки обзора и информацию представления, полученную от устройства 3 обработки информации.[0032] Each user terminal 4 includes a terminal communication unit 401, an image display unit 402, a path indicating unit 403, and a user information transmitting unit 404. The terminal communication unit 401 transmits and receives various pieces of information to and from the device communication unit 307 for the information processing device 3, as described above. The image display unit 402 displays an image from a virtual viewpoint and presentation information received from the information processing apparatus 3.

[0033] Блок 403 указания пути принимает действие пользователя, указывающее путь виртуальной камеры, и передает информацию инструкции на основе этого действия блоку 302 вычисления пути устройства 3 обработки информации через блок 401 связи терминала и блок 307 связи устройства. Здесь пользователь необязательно может быть должен точно указывать все порции информации виртуальной камеры для всего периода изображения с виртуальной точки обзора, который пользователь желает просматривать. Например, также возможно вводить инструкции на основе различных точек обзора в такой ситуации, когда пользователь хочет просматривать изображение с виртуальной точки обзора, которое привлекает внимание к конкретному певцу или игроку, когда пользователь хочет просматривать изображение в некотором диапазоне вокруг мяча или когда пользователь хочет просматривать изображение участка, где происходит событие, которому пользователь должен уделить больше внимания. В случае, когда какая-либо из этих инструкций вводится, блок 403 указания пути передает информацию инструкции, и блок 302 вычисления пути устройства 3 обработки информации формирует информацию виртуальной камеры на основе этой инструкции. Альтернативно, блок 403 указания пути может автоматически указывать путь виртуальной камеры и передавать информацию инструкции, соответствующую указанию. Блок 404 передачи пользовательской информации назначает пользовательскую информацию, такую как ID пользователя, информации, передаваемой от блока 401 связи терминала блоку 307 связи устройства.[0033] The path indicating unit 403 receives a user action indicating the path of the virtual camera and transmits instruction information based on this action to the path calculating unit 302 of the information processing apparatus 3 through the terminal communication unit 401 and the device communication unit 307. Here, the user may optionally need to accurately indicate all portions of the virtual camera information for the entire image period from the virtual viewpoint that the user wishes to view. For example, it is also possible to enter instructions based on different viewpoints in a situation where the user wants to view the image from a virtual viewpoint that draws attention to a particular singer or player, when the user wants to view the image in a certain range around the ball, or when the user wants to view the image the area where the event occurs, to which the user should pay more attention. In the event that any of these instructions is entered, the path indicating unit 403 transmits instruction information, and the path calculating unit 302 of the information processing apparatus 3 generates virtual camera information based on this instruction. Alternatively, the path indicating unit 403 may automatically indicate the path of the virtual camera and transmit instruction information corresponding to the direction. The user information transmission unit 404 assigns user information, such as a user ID, of information transmitted from the terminal communication unit 401 to the device communication unit 307.

[0034] Конфигурация системы 100 обработки изображения не ограничивается тем, что иллюстрировано на фиг. 1. Например, блок 1 хранения изображения или блок 2 хранения информации могут быть включены в устройство 3 обработки информации. Дополнительно, блок 301 формирования изображения или блок 305 отображения информации могут быть включены в устройство, отличное от устройства 3 обработки информации.[0034] The configuration of the image processing system 100 is not limited to that illustrated in FIG. 1. For example, an image storage unit 1 or an information storage unit 2 may be included in the information processing device 3. Additionally, the image forming unit 301 or the information display unit 305 may be included in a device other than the information processing device 3.

[0035] Далее, со ссылкой на фиг. 12, описывается конфигурация аппаратных средств устройства 3 обработки информации. Устройство 3 обработки информации включает в себя центральный процессор (CPU) 1101, постоянное запоминающее устройство (ROM) 1102, оперативное запоминающее устройство (RAM) 1103, внешнее запоминающее устройство 1104, блок 1105 отображения, операционный блок 1106, интерфейс (I/F) 1107 связи и шину 1108.[0035] Next, with reference to FIG. 12, the hardware configuration of the information processing apparatus 3 is described. Information processing device 3 includes a central processing unit (CPU) 1101, read only memory (ROM) 1102, random access memory (RAM) 1103, external storage device 1104, display unit 1105, operation unit 1106, interface (I / F) 1107 communication and bus 1108.

[0036] CPU 1101 управляет всем устройством 3 обработки информации с помощью компьютерной программы и данных, сохраненных в ROM 1102 или RAM 1103. Альтернативно, устройство 3 обработки информации может включать в себя одно или более специализированных аппаратных устройств, отличных от CPU 1101, и упомянутые одно или более специализированных аппаратных устройств могут выполнять по меньшей мере часть обработки CPU 1101. Примеры специализированных аппаратных устройств включают в себя специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA) и цифровой сигнальный процессор (DSP). ROM 1102 хранит программу и параметр, который не должен изменяться. RAM 1103 временно хранит программу и данные, поступившие с внешнего запоминающего устройства 1104, и данные, поступившие извне через I/F 1107 связи. Внешнее запоминающее устройство 1104 включает в себя, например, накопитель на жестком диске и хранит различные типы данных, такие как данные изображений, звуковые данные и информацию о пути виртуальной камеры.[0036] The CPU 1101 controls the entire information processing apparatus 3 using a computer program and data stored in the ROM 1102 or RAM 1103. Alternatively, the information processing apparatus 3 may include one or more specialized hardware devices other than the CPU 1101, and one or more specialized hardware devices can perform at least part of the processing of the CPU 1101. Examples of specialized hardware devices include a specialized integrated circuit (ASIC), a user programmable gate array (FPGA), and a digital signal processor (DSP). ROM 1102 stores the program and the parameter, which should not be changed. RAM 1103 temporarily stores the program and the data received from the external storage device 1104, and data received from the outside through the I / F 1107 communication. External storage device 1104 includes, for example, a hard disk drive and stores various types of data, such as image data, audio data, and virtual camera path information.

[0037] Блок 1105 отображения включает в себя, например, жидкокристаллический дисплей или светоизлучающий диод (LED) и отображает графический пользовательский интерфейс (GUI), чтобы пользователь управлял устройством 3 обработки информации. Операционный блок 1106 включает в себя, например, клавиатуру, мышь и сенсорную панель. Операционный блок 1106 воспринимает действие пользователя и вводит различные инструкции в CPU 1101. I/F 1107 связи используется для связи с внешним устройством, таким как каждый пользовательский терминал 4. В случае, когда, например, устройство 3 обработки информации соединяется проводным образом с внешним устройством, кабель связи соединяется с I/F 1107 связи. В случае, когда устройство 3 обработки информации имеет функцию беспроводной связи с внешним устройством, I/F 1107 связи включает в себя антенну. Шина 1108 соединяет компоненты устройства 3 обработки информации и передает информацию.[0037] The display unit 1105 includes, for example, a liquid crystal display or a light emitting diode (LED) and displays a graphical user interface (GUI) so that the user controls the information processing apparatus 3. Operation block 1106 includes, for example, a keyboard, mouse, and touch pad. The operation unit 1106 perceives the user action and enters various instructions into the CPU 1101. The communication I / F 1107 is used to communicate with an external device, such as each user terminal 4. In the case when, for example, the information processing device 3 is wired to an external device The communication cable connects to the I / F 1107 communication. In the case where the information processing apparatus 3 has a wireless communication function with an external device, the communication I / F 1107 includes an antenna. A bus 1108 connects the components of the information processing apparatus 3 and transmits information.

[0038] В настоящем примерном варианте осуществления блок 1105 отображения и операционный блок 1106 предусматриваются в устройстве 3 обработки информации. Альтернативно, устройство 3 обработки информации может не включать в себя по меньшей мере блок 1105 отображения и операционный блок 1106. Еще альтернативно, по меньшей мере один из блока 1105 отображения и операционного блока 1106 может быть предусмотрен в качестве другого устройства снаружи устройства 3 обработки информации, и CPU 1101 может работать в качестве блока управления отображением для управления блоком 1105 отображения или блока управления работой для управления операционным блоком 1106.[0038] In the present exemplary embodiment, a display unit 1105 and an operation unit 1106 are provided in the information processing apparatus 3. Alternatively, the information processing device 3 may not include at least a display unit 1105 and an operation unit 1106. Still alternatively, at least one of the display unit 1105 and the operation unit 1106 may be provided as another device outside the information processing device 3, and the CPU 1101 may operate as a display control unit for controlling a display unit 1105 or an operation control unit for controlling an operation unit 1106.

Анализ объекта вниманияAttention Analysis

[0039] Ниже с помощью конкретного примера предоставляется описание процесса, в котором устройство 3 обработки информации побуждает блок 303 анализа анализировать информацию виртуальной камеры и побуждает блок 304 формирования информации формировать информацию представления на основе результата анализа.[0039] A specific example is provided below with a description of the process in which the information processing apparatus 3 causes the analysis unit 303 to analyze the information of the virtual camera and causes the information generation unit 304 to generate presentation information based on the analysis result.

[0040] Фиг. 2 иллюстрирует поля обзора виртуальных камер C1-C4 (Cu; u=1-4), индивидуально указанных для четырех пользователей (ID пользователей являются u; u=1-4) с помощью соответствующего одного из пользовательских терминалов 4 в некоторое время T во время формирования изображения. Фиг. 3 - это схематичный вид сверху для фиг. 2. Область A является целевой областью анализа, которая является, в целевой области формирования изображения, целью для анализа информации виртуальной камеры. Область A является, например, трехмерным пространством, имеющим высоту в диапазоне, где со сцены в качестве цели формирования изображения дается представление. Целевая область анализа может быть задана на основе пользовательского действия на устройстве 3 обработки информации или может быть задана блоком 303 анализа на основе информации виртуальной камеры. Область B является диапазоном, где могут устанавливаться виртуальные камеры Cu. Фиг. 2 и 3 иллюстрируют объекты P-X переднего плана, такие как певцы и танцоры. Здесь ID объектов переднего плана для объектов P-X переднего плана также являются P-X соответственно, которые являются такими же ссылочными номерами, что и ссылочные номера на фиг. 3.[0040] FIG. 2 illustrates fields of view of C1-C4 virtual cameras (Cu; u = 1-4) individually indicated for four users (user IDs are u; u = 1-4) using the corresponding one of the user terminals 4 at some time T during image formation. FIG. 3 is a schematic plan view of FIG. 2. Region A is the analysis target region, which is, in the target imaging region, a target for analyzing virtual camera information. Region A is, for example, a three-dimensional space having a height in the range where a view is given from the scene as an image forming target. The analysis target area may be set based on user action on the information processing apparatus 3, or may be set by analysis unit 303 based on virtual camera information. Region B is the range where Cu virtual cameras can be installed. FIG. 2 and 3 illustrate P-X foreground objects such as singers and dancers. Here, the foreground object IDs for the foreground objects P-X are also P-X, respectively, which are the same reference numbers as the reference numbers in FIG. 3.

[0041] Со ссылкой на фиг. 4 предоставляется описание обработки, касающейся анализа информации виртуальной камеры и формирования информации представления, как иллюстрировано в примерах на фиг. 2 и 3. Обработка, проиллюстрированная на фиг. 4, начинается в момент времени, когда в устройство 3 обработки информации вводится инструкция анализировать информацию виртуальной камеры или формировать информацию представления. Эта инструкция может быть предоставлена с помощью пользовательского действия, выполняемого на устройстве 3 обработки информации, или может быть введена из пользовательского терминала(ов) 4. Момент начала обработки, проиллюстрированной на фиг. 4, однако, не ограничивается этим. Обработка, проиллюстрированная на фиг. 4, реализуется посредством CPU 1101, загружающего программу, сохраненную в ROM 1102, в RAM 1103 и выполняющего эту программу. По меньшей мере часть обработки, проиллюстрированной на фиг. 4, может быть реализована одним или более специализированными аппаратными устройствами, отличными от CPU 1101. То же применяется к обработке, проиллюстрированной на блок-схеме последовательности операций на фиг. 8 (описана ниже).[0041] With reference to FIG. 4, a description of processing regarding analyzing virtual camera information and generating presentation information is provided, as illustrated in the examples in FIG. 2 and 3. The processing illustrated in FIG. 4 starts at a point in time when an instruction to analyze information of a virtual camera or generate presentation information is entered into an information processing apparatus 3. This instruction can be provided using a user action performed on the information processing device 3, or it can be entered from the user terminal (s) 4. The moment of the start of processing illustrated in FIG. 4, however, is not limited to this. The processing illustrated in FIG. 4 is implemented by a CPU 1101 loading a program stored in ROM 1102 into RAM 1103 and executing this program. At least a portion of the processing illustrated in FIG. 4 may be implemented by one or more specialized hardware devices other than the CPU 1101. The same applies to the processing illustrated in the flowchart of FIG. 8 (described below).

[0042] Сначала, на этапе S1000 инициализируются различные параметры, используемые для обработки на фиг. 4. Более конкретно, задаются число виртуальных камер Cu (umax) в качестве целей анализа и период формирования изображения (Tmax) в качестве цели анализа, выбирается одна из виртуальных камер Cu в качестве целей анализа (u=1), и указывается время начала периода формирования изображения в качестве цели (T=0). Виртуальные камеры Cu в качестве цели анализа и период в качестве цели анализа могут быть определены на основе действия пользователя или могут быть определены автоматически. Например, что касается виртуальных камер Cu, все виртуальные камеры, указанные пользовательскими терминалами 4, соединенными с устройством 3 обработки информации, когда выполняется анализ, могут быть определены в качестве целей анализа, или виртуальные камеры, указанные в прошлом пользовательскими терминалами 4, соединенными с устройством 3 обработки информации, могут быть определены в качестве целей анализа. Устройство 3 обработки информации может определять, в качестве целей анализа, виртуальные камеры, соответствующие пользователю(ям), имеющим конкретные атрибуты, на основе информации, управляемой блоком 306 управления информацией.[0042] First, in step S1000, various parameters used for processing in FIG. 4. More specifically, the number of Cu virtual cameras (umax) as analysis targets and the imaging period (Tmax) as the analysis target are specified, one of the Cu virtual cameras is selected as analysis targets (u = 1), and the period start time is indicated imaging as a target (T = 0). Cu virtual cameras as an analysis target and a period as an analysis target can be determined based on user action or can be determined automatically. For example, with regard to Cu virtual cameras, all virtual cameras indicated by user terminals 4 connected to the information processing device 3 when analysis is performed can be defined as analysis targets, or virtual cameras indicated in the past by user terminals 4 connected to the device 3 information processing can be determined as the goals of analysis. The information processing device 3 may determine, as analysis objectives, virtual cameras corresponding to the user (s) having specific attributes based on information managed by the information management unit 306.

[0043] На этапе S1001 блок 303 анализа получает от блока 301 формирования изображения ID объекта переднего плана и информацию рассматриваемого элемента об объекте переднего плана, включенном в поле обзора выбранной виртуальной камеры Cu в указанное время T. На этапе S1002 блок 303 анализа добавляет к числу N счета субъекта (первоначальное значение на этапе S1000 равно нулю), назначенному элементу переднего плана, соответствующему информации рассматриваемого элемента (элемента переднего плана, включенного в поле обзора виртуальной камеры Cu). Чтобы определить, какой объект переднего плана включен в поле обзора виртуальной камеры Cu, может быть использован результат определения, выполненного, когда блок 301 формирования изображения формирует изображение с виртуальной точки обзора в соответствии с виртуальной камерой Cu. Однако, способ обнаружения объекта переднего плана, включенного в поле обзора виртуальной камеры Cu, не ограничивается этим. Альтернативно, блок 303 анализа может выполнять определение на основе информации о местоположении одного или более объектов переднего плана, полученной на основе изображений с множества точек обзора, и информации виртуальной камеры, полученной блоком 302 вычисления пути. Еще альтернативно, блок 303 анализа может анализировать изображение с виртуальной точки обзора, сформированное блоком 301 формирования изображения и соответствующее виртуальной камере Cu, тем самым определяя объект, включенный в изображение с виртуальной точки обзора, т.е. объект, включенный в поле обзора виртуальной камеры Cu.[0043] In step S1001, the analysis unit 303 receives, from the image forming unit 301, the foreground object ID and information of the item in question about the foreground object included in the field of view of the selected virtual camera Cu at the indicated time T. In step S1002, the analysis unit 303 adds to the number N of the account of the subject (the initial value in step S1000 is zero) assigned to the foreground element corresponding to the information of the element in question (the foreground element included in the field of view of the virtual camera Cu). In order to determine which foreground object is included in the field of view of the virtual camera Cu, the result of the determination made when the image forming unit 301 forms an image from the virtual view point in accordance with the virtual camera Cu can be used. However, the method for detecting a foreground object included in the field of view of a Cu virtual camera is not limited to this. Alternatively, the analysis unit 303 may make a determination based on the location information of one or more foreground objects obtained from images from a plurality of viewpoints and virtual camera information obtained by the path calculation unit 302. Still alternatively, the analysis unit 303 may analyze the image from the virtual viewpoint formed by the image forming unit 301 and corresponding to the virtual camera Cu, thereby determining an object included in the image from the virtual viewpoint, i.e. an object included in the field of view of the Cu virtual camera.

[0044] На этапе S1003 блок 303 анализа определяет, выполняются ли процессы этапов S1001 и S1002 по всем виртуальным камерам Cu в качестве целей анализа (действительно ли u=umax). Если существует виртуальная камера Cu, которая еще не была обработана (Нет на этапе S1003), обработка переходит к этапу S1004. На этапе S1004 выбирается другая виртуальная камера Cu (u=u+1), и обработка возвращается к этапу S1001. Таким образом, вышеописанный подсчет субъектов на этапах S1001 и S1002 выполняется для всех виртуальных камер Cu в качестве целей анализа.[0044] In step S1003, the analysis unit 303 determines whether the processes of steps S1001 and S1002 are performed on all of the virtual cameras Cu as analysis targets (whether u = umax). If there is a virtual camera Cu that has not yet been processed (No in step S1003), the processing proceeds to step S1004. In step S1004, another virtual camera Cu is selected (u = u + 1), and the processing returns to step S1001. Thus, the above-described subject counting in steps S1001 and S1002 is performed for all Cu virtual cameras as analysis objectives.

[0045] На этапе S1005 блок 303 анализа определяет, выполняются ли процессы этапов S1001-S1004 по всему анализируемому периоду формирования изображений (действительно ли T=Tmax). Если существует время T, которое еще не было обработано (Нет на этапе S1005), обработка переходит к этапу S1006. На этапе S1006 указывается следующее время T (T=T+ΔT), и обработка возвращается к этапу S1001. Таким образом, вышеописанный подсчет субъектов на этапах S1001-S1004 выполняется в течение всего анализируемого периода формирования изображений.[0045] In step S1005, the analysis unit 303 determines whether the processes of steps S1001-S1004 are performed over the entire analyzed imaging period (is it really T = Tmax). If there is a time T that has not yet been processed (No in step S1005), the processing proceeds to step S1006. In step S1006, the next time T is indicated (T = T + ΔT), and the processing returns to step S1001. Thus, the above-described counting of subjects in steps S1001-S1004 is performed throughout the entire analyzed period of image formation.

[0046] В результате процессов этапов S1001-S1006, для каждого элемента переднего плана, получается число N счета субъекта, пропорциональное числу виртуальных камер Cu, поля обзора которых включают в себя элемент переднего плана и время T. На этапе S1007 полученное число N счета субъекта умножается на относительную важность D. Относительная важность D указывает степень важности каждого элемента переднего плана и необязательно определяется заранее. Например, в случае, когда объект переднего плана является человеком, относительная важность D может быть определена так, что чем ближе к лицу элемент переднего плана (часть тела) находится, тем больше относительная важность D. На этапе S1008 для каждого объекта переднего плана блок 303 анализа суммирует взвешенные подсчитанные числа N × D для множества элементов переднего плана, включенных в объект переднего плана. Этот суммарный результат ΣND является баллом M субъекта, указывающим степень внимания объекту переднего плана.[0046] As a result of the processes of steps S1001-S1006, for each foreground element, the subject count number N is obtained proportional to the number of virtual cameras Cu whose field of view includes the foreground element and time T. In step S1007, the obtained subject account number N multiplied by the relative importance of D. The relative importance of D indicates the degree of importance of each element of the foreground and is not necessarily determined in advance. For example, in the case where the foreground object is human, the relative importance of D can be determined so that the closer the foreground element (body part) is located, the greater the relative importance of D. In step S1008, for each foreground object, block 303 The analysis summarizes the weighted calculated N × D numbers for the set of foreground elements included in the foreground object. This summary result ΣND is the subject's M score indicating the degree of attention to the foreground object.

[0047] Далее, на этапе S1009 блок 304 формирования информации определяет способ отображения для отображения элементов переднего плана, соответствующих числам N счета субъектов. Более конкретно, способом цветной тепловой карты, цвета отображения элементов переднего плана определяются в порядке красного для элемента переднего плана, имеющего наибольшее число N счета субъекта, оранжевого, желтого и зеленого для промежуточных чисел N счета субъекта, и синего для элемента переднего плана, имеющего наименьшее число N счета субъекта, в соответствии с правилом ступенчатого изменения, определенным заранее. Способ отображения для отображения элементов переднего плана, однако, не ограничивается этим. Способ отображения может быть любым способом отображения, предоставляющим возможность идентификации элементов переднего плана, числа N счета субъекта которых отличаются друг от друга на некоторое число или более. Например, элемент переднего плана, имеющий число N счета субъекта=0, может быть бесцветным, или величина каждого числа N счета субъекта может быть представлена тенью единственного оттенка или различием текстуры. Кроме того, по результату определения цветов отображения всех элементов переднего плана пограничный процесс для устранения линий границ между элементами переднего плана может быть выполнен таким образом, чтобы границы между цветами были плавными. Еще, кроме того, число N счета субъекта может быть отображено как оно есть в качестве числового значения рядом с каждым элементом переднего плана. Эти способы представления могут быть объединены вместе.[0047] Next, in step S1009, the information generating unit 304 determines a display method for displaying foreground elements corresponding to the account numbers N of the subjects. More specifically, by the color heat map method, the display colors of the foreground elements are determined in red for the foreground element having the largest number N of account of the subject, orange, yellow and green for the intermediate numbers N of the subject account, and blue for the foreground element of the smallest the number N of the account of the subject, in accordance with the step change rule defined in advance. The display method for displaying foreground elements, however, is not limited to this. The display method can be any display method that enables the identification of foreground elements, the account numbers N of the subject of which differ from each other by a certain number or more. For example, a foreground element having a subject’s account N = 0 may be colorless, or the value of each subject’s account N can be represented by a single hue shadow or texture difference. In addition, according to the result of determining the display colors of all the foreground elements, the border process for eliminating the border lines between the foreground elements can be performed so that the borders between the colors are smooth. Also, in addition, the subject’s account number N can be displayed as it is as a numerical value next to each foreground element. These presentation methods can be combined together.

[0048] На этапе S1010 блок 304 формирования изображения формирует информацию о рейтинге субъекта. Сначала блок 304 формирования информации применяет цвета отображения, определенные на этапе S1009, к модели естественного состояния объекта переднего плана, полученной от блока 2 хранения информации. В этом окрашивании модель естественного состояния может быть полупрозрачно окрашена многослойным образом, так что оригинальный цвет и дизайн объекта переднего плана и видимость детализированной формы объекта переднего плана сохраняются. Затем блок 304 формирования информации формирует изображение для отображения этой окрашенной модели объекта переднего плана вместе с графикой и текстом, указывающими рейтинг в порядке ранжирования, соответствующем вышеописанному баллу M субъекта. Сформированное изображение отображается в блоке 305 отображения информации. Фиг. 5 иллюстрирует пример изображения, отображенного в это время.[0048] In step S1010, the image forming unit 304 generates subject rating information. First, the information generation unit 304 applies the display colors determined in step S1009 to the natural state model of the foreground object obtained from the information storage unit 2. In this coloration, the natural state model can be translucently colored in a multilayer manner, so that the original color and design of the foreground object and the visibility of the detailed shape of the foreground object are preserved. Then, the information generating unit 304 generates an image for displaying this colored model of the foreground object together with graphics and text indicating the rating in a ranking order corresponding to the subject's M score described above. The generated image is displayed in block 305 display information. FIG. 5 illustrates an example of an image displayed at this time.

[0049] На фиг. 5, для иллюстративных причин величина каждого числа N счета субъекта представляется тенью цвета, и границы в отображении плавно корректируются. Однако, различные варианты являются применимыми, как описано выше. Поскольку модель объекта переднего плана является трехмерной моделью, ориентация объекта может быть способна свободно изменяться. Хотя модель естественного состояния объекта переднего плана отображается на фиг. 5, модель объекта переднего плана в любой момент, такая как модель объекта переднего плана в момент, когда число N счета субъекта для объекта переднего плана наиболее колеблется, может быть отображена с помощью способа, как на фиг. 5. Такое отображение представляет возможность пользователю, смотрящему на дисплей, легко улавливать не только то, какому объекту переднего плана уделяется внимание, но также в какой сцене внимание уделяется объекту переднего плана. Кроме того, информация, сформированная блоком 304 формирования информации и представленная пользователю, может быть должна лишь включать в себя информацию, соответствующую результату определения для определения объекта, включенного в поле обзора каждой из множества виртуальных камер, и не ограничивается отображением рейтинга, как на фиг. 5. Например, может быть отображено изображение, в котором объекты переднего плана в изображении с виртуальной точки обзора конкретной сцены в периоде формирования изображения окрашиваются в соответствии с числами N счета субъектов. Альтернативно, числовые значения, соответствующие числам N счет субъектов, могут быть отображены на изображении с виртуальной точки обзора. Вышеописанные примеры различных типов информации представления основываются на числе виртуальных камер Cu, поля обзора которых включают в себя один и тот же объект. Это предоставляет возможность пользователю легко улавливать степень внимания каждому объекту. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, может быть представлена информация, просто указывающая, включен ли заданный объект в поле обзора какой-либо из множества виртуальных камер.[0049] FIG. 5, for illustrative reasons, the magnitude of each subject's account N is represented by a shadow of color, and the borders in the display are smoothly adjusted. However, various options are applicable as described above. Since the foreground object model is a three-dimensional model, the orientation of the object can be freely changed. Although the natural state model of the foreground object is displayed in FIG. 5, the model of the foreground object at any time, such as the model of the foreground object at the moment when the account number N of the subject for the foreground object is most fluctuating, can be displayed using the method as in FIG. 5. Such a display provides an opportunity for the user looking at the display to easily catch not only which foreground object is being paid attention to, but also in which scene the attention is being paid to the foreground object. In addition, the information generated by the information generation unit 304 and presented to the user may only need to include information corresponding to a determination result for determining an object included in the field of view of each of the plurality of virtual cameras, and is not limited to displaying the rating, as in FIG. 5. For example, an image can be displayed in which the foreground objects in the image from the virtual point of view of a particular scene in the image formation period are colored in accordance with the numbers N of the account of the subjects. Alternatively, numerical values corresponding to the numbers N of the count of the subjects can be displayed on the image from a virtual viewpoint. The above examples of various types of presentation information are based on the number of Cu virtual cameras whose field of view includes the same object. This allows the user to easily capture the degree of attention to each object. The present disclosure, however, is not limited to this. Alternatively, information may be presented simply indicating whether a given object is included in the field of view of any of the plurality of virtual cameras.

[0050] Это является последовательностью операций, касающейся анализа информации виртуальной камеры и представления информации. Другими словами, это является последовательностью операций, в которой цель внимания пользователей анализируется путем определения того, на какой элемент направлено больше виртуальных камер, и какой объект переднего плана включает в себя этот элемент, и результат анализа визуализируется.[0050] This is a flowchart regarding the analysis of virtual camera information and the presentation of information. In other words, this is a sequence of operations in which the goal of user attention is analyzed by determining which element is facing more virtual cameras and which foreground object includes this element, and the analysis result is visualized.

[0051] В вышеприведенном описании, если каждый элемент переднего плана включен в поле обзора некоторой виртуальной камеры в некоторый момент, единица одинаково добавляется к числу N счета субъекта. Способ подсчета, однако, не ограничивается этим. Блок 303 анализа может выполнять подсчет, определяя объект, включенный в диапазон в поле обзора, соответствующий позиции и ориентации виртуальной камеры, идентифицированной (определенной) на основе информации виртуальной камеры. Этот диапазон в поле обзора виртуальной камеры не ограничивается диапазоном, соответствующим полю обзора виртуальной камеры (диапазоном изображения с виртуальной точки обзора, соответствующего виртуальной камере). Например, значение может быть добавлено к счету субъекта для объекта, включенного в часть диапазона, соответствующего полю обзора виртуальной камеры, такого как заданный диапазон в поле обзора виртуальной камеры и близко к центру поля обзора, и значение может не быть добавлено к счету субъекта для объекта, содержащегося за пределами заданного диапазона. Дополнительно, на основе позиции или ориентации элемента переднего плана, значение, которое должно быть добавлено к числу N счета субъекта, может быть отличным от единицы. Например, значение может быть добавлено к числу N счета субъекта для элемента переднего плана так, что чем ближе к передней стороне элемента переднего плана находится ориентация виртуальной камеры, т.е. когда вектор направления виртуальной камеры и вектор направления элемента переднего плана непосредственно противостоят друг другу, добавляемое значение увеличивается. Альтернативно, значение может быть добавлено к числу N счета субъекта элемента переднего плана так, что чем ближе к виртуальной камере находится позиция элемента переднего плана, тем больше число. Еще альтернативно, значение может быть добавлено к числу N счета субъекта для элемента переднего плана так, что чем ближе к центру поля обзора виртуальной камеры находится позиция элемента переднего плана или чем ближе к сфокусированной позиции виртуальной камеры находится позиция элемента переднего плана, тем больше значение. Дополнительно, в случае, когда пользователь не указывает конкретную информацию виртуальной камеры, но предоставляет инструкцию, указывающую, что пользователь хочет просматривать изображение с виртуальной точки обзора, в котором внимание уделяется конкретному объекту переднего плана, к числу N счета субъекта для объекта переднего плана может быть добавлено особенно большое значение. Таким образом, ясное намерение пользователя о просмотре конкретного объекта переднего плана может быть отражено в результате анализа. В то время как некоторые правила добавления для числа N счета субъекта были описаны выше, настоящее раскрытие не ограничивается ими. Альтернативно, множество правил добавления могут быть объединены вместе.[0051] In the above description, if each foreground element is included in the field of view of some virtual camera at some point, the unit is equally added to the account number N of the subject. The method of counting, however, is not limited to this. The analysis unit 303 may perform a count by determining an object included in the range in the field of view corresponding to the position and orientation of the virtual camera identified (determined) based on the information of the virtual camera. This range in the field of view of the virtual camera is not limited to the range corresponding to the field of view of the virtual camera (the range of the image from the virtual point of view corresponding to the virtual camera). For example, a value may be added to the subject’s score for an object included in a portion of the range corresponding to the virtual camera’s field of view, such as a given range in the virtual camera’s field of view and close to the center of the field of view, and the value may not be added to the subject’s score for the object contained outside the specified range. Additionally, based on the position or orientation of the foreground element, the value to be added to the account number N of the subject may be different from one. For example, a value can be added to the subject’s account number N for the foreground element so that the closer to the front side of the foreground element is the orientation of the virtual camera, i.e. when the direction vector of the virtual camera and the direction vector of the foreground element are directly opposed to each other, the added value increases. Alternatively, the value may be added to the account number N of the subject of the foreground element so that the closer the position of the foreground element is to the virtual camera, the larger the number. Alternatively, the value can be added to the subject’s account N for the foreground element so that the closer the position of the foreground element is to the center of the field of view of the virtual camera or the closer the position of the foreground element is to the focused position of the virtual camera, the greater the value. Additionally, in the case where the user does not indicate specific information of the virtual camera, but provides instructions indicating that the user wants to view the image from the virtual point of view in which attention is paid to a particular foreground object, the subject’s account N for the foreground object can be N particularly significant added. Thus, the user's clear intention to view a particular foreground object can be reflected in the analysis. While some adding rules for the subject's N account number have been described above, the present disclosure is not limited to them. Alternatively, multiple add rules can be combined together.

[0052] В вышеприведенном описании число N счета субъекта вычисляется для каждой части объекта переднего плана (для каждого элемента переднего плана), и информация отображается так, что может быть уяснена степень внимания к каждой части. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, весь объект переднего плана может быть однородно окрашен на основе балла M субъекта для объекта переднего плана. Еще альтернативно, окрашивание может не выполняться, а балл M субъекта для каждого объекта переднего плана и информация на основе балла M субъекта могут быть просто отображены в виде текста. В случае, когда каждый элемент переднего плана не кодируется цветом, число N счета субъекта в обработке, проиллюстрированной на фиг. 4, может также быть вычислено для каждого объекта переднего плана. Например, в случае, когда в целевую область формирования изображения включен человек, тогда вместо выполнения подсчета путем определения того, содержатся ли части тела человека в поле обзора виртуальной камеры, подсчет может быть выполнен путем определения того, включен ли человек в поле обзора виртуальной камеры. Если подсчет выполняется таким образом для каждого объекта, возможно уменьшить объем обработки по сравнению со случаем, когда подсчет выполняется для каждого элемента переднего плана. Устройство 3 обработки информации может переключать вышеупомянутые различные способы отображения на основе инструкции, предоставленной пользователем и введенной в устройство 3 обработки информации, или атрибута пользователя.[0052] In the above description, the subject account number N is calculated for each part of the foreground object (for each foreground element), and the information is displayed so that the degree of attention to each part can be understood. The present disclosure, however, is not limited to this. Alternatively, the entire foreground object can be uniformly colored based on the subject's M score for the foreground object. Alternatively, coloring may not be performed, and the subject’s M score for each foreground object and information based on the subject’s M score can simply be displayed as text. In the case where each foreground element is not color coded, the account number N of the subject in the processing illustrated in FIG. 4 can also be calculated for each foreground object. For example, in the case where a person is included in the target imaging area, then instead of performing a count by determining whether parts of the human body are contained in the field of view of the virtual camera, counting can be performed by determining whether the person is included in the field of view of the virtual camera. If the calculation is performed this way for each object, it is possible to reduce the amount of processing compared to the case when the calculation is performed for each foreground element. The information processing device 3 may switch the aforementioned various display methods based on an instruction provided by the user and inputted to the information processing device 3 or user attribute.

Анализ привлекающей внимание сценыSpotlight Analysis

[0053] В вышеприведенном описании был описан пример, когда путем анализа идентифицируется (определяется) объект, которому множество пользователей уделяют больше внимания, чем другим объектам, и представляется информация, обеспечивающая возможность идентификации объекта внимания. В отличие от этого, ниже предоставляется описание примера, когда путем анализа идентифицируется (определяется) время, когда линии визирования множества виртуальных камер концентрируются на некотором диапазоне, т.е. сцене, которой множество пользователей уделяют больше внимания, и представляется информация, обеспечивающая возможность идентификации привлекающей внимание сцены. В последующем описании процессы и цели, аналогичные процессам и целям в вышеописанной последовательности обработки, касающейся анализа объекта внимания, обозначаются теми же ссылочными номерами и не описываются.[0053] In the above description, an example was described when an object is identified (determined) by analysis, which many users pay more attention to than other objects, and information is presented that enables the identification of the object of attention. In contrast, the description of the example is provided below, when the time is identified (determined) by analysis, when the line of sight of many virtual cameras is concentrated on a certain range, i.e. a scene that many users pay more attention to and information is provided that enables the identification of a catching scene. In the following description, processes and goals similar to processes and goals in the above-described processing sequence regarding the analysis of an object of attention are denoted by the same reference numbers and are not described.

[0054] Фиг. 6 иллюстрирует поля обзора виртуальных камер C1-C4 (Cu; u=1-4), индивидуально указанных четырьмя пользователями (ID пользователей являются u; u=1-4) с помощью пользовательских терминалов 4 в некоторое время T во время формирования изображения. Фиг. 7 - это схематичный вид сверху для фиг. 6. Фиг. 6 и 7 отличаются от фиг. 2 и 3 тем, что область A в качестве целевой области анализа на фиг. 6 и 7 делится на заданное число блоков в трех направлениях в трехмерной системе XYZ координат. В последующем описании разделенные блоки называются блоками, на которые область A разделяется. Размеры и число разделенных блоков задаются заранее в устройстве 3 обработки информации, но могут быть заданы на основе пользовательского действия.[0054] FIG. 6 illustrates fields of view of C1-C4 virtual cameras (Cu; u = 1-4) individually indicated by four users (user IDs are u; u = 1-4) using user terminals 4 at some time T during image formation. FIG. 7 is a schematic plan view of FIG. 6. FIG. 6 and 7 are different from FIG. 2 and 3 in that region A as the target analysis region in FIG. 6 and 7 is divided by a given number of blocks in three directions in a three-dimensional XYZ coordinate system. In the following description, divided blocks are called blocks into which region A is divided. The sizes and number of divided blocks are set in advance in the information processing device 3, but can be set based on a user action.

[0055] Со ссылкой на фиг. 8 предоставляется описание последовательности обработки, касающейся анализа информации виртуальной камеры и формирования информации представления, как иллюстрировано в примерах на фиг. 6 и 7. Момент начала обработки, проиллюстрированной на фиг. 8, аналогичен моменту начала обработки на фиг. 4. Отличия от фиг. 4 главным образом описываются ниже.[0055] With reference to FIG. 8, a description is provided of a processing sequence regarding analysis of virtual camera information and generation of presentation information, as illustrated in the examples in FIG. 6 and 7. The instant at which the processing illustrated in FIG. 8 is similar to the start of processing in FIG. 4. Differences from FIG. 4 are mainly described below.

[0056] Сначала, на этапе S2000 инициализируются различные параметры, используемые для обработки на фиг. 8. На этапе S2001 блок 303 анализа получает от блока 301 формирования изображения информацию об элементе субъекта, касающуюся элемента переднего плана для объекта переднего плана, включенного в поле обзора виртуальной камеры Cu. На этапе S2002 блок 303 анализа определяет, присутствует ли разделенный блок, включающий по меньшей мере часть элемента переднего плана, соответствующего информации об элементе субъекта (элементе переднего плана, включенном в поле обзора виртуальной камеры Cu). Если соответствующий разделенный блок присутствует (Да на этапе S2002), тогда на этапе S2003 блок 303 анализа добавляет единицу к числу N'(T) счета субъекта (первоначальное значение на этапе S2000 равно нулю) в момент времени T, назначенный разделенному блоку. Если соответствующий разделенный блок отсутствует на этапе S2002 (Нет на этапе S2002), процесс этапа S2003 не выполняется, и обработка переходит к этапу S2004.[0056] First, in step S2000, various parameters used for processing in FIG. 8. In step S2001, the analysis unit 303 receives, from the image forming unit 301, information about the subject element regarding the foreground element for the foreground object included in the field of view of the virtual camera Cu. In step S2002, the analysis unit 303 determines whether a divided unit including at least a portion of the foreground element corresponding to information about the subject element (the foreground element included in the field of view of the virtual camera Cu) is present. If the corresponding split block is present (Yes in step S2002), then in step S2003, the analysis unit 303 adds one to the subject's account number N ′ (T) (the initial value in step S2000 is zero) at the time T assigned to the split block. If the corresponding divided block is not present in step S2002 (No in step S2002), the process of step S2003 is not performed, and the processing proceeds to step S2004.

[0057] Посредством процессов этапов S2004-S2005 вышеупомянутый подсчет субъекта выполняется по всем виртуальным камерам Cu в качестве целей анализа. В результате для каждого разделенного блока получается число N'(T) счета субъекта, соответствующего числу виртуальных камер Cu, поля обзора которых включают в себя разделенный блок. Фиг. 9 иллюстрирует примеры чисел N'(T) счета субъекта для разделенных блоков в некоторое время T. В то время как фиг. 9 для легкости описания иллюстрирует числа счета в схематичном виде сверху, аналогичном виду на фиг. 7, на практике подсчет субъектов выполняется по каждому из разделенных блоков в трехмерном пространстве, как иллюстрировано на фиг. 6. Затем, посредством этапов S2006 и S2007, такой подсчет субъектов выполняется по каждому разделенному блоку для каждого времени T, включенного в период формирования изображения (T=0 по Tmax) в качестве цели анализа.[0057] Through the processes of steps S2004-S2005, the aforementioned subject counting is performed on all Cu virtual cameras as analysis targets. As a result, for each divided block, the number N '(T) of the account of the subject corresponding to the number of virtual cameras Cu whose field of view includes the divided block is obtained. FIG. 9 illustrates examples of subject count numbers N ′ (T) for divided blocks at some time T. While FIG. 9, for ease of description, illustrates counting numbers in a schematic plan view from above, similar to the view in FIG. 7, in practice, subjects are counted for each of the divided blocks in three-dimensional space, as illustrated in FIG. 6. Then, through steps S2006 and S2007, this counting of the subjects is performed for each divided block for each time T included in the imaging period (T = 0 by Tmax) as the analysis target.

[0058] На этапе S2008 блок 304 формирования информации идентифицирует (определяет) из чисел N'(T) счета субъектов блоков в каждое время T, вычисленных блоком 303 анализа, максимальное число N'max(T) счета, которое является максимальным значением для чисел N'(T) счета субъектов во время T. Другими словами, максимальное число N'max(T) счета является числом N'(T) счета субъекта разделенного блока, на котором точки обзора большинства виртуальных камер Cu концентрируются во время (момент) T. Затем блок 304 формирования информации формирует информацию с максимальным числом N'max(T) счета, наносимым на график, горизонтальная ось которого является временем T. В это время блок 304 формирования информации может добавлять на ось времени событие, которое происходит во время формирования изображения, такое как удар или гол, или временной график, полученный от блока 2 хранения информации, такой как начало матча и перерыв. Сформированное изображение отображается в блоке 305 отображения информации. Фиг. 10A иллюстрирует пример отображенного изображения.[0058] In step S2008, the information generating unit 304 identifies (determines) from the numbers N ′ (T) of the account of the subjects of the blocks at each time T calculated by the analysis unit 303, the maximum number N'max (T) of the account, which is the maximum value for the numbers N '(T) counts of subjects during T. In other words, the maximum number N'max (T) of counts is the number N' (T) of counts of a divided block subject, on which the viewpoints of most Cu virtual cameras are concentrated at (moment) T Then, the information generating unit 304 generates information with a maximum number N'max (T) of the count plotted on a graph whose horizontal axis is time T. At this time, the information generating unit 304 can add an event to the time axis that occurs during image formation , such as a shot or goal, or a timeline received from the information storage unit 2, such as a match start and a break. The generated image is displayed in block 305 display information. FIG. 10A illustrates an example of a displayed image.

[0059] На фиг. 10A отображаются вычисленное максимальное число N'max(T) счета, линия, указывающая пороговое значение для максимального числа N'max(T) счета, и информация, относящаяся ко времени возникновения события. Информация, касающаяся времени возникновения каждого события, может быть вручную введена после формирования изображения или может быть создана с помощью сцены, автоматически определяемой из изображения, полученного путем формирования изображения. Альтернативно, пороговое значение для максимального числа N'max(T) счета может быть вручную задано пользовательским действием или может быть задано автоматически. Например, пороговое значение может быть задано на основе среднего значения для максимальных чисел N'max(T) счета во всем периоде формирования изображения в качестве цели. Кроме того, информация, сформированная блоком 304 формирования информации, может быть не только примером по фиг. 10A, когда плавная линия соединяет максимальные числа N'max(T) счета в соответствующие моменты времени, но также любой информацией, касающейся времени или периода, когда присутствует представляющая интерес область, включенная в диапазон в полях обзора множества виртуальных камер. Например, информация, сформированная блоком 304 формирования информации, может быть в форме точечного графика или столбчатой диаграммы или может быть в форме, в которой числовое значение, указывающее степень внимания в каждое время, отображается в виде текста. В качестве еще одного примера, величина степени внимания может быть представлена с помощью полосы по оси времени, имеющей некоторую ширину, окрашенную способом цветной тепловой карты, или окраска может быть объединена с вышеописанными другими представлениями.[0059] FIG. 10A, the calculated maximum count number N'max (T), a line indicating a threshold value for the maximum count N'max (T) of the account, and information regarding the time of occurrence of the event are displayed. Information regarding the time of occurrence of each event can be manually entered after image formation or can be created using a scene automatically determined from the image obtained by image formation. Alternatively, the threshold value for the maximum number N'max (T) of the account can be manually set by a user action or can be set automatically. For example, a threshold value may be set based on an average value for the maximum count numbers N'max (T) in the entire imaging period as a target. In addition, the information generated by the information generating unit 304 may not only be an example of FIG. 10A, when a smooth line connects the maximum count numbers N'max (T) at the corresponding time points, but also with any information regarding the time or period when there is a region of interest included in the range in the fields of view of the plurality of virtual cameras. For example, the information generated by the information generating unit 304 may be in the form of a scatter plot or a bar chart, or may be in the form in which a numerical value indicating the degree of attention at each time is displayed as text. As another example, the magnitude of the degree of attention can be represented using a strip along the time axis having a certain width colored by the color heat map method, or the coloring can be combined with the other representations described above.

[0060] Информация, сформированная блоком 304 формирования информации, может не обязательно указывать максимальные числа N'max(T) счета во все моменты времени. Например, информация, сформированная блоком 304 формирования информации, может быть должна включать в себя только информацию, указывающую один или более моментов времени или периодов в периоде формирования изображения, таких как время или период, когда максимальное число N'max(T) счета превышает пороговое значение, или время или период, когда максимальное число N'max(T) счета падает ниже порогового значения. В качестве еще одного примера, информация, сформированная блоком 304 формирования информации, может указывать время, когда максимальное число N'max(T) счета является наибольшим, или время, когда максимальное число N'max(T) счета является наименьшим. Кроме того, в изображении с виртуальной точки обзора для конкретной сцены в периоде формирования изображения может быть отображены информация, указывающая, имеет ли сцена высокую степень внимания (превышает ли максимальное число N'max(T) счета пороговое значение), или числовое значение, соответствующее максимальному числу N'max(T) счета.[0060] The information generated by the information generating unit 304 may not necessarily indicate the maximum count numbers N'max (T) at all points in time. For example, the information generated by the information generation unit 304 may need to include only information indicating one or more time points or periods in the image forming period, such as the time or period when the maximum count N'max (T) exceeds the threshold the value, or the time or period when the maximum number N'max (T) of the account falls below the threshold value. As another example, the information generated by the information generating unit 304 may indicate a time when the maximum count N'max (T) is the largest, or a time when the maximum count N'max (T) is the smallest. In addition, information indicating whether the scene has a high degree of attention (does the maximum count number N'max (T) exceed a threshold value) or a numerical value corresponding to the maximum number N'max (T) of the account.

[0061] Это является последовательностью операций для анализа информации виртуальной камеры и представления информации. Т.е. это является последовательностью операций, в которой цель внимания пользователей анализируется путем определения того, на какой элемент направлено больше виртуальных камер, и какой объект переднего плана включает в себя элемент, и результат анализа визуализируется.[0061] This is a flowchart for analyzing virtual camera information and presenting information. Those. this is a sequence of operations in which the goal of user attention is analyzed by determining which element is facing more virtual cameras, and which foreground object includes the element, and the result of the analysis is visualized.

[0062] Как и в вышеприведенном описании, касающемся анализа объекта внимания, блок 303 анализа может выполнять определение по объекту, включенному не только во все поле обзора виртуальной камеры, но также по объекту, включенному в диапазон, соответствующий позиции и ориентации виртуальной камеры, с выполнением подсчета. Значение, добавляемое к каждому счету, может не быть постоянным. В вышеприведенном описании со ссылкой на фиг. 8 идентифицируется (определяется) элемент переднего плана, включенный в поля обзора виртуальных камер, и подсчет субъекта выполняется по каждому разделенному блоку на основе идентифицированного элемента переднего плана. Однако, подсчет может быть выполнен не по каждому элементу переднего плана, а по каждому объекту переднего плана. Другими словами, может быть идентифицирован (определен) объект переднего плана, включенный в поля обзора виртуальных камер, и к числу счета субъекта для разделенного блока, включающего по меньшей мере часть объекта переднего плана может быть добавлено значение.[0062] As in the above description regarding the analysis of the object of attention, the analysis unit 303 can determine the object included not only in the entire field of view of the virtual camera, but also on the object included in the range corresponding to the position and orientation of the virtual camera, performing the count. The value added to each account may not be constant. In the above description with reference to FIG. 8, the foreground element included in the fields of view of the virtual cameras is identified (determined), and the subject is counted for each divided block based on the identified foreground element. However, the calculation can be performed not for each element of the foreground, but for each object of the foreground. In other words, a foreground object included in the fields of view of virtual cameras can be identified (defined), and a value can be added to the subject’s count for a divided block including at least a portion of the foreground object.

[0063] Блок 303 анализа может просто добавлять значение к числу счета субъекта для разделенного блока, включенного в поля обзора виртуальных камер, независимо от позиции объекта переднего плана. Другими словами, блок 303 анализа может выполнять определение по области, включенной в поле обзора каждой из множества виртуальных камер, среди области, включенной в по меньшей мере какой-либо из диапазонов формирования изображения множества устройств формирования изображения, выполняя подсчет. На основе результата определения блока 303 анализа блок 304 формирования информации может формировать информацию, указывающую один или более моментов времени, включенных в период формирования изображения и определенных на основе числа виртуальных камер, поля обзора которых перекрывают друг друга. С помощью такого способа, например, возможно формировать информацию, указывающую время, когда та же область включается в поля обзора стольких же или более виртуальных камер, чем пороговое значение, т.е. информацию, указывающую время, когда линии визирования множества виртуальных камер концентрируются на одной и той же представляющей интерес области. Позиция объекта переднего плана не должна определяться с помощью этого способа. Таким образом, возможно формировать информацию с помощью небольшого объема обработки. Вышеупомянутое пороговое значение может быть значением, заданным заранее в устройстве 3 обработки информации на основе, например, пользовательского действия, или может быть значением, определенным на основе результата определения блока 303 анализа, такого как значение на основе среднего значения числа камер, поля обзора которых перекрывают друг друга в периоде формирования изображения. Автоматическое определение порогового значения на основе результата определения может экономить усилия для ручной установки порогового значения в случае, когда число виртуальных камер в качестве целей определения субъекта изменяется.[0063] The analysis unit 303 may simply add a value to the subject's account number for a split unit included in the fields of view of the virtual cameras, regardless of the position of the foreground object. In other words, the analysis unit 303 can perform a determination by the area included in the field of view of each of the plurality of virtual cameras, among the area included in at least one of the imaging ranges of the plurality of imaging devices, performing the counting. Based on the result of the determination of the analysis unit 303, the information generation unit 304 may generate information indicating one or more time instants included in the image formation period and determined based on the number of virtual cameras whose field of view overlap. Using this method, for example, it is possible to generate information indicating the time when the same area is included in the field of view of as many or more virtual cameras as the threshold value, i.e. information indicating the time when the line of sight of multiple virtual cameras is concentrated on the same area of interest. The position of the foreground object should not be determined using this method. Thus, it is possible to generate information using a small amount of processing. The above threshold value may be a value set in advance in the information processing device 3 based on, for example, a user action, or may be a value determined based on the determination result of the analysis unit 303, such as a value based on the average value of the number of cameras whose field of view overlap each other in the period of image formation. The automatic determination of a threshold value based on the determination result can save effort for manually setting a threshold value in the case where the number of virtual cameras as a subject determination target is changed.

[0064] С другой стороны, с помощью способа выполнения подсчета субъекта по разделенному блоку, соответствующему заданному объекту, как описано со ссылкой на фиг. 8, предоставляет возможность блоку 304 формирования информации формировать информацию, указывающую время, когда линии визирования множества устройств формирования изображения концентрируются на одном и том же объекте. Таким образом, менее вероятно идентифицировать (определять) в качестве привлекающей внимание сцены время, когда в поля обзора множества виртуальных камер случайно попадает область, в которой объект переднего плана отсутствует и к которой внимание особо не уделяется. Таким образом, возможно представлять информацию, дополнительно соответствующую фактической степени внимания.[0064] On the other hand, by using the method of performing a subject count on a divided block corresponding to a given object, as described with reference to FIG. 8, allows the information forming unit 304 to generate information indicating a time when the sight lines of the plurality of image forming devices are concentrated on the same object. Thus, it is less likely to identify (define) as a scene that attracts attention the time when an area in which the foreground object is absent and to which special attention is not paid falls into the field of view of many virtual cameras. Thus, it is possible to present information further relevant to the actual degree of attention.

Формирование изображения ключевого моментаKey moment imaging

[0065] В вышеприведенном описании был описан пример, когда идентифицируется (определяется) объект или сцена в качестве цели, к которой множество пользователей, которые указывают виртуальные камеры, уделяют большее внимание, и представляется информация, обеспечивающая возможность идентификации цели внимания. Способ использования результата идентификации цели внимания, однако, не ограничивается представлением вышеупомянутой информации. Ниже предоставляется описание примера, когда изображение ключевого момента формируется с помощью результата идентификации цели внимания.[0065] In the above description, an example was described where an object or scene is identified (defined) as a target to which a plurality of users who indicate virtual cameras pay more attention, and information is provided to enable the target to be identified. The method of using the result of the identification of the target of attention, however, is not limited to the presentation of the above information. The following is a description of an example when an image of a key moment is formed using the result of the identification of the target of attention.

[0066] Со ссылкой на фиг. 11 предоставляется описание обработки, касающейся формирования изображения ключевого момента, с помощью устройства 3 обработки информации. Обработка, проиллюстрированная на фиг. 11, начинается в момент времени, когда в устройство 3 обработки информации вводится инструкция формировать изображение ключевого момента, после того как заканчивается обработка, проиллюстрированная на фиг. 8. Эта инструкция может быть предоставлена с помощью пользовательского действия, выполняемого на устройстве 3 обработки информации, или может быть введена с каждого пользовательского терминала 4. Момент начала обработки, проиллюстрированной на фиг. 11, однако, не ограничивается этим.[0066] With reference to FIG. 11, a description of processing regarding imaging a key moment using the information processing apparatus 3 is provided. The processing illustrated in FIG. 11 starts at a point in time when an instruction to form an image of a key moment is entered into the information processing device 3 after the processing illustrated in FIG. 8. This instruction may be provided using a user action executed on the information processing apparatus 3, or may be entered from each user terminal 4. The processing start time illustrated in FIG. 11, however, is not limited to this.

[0067] На этапе S3000 блок 303 анализа определяет период в качестве цели формирования изображения ключевого момента в периоде, когда формирование изображения выполняется на основе информации, сформированной при обработке на фиг. 8, такой как вычисленное максимальное число N'max(T) счета. Более конкретно, блок 303 анализа идентифицирует период, когда максимальное число N'max(T) счета превышает пороговое значение N'th. Блок 303 анализа затем устанавливает идентифицированный период в качестве целевого периода формирования изображения ключевого момента. В это время только период, когда N'th < N'max(T) продолжается в течение заданного интервала или более, может быть определен в качестве цели формирования. Альтернативно, даже если период, когда продолжается N'th < N'max(T), является коротким, но если период включает в себя время, когда N'max(T) является очень большим, в качестве цели формирования может быть определен период, включающий в себя заданное время перед и после этого времени. Еще альтернативно, время T, когда получается N'th < N'max(T), может также быть соответственно включено в цель формирования, так что каждая сцена для изображения ключевого момента начинается и заканчивается естественным образом. Фиг. 10B иллюстрирует примеры периода в качестве цели формирования изображения ключевого момента в случае, когда получается максимальное число N'max(T) счета, как иллюстрировано на фиг. 10A. На фиг. 10B затененный участок указывает период, идентифицированный в качестве цели формирования.[0067] In step S3000, the analysis unit 303 determines the period as an image forming target of a key moment in a period when image formation is performed based on information generated in the processing of FIG. 8, such as the calculated maximum count N'max (T). More specifically, the analysis unit 303 identifies a period when the maximum count number N'max (T) exceeds the threshold value N'th. The analysis unit 303 then sets the identified period as the key imaging target period. At this time, only the period when N'th <N'max (T) lasts for a predetermined interval or more can be determined as the formation target. Alternatively, even if the period when N'th <N'max (T) continues, is short, but if the period includes the time when N'max (T) is very large, the period can be determined as the formation target, Including a predetermined time before and after this time. Still alternatively, the time T, when N'th <N'max (T) is obtained, can also be included accordingly in the formation target, so that each scene for the key moment image starts and ends naturally. FIG. 10B illustrates examples of a period as a key moment imaging target in a case where a maximum count number N'max (T) is obtained, as illustrated in FIG. 10A. In FIG. 10B, the shaded portion indicates a period identified as the formation target.

[0068] На этапе S3001 блок 301 формирования изображения формирует изображение с виртуальной точки обзора, соответствующее целевому периоду формирования изображения ключевого момента, который является частичным периодом в периоде формирования изображения. В частности, блок 303 анализа формирует информацию, указывающую позицию разделенного блока, число N'(T) счета субъекта которого является большим в каждое время в целевом периоде формирования, определенном на этапе S3000 (позиция, включенная в поля обзора стольких же виртуальных камер или больше, чем пороговое значение). Затем блок 303 анализа передает сформированную информацию блоку 302 вычисления пути. Блок 302 вычисления пути затем вычисляет новые пути виртуальной камеры, поля обзора которой включают позицию этого блока, и блок 301 формирования изображения формирует изображение с виртуальной точки обзора, соответствующее вычисленным путям виртуальной камеры. Способ задания путей виртуальной камеры, соответствующих изображению с виртуальной точки обзора, для изображения ключевого момента, сформированного на этапе S3001, не ограничивается этим. Например, с помощью вышеупомянутого результата анализа объекта внимания, блок 302 вычисления пути может задавать пути виртуальной камеры для захвата изображения с передней стороны элемента переднего плана, число N счета субъекта которого является наибольшим, или объекта переднего плана, балл M субъекта которого является наибольшим в целевом периоде формирования. Альтернативно, блок 302 вычисления пути может извлекать часть, соответствующую целевому периоду формирования, из путей виртуальной камеры, указанных пользовательскими терминалами 4 в прошлом, и использовать извлеченную часть в качестве путей виртуальной камеры для формирования изображения ключевого момента. В таком случае, среди путей виртуальной камеры, указанных в прошлом, блок 302 вычисления пути может выбирать путь виртуальной камеры, поле обзора которой включает в себя объект внимания в целевом периоде формирования изображения ключевого момента, и использовать выбранный путь виртуальной камеры. В качестве путей виртуальной камеры для формирования изображения ключевого момента могут быть использованы заранее заданные пути виртуальной камеры.[0068] In step S3001, the image forming unit 301 generates an image from a virtual viewpoint corresponding to a key moment targeting period, which is a partial period in the image forming period. In particular, the analysis unit 303 generates information indicating the position of the divided unit, the account number N ′ (T) of which is large at each time in the target generation period determined in step S3000 (the position included in the fields of view of as many virtual cameras or more than the threshold value). Then, the analysis unit 303 transmits the generated information to the path calculation unit 302. The path calculation unit 302 then calculates the new paths of the virtual camera, the fields of view of which include the position of this unit, and the image forming unit 301 forms an image from the virtual viewpoint corresponding to the calculated paths of the virtual camera. The method of defining virtual camera paths corresponding to the image from the virtual viewpoint for the key moment image generated in step S3001 is not limited to this. For example, using the aforementioned result of analyzing an object of attention, the path calculating unit 302 can specify the paths of a virtual camera to capture an image from the front of the foreground element, the subject’s account number N is the largest, or the foreground object whose subject’s score M is the highest formation period. Alternatively, the path calculation unit 302 may extract a portion corresponding to the target generation period from the virtual camera paths indicated by the user terminals 4 in the past and use the extracted portion as the virtual camera paths to form a key moment image. In this case, among the paths of the virtual camera indicated in the past, the path calculation unit 302 can select the path of the virtual camera, the field of view of which includes the object of attention in the target period of imaging of the key moment, and use the selected path of the virtual camera. As the paths of the virtual camera for imaging a key moment, predetermined paths of the virtual camera can be used.

[0069] На этапе S3002 блок 304 формирования информации принимает изображение с виртуальной точки обзора, сформированное блоком 301 формирования изображения на этапе S3000, и формирует дополнительную информацию, касающуюся изображения с виртуальной точки обзора. Дополнительная информация указывает, например, событие, соответствующее целевому периоду формирования изображения ключевого момента, название объекта переднего плана, включенного в изображение с виртуальной точки обзора, временной график и степень внимания к сцене или объекту. Добавляемая информация, однако, не ограничивается этим. Блок 304 формирования информации затем формирует изображение ключевого момента, полученное путем объединения изображения с виртуальной точки обзора с этими порциями дополнительной информации. Конкретная дополнительная информация, объединяемая с изображением с виртуальной точки обзора, может быть автоматически определена устройством 3 обработки информации или может быть определена на основе пользовательского действия, выполненного на устройстве 3 обработки информации. Блок 304 формирования информации может редактировать сформированное изображение ключевого момента на основе пользовательского действия. Сформированное и отредактированное изображение ключевого момента отображается в блоке 305 отображения информации. Сформированное и отредактированное изображение ключевого момента может быть передано на пользовательские терминалы 4.[0069] In step S3002, the information forming unit 304 receives an image from the virtual viewpoint generated by the image forming unit 301 in step S3000, and generates additional information regarding the image from the virtual viewing point. Additional information indicates, for example, the event corresponding to the target period of the imaging of the key moment, the name of the foreground object included in the image from the virtual point of view, the timeline and the degree of attention to the scene or object. The information added, however, is not limited to this. The information generating unit 304 then generates a key moment image obtained by combining the image from a virtual viewpoint with these pieces of additional information. The specific additional information combined with the image from the virtual viewpoint can be automatically determined by the information processing device 3 or can be determined based on a user action performed on the information processing device 3. The information generating unit 304 may edit the generated key moment image based on the user action. The generated and edited key moment image is displayed in the information display unit 305. The generated and edited key moment image can be transmitted to user terminals 4.

[0070] Это является последовательностью операций, касающихся формирования изображения ключевого момента. Таким образом, пользователь может легко формировать изображение ключевого момента, включающее в себя сцену, которой множество пользователей уделяет внимание, без большого затруднения. В вышеприведенном описании устройство 3 обработки информации выполняет как идентификацию (определение) сцены или объекта в качестве цели внимания, так и формирование изображения ключевого момента. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, устройство 3 обработки информации может выводить информацию, касающуюся привлекающей внимание сцены или привлекающего внимание объекта, на внешнее устройство, и другое устройство, которое получает информацию, может формировать изображение ключевого момента. В вышеприведенном описании, на основе результата определения привлекающей внимание сцены с помощью обработки, проиллюстрированной на фиг. 8, устройство 3 обработки информации формирует изображение ключевого момента, включающее привлекающую внимание сцену. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, исходя из результата определения объекта внимания с помощью обработки, проиллюстрированной на фиг. 4, устройство 3 обработки информации может формировать изображение ключевого момента, включающее объект внимания.[0070] This is a sequence of operations related to imaging a key point. Thus, the user can easily form an image of a key moment, which includes a scene to which many users pay attention, without much difficulty. In the above description, the information processing device 3 performs both identification (determination) of the scene or object as the target of attention, and imaging of the key moment. The present disclosure, however, is not limited to this. Alternatively, the information processing apparatus 3 may output information regarding a scene attracting attention or an object of attention to an external device, and another device that receives the information may form a key moment image. In the above description, based on the result of determining the attention-grabbing scene using the processing illustrated in FIG. 8, the information processing apparatus 3 forms a key moment image including an attention-grabbing scene. The present disclosure, however, is not limited to this. Alternatively, based on the result of determining the object of attention using the processing illustrated in FIG. 4, the information processing apparatus 3 may form a key moment image including an object of attention.

[0071] В настоящем примерном варианте осуществления, главным образом был описан случай, когда степень внимания пользователей на основе указания виртуальных камер анализируется для каждого элемента переднего плана или каждого разделенного блока. Альтернативно, блок 303 анализа может комбинировать эти анализы. Например, балл M субъекта для каждого объекта переднего плана вычисляется для каждого короткого промежутка времени, и изменения со временем балла M субъекта представляются накладываемым образом на информацию, иллюстрированную на фиг. 10A, тем самым представляя информацию, которая предоставляет возможность легко улавливать корреляцию между заслуживающей внимание сценой и объектом внимания.[0071] In the present exemplary embodiment, a case has been mainly described where a user attention level based on the indication of virtual cameras is analyzed for each foreground element or each divided block. Alternatively, assay unit 303 may combine these assays. For example, the subject's score M for each foreground object is calculated for each short period of time, and changes over time of the subject's score M are presented in an overlay way to the information illustrated in FIG. 10A, thereby presenting information that makes it easy to capture a correlation between a noteworthy scene and a subject of attention.

[0072] При формировании информации представления блок 304 формирования информации может устанавливать категорию пользователя на основе пользовательской информации, полученной от блока 306 управления информацией, и формировать информацию представления на основе этой категории пользователя. Возможные примеры категории пользователя включают в себя различные категории, такие как возраст, пол, родной город, текущее место жительства, эмпирическое значение и любимую команду в конкретном виде спорта и эмпирическое значение в работе виртуальной камеры. Например, в случае, когда степень внимания относительно каждой категории пользователя отображается в качестве информации представления на основе категории пользователя, отображение относительно каждой категории может быть способно переключаться. Степени внимания относительно всех категорий могут отображаться одновременно, в то время как степень внимания относительно каждой категории может быть приспособлена различаться с помощью цветового кодирования или различия в текстуре. Альтернативно, само название категории пользователя может быть отображено в виде текста вместе со степенью внимания.[0072] When generating presentation information, the information generation unit 304 may establish a user category based on user information received from the information management unit 306, and generate presentation information based on this user category. Possible examples of a user category include various categories such as age, gender, hometown, current place of residence, empirical value and favorite team in a particular sport, and empirical value in a virtual camera. For example, in the case where the degree of attention regarding each user category is displayed as presentation information based on the user category, the display relative to each category may be able to switch. The degrees of attention with respect to all categories can be displayed simultaneously, while the degrees of attention with respect to each category can be adapted to vary by color coding or differences in texture. Alternatively, the name of the user category itself may be displayed as text along with the degree of attention.

[0073] В настоящем примерном варианте осуществления устройство 3 обработки информации определяет цель внимания с помощью множества путей виртуальной камеры, соответствующих множеству пользователей. Другими словами, множество виртуальных точек обзора, идентифицированных (определенных) на основе информации виртуальной камеры, используемой для определения цели внимания, включает в себя множество виртуальных точек обзора, соответствующих множеству пользователей, а также включает в себя множество виртуальных точек обзора, соответствующих множеству различных моментов времени. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, устройство 3 обработки информации может определять объект или область, которой пользователь уделяет внимание в течение длительного времени, на основе пути виртуальной камеры, соответствующего единственному пользователю. Еще альтернативно, на основе множества виртуальных точек обзора, соответствующих множеству пользователей в некоторый единый момент времени, устройство 3 обработки информации может определять объект или область, которой в это время уделяет внимание множество пользователей.[0073] In the present exemplary embodiment, the information processing apparatus 3 determines an attention target using a plurality of virtual camera paths corresponding to a plurality of users. In other words, a plurality of virtual viewpoints identified (determined) based on virtual camera information used to determine a target of attention includes a plurality of virtual viewpoints corresponding to a plurality of users, and also includes a plurality of virtual viewpoints corresponding to a plurality of different points time. The present disclosure, however, is not limited to this. Alternatively, the information processing apparatus 3 may determine an object or area to which the user has been paying attention for a long time, based on the path of the virtual camera corresponding to a single user. Still alternatively, based on a plurality of virtual viewpoints corresponding to a plurality of users at a single point in time, the information processing apparatus 3 may determine an object or area to which a plurality of users are paying attention.

[0074] Как описано выше, устройство 3 обработки информации согласно настоящему примерному варианту осуществления получает информацию виртуальной камеры, касающуюся виртуальных камер, соответствующих изображению с виртуальной точки обзора, сформированному на основе множества захваченных изображений, полученных множеством устройств формирования изображения. Устройство 3 обработки информации определяет объект, включенный в по меньшей мере какое-либо из множества захваченных изображений, а также включенный в диапазон в полях обзора виртуальных камер, идентифицированных (определенных) на основе информации виртуальной камеры. Устройство 3 обработки информации представляет информацию на основе результата определения, касающегося множества виртуальных камер, идентифицированных (определенных) с помощью множества порций информации виртуальной камеры. Согласно конфигурации, которая описана выше, возможно легко идентифицировать (определять) цель внимания пользователей, которые указывают виртуальные камеры, в отношении изображения с виртуальной точки обзора.[0074] As described above, the information processing apparatus 3 according to the present exemplary embodiment obtains virtual camera information regarding virtual cameras corresponding to the image from the virtual viewpoint generated from a plurality of captured images obtained by the plurality of image forming apparatuses. The information processing device 3 determines an object included in at least one of the plurality of captured images, as well as included in a range in the fields of view of virtual cameras identified (determined) based on the information of the virtual camera. The information processing apparatus 3 provides information based on a determination result regarding a plurality of virtual cameras identified (determined) by a plurality of pieces of virtual camera information. According to the configuration described above, it is possible to easily identify (determine) the target of attention of users who indicate virtual cameras in relation to an image from a virtual viewpoint.

[0075] Согласно вышеупомянутым примерным вариантам осуществления, возможно легко идентифицировать (определять) цель внимания пользователей, которые указывают виртуальные точки обзора, в отношении изображения с виртуальной точки обзора.[0075] According to the above exemplary embodiments, it is possible to easily identify (define) a target of attention of users who indicate virtual viewpoints in relation to an image from a virtual viewpoint.

Другие варианты осуществленияOther options for implementation

[0076] Вариант(ы) осуществления настоящего раскрытия также может быть реализован с помощью компьютера системы или устройства, которое считывает и выполняет исполняемые компьютером инструкции (например, одну или более программ), записанные на носителе данных (который также более полно может называться "невременным считываемым компьютером носителем данных"), выполняя функции одного или более вышеописанных вариантов осуществления, и/или которое включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для выполнения функций одного или более вышеописанных вариантов осуществления, и с помощью способа, осуществляемого компьютером системы или устройства, например, путем считывания и выполнения исполняемых компьютером инструкций из носителя хранения данных, для выполнения функций одного или более вышеописанных вариантов осуществления, и/или путем управления одной или более схем для выполнения функций одного или более вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров для считывания и исполнения исполняемых компьютером инструкций. Исполняемые компьютером инструкции могут быть предоставлены компьютеру, например, из сети или носителя данных. Носитель данных может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), хранилища распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), цифровой многофункциональный диск (DVD) или диск Blu-ray (BD)™), устройства флэш-памяти, карты памяти и т.п.[0076] An embodiment (s) of the present disclosure may also be implemented using a computer system or device that reads and executes computer-executable instructions (eg, one or more programs) recorded on a storage medium (which may also be more fully referred to as “non-transitory” computer-readable storage medium "), performing the functions of one or more of the above-described embodiments, and / or which includes one or more circuits (e.g., a specialized integrated circuit (ASIC)) for performing the functions of one or more of the above-described embodiments, and using a method performed by a computer of a system or device, for example, by reading and executing computer-executable instructions from a storage medium to perform the functions of one or more of the above embodiments, and / or by controlling one or more circuits to perform the functions of one or more of the above embodiments . A computer may comprise one or more processors (e.g., a central processing unit (CPU), microprocessor (MPU)) and may include a network of individual computers or individual processors for reading and executing computer-executed instructions. Computer-executable instructions may be provided to a computer, for example, from a network or storage medium. A storage medium may include, for example, one or more of a hard disk, random access memory (RAM), read-only memory (ROM), storage for distributed computing systems, an optical disk (such as a compact disc (CD), a digital multifunction disk (DVD) or Blu-ray Disc (BD) ™), flash memory devices, memory cards, etc.

[0077] В то время как настоящее раскрытие было описано со ссылкой на примерные варианты осуществления, объем последующей формулы изобретения должен соответствовать самой широкой интерпретации для охвата всех таких модификаций и эквивалентных структур и функций.[0077] While the present disclosure has been described with reference to exemplary embodiments, the scope of the following claims is to be accorded the broadest interpretation so as to encompass all such modifications and equivalent structures and functions.

Claims

1. An information processing device comprising:

a receiving unit configured to obtain information about viewpoints related to virtual viewpoints corresponding to images from virtual viewpoints formed on the basis of a plurality of captured images obtained by a plurality of image forming apparatuses performing image capture from a plurality of directions;

a detecting unit configured to detect an object included in at least one of the plurality of captured images and included in a field of view corresponding to a virtual viewpoint identified based on said viewpoint information obtained by the receiving unit; and

an output unit configured to, based on the result of detecting a detection unit associated with a plurality of virtual viewpoints identified based on said viewpoint information obtained by the receiving unit, output information associated with a number of virtual viewpoints, the field of view of which includes one and the same object.

2. The information processing device according to claim 1, wherein, based on the location information related to one or more predetermined objects included in at least one of the plurality of captured images, and said viewpoint information obtained by the obtaining unit , the detection unit detects the object in the fields of view of the virtual points of view.

3. The information processing device according to claim 1, wherein, based on the image from the virtual viewpoints corresponding to the virtual viewpoints identified based on said viewpoint information received by the receiving unit, the detection unit detects an object in the viewpoints of the virtual viewpoints.

4. The information processing device according to claim 1, wherein the object detected by the detection unit is a person or part of a person’s body.

5. The information processing device according to claim 1, wherein the detection unit detects an object located in a predetermined area in a range corresponding to the field of view corresponding to the virtual viewpoints identified based on said viewpoint information.

6. The information processing device according to claim 1, wherein the output unit outputs information associated with the number of virtual viewpoints, the field of view of which includes the same object, among the set of virtual viewpoints corresponding to the set of users and corresponding to the same same moment in time.

7. The information processing device according to claim 1, wherein the output unit outputs information associated with the number of virtual viewpoints, the field of view of which includes the same object, among the set of virtual viewpoints corresponding to the set of different points in time.

8. An information processing device comprising:

a detecting unit configured to detect an area included in at least one of the imaging ranges of the plurality of imaging devices and included in a field of view corresponding to a virtual viewpoint identified based on said viewpoint information obtained by the receiving unit; and

an output unit configured to, based on the result of detecting a detection unit associated with a plurality of virtual viewpoints identified based on said viewpoint information received by the receiving unit, output information indicating one or more times or periods when interest is present an area included in the plurality of fields of view corresponding to the plurality of virtual viewpoints, wherein said one or more periods are in an imaging period of the plurality of imaging devices.

9. The information processing device according to claim 8, wherein the information output from the output unit includes information for identifying a point in time or period when the same area of interest is included in at least one of the formation ranges images of a plurality of imaging devices is included in the field of view of as many virtual viewpoints or more virtual viewpoints than the threshold value.

10. The information processing device according to claim 9, wherein the threshold value includes a predetermined value or a value determined based on said detection result of the detection unit.

11. The information processing device according to claim 8, further comprising an image forming unit configured to, based on the information output from the output unit, generate an image from virtual viewpoints corresponding to a partial period included in the image formation period and identified based on said information .

12. The information processing device according to claim 9, further comprising an image forming unit configured to, based on the information output from the output unit, generate an image from virtual viewpoints corresponding to a partial period included in the image formation period and identified based on said information wherein the image from the virtual viewpoints includes an image of the area included in the field of view of as many virtual viewpoints or more virtual viewpoints than the threshold value.

13. The information processing device according to claim 8, wherein the output unit outputs information indicating a point in time or a period when a region of interest is present and an event corresponding to that point in time or period.

14. The information processing device according to claim 8, wherein the detection unit detects an area included in a predetermined portion in a range corresponding to the fields of view corresponding to the virtual viewpoints identified based on said viewpoint information.

15. The information processing device according to claim 8, wherein the output unit outputs information related to a point in time or a period when there is a region of interest included in a plurality of viewing areas corresponding to a plurality of virtual viewpoints corresponding to a plurality of users and corresponding to one and the same same moment in time.

16. The information processing device according to claim 8, wherein the output unit outputs information related to a point in time or a period when there is a region of interest included in a plurality of view areas corresponding to a plurality of virtual viewpoints corresponding to a plurality of different time points.

17. A method of processing information comprising the steps of:

receive information about viewpoints related to virtual viewpoints corresponding to images from virtual viewpoints formed on the basis of a plurality of captured images obtained by a plurality of imaging devices performing image capture from a plurality of directions;

detecting an object included in at least one of the plurality of captured images and included in the field of view corresponding to the virtual point of view identified based on the obtained information about the point of view; and

based on the detection result associated with the plurality of virtual viewpoints identified based on the obtained information about the viewpoints, information associated with the number of virtual viewpoints whose viewpoints include the same object.

18. A method of processing information comprising the steps of:

detecting a region included in at least one of the image forming ranges of the plurality of image forming devices and included in the field of view corresponding to the virtual point of view identified based on the obtained information about the point of view; and

deriving, based on the detection result associated with the plurality of virtual viewpoints identified based on the obtained information about the viewpoints, information indicating one or more points in time or periods when a region of interest is included in the plurality of field of view corresponding to the plurality of virtual points review, wherein said one or more periods are in the imaging period of the plurality of imaging devices.

19. A non-transitory data medium that stores a program designed to cause a computer to execute an information processing method, comprising the steps of:

detecting an object included in at least one of the plurality of captured images and included in the field of view corresponding to virtual viewpoints identified based on the obtained information about the viewpoints; and

20. A non-transitory data medium that stores a program designed to cause a computer to execute an information processing method, comprising the steps of: