WO2014126497A1 - Автоматическая съемка и монтаж видеоролика - Google Patents

Автоматическая съемка и монтаж видеоролика Download PDF

Info

Publication number
WO2014126497A1
WO2014126497A1 PCT/RU2013/000120 RU2013000120W WO2014126497A1 WO 2014126497 A1 WO2014126497 A1 WO 2014126497A1 RU 2013000120 W RU2013000120 W RU 2013000120W WO 2014126497 A1 WO2014126497 A1 WO 2014126497A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
frames
director
action
description
Prior art date
Application number
PCT/RU2013/000120
Other languages
English (en)
French (fr)
Inventor
Тимур Нуруахитович БЕКМАМБЕТОВ
Богдан Геннадьевич СЕВРЮКОВ
Original Assignee
Ооо "Базелевс Инновации"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ооо "Базелевс Инновации" filed Critical Ооо "Базелевс Инновации"
Priority to US14/007,426 priority Critical patent/US20150340068A1/en
Priority to RU2015138790A priority patent/RU2652503C2/ru
Priority to PCT/RU2013/000120 priority patent/WO2014126497A1/ru
Publication of WO2014126497A1 publication Critical patent/WO2014126497A1/ru

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002—Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the invention relates to computing, and more particularly to automatic control of the process of shooting a video.
  • the prior art technology for converting a set of words into a description of a three-dimensional scene described in the application US 201 0/01 69076 A 1, 01.07.07. 0.
  • a linguistic analysis of the text is carried out, which is one or more words, phrases or sentences.
  • a description of the three-dimensional scene is formed based on the results of semantic analysis.
  • form a three-dimensional scene from the description of the three-dimensional scene and visualize a three-dimensional scene or three-dimensional image.
  • the location and orientation of the camera in a three-dimensional scene are selected by the user manually.
  • the known solution sets the location and orientation of the camera automatically.
  • the known solution uses the static location and orientation of the camera (basically a general plan).
  • the location and orientation of the camera does not change during the "storytelling".
  • Another disadvantage of the known solution is that the known technology does not provide any restrictions when installing the camera, i.e. actually a camera can be placed excessively close to the object or even inside the object present in the three-dimensional scene.
  • the invention performs the functions of automatic shooting and editing according to the basic principles of cinema.
  • a method for automatically controlling the process of shooting a video is implemented.
  • information about the action in the scene is obtained, after which the director's description of the frame to be shot is calculated.
  • the frame description is then transmitted to the operator and a set of frame options is generated according to the director's description of the frame. Get camera settings for shooting each of the set of frame options and select the best frame.
  • the frame is returned to the director, who performs its final registration in the installation sheet. Install appropriate camera and shoot the best frame.
  • Subsequent action frames in the scene are obtained by repeating the previous steps of the method, and a sequence of frames is generated in accordance with the installation sheet. The sequence of frames is transmitted to the client program.
  • information about the action in the scene is received in response to a signal about the start of the action.
  • information about the action in the scene is obtained in the form of a batch sequence of actions, and the entire packet is received immediately.
  • the director’s description of the frame takes into account information about the type of action (predicate), the main character (subject), and secondary characters (additions). Also take into account the already completed part of the installation sheet.
  • the installation sheet is pre-filled several frames ahead.
  • the director’s descriptions of frames are additionally reconstructed using the author’s frames, and the frames obtained using user-preset cameras are the author’s frames.
  • the best frame is considered to be the frame that is closest to the director's description of the frame, and at the same time satisfies the requirements external to it.
  • One of these requirements is the percentage of the visible area of the removed part of the object.
  • Another requirement is to satisfy the rule of 80 degrees.
  • Another requirement is the absence of extraneous objects in the focus of the frame (objects contrasting and / or occupying a sufficiently large area of the central part of the frame - relative to the subject).
  • the generation of a set of frame options according to the director's description of the frame and the selection of the best frame are iteratively performed to satisfy the requirements.
  • the client program sends each frame immediately upon receipt.
  • the execution of the client program transmit a sequence of frames at the request of the client.
  • the invention provides for displaying a frame image on a display.
  • executions specify an array of copyright cameras to complement automatically created ones.
  • the invention provides for linear editing of the video, and the installation is carried out both with a predetermined sequence of events of the script, and with information only about past and current events of the script.
  • the invention can also be implemented in the form of a machine-readable medium having computer-executable instructions that, when downloaded to a computer, cause the processor to perform the steps of a method for automatically controlling the process of shooting a video.
  • the present invention allows to automatically obtain sets of camera parameters (internal and external), by which the camera parameters are uniquely determined for each moment in time, and automatically set these cameras in a three-dimensional scene according to the obtained parameters. Moreover, these parameters characterize the shooting artistically justified method, according to the main movie principles. These parameters can be applied to both virtual and real cameras.
  • the system receives operation parameters, actions of objects that are essential for shooting, and information or a source of information about the environment (the positions of objects and, possibly, additional parameters that describe the spatial configuration of the world being filmed).
  • the system can receive or request some of these data both at startup and during operation. Data can describe both real and virtual worlds.
  • the invention operates in one of three modes:
  • a frame is a continuous time period taken in a certain way.
  • An assembly sheet is a document sequentially describing each frame and their relative position.
  • An assembly sheet can be created at the stage of describing a director’s idea, preliminary or final editing.
  • Dynamic frame - shooting with a moving camera Typical examples: panoramas, departures, hitting, shooting in motion.
  • Camera a set of parameters (internal and external) of a model that simulates a physical camera. Parameters: position, orientation, zoom.
  • Linear editing - real-time installation The picture comes from several cameras simultaneously.
  • the installation task is to switch the source of the picture.
  • Non-linear editing - editing already captured material. There is an opportunity to change the sequence of recorded events, the speed of the passage of time.
  • Air vertical - the amount of free space in the frame above the character’s head. Varies depending on the size used and other artistic purposes.
  • Horizontal air is the supply of free space in the frame in front of or behind the character. If the character in the frame looks at the object behind the scenes, most likely, in the direction of the character’s gaze, there will be air. If the character suddenly escapes from the chase, the air will be behind. If it is overtaken, ahead.
  • FIG. 1 shows the general structure of the invention and its integration.
  • FIG. 2 is a structural diagram of the operation of the invention in terms of the sequence of steps.
  • FIG. 3 shows a general algorithm for the operation of the invention.
  • FIG. 4 is a schematic drawing of a scene from an example.
  • FIG. 5 shows an exemplary set of frames that can be obtained by processing the actions of the example using the invention.
  • Fig. 1 integration module, director-editor, cameraman.
  • CamerasBridge - integration module - provides integration of the proposed solution. His tasks:
  • CamerasBridge is designed to provide fast system integration in a new environment.
  • Director - director-editor - according to internal algorithms and settings, describes which frame to shoot at the moment.
  • the module makes decisions in accordance with generally accepted rules for filming movies and editing.
  • CameraOperator - an operator - a module that builds a frame according to the description received from Director on the one hand and physical limitations on the other.
  • the module makes decisions in accordance with generally accepted rules for filming movies and information about the physical scene (configuration and dimensions of objects, etc.).
  • Each module and submodule of the system may be a software, hardware, or software / hardware module.
  • the choice of implementation method for each module is made depending on the tasks and functions of the system or a specific module.
  • the following is an example algorithm of the method with links to figures 2-3.
  • the system can work both in the standby mode of the signal about the beginning of the action (1), and in the processing mode of the packet sequence of actions (the entire packet arrives from the client immediately) (II). At the same step, the system status can be updated.
  • the completed part of the installation sheet is also taken into account.
  • the design of the director’s description of the frame is affected by: the shooting of a new action begins or the shooting of the old continues; in some cases, there is a relationship between the parameters of the previous frame and the valid parameters for the next frame; current stage of the action, if it continues - etc.
  • the registration of the element in the installation sheet occurs at step 8.
  • the operator reconstructs the director's descriptions of the frames by the author’s frames (if the given frames do not change during the script, then they can be calculated only at the initialization stage of the system).
  • a set of frame options is generated according to the director's description of the frame.
  • the best frame is selected.
  • the best frame is considered to be the one that is closest to the director's description of the frame, and at the same time satisfies some requirements external to it (for example, the percentage of the visible area of the removed part of the object; satisfaction of the rule of 1 80 degrees; the absence of extraneous objects in the center of attention of the frame (objects contrasting and / or occupying a sufficiently large area of the central part of the frame - relative to the objects being shot) )
  • steps 6 or 7, or both 6 and 7 are iteratively performed until some criterion is achieved.
  • the frame is returned to the director, who takes the necessary steps to register it. These actions include updating the information about the frame in the installation sheet if its director's description has been added or adding all the information otherwise.
  • the frame is transmitted to the client program: immediately (for example, in mode (B)), or as part of the entire sequence of received sequence of frames at the request of the client (for example, in modes (A) and (C)).
  • the invention can be implemented on any type of computer (including, but not limited to, the following: personal computers, smartphones, tablet computers, game consoles, etc.).
  • a computer device in accordance with an embodiment of the invention has a processor operatively connected to any type of random access memory.
  • the device may be connected to a display for presenting video content.
  • a mouse and keyboard can be used to enter information.
  • the invention respectively, can be implemented using client programs and computer instructions executed by a processor and performing functions in accordance with aspects of the invention.
  • the above device is only a variant of the device that implements the invention.
  • the description of the virtual space and actions are loaded into RAM via the keyboard and mouse and are read from there by the client program. Having converted this data, the client program saves it in RAM, from where it will be read by the processor. In the process, the processor executes computer instructions in accordance with aspects of the invention and writes the results to RAM. The client program reads the results of work from RAM, and applies it to the virtual space, receiving an image that is displayed.
  • a client program reproduces the following scene, consisting of objects of virtual space and a set of actions that must be implemented.
  • An example of a data stream between an input device and an output device is presented below.
  • the room in which the character is located has a window.
  • N sets of camera parameters will be received from the system. N depends on the duration of action and other factors. Let the shooting take action: one . Talk action: 1 frame
  • the client will receive the frames shown in FIG. 5 (in this example, in the intervals between these points in time, the position and other parameters of the camera remain unchanged, and the action goes on its own).
  • the background is a small part of the frame, the details are indistinguishable.
  • the system distinguishes 9 types of size. They are implemented according to the known proportions of the characters, which are described in the corresponding tables for each character.
  • the system automatically calculates air, size and builds a vertical composition based on them.
  • size is not set by numbers, but by types: “General 1”, “Medium2”, etc.
  • the vertical angle is set not by numbers, but by the types: “Normal”, “Lower”, “Upper”
  • the main view is mainly used.
  • the upper and lower angles are used.
  • the parameter "dominance" or “strength” for the character. If the parameter is in the neutral value, the normal view will be used. If its value is small - top view. Otherwise, a lower angle showing that the character dominates.
  • CameraOperator - an operator is a class that returns the calculated camera (position, orientation, ..) depending on the specific conditions and restrictions imposed by the director on the frame.
  • Potential angles are arranged relative to the desired direction of shooting in a spiral.
  • This spiral lies on the surface of the sphere described around the center of the survey. (The radius of the sphere depends on the selected frame size).
  • the angle changes by default in increments of 10 degrees, the radius of the spiral is set by the limit on the maximum deviation from the desired angle. The default is 30 degrees. Angles that do not pass the vertical deflection limits are also discarded. For a normal angle, the vertical range is from 0 to 20 degrees. This is the first batch of candidates.
  • the second is built of cameras arranged around the circle in a horizontal plane. In increments of 30 degrees, the camera is first added to the candidates on the left, then on the right. Then - even farther to the left and farther to the right. And so on, until a horizontal angle is achieved that is opposite to what is desired.
  • sequence number is a function of the error. From this list, the first candidate who overcomes the minimum requirements is selected.
  • both parties of candidates lie on the surface of the same sphere.
  • Algorithm 2 generating cameras for the desired frame.
  • Potential angles are arranged relative to the desired direction of shooting in a spiral.
  • This spiral lies on the surface of the sphere described around the center of the survey. (The radius of the sphere clearly depends on the selected particle size).
  • the angle changes by default in increments of 5 degrees, the radius of the spiral is set by the limit on the maximum deviation from the desired angle. The default is 1 5 degrees. Angles that do not pass the vertical deflection limits are also discarded. For a normal angle, the vertical range is from 0 to 20 degrees.
  • the operator also checks whether this camera can be placed in the physical world. For example, if the camera is too close to the object, intersects with it or is inside, then such a camera cannot be placed.
  • the following functions are implemented in the algorithms for selecting the optimal frame:
  • the proposed system is integrated into the text visualization system described in the international application PCT / RU201 1/000666, filed 3 1 .08.201 1, the full text of which is incorporated into this description by reference, expanding its capabilities indicated above functions.
  • the text visualization system converts a script written in natural language into animated ZD videos.
  • An intermediate stage of such a transformation is the selection of actors and actions from the script.
  • a narrative skeleton is compiled, which sets the goals for the characters, and for the proposed solution, the basis for constructing a shooting plan.
  • the main part of the text visualization system having processed the natural language, operates with a simplified language model. This is a sequential list of the same type of action phrases in the form of an aggregate (who did what, what, with what, additional modifiers and parameters).
  • behavior simulation subsystems they are then converted to goals and executed.
  • this aggregate is transformed back into the “core” of a natural language sentence, that is, into a syntactic construction in the form of a set of sentence members (subject, predicate, additions, ).
  • a variant with a more fractional set is possible, obtained already in the process of performing the behavior.
  • a component can be, but is not limited to, a process running on a processor, a processor, a hard disk drive, multiple drives (optical and / or magnetic media), an object, an executable module, a thread of execution, a program, and / or a computer.
  • the component can be either an application running on a server or the server itself.
  • One or more components may reside in a process and / or thread of execution, and a component may reside on one computer and / or be distributed between two or more computers.
  • program modules include procedures, programs, objects, components, data structures, etc. that perform specific tasks or implement specific abstract data types.
  • methods of the invention can be practiced by other computer system configurations, including single-processor or multi-processor computer systems, minicomputers, universal computers, as well as personal computers, handheld computing devices, microprocessor or programmable consumer electronic devices, etc., each of which can be connected to one or more guide means.
  • Computer-readable media can be any available media that a computer can access, and includes both volatile and non-volatile media, removable and stationary media.
  • Computer-readable media may include computer storage media and communication media.
  • Computer storage media includes volatile and non-volatile, removable and fixed media implemented using any method or technology for storing information, such as computer-readable instructions, data structures, program modules or other data.
  • Computer storage media includes, but is not limited to, RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital un and versatile disks (DVD) or other optical disks, magnetic tapes, magnetic tape, storage media magnetic disks or other magnetic storage devices or any other medium that can be used to store useful information, and which the computer can access.
  • the computer includes a processor, system memory, and a system bus.
  • the system bus provides an interface for system components, including, but not limited to, system memory to the processor.
  • the processor may be any of various commercially available processors. Dual microprocessors and other multiprocessor architectures can also be used as a processor.
  • the system bus can be any of several types of bus structures, and can optionally be connected to the bus memory (with or without a memory controller), the peripheral bus, and the local bus using any variety of commercially available bus architectures.
  • System memory includes read-only memory (ROM) and random access memory (RAM).
  • ROM read-only memory
  • RAM random access memory
  • BIOS basic input / output system
  • BIOS is stored in non-volatile memory, for example, ROM, EEPROM, EEPROM, and the BIOS contains basic procedures that help transfer information between computer elements, for example, at startup.
  • RAM may also include high-speed RAM, for example, static RAM for caching data.
  • the computer further includes an internal hard disk drive (HDD) (for example, EIDE, SATA), and the internal hard disk drive can also be adapted for external use in a suitable case, a magnetic floppy disk drive (FDD), (for example, for reading from or writing to a removable diskette) and an optical disc drive (for example, reading a CD-ROM or for reading from or writing to other high-capacity optical media, such as DVD).
  • HDD hard disk drive
  • FDD magnetic floppy disk drive
  • optical disc drive for example, reading a CD-ROM or for reading from or writing to other high-capacity optical media, such as DVD.
  • the hard disk drive, the magnetic disk drive, and the optical disk drive can be connected to the system bus via the hard disk drive interface, the magnetic disk drive interface, and the optical drive interface, respectively.
  • the interface for external drive implementations includes at least one or both of the universal serial bus (USB) technologies and the IEEE 1,394 interface.
  • Drives and associated computer storage media provide non-volatile storage of data, data structures, computer instructions, etc.
  • drives and media provide the storage of any data in a suitable digital format.
  • computer-readable media relates to HDD, removable magnetic floppy disk and removable optical media, such as CD or DVD, it will be apparent to those skilled in the art that other types of computer-readable media, such as zip disks, magnetic tapes, flash cards, cartridges, and the like are also mono use in an illustrative operating environment, and moreover, any such media may contain computer instructions for implementing new methods of the disclosed architecture.
  • a number of software modules can be stored on drives and RAM, including the operating system, one or more application programs, other program modules, and program data.
  • the operating system, applications, modules and / or data can also be cached in RAM. It is also obvious that the disclosed architecture can also be implemented with various commercially available operating systems or combinations of operating systems.
  • a user can enter commands and information into a computer through one or more wired / wireless input devices, such as a keyboard and pointing device, such as a mouse.
  • I / O devices can include a microphone / speakers and another device, for example, an IR remote control, joystick, game pad, stylus, touch screen, etc.
  • These and other input devices are often connected to the processor through the interface of input devices, which is connected to system bus, but can be connected via other interfaces, for example, parallel port, IEEE 1394 serial port, game port, US B port, IR interface, etc.
  • Another type of monitor or display device is also connected to the system bus via an interface, such as a video adapter.
  • the computer usually includes other peripheral output devices, such as speakers, printers, etc.
  • a computer can operate in a network environment using logical connections through wired and / or wireless communication with one or more remote computers, for example, remote computer (s).
  • the remote computer (s) may be a workstation, a server computer, a router, a personal computer, a laptop computer, a microprocessor-based entertainment device, a peer device or another common network node, and usually includes many or all of the elements, described above with reference to a computer, although, for brevity, only a storage device is shown.
  • the described logical connections include a wired / wireless connection to a local area network (LAN) and / or to larger networks, such as a wide area network (WAN).
  • LAN and WAN networking environments typically occur in institutions and companies and provide enterprise-wide computer networks, such as intranets, that can all connect to a global communications network, such as the Internet.
  • the computer When used in a LAN network environment, the computer is connected to the LAN via a wired and / or wireless interface or a communication network adapter.
  • the adapter may provide a wired or wireless LAN connection, which may also include a wireless access point to communicate with the wireless adapter.
  • the computer When used in a WAN network environment, the computer may include a modem, or connect to a communications server in the WAN, or may have other means of establishing communications in a WAN, such as the Internet.
  • the modem which can be internal or external and wired and / or wireless, is connected to the system bus via the serial port interface.
  • program modules described with reference to a computer, or part of them can be stored in a remote storage device.
  • the network connections shown are illustrative, and other means of establishing a communication link between computers can be used.
  • the computer is capable of communicating with any wireless devices operatively supporting wireless communication, for example, a printer, a scanner, a desktop and / or laptop computer, a personal digital assistant, and a communications satellite.
  • wireless communication for example, a printer, a scanner, a desktop and / or laptop computer, a personal digital assistant, and a communications satellite.
  • the communication can be a predetermined structure, as in a traditional network, or simply a special communication channel between at least two devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Изобретение относится к вычислительной технике, а более конкретно к автоматическому управлению процессом съемки видеоролика. В способе автоматического управления процессом съемки видеоролика получают информацию о действии в сцене, после чего вычисляют режиссерское описание кадра, который нужно снять. Затем передают описание кадра оператору и генерируют набор вариантов кадров согласно режиссерскому описанию кадра. Получают параметры камер для съемки каждого из набора вариантов кадров и производят выбор наилучшего кадра. Возвращают кадр режиссеру, который производит его окончательную регистрацию в монтажном листе. Устанавливают соответствующую камеру и производят съемку наилучшего кадра. Получают последующие кадры действия в сцене, путем повторения предыдущих этапов способа, и генерируют последовательность кадров в соответствии с монтажным листом. Передают последовательность кадров клиентской программе.

Description

Автоматическая съемка и монтаж видеоролика
Область техники
Изобретение относится к вычислительной технике, а более конкретно к автоматическому управлению процессом съемки видеоролика.
Уровень техники
В настоящий момент развиваются технологии преобразования текста, написанного на естественном языке в изображения, видеоролик, последовательность кадров, и т.п.
Из уровня техники известна технология преобразования набора слов в описание трехмерной сцены, описанная в заявке US 201 0/01 69076 А 1 , 01 .07.201 0. В известном решении проводят лингвистический анализ текста, представляющего собой одно или несколько слов, фраз или предложений. После чего формируют описание трехмерной сцены по результатам семантического разбора. Затем формируют трехмерную сцену из описания трехмерной сцены и визуализируют трехмерную сцену или трехмерное изображение. При этом расположение и ориентацию камеры в трехмерной сцене выбирает пользователь вручную. В альтернативном варианте расположение и ориентацию камеры известное решение задает автоматически. Однако в известном решении используются статическое расположение и ориентация камеры (в основном общий план). Кроме того, в связи с тем, что получаемая трехмерная сцена не является динамической, расположение и ориентация камеры не меняется в процессе "повествования". Еще одним недостатком известного решения является то, что известная технология не предусматривает никакие ограничения при установке камеры, т.е. фактически камера может быть помещена чрезмерно близко к объекту или даже внутрь объекта, присутствующего в трехмерной сцене.
При этом, автоматическое получение параметров камер и управление камерами необходимы для создания видеоролика, поскольку очевидно, что в процессе "повествования" камера не может находиться в одном и том же месте все время. Кроме того, очевидно, что для придания динамичности и реалистичности получаемому ролику, необходимо использовать как общий план, так и крупный план, также необходимо "переводить взгляд" камеры с одного персонажа (объекта) на другого.
Таким образом, существует потребность в технологии, которая бы автоматически выбирала и устанавливала положение, ориентацию и прочие параметры камер в процессе съемки видеоролика. Кроме того, существует потребность в создании технологии, которая бы автоматически производила видеоролик, готовый к просмотру, путем автоматической компоновки и монтажа записей с камер.
Сущность изобретения
Изобретение выполняет функции автоматической съемки и монтажа согласно основным принципам кино.
Для решения упомянутых выше проблем реализован способ автоматического управления процессом съемки видеоролика. В предлагаемом способе получают информацию о действии в сцене, после чего вычисляют режиссерское описание кадра, который нужно снять.
Затем передают описание кадра оператору и генерируют набор вариантов кадров согласно режиссерскому описанию кадра. Получают параметры камер для съемки каждого из набора вариантов кадров и производят выбор наилучшего кадра. Возвращают кадр режиссеру, который производит его окончательную регистрацию в монтажном листе. Устанавливают соответствующую камеру и производят съемку наилучшего кадра. Получают последующие кадры действия в сцене, путем повторения предыдущих этапов способа, и генерируют последовательность кадров в соответствии с монтажным листом. Передают последовательность кадров клиентской программе.
В частном случае выполнения информацию о действии в сцене получают в ответ на сигнал о начале действия.
В частном еще одном частном случае выполнения информацию о действии в сцене получают в виде пакетной последовательности действий, причем весь пакет получают сразу.
В другом случае выполнения в режиссерском описании кадра учитывают информацию о типе действия (сказуемое), главном герое (подлежащее), о второстепенных героях (дополнения). Также учитывают уже заполненную часть монтажного листа.
В другом случае выполнения при начале нового действия предварительно заполняют монтажный лист на несколько кадров вперед.
В еще одном частном случае выполнения дополнительно производят реконструкцию режиссерских описаний кадров по авторским кадрам, причем авторскими кадрами являются кадры, полученные с помощью предустановленных пользователем камер.
В одном из вариантов конкретной реализации наилучшим считается кадр, который наиболее близок к режиссерскому описанию кадра, и в тоже время удовлетворяет внешним по отношению к нему требованиям. Одним из таких требований является процент видимой области снимаемой части объекта. Еще одним требованием является удовлетворение правила 1 80 градусов. Еще одним требованием является отсутствие посторонних объектов в центрах внимания кадра (объектов, контрастных и/или занимающих достаточно большую область центральной части кадра - по отношению к объектам съемки). При этом генерацию набора вариантов кадров согласно режиссерскому описанию кадра и выбор наилучшего кадра производят итеративно до удовлетворения требований.
В частном случае выполнения клиентской программе передают каждый кадр сразу по получении.
В другом случае выполнения клиентской программе передают последовательность кадров по запросу клиента.
Дополнительно изобретение предусматривает вывод изображения кадра на дисплей.
В частном случае выполнения задают массив камер, которые будут использоваться в качестве подсказок.
В другом случае выполнения задают массив авторских камер для дополнения автоматически созданных.
Дополнительно изобретение предусматривает линейный монтаж видеоролика, причем монтаж производят как при заранее известной последовательности событий сценария, так и с информацией только о прошедших и текущем событиях сценария.
Изобретение также может быть реализовано в виде машиночитаемого носителя, имеющего исполняемые компьютером инструкции, которые при их загрузке в компьютер побуждают процессор выполнять этапы способа автоматического управления процессом съемки видеоролика.
Предлагаемое изобретение позволяет автоматически получать наборы параметров камеры (внутренних и внешних), по которым однозначно определяются параметры камеры на каждый момент времени, и автоматически устанавливать указанные камеры в трехмерной сцене по полученным параметрам. При этом данные параметры характеризуют съемку художественно обоснованным способом, согласно основным принципам кино. Эти параметры могут быть применены как к виртуальной, так и реальной камере.
На вход система получает параметры работы, действия объектов, существенные для съемки и информацию или источник информации об окружении (положения объектов и, возможно, дополнительные параметры, описывающие пространственную конфигурацию снимаемого мира). Система может получать или запрашивать некоторые их этих данных как при запуске, так и в процессе работы. Данные могут описывать как реальный, так и виртуальный мир.
Дополнительно изобретение позволяет:
• переопределять кадры для съемки конкретного действиия. Такой кадр не будет замещен.
• задавать массив камер, которые будут использоваться в качестве подсказок для автоматических алгоритмов. Эта функциональность может также использоваться для имитации базовых моментов авторского стиля.
• задавать массив авторских камер для дополнения автоматически созданных. Из совокупного множества будет выбрана та, что лучше подходит для съемки в данный момент.
Дополнительно изобретение работает в одном из трех режимов:
• (А) линейный монтаж при заранее известной последовательности событий сценария;
• (В) линейный монтаж с информацией только о прошедших и текущем событиях сценария;
• (С) результаты работы могут использоваться для нелинейного монтажа.
Для решения вышеозначенных и родственных задач, некоторые иллюстративные аспекты описаны здесь в связи с нижеследующим описанием и прилагаемыми чертежами. Однако эти аспекты представляют лишь некоторые возможные подходы к применению раскрытых здесь принципов и призваны охватывать все подобные аспекты и их эквиваленты. Другие преимущества и признаки новизны следуют из нижеследующего подробного описания, приведенного совместно с чертежами.
Для понимания сущности изобретения ниже приведены расшифровки основных терминов
Кадр - непрерывный временной отрезок, снятый определенным образом.
Монтажный лист - документ, последовательно описывающий каждый кадр и их взаимное расположение. Монтажный лист может создаваться на этапе описания режиссерской задумки, предварительного или финального монтажа.
Крупность, план - масштаб человека в кадре.
Ракурс (вертикальный) - вертикальный угол съемки. Различают верхний, нижний и нейтральный ракурсы.
Горизонтальный ракурс - горизонтальный угол съемки.
Статический кадр - съемка камерой, в течение всего времени сохраняющей свою ориентацию, положение и другие параметры.
Динамический кадр - съемка движущейся камерой. Характерные примеры: панорамы, отъезды, наезды, съемка в движении.
Камера - совокупность параметров (внутренних и внешних) модели, имитирующей физическую камеру. Параметры : позиция, ориентация, зум.
Линейный монтаж - монтаж в реальном времени. Картинка поступает одновременно с нескольких камер. Задача монтажа - переключение источника картинки. Нелинейный монтаж - монтаж уже отснятого материала. Появляется возможность изменить последовательность снятых событий, скорость течения времени.
Воздух (вертикальный) - запас свободного пространства в кадре над головой персонажа. Меняется в зависимости от используемой крупности и прочих художественных целей.
Горизонтальный воздух - запас свободного пространства в кадре впереди или позади персонажа. Если персонаж в кадре смотрит на объект за кадром, скорее всего, по направлению взгляда персонажа будет воздух. Если персонаж счастливо убегает от погони, воздух будет позади. Если его настигают - впереди.
Режиссерское описание кадра - набор параметров в формализованном виде:
• Крупность.
• Вертикальный ракурс.
• Горизонтальный ракурс.
• Горизонтальная композиция кадра.
Краткое описание чертежей
На Фиг. 1 представлена общая структура изобретения и способа ее интеграции.
На Фиг. 2 представлена структурная схема работы изобретения в плане последовательности этапов работы.
На Фиг. 3 представлен общий алгоритм работы изобретения.
На Фиг. 4 представлен схематический рисунок сцены из примера.
На Фиг. 5 представлен примерный набор кадров, который может быть получен при обработке действий из примера при помощи изобретения. Подробное описание изобретения
Концептуально систему можно разделить на три части (фиг. 1 ): модуль интеграции, режиссер-монтажер, оператор.
CamerasBridge - модуль интеграции - обеспечивает интеграцию предлагаемого решения. Его задачи:
• предоставление входных данных и параметров работы;
• предоставление реализации вспомогательных интерфейсов (ICharacterlnfoProvider, IScenelnfoProvider, IDebugView, ILog);
• получение в результате последовательности художественно- значимых кадров.
CamerasBridge сконструирован таким образом, чтобы обеспечить быструю интеграцию системы в новую среду.
Director - режиссер-монтажер - согласно внутренним алгоритмам и настройкам описывает, какой кадр снимать в данный момент. Модуль принимает решения согласно общепринятым правилам съемки кино и монтажа.
CameraOperator - оператор - модуль, который строит кадр согласно описанию, полученному от Director с одной стороны и физическим ограничениям с другой. Модуль принимает решения согласно общепринятым правилам съемки кино и информации о физической сцене (конфигурация и габариты объектов и т.п.).
Каждый модуль и подмодуль системы может быть программным, аппаратным или программно/аппаратным модулем. Выбор способа реализации каждого модуля производится в зависимости от задач и функций системы или конкретного модуля. Ниже приведен примерный алгоритм работы способа со ссылками на фигуры 2-3.
1 . Получение информации о действии от приложения и обратное преобразование в синтаксическую основу для кинофразы. Система может работать как в режиме ожидания сигнала о начале действия (1), так и в режиме обработки пакетной последовательности действий (весь пакет приходит от клиента сразу) (II). На этом же шаге может происходить обновление состояния системы.
2. Вычисление режиссерского описания кадра, который нужно снять. Учитываются тип действия (сказуемое), главный герой (подлежащее), второстепенные (дополнения).
3. Также учитывается уже заполненная часть монтажного листа. Например, на конструирование режиссерского описания кадра влияет: начинается съемка нового действия или продолжается съемка старого; в некоторых случаях имеется зависимость между параметрами предыдущего кадра и допустимыми параметрами для следующего кадра; текущий этап действия, если оно продолжается - и т.п. Регистрация элемента в монтажном листе происходит на этапе 8.
4. Описание подается на вход оператору.
5. Если нужно, оператор производит реконструкцию режиссерских описаний кадров по авторским кадрам (если заданные кадры не меняются в течение действия сценария, тогда они могут быть рассчитанны только на этапе инициализации системы).
6. Генерируется набор вариантов кадров согласно режиссерскому описанию кадра.
7. Из набора вариантов кадров производится выбор наилучшего кадра. Наилучшим считается кадр, который наиболее близок к режиссерскому описанию кадра, и в тоже время удовлетворяет некоторым внешним по отношению к нему требованиям (например, процент видимой области снимаемой части объекта; удовлетворение правила 1 80 градусов; отсутствие посторонних объектов в центрах внимания кадра (объектов, контрастных и/или занимающих достаточно большую область центральной части кадра - по отношению к объектам съемки)). В частном случае выполнения изобретения шаги 6 или 7, или и 6 и 7 производятся итеративно до достижения некоторого критерия.
8. Кадр возвращается режиссеру, который производит необходимые действия по его регистрации. Эти действия включают обновление информации о кадре в монтажном листе, если его режиссерское описание было добавлено или добавление всей информации в противном случае.
9. Кадр передается клиентской программе: сразу (например, в режиме (В)), либо в составе всей последовательности полученной последовательнойсти кадров по запросу клиента (например, в режимах (А) и (С)).
В качестве общего пояснения приведены примеры устройства, реализующего изобретение.
Изобретение может быть реализовано на любом типе ЭВМ (включая, но не ограничиваясь ими, следующие: персональные компьютеры, смартфоны, планшетные компьютеры, игровые консоли и т.п.).
Устройство типа ЭВМ в соответствии с вариантом исполнения изобретения имеет процессор, функционально соединенный с оперативным запоминающим устройством любого типа. Устройство может быть соединено с дисплеем для представления видеосодержимого. Для ввода информации могут быть использованы мышь и клавиатура. Изобретение, соответственно, может быть реализовано с помощью ю клиентских программ и компьютерных инструкций, исполняемых процессором, и выполняющих функции, согласно аспектам изобретения.
Приведенное устройство является лишь вариантом устройства, реализующего изобретение.
Описание виртуального пространства и действий загружены в ОЗУ посредством клавиатуры и мыши и считываются оттуда клиентской программой. Клиентская программа, преобразовав эти данные, сохраняет в ОЗУ, откуда они будут считаны процессором. В процессе работы процессор исполняет компьютерные инструкции, согласно аспектам изобретения, и записывает результаты работы в ОЗУ. Клиентская программа считывает результаты работы из ОЗУ, и применяет к виртуальному пространству, получая изображение, которое выводится на дисплей.
Предположим клиентская программа воспроизводит следующую сцену, состоящую из объектов виртуального пространства и совокупности действий, которые должны быть реализованы. Пример потока данных между устройством ввода и устройством вывода представлен ниже.
Объекты.
Комната, в ней находится персонаж. В комнате есть окно.
Действия.
Персонаж говорит: "Ну все, всем пока", грустно смотрит в пол, потом идет к окну, открывает его и выпрыгивает.
Система получит следующую последовательность действий:
1 .
Тип действия: говорить.
Главный герой: персонаж.
Объект действия (дополнение, "над чем"): нет.
Объект действия (дополнение, "при помощи чего чем"): нет. Прочие параметры: . . .
2.
Тип действия: смотреть.
Главный герой : персонаж.
Объект действия (дополнение, "над чем"): пол.
Объект действия (дополнение, "при помощи чего чем"): нет.
Прочие параметры: . . .
3.
Тип действия : идти.
Главный герой : персонаж.
Объект действия (дополнение, "над чем"): окно.
Объект действия (дополнение, "при помощи чего чем"): нет.
Прочие параметры: . . .
4.
Тип действия: открыть.
Главный герой: персонаж.
Объект действия (дополнение, "над чем"): окно.
Объект действия (дополнение, "при помощи чего чем"): нет.
Прочие параметры: . . .
5.
Тип действия: выпрыгнуть.
Главный герой : персонаж.
Объект действия (дополнение, "над чем"): окно.
Объект действия (дополнение, "при помощи чего чем"): нет.
Прочие параметры: . . .
В результате от системы будут получены N наборов параметров камеры. N зависит от длительности действия и других факторов. Пусть на съемку действий уйдет: 1 . Действие "говорить": 1 кадр
2. Действие "смотреть", 1 кадр
3. Действие "идти", 2 кадра
4. Действие "открыть", 1 кадр
5. Действие "выпрыгнуть", 1 кадр
Применив полученные параметры к камере в соответствующие моменты времени, клиент получит кадры, показанные на фиг. 5 (в данном примере в промежутках между этими моментами времени позиция, и прочие параметры камеры остаются неизменными, а действие идет своим ходом).
Режимы монтажа
Director может работать в двух режимах:
• линейный монтаж при заранее известной последовательности событий сценария;
• линейный монтаж с информацией только о прошедших и текущем событиях сценария;
• результаты работы системы могут использоваться для нелинейного монтажа.
Крупности и вертикальная композиция
У разных киношкол существуют различные системы крупностей. В них много общего, но есть и отличия. Например:
Крупности по Кулешову
Дета ь - часть лица
Крупный план - голова
1 й средний - по пояс
2й средний - по колени Общий план - полный рост
Дальний план - маленькая часть кадра, неразличимы детали
Альтернативная система крупностей
Крупные планы: часть лица, лицо, грудь (соски)
Средние планы: талия, бедра (голливудский), колени
Общие планы : полный рост, дальний план.
Система крупностей и алгоритмы согласно изобретению
Система различает 9 типов крупности. Они реализуются по известным пропорциям персонажей, которые описаны в соответствующих таблицах для каждого персонажа.
Если с персонажем не связана такая таблица, подается набор стандартных пропорций.
Система автоматически вычисляет воздух, крупности и строит вертикальную композицию на их основе.
Таким образом, для режиссерского описания кадра крупность задается не цифрами, а типами: "Общий 1 ", "Средний2" и т.п.
Горизонтальная композиция
• Два персонажа или группа в кадре. Выравниваются относительно центра кадра. Масштаб задает выбранная крупность на выбранном персонаже.
• Один персонаж в кадре. Остальные участники действия (если есть) за кадром. Реализуем горизонтальную композицию, просчитываем горизонтальный воздух.
• Перемещение. Вход и выход из кадра. Тоже все ок. Вертикальный ракурс
Для режиссерского описания кадра вертикальный ракурс задается не цифрами, а типами: "Обычный", "Нижний", "Верхний"
В основном используется обычный ракурс.
В частных случаях, при необходимости, используются верхний и нижний ракурсы. Введем в контексте действия параметр "доминирование" или "сила" для персонажа. Если параметр находится в нейтральном значении, будет использоваться обычный ракурс. Если его значение невелико - верхний ракурс. Иначе - нижний ракурс, показывающий, что персонаж доминирует.
Г оризонтальный ракурс и линия действия
Кадры в смысле горизонтального ракурса делятся по следующим типам:
• Фронтальный
• Внутренний 30°
• Внутренний 60°
• Профильный
• Внешний 60°
• Внешний 30°
• Задний
Они строятся относительно линии действия и главного персонажа (персонажей) действия.
Эти типы делят радиальное пространство вокруг объектов съемки (точнее, половину круга разделенного линией действия и относительно нее) на сектора. Именно в такой системе очень удобно следовать правилу 30 градусов (http://en.\vikipedia.org/wiki/30-degrce rule), правилу 180 градусов и многим другим правилам киноязыка.
Выбор оптимального кадра согласно указаниям "Director"
CameraOperator - оператор - это класс, возвращающий вычисленную камеру (положение, ориентация,..) в зависимости от конкретных условий и ограничений, накладываемых режиссером на кадр.
Основная проблема, с которой он сталкивается при попытке реализовать требования вызывающего, - проблема видимости.
Если посторонние предметы загораживают ключевые объекты кадра, самым простым решением проблемы было бы сделать их полупрозрачными - как в играх. Однако такой подход не является приемлемым для целей изобретения. Поэтому оператор пытается найти новый ракурс по следующим двум алгоритмам.
Алгоритм 1 генерации камер для желаемого кадра.
При этом варианте есть боьлшая вероятность, что начальная задумка режиссера будет нарушена, т.к. оптимальный кадры выйдет за границы желаемых значений.
Относительно желаемого направления съемки по спирали расставляются потенциальные ракурсы. Эта спираль лежит на поверхности сферы, описанной вокруг центра съемки. (Радиус сферы зависит от выбранной крупности кадра). Ракурс меняется по умолчанию с шагом 10 градусов, радиус спирали задается ограничем по максимальному отклонению от желаемого ракурса. По умолчанию это 30 градусов. Ракурсы, не прошедшие ограничения по вертикальному отклонению, также отбрасываются. Для обычного ракурса диапазон по вертикали - от 0 до 20 градусов. Это первая партия кандидатов. Вторая строится из камер, расставленных по всему кругу в горизонтальой плоскости. С шагом в 30 градусов в кандидаты добавляется сначала камера слева, затем справа. Затем - еще более дальняя слева и дальняя справа. И так далее, пока не будет достигнут горизонтальный ракурс, противоположный желаемому.
Необходимо отметить, что все кандидаты добавляются в порядке приоритета. Иными словами, порядковый номер является функцией ошибки. Из этого списка выбирается первый кандидат, преодолевший минимальные требования.
При этом обе партии кандидатов лежат на поверхности одной и той же сферы.
Алгоритм 2 генерации камер для желаемого кадра.
Это частный случай алгоритма 1 . Он просчитывает только кадры, лежащие в рамках допустимых режиссером значений.
Относительно желаемого направления съемки по спирали расставляются потенциальные ракурсы. Эта спираль лежит на поверхности сферы, описанной вокруг центра съемки. (Радиус сферы однозначно зависит от выбранной крупности кадра). Ракурс меняется по умолчанию с шагом 5 градусов, радиус спирали задается ограничем по максимальному отклонению от желаемого ракурса. По умолчанию это 1 5 градусов. Ракурсы, не прошедшие ограничения по вертикальному отклонению, также отбрасываются. Для обычного ракурса диапазон по вертикали - от 0 до 20 градусов.
Оператор также проверяет, можно ли разместить данную камеру в физическом мире. Например, если камера стоит слишком близко от объекта, пересекается с ним либо находится внутри, то такую камеру разместить нельзя. Кроме того в алгоритмах выбора оптимального кадра реализованы функции:
• использования заданного массива камер, в качестве подсказок для автоматических алгоритмов. Эта функциональность может также использоваться для имитации базовых моментов авторского стиля.
• использования заданого массива авторских камер для дополнения автоматически созданных. Из совокупного множества будет выбрана та, что лучше подходит для съемки в данный момент.
Структура киноповествования
В качестве пояснения, как пример использования изобретения, предлагаемая система встроена в систему визуализации текста, описанную в международной заявке PCT/RU201 1 /000666, поданной 3 1 .08.201 1 , полный текст которой включен в данное описание путем ссылки, расширяя ее возможности указанными выше функциями.
Система визуализации текста преобразует сценарий, написанный на естественным языке, в анимационные ЗД ролики. Промежуточным этапом такого преобразования является выделение действующих лиц и действий из сценария. В результате составляется скелет повествования, который для персонажей задает цели, а для предлагаемого решения - основу для построения плана съемки.
Основная часть системы визуализации текста, обработав естественный язык, оперирует упрощенной моделью языка. Это последовательный список однотипных фраз-действий в виде совокупности (кто, что сделал, над чем, при помощи чего, дополнительные модификаторы и параметры).
Подсистемами симуляции поведения они затем преобразуются в цели и выполняются. Предлагаемой системой эта совокупность преобразуется обратно в "остов" предложения естественного языка, то есть, в синтаксическую конструкцию в виде совокупности членов предложения (подлежащее, сказуемое, дополнения, ...). В частном случае возможен вариант с более дробной совокупностью, получаемой уже в процессе выполнения поведения.
Каждая такая конструкция хорошо ложится на язык монтажа и может быть сравнительно легко превращена в кинофразу (законченную последовательность кадров, снимающих действие).
Действительно, вспомним, что
• подлежащее отвечает на вопросы "кто?", "что?"
• сказуемое - "что он делает?", "что с ним происходит?"
• дополнение - "чем?", "при помощи чего?" "над кем" и т.п.
Это - прямое отображение на классические, азбучные принципы монтажа. Например, кадр, снимающий объект определенной крупностью, отвечает на вполне определенный вопрос и т.д.
Используемые в этой заявке термины "компонент" и "система" относятся к компьютерной сущности, которая представляет собой либо оборудование, либо комбинацию оборудования и программного обеспечения, либо программное обеспечение, либо выполняемое программное обеспечение. Например, компонент может представлять собой, но без ограничения, процесс, выполняющийся на процессоре, процессор, привод жесткого диска, множественные приводы (оптического и/или магнитного носителя), объект, выполнимый модуль, поток выполнения, программу и/или компьютер. В порядке иллюстрации, компонентом может быть как приложение, выполняющееся на сервере, так и сам сервер. Один или несколько компонентов могут размещаться в процессе и/или потоке выполнения, и компонент может размещаться на одном компьютере и/или распределяться между двумя или несколькими компьютерами.
Хотя вышеприведенное описание относится, в целом, к компьютерным инструкциям, которые могут выполняться на одном или нескольких компьютерах, специалистам в данной области техники очевидно, что новый вариант осуществления также можно реализовать совместно с другими программными модулями и/или как комбинацию оборудования и программного обеспечения.
В общем случае, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.д., которые выполняют определенные задачи или реализуют определенные абстрактные типы данных. Кроме того, специалистам в данной области техники очевидно, что способы, отвечающие изобретению, можно осуществлять на практике посредством других конфигураций компьютерной системы, в том числе однопроцессорных или многопроцессорных компьютерных систем, миникомпьютеров, универсальных компьютеров, а также персональных компьютеров, карманных вычислительных устройств, микропроцессорных или программируемых потребительских электронных приборов и пр., каждый их которых может в ходе работы подключаться к одному или нескольким соответствующим устройствам.
Иллюстрируемые аспекты также можно применять на практике в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, связанными друг с другом посредством сети передачи данных. В распределенной вычислительной среде, программные модули могут располагаться в локальных и удаленных запоминающих устройствах. Компьютер обычно включает в себя различные компьютерно- считываемые среды. Компьютерно-считываемые среды могут представлять собой любые имеющиеся среды, к которым компьютер может осуществлять доступ, и включают в себя энергозависимые и энергонезависимые среды, сменные и стационарные среды. В порядке примера, но не ограничения, компьютерно-считываемые среды могут содержать компьютерные носители данных и среды передачи данных. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, сменные и стационарные носители, реализованные с помощью любого метода или технологии для хранения информации, например компьютерно-считываемых команд, структур данных, программных модулей или других данных. Компьютерные носители данных включает в себя, но без ограничения, ОЗУ, ПЗУ, ЭСППЗУ, флэш- память или другую технологию памяти, CD-ROM, цифровые ун и версальные диски (DVD) или другие оптические диски, магнитные кассеты, магнитную ленту, накопитель на магнитных дисках или другие магнитные запоминающие устройства или любой другой носитель, который можно использовать для хранения полезной информации, и к которому компьютер может осуществлять доступ.
Компьютер включает в себя процессор, системную память и системную шину. Системная шина обеспечивает интерфейс для системных компонентов, в том числе, но без ограничения, системной памяти к процессору. Процессор может представлять собой любой из различных коммерчески доступных процессоров. В качестве процессора также можно применять двойные микропроцессоры и другие многопроцессорные архитектуры.
Системная шина может представлять собой любую из нескольких типов шинных структур, и может дополнительно подключаться к шине памяти (с помощью контроллера памяти или без него), периферийной шине и локальной шине с использованием любых разнообразных коммерчески доступных шинных архитектур. Системная память включает в себя постоянную память (ПЗУ) и оперативную память (ОЗУ). Базовая система ввода/вывода (BIOS) хранится в энергонезависимой памяти, например, ПЗУ, ЭППЗУ, ЭСППЗУ, причем BIOS содержит основные процедуры, которые помогают переносить информацию между элементами компьютера, например, при запуске. ОЗУ также может включать в себя высокоскоростное ОЗУ, например, статическое ОЗУ для кэширования данных.
Компьютер дополнительно включает в себя внутренний привод жесткого диска (HDD) (например, EIDE, SATA), причем внутренний привод жесткого диска также можно приспособить для внешнего использования в подходящем корпусе, привод магнитного флоппи-диска (FDD), (например, для чтения с или записи на сменную дискету) и привод оптического диска, (например, читающий диск CD-ROM или для чтения с или записи на другие оптические носители высокой емкости, например, DVD). Привод жесткого диска, привод магнитного диска и привод оптического диска могут быть подключены к системной шине посредством интерфейса привода жесткого диска, интерфейса привода магнитного диска и интерфейса оптического привода, соответственно. Интерфейс для реализаций внешнего привода включает в себя, по меньшей мере, одну или обе из технологий универсальной последовательной шины (USB) и интерфейса IEEE 1 394.
Приводы и соответствующие компьютерные носители данных обеспечивают энергонезависимое хранилище дан ных, структур данных, компьютерных инструкций т т.д. Для компьютера, приводы и носители обеспечивают хранение любых данных в подходящем цифровом формате. Хотя вышеприведенное описание компьютерно-считываемых носителей относится к HDD, сменной магнитной дискете и сменным оптическим носителям, например, CD или DVD, специалистам в данной области техники очевидно, что другие типы носителей, которые считываются компьютером, например, zip-диски, магнитные кассеты, карты флэш- памяти, картриджи, и т.п., также моно использовать в иллюстративной операционной среде, и, кроме того, что любые такие носители могут содержать компьютерные инструкции для осуществления новых способов раскрытой архитектуры.
На приводах и ОЗУ может храниться ряд программных модулей, в том числе операционная система, один или несколько прикладные программы, другие программные модули и программные данные. Полностью или частично, операционная система, приложения, модули и/или данные также могут кэшироваться в ОЗУ. Также очевидно, что раскрытую архитектуру также можно реализовать с различными коммерчески доступными операционными системами или комбинациями операционных систем.
Пользователь может вводить команды и информацию в компьютер через одно или несколько проводных/беспроводных устройств ввода, например, клавиатуру и указательное устройство, например, мышь. Устройства ввода/вывода могут включать в себя микрофон/громкоговорители и другое устройство, например, ИК пульт управления, джойстик, игровая панель, перо, сенсорный экран и пр. Эти и другие устройства ввода нередко подключены к процессору через интерфейс устройств ввода, который подключен к системной шине, но могут подключаться посредством других интерфейсов, например, параллельного порта, последовательного порта IEEE 1 394, игрового порта, порта US В, ИК интерфейса и т.д. Монитор или устройство отображения другого типа также подключен к системной шине через интерфейс, например, видео-адаптер. Помимо монитора, компьютер обычно включает в себя другие периферийные устройства вывода, например, громкоговорители, принтеры и т.д.
Компьютер может работать в сетевой среде с использованием логических соединений посредством проводной и/или беспроводной связи с одним или несколькими удаленными компьютерами, например удаленным(и) компьютером(ами). Удаленный(е) компьютер(ы) могут представлять собой рабочую станцию, компьютер-сервер, маршрутизатор, персональный компьютер, портативный компьютер, развлекательный прибор на основе микропроцессора, равноправное устройство или другой общий сетевой узел, и обычно включает в себя многие или все элементы, описанные выше применительно к компьютеру, хотя, для краткости, показано только запоминающее устройство. Описанные логические соединения включают в себя проводное/беспроводное подключение к локальной сети (LAN) и/или к более крупномасштабным сетям, например, глобальной сети (WAN). Такие сетевые среды LAN и WAN обычно имеют место в учреждениях и компаниях и обеспечивают компьютерные сети в масштабах предприятия, например интрасети, которые все могут подключаться к глобальной сети связи, например, Интернету.
При использовании в сетевой среде LAN, компьютер подключен к локальной сети через проводной и/или беспроводной интерфейс или адаптер сети связи. Адаптер может обеспечивать проводное или беспроводное подключение к LAN, которая также может включать в себя беспроводную точку доступа для связи с беспроводным адаптером.
При использовании в сетевой среде WAN, компьютер может включать в себя модем, или подключаться к серверу связи в WAN, или может иметь другое средство установления связи в WAN, например, Интернете. Модем, который может быть внутренним или внешним и проводным и/или беспроводным устройством, подключен к системной шине через интерфейс последовательного порта. В сетевой среде, программные модули, описанные применительно к компьютеру, или часть из них, могут храниться в удаленном запоминающем устройстве. Показанные сетевые соединения являются иллюстративными, и можно использовать другие средства установления линии связи между компьютерами.
Компьютер способен осуществлять связь с любыми беспроводными устройствами, оперативно поддерживающими беспроводную связь, например, принтером, сканером, настольным и/или портативным компьютером, карманным персональным компьютером, спутником связи. Это включает в себя, по меньшей мере, беспроводные технологии Wi-Fi и Bluetooth™. Таким образом, связь может быть заранее заданной структурой, как в традиционной сети, или просто специальным каналом связи между, по меньшей мере, двумя устройствами.
Выше были описаны примеры раскрытой архитектуры. Конечно, невозможно описать все мыслимые комбинации компонентов или способов, но специалисту в данной области техники очевидно, что возможны многие дополнительные комбинации и перестановки. Соответственно, новая архитектура призвана охватывать все такие изменения, модификации и вариации, которые отвечают сущности и объему формулы изобретения. Кроме того, в той степени, в которой термин "включает в себя" используется в подробном описании или в формуле изобретения, такой термин призван быть включительным аналогично термину "содержащий", поскольку "содержащий" интерпретируется при использовании в качестве переходного слова в формуле изобретения.

Claims

Формулы изобретения
1 . Компьютерно-реализованный способ автоматического управления процессом съемки видеоролика, содержащий этапы на которых:
получают информацию о действии в сцене;
вычисляют режиссерское описание кадра, который нужно снять; передают описание кадра оператору;
генерируют набор вариантов кадров согласно режиссерскому описанию кадра;
получают параметры камер для съемки каждого из набора вариантов кадров;
из набора вариантов кадров производят выбор наилучшего кадра; возвращают кадр режиссеру, который производит его окончательную регистрацию в монтажном листе;
производят съемку наилучшего кадра соответствующей камерой; получают последующие кадры действия в сцене, путем повторения предыдущих этапов способа;
генерируют последовательность кадров в соответствии с монтажным листом;
передают последовательность кадров клиентской программе.
2. Способ по п. 1 , в котором информацию о действии в сцене получают в ответ на сигнал о начале действия.
3. Способ по п. 1 , в котором информацию о действии в сцене получают в виде пакетной последовательности действий, причем весь пакет получают сразу.
4. Способ по п. 1 , в котором в режиссерском описании кадра учитывают информацию о типе действия (сказуемое), главном герое (подлежащее), о второстепенных героях (дополнения).
5. Способ по п. 1 , в котором в режиссерском описании кадра учитывают уже заполненную часть монтажного листа.
6. Способ по п. 1 , дополнительно содержащий этап, на котором производят реконструкцию режиссерских описаний кадров по авторским кадрам, причем авторскими кадрами являются кадры, полученные с помощью предустановленных пользователем камер.
7. Способ по п. 1 , в котором наилучшим считается кадр, который наиболее близок к режиссерскому описанию кадра, и в тоже время удовлетворяет внешним по отношению к нему требованиям.
8. Способ по п. 7, в котором требованием является процент видимой области снимаемой части объекта.
9. Способ по п. 7, в котором требованием является удовлетворение правила 1 80 градусов.
1 0. Способ по п. 7, в котором требованием является отсутствие посторонних объектов в центрах внимания кадра.
1 1 . Способ по п. 1 0, в котором посторонними объектами являются объекты, контрастные и/или занимающие достаточно большую область центральной части кадра - по отношению к объектам съемки.
1 2. Способ по п. 7, в котором этапы генерации набора вариантов кадров согласно режиссерскому описанию кадра и выбора наилучшего кадра производят итеративно до удовлетворения требований.
1 3. Способ по п. 1 , в котором клиентской программе передают каждый кадр сразу по получении.
1 4. Способ по п. 1 , в котором клиентской программе передают последовательность кадров по запросу клиента.
1 5. Способ по п. 1 , дополнительно содержащий этап, на котором выводят изображение кадра на дисплей.
16. Способ по п. 1 , дополнительно содержащий этап, на котором задают массив камер, которые будут использоваться в качестве подсказок.
1 7. Способ по п. 1 , дополнительно содержащий этап, на котором задают массив авторских камер для дополнения автоматически созданных.
18. Способ по п. 1 , дополнительно содержащий этап, на котором производят линейный монтаж при заранее известной последовательности событий сценария.
19. Способ по п. 1 , дополнительно содержащий этап, на котором производят линейный монтаж с информацией только о прошедших и текущем событиях сценария.
20. Способ по п. 1 , дополнительно содержащий этап, на котором при начале нового действия предварительно заполняют монтажный лист на несколько кадров вперед.
21 . Машиночитаемый носитель, имеющий исполняемые компьютером инструкции, которые при их загрузке в компьютер побуждают процессор выполнять этапы способа автоматического управления процессом съемки видеоролика, содержащего этапы на которых:
получают информацию о действии в сцене;
вычисляют режиссерское описание кадра, который нужно снять; передают описание кадра оператору;
генерируют набор вариантов кадров согласно режиссерскому описанию кадра;
получают параметры камер для съемки каждого из набора вариантов кадров;
из набора вариантов кадров производят выбор наилучшего кадра; возвращают кадр режиссеру, который производит его окончательную регистрацию в монтажном листе; производят съемку наилучшего кадра соответствующей камерой; получают последующие кадры действия в сцене, путем повторения предыдущих этапов способа;
генерируют последовательность кадров в соответствии с монтажным листом;
передают последовательность кадров клиентской программе.
PCT/RU2013/000120 2013-02-14 2013-02-14 Автоматическая съемка и монтаж видеоролика WO2014126497A1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/007,426 US20150340068A1 (en) 2013-02-14 2013-02-14 Automatic shooting and editing of a video
RU2015138790A RU2652503C2 (ru) 2013-02-14 2013-02-14 Автоматическая съемка и монтаж видеоролика
PCT/RU2013/000120 WO2014126497A1 (ru) 2013-02-14 2013-02-14 Автоматическая съемка и монтаж видеоролика

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2013/000120 WO2014126497A1 (ru) 2013-02-14 2013-02-14 Автоматическая съемка и монтаж видеоролика

Publications (1)

Publication Number Publication Date
WO2014126497A1 true WO2014126497A1 (ru) 2014-08-21

Family

ID=51354397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2013/000120 WO2014126497A1 (ru) 2013-02-14 2013-02-14 Автоматическая съемка и монтаж видеоролика

Country Status (3)

Country Link
US (1) US20150340068A1 (ru)
RU (1) RU2652503C2 (ru)
WO (1) WO2014126497A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278078A (zh) * 2022-07-27 2022-11-01 深圳市天和荣科技有限公司 一种拍摄方法、终端及拍摄系统
CN116152711A (zh) * 2022-08-25 2023-05-23 北京凯利时科技有限公司 基于多模态的导播方法和系统以及计算机程序产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2719328C1 (ru) * 2019-12-26 2020-04-17 Общество с ограниченной ответственностью "ФАН ЭДИТОР" Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
US11302095B2 (en) 2020-01-09 2022-04-12 International Business Machines Corporation Cognitive motion picture analysis
IT202000025888A1 (it) * 2020-10-30 2022-04-30 Gobee S R L Metodo e sistema per comporre automaticamente un filmato

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009047287A1 (en) * 2007-10-09 2009-04-16 Agfa Healthcare Nv Method and apparatus for volume rendering of data sets
US7962329B1 (en) * 2000-10-23 2011-06-14 At&T Intellectual Property Ii, L.P. Text-to-scene conversion

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110605B2 (en) * 2005-02-04 2006-09-19 Dts Az Research, Llc Digital intermediate (DI) processing and distribution with scalable compression in the post-production of motion pictures
US8443284B2 (en) * 2007-07-19 2013-05-14 Apple Inc. Script-integrated storyboards
KR101458139B1 (ko) * 2008-09-18 2014-11-05 삼성전자 주식회사 연출규칙을 이용한 카메라웍 제어장치 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962329B1 (en) * 2000-10-23 2011-06-14 At&T Intellectual Property Ii, L.P. Text-to-scene conversion
WO2009047287A1 (en) * 2007-10-09 2009-04-16 Agfa Healthcare Nv Method and apparatus for volume rendering of data sets

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Montazh s neskolkikh kamer.", MULTIKAM MONTAZH. NOVOE V VEGASPRO 8.0, 27 November 2010 (2010-11-27), Retrieved from the Internet <URL:https://web.archive.org/web/20101127124903/http://provegas.ru/help/Editing_Multicamera-Video.htm> [retrieved on 20131121] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278078A (zh) * 2022-07-27 2022-11-01 深圳市天和荣科技有限公司 一种拍摄方法、终端及拍摄系统
CN116152711A (zh) * 2022-08-25 2023-05-23 北京凯利时科技有限公司 基于多模态的导播方法和系统以及计算机程序产品
CN116152711B (zh) * 2022-08-25 2024-03-22 北京凯利时科技有限公司 基于多模态的导播方法和系统以及计算机程序产品

Also Published As

Publication number Publication date
RU2652503C2 (ru) 2018-04-26
US20150340068A1 (en) 2015-11-26
RU2015138790A (ru) 2017-03-20

Similar Documents

Publication Publication Date Title
US11871109B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
Reyna The potential of 360-degree videos for teaching, learning and research
Henrikson et al. Multi-device storyboards for cinematic narratives in VR
US10453172B2 (en) Sparse-data generative model for pseudo-puppet memory recast
DeCamp et al. An immersive system for browsing and visualizing surveillance video
US20130218542A1 (en) Method and system for driving simulated virtual environments with real data
US20230093914A1 (en) Method, system and apparatus of recording and playing back an experience in a virtual worlds system
Lino et al. The director's lens: an intelligent assistant for virtual cinematography
Malinverni et al. The world-as-support: Embodied exploration, understanding and meaning-making of the augmented world
RU2652503C2 (ru) Автоматическая съемка и монтаж видеоролика
US20190156690A1 (en) Virtual reality system for surgical training
McIlvenny The future of ‘video’in video-based qualitative research is not ‘dumb’flat pixels! Exploring volumetric performance capture and immersive performative replay
US20200104030A1 (en) User interface elements for content selection in 360 video narrative presentations
US20230061761A1 (en) Synthetic emotion in continuously generated voice-to-video system
Evin et al. Cine-AI: Generating video game cutscenes in the style of human directors
Liu et al. A comparison of immersive and non-immersive VR for the education of filmmaking
Gholap et al. Past, present, and future of the augmented reality (ar)-enhanced interactive techniques: A survey
WO2024131577A1 (zh) 用于创建特效的方法、装置、设备和介质
Ponto et al. Effective replays and summarization of virtual experiences
Liao et al. Storytelling via navigation: A novel approach to animation for scientific visualization
Chu et al. Navigable videos for presenting scientific data on affordable head-mounted displays
Rome Narrative virtual reality filmmaking: A communication conundrum
Chen et al. CinePreGen: Camera Controllable Video Previsualization via Engine-powered Diffusion
Leal An embodied poetics: Screenwriting for immersive media
US20220062761A1 (en) Systems and methods for determining story path based on audience interest

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14007426

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13874949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2015138790

Country of ref document: RU

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 13874949

Country of ref document: EP

Kind code of ref document: A1