WO2017014680A1 - Способ отображения объекта на пространственной модели - Google Patents

Способ отображения объекта на пространственной модели Download PDF

Info

Publication number
WO2017014680A1
WO2017014680A1 PCT/RU2016/050020 RU2016050020W WO2017014680A1 WO 2017014680 A1 WO2017014680 A1 WO 2017014680A1 RU 2016050020 W RU2016050020 W RU 2016050020W WO 2017014680 A1 WO2017014680 A1 WO 2017014680A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spatial
interest
model
coordinates
Prior art date
Application number
PCT/RU2016/050020
Other languages
English (en)
French (fr)
Inventor
Виталий Витальевич АВЕРЬЯНОВ
Андрей Валерьевич КОМИССАРОВ
Original Assignee
Виталий Витальевич АВЕРЬЯНОВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Виталий Витальевич АВЕРЬЯНОВ filed Critical Виталий Витальевич АВЕРЬЯНОВ
Priority to EP16828140.0A priority Critical patent/EP3327676B1/en
Priority to KR1020187004548A priority patent/KR20180042242A/ko
Priority to CN201680054493.4A priority patent/CN108431871B/zh
Priority to US15/748,317 priority patent/US10825250B2/en
Publication of WO2017014680A1 publication Critical patent/WO2017014680A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the invention relates to the field of information technology, computer technology, namely the processing and generation of image data, image processing for computer graphics and can be used to visualize three-dimensional models in the image.
  • the closest in technical essence - the prototype is a method of mapping glacial geomorphology, containing stages in which: take the image of the study area, obtained by satellite; adopt a digital elevation model of the study area; identify plains and ridges on a digital elevation model; identify swamps and forests in the satellite image; and form a glaciological map having glacial features based on the identified plains, ridges, marshes and forests. (see RU 2519667 C2, class G01C11 / 06, G06T17 / 05).
  • the known method can be implemented to visualize the results of modeling natural processes taking into account the cartographic information of the area.
  • the disadvantage of this method is the limited use of it only by displaying the results of modeling processes on the ground for which there are digital elevation maps.
  • the known method cannot be used to display simulation results on the surface of movable objects or objects that are not tied to the terrain.
  • the known solution does not allow the implementation of additional objects in the constructed model and determine the results of the interaction of additional objects with the model.
  • the technical result is the expansion of the scope by providing the possibility of forming a spatial model without involving additional data about the study area, providing the possibility the formation of a spatial model of movable objects or the internal space of objects, as well as providing the possibility of obtaining the results of the interaction of the spatial model with models of various objects.
  • the point of interest is a group of adjacent image points having a characteristic configuration that is stored on a set of successive image frames
  • the search area of the point of interest on the frame corresponds to the spatial sector, the angular coordinates of which are determined taking into account the parameters of the optical system of the video camera
  • the image size of the additional object is selected based on the dimensions of the spatial model and / or by the user manually,
  • control signals of the model of the additional object are formed by user exposure to the controls of the image forming apparatus
  • the movement of the camera is carried out in an arbitrary direction and / or in accordance with predetermined recommendations
  • FIG. 1 schematically shows one embodiment of a method in a game related to automotive topics
  • FIG. 2 schematically shows the process of updating the spatial coordinates as a result of image processing of three frames of a video image
  • FIG. 3 is a part of a display with a monitor image on which there are characteristic configurations of contrast points defined as points of interest
  • FIG. 4 is a functional diagram of an image forming apparatus for implementing a method for displaying an object on a spatial model
  • FIG. 5 is a block diagram of a processor control program.
  • the method of displaying an object on a spatial model consists in obtaining an image formed by a video camera that has fallen into the field of view of a video camera of space, identifying points of interest on the image frames, that is, groups of adjacent image points having a characteristic configuration stored on a plurality of following each other after another image frames, and determine their coordinates on the frame.
  • the camera is moved in an arbitrary direction and / or in accordance with predetermined recommendations and data is obtained on the parameters of the camera moving, based on which the predicted spatial coordinates of the sectors are calculated, in which it is possible to find details of the real space displayed on the image with the corresponding points of interest, as a result such an accomplished movement of the camcorder.
  • data on the motion parameters of the video camera are received in the form of signals containing an estimate of the direction and magnitude of the movement of the video camera, generated by frame-by-frame analysis of the video image, or generated at the output of gyroscopic sensors or speed and direction sensors, or acceleration sensors.
  • the coordinates of the region on the frame are also determined, for each of the indicated sectors, in which the corresponding point of interest is expected to be found and the point of interest is searched within the specified region on the frame, and when it is detected, the spatial coordinates of the corresponding sector are stored in memory.
  • the region of the search frame of the point of interest on the frame corresponds to the spatial sector, the angular coordinates of which are determined taking into account the parameters of the optical system - the camera’s lens.
  • the spatial coordinates of these sectors are specified by performing the above actions on subsequent image frames obtained from the points of the camera’s motion path and map the images of points of interest to the spatial coordinates of their respective sectors to build a spatial model.
  • the spatial coordinates of the sector that coincide with those calculated on the previous frame of the video image are saved as refined spatial coordinates of the sectors,
  • flat and / or curved surfaces are identified on the spatial model based on an analysis of the spatial coordinates of the sectors, and / or image parameters of the frame sections covering many points of interest corresponding to these sectors.
  • the fragments of the model are stored in memory, including those corresponding to those real details of the space that have ceased to fall into the field of view of the camera.
  • the model of an additional object is extracted from the memory and its control signals are generated within the spatial model by the user's influence on the controls of the image forming device. If by this time the spatial model has already been built, the results of the interaction of the model of the additional object with the parameters of the spatial model are calculated.
  • the image size of the additional object is selected based on the dimensions of the spatial model and / or by the user manually. Also scaling and / or rotation, and / or spatial transformation and / or situational transformation of the image of an additional object during its interaction with the parameters of the spatial model.
  • An image signal of an additional object superimposed on the image formed by the video camera is formed and displayed.
  • the method of displaying an object on a spatial model with an additional object is implemented as follows.
  • Points of interest are characterized by the presence of a contrast transition of brightness or color and can correspond, for example, to the shiny edge of an object that has come into the view of a video camera or to a bend of a metal surface, etc.
  • the coordinates of points of interest on the image frame are determined.
  • the camcorder is moved inside or around the scene relative to which it intends to form a spatial model.
  • the spatial coordinates of the details of the space or scene are calculated, displayed as points of interest on the image frames and observed from different points of movement of the camera.
  • the data of the optical system of the video camera is used to determine the direction to the corresponding part of the scene and predict a change in this direction caused by the movement of the video camera.
  • the forecast direction in which they expect to find the corresponding detail of the space is formed in the form of a sector representing a cone with a vertex at the location of the video camera. Only the directions of observation of the scene details corresponding to the points of interest are determined from the initial frame using data on the focal length of the camera lens and the coordinates of the corresponding point of interest on the frame. Upon receipt of subsequent frames made already from other points on the camcorder's moving path, the directions to the corresponding scene details may change, as a result of which the coordinates of the corresponding points of interest on the frame will also change. Moreover, the lower the accuracy of the forecast, the wider should be the sector of the expected direction of observation of the corresponding scene details.
  • the sector of the expected direction of observation corresponds to the search area on the frame, within which they search for the corresponding point of interest.
  • the search area is a projection of the corresponding sector of the expected directions, and its magnitude also depends on the accuracy of the forecast.
  • the magnitude of the search area for the point of interest is also determined by the speed of the camera.
  • the spatial coordinates of the corresponding ones are stored in memory as elements of a spatial model.
  • the spatial coordinates of the sectors are refined, since the observation occurs from different points of space.
  • the refinement of the spatial coordinates of the sector means its reduction, which allows to increase the accuracy of the spatial model to infinity.
  • a set of spatial coordinates of sectors corresponding to points of interest defines a spatial model.
  • the spatial coordinates of the sectors are analyzed taking into account the image parameters of the corresponding sections on the frame. If the coordinates of some sectors form a plane, and the color and brightness of the corresponding part of the image are characterized by a constant or smooth change, we conclude that there is a fragment of the model with a flat surface bounded by the corresponding sectors displayed on the frame by the corresponding points of interest.
  • the calculated coordinates of the sectors can vary nonlinearly and characterize, for example, a cylindrical surface; in this case, the brightness of the corresponding image section will also change in one direction according to the exponential law. For such fragments, it is concluded that there is a cylindrical surface.
  • fragments of a spatial model with various surface properties can be identified.
  • a model of an additional object is selected and placed inside the spatial model.
  • the controls of the imaging device are mechanical and touch buttons and keys, joysticks, voice input, etc.
  • An additional object can be both virtual creatures and various virtual objects and devices, such as a car.
  • the model of an additional object is characterized by certain properties and can be programmed to perform certain actions or be controlled by a user who generates the signals of the corresponding commands with the help of control elements to work out an additional object with their model.
  • the results of the interaction of the properties of the model of the additional object with the parameters of the spatial model are calculated.
  • Such results include various movements, transformations of the image of the model of an additional object or parts of a spatial model, sound signals, etc.
  • the imaging device for implementing the method of displaying an object on a spatial model includes a video camera, the output of which is connected to the corresponding input of point of interest detection means, the output of which is connected to the input of point of interest coordinates calculating means, the output of which is connected to the input of expected means of calculating sector coordinates coordinates of the point of interest on the frame, the output of which is connected to the corresponding input of point detection tools int the input, the output of means of calculating the coordinates of points of interest is connected to the input of the means of forming a spatial model, the electronic memory, the output of which through the means of extracting models of additional objects, is connected to the input of the means of calculating the results of interaction of models whose output is connected to the input of the display through the means of generating image signals, calculation means movement parameters connected to the inputs of the means of calculating the spatial coordinates of the sector and controls connected to the
  • the imaging device operates as follows.
  • Signals of the digital image from the output of the camera are fed to the means of detecting points of interest, where fragments of the image, which are subsequently taken as points of interest, are detected.
  • the means of calculating the coordinates of points of interest provide the calculation of the coordinates of the identified points of interest, on the basis of which, taking into account the parameters of the camera’s lens and the camera’s movement data, the angular coordinates of the spatial sector are calculated by calculating the spatial coordinates of the sector, in which the image of the space is previously assumed point of interest. Based on the spatial coordinates of the sector, the coordinates of the expected area of interest point detection on the frame are calculated.
  • the spatial model is used to build a spatial model corresponding to the spatial scene that has come into the view of the camera.
  • the means of forming a spatial model also provide an analysis of the spatial coordinates of sectors in order to identify flat or curved surfaces.
  • Means for calculating the results of the interaction of models provide the calculation of possible displacements, transformations, and other actions of the model of an additional object, which is in conditions determined by the properties of the spatial model.
  • the result of the interaction may be a change in position, image of an additional object, its transformation, sounds, etc.
  • a final image signal is generated in which the image of the additional object is superimposed on the real-time image of the spatial scene, which is fed to the display for visualization.
  • the computing means 15 of the image forming apparatus is based on a processor implementing a program whose structural diagram is shown in FIG. 5.
  • the specified structural diagram implements the implementation of the method in relation to one point of interest. To implement the method with respect to many points of interest, the same operations will be added with respect to the remaining points of interest.
  • the program begins by receiving a video image from the video camera output and forming a command to extract an additional object from the model’s memory, as well as placing an image of an additional object on the image.
  • the spatial model has not yet been created, then they proceed to processing the next frame, if the spatial model is already built, then the result of the interaction of the models is calculated.
  • the point of interest in the expected area of the frame is not detected, then go to the next frame. If the point of interest is found in the expected region of the frame, then the spatial coordinates of the sector where the detail of the spatial scene corresponding to the point of interest is located are refined.
  • the method of displaying an object on a spatial model can be carried out both in relation to areas of terrain and in relation to moving objects, including in relation to the internal space of premises, and does not require the use of special cut surfaces.
  • the user points the video camera of a mobile phone, which is an image forming device, to objects that form the scene into which the virtual pet wants to be placed.
  • the scene contains various objects and surfaces.
  • the image signals captured by the video camera of the spatial scene arrive at the computing means of the mobile phone, where they are processed.
  • points are identified on the image that have a characteristic configuration: points of interest.
  • Points of interest are a set of adjacent image pixels that are a display of contrasting details of the scene surface, such as angles, protrusions, etc.
  • f is the focal length of the optical system of the camcorder.
  • the camcorder of the mobile phone is moved randomly or in accordance with prompts generated by a software method aimed at accelerating the creation of a spatial model.
  • angular sectors are predicted, where they expect to see the details of the scene to which the points of interest correspond. These angular sectors correspond to the search area on the frame of the video image. Within the indicated search areas, the search and detection of the corresponding points of interest are carried out and the spatial coordinates of the corresponding scene detail are calculated.
  • At least one pet is selected from the memory and placed on an image that has already been described by a spatial model.
  • a pet is a model of a creature whose actions in time are programmed in advance.
  • a pet in accordance with the program laid down for him, can move, grow, make sounds, reacting to obstacles, etc.
  • the pet model program also involves various transformations of its image.
  • the pet model program in addition to autonomous movements, also involves user control using the controls of a mobile phone.
  • the signal of the final image including the image of the pet, superimposed on the image captured by the video camera of the scene, is fed to the corresponding inputs of the display of the mobile phone for display.
  • the user points the video camera of a mobile phone or smartphone, which is an image forming device on a horizontal surface, for example, a table on which various objects are placed: a vase, pencils, a book and other objects.
  • the video image formed by the camcorder is sent to the computing means of the mobile phone for processing.
  • contrast-sensitive, time-stable consisting of several pixels of objects in the image are detected, they are recognized as their points of interest.
  • the camcorder of the mobile phone is moved by measuring the coordinates of the parts of the spatial scene corresponding to the points of interest in the received frames.
  • the movement parameters of the video camera are calculated based on the signals received from the outputs of the gyroscopic sensors of the mobile phone.
  • the spatial coordinates of the sectors corresponding to the points of interest are calculated and refined by the results of image processing of subsequent frames.
  • the spatial coordinates of the sectors associated with the corresponding points of interest specified during the movement of the camera determine the spatial model.
  • fragments are distinguished within which the coordinates of the sectors are characterized as flat or curved surfaces. This may correspond, for example, to the surface of a table or other object.
  • a vehicle is selected from the set of stored in the memory of the mobile phone to display it on the image.
  • the selected vehicle for example, an SUV
  • the selected vehicle has initial dimensions proportional to the frame size, for example, 1/20 of the image area, which can be adjusted by the user.
  • the dimensions of the image of the vehicle are kept proportional to the distances between sectors corresponding to points of interest or sizes of detected objects. For example, when the camcorder approaches the table on which the vase is standing, the image of the SUV is formed so that its size remains proportional to the size of the vase and / or table.
  • the user generates commands for moving the vehicle within the image using the telephone controls.
  • Computing tools provide a comparison of the parameters of the vehicle model with the parameters of the surface on which the specified vehicle was located, and determine the possibility of moving in a given direction. If movement is possible, then an image of the moving vehicle is formed, if the specified movement is not possible, for example, due to the presence of an obstacle exceeding the vehicle’s dimensions, an image of the vehicle stopped in front of the obstacle is displayed with visualization of the emergency.
  • the image of the vehicle is formed with the corresponding deformations of the axle and the body, tilts, rotating elements, tipping over if the surface provided by the model turned out to be inclined, etc.
  • the diameter of the wheels of the car can allow it to overcome the pencil lying on its way, but standing on his way the vase will be an insurmountable obstacle that caused the car to stop.
  • the car model extracted from the memory is characterized by certain parameters, speed limits, wheel sizes, suspension parameters, etc., which are used when practicing moving a car and changing its image in the process of moving, for example in turns, or when overcoming obstacles.
  • a video signal is generated, implying an overlay of the vehicle’s image on the image generated by the video camera and fed to the display inputs of the mobile phone for display.
  • the user reacting to the image of a moving vehicle, adjusts the direction of movement, forming commands using the controls of a mobile phone.
  • the imaging device is installed on the car and is designed to help the driver in difficult situations. It includes a video camera, a processor with memory, and a monitor. The scene is a section of road in front of or behind the car.
  • the image from the output of the video camera is supplied to computing means, where the points of interest of the image, the contours of some objects with a characteristic brightness and / or color and their coordinates are detected.
  • signals are also received at the processor inputs that characterize the amount of movement, speed and direction.
  • the puddle is displayed as a reflecting surface
  • the pit and the hummock have illuminated and darkened areas, on which we can draw conclusions about the presence of these objects on the road. Marking elements, the edge of the road, the curb, steep ascents or descents, tree trunks, etc. can also be identified.
  • the spatial model containing the properties of the identified objects allows us to predict the consequences of moving the car in a given direction. If, in accordance with the current direction and speed, dangerous consequences are possible due to the presence of one of the identified obstacles, this obstacle is highlighted in the final image in color, depending on the hazard.
  • the final image is the sum of the road section obtained from the video camera and superimposed on it, predicted for a few seconds ahead, the position of the car, as well as the selected hazardous areas. This final image is displayed, so that the driver has the opportunity to change the motion parameters if necessary.
  • the model of an additional object is the technical characteristics of the car and its movement parameters, the initial coordinates are fixed coordinates at the beginning of the movement.
  • the method of displaying an object on a spatial model can be implemented using standard elements and components of a digital electronic base, including means for converting optical information into electrical signals, calculation tools, and electronic memory and image output means.
  • the invention has a wider scope due to the possibility of forming a spatial model without involving additional data about the area under study, such as elevation maps, providing the possibility of forming a spatial model of movable objects or the internal space of objects, and also provides the possibility of obtaining the results of the interaction of the spatial model with models of various objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области информационных технологий. Получают сформированное с помощью видеокамеры изображение и формируют модель, при этом, выявляют на кадрах изображения точки интереса и определяют их координаты, осуществляют перемещение видеокамеры, получают данные о параметрах осуществленного перемещения, вычисляют прогнозируемые пространственные координаты секторов, в которых возможно нахождение деталей реального пространства, отображаемых на изображении соответствующими точками интереса, определяют координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса, осуществляют поиск точки интереса в пределах указанной области на кадре, и при ее обнаружении сохраняют в памяти пространственные координаты соответствующего сектора, сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов на пространственной модели, выявляют на пространственной модели плоские и/или искривленные поверхности, извлекают из памяти модель дополнительного объекта и формируют сигналы ее управления, вычисляют результаты взаимодействия модели дополнительного объекта с параметрами пространственной модели, формируют и выводят на дисплей сигнал изображения дополнительного объекта, наложенного на изображение, формируемое видеокамерой.

Description

СПОСОБ ОТОБРАЖЕНИЯ ОБЪЕКТА НА ПРОСТРАНСТВЕННОЙ МОДЕЛИ
Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображений для машинной графики и может быть использовано для визуализации трёхмерных моделей на изображении.
Наиболее близким по технической сущности - прототипом является способ картографирования ледниковой геоморфологии, содержащий этапы, на которых: принимают изображение исследуемого района, полученное с помощью спутника; принимают цифровую модель возвышений исследуемого района; идентифицируют равнины и гряды на цифровой модели возвышений; идентифицируют болота и леса на изображении, полученном с помощью спутника; и формируют гляциологическую карту, имеющую ледниковые признаки, на основе идентифицированных равнин, гряд, болот и леса. (см. RU 2519667 С2, кл. G01C11/06, G06T17/05).
Известный способ может быть реализован для визуализации результатов моделирования природных процессов с учётом картографической информации местности.
Недостатком известного способа является ограниченность его применения лишь отображением результатов моделирования процессов на местности, для которой существуют цифровые карты возвышенностей. Известный способ не может быть использован для отображения результатов моделирования на поверхности движимых объектов или объектах, не привязанных к местности.
Известное решение не позволяет осуществлять внедрение дополнительных объектов в построенную модель и определять результаты взаимодействия дополнительных объектов с моделью.
Указанный недостаток ограничивает область применения известного способа.
Техническим результатом является расширение области применения за счёт обеспечения возможности формирования пространственной модели без привлечения дополнительных данных об исследуемом районе, обеспечения возможности формирования пространственной модели движимых объектов или внутреннего пространства объектов, а также обеспечение возможности получения результатов взаимодействия пространственной модели с моделями различных объектов.
Указанный результат достигается тем, что в способе отображения объекта на пространственной модели, заключающемся в получении сформированного с помощью видеокамеры изображения и формировании модели, выявляют на кадрах изображении точки интереса и определяют их координаты на кадре, осуществляют перемещение видеокамеры, получают данные о параметрах осуществлённого перемещения видеокамеры, на основе которых вычисляют прогнозные значения пространственных координат секторов, в которых возможно нахождение деталей реального пространства, отображаемых на изображении соответствующими точками интереса, в результате осуществлённого перемещении видеокамеры, и определяют координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса, осуществляют поиск точки интереса в пределах указанной области на кадре, и при её обнаружении сохраняют в памяти пространственные координаты соответствующего сектора, уточняют пространственные координаты указанных секторов путём осуществления перечисленных действий на последующих кадрах изображения, полученных из разных точек траектории движения видеокамеры, сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов на пространственной модели, выявляют на пространственной модели плоские и/или искривлённые поверхности, извлекают из памяти модель дополнительного объекта и формируют сигналы её управления в пределах пространственной модели, вычисляют результаты взаимодействия модели дополнительного объекта с параметрами пространственной модели, формируют и выводят для отображения на дисплее сигнал изображения дополнительного объекта, наложенного на изображение, формируемое видеокамерой в реальном времени.
Кроме того: - точкой интереса является группа рядом расположенных точек изображения, обладающих характерной конфигурацией, сохраняющейся на множестве следующих друг за другом кадров изображения, - область поиска точки интереса на кадре, соответствует пространственному сектору, угловые координаты которого определяют с учётом параметров оптической системы видеокамеры,
- размер изображения дополнительного объекта выбирают исходя из размеров пространственной модели и/или пользователем вручную,
- осуществляют масштабирование и/или поворот, и/или пространственное преобразование и/или ситуативную трансформацию изображения дополнительного объекта при его взаимодействии с параметрами пространственной модели,
- получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры формируемых средствами покадрового анализа видеоизображения,
- получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры формируемых на выходе гироскопических датчиков или датчиков скорости и направления движения, или датчиков ускорения,
- сигналы управления моделью дополнительного объекта формируют путём воздействия пользователя на органы управления устройства формирования изображения,
- перемещение видеокамеры осуществляют в произвольном направлении и/или в соответствии с заранее определёнными рекомендациями,
- сохраняют в качестве уточнённых пространственных координат секторов, лишь те пространственные координаты сектора, которые совпадают с вычисленными на предыдущем кадре видеоизображения,
- осуществляют обнаружение образов заранее определённых объектов и встраивают их пространственные свойства в пространственную модель,
- сохраняют в памяти фрагменты модели, в том числе соответствующие тем реальным деталям пространства, которые перестали попадать в поле зрения видеокамеры,
- выявляют на пространственной модели плоские и/или искривлённые поверхности исходя из анализа пространственных координат секторов,
- выявляют на пространственной модели плоские и/или искривлённые поверхности исходя из анализа параметров изображения участков кадра, охватывающих множество точек интереса. Способ отображения объекта на пространственной модели поясняется с помощью чертежей, где на Фиг. 1 схематично показан один из вариантов осуществления способа в игре, связанной с автомобильной тематикой, на Фиг. 2 схематично показан процесс уточнения пространственных координат в результате обработки изображений трёх кадров видеоизображения, на Фиг. 3 - часть дисплея с изображением монитора, на котором имеются характерные конфигурации контрастных точек, определённых как точки интереса, на Фиг. 4 - функциональная схема устройства формирования изображения для осуществления способа отображения объекта на пространственной модели, на Фиг. 5 - структурная схема программы управления процессором.
На чертежах сделаны следующие обозначения.
1 - дисплей устройства формирования изображения, 2 - траектория перемещения видеокамеры устройства формирования изображения, 3 - плоская поверхность отображаемой сцены, 4 - цилиндрическая поверхность отображаемой сцены, 5 - изображение дополнительного объекта на визуализируемого на дисплее устройства формирования изображения, 6, 7, 8 - первый, второй и третий кадры соответственно, полученные из разных точек траектории перемещения видеокамеры, 9 - направление на деталь сцены, вычисленное по результатам обработки первого кадра, 10 - угловые размеры сектора, в котором ожидается наблюдение детали сцены, соответствующей точки интереса, из точки траектории, соответствующей второму кадру, 11 - угловые размеры сектора из точки траектории третьего кадра, в котором ожидается наблюдение детали сцены, соответствующей точки интереса, 12 - заштрихованная область уточнённых пространственных координат детали сцены, вычисленным по трём кадрам, 13 -деталь сцены, формирующая изображение, определённое как точка интереса, 14 - примеры выявления точек интереса, обладающих характерной конфигурацией, 15 - вычислительные средства устройства формирования изображения, 16 - видеокамера формирования цифрового изображения, 17 - средства выявления точек интереса, 18— средства вычисления координат точек интереса на кадре, 19 - средства вычисления пространственных координат сектора, в котором ожидается наблюдений соответствующей детали на следующем кадре, 20 - средства вычисления области ожидаемых координат точки интереса на кадре, 21 - средства формирования пространственной модели, 22 - средства извлечения модели дополнительного объекта, 23 - органы управления, формирующие сигналы команд управления моделью дополнительного объекта, 24 - средства вычисления результатов взаимодействия модели дополнительного объекта с пространственной моделью, 25 - средства формирования сигнала итогового изображения, 26 - дисплей для вывода изображения, 27 - операция начала формирования изображения и извлечение модели дополнительного объекта, 28 - выявление точки интереса, 29 - вычисление координат точки интереса, 30 - вычисление пространственных координат сектора и координат области кадра, где ожидается обнаружение точки интереса, 31 - проверка условия существования пространственной модели, 32 - вычисление результатов взаимодействия пространственной модели с моделью дополнительного объекта, 33, 34 -формирование итогового сигнала изображения и вывод его на дисплей, соответственно, 35 - проверка наличия команды завершения программы, 36 - завершение программы, 37 - проверка условия обнаружения точки интереса в ожидаемой области кадра, 38 - уточнение пространственных координат сектора, 39 - переход к следующему кадру.
Способ отображения объекта на пространственной модели, заключается в том, что получают сформированное с помощью видеокамеры изображение, попавшее в поле зрения видеокамеры пространства, выявляют на кадрах изображении точки интереса, то есть группы рядом расположенных точек изображения, обладающих характерной конфигурацией, сохраняющейся на множестве следующих друг за другом кадров изображения, и определяют их координаты на кадре. Осуществляют перемещение видеокамеры в произвольном направлении и/или в соответствии с заранее определёнными рекомендациями и получают данные о параметрах осуществлённого перемещения видеокамеры, на основе которых вычисляют прогнозируемые пространственные координаты секторов, в которых возможно нахождение деталей реального пространства, отображаемых на изображении соответствующими точками интереса, в результате такого осуществлённого перемещении видеокамеры. При этом данные о параметрах перемещения видеокамеры получают в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры, формируемых средствами покадрового анализа видеоизображения, или формируемых на выходе гироскопических датчиков или датчиков скорости и направления движения, или датчиков ускорения. Определяют также координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса и осуществляют поиск точки интереса в пределах указанной области на кадре, а при её обнаружении сохраняют в памяти пространственные координаты соответствующего сектора. При этом область кадра поиска точки интереса на кадре, соответствует пространственному сектору, угловые координаты которого определяют с учётом параметров оптической системы - объектива видеокамеры.
Далее при обработке следующего кадра уточняют пространственные координаты указанных секторов путём осуществления перечисленных действий на последующих кадрах изображения, полученных из точек траектории движения видеокамеры и сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов для построения пространственной модели. При этом в качестве уточнённых пространственных координат секторов сохраняют лишь те пространственные координаты сектора, которые совпадают с вычисленными на предыдущем кадре видеоизображения,
Кроме того выявляют на пространственной модели плоские и/или искривлённые поверхности исходя из анализа пространственных координат секторов, и/или параметров изображения участков кадра, охватывающих множество точек интереса, соответствующих этим секторам.
Сохраняют в памяти фрагменты модели, в том числе соответствующие тем реальным деталям пространства, которые перестали попадать в поле зрения видеокамеры.
Осуществляют также обнаружение и распознавание образов заранее определённых объектов, образы которых хранят в памяти и встраивают их пространственные свойства в пространственную модель.
На каком-то этапе извлекают из памяти модель дополнительного объекта и формируют сигналы её управления в пределах пространственной модели путём воздействия пользователя на органы управления устройства формирования изображения. Если к этому времени пространственная модель уже построена, вычисляют результаты взаимодействия модели дополнительного объекта с параметрами пространственной модели. Размер изображения дополнительного объекта выбирают исходя из размеров пространственной модели и/или пользователем вручную. Осуществляют также масштабирование и/или поворот, и/или пространственное преобразование и/или ситуативную трансформацию изображения дополнительного объекта при его взаимодействии с параметрами пространственной модели.
Формируют и выводят на дисплей сигнал изображения дополнительного объекта, наложенного на изображение, формируемое видеокамерой.
Способ отображения объекта на пространственной модели с дополнительным объектом, реализуют следующим образом.
Формируют с помощью перемещаемой пользователем видеокамеры сигналы изображения, попавшего в поле её зрения пространства - сцены, характеризуемой наличием различных деталей и присутствием отдельных объектов. Выявляют на кадрах изображения его фрагменты, обладающие характерной конфигурацией и присутствующие на множестве следующих друг за другом кадров видеоизображения, обозначаемые как точки интереса. Точки интереса характеризуются наличием контрастного перехода яркости или цвета и могут соответствовать, например, блестящей кромке предмета, попавшего в поле зрения видеокамеры или изгибу металлической поверхности и пр.
Определяют координаты точек интереса на кадре изображения.
Видеокамеру перемещают внутри или вокруг сцены, относительно которой намереваются сформировать пространственную модель. Вычисляют пространственные координаты деталей пространства или сцены, отображаемых в виде точек интереса на кадрах изображения и наблюдаемых из разных точек перемещения видеокамеры. При этом используют данные оптической системы видеокамеры для определения направления на соответствующую деталь сцены и прогнозируют изменение этого направления, вызванного перемещением видеокамеры.
Для формирования этого прогноза получают данные о параметрах уже осуществлённого перемещения, которые могут быть получены путём применения соответствующих алгоритмов покадрового анализа изменяющегося изображения, либо с выходов гироскопических датчиков, либо с датчиков скорости и направления движения.
Прогнозное направление, на котором ожидают обнаружить соответствующую деталь пространства, формируют в виде сектора представляющего собой конус с вершиной в месте нахождения видеокамеры. По начальному кадру определяют лишь направления наблюдения деталей сцены, соответствующих точкам интереса, используя данные о фокусном расстоянии объектива видеокамеры и координат соответствующей точки интереса на кадре. При получении последующих кадров, сделанных уже из других точек траектории перемещения видеокамеры, направления на соответствующие детали сцены могут измениться, вследствие чего изменятся и координаты соответствующих точек интереса на кадре. При этом, чем ниже точность прогноза, тем шире должен быть сектор ожидаемого направления наблюдения соответствующей детали сцены.
Сектору ожидаемого направления наблюдения соответствует область поиска на кадре, в пределах которого осуществляют поиск соответствующей точки интереса. Область поиска является проекцией соответствующего сектора ожидаемых направлений, и его величина также зависит от точности прогноза. Кроме того величина области поиска точки интереса определяется также скоростью перемещения видеокамеры.
При обнаружении точек интереса в соответствующих областях поиска пространственные координаты соответствующих сохраняют в памяти как элементы пространственной модели. В процессе многократного обнаружения точек интереса в соответствующих областях поиска пространственные координаты секторов уточняются, так как наблюдение происходит из разных точек пространства. Уточнение пространственных координат сектора означает его уменьшение, что позволяет увеличивать точность пространственной модели до бесконечности.
При этом уточнение пространственных координат касается лишь неподвижных деталей пространства.
Набор пространственных координат секторов, соответствующих точкам интереса определяет пространственную модель.
Далее пространственные координаты секторов анализируют с учётом параметров изображения соответствующих участков на кадре. Если координаты некоторых секторов образуют плоскость, а цвет и яркость соответствующего участка изображения характеризуются постоянством или плавностью изменения, то делают вывод о наличии фрагмента модели с плоской поверхностью, ограниченной соответствующими секторами, отображаемыми на кадре соответствующими точками интереса. Вычисленные координаты секторов могут изменяться нелинейно и характеризовать, например, цилиндрическую поверхность, в этом случае яркость соответствующего участка изображения также будет меняться в одном из направлений по экспоненциальному закону. Для таких фрагментов делают вывод о наличии цилиндрической поверхности.
Таким образом, могут быть выявлены фрагменты пространственной модели с различными свойствами поверхности.
Осуществляют также обнаружение образов заранее определённых объектов, например, карандаш, кружка и т.п. и встраивают их пространственные свойства в пространственную модель.
После построения модели, по команде пользователя, формирующего соответствующие сигналы посредством органов управления устройства формирования изображения, выбирают модель дополнительного объекта и помещают его внутрь пространственной модели. Органами управления устройства формирования изображения являются механические и сенсорные кнопки и клавиши, джойстики, средства голосового ввода и пр.
Дополнительным объектом могут быть как виртуальные существа, так и различные виртуальные предметы и устройства, например автомобиль.
Модель дополнительного объекта характеризуется определёнными свойствами и может быть запрограммирована на совершение определённых действий или быть управляемой пользователем, который формирует с помощью органов управления сигналы соответствующих команд для отработки их моделью дополнительного объекта.
Вычислительными средствами устройства формирования изображения осуществляют вычисление результатов взаимодействия свойств модели дополнительного объекта с параметрами пространственной модели. Такими результатами являются различные перемещения, трансформации изображения модели дополнительного объекта или участков пространственной модели, звуковые сигналы и пр.
Формируют сигналы итогового изображения, включающего видеоизображение, формируемое видеокамерой в реальном времени и наложенное на него изображение объекта. Устройство формирования изображения для осуществления способа отображения объекта на пространственной модели включает видеокамеру, выход которой подключён к соответствующему входу средств обнаружения точек интереса, выход которых соединён со входом средств вычисления координат точек интереса, выход которого через средства вычисления пространственных координат сектора подключён ко входу средств вычисления ожидаемых координат точки интереса на кадре, выход которого подключён к соответствующему входу средств обнаружения точек интереса, выход средств вычисления координат точек интереса подключён ко входу средств формирования пространственной модели, электронная память, выход которой через средства извлечения моделей дополнительных объектов подключён ко входу средств вычисления результатов взаимодействия моделей, выход которых через средства формирования сигналов изображения подключён ко входу дисплея, средства вычисления параметров перемещения, подключённые ко входам средств вычисления пространственных координат сектора и органы управления подключённые ко входам средств вычисления результатов взаимодействия моделей.
Устройство формирования изображения работает следующим образом.
Сигналы цифрового изображения с выхода видеокамеры поступают на средства обнаружения точек интереса, где выявляют фрагменты изображения, принимаемые в дальнейшем за точки интереса. Средства вычисления координат точек интереса обеспечивают вычисление координат выявленных точек интереса, на основе которых, а также с учётом параметров объектива видеокамеры и данных перемещения видеокамеры средствами вычисления пространственных координат сектора вычисляют угловые координаты пространственного сектора, в котором ожидают наличие детали пространства, изображение которой ранее приняли за точку интереса. На основе пространственных координат сектора вычисляют координаты ожидаемой области обнаружения точки интереса на кадре.
На основе координат обнаруженных точек интереса и с учётом параметров объектива видеокамеры средствами формирования пространственной модели строят пространственную модель, соответствующую пространственной сцене, попавшей в поле зрения видеокамеры. Средства формирования пространственной модели обеспечивают также анализ пространственных координат секторов на предмет выявления плоских или искривлённых поверхностей.
С помощью органов управления извлекают из памяти модель дополнительного объекта и размещают её в созданной пространственной модели, а также осуществляют её управление.
Средства вычисления результатов взаимодействия моделей обеспечивают вычисление возможных перемещений, трансформаций и иных действий модели дополнительного объекта, находящейся в условиях, определяемых свойствами пространственной модели. Результатами взаимодействия могут являться изменение положения, изображения дополнительного объекта, его трансформации звуки и пр.
В средствах формирования изображения формируют сигнал итогового изображения, в котором изображение дополнительного объекта накладывают на формируемое в реальном времени изображение пространственной сцены, который подают для визуализации на дисплей.
Вычислительные средства 15 устройства формирования изображения выполнены на основе процессора, реализующего программу, структурная схема которого представлена на Фиг. 5. Указанная структурная схема реализует осуществление способа в отношении одной точки интереса. Для реализации способа в отношении множества точек интереса добавят те же операции в отношении остальных точек интереса.
Программа начинается получением видеоизображения с выхода видеокамеры и формирования команды на извлечение из памяти модели дополнительного объекта, а также помещением изображения дополнительного объекта на изображении.
Затем следуют операции выявления точки интереса и определение её координат, а также вычисление пространственных координат сектора и координат области ожидания точки интереса на следующем кадре.
Далее если пространственная модель ещё не создана, то переходят к обработке следующего кадра, если пространственная модель уже построена, то вычисляют результат взаимодействия моделей.
Формируют итоговый сигнал изображения и выводят его на дисплей. Проверяют наличие команды завершения программы, если команда поступила, то программу завершают, если такой команды нет, то переходят к обнаружению точки интереса в определённой ранее области ожидаемого нахождения точки интереса на кадре.
Если точка интереса в ожидаемой области кадра не обнаруживается, то переходят к следующему кадру. Если же точка интереса обнаружена в ожидаемой области кадра, то осуществляют уточнение пространственных координат сектора, в котором находится деталь пространственной сцены, соответствующая точке интереса.
Способ отображения объекта на пространственной модели может быть осуществлён как в отношении участков местности, так и в отношении перемещаемых объектов, в том числе в отношении внутреннего пространства помещений, и не требует использования специальных кат поверхности.
Способ отображения объекта на пространственной модели позволяет формировать пространственные модели и моделировать взаимодействие различных объектов со свойствами построенных пространственных моделей.
Пример 1.
В процессе реализации игры, которую условно можно охарактеризовать как виртуальный питомец, пользователь наводит видеокамеру мобильного телефона, являющегося устройством формирования изображения на объекты, формирующие сцену, в которую желает поместить виртуального питомца. Сцена содержит различные предметы и поверхности.
Сигналы изображения захваченной видеокамерой пространственной сцены поступают на вычислительные средства мобильного телефона, где они обрабатывается. В процессе обработки сигналов изображения осуществляют выявление на изображении точек, обладающих характерной конфигурацией: точек интереса. Точки интереса представляют собой совокупность рядом расположенных пикселей изображения, являющихся отображением контрастных деталей поверхности сцены, например углов, выступов и пр.
При этом угловые значения φ направлений на детали пространственной сцены, соответствующие точкам интереса на кадре определяют, например, согласно выражению: p=arctg(d/f), где: d - координата отклонения от оптической оси,
f— фокусное расстояние оптической системы видеокамеры.
Осуществляют перемещение видеокамеры мобильного телефона произвольно или в соответствии с подсказками, формируемыми программным способом, направленным на ускорение создания пространственной модели.
В результате покадрового анализа видеоизображения получают оценку параметров осуществлённого перемещения видеокамеры мобильного телефона, при этом, продолжают вывод изображения на дисплей.
На основе полученной оценки параметров перемещения прогнозируют угловые секторы, где ожидают увидеть детали сцены, которым соответствуют точки интереса. Этим угловым секторам соответствуют области поиска на кадре видеоизображения. В пределах указанных областей поиска осуществляют поиск и обнаружение соответствующих точек интереса и вычисляют области пространственных координат соответствующей детали сцены.
Дальнейшим перемещением видеокамеры и вычислением пространственных координат из разных ракурсов наблюдения обеспечивают уточнение пространственных координат соответствующих секторов, на основе которых формируют пространственную модель.
В пространственной модели выявляют фрагменты плоской или искривлённой поверхности. Так если координаты части секторов характеризуются плоскостью, а соответствующее им изображение имеют равномерную яркость и цвет, то предполагают, что этот фрагмент модели соответствует плоской поверхности и назначают участку модели в контуре указанной группы точек свойства плоской поверхности.
Далее в соответствии с командами пользователя выбирают из памяти, по меньшей мере, одного питомца и помещают его на изображение, которое уже описано пространственной моделью.
Питомец представляет собой модель некоего существа, действия которого во времени запрограммированы заранее. Питомец, в соответствии с заложенной для него программой может перемещаться, расти, издавать звуки, реагируя на препятствия и пр. Программа модели питомца предполагает также различные трансформации его изображения. Кроме того, программа модели питомца помимо автономных перемещений предполагает и управление им пользователем с помощью органов управления мобильного телефона.
Сигнал итогового изображения, включающего изображение питомца, наложенное на изображение захваченной видеокамерой сцены, подают на соответствующие входы дисплея мобильного телефона для отображения.
Пример 2
В процессе реализации игры, на автомобильную тематику, пользователь наводит видеокамеру мобильного телефона или смартфона, являющегося устройством формирования изображения на горизонтальную поверхность, например стол, на котором расставлены различные предметы: ваза, карандаши, книга и другие предметы.
Формируемое видеокамерой видеоизображение поступает на вычислительные средства мобильного телефона для обработки. В процессе обработки видеоизображения осуществляют обнаружение контрастных, устойчивых во времени, состоящих из нескольких пикселей объектов на изображении их признают их точками интереса.
Перемещают видеокамеру мобильного телефона, измеряя координаты частей пространственной сцены, соответствующих точкам интереса на полученных кадрах. При этом параметры перемещения видеокамеры вычисляют на основе сигналов, полученных с выходов гироскопических датчиков мобильного телефона.
Вычисляют пространственные координаты секторов, соответствующих точкам интереса и уточняют их по результатам обработки изображений последующих кадров. Уточнённые в процессе перемещения видеокамеры пространственные координаты секторов, ассоциированных с соответствующими точками интереса, определяют собой пространственную модель.
В составе пространственной модели выделяют фрагменты, в пределах которых координаты секторов характеризуются как плоские или изогнутые поверхности. Это может соответствовать, например, поверхности стола или иного предмета.
Если цвет группы соседних точек равномерный, а форма их контура имеет линейную вытянутую структуру, то предполагают, что эта группа точек соответствует карандашу и присваивают указанной группе точек свойства твёрдого объекта, возвышение которого над поверхностью соответствует его ширине, и т.д.
После того как пространственная модель построена по команде пользователя выбирают транспортное средство из набора хранящихся в памяти мобильного телефона для вывода его на изображение. Выбранное транспортное средство, например, внедорожник имеет пропорциональные размерам кадра начальные размеры, например, 1/20 площади изображения, которые могут корректироваться пользователем. При изменении положения видеокамеры мобильного телефона размеры изображения транспортного средства сохраняют пропорциональными расстояниям между секторами, соответствующим точкам интереса или размерам выявленных объектов. Например, при приближении видеокамеры к столу, на котором стоит ваза, изображение внедорожника формируют так, чтобы его размер, оставался пропорциональным размеру вазы и/или стола.
Далее пользователь формирует команды на перемещение транспортного средства в пределах изображения, используя органы управления телефона.
Вычислительные средства обеспечивают сопоставление параметров модели транспортного средства с параметрами поверхности, на которой оказалось указанное транспортное средство, и определяют возможность выполнения перемещения в заданном направлении. Если перемещение возможно, то формируют изображение перемещающегося транспортного средства, если заданное перемещение не возможно, например, из-за наличия на пути преграды, превышающей размеры транспортного средства, то формируют изображение остановившегося перед препятствием транспортного средства с визуализацией аварийной ситуации.
В ситуациях преодоления препятствий изображение транспортного средства формируют с соответствующими деформациями оси и кузова, наклонами, вращающимися элементами, опрокидыванием, если поверхность предусмотренная моделью оказалась наклонной и пр. Так, например диаметр колёс автомобиля может позволить ему преодолеть лежащий на его пути карандаш, но стоящая на его пути ваза будет не преодолимым препятствием, повлёкшим остановку автомобиля.
Модель автомобиля, извлечённая из памяти характеризуется определёнными параметрами, ограничениями скорости, размерами колёс, параметрами подвески и пр., которые используют при отработке перемещении автомобиля и изменения его изображения в процессе перемещения, например в поворотах, или при преодолении препятствий.
В процессе осуществления игры формируют видеосигнал, предполагающий наложение изображения транспортного средства на формируемое видеокамерой изображение и подают его на входы дисплея мобильного телефона для отображения.
Пользователь, реагируя на изображение перемещающегося транспортного средства, корректирует направление перемещения, формируя команды с помощью органов управления мобильного телефона.
Пример 3.
Устройство формирования изображения установлено на автомобиле и предназначено для помощи водителю в сложной обстановке. Оно включает видеокамеру, процессор со средствами памяти и монитор. Сценой является участок дороги перед или за автомобилем.
В процессе преодоления препятствий изображение с выхода видеокамеры поступает на вычислительные средства, где выявляют точки интереса изображения, контуры некоторых объектов, имеющих характерную яркость и/или цвет и их координаты.
В процессе движения автомобиля на входы процессора поступают также сигналы, характеризующие величину перемещения, скорость и направление.
Вычисляя пространственные координаты участков дороги, соответствующих точкам интереса формируют пространственную модель участка дороги, попавшего в поле зрения видеокамеры.
При этом некоторые участки дороги могут иметь характерные особенности. Так лужа отображается как отражающая поверхность, яма и кочка имеют освещенные и затемнённые участка, по которым можно делать выводы о наличии этих объектов на дороге. Также могут быть выявлены элементы разметки, край дороги, бордюр, крутые подъёмы или спуски, стволы деревьев и пр.
Пространственная модель, содержащая свойства выявленных объектов, позволяет прогнозировать последствия перемещения автомобиля в заданном направлении. Если в соответствии с действующим направлением и скоростью возможны опасные последствия из-за наличия одного из выявленных препятствий, то это препятствие выделяют на итоговом изображении цветом в зависимости от опасности.
Итоговое изображение является суммой полученного с видеокамеры участка дороги и наложенного на него, спрогнозированного на несколько секунд вперёд, положения автомобиля, а также выделенные опасные участки. Это итоговое изображение выводят на дисплей, так, чтобы водитель имел возможность изменить параметры движения в случае необходимости.
В этом примере моделью дополнительного объекта являются технические характеристики автомобиля и параметры его движения, начальными координатами являются фиксированные координаты вначале движения.
Способ отображения объекта на пространственной модели может быть реализован с использованием стандартных элементов и компонентов цифровой электронной базы, включая средства преобразования оптической информации в электрические сигналы, средства вычисления и электронную память и средства вывода изображения.
Таким образом, изобретение имеет более широкую область применения за счёт обеспечения возможности формирования пространственной модели без привлечения дополнительных данных об исследуемом районе, таких как карт возвышенностей, обеспечения возможности формирования пространственной модели движимых объектов или внутреннего пространства объектов, а также обеспечивает возможность получения результатов взаимодействия пространственной модели с моделями различных объектов.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1, Способ отображения объекта на пространственной модели, заключающийся в получении сформированного с помощью видеокамеры изображения и формировании модели, отличающийся тем, что выявляют на кадрах изображении точки интереса и определяют их координаты на кадре, осуществляют перемещение видеокамеры, получают данные о параметрах осуществлённого перемещения видеокамеры, на основе которых прогнозируют пространственные координаты секторов, в которых возможно нахождение деталей реального пространства, отображаемых на изображении соответствующими точками интереса, в результате осуществлённого перемещении видеокамеры, и определяют координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса, осуществляют поиск точки интереса в пределах указанной области на кадре, и при её обнаружении сохраняют в памяти пространственные координаты соответствующего сектора, уточняют пространственные координаты указанных секторов путём осуществления перечисленных действий на последующих кадрах изображения, полученных из точек траектории движения видеокамеры, сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов на пространственной модели, выявляют на пространственной модели плоские и/или искривлённые поверхности, извлекают из памяти модель дополнительного объекта и формируют сигналы её управления в пределах пространственной модели, вычисляют результаты взаимодействия модели дополнительного объекта с параметрами пространственной модели, формируют и выводят для отображения на дисплее сигнала изображения дополнительного объекта, наложенного на изображение, формируемое видеокамерой.
2. Способ по п. 1, отличающийся тем, что точкой интереса является группа рядом расположенных точек изображения, обладающих характерной конфигурацией, сохраняющейся на множестве следующих друг за другом кадров изображения.
3. Способ по п. 1, отличающийся тем, что область поиска точки интереса на кадре, соответствует пространственному сектору, угловые координаты которого определяют с учётом параметров оптической системы видеокамеры.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
4. Способ по п. 1, отличающийся тем, что размер изображения дополнительного объекта выбирают исходя из размеров пространственной модели и/или пользователем вручную.
5. Способ по п. 1, отличающийся тем, что осуществляют масштабирование и/или поворот, и/или пространственное преобразование и/или ситуативную трансформацию изображения дополнительного объекта при его взаимодействии с параметрами пространственной модели.
6. Способ по п. 1, отличающийся тем, что получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры формируемых средствами покадрового анализа видеоизображения.
7. Способ по п. 1, отличающийся тем, что получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры формируемых на выходе гироскопических датчиков или датчиков скорости и направления движения, или датчиков ускорения.
8. Способ по п. 1, отличающийся тем, что сигналы управления моделью дополнительного объекта формируют путём воздействия пользователя на органы управления устройства формирования изображения.
9. Способ по п. 1, отличающийся тем, что перемещение видеокамеры осуществляют в произвольном направлении и/или в соответствии с заранее определёнными рекомендациями .
10. Способ по п. 1, отличающийся тем, что сохраняют в качестве уточнённых пространственных координат секторов, лишь те пространственные координаты сектора, которые совпадают с вычисленными на предыдущем кадре видеоизображения.
11. Способ по п. 1, отличающийся тем, что осуществляют обнаружение образов заранее определённых объектов и встраивают их пространственные свойства в пространственную модель.
12. Способ по п. 1, отличающийся тем, что сохраняют в памяти фрагменты модели, в том числе соответствующие тем реальным деталям пространства которые перестали попадать в поле зрения видеокамеры.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
13. Способ по п. 1, отличающийся тем, что выявляют на пространственной модели плоские и/или искривлённые поверхности исходя из анализа пространственных координат секторов.
14. Способ по п. 1, отличающийся тем, что выявляют на пространственной модели плоские и/или искривлённые поверхности исходя из анализа параметров изображения участков кадра, охватывающих множество точек интереса.
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
PCT/RU2016/050020 2015-07-17 2016-07-11 Способ отображения объекта на пространственной модели WO2017014680A1 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16828140.0A EP3327676B1 (en) 2015-07-17 2016-07-11 Method for displaying object on three-dimensional model
KR1020187004548A KR20180042242A (ko) 2015-07-17 2016-07-11 3차원 모델 상에 물체를 디스플레이하기 위한 방법
CN201680054493.4A CN108431871B (zh) 2015-07-17 2016-07-11 在三维模型上显示对象的方法
US15/748,317 US10825250B2 (en) 2015-07-17 2016-07-11 Method for displaying object on three-dimensional model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2015128991/08A RU2597462C1 (ru) 2015-07-17 2015-07-17 Способ отображения объекта на пространственной модели
RU2015128991 2015-07-17

Publications (1)

Publication Number Publication Date
WO2017014680A1 true WO2017014680A1 (ru) 2017-01-26

Family

ID=56892918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/050020 WO2017014680A1 (ru) 2015-07-17 2016-07-11 Способ отображения объекта на пространственной модели

Country Status (6)

Country Link
US (1) US10825250B2 (ru)
EP (1) EP3327676B1 (ru)
KR (1) KR20180042242A (ru)
CN (1) CN108431871B (ru)
RU (1) RU2597462C1 (ru)
WO (1) WO2017014680A1 (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216151B2 (en) * 2016-11-29 2022-01-04 Fuji Corporation Information processing device and information processing method
WO2019069629A1 (ja) * 2017-10-06 2019-04-11 富士フイルム株式会社 画像処理装置及び学習済みモデル
EP3651056A1 (en) * 2018-11-06 2020-05-13 Rovco Limited Computing device and method for video object detection
CN111414225B (zh) * 2020-04-10 2021-08-13 北京城市网邻信息技术有限公司 三维模型远程展示方法、第一终端、电子设备及存储介质
CN112336471A (zh) * 2020-11-25 2021-02-09 杭州华墨医学科技有限公司 一种医疗投影装置及医疗投影方法
CN114333433B (zh) * 2022-03-15 2022-06-24 北京航空航天大学杭州创新研究院 一种基于大地坐标系的飞行器所属扇区确定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503348A2 (en) * 2003-07-30 2005-02-02 Canon Kabushiki Kaisha Image displaying method and apparatus for mixed reality space
US20050179617A1 (en) * 2003-09-30 2005-08-18 Canon Kabushiki Kaisha Mixed reality space image generation method and mixed reality system
RU2375756C2 (ru) * 2005-06-06 2009-12-10 Томтом Интернэшнл Б.В. Навигационное устройство с информацией, получаемой от камеры
RU2519667C2 (ru) * 2008-11-08 2014-06-20 Джеко Текнолоджи Б.В. Ледниковое геоморфологическое картографирование
RU2537800C2 (ru) * 2008-12-19 2015-01-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для наложения трехмерной графики на трехмерное видеоизображение
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US20060195858A1 (en) 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
CN101680766B (zh) 2007-05-31 2013-01-23 松下电器产业株式会社 图像摄影装置、附加信息提供服务器及附加信息过滤系统
US9910866B2 (en) 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
CN104704827B (zh) * 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
US20140176606A1 (en) 2012-12-20 2014-06-26 Analytical Graphics Inc. Recording and visualizing images using augmented image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503348A2 (en) * 2003-07-30 2005-02-02 Canon Kabushiki Kaisha Image displaying method and apparatus for mixed reality space
US20050179617A1 (en) * 2003-09-30 2005-08-18 Canon Kabushiki Kaisha Mixed reality space image generation method and mixed reality system
RU2375756C2 (ru) * 2005-06-06 2009-12-10 Томтом Интернэшнл Б.В. Навигационное устройство с информацией, получаемой от камеры
RU2519667C2 (ru) * 2008-11-08 2014-06-20 Джеко Текнолоджи Б.В. Ледниковое геоморфологическое картографирование
RU2537800C2 (ru) * 2008-12-19 2015-01-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для наложения трехмерной графики на трехмерное видеоизображение
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3327676A4 *

Also Published As

Publication number Publication date
CN108431871B (zh) 2021-12-21
EP3327676B1 (en) 2020-04-22
US10825250B2 (en) 2020-11-03
KR20180042242A (ko) 2018-04-25
EP3327676A1 (en) 2018-05-30
EP3327676A4 (en) 2019-02-06
RU2597462C1 (ru) 2016-09-10
US20200286290A1 (en) 2020-09-10
CN108431871A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
RU2597462C1 (ru) Способ отображения объекта на пространственной модели
US10809081B1 (en) User interface and augmented reality for identifying vehicles and persons
JP2020064068A (ja) 視覚強化ナビゲーション
CN105164726B (zh) 用于3d重构的相机姿态估计
KR101665399B1 (ko) 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법
US10950056B2 (en) Apparatus and method for generating point cloud data
JPWO2007083494A1 (ja) 図形認識装置、図形認識方法および図形認識プログラム
KR102222102B1 (ko) 증강 현실 내비게이션 시스템 및 증강 현실 내비게이션 시스템의 경로 안내 방법
JP2016090344A (ja) ナビゲーション装置、及びナビゲーションプログラム
US9451245B1 (en) Three dimensional digitizing and projector system
CN113722043A (zh) 用于avp的场景显示方法、装置、电子设备与存储介质
JP6881986B2 (ja) データ圧縮装置、データ解凍装置、制御方法、プログラム及び記憶媒体
JP4533191B2 (ja) 三次元地図表示装置および三次元地図表示プログラム
JP2010286340A (ja) 交差点案内情報作成装置
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
KR100550430B1 (ko) 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법
KR20210057586A (ko) 블라인드 워터마킹 기술을 이용한 카메라 기반 측위 방법 및 시스템
WO2021029164A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2019175144A (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法
JP2015059812A (ja) 現場見取図作成システムおよびレーザ計測装置
US11846514B1 (en) User interface and augmented reality for representing vehicles and persons
JP2009276266A (ja) ナビゲーション装置
JP2021071885A (ja) 領域切り出し方法および領域切り出しプログラム
JP6512425B2 (ja) ３次元地図表示システム
JP2016156629A (ja) 外界認識装置、方法および車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16828140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187004548

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016828140

Country of ref document: EP