WO2016153388A1 - Способ отображения объекта - Google Patents

Способ отображения объекта Download PDF

Info

Publication number
WO2016153388A1
WO2016153388A1 PCT/RU2016/000104 RU2016000104W WO2016153388A1 WO 2016153388 A1 WO2016153388 A1 WO 2016153388A1 RU 2016000104 W RU2016000104 W RU 2016000104W WO 2016153388 A1 WO2016153388 A1 WO 2016153388A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
model
coordinates
photo
sections
Prior art date
Application number
PCT/RU2016/000104
Other languages
English (en)
French (fr)
Inventor
Виталий Витальевич АВЕРЬЯНОВ
Андрей Валерьевич КОМИССАРОВ
Original Assignee
Общество с ограниченной ответственностью "Лаборатория 24"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Лаборатория 24" filed Critical Общество с ограниченной ответственностью "Лаборатория 24"
Priority to CN201680018299.0A priority Critical patent/CN107484428B/zh
Priority to KR1020177030400A priority patent/KR102120046B1/ko
Priority to US15/544,943 priority patent/US20180012394A1/en
Priority to EP16769157.5A priority patent/EP3276578A4/en
Publication of WO2016153388A1 publication Critical patent/WO2016153388A1/ru
Priority to US16/852,876 priority patent/US11080920B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the invention relates to the field of processing and generation of image data, image analysis of its texture, visualization of a 3D (three-dimensional) image, including its texture display.
  • the closest in technical essence is a method of generating a texture in real time, which includes the following steps: obtaining the observer's position, calculating the field of view, determining the required resolution for visualization, obtaining a map of the location of thematic objects, obtaining parameters of a thematic object, forming a mask of a thematic object, obtaining photo data of a thematic object, preparation of a thematic texture of a thematic object, texturing of a thematic object by mass ke, placing a textured thematic object on a texture map, receiving a map of the location of images of 3D objects, obtaining parameters of a 3D object, determining the type of objects, creating a 3D object model, obtaining a 3D object texture, texturing a 3D object, rendering a 3D object, creating a 3D object image mask, formation of a point or mnemonic image of a 3D object, formation of a mask of a point or mnemonic image of a 3D object, placement of a 3D
  • the known method can be implemented to visualize topographic images of the area and uses data on the parameters of thematic objects to compose the texture of their images.
  • the disadvantage of this method is the limited set of conditional textures defined in advance for each specific object.
  • the known method does not provide the transmission in the output image of a real picture of the surface of the object.
  • the technical result is the ability to display the real texture of the photo or video image of the object on the output image, simplifying the implementation by eliminating the need for storage bases of reference textures of objects, providing the possibility of texturing sections of a 3D model that are invisible on a two-dimensional object.
  • the 3D model is stored in the memory of the display device along with the reference image, as well as the coordinates of the texturing sections corresponding to the polygons 3D models receive at least one frame of a photo image or video image of an object, based on the reference image, an object is recognized on the frame, if there is more than They select a frame from the point of view of image quality, form a matrix for transforming coordinates of the photo image into their own coordinates, color the 3D model elements in the colors of the corresponding elements of the photo image by forming the texture of the image reading area using the matrix of coordinate transformation and data interpolation, followed by the texture of the 3D model so that the corresponding polygons are covered with the corresponding sections of the texture according to the previously formed at the tech stage touring the coordinates, at least some parts of the 3D model that are missing on
  • - areas of the 3D model that are missing from the image of the object are areas of the reverse side of the image details;
  • - texturing the 3D model in accordance with a predetermined order represents the generation of texture coordinates so that the sections of the back of the model have the same coordinates on the texture as the corresponding sections of the front side;
  • the object perceived as a two-dimensional image, is a graphic image made on a curved plane.
  • the technical result is the ability to display the actual texture of the photo or video image of the object on the output image, the possibility of training in drawing programs for children, the simplification of implementation by eliminating the need to store the base of the reference textures of objects, the possibility of texturing sections of a 3D model that are invisible on a two-dimensional object, and also simplifying the use of the texturing process by providing the opportunity for an untrained user to apply techniques rivychnye him for painting 3D -models
  • the 3D model is stored in the memory of the display device along with the reference image, as well as the coordinates of the texturing sections corresponding to the polygons 3D models receive at least one frame of a photo image or video image of an object, based on the reference image, an object is recognized on the frame, if there are more than one of a different frame, select them from the point of view of image quality, form a matrix for converting the coordinates of the photo image into its own coordinates, paint the elements of the 3D model in the colors of the corresponding elements of the image by determining the colors of the materials of the 3D model based on color read-out, at predetermined points of the image with using a coordinate transformation matrix, and then assigning colors to the corresponding materials of the 3D model, at least some sections of the 3D model that are not present on the object’s
  • - texturing the 3D model in accordance with a predetermined order represents the generation of texture coordinates so that the sections of the back of the model have the same coordinates on the texture as the corresponding sections of the front side;
  • the object perceived as a two-dimensional image, is a graphic image made on a curved plane.
  • FIG. 1 shows a block diagram of a PC-based display device and a remote server for storing the reference image and 3D model described in Example 2
  • FIG. 2 shows an image of the original object — a two-dimensional graphic image before coloring, corresponding to the reference image of the object
  • FIG. 3 is a colored initial graphic image and visualized on the screen of a display device — a smartphone — a 3D model against the background of a photograph of the figure
  • FIG. 4 is a structural diagram of the computing means of a display device.
  • the method of displaying an object representing a two-dimensional image consists in sequentially performing the following actions: forming and storing in the memory of the display device a reference image of the object with texturing sections and a 3D model represented by polygons, the coordinates of the polygons corresponding to the coordinates of the texturing sections, obtaining at least , one frame of a photo image or video image of an object, recognition of an object in a photo image based on a reference image for, selecting a frame that meets the requirements of image quality, such as clarity, detail, signal-to-noise ratio, etc., forming a matrix for transforming the coordinates of the photo image into its own coordinates, in the system of which the axes are oriented orthogonally, coloring the elements of the 3D model in the colors of the corresponding elements of the image by forming the texture of the image reading area using the coordinate transformation matrix and data interpolation, followed by replacing the structure of the 3D model with Engineers image reading region, so that the corresponding polygons are covered
  • Such frames can be frames with the clearest image, with the greatest detail, etc.
  • 3D models are visualized on top of the video (video stream), using augmented reality tools and / or computer vision algorithms,
  • the coloring of the 3D model in accordance with a predetermined order is the generation of texture coordinates so that the sections of the reverse side of the model have the same coordinates on the texture as the corresponding sections of the front side, or the coloring of sections of the reverse side of the model is carried out on the basis of extrapolation of the data of the visible parts Images.
  • the 3D model is animated.
  • the way to display the object according to option 1 works as follows.
  • the objects for display are graphic two-dimensional objects - drawings, graphs, charts, maps, etc.
  • the method involves the process of recognizing a graphic object on a photo image by the computing means of a display device equipped with a video or camera or other reading device, as well as a monitor.
  • a display device equipped with a video or camera or other reading device, as well as a monitor.
  • Such devices can be a mobile phone, smartphone, tablet, personal computer, etc.
  • Each two-dimensional image is associated with one reference image and one 3D model, which are stored in the memory of the display device.
  • Reference images are used when recognizing an object and forming a coordinate transformation matrix.
  • 3D models are visualized against a specific background, which can be a video sequence formed at the output of a video camera, or a photo image obtained after photographing an object, or another background.
  • the formation of a 3D model includes the process of generating texture coordinates.
  • Recognition is carried out by comparing the photo image of the object with its reference image, also stored in the memory of the display device, and the photo image is considered recognized when the threshold value of the correlation coefficient of the photo image and one of the reference images is exceeded, or other known recognition algorithms are used.
  • the object can be shot in a certain range of angles and distances, therefore, after recognizing the object in the photo image, a matrix of the ratio of the coordinates of the photo image and the eigen coordinates, characterized by the orthogonality of the axes, is formed, the coordinate transformation matrix.
  • the memory of the display device for this object stores the coordinates of the texturing sections to which the corresponding polygons of the 3D model are mapped.
  • the textures of the image reading area are formed based on the values of the coordinate transformation matrix and data interpolation. After that, the texture of the 3D model is assigned to the obtained image of the reading area, so that the corresponding polygons are covered with the corresponding sections of the texture according to the coordinates previously formed at the stage of texturing,
  • Texturing a 3D model means assigning a texture to one or more materials of the 3D model. Under the material of the 3D model this implies a collection of information recognized in accordance with generally accepted conventions on the way that its fragments are displayed to which it is assigned and may include texture, color, etc.
  • the process of texturing a 3D model involves the transfer of color also to parts of a 3D model that cannot be visible in a two-dimensional graphic image, for example, such “invisible” parts can be the back of an image element, its side view, top or bottom.
  • the color transfer of the colors of such “invisible” parts to the polygons of the 3D model is carried out, for example, on the basis of symmetrical structuring of the 3D model on both sides, or coloring the “invisible” areas in a darker tone or based on other algorithms, including using extrapolation methods.
  • the 3D model After texturing the 3D model, that is, after creating the coordinates of its texture, the 3D model is displayed immediately or at the command of the user on the monitor screen of the display device.
  • the output image is a video image on which, on top of the background, for example, a video sequence (video stream) received from a video camera, a model is drawn, including an animated one, so that an illusion of its real presence is created.
  • a video sequence video stream
  • a model is drawn, including an animated one, so that an illusion of its real presence is created.
  • the method of displaying an object allows the user to apply a texture read from a real space to a virtual object using a photo or video camera.
  • Computing means of the display device are based on the processor and contain memory for storing the program of the processor and the necessary data, including reference images and 3D models.
  • the method of displaying an object representing a two-dimensional image according to option 2 consists in sequentially executed the following actions: forming and storing in the memory of the display device a reference image of the object with texturing sections and a 3D model represented by polygons, the coordinates of the polygons of which correspond to the coordinates of the texturing sections, receiving at least one frame of the photo image or video image of the object, recognizing the object in the photo image based on the reference image, the choice of a frame that meets the requirements of image quality, such as sharpness, detail, signal to noise ratio m, etc., forming a matrix for transforming the coordinates of the photo image into its own coordinates, in the system of which the axes are oriented orthogonally, coloring the 3D model elements in the colors of the corresponding photo image elements by determining the coloring colors of the 3D model materials based on color read
  • Such frames can be frames with the clearest image, with the greatest detail, etc.
  • 3D models are visualized on top of the video (video stream), using augmented reality tools and / or computer vision algorithms,
  • Coloring a 3D model in accordance with a predetermined order is a generation of texture coordinates so that the sections of the back of the model have the same coordinates on the texture as the corresponding sections of the front side, or coloring of the sections the reverse side of the model is carried out on the basis of extrapolation of data from the visible parts of the image.
  • the 3D model is animated.
  • the way to display the object according to option 2 works as follows.
  • the objects for display are graphic two-dimensional objects - drawings, graphs, charts, maps, etc.
  • the method involves the process of recognizing a graphic object on a photo image by the computing means of a display device equipped with a video or camera or other reading device, as well as a monitor.
  • a display device equipped with a video or camera or other reading device, as well as a monitor.
  • Such devices can be a mobile phone, smartphone, tablet, personal computer, etc.
  • Each two-dimensional image is associated with one reference image and one 3D model, which are stored in the memory of the display device.
  • Reference images are used when recognizing an object and forming a coordinate transformation matrix.
  • 3D models are visualized against a specific background, which can be a video sequence formed at the output of a video camera, or a photo image obtained after photographing an object, or another background.
  • the formation of a 3D model includes the process of generating texture coordinates.
  • Recognition is carried out by comparing the photo image of the object with its reference image, also stored in the memory of the display device, and the photo image is considered recognized when the threshold value of the correlation coefficient of the photo image and one of the reference images is exceeded, or other known recognition algorithms are used.
  • the object can be shot in a certain range of angles and distances, therefore, after recognizing the object in the photo image, a matrix of the ratio of the coordinates of the photo image and the eigenvalues is formed coordinates characterized by orthogonality of the axes - coordinate transformation matrix.
  • the memory of the display device for this object stores the coordinates of the texturing sections to which the corresponding polygons of the 3D model are mapped.
  • the textures of the image reading area are formed based on the values of the coordinate transformation matrix and data interpolation. After that, color recognition of colors of certain areas in the photo image is carried out, and due to the presence of a rigid connection between these areas and the polygons of the 3D model, the surface painting structure of the 3D model becomes the corresponding color of the read object, that is, they directly paint the materials assigned to the model areas without the participation of textures.
  • Texturing a 3D model means assigning a texture to one or more materials of the 3D model.
  • the material of a 3D model means a collection of information recognized in accordance with generally accepted conventions on the method of displaying those fragments to which it is assigned and may include texture, color, etc.
  • the process of texturing a 3D model involves the transfer of color also to parts of a 3D model that cannot be visible in a two-dimensional graphic image, for example, such “invisible” parts can be the back of an image element, its side view, top or bottom.
  • the color transfer of the colors of such “invisible” parts to the polygons of the 3D model is carried out, for example, on the basis of symmetrical structuring of the 3D model on both sides, or coloring the “invisible” areas in a darker tone or based on other algorithms, including using extrapolation methods.
  • the 3D model After texturing the 3D model, that is, after creating the coordinates of its texture, the 3D model is displayed immediately or at the command of the user on the monitor screen of the display device.
  • the output image is a video image on which over the background, for example, a video sequence (video stream), obtained from a video model is drawn, including an animated one, so that an illusion of its real presence is created.
  • a video sequence video stream
  • the method of displaying an object allows the user to apply a texture read from a real space to a virtual object using a photo or video camera.
  • the computing means of the display device for implementing the method according to any of the options 1 or 2 is made on the basis of the processor and contain memory for storing the program of the processor and the necessary data, including reference images and 3D models.
  • the block diagram of the processor operation program is shown in FIG. 4 and includes the following basic elements.
  • the initial data 6 stored in the memory is the previously generated 3D model, texture coordinates, the reference image of the object, as well as the video stream generated at the output of the video camera.
  • the term "video stream” is used here as identical to the term "video sequence”.
  • the program analyzes the video stream in order to select a frame or frames that meet the requirements of the necessary image clarity, cropping, exposure, focusing, etc.
  • the frames are sorted and analyzed until a frame that meets the specified requirements is identified, and the analysis is done in two stages first, 7, 8 from the video sequence select frames containing the object to display on which this object is recognized, and then 9, 10 select frames satisfying the requirements from the selected set of frames m sharpness and framing.
  • a coordinate transformation matrix 11 is formed and the coordinates of the photo frame are reduced to the Cartesian coordinates of the strictly frontal view of the object.
  • Assign 12 materials to 3D models texture coordinates.
  • the video stream from the output of the camera is analyzed for the presence of an object in the frame, and if so, then the model is visualized on top of the video stream (video sequence) received from the output of the camera.
  • the following actions can also be alternative to terminating the program: returning to the beginning of the program, or switching the device to a short wait for the recognition fact, or notifying the user of the loss of image capture of the object, or other action.
  • the objects are drawings from a developing set of children's pictures for coloring, which are not complex drawings (Fig. 2), made on standard rectangular sheets with contour lines suggesting the presence of drawing elements for coloring.
  • Each pattern contains one or more main elements, located, as a rule, in the central part of the sheet and secondary background elements located on its periphery.
  • Each of the figures is associated with a reference image created in advance, the coordinates of the color recognition areas of the object’s color, and an animated 3D model with polygons highlighted for these areas.
  • the 3D model reflects the volumetric vision of the main or main elements of the picture, tied to the coordinates of these elements in the image.
  • the display device is a smartphone equipped with a video camera, computing tools with appropriate software, a monitor, etc.
  • the smartphone After the user has painted the outline drawing, they place the smartphone, so that the entire drawing is included in the frame, and take a picture of it, or video capture the picture.
  • the computing means of the smartphone directly recognize the pattern on the selected frame taken, that is, find the corresponding 3D model created earlier and select the most an informative frame, if there have been several of them, and also form a matrix of the correspondence of the coordinates of the elements of the picture in the photo image to its own coordinates in the Cartesian system. As a result, the coordinates of the color recognition areas of the painted picture come into correspondence with the coordinates of the corresponding areas in the photo image.
  • the color of the coloring of the painted areas on the photo image is read and, after necessary analysis, comparison and color correction, the coloring of the areas is transferred to the corresponding polygons of the 3D model, that is, the colors obtained are assigned directly to the model materials.
  • the next step is the visualization of the 3D model (Fig. 3), displayed on the background, which are secondary elements of the picture in the photo image or video sequence obtained by means of a smartphone.
  • a 3D model can be formed movable and have additional elements not shown in the figure.
  • the visualized 3D model is interactive, able to respond to user actions.
  • the display device contains a personal computer with a connected web camera and monitor, as well as a remote server (Fig. 1).
  • the monitor or display may be any visualization device, including a projector or a hologram forming device.
  • Reference images of objects and 3D models are stored on a remote service, which is accessed in the process of displaying graphic two-dimensional objects.
  • the calculations in the recognition process are carried out by means of a personal computer, with the help of which the materials of the 3D model are also stained and rendered.
  • Communication between a computer and a server is via the Internet, or another, including a local area network.
  • the display process is as follows.
  • the user accesses the corresponding website via the Internet, which contains thematic sets of drawings for printing and subsequent coloring.
  • the website is equipped with an appropriate interface for accessing reference images and a repository of these images and 3D models corresponding to the drawings from the sets.
  • the user prints with his printer a set of drawings of his choice and paints the drawings he likes.
  • the user can also receive already printed drawings in another way, for example, through a newsletter.
  • the user orientates the web camera so that the main part of the painted picture is included in the frame.
  • the user's computer executing the appropriate program commands, accesses the remote server, from where it receives reference images of the patterns for recognition.
  • a coordinate transformation matrix is formed, with the help of which the color of the painted sections of the drawing is read and the coloring of the corresponding materials of the 3D model is assigned.
  • An image of a textured 3D model is displayed on a monitor in the background of a video sequence from a webcam output.
  • the method of displaying an object can be implemented using standard devices and components, including computing tools based on a processor, a photo and / or video camera, a monitor or other visualization device, as well as communication tools between them.
  • the method of displaying an object according to any one of options 1 or 2 provides the ability to display the actual texture of the photo or video image of the object on the output image, provides training in drawing programs for children, simplifies implementation by eliminating the need to store a base of any reference object textures , provides the possibility of texturing sections of the 3D model that are invisible on a two-dimensional object, and also simplifies the use of the texturing process due to both sintering the possibilities for an untrained user to apply the usual techniques for coloring ZO-models.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к технологиям обработки и генерации данных изображения, визуализации трехмерного (3D) изображения. Техническим результатом является обеспечение возможности отображать на видимом изображении реальную текстуру фото или видеоизображения объекта. Согласно заявленному способу формируют 3D модель, получают фотоизображения или видеоизображения объекта, визуализируют 3D модель, сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели.

Description

СПОСОБ ОТОБРАЖЕНИЯ ОБЪЕКТА
Изобретение относится к области обработки и генерации данных изображения, анализу изображения его текстуры, визуализации 3D (трехмерного) изображения, в том числе, к текстурному его отображению.
Наиболее близким по технической сущности является способ генерирования тек-стуры в реальном масштабе времени, включающий следующие этапы: получение положения наблюдателя, вычисление области обзора, определение требуемого разрешения для визуализации, получение карты расположения тематических объектов, получение параметров тематического объекта, формирование маски тематического объекта, получение фотоданных тематического объекта, подготовку тематической текстуры тематического объекта, текстурироваиие тематического объекта по маске, помещение текстурированного тематического объекта на текстурную карту, получение карты расположения изображений 3D объектов, получение параметров 3D объекта, определение типа объектов, формирование модели 3D объекта, получение текстуры 3D объекта, текстурироваиие 3D объекта, рендеринг 3D объекта, формирование маски изображения 3D объекта, формирование точечного или мнемонического изображения 3D объекта, формирование маски точечного или мнемонического изображения 3D объекта, помещение изображения 3D объекта на текстурную карту, визуализацию (см. RU 2295772 С1 , кл. G06T1 1/60).
Известный способ может быть реализован для визуализации топографических изображений местности и использует данные о параметрах тематических объектов для составления текстуры их изображений.
Недостатком известного способа является ограниченный набор условных текстур, определённых заранее для каждого конкретного объекта. Известный способ не обеспечивает передачу на выводимом изображении реального рисунка поверхности объекта.
Техническим резкльтатом является обеспечение возможности отображать на выводимом изображении реальную текстуру фото или видеоизображения объекта, упрощение реализации за счёт исключения необходимости хранения базы эталонных текстур объектов, обеспечение возможности текстурирования невидимых на двумерном объекте участков 3D модели.
Указанный результат достигается тем, что в способе отображения объекта по варианту 1 , заключающемся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путём формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда, с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
Кроме того: - формируют 3D модель представленную полигонами;
- формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей;
- участками 3D модели, отсутствующими на фотоизображении объекта являются участки обратной стороны деталей изображения; - текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре что и соответствующие им участки лицевой стороны;
- участки трёхмерной модели, отсутствующие на фотоизображении объекта текстурируют на основе экстраполяции данных видимых частей изображения;
- 3D модель выполнена анимированной;
- объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
Техническим результатом является обеспечение возможности отображать на выводимом изображении реальную текстуру фото или видеоизображения объекта, обеспечение возможности обучения в программах по рисованию для детей, упрощение реализации за счёт исключения необходимости хранения базы эталонных текстур объектов, обеспечение возможности текстурирования невидимых на двумерном объекте участков 3D модели, а также упрощение использования процесса текстурирования за счёт обеспечения возможности для необученного пользователя применять привычные ему приёмы для окрашивания 3D -моделей
Указанный результат достигается тем, что в способе отображения объекта по варианту 2, заключающемся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путём определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующим присвоении цветов соответствующим материалам 3D модели, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда, с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
Кроме того: - формируют 3D модель представленную полигонами;
- формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей;
- участками 3D модели, отсутствующими на фотоизображении объекта являются участки обратной стороны деталей изображения;
- текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре что и соответствующие им участки лицевой стороны;
- участки трёхмерной модели, отсутствующие на фотоизображении объекта текстурируют на основе экстраполяции данных видимых частей изображения;
- 3D модель выполнена анимированной;
- объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
На фиг. 1 показана структурная схема устройства отображения на базе ПК и удалённого сервера для хранения эталонного образа и 3D модели, описанного в примере 2, на Фиг. 2 представлено изображение исходного объекта - двумерного графического изображения до его раскраски, соответствующее эталонному образу объекта, на Фиг. 3 - раскрашенное исходное графическое изображение и визуализируемая на экране устройства отображения - смартфона 3D модель на фоне фотографии рисунка, на Фиг. 4 - структурная схема работы вычислительных средства устройства отображения. На чертежах сделаны следующие обозначения^ - видеокамера или фотокамера, 2 - вычислительные средства (вычислительная машина), 3 - сервер, 4 - монитор, 5 - сеть интернет, 6 - ввод исходных данных: 3D модель, координаты текстуры, эталонный образ, видеопоток, 7 - анализ видеопотока, 8 - проверка условия о том, что видеопоток содержит эталонный образ, 9 - анализ кадра, 10 - проверка условия кадрирования, 11 - генерация фотоизображения с учётом матрицы преобразования координат, 12 - считывание текстуры в назначенных участках - участках текстурирования, 13 - обращение к видеокамере, проверка условия распознавания объекта на видеоизображении, 14 - вывод на монитор, визуализация 3D модели поверх видеоряда, 15 - окончание работы программы, 16 - принтер, 17 - исходный объект - двумерное графическое изображение, 18 - раскрашенное пользователем двумерное графическое изображение, 19 - устройство отображения (смартфон), 20 - визуализированная на мониторе устройства отображения 3D модель, 21 - элементы фона визуализируемой 3D модели.
Способ отображения объекта, представляющего собой двумерное изображение по варианту 1 заключается в последовательно выполняемых следующих действиях: формировании и сохранении в памяти устройства отображения эталонного образа объекта с участками текстурирования и представленной полигонами 3D модели, координатам полигонов которой соответствуют координаты участков текстурирования, получении, по меньшей мере, одного кадра фотоизображения или видеоизображения объекта, распознавании объекта на фотоизображении на основе эталонного образа, выбор кадра, удовлетворяющего требованиям качества изображения, таких как чёткость, детализированность, соотношение сигнал/шум и др., формировании матрицы преобразования координат фотоизображения в собственные координаты, в системе которых оси ориентированы ортогонально, окрашивании элементов 3D модели в цвета соответствующих элементов фотоизображения путём формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующей заменой структуры 3D модели на полученное изображение области считывания, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам.^ Затем осуществляют визуализации 3D модели.
При этом, по меньшей мере, некоторые участки 3D модели, например, участки обратной стороны рисунка, окрашивают в соответствии с заранее установленным порядком, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, например в отношении наиболее значимых из совокупности изображений.
После распознавания осуществляют выбор среди отснятых кадров наиболее информативного с точки зрения считывания данных. Такими кадрами могут быть кадры с наиболее чётким изображением, с наибольшей детализацией и пр.
Визуализацию 3D модели осуществляют поверх видеоряда (видеопотока), с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения,
Окрашивание 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре, что и соответствующие им участки лицевой стороны, либо окрашивание участков оборотной стороны модели осуществляют на основе экстраполяции данных видимых частей изображения.
3D модель выполнена анимированной.
Способ отображения объекта по варианту 1 работает следующим образом. Объектами для отображения являются графические двумерные объекты - рисунки, графики, схемы, карты и пр. Способ предполагает процесс распознавания на фотоизображении графического объекта вычислительными средствами устройства отображения, снабжённого видео или фотокамерой либо иным считывающим устройством, а также монитором. Такими устройствами могут быть мобильный телефон, смартфон, планшет, персональный компьютер и др.
Предварительно создают и сопоставляют кругу объектов, представляющих собой двумерные изображения - маркеры, сюжетно связанные с ними трёхмерные модели (3D модели), представленные полигонами, а также эталонные образы. Каждому двумерному изображению сопоставляют один эталонный образ и одну 3D модель, которые сохраняют в памяти устройства отображения. Эталонные образы используют при распознавании объекта и формировании матрицы преобразования координат. 3D модели после окрашивания визуализируют на определённом, фоне, в качестве которого могут выступать видеоряд, формируемый на выходе видеокамеры, либо фотоизображение, полученное после фотографирования объекта, либо иной фон.
Формирование 3D модели включает процесс генерации координат текстуры.
Распознавание осуществляют путём сравнения фотоизображения объекта с его эталонным образом, также сохраняемым в памяти устройства отображения и считают фотоизображение распознанным при превышении порогового значения коэффициента корреляции фотоизображения и одного из эталонных образов, либо используют иные известные алгоритмы распознавания.
Съёмка объекта может быть осуществлена в некотором диапазоне углов и расстояний, поэтому после распознавания объекта на фотоизображении формируют матрицу соотношения координат фотоизображения и собственных координат, характеризуемых ортогональностью осей - матрицу преобразования координат.
В памяти устройства отображения для данного объекта хранятся координаты участков текстурирования, которым сопоставлены соответствующие полигоны 3D модели.
После распознавания объекта формируют текстуры области считывания изображения на основе значений матрицы преобразования координат и интерполяции данных. После чего осуществляют назначение текстуры 3D модели на полученное изображение области считывания, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам,
Текстурирование 3D модели подразумевает назначение текстуры одному или нескольким материалам 3D модели. Под материалом 3D модели подразумевается признанная в соответствии с общепринятыми конвенциями совокупность информации о способе отображения тех её фрагментов, которым он назначен и может включать в себя текстуру, цвет и т.п.
Процесс текстурирования 3D модели предполагает перенос цвета также на части 3D модели, которые не могут быть видимыми на двумерном графическом изображении, например, такими «невидимыми» частями могут быть обратная сторона элемента изображения, его вид сбоку, сверху или снизу. Перенос цветов окраски таких «невидимых» частей на полигоны 3D модели осуществляют, например, на основе симметричного структурирования 3D модели с обеих сторон, либо окраски «невидимых» участков более тёмным тоном либо на основе других алгоритмов, в том числе, с использованием методов экстраполяции.
После текстурирования 3D модели, то есть после создания координат её текстуры, 3D модель сразу либо по команде пользователя выводят на экран монитора устройства отображения.
Выводимое изображение представляет собой видеоизображение, на котором поверх фона, например, видеоряда, (видеопотока), полученного с видеокамеры отрисовывается модель, в том числе и анимированная так, чтобы создавалась иллюзия её реального присутствия.
Таким образом, способ отображения объекта позволяет пользователю нанести на виртуальный объект текстуру, считанную из реального пространства посредством фото или видеокамеры.
В процессе визуализации предоставляют пользователю возможность управления моделью в пространстве, т.е. осуществлять поворот, сдвиг, масштабирование и пр. посредством, в том числе, перемещения средств ввода устройства отображения или с помощью жестов в фокусе видеокамеры.
Вычислительные средства устройства отображения выполнены на основе процессора и содержат память для хранения программы работы процессора и необходимых данных, в том числе эталонных образов и 3D моделей. Способ отображения объекта, представляющего собой двумерное изображение по варианту 2 заключается в последовательно выполняемых следующих действиях: формировании и сохранении в памяти устройства отображения эталонного образа объекта с участками текстурирования и представленной полигонами 3D модели, координатам полигонов которой соответствуют координаты участков текстурирования, получении, по меньшей мере, одного кадра фотоизображения или видеоизображения объекта, распознавании объекта на фотоизображении на основе эталонного образа, выбор кадра, удовлетворяющего требованиям качества изображения, таких как чёткость, детализированность, соотношение сигнал/шум и др., формировании матрицы преобразования координат фотоизображения в собственные координаты, в системе которых оси ориентированы ортогонально, окрашивании элементов 3D модели в цвета соответствующих элементов фотоизображения путём определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующем присвоении цветов соответствующим материалам 3D модели. Затем осуществляют визуализации 3D модели.
При этом, по меньшей мере, некоторые участки 3D модели, например, участки обратной стороны рисунка, окрашивают в соответствии с заранее установленным порядком, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, например в отношении наиболее значимых из совокупности изображений.
После распознавания осуществляют выбор среди отснятых кадров наиболее информативного с точки зрения считывания данных. Такими кадрами могут быть кадры с наиболее чётким изображением, с наибольшей детализацией и пр.
Визуализацию 3D модели осуществляют поверх видеоряда (видеопотока), с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения,
Окрашивание 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре, что и соответствующие им участки лицевой стороны, либо окрашивание участков оборотной стороны модели осуществляют на основе экстраполяции данных видимых частей изображения.
3D модель выполнена анимированной.
Способ отображения объекта по варианту 2 работает следующим образом. Объектами для отображения являются графические двумерные объекты - рисунки, графики, схемы, карты и пр. Способ предполагает процесс распознавания на фотоизображении графического объекта вычислительными средствами устройства отображения, снабжённого видео или фотокамерой либо иным считывающим устройством, а также монитором. Такими устройствами могут быть мобильный телефон, смартфон, планшет, персональный компьютер и др.
Предварительно создают и сопоставляют кругу объектов, представляющих собой двумерные изображения - маркеры, сюжетно связанные с ними трёхмерные модели (3D модели), представленные полигонами, а также эталонные образы. Каждому двумерному изображению сопоставляют один эталонный образ и одну 3D модель, которые сохраняют в памяти устройства отображения. Эталонные образы используют при распознавании объекта и формировании матрицы преобразования координат. 3D модели после окрашивания визуализируют на определённом, фоне, в качестве которого могут выступать видеоряд, формируемый на выходе видеокамеры, либо фотоизображение, полученное после фотографирования объекта, либо иной фон.
Формирование 3D модели включает процесс генерации координат текстуры.
Распознавание осуществляют путём сравнения фотоизображения объекта с его эталонным образом, также сохраняемым в памяти устройства отображения и считают фотоизображение распознанным при превышении порогового значения коэффициента корреляции фотоизображения и одного из эталонных образов, либо используют иные известные алгоритмы распознавания.
Съёмка объекта может быть осуществлена в некотором диапазоне углов и расстояний, поэтому после распознавания объекта на фотоизображении формируют матрицу соотношения координат фотоизображения и собственных координат, характеризуемых ортогональностью осей - матрицу преобразования координат.
В памяти устройства отображения для данного объекта хранятся координаты участков текстурирования, которым сопоставлены соответствующие полигоны 3D модели.
После распознавания объекта формируют текстуры области считывания изображения на основе значений матрицы преобразования координат и интерполяции данных. После чего осуществляют распознавание цветов окраски определённых участков на фотоизображении и ввиду наличия жёсткой связи между этими участками и полигонами 3D модели структура окраски поверхности 3D модели становится соответствующей окраске считываемого объекта, то есть осуществляют прямое окрашивание материалов, назначенных участкам модели без участия текстур.
Текстурирование 3D модели подразумевает назначение текстуры одному или нескольким материалам 3D модели. Под материалом 3D модели подразумевается признанная в соответствии с общепринятыми конвенциями совокупность информации о способе отображения тех её фрагментов, которым он назначен и может включать в себя текстуру, цвет и т.п.
Процесс текстурирования 3D модели предполагает перенос цвета также на части 3D модели, которые не могут быть видимыми на двумерном графическом изображении, например, такими «невидимыми» частями могут быть обратная сторона элемента изображения, его вид сбоку, сверху или снизу. Перенос цветов окраски таких «невидимых» частей на полигоны 3D модели осуществляют, например, на основе симметричного структурирования 3D модели с обеих сторон, либо окраски «невидимых» участков более тёмным тоном либо на основе других алгоритмов, в том числе, с использованием методов экстраполяции.
После текстурирования 3D модели, то есть после создания координат её текстуры, 3D модель сразу либо по команде пользователя выводят на экран монитора устройства отображения.
Выводимое изображение представляет собой видеоизображение, на котором поверх фона, например, видеоряда, (видеопотока), полученного с видеокамеры отрисовывается модель, в том числе и анимированная так, чтобы создавалась иллюзия её реального присутствия.
Таким образом, способ отображения объекта позволяет пользователю нанести на виртуальный объект текстуру, считанную из реального пространства посредством фото или видеокамеры.
В процессе визуализации предоставляют пользователю возможность управления моделью в пространстве, т.е. осуществлять поворот, сдвиг, масштабирование и пр. посредством, в том числе, перемещения средств ввода устройства отображения или с помощью жестов в фокусе видеокамеры.
Вычислительные средства устройства отображения для реализации способа по любому из вариантов 1 или 2 выполнены на основе процессора и содержат память для хранения программы работы процессора и необходимых данных, в том числе эталонных образов и 3D моделей.
Структурная схема программы работы процессора приведена на Фиг. 4 и включает следующие основные элементы. Исходными данными 6, хранящимися в памяти являются сформированная ранее 3D модель, координаты текстуры, эталонный образ объекта, а также видеопоток, формируемый на выходе видеокамеры. Термин «видеопоток» здесь используется как тождественный термину «видеоряд». Программа осуществляет анализ видеопотока с целью выбора кадра или кадров, удовлетворяющих требованиям необходимой чёткости изображения, кадрирования, экспозиции, фокусировки и пр. Кадры перебирают и анализируют до тех пор, пока не будет выявлен кадр, удовлетворяющий установленным требованиям, причём анализ делают последовательно в два этапа, вначале 7, 8 из видеорядп выбирают кадры, содержащие объект для отображения, на которых этот объект распознан, а затем 9, 10 из выбранной совокупности кадров выбирают кадры удовлетворяющие требованиям чёткости и кадрирования.
Далее формируют матрицу преобразования координат 11 и приводят координаты кадра фотоизображения к декартовым координатам строго фронтального вида объекта. Осуществляют считывание координат текстуры в назначенных участках текстурирования. Назначают 12 материалам 3D модели координаты текстуры. Анализируют видеопоток с выхода видеокамеры на предмет наличия объекта в кадре и если это так, то, визуализируют модель поверх видеопотока (видеоряда), полученного с выхода видеокамеры.
Как только объект перестаёт распознаваться на кадрах видеоизображения, программа прекращает работу.
Альтернативными прекращению работы программы могут быть также следующие действия: возвращение к началу программы, либо перевод устройства на кратковременное ожидание факта распознавания, либо уведомление пользователя о потере захвата изображения объекта, либо иное действие.
Пример 1.
Объектами являются рисунки из развивающего набора детских картинок для раскраски, представляющих собой не сложные рисунки (Фиг. 2), выполненные на стандартных листах прямоугольной формы контурными линиями предполагающими наличие элементов рисунка для раскраски. Каждый рисунок содержит один или более главный элемент, расположенный, как правило, в центральной части листа и второстепенные элементы фона, расположенные на его периферии.
Каждому из рисунков сопоставлены, созданные заранее, эталонный образ, координаты участков распознавания цвета окраски объекта, и анимационная 3D модель с выделенными соответствующим этим участкам полигонами. 3D модель отражает объёмное видение главного или главных элементов рисунка, привязанного к координатам этих элементов на изображении.
Устройством отображения является смартфон, снабжённый видеокамерой, вычислительными средствами с соответствующим программным обеспечением, монитором и др.
После раскраски пользователем контурного рисунка располагают смартфон, так, чтобы весь рисунок вошёл в кадр, и делают его снимок, либо осуществляют видеосъёмку рисунка.
Вычислительными средствами смартфона осуществляют непосредственно распознавание рисунка на отснятом выбранном кадре, то есть находят соответствующую ему созданную ранее 3D модель и выбор наиболее информативного кадра, если их было сделано несколько, а также формируют матрицу соответствия координат элементов рисунка на фотоизображении собственным координатам в декартовой системе. В результате, координаты участков распознавания цвета раскрашенного рисунка приходят в соответствие с координатами соответствующих участков на фотоизображении.
Осуществляют считывание цвета окраски раскрашенных участков на фотоизображении и после необходимых анализа, сопоставления и цветокоррекции переносят раскраску участков на соответствующие полигоны 3D модели, то есть осуществляют присвоение полученных цветов непосредственно материалам модели.
Следующим этапом является визуализация 3D модели (Фиг. 3), выводимой на фоне, в качестве которого выступают второстепенные элементы рисунка на фотоизображении либо видеоряд, полученный средствами смартфона.
3D модель может быть сформирована подвижной и иметь дополнительные элементы, не представленные на рисунке.
Визуализируемая 3D модель выполнена интерактивной, способной реагировать на действия пользователя.
Пример 2.
Устройство отображения содержит персональный компьютер с подключёнными веб камерой и монитором, а также удалённый сервер (Фиг. 1).
Монитором или дисплеем может являться любое устройство визуализации, в том числе проектор или устройство формирования голограммы. Эталонные образы объектов и 3D модели хранят на удалённом сервисе, к которому обращаются в процессе отображения графических двумерных объектов.
Вычисления в процессе распознавания осуществляют средствами персонального компьютера, с помощью которого осуществляют также окрашивание материалов 3D модели и её рендеринг.
Связь компьютера с сервером осуществляется через сеть интернет, либо иную, в том числе, локальную сеть.
Процесс отображения осуществляют следующим образом. Пользователь обращается через интернет на соответствующий веб сайт, который содержит тематические наборы рисунков для распечатывания и последующей раскраски. Веб сайт снабжён соответствующим интерфейсом для обращения к эталонным образам и хранилище этих образов и 3D моделей, соответствующих рисункам из наборов.
Пользователь распечатывает с помощью принтера на своей стороне выбранный им набор рисунков и раскрашивает понравившиеся ему рисунки. Пользователь может также получить уже распечатанные рисунки иным путём, например, через рассылку.
Далее, находясь в интерфейсе веб сайта, пользователь ориентирует веб камеру так, чтобы основная часть раскрашенного рисунка вошла в кадр. Компьютер пользователя, выполняя соответствующие команды программы, обращается к удалённому серверу, откуда получает эталонные образы рисунков для распознавания. После завершения распознавания рисунка средствами персонального компьютера формируют матрицу преобразования координат, с помочью которой считывают цвет раскрашенных участков рисунка и назначают окраску соответствующих материалов 3D модели.
Изображение текстурированной 3D модели выводят на монитор на фоне видеоряда с выхода веб камеры.
Способ отображения объекта может быть реализован с использованием стандартных приборов и компонентов, включая вычислительные средства на основе процессора, фото и/или видео камеру, монитор или иное устройство визуализации, а также средства коммуникации между ними.
Таким образом, способ отображения объекта по любому из вариантов 1 или 2 обеспечивает возможности отображать на выводимом изображении реальную текстуру фото или видеоизображения объекта, обеспечивает возможность обучения в программах по рисованию для детей, упрощает реализации за счёт исключения необходимости хранения базы каких-либо эталонных текстур объектов, обеспечивает возможность текстурирования невидимых на двумерном объекте участков 3D модели, а также обеспечивает упрощение использования процесса текстурирования за счёт обеспечения возможности для необученного пользователя применять привычные ему приёмы для окрашивания ЗО-моделей.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ отображения объекта, заключающийся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, отличающийся тем, что сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путём формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда, с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
2. Способ по п. 1 , отличающийся тем, что формируют 3D модель представленную полигонами.
3. Способ по п. 1 , отличающийся тем, что формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей.
4. Способ по п. 1 , отличающийся тем, что участками 3D модели, отсутствующими на фотоизображении объекта являются участки обратной стороны деталей изображения.
5. Способ по п. 1 , отличающийся тем, что текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре что и соответствующие им участки лицевой стороны.
6. Способ по п. 1 , отличающийся тем, что то участки трёхмерной модели, отсутствующие на фотоизображении объекта текстурируют на основе экстраполяции данных видимых частей изображения.
7. Способ по п. 1 отличающийся тем, что 3D модель выполнена анимированной.
8. Способ по п. 1 , отличающийся тем, что о объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
9. Способ отображения объекта, заключающийся в формировании 3D модели, получении фотоизображения или видеоизображения объекта, визуализации 3D модели, отличающийся тем, что сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели, получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре, при наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путём определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующем присвоении цветов соответствующим материалам 3D модели, по меньшей мере, некоторые участки 3D модели, отсутствующие на фотоизображении объекта текстурируют в соответствии с заранее установленным порядком, объектом является двумерное или воспринимаемое как двумерное изображение, а 3D модель формируют в отношении, по меньшей мере, части этого двумерного изображения, визуализацию 3D модели осуществляют поверх видеоряда, с использованием средств дополненной реальности и/или алгоритмов компьютерного зрения.
10. Способ по п. 9, отличающийся тем, что формируют 3D модель представленную полигонами.
1 1. Способ по п. 9, отличающийся тем, что формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей.
12. Способ по п. 9, отличающийся тем, что участками 3D модели, отсутствующими на фотоизображении объекта являются участки обратной стороны деталей изображения.
13. Способ по п. 9, отличающийся тем, что текстурирование 3D модели в соответствии с заранее установленным порядком представляет собой генерацию координат текстуры таким образом, что участки оборотной стороны модели имеют те же координаты на текстуре что и соответствующие им участки лицевой стороны.
14. Способ по п. 9, отличающийся тем, что участки трёхмерной модели, отсутствующие на фотоизображении объекта текстурируют на основе экстраполяции данных видимых частей изображения.
15. Способ по п. 9, отличающийся тем, что 3D модель выполнена анимированной.
16. Способ по п. 9, отличающийся тем, что объект, воспринимаемый как двумерное изображение, представляет собой графическое изображение, выполненное на изогнутой плоскости.
PCT/RU2016/000104 2015-03-25 2016-02-25 Способ отображения объекта WO2016153388A1 (ru)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201680018299.0A CN107484428B (zh) 2015-03-25 2016-02-25 用于显示对象的方法
KR1020177030400A KR102120046B1 (ko) 2015-03-25 2016-02-25 오브젝트를 표시하는 방법
US15/544,943 US20180012394A1 (en) 2015-03-25 2016-02-25 Method for depicting an object
EP16769157.5A EP3276578A4 (en) 2015-03-25 2016-02-25 Method for depicting an object
US16/852,876 US11080920B2 (en) 2015-03-25 2020-04-20 Method of displaying an object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2015111132 2015-03-25
RU2015111132/08A RU2586566C1 (ru) 2015-03-25 2015-03-25 Способ отображения объекта

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/544,943 A-371-Of-International US20180012394A1 (en) 2015-03-25 2016-02-25 Method for depicting an object
US16/852,876 Continuation-In-Part US11080920B2 (en) 2015-03-25 2020-04-20 Method of displaying an object

Publications (1)

Publication Number Publication Date
WO2016153388A1 true WO2016153388A1 (ru) 2016-09-29

Family

ID=56115496

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/000104 WO2016153388A1 (ru) 2015-03-25 2016-02-25 Способ отображения объекта

Country Status (6)

Country Link
US (1) US20180012394A1 (ru)
EP (1) EP3276578A4 (ru)
KR (1) KR102120046B1 (ru)
CN (1) CN107484428B (ru)
RU (1) RU2586566C1 (ru)
WO (1) WO2016153388A1 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397555B2 (en) * 2017-08-25 2019-08-27 Fourth Wave Llc Dynamic image generation system
CA3086117A1 (en) * 2017-12-22 2019-06-27 Sr Labs S.R.L. Mapping method and system for mapping a real environment
US11282543B2 (en) * 2018-03-09 2022-03-22 Apple Inc. Real-time face and object manipulation
CN109191369B (zh) * 2018-08-06 2023-05-05 三星电子（中国）研发中心 2d图片集转3d模型的方法、存储介质和装置
CN109274952A (zh) * 2018-09-30 2019-01-25 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备
CN109446929A (zh) * 2018-10-11 2019-03-08 浙江清华长三角研究院 一种基于增强现实技术的简笔画识别系统
US11068325B2 (en) * 2019-04-03 2021-07-20 Dreamworks Animation Llc Extensible command pattern
US10891766B1 (en) 2019-09-04 2021-01-12 Google Llc Artistic representation of digital data
JP7079287B2 (ja) * 2019-11-07 2022-06-01 株式会社スクウェア・エニックス 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体
CN111182367A (zh) * 2019-12-30 2020-05-19 苏宁云计算有限公司 一种视频的生成方法、装置及计算机系统
CN111640179B (zh) * 2020-06-26 2023-09-01 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质
CN111882642B (zh) * 2020-07-28 2023-11-21 Oppo广东移动通信有限公司 三维模型的纹理填充方法及装置
CN113033426B (zh) * 2021-03-30 2024-03-01 北京车和家信息技术有限公司 动态对象标注方法、装置、设备和存储介质
WO2023136366A1 (ko) * 2022-01-11 2023-07-20 엘지전자 주식회사 증강현실 서비스를 제공하는 장치 및 방법
CN114071067B (zh) * 2022-01-13 2022-03-29 深圳市黑金工业制造有限公司 一种远程会议系统和远程会议中的实物展示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
RU2295772C1 (ru) * 2005-09-26 2007-03-20 Пензенский государственный университет (ПГУ) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
US20090154794A1 (en) * 2007-12-15 2009-06-18 Electronics And Telecommunications Research Institute Method and apparatus for reconstructing 3D shape model of object by using multi-view image information
US8217931B2 (en) * 2004-09-23 2012-07-10 Conversion Works, Inc. System and method for processing video images
US20120320052A1 (en) * 2004-07-30 2012-12-20 Dor Givon System and method for 3d space-dimension based image processing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999015945A2 (en) * 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
US7415152B2 (en) * 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
EP1983425A4 (en) * 2006-02-01 2009-03-18 Fujitsu Ltd OBJECTRELATION DISPLAY PROGRAM AND OBJECTRELATION DISPLAY PROCEDURE
US8644551B2 (en) * 2009-10-15 2014-02-04 Flyby Media, Inc. Systems and methods for tracking natural planar shapes for augmented reality applications
RU2453922C2 (ru) * 2010-02-12 2012-06-20 Георгий Русланович Вяхирев Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
CN101887589B (zh) * 2010-06-13 2012-05-02 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
US9542773B2 (en) * 2013-05-23 2017-01-10 Google Inc. Systems and methods for generating three-dimensional models using sensed position data
US9652895B2 (en) * 2014-03-06 2017-05-16 Disney Enterprises, Inc. Augmented reality image transformation
CN104268922B (zh) * 2014-09-03 2017-06-06 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
US20120320052A1 (en) * 2004-07-30 2012-12-20 Dor Givon System and method for 3d space-dimension based image processing
US8217931B2 (en) * 2004-09-23 2012-07-10 Conversion Works, Inc. System and method for processing video images
RU2295772C1 (ru) * 2005-09-26 2007-03-20 Пензенский государственный университет (ПГУ) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
US20090154794A1 (en) * 2007-12-15 2009-06-18 Electronics And Telecommunications Research Institute Method and apparatus for reconstructing 3D shape model of object by using multi-view image information

Also Published As

Publication number Publication date
CN107484428B (zh) 2021-10-29
EP3276578A1 (en) 2018-01-31
EP3276578A4 (en) 2018-11-21
CN107484428A (zh) 2017-12-15
RU2586566C1 (ru) 2016-06-10
KR102120046B1 (ko) 2020-06-08
KR20170134513A (ko) 2017-12-06
US20180012394A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
RU2586566C1 (ru) Способ отображения объекта
CN108573527B (zh) 一种表情图片生成方法及其设备、存储介质
WO2021030002A1 (en) Depth-aware photo editing
US20070291035A1 (en) Horizontal Perspective Representation
KR20160121569A (ko) 이미지 처리 방법 및 이미지 처리 장치
EP3533218B1 (en) Simulating depth of field
US11182945B2 (en) Automatically generating an animatable object from various types of user input
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR20230015446A (ko) 모델 생성 방법, 이미지 투시도 결정 방법, 장치, 설비 및 매체
CN108492381A (zh) 一种将实物颜色转换成3d模型贴图的方法及系统
US11645800B2 (en) Advanced systems and methods for automatically generating an animatable object from various types of user input
US11080920B2 (en) Method of displaying an object
CN111742352B (zh) 对三维对象进行建模的方法和电子设备
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
JP6679966B2 (ja) 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム
Liu et al. Stereo-based bokeh effects for photography
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
WO2022022260A1 (zh) 图像风格迁移方法及其装置
JP2002083286A (ja) アバタ生成方法、装置及びそのプログラムを記録した記録媒体
JP3850080B2 (ja) 画像生成表示装置
CN113614791A (zh) 动态三维成像方法
JP2000137834A (ja) 合成動画像生成装置および合成動画像生成方法
US20240112394A1 (en) AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video
CN116503578A (zh) 虚拟物体的生成方法、电子设备和计算机可读存储介质
JP2002312810A (ja) 合成動画像生成装置および合成動画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16769157

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15544943

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016769157

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177030400

Country of ref document: KR

Kind code of ref document: A