WO2016190783A1 - Способ визуализации объекта - Google Patents

Способ визуализации объекта Download PDF

Info

Publication number
WO2016190783A1
WO2016190783A1 PCT/RU2016/000315 RU2016000315W WO2016190783A1 WO 2016190783 A1 WO2016190783 A1 WO 2016190783A1 RU 2016000315 W RU2016000315 W RU 2016000315W WO 2016190783 A1 WO2016190783 A1 WO 2016190783A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
additional information
detected
captured image
objects
Prior art date
Application number
PCT/RU2016/000315
Other languages
English (en)
French (fr)
Inventor
Виталий Витальевич АВЕРЬЯНОВ
Андрей Валерьевич КОМИССАРОВ
Original Assignee
Общество с ограниченной ответственностью "Лаборатория 24"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Лаборатория 24" filed Critical Общество с ограниченной ответственностью "Лаборатория 24"
Priority to CN201680030305.4A priority Critical patent/CN107710280B/zh
Priority to EP16800378.8A priority patent/EP3306565A4/en
Priority to KR1020177036828A priority patent/KR20180011794A/ko
Priority to US15/569,174 priority patent/US10347000B2/en
Publication of WO2016190783A1 publication Critical patent/WO2016190783A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the invention relates to the field of information technology, computer technology, namely the processing and generation of image data, image processing for computer graphics and can be used to search, extract and process and display image data.
  • the closest in technical essence is a method of capturing an image, comprising stages in which: capture a digital image; receiving image capture position information indicating a position at which the digital image is captured; obtaining image capturing direction information indicating a direction in which the digital image is captured; receiving a plurality of additional information elements from an additional information storage device that stores a plurality of additional information elements, wherein, in a plurality of additional information elements, each element corresponds to a predetermined object, and each element contains object position information indicating a position of a corresponding one of the objects; dividing the viewing space defined by the information of the image capturing position and the information of the image capturing direction into subfields, and selecting for each of the subfields the corresponding one or more additional information elements having an amount not exceeding the amount set in the corresponding one of the subfields among the plurality of additional information containing a plurality of information items of item positions, respectively indicating items contained in subfields; and display the corresponding one or more elements from the set of elements of additional information superimposed on a
  • the known method can be implemented to visualize and filter additional information of landmarks, superimposed on the image of the area captured using a video camera.
  • the disadvantage of this method is the limited application of it only by displaying landmarks and requires obtaining data about the direction and position of the capture.
  • the known method cannot be used to display additional information about movable objects or objects that are not tied to the terrain.
  • the need to obtain data on the position and direction of image capture implies the presence of appropriate coordinate systems, for example, GPS and a compass, which are not accurate enough (especially in conditions of elevation or in urban areas).
  • the technical result is to expand the scope by providing the ability to identify the object in the captured image based on the image data of the object itself, as well as improving the accuracy of localization of the visualized object.
  • an object is recognized based on image data of its shape and / or color and / or texture;
  • n is a natural number 1, 2, 3, 4 ..., or every frame formed by the moment the computing tools are ready for detection and recognition of an object on it;
  • the data of the images of objects include at least common features and special features, while the detection and recognition of objects is carried out in the following sequence, using the common features of the images of objects, the object is detected on the selected frame, the coordinates of the detected object on the selected frame are calculated using special signs of images of objects, recognize the object in the selected frame of the captured image;
  • - image capture is carried out by the camera of a visualization device containing a display for outputting the captured image;
  • FIG. I shows a block diagram of a device for implementing a method for visualizing an object based on a digital camera
  • FIG. 2 shows a real image in which an object is present and an image of a rendered object on a mobile visualization device
  • FIG. 3 is a structural diagram of the computing means of a visualization device
  • FIG. 4 is a functional diagram of computing facilities.
  • the way to visualize an object is to pre-create images of objects and many elements of additional information, each of which corresponds to a predefined object associated with the objects and stores them in electronic memory.
  • the image is captured by a digital camera of the visualization device and displayed, then at least one object is detected and recognized in each selected frame of the captured image based on image data of its shape and / or color and / or texture using information obtained from electronic memory image of the object, calculate the coordinates of the detected object on the captured image, receive from electronic memory and display at least one additional information element in direct vicinity of the object corresponding to the displayed captured image overlaid on the digital image. Moreover, if the object detected and recognized on the previous selected frames is no longer detected on the next selected frames within a predetermined time, then they conclude that there is no object on the captured image and the output of additional information associated with the object is stopped,
  • each selected frame of the captured image, of performing detection and recognition of each object is ⁇ th video frame, where n - an integer 1, 2, 3, 4, ..., and each frame is formed by the time availability computing means to detect and recognize an object.
  • the image data of the objects contain at least common features that are characteristic of all detected objects and special features that are characteristic only of a particular object. Using the common features of the images of objects, the object is detected on the selected frame, over its entire area, the coordinates of the detected object on the selected frame are calculated, and then using the special features of the images of the objects, the object is recognized in the selected frame of the captured image.
  • the object When recognizing an object already detected earlier on the previous selected frames, the object is carried out on a limited area of the frame, the coordinates of which are predicted based on the calculated coordinates of the object on the previous selected frames. Moreover, if the time of absence of detection of an object on the specified limited area of subsequent selected frames exceeds a predetermined threshold value, then further detection is again performed on the entire area of the selected frame.
  • the location area of the detected and recognized object on the display is allocated when the captured image is displayed by highlighting a part of the image containing the image of the object.
  • Image capture is carried out by a digital camera of a visualization device containing a display for outputting the captured image, computing means and electronic memory,
  • the method of visualizing an object is implemented as follows.
  • Images of objects are sets of features of the image of the object that are characteristic of the corresponding object, used in the process of detection and recognition of the image of the object in the captured image.
  • the images of objects represent at least two groups of signs, one of which is common, characteristic of all objects set in advance.
  • the signs of this group are used to determine the fact of the presence of any object in the image, that is, the detection of the object.
  • the signs of another group are used to recognize a specific object in the image. They also create an array of additional information related to the previously defined objects in the form of additional information elements associated with one of the specified objects, such as text, image or multimedia. Save in electronic memory connected to the visualization device the image data of objects and additional information about these objects together with data on the relationships of additional information elements with specific objects.
  • the image After turning on the video camera of the visualization device, the image is captured using the video camera and displayed on the display of the visualization device.
  • the captured digital image is sent in the form of signals to the input of computing means.
  • Computing tools access electronic memory in the process of detecting and recognizing predetermined specified objects in a captured image using previously created images of objects.
  • Object recognition is carried out on each selected frame of the video image, based on image data of its shape and / or color and / or texture.
  • each selected frame is each ⁇ th frame of the video image, where n is a natural number 1, 2, 3, 4 ... ,,
  • the selected frame is each frame of the video image formed by the moment when the computing means have completed the previous processing cycle and will be ready to process a new frame to detect and recognize the object.
  • Detection and recognition of objects is carried out in several stages, first using common features of images characteristic of all objects, the object is detected on the selected frame, within the entire frame. The fact of detection indicates the presence of one of the objects, without specifying which particular object was detected. Next, the coordinates of the detected object on the selected frame are calculated, and then, using special features of the images of the objects, a specific object is recognized in the selected frame of the captured image, taking into account the coordinates of the detected object.
  • recognition of an object already detected on the previous selected frame is carried out not over the entire area of the selected frame, but over its limited area.
  • the coordinates of this area are predicted based on the values of the calculated coordinates of the object on the previous selected frames. However, if the time during which the detection of the object on the specified limited area in the subsequent selected frames has ceased exceeds a predetermined threshold value, for example, 100 frames of the captured video image, then the detection is again performed on the entire area of the selected frame.
  • a predetermined threshold value for example, 100 frames of the captured video image
  • a digital image signal of the additional information is generated and at least one element of the plurality of additional information elements is determined, previously defined as being associated with the detected object by superimposing the additional information elements on the digital video image from the video camera of the visualization device.
  • the detected object is also highlighted in the image displayed on the display by highlighting the location of the image of the object.
  • the output of additional information on the display is carried out so that additional information is located on the output image near the image of the corresponding detected and recognized object.
  • the additional information will be displayed on the display for a predetermined time, after which, if the image of the object is detected again, then it is concluded that object and continuing to display additional information, if within the set time it is not possible to detect the object, then conclude that there is no object to capture nnom image termination and output the information to the display. Recognizing an object in a video image provides the ability to identify a specific object by its external features, which in turn provides the ability to implement the method without any reference to the terrain or map, and to identify including moving or moving objects.
  • Computing means of the visualization device are based on a processor operating under the control of the corresponding operating system.
  • the scheme of work of computing tools when implementing the method of visualizing an object includes the following main steps (Fig. 3).
  • the beginning of work is connected with turning on the camcorder and the formation of a digital image, which in real time is displayed on the display of the visualization device.
  • the generated digital image is fed to the input of computing tools, which, when a signal appears, begin to access electronic memory, where the data of the standard images of objects used to detect and recognize objects are stored. Object detection is repeated on each selected frame of the video image.
  • Recognition of the detected object is carried out on the calculated coordinates of the frame, as a result of which the image of the detected object is identified with the real object that came into the field of view of the camera.
  • Recognition in subsequent selected frames is carried out on a limited area of the frame, the coordinates of which are calculated by means of predicting the coordinates of the object. If within a predetermined time T m ; n it is not possible to detect an object in this limited frame area, then the detection is again performed throughout area of the selected frame. Thus, they simultaneously track the movement of the detected object within the frame.
  • Computing tools access electronic memory to extract additional information related to the detected and recognized object.
  • the calculated coordinates of the object are also used to attach images of additional information and highlight the area of the image of the object on the captured image.
  • An output signal is formed and additional information is superimposed on the captured captured image and additional information is displayed on the display of the visualization device taking into account the coordinates of the object in the displayed image.
  • the image analysis process continues when the next selected image frame arrives. Image analysis is continued until the corresponding program is launched.
  • the process of visualization of the object is completed in the absence of a digital image signal, which means, for example, turning off the camcorder. Form a team to complete the program.
  • FIG. 4 Functional diagram of computing tools ( Figure 4,) shows the relationship between elements of many tools that ensure the implementation of the method.
  • the digital video image is fed to the object detection means, which also receives the image data of the objects from the output of the means for extracting the images of the objects.
  • the detection results are fed to the coordinate calculation means, the calculation results of which are analyzed in the means of calculating the expected coordinates of the object in the next frame.
  • the current and expected coordinates are fed to the inputs of the recognition means, where the video image and image data also lead.
  • Recognizing means for extracting additional information receive additional information associated with the object and send it to the means of generating a signal containing additional information for overlaying it on the captured video image.
  • the visualization device is a mobile device (Fig. 2), comprising a front-facing video camera, processor-based computing tools, electronic memory for storing images of objects and additional information, and a display.
  • the built-in or removable memory of the mobile visualization device stores the previously created image data of objects and additional information associated with these objects.
  • the video camera is pointed at the object intended for display, and the image is captured using the video camera.
  • the viewing angle of the camera lens and the distance to the object are chosen so that most of the object is visible on the captured image or the whole object is presented.
  • the captured image is displayed on the display of the mobile imaging device.
  • the digital image signals are also sent to the input of computing means, which, if there are captured image signals at the input, access the electronic memory, extracting image data of objects for detecting and recognizing an object in the captured image.
  • computing means which, if there are captured image signals at the input, access the electronic memory, extracting image data of objects for detecting and recognizing an object in the captured image.
  • recognizing they use such features of the image of the object as a contour formed by the boundaries of color and brightness differences, color and color relationships, the presence of regular elements characterizing the texture, etc.
  • the result of the detection operation can be one of two events: either the presence of an object in the selected frame is detected, or the detection is absent.
  • the coordinates of the object in the frame are calculated and, using special features of the images of the objects, the detected object is recognized.
  • the coordinates of the detected object in several previous selected frames are used to predict the coordinates of the object in the next frame, forming the set of expected coordinates of the object, which reduces the performance requirements of the visualization device.
  • Recognition in this case is carried out on the next frame within a limited area or area of the frame. If in the subsequent selected frames within two seconds the object is not detected, then again proceed to processing the entire image frame to detect the object.
  • the computing means After detecting and recognizing an object in the captured image, the computing means, accessing the electronic memory, extracts additional information related to the detected and recognized object, which is displayed by superimposing the displayed captured image. Additional information is text containing letters and / or numbers of an explanatory or descriptive nature related to the detected object, as well as images and multimedia information.
  • the displayed additional information is visualized on a translucent banner and displayed in the immediate vicinity of the image of the detected and recognized object.
  • the image area of the object itself is highlighted, so that the image of the object becomes brighter compared to the background.
  • the visualization device is a digital camera (Fig. 1), equipped with a lens with a digital image forming matrix forming a video camera, a digital display, computing means with electronic memory and a communication device with a server — a modem for connecting computing means to the server over the air using the Internet.
  • the server provides storage of image data of objects and additional information. Images of objects for their detection and recognition, as well as additional information are created in advance and stored on the server, with the ability to communicate with it via the Internet and extract information stored on it.
  • the camera lens In the process of shooting, the camera lens is pointed at the subject and the image is captured, and the video image generated by the matrix is displayed on the camera display.
  • the captured digital image is also transmitted to the input of computing means, which are connected to the server via a modem via the Internet. After compression, the captured image is transmitted to the server where the image is processed in order to detect signs of objects in the image using images previously created and stored in the server’s memory.
  • the image of the object on the captured image is recognized, additional information associated with the object is extracted from the electronic memory of the camera, and additional information is displayed on the display of the camera on the captured image.
  • the image is visualized so that the detected and recognized object is displayed in a square or oval frame formed by bright lines, and additional information is superimposed on the image in the immediate vicinity of the image of the object.
  • the visualization device is glasses with a built-in video camera, computing tools with electronic memory and a display.
  • the electronic memory of the visualization device pre-created images of objects and an array of additional information are stored.
  • an image captured by a front-facing camera integrated in a spectacle frame is displayed.
  • the captured digital image is also transmitted for processing to computing means, which, turning to electronic memory, obtain images of objects and provide detection and recognition of objects in the captured image.
  • computing means which, turning to electronic memory, obtain images of objects and provide detection and recognition of objects in the captured image.
  • the area around the object on the display is distinguished by a rectangular frame formed by bright lines that superimpose on the output captured image and extract additional information from electronic memory, which in the form of an image is superimposed on the output captured image in the immediate vicinity of the detected object.
  • Computing means provides the calculation of the coordinates of the detected object on the captured video image, which are used when choosing the coordinates of the visualization of the selection frame of the object and additional information, so that the position of the frame and the placement of additional information accompany the image of the object when it moves while the object is detected in the image.
  • An object visualization device can be performed using standard electronic components: LED displays, processors, solid state memory elements, modems, etc.
  • the object visualization device has a wider scope due to the possibility of identifying the object in the captured image on the basis of the image data of the object itself, as well as improving the localization accuracy of the visualized object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображений для машинной графики и может быть использовано для поиска, извлечения и обработки и отображения данных изображения. Способ визуализации объекта, заключается в захвате цифрового изображения, получении элементов дополнительной информации из электронной памяти, которое хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, отображении, по меньшей мере, одного элемента из множества элементов дополнительной информации с наложением на цифровое изображение, при этом помимо дополнительной информации об объекте в электронной памяти хранят данные образов соответствующих объектов, осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения, используя полученные из электронной памяти данные образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении, если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом, захват изображения осуществляют цифровой камерой устройства визуализации и выводят его на дисплей.

Description

СПОСОБ ВИЗУАЛИЗАЦИИ ОБЪЕКТА
Область техники
Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображений для машинной графики и может быть использовано для поиска, извлечения и обработки и отображения данных изображения.
Предшествующий уровень техники
Наиболее близким по технической сущности является способ захвата изображения, содержащий этапы, на которых: захватывают цифровое изображение; получают информацию позиции захвата изображения, указывающую позицию, в которой захвачено цифровое изображение; получают информацию направления захвата изображения, указывающую направление, в котором захвачено цифровое изображение; получают множество элементов дополнительной информации из устройства хранения дополнительной информации, которое хранит множество элементов дополнительной информации, при этом в множестве элементов дополнительной информации каждый элемент соответствует заранее заданному объекту, и каждый элемент содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов; разделяют на подполя пространство обзора, определенное информацией позиции захвата изображения и информацией направления захвата изображения, и выбирают для каждого из подполей соответствующий один или более элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащего множество элементов информации позиций объектов, соответственно указывающих позиции, содержащиеся в подполях; и отображают соответствующий один или более элементов из множества элементов дополнительной информации с наложением на цифровое изображение, причем соответствующий один или более элементов из множества элементов дополнительной информации выбраны на упомянутом этапе выбора (см. RU 2463663 С2, кл. G06T1 /00, G06T1 1/60).
Известный способ может быть реализован для визуализации и фильтрации дополнительной информации наземных ориентиров, накладываемой на изображение местности, захваченное с помощью видеокамеры.
Недостатком известного способа является ограниченность его применения лишь отображением ориентиров местности и требует получения данных о направлении и позиции захвата. Известный способ не может быть использован для отображения дополнительной информации о движимых объектах или объектах, не привязанных к местности. Кроме того, необходимость получения данных о позиции и направлении захвата изображения подразумевает наличие соответствующих координатных систем, например, GPS и компаса, которые не достаточно точны (особенно в условиях перепада высот местности или в условиях городской застройки).
Указанные недостатки ограничивают область применения известного способа.
Раскрытие изобретения
Техническим результатом является расширение области применения за счёт обеспечения возможности идентифицировать объект на захваченном изображении на основе данных изображения самого объекта, а также повышения точности локализации визуализируемого объекта.
Указанный результат достигается тем, что в способе визуализации объекта, заключающемся в захвате цифрового изображения, получении элементов дополнительной информации из электронной памяти, которое хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, отображении, по меньшей мере, одного элемента из множества элементов дополнительной информации с наложением на цифровое изображение, при этом помимо дополнительной информации об объекте в электронной памяти хранят данные образов соответствующих объектов, осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения, используя полученные из электронной памяти данные образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении, если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом, захват изображения осуществляют цифровой камерой устройства визуализации и выводят его на дисплей.
Кроме того: - осуществляют распознавание объекта на основе данных изображения его формы и/или цвета и/или текстуры;
- выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта является каждый η-й кадр видеоизображения, где п - натуральное число 1, 2, 3, 4..., или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию на нём объекта;
- данные образов объектов включают, по меньшей мере, общие признаки и специальные признаки, при этом обнаружение и распознавание объектов осуществляют в следующей последовательности, используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, вычисляют координаты обнаруженного объекта на выбранном кадре, используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения;
- вычисляют ожидаемые координаты объекта в следующем кадре на основе координат объекта в предыдущих кадрах и ограничивают область распознавания объекта на следующем кадре множеством указанных ожидаемых координат объекта, при этом если время отсутствия распознавания объекта на указанной ограниченной области распознавания в последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всём выбранном кадре.
- выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения; - выделение распознанного объекта осуществляют путём подсвечивания части изображения, содержащего изображение объекта;
- захват изображения осуществляют камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения;
- создание данных образов объектов и занесение их в электронную память осуществляют предварительно.
Промышленная применимость
Способ визуализации объекта поясняется с помощью чертежей, где на фиг. I показана структурная схема устройства для реализации способа визуализации объекта, выполненного на основе цифрового фотоаппарата, на Фиг. 2 представлено реальное изображение, на котором присутствует объект и изображение визуализированного объекта на мобильном устройстве визуализации, на Фиг. 3 -структурная схема работы вычислительных средств устройства визуализации, на Фиг. 4 - функциональная схема вычислительных средств.
На чертежах сделаны следующие обозначения: 1 - видеокамера, 2 - вычислительные средства (вычислительная машина), 3 - сервер, 4 - цифровой дисплей, 5 - сеть интернет, 6 - электронная память: 7 - устройство связи с сервером - модем, 8 - изображение реального объекта, 9 - визуализированное изображение объекта, 10 - дополнительная информация, 1 1 - мобильное устройство визуализации, 12 - захват изображения и вывод его на дисплей устройства визуализации, 13 - обращение к электронной памяти и извлечение данных образа объекта, 14 - анализ цифрового изображения на предмет обнаружения объекта, 15 - вычисление координат объекта на захваченном изображении, 16 - сравнение длительности отсутствия обнаружения объектов на выбранных кадрах с пороговым значением времени Tmm, 17 - распознавание объекта, 18 - выделение объекта, 19 - обращение к электронной памяти и извлечение дополнительной информации, 20 - формирование сигнала наложения дополнительной информации на захваченное изображения для вывода на дисплей, 21 - вывод дополнительной информации на дисплей, 22 - анализ наличия сигнала цифрового изображения, 23 - завершение программы в случае отсутствия цифрового изображения, 24 - переход к следующему выбранному кадру, 25 - цифровой фотоаппарат (видеокамера), 26 - средства извлечения данных образа объектов, 27 - средства обнаружения объекта в кадре видеоизображения, 28 - средства вычисления координат объекта в кадре, 29 - средства вычисления ожидаемых координат объекта в следующем кадре, 30 - средства извлечения дополнительной информации из электронной памяти, 31 - средства формирования сигнала наложения дополнительной информации и подсвечивания объекта, 32 - цифровое изображение с выхода видеокамеры, 33 - данные образов объектов и дополнительная информация, сохраняемая в электронной памяти, 34 - сигнал визуализации объекта для вывода на дисплей.
Способ визуализации объекта заключается в том, что предварительно создают образы объектов и множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, связанную с объектами и заносят их в электронную память.
Захватывают изображение цифровой камерой устройства визуализации и выводят на дисплей, затем осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения на основе данных изображения его формы и/или цвета и/или текстуры, используя полученную из электронной памяти информацию образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, получают из электронной памяти и отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении с наложением на цифровое изображение. При этом если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом,
При этом, каждым выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта является каждый η-й кадр видеоизображения, где п - натуральное число 1 , 2, 3, 4..., или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию объекта. Данные образов объектов содержат, по меньшей мере, общие признаки, характерные для всех обнаруживаемых объектов и специальные признаки, характерные лишь для конкретного объекта. Используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, на всей его площади, вычисляют координаты обнаруженного объекта на выбранном кадре, а затем используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения.
При распознавании уже обнаруженного ранее на предыдущих выбранных кадрах объекта осуществляют на ограниченной площади кадра, координаты которой прогнозируют на основе вычисленных координат объекта на предыдущих выбранных кадрах. При этом если время отсутствия обнаружения объекта на указанной ограниченной площади последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всей площади выбранного кадра.
Выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения путём подсвечивания части изображения, содержащего изображение объекта.
Захват изображения осуществляют цифровой камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения, вычислительные средства и электронную память,
Способ визуализации объекта реализуется следующим образом.
Предварительно определяют состав объектов визуализации и создают их образы для использования в процессе обнаружения и распознавания изображений этих объектов. Образы объектов представляют собой наборы признаков изображения объекта, характерных для соответствующего объекта, используемые в процессе обнаружения и распознавания изображения объекта на захваченном изображении. При этом образы объектов представляют собой, по меньшей мере, две группы признаков, одна из которых - общие, характерные для всех установленных заранее объектов. Признаки этой группы используют для определения факта наличия любого объекта на изображении, то есть обнаружения объекта. Признаки другой группы используют для распознавания конкретного объекта на изображении. Создают также массив дополнительной информации, относящейся к определённым ранее указанным объектам в виде элементов дополнительной информации, ассоциируемых с одним из указанных объектов, такой как текст, изображение или мультимедиа. Сохраняют в электронной памяти, соединённой с устройством визуализации данные образов объектов и дополнительную информацию об этих объектах вместе с данными о связях элементов дополнительной информации с конкретными объектами.
После включения видеокамеры устройства визуализации осуществляют захват изображения с помощью видеокамеры, и отображение его на дисплее устройства визуализации. Захваченное цифровое изображение направляют в виде сигналов на вход вычислительных средств.
Вычислительные средства обращаются к электронной памяти в процессе обнаружения и распознавания заранее определённых указанных объектов на захваченном изображении используя ранее созданные образы объектов. Распознавание объекта осуществляют на каждом выбранном кадре видеоизображения, на основе данных изображения его формы и/или цвета и/или текстуры. При этом каждым выбранным кадром является каждый η-й кадр видеоизображения, где п - натуральное число 1 , 2, 3, 4...,, Однако, если же производительность вычислительных средств недостаточна для обработки каждого η-го кадра, то выбранным кадром является каждый кадр видеоизображения, сформированный к моменту, когда вычислительные средства закончат предыдущий цикл обработки и будут готовы к обработке нового кадра для обнаружения и распознавания объекта.
Обнаружение и распознавание объектов осуществляют в несколько этапов, вначале используя общие признаки образов, характерные для всех объектов, осуществляют обнаружение объекта на выбранном кадре, в пределах всего кадра. Факт обнаружения свидетельствует о наличии одного из объектов, без конкретизации какой именно объект обнаружен. Далее вычисляют координаты обнаруженного объекта на выбранном кадре, и затем, используя специальные признаки образов объектов, осуществляют распознавание конкретного объекта в выбранном кадре захваченного изображения, учитывая координаты обнаруженного объекта. В целях экономии ресурсов устройства визуализации, и повышения быстродействия визуализации объекта, распознавание уже обнаруженного на предыдущем выбранном кадре объекта осуществляют не по всей площади выбранного кадра, а на ограниченной его площади. Координаты этой площади прогнозируют на основе значений вычисленных координат объекта на предыдущих выбранных кадрах. Однако, если время, в течение которого обнаружение объекта на указанной ограниченной площади в последующих выбранных кадрах прекратилось, превысит установленное заранее пороговое значение, например, 100 кадров захваченного видеоизображения, то далее обнаружение вновь осуществляют на всей площади выбранного кадра.
При наличии факта распознавания одного из указанных объектов обращаются к массиву дополнительной информации, сохраняемой в электронной памяти и извлекают элементы дополнительной информации, ассоциируемые или связанные с распознанным объектом.
Далее формируют цифровой сигнал изображения дополнительной информации и отображают, по меньшей мере, один элемент из множества элементов дополнительной информации, определённый ранее как связанный с обнаруженным объектом путём наложения элементов дополнительной информации на цифровое видеоизображение с видеокамеры устройства визуализации. Выделяют также обнаруженный объект на выводимом на дисплей изображении путём подсветки места изображения объекта.
Вывод дополнительной информации на дисплее осуществляют так, чтобы дополнительная информация располагалась на выводимом изображении вблизи изображения соответствующего обнаруженного и распознанного объекта.
Если на последующем кадре захваченного изображения не удаётся обнаружить объект, в отношении которого уже визуализируется ассоциируемая с ним дополнительная информация, то вывода дополнительной информации на дисплей продолжают в течении установленного заранее времени, по истечении которого, если изображение объекта обнаруживают вновь, то делают вывод о наличии объекта и продолжении вывода дополнительной информации, если же в течение установленного времени обнаружить объект не удаётся, то делают вывод об отсутствии объекта на захваченном изображении и прекращении вывода дополнительной информации на дисплей. Распознавание объекта на видеоизображении обеспечивает возможность идентификации конкретного объекта по его внешним признакам, что в свою очередь обеспечивает возможность осуществления способа без всякой привязки к местности или карте и идентифицировать в том числе движущиеся или перемещаемые объекты.
Благодаря обнаружению и распознаванию объекта непосредственно на видеоизображении и отслеживанию координат перемещающегося объекта в кадре, обеспечивается высокая точность локализации объекта на изображении, которая не зависит от ограничений каких-либо навигационных систем.
Вычислительные средства устройства визуализации выполнены на основе процессора, работающего под управлением соответствующей операционной системы. Схема работы вычислительных средств при реализации способа визуализации объекта включает следующие основные этапы (Фиг. 3).
Начало работы связано с включением видеокамеры и формированием цифрового изображения, которое в реальном времени выводят на дисплей устройства визуализации. Сформированное цифровое изображение подают на вход вычислительных средств, которые при появлении сигнала начинают обращаться к электронной памяти, где хранятся данные эталонных образов объектов, используемые при обнаружении и распознавании объектов. Обнаружение объекта повторяют на каждом выбранном кадре видеоизображения .
Если на захваченном видеокамерой изображении обнаруживают наличие объекта, то осуществляют вычисление его координат, которые используют, в частности, для работы средств прогнозирования координат объекта, обеспечивающих вычисление предполагаемых координат на будущем кадре.
Осуществляют распознавание обнаруженного объекта на вычисленных координатах кадра, в результате чего изображение обнаруженного объекта отождествляют с реальным объектом, попавшим в поле зрения видеокамеры.
Распознавание в последующих выбранных кадрах осуществляют на ограниченной площади кадра, координаты которой вычисляют средства прогнозирования координат объекта. Если в течение установленного заранее времени Tm;n обнаружить объект на этой ограниченной площади кадра не удаётся, то обнаружение вновь выполняют по всей площади выбранного кадра. Таким образом, осуществляют одновременно отслеживание перемещения обнаруженного объекта в пределах кадра.
Вычислительные средства осуществляют обращение к электронной памяти для извлечения связанной с обнаруженным и распознанным объектом дополнительной информации.
Вычисленные координаты объекта используют также для привязки изображений дополнительной информации и выделения области нахождения изображения объекта на захваченном изображении.
Формируют сигнал вывода и наложения дополнительной информации на выводимое захваченное изображение и выводят дополнительную информацию дисплей устройства визуализации с учётом координат объекта на выводимом изображении.
Если в результате анализа цифрового изображения на текущем выбранном кадре обнаружить изображение объекта не удаётся, процесс анализа изображения продолжают при поступлении следующего выбранного кадра изображения. Анализ изображения продолжают до тех пор, пока запущена соответствую ая программа.
Осуществляют также анализ наличия цифрового изображения на входе вычислительных средств. Если сигнал цифрового изображения поступает на вход вычислительных средств, процесс повторяется на каждом выбранном кадре, обеспечивая отслеживание перемещения изображения объекта на захваченном изображении и соответствующую корректировку визуализируемой дополнительной информации.
Процесс визуализации объекта заканчивают при отсутствии сигнала цифрового изображения, которое означает, например, отключение видеокамеры. Формируют команду на завершение программы.
Функциональная схема вычислительных средств (Фиг.4,) показывает взаимосвязь между элементами множества средств, обеспечивающих осуществление способа. Цифровое видеоизображение подают на средства обнаружения объекта, куда также поступают данные образов объектов с выхода средств извлечения образов объектов. Результаты обнаружения подают на средства вычисления координат, результаты вычисления которых анализируют в средствах вычисления ожидаемых координат объекта в следующем кадре. Текущие и ожидаемые координаты подают на входы средств распознавания, куда заводят также видеоизображение и данные образов. По результатам распознавания средства извлечения дополнительной информации получают дополнительную информацию, ассоциированную с объектом и направляют её на средства формирования сигнала, содержащего дополнительную информацию, для наложение её на захваченное видеоизображение.
Пример 1.
Устройством визуализации служит мобильное устройство (Фиг. 2), содержащее фронтальную видеокамеру, вычислительные средства на основе процессора, электронную память для хранения образов объектов и дополнительной информации и дисплей.
Во встроенную или съёмную память мобильного устройства визуализации заносят созданные заранее данные образов объектов и допо нительную информацию, связанную с этими объектами.
Для визуализации объекта наводят видеокамеру на объект, предназначенный для отображения, и осуществляют захват изображения с помощью видеокамеры. При этом угол обзора объектива видеокамеры и расстояние до объекта выбирают так, чтобы на захваченном изображении была видна большая часть объекта или объект был представлен целиком. Захваченное изображение отображают на дисплее мобильного устройства визуализации.
Направляют сигналы цифрового изображения также на вход вычислительных средств, которые, при наличии на входе сигналов захваченного изображения, обращаются к электронной памяти, извлекая данные образов объектов для обнаружения и распознавания объекта на захваченном изображении. При распознавании используют такие признаки изображения объекта как контур, сформированный границами перепадов цветов и яркости, цвет и цветовые соотношения, наличие регулярных элементов, характеризующих текстуру и пр.
В процессе обнаружения используют общие для всех объектов признаки образов объектов. Результатом операции обнаружения может быть одно из двух событий: либо наличие объекта в выбранном кадре обнаружено, либо обнаружение отсутствует.
В первом случае вычисляют координаты объекта в кадре и, используя специальные признаки образов объектов, осуществляют распознавание обнаруженного объекта. Координаты обнаруженного объекта в нескольких предыдущих выбранных кадрах используют для прогнозирования координат объекта в последующем кадре, формируя множество ожидаемых координат объекта, что позволяет снизить требования к производительности устройства визуализации. Распознавание в этом случае осуществляют на следующем кадре в пределах ограниченной площади или области кадра. Если в последующих выбранных кадрах в течении двух секунд объект не обнаруживают, то далее вновь переходят к обработке всего кадра изображения для обнаружения объекта.
После обнаружения и распознавания объекта на захваченном изображении, вычислительные средства, обращаясь к электронной памяти, извлекают связанную с обнаруженным и распознанным объектом дополнительную информацию, которую выводят на дисплей путём наложения на отображаемое захваченное изображение. Дополнительная информация представляет собой текст, содержащий буквы и/или цифры имеющий пояснительный или описательный характер, относящийся к обнаруженному объекту, а также изображения и мультимедийную информацию.
Отображаемую дополнительную информацию визуализируют на полупрозрачном транспаранте и выводят в непосредственной близости от изображения обнаруженного и распознанного объекта. Область изображения самого объекта при этом подсвечивается, так, что изображение объекта становится более ярким по сравнению с фоновым.
Если в процессе вывода дополнительной информации обнаружение и распознавание прекратилось и в течение 1 с. не возобновилось, то вывод дополнительной информации прекращают.
Пример 2.
Устройством визуализации служит цифровой фотоаппарат (Фиг. 1 ), снабжённый объективом с матрицей формирования цифрового изображения, образующих видеокамеру, цифровым дисплеем, вычислительными средствами с электронной памятью и устройством связи с сервером - модемом для связи вычислительных средств с сервером по радиоканалу с использованием сети Интернет. Сервер, обеспечивает хранение данных образов объектов и дополнительной информации. Образы объектов для их обнаружения и распознавания, а также дополнительную информацию создают заранее и сохраняют на сервере, с возможностью связи с ним посредством сети Интернет и извлечения хранящейся на нём информации.
В процессе осуществления съёмки наводят объектив фотоаппарата на объект съёмки и осуществляют захват изображения, при этом формируемое матрицей видеоизображение выводят на дисплей фотоаппарата.
Захваченное цифровое изображение передают также на вход вычислительных средств, которые посредством модема через сеть Интернет связаны с сервером. Захваченное изображение после сжатия на вычислительных средствах передают на сервер, где осуществляют обработку изображения в целях обнаружения признаков объектов на изображении с использованием ранее созданных и хранящихся в памяти сервера образов.
При наличии факта обнаружения объекта на изображении и его распознавании из электронной памяти извлекают связанную с обнаруженным объектом дополнительную информацию и передают посредством сети Интернет соответствующий образ и дополнительную информацию на вход модема и затем в электронную память фотоаппарата.
С помощью вычислительных средств фотоаппарата осуществляют распознавание изображение объекта на захваченном изображении, извлекают из электронной памяти фотоаппарата связанную с объектом дополнительную информацию и визуализируют на дисплее фотоаппарата дополнительную информацию на выводимом захваченном изображении. При этом визуализируют изображение так, что обнаруженный и распознанный объект отображается в квадратной или овальной рамке, сформированной яркими линиями, а дополнительную информацию накладывают на изображение в непосредственной близости от изображения объекта.
Пример 3.
Устройством визуализации являются очки со встроенными видеокамерой, вычислительными средствами с электронной памятью и дисплеем.
В электронной памяти устройства визуализации хранят заранее созданные образы объектов и массив дополнительной информации. На дисплее устройства визуализации отображают изображение, захваченное фронтальной видеокамерой, встроенной в оправу очков. Захваченное цифровое изображение передают также для обработки на вычислительные средства, которые, обращаясь к электронной памяти, получают образы объектов и обеспечивают обнаружение и распознавание объектов на захваченном изображении. После распознавания объекта область вокруг объекта на дисплее выделяют прямоугольной рамкой, сформированной яркими линиями, которые накладывают на выводимое захваченное изображение и извлекают дополнительную информацию из электронной памяти, которую в виде изображения накладывают на выводимое захваченное изображение в непосредственной близости от обнаруженного объекта.
Вычислительные средства обеспечивает вычисление координат обнаруженного объекта на захваченном видеоизображении, которые используют при выборе координат визуализации рамки выделения объекта и дополнительной информации, так, что положение рамки и размещение дополнительной информации сопровождают изображение объекта при его перемещении пока объект обнаружен на изображении.
Если в процессе вывода дополнительной информации обнаружение и распознавание обнаруженного ранее объекта прекратилось и в течение 30 выбранных кадров захваченного видеоизображения не возобновляется вновь, то прекращают вывод дополнительной информации, и рамки выделения объекта.
Устройство визуализации объекта может быть выполнено при использовании стандартных электронных компонентов: LED дисплеев, процессоров, элементов твердотельной памяти, модемов и пр.
Таким образом, устройство визуализации объекта имеет более широкую область применения за счёт обеспечения возможности идентификации объекта на захваченном изображении на основе данных изображения самого объекта, а также повышения точности локализации визуализируемого объекта.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ визуализации объекта, заключающийся в захвате цифрового изображения, получении элементов дополнительной информации из электронной памяти, которое хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, отображении, по меньшей мере, одного элемента из множества элементов дополнительной информации с наложением на цифровое изображение, отличающийся тем, что помимо дополнительной информации об объекте в электронной памяти хранят данные образов соответствующих объектов, осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения, используя полученные из электронной памяти данные образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении, если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом, захват изображения осуществляют цифровой камерой устройства визуализации и выводят его на дисплей.
2. Способ по п. 1 , отличающийся тем, что осуществляют распознавание объекта на основе данных изображения его формы и/или цвета и/или текстуры.
3. Способ по п. 1, отличающийся тем, что выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта является каждый η-й кадр видеоизображения, где п - натуральное число I , 2, 3. 4.... или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию на нём объекта.
4. Способ по п. 1, отличающийся тем, что данные образов объектов включают, по меньшей мере, общие признаки и специальные признаки, при этом обнаружение и распознавание объектов осуществляют в следующей последовательности, используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, вычисляют координаты обнаруженного объекта на выбранном кадре, используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения.
5. Способ по п. 1 , отличающийся тем, что вычисляют ожидаемые координаты объекта в следующем кадре на основе координат объекта в предыдущих кадрах и ограничивают область распознавания объекта на следующем кадре множеством указанных ожидаемых координат объекта, при этом если время отсутствия распознавания объекта на указанной ограниченной области распознавания в последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всём выбранном кадре.
6. Способ по п. 1, отличающийся тем, что выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения.
7. Способ по п. 1, отличающийся тем, что выделение распознанного объекта осуществляют путём подсвечивания части изображения, содержащего изображение объекта.
8. Способ по п. 1, отличающийся тем, что захват изображения осуществляют камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения.
9. Способ по п. 1 , отличающийся тем, что создание данных образов объектов и занесение их в электронную память осуществляют предварительно.
PCT/RU2016/000315 2015-05-26 2016-05-25 Способ визуализации объекта WO2016190783A1 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680030305.4A CN107710280B (zh) 2015-05-26 2016-05-25 对象可视化方法
EP16800378.8A EP3306565A4 (en) 2015-05-26 2016-05-25 Entity visualization method
KR1020177036828A KR20180011794A (ko) 2015-05-26 2016-05-25 오브젝트 시각화 방법
US15/569,174 US10347000B2 (en) 2015-05-26 2016-05-25 Entity visualization method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2015119725 2015-05-26
RU2015119725/08A RU2602386C1 (ru) 2015-05-26 2015-05-26 Способ визуализации объекта

Publications (1)

Publication Number Publication Date
WO2016190783A1 true WO2016190783A1 (ru) 2016-12-01

Family

ID=57393490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/000315 WO2016190783A1 (ru) 2015-05-26 2016-05-25 Способ визуализации объекта

Country Status (6)

Country Link
US (1) US10347000B2 (ru)
EP (1) EP3306565A4 (ru)
KR (1) KR20180011794A (ru)
CN (1) CN107710280B (ru)
RU (1) RU2602386C1 (ru)
WO (1) WO2016190783A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111295879A (zh) * 2017-11-15 2020-06-16 村田机械株式会社 管理服务器、管理系统、管理方法以及程序

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019135676A1 (de) * 2018-12-26 2020-07-02 Htc Corporation Objektverfolgungssystem und objektverfolgungsverfahren
RU2716415C1 (ru) * 2019-02-04 2020-03-12 Общество с ограниченной ответственностью "Сити Консьерж" Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
KR102252110B1 (ko) 2019-08-07 2021-05-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
CN110536154A (zh) * 2019-08-16 2019-12-03 北京达佳互联信息技术有限公司 视频码流分析方法、装置、电子设备及存储介质
KR20210045891A (ko) * 2019-10-17 2021-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법
WO2021213339A1 (en) * 2020-04-22 2021-10-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for extracting and storing image metadata
CZ2021270A3 (cs) * 2021-06-01 2022-12-14 Marek MENSA Způsob interakce s nosným médiem zvukového obsahu, způsob interakce s nosičem rozšířené reality, nosné médium zvukového obsahu a způsob přehrávání zvukového obsahu uživatelskou periferií
CN115883864A (zh) * 2022-12-19 2023-03-31 国网河北省电力有限公司营销服务中心 一种记录多维数据的视频编解码方法、装置及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050116964A1 (en) * 2003-11-19 2005-06-02 Canon Kabushiki Kaisha Image reproducing method and apparatus for displaying annotations on a real image in virtual space
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US20120001939A1 (en) * 2010-06-30 2012-01-05 Nokia Corporation Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
RU2463663C2 (ru) * 2007-05-31 2012-10-10 Панасоник Корпорэйшн Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации
US20140036129A1 (en) * 2010-09-17 2014-02-06 Olympus Imaging Corp. Photographing apparatus and photographing method
US20140176606A1 (en) * 2012-12-20 2014-06-26 Analytical Graphics Inc. Recording and visualizing images using augmented image data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004095374A1 (ja) * 2003-04-21 2004-11-04 Nec Corporation 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
US9569891B2 (en) * 2010-07-16 2017-02-14 Tyoterveyslaitos Method, an apparatus and an arrangement for visualizing information
US8447329B2 (en) * 2011-02-08 2013-05-21 Longsand Limited Method for spatially-accurate location of a device using audio-visual information
US20120201472A1 (en) * 2011-02-08 2012-08-09 Autonomy Corporation Ltd System for the tagging and augmentation of geographically-specific locations using a visual data stream
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
CN104067317A (zh) * 2011-09-08 2014-09-24 宝福特控股私人有限公司 用于在真实世界视频剪辑内对合成对象进行可视化的系统和方法
EP2610871A1 (en) * 2011-12-30 2013-07-03 Research In Motion Limited Methods and apparatus for use in providing object indicators during video recording or playback
JP5999105B2 (ja) * 2012-01-17 2016-09-28 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
WO2014201176A1 (en) * 2013-06-11 2014-12-18 Qualcomm Incorporated Interactive and automatic 3-d object scanning method for the purpose of database creation
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050116964A1 (en) * 2003-11-19 2005-06-02 Canon Kabushiki Kaisha Image reproducing method and apparatus for displaying annotations on a real image in virtual space
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
RU2463663C2 (ru) * 2007-05-31 2012-10-10 Панасоник Корпорэйшн Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации
US20120001939A1 (en) * 2010-06-30 2012-01-05 Nokia Corporation Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
US20140036129A1 (en) * 2010-09-17 2014-02-06 Olympus Imaging Corp. Photographing apparatus and photographing method
US20140176606A1 (en) * 2012-12-20 2014-06-26 Analytical Graphics Inc. Recording and visualizing images using augmented image data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3306565A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111295879A (zh) * 2017-11-15 2020-06-16 村田机械株式会社 管理服务器、管理系统、管理方法以及程序

Also Published As

Publication number Publication date
CN107710280B (zh) 2022-06-03
CN107710280A (zh) 2018-02-16
US10347000B2 (en) 2019-07-09
EP3306565A1 (en) 2018-04-11
RU2602386C1 (ru) 2016-11-20
US20180150967A1 (en) 2018-05-31
EP3306565A4 (en) 2019-01-02
KR20180011794A (ko) 2018-02-02

Similar Documents

Publication Publication Date Title
RU2602386C1 (ru) Способ визуализации объекта
KR102166861B1 (ko) 시선 추적을 이용한 증강 현실의 인에이블링
US10535160B2 (en) Markerless augmented reality (AR) system
CN106650662B (zh) 目标对象遮挡检测方法及装置
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
US11830103B2 (en) Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
GB2584033A (en) Object tracking in zoomed video
KR102042793B1 (ko) 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스
US20130135446A1 (en) Street view creating system and method thereof
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
JP2018010599A (ja) 情報処理装置、パノラマ画像表示方法、パノラマ画像表示プログラム
US11106949B2 (en) Action classification based on manipulated object movement
EP3048558A1 (en) Object detecting method and object detecting apparatus
KR20180106811A (ko) 벡터를 이용한 증강 현실 영상 구현 방법
US20220084314A1 (en) Method for obtaining multi-dimensional information by picture-based integration and related device
CN110942056A (zh) 服饰关键点定位方法、装置、电子设备及介质
CN111754543B (zh) 图像处理方法、装置及系统
JP6132996B1 (ja) 画像処理装置，画像処理方法，画像処理プログラム
Urmanov et al. Computer methods of image processing of volcanoes
JP7310935B2 (ja) 表示システムおよび表示方法
CN111859052B (zh) 实地调查成果的分级展示方法及系统
CN114721562B (zh) 用于数字对象的处理方法、装置、设备、介质及产品
US20230046304A1 (en) Display system and display method
US20240037889A1 (en) Image processing device, image processing method, and program recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16800378

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15569174

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177036828

Country of ref document: KR

Kind code of ref document: A