WO2017052420A1 - Способ управления устройством обработки изображения - Google Patents

Способ управления устройством обработки изображения Download PDF

Info

Publication number
WO2017052420A1
WO2017052420A1 PCT/RU2016/050031 RU2016050031W WO2017052420A1 WO 2017052420 A1 WO2017052420 A1 WO 2017052420A1 RU 2016050031 W RU2016050031 W RU 2016050031W WO 2017052420 A1 WO2017052420 A1 WO 2017052420A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
additional information
image processing
data
processing device
Prior art date
Application number
PCT/RU2016/050031
Other languages
English (en)
French (fr)
Inventor
Виталий Витальевич АВЕРЬЯНОВ
Андрей Валерьевич КОМИССАРОВ
Original Assignee
Виталий Витальевич АВЕРЬЯНОВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Виталий Витальевич АВЕРЬЯНОВ filed Critical Виталий Витальевич АВЕРЬЯНОВ
Priority to CN201680065434.7A priority Critical patent/CN108351973A/zh
Priority to KR1020187011158A priority patent/KR20180056728A/ko
Priority to EP16849095.1A priority patent/EP3358505A4/en
Priority to US15/758,379 priority patent/US20180249063A1/en
Publication of WO2017052420A1 publication Critical patent/WO2017052420A1/ru
Priority to US16/882,619 priority patent/US20200285852A1/en
Priority to US17/959,488 priority patent/US20230031587A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Definitions

  • the invention relates to the field of information technology, computer technology, namely, processing and generation of image data, image processing for computer graphics and can be used to search, retrieve and process and display image data.
  • a known image capture method comprising the steps of: capturing a digital image; receiving image capture position information indicating a position at which the digital image is captured; obtaining image capturing direction information indicating a direction in which the digital image is captured; receiving a plurality of additional information elements from an additional information storage device that stores a plurality of additional information elements, wherein, in a plurality of additional information elements, each element corresponds to a predetermined object, and each element contains object position information indicating a position of a corresponding one of the objects; dividing the viewing space defined by the information of the image capturing position and the information of the image capturing direction into subfields, and selecting for each of the subfields the corresponding one or more additional information elements having an amount not exceeding the amount set in the corresponding one of the subfields, among a plurality of elements of additional information containing a plurality of elements of information of positions of objects correspondingly indicating positions contained in sub fields; and display the corresponding one or more elements from the set of elements of additional information superimposed on a digital image,
  • the known method can be implemented for visualization and filtering of additional information of landmarks, superimposed on the image of the area captured by the camera.
  • the disadvantage of this method is the limited application of it only by displaying landmarks and requires obtaining data about the direction and position capture.
  • the known method cannot be used to display additional information about movable objects or objects that are not tied to the terrain. These disadvantages limit the scope of the known method.
  • the closest in technical essence - the prototype is a method of controlling an image processing device capable of communicating with a server that provides a microblogging function for publishing a message registered by a user to another user, and including a data storage unit configured to save image data, moreover, the method comprises the steps in which:
  • the second message is analyzed by the analysis unit if the second message is detected during tracking
  • the known solution allows providing additional information to the resulting image and providing it to another user.
  • the disadvantage of this method is the excessive accumulation of additional information related to the image, regardless of the circumstances of image acquisition, which necessitates the use of high requirements for the capacity and speed of drives for storing digital information and eliminates or complicates the use of additional information for its intended purpose the difficulties of choosing it from a large number.
  • a well-known solution provides for the exchange of messages regarding the image, which should be a static image or an image obtained in the past. This image cannot be an image obtained in real time.
  • - additional information is formed in the form of an image, including a text and / or audio signal, and / or combinations thereof, - the image signal conditioner is an integrated camera,
  • the image signal conditioner is a digital data storage device
  • the appearance of a registered user includes the following steps: provide the administrator or an already registered user with user data as a request for registration, form and send a response message about registration to the user.
  • the linking of additional information with the recognized object is the formation of a single data block, so that upon recognition of the corresponding object in the image, additional information included in this data block associated with the specified object is displayed.
  • the image processing device comprises an image signal conditioner, input means, calculation means and a display,
  • FIG. 1 schematically shows an implementation of a method for controlling an image processing apparatus
  • FIG. 2 is a structural diagram of an image processing apparatus
  • FIG. 3 the algorithm of the computing means of the image processing device.
  • a method for controlling an image processing apparatus is as follows.
  • the description of the method is associated with the need to define the following terms.
  • the resulting image is the image signal received from the camera output or from the memory of a digital storage device. Additional information is text, image, sound data, or combinations thereof, which the user enters using input means on top of the received image and / or sound.
  • Geolocation data the geographic coordinates of the image processing device obtained using GPS, GLONASS, GSM base stations or similar. Data on the received image - data on the detected and recognized object in the received image, as well as geolocation data of the place where the image processing device received the image and entered additional information.
  • Server-side data processing tools are a remote server or a set of servers interconnected and implementing one of the models of cloud technologies, such as, for example, SaaS, PaaS, IaaS, Utility computing, MSP.
  • Each registered user first transmits their identification data to server-side data processing tools, presenting them thus to the resource administrator and then registering them, creating a new registered user.
  • an image signal is generated, which is transmitted to the display of the image processing device for displaying it in real time and fed to the calculation means of the image processing device.
  • the calculation tools Using the calculation tools, they compare the images received from the camera with the images of objects stored on the server or in the memory of the image processing device, and also, if necessary, obtain geolocation data using the built-in geolocation module.
  • additional information can be text entered using the real or virtual (on-screen) keyboard of the image processing device or an image created or selected from the archive or a sound file created using the microphone of the image processing device or selected from the archive or a combination of the above .
  • the additional information obtained previously entered by other users by means of other image processing devices is displayed or reproduced when an object is recognized on the received image with respect to which it was coupled on that other image processing device.
  • Additional information is formed in the form of text and / or image and / or sound and / or combinations thereof.
  • the image processing device comprises an integrated camera or digital storage device, which is a storage of previously stored images, input means made in the form of keyboard buttons and / or built-in microphone, calculation tools, digital storage device, geolocation module, display, and sound reproduction module.
  • the display of the additional information entered earlier using other image processing devices is performed on top of the received image, and the sound additional information is reproduced in priority order.
  • a method for controlling an image processing apparatus is implemented as follows.
  • Images of objects that are supposed to appear on the image are preliminarily formed and stored in the server server data processing means or digital storage device.
  • Register users of a professional or social Internet resource are registered. Moreover, registration is carried out centrally by the resource administrator or on the basis of an invitation from any of the registered users.
  • an integrated camera receives an image on which it can present an image of an object whose image is stored on the server or in the memory of the image processing device.
  • Geolocation data is also obtained from the corresponding integrated geolocation module.
  • recognition has occurred that is, data about the received image has been received and the user wants to generate additional information regarding the recognized object
  • he will enter text or multimedia information using the information input means and form a command to associate additional information with recognized object and publishing additional information on the server.
  • any registered user has the opportunity to find himself in the conditions of augmented reality when the camera captures his device for image processing, recognizes an object on it and receives additional information generated.
  • a registered user to display the additional information that he needs at this moment has the opportunity to select the source of additional information if there are several messages with additional information.
  • Augmented reality is expressed in the form of additional information that is displayed on the display of the image processing device in real time by overlaying on the image received from the output of the built-in camera or reproduced in priority order, lowering the playback volume of other simultaneously working applications.
  • the image processing device comprises an image former representing a camera or a digital storage device with image and / or sound data, input means, calculation tools, geolocation tools and a display,
  • the image processing device comprises an image former, which is used as an integrated camera or an external digital drive with multimedia content stored on it, input means, which are used as a real or on-screen keyboard and / or microphone, means for calculating based on a processor equipped with software, a geolocation module, which is used as a module of the GPS or GLONASS global positioning system or a location module, for example, according to GSM base stations, a display and a sound reproduction module, as well as a module communication with the server, which is a wireless data transmission node, within the framework of Wi-Fi standards or GPRS or LTE or other similar standards.
  • the imaging device, input means, geolocation module and display are connected to the calculation means.
  • the calculation tools include means for recognizing an object in an image, means for comparing data of geographical coordinates, means for generating a final image for display,
  • a signal corresponding to the video sequence obtained with the camera or stored in the memory of an external digital storage device is fed to the input of computing means that provide detection and recognition of a specific object in the received image.
  • images for object recognition are extracted from the memory of the built-in digital storage device for computing tools or are received from a server connected to the computing tools via the Internet using a server communication module.
  • the resulting image is displayed, which also displays an indication of the fact of recognition of the object, for example by highlighting the boundaries of the recognized object.
  • the object is recognized, and the user wishes to leave a comment, he makes a text entry using a real or on-screen keyboard and / or enters a voice comment using a microphone and / or generates a multimedia file that associates with the recognized object.
  • a multimedia file can be generated using editing software or extracted from the memory of the built-in digital drive. The user's comment is additional information to the image received by him.
  • the generated comment is associated with the recognized object in accordance with the user command generated using input tools and sent to the server using the server communication module.
  • Sending comments to the server is the publication of additional information generated.
  • the communication module with the server allows the user to receive comments from other registered users associated with objects in the received image if they are recognized.
  • the algorithm of the processor of calculation tools includes the following main steps.
  • the beginning of the 26 calculation program is determined by the corresponding user command.
  • input 15 of the generated image, geolocation data and receiving data from the server extracting 16 images to recognize the object in the image, checking 17 the fact of recognition of the object, checking 18 the presence of comments of other registered users associated with the recognized object, displaying 19 comments other registered users.
  • Formation 23 and processing of comments associated with the object for transmitting the corresponding signals to the server is the formation of a data packet for sending to the server.
  • step 21 check for the presence of comments of other users related to the coordinates at which the image was obtained, check whether additional information was left by other registered users in the place characterized by these coordinates.
  • step 22 the comments of other registered users associated with the coordinates of the location of the user image processing device are displayed.
  • a signal is generated containing additional information related to the image and sent to the server.
  • step 24 the presence of the program exit command is checked. If there was one, then the program ends - 27, if not, then the processing of the next 25 image frames begins.
  • a mobile communication device a telephone equipped with a camera, a processor with software, a built-in drive, a geolocation module, a display and a wireless module, for example, GPRS.
  • a user who has subscribers to his blogs of the corresponding social Internet resource hereinafter referred to as other registered users. Teli, being in Rome, points the phone camera at the architectural structure that interests him (Fig. 1). In this case, the user's telephone accesses the server database, where images are stored for recognition of known architectural objects.
  • the image obtained by the user is processed by means of server computation in order to recognize an architectural object in the image so that an architectural object that has come into view of the camera can be recognized with a certain probability as the Colosseum.
  • the means of calculating the user's phone can also be involved in the recognition process, in which case the user’s phone location is constantly transmitted to the remote server, as a result of which the images of architectural objects located in this geographical location are pumped through the Internet to the digital storage device of the user's phone and used by means of calculating a user's telephone for recognizing specific objects in an image.
  • a corresponding message is generated and displayed on the telephone display informing the user about the recognition fact.
  • a message may be in the form of a backlight or other highlighting of a recognized object in the image.
  • the user has the ability to form augmented reality. Desiring to record the fact of visiting a famous place, the user enters a text with his name using the input tools module and generates a send command. In this case, the entered message is connected by means of calculating the telephone with the image of the recognized object and can be displayed on the telephone display of another registered user, in the field of view of the telephone camera of which the specified architectural object will be recognized.
  • any registered user can participate in the process of forming augmented reality and, at the same time, has the opportunity to find himself in the conditions of augmented reality created by other registered users due to the possibility of receiving messages with additional information from other registered users.
  • These messages can be received upon recognition by means of telephone calculation of objects with respect to which messages were previously entered by other registered users. Recognition of an object may not occur, for example, due to an unsuccessful camera angle, insufficient lighting, or lack of image of the object.
  • the message left by the user is associated with the coordinates of the place where the message was made by the user, so that another registered user of the phone who finds himself in a place characterized by the same or similar geographical coordinates receives the previously entered message on the phone display left by the first user.
  • a message is displayed on top of the image received from the output of the built-in camera phone of this other registered user.
  • the image processing device control method is used to control the student’s knowledge in the framework of a foreign language course.
  • a mobile communication device equipped with an integrated camera, a processor with software, an integrated storage device, a display and sound reproduction means, a microphone and a wireless module, for example, Wi-Fi for communication with a server.
  • the teacher and students are united by participation in the corresponding educational Internet resource as registered users.
  • the teacher instructs the students to visit, after school or on the way to school, the buildings known in the city associated with a certain historical event and briefly characterize them in a foreign language from the standpoint of history, significance for the city, characteristics of the owner or otherwise, or answer questions.
  • the student passing the building, captures it with a built-in camera, pronounces the desired text and sends it as additional information.
  • the teacher uses a database containing pre-created images of architectural objects or just buildings and institutions of the city, selecting objects directly related to his task.
  • the teacher After the object is recognized by the means of its image processing device, the teacher receives a list of students who left their comments on the object he selected and selects the desired surname, listens to the monologue of the corresponding student.
  • Such tasks are attractive for students due to their unusualness and novelty; they allow testing students' knowledge in real life conditions cities, and also allow you to get an idea of the dynamics of mastering the course by the student when repeating the task after a certain period of time.
  • a method for controlling an image processing apparatus is used as a means for exchanging teacher messages with student parents.
  • a mobile communication device equipped with an integrated camera, a processor with software, an integrated storage device, a display and sound reproduction means, a microphone and a wireless module, for example, Wi-Fi for communication with a server.
  • the teacher, students and their parents are registered users of the resource created as part of the educational process. Pre-create images for recognizing the faces of students and enter them into the server’s memory.
  • the teacher periodically needs to inform parents about successes or problems that have arisen with their child.
  • the teacher captures the image of the student’s face, which is recognized by the means of calculating the phone and makes an audio or text message for parents.
  • Parents who want to find out about the teacher’s messages and get acquainted with their contents capture the image of their child’s face with the camera of their means of communication and, after recognition, receive the corresponding sound or text message left by the teacher.
  • parents using their means of communication can leave a response message to the teacher, which he will receive when he sees the student and uses the camera of his communication device, receiving an image of the student’s face.
  • messages are generated by registered users at a convenient time for them, and the student regarding whom messages are formed becomes a participant in the dialogue or, at least, is in the know about the teacher.
  • the method of controlling the image processing device provides the display or reproduction of additional information only if a known and recognized object gets on the image or when the user is in the geographic coordinates of the formation of this additional information tion. Eliminates the need to transfer large amounts of information to the image processing device of a registered user, which reduces the requirements for wireless communication lines in terms of data transfer speed. In addition, such automatic selection of the information transmitted for display increases the usability of the image processing device, which facilitates the implementation of the device and provides the possibility of productive work with the additional information received.
  • the method of controlling the image processing device provides the user with the opportunity to obtain additional information to the image obtained in real time, allowing you to feel yourself in the conditions of augmented reality. Moreover, the user is not required to determine the addressee for the additional information generated by him, which is transmitted to the device processing the image of any registered user when the condition for object recognition is met or, if necessary, the proximity of geographical areas The rdinat in which additional information was generated, that is, for an unlimited circle of users.
  • the method of controlling the image processing device can be implemented using standard components and electronic components, including stand-alone modules, such as a camera, display, processor, etc.
  • the method of controlling the image processing device is simpler to implement due to lower requirements for the used wireless communication lines, more convenient to use due to the exclusion of the possibility of displaying additional information unrelated to objects in the image, makes it possible to use real-time images forming the conditions of augmented reality, and also provides the ability to obtain additional information for an unlimited circle of users ..

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)
  • Facsimiles In General (AREA)
  • Telephonic Communication Services (AREA)

Abstract

Способ управления устройством обработки изображения заключается в передаче данных с возможностью их воспроизведения на устройствах обработки изображения других пользователей. Сигнал изображения получают с помощью формирователя изображений и отображают изображение с помощью дисплея, далее получают данные о полученном изображении и осуществляют связывание дополнительной информации с данными о полученном изображении. Передача данных представляет собой передачу дополнительной информации, связанной с данными о полученном изображении, осуществляемую на сервер через Интернет. Дополнительную информацию отображают при условии совпадения полученных данных о полученном изображении, с данными о полученном изображении на других устройствах обработки изображения, относительно которого была сформирована дополнительная информация, которая, в свою очередь, была связана с этим изображением.

Description

СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ ОБРАБОТКИ ИЗОБРАЖЕНИЯ
Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображе- ний для машинной графики и может быть использовано для поиска, извлечения и об- работки и отображения данных изображения.
Известен способ захвата изображения, содержащий этапы, на которых: захваты- вают цифровое изображение; получают информацию позиции захвата изображения, указывающую позицию, в которой захвачено цифровое изображение; получают ин- формацию направления захвата изображения, указывающую направление, в котором захвачено цифровое изображение; получают множество элементов дополнительной информации из устройства хранения дополнительной информации, которое хранит множество элементов дополнительной информации, при этом, в множестве элементов дополнительной информации каждый элемент соответствует заранее заданному объек- ту, и каждый элемент содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов; разделяют на подполя пространство обзора, оп- ределенное информацией позиции захвата изображения и информацией направления захвата изображения, и выбирают для каждого из подполей соответствующий один или более элементов дополнительной информации, имеющих количество, не превы- шающее количество, которое установлено в соответствующем одном из подполей, сре- ди множества элементов дополнительной информации, содержащего множество эле- ментов информации позиций объектов, соответственно указывающих позиции, содер- жащиеся в под полях; и отображают соответствующий один или более элементов из множества элементов дополнительной информации с наложением на цифровое изо- бражение, причем соответствующий один или более элементов из множества элемен- тов дополнительной информации выбраны на упомянутом этапе выбора (см. RU 2463663 С2, кл. G06T19/00, G06T 11/60).
Известный способ может быть реализован для визуализации и фильтрации до- полнительной информации наземных ориентиров, накладываемой на изображение ме- стности, захваченное с помощью камеры.
Недостатком известного способа является ограниченность его применения лишь отображением ориентиров местности и требует получения данных о направлении и по- зиции захвата. Известный способ не может быть использован для отображения допол- нительной информации о движимых объектах или объектах, не привязанных к местно- сти. Указанные недостатки ограничивают область применения известного способа.
Наиболее близким по технической сущности - прототипом является способ управления устройством обработки изображений, способным осуществлять связь с сервером, который обеспечивает функцию микроблогинга для публикации сообщения, зарегистрированного пользователем другому пользователю, и включающим в себя блок хранения данных, выполненный с возможностью сохранения данных изображе- ния, причём способ содержит этапы, на которых:
регистрируют блоком регистрации первое сообщение на сервере, если данные изображения сохранены в блоке хранения данных;
отслеживают блоком отслеживания второе сообщение, которое
вновь регистрируется относительно первого сообщения, зарегистрированного во время регистрации;
анализируют блоком анализа второе сообщение, если второе сообщение обна- ружено во время отслеживания; и
передают блоком передачи данные изображения, сохраненные в блоке хранения данных, на основе результата анализа во время анализа (см. RU 2013158163 А, кл. G06F13/00).
Известное решение позволяет снабжать дополнительной информацией полу- ченное изображение и предоставлять её другому пользователю.
Недостатком известного способа является избыточное накопление дополни- тельной информации, относящейся к изображению вне зависимости от обстоятельств получения изображения, что влечёт необходимость использование высоких требова- ний к ёмкости и быстродействию накопителей для хранения цифровой информации и исключает или затрудняет применение дополнительной информации по назначению из-за трудностей её выбора из большого количества.
Известное решение обеспечивает обмен сообщениями относительно изображе- ния, которое должно представлять собой статичную картинку или изображение полу- ченное в прошлом, Это изображение не может быть изображением, полученным в ре- альном времени.
Кроме того, суть известного решения сводится к обмену сообщениями с пользо- вателем, то есть налицо адресная коммуникация, требующая указания адресата, что не приемлемо при наличии большого количества потенциальных адресатов. Техническим результатом является:
- упрощение его реализации за счёт снижения требований к используемым бес- проводным линиям связи,
- повышение удобства использования за счёт исключения возможности отобра- жения, не связанной с объектами на изображении, дополнительной информации,
- обеспечение возможности использования изображения, полученного в реаль- ном времени дополнения реальности,
- обеспечение возможности получения дополнительной информации для неог- раниченного круга пользователей.
Указанный результат достигается тем, что в способе управления устройством обработки изображения, заключающемся в передаче данных с возможностью их вос- произведения на устройстве обработки изображения другого зарегистрированного пользователя, получают сигнал изображения с помощью формирователя сигнала изо- бражения и отображают его в реальном времени с помощью дисплея, распознают, по меньшей мере, один объект на полученном изображении, осуществляют связывание дополнительной информации, введённой с помощью средств ввода, с распознанным объектом, передача данных представляет собой передачу дополнительной информа- ции, связанной с образом распознанного объекта, с возможностью получения их на устройствах обработки изображения других зарегистрированных пользователей с ис- пользованием Интернет, получают и отображают введённую ранее с помощью уст- ройств обработки изображения других зарегистрированных пользователей дополни- тельную информацию при условии наличия факта распознавания соответствующего объекта на полученном изображении, вывод на дисплей дополнительной информации, распознавание объектов на полученном изображении и связывание дополнительной информации с образом распознанного объекта осуществляют в реальном времени, вы- вод введённой ранее с помощью других устройств обработки изображений дополни- тельной информации осуществляют поверх изображения, полученного с выхода фор- мирователя сигнала изображения.
Кроме того: - распознавание объекта на изображении осуществляют с помощью средств вычисления на основе сопоставления полученного изображения с хранящими- ся в памяти образами объектов,
- дополнительную информацию формируют в виде изображения, в том числе текстового и/или звукового сигнала, и/или их комбинации, - формирователь сигнала изображения представляет собой встроенную камеру,
- формирователь сигнала изображения представляет собой цифровой накопи- тель с данными,
- передачу дополнительной информации, связанной с образом распознанного объекта осуществляют на серверные средства обработки данных, связанные с устрой- ствами обработки изображения других зарегистрированных пользователей с помощью Интернет,
- появление зарегистрированного пользователя включает следующие шаги: пре- доставляют администратору или уже зарегистрированному пользователю данные поль- зователя в качестве запроса на регистрацию, формируют и направляют пользователю ответное сообщение о регистрации.
- связывание дополнительной информации с распознанным объектом представ- ляет собой формирование единого блока данных, так, что при распознавании соответ- ствующего объекта на изображении осуществляют отображение включённой в этот блок данных дополнительной информации, связанной с указанным объектом.
- связывание дополнительной информации с распознанным объектом осуществ- ляют при формировании дополнительной информации любым зарегистрированным пользователем на своём устройстве обработки изображения.
- устройство обработки изображения содержит формирователь сигнала изобра- жения, средства ввода, средства вычисления и дисплей,
Изобретение поясняется с помощью чертежей, где на Фиг. 1 схематично пред- ставлена реализация способа управления устройством обработки изображения, на Фиг. 2 представлена структурная схема устройства обработки изображения, на Фиг. 3 - алгоритм работы вычислительных средств устройства обработки изображения.
На чертежах сделаны следующие обозначения.
1 - устройство обработки изображения, 2 - устройство обработки изображения другого зарегистрированного пользователя, 3 - объект, обнаруженный и распознанный на изображении, 4 - изображение дополнительной информации, 5 - архитектурный объект, 6 - Интернет, 7 - встроенная камера, 8 - средства вычисления, 9 - цифровой накопитель устройства обработки изображения, 10 - средства ввода, 11 - дисплей, 12 - модуль связи с сервером, 13 - модуль геолокации, 14 -серверные средства обработки данных (сервер), 15 - получение и ввод изображения камеры, получение и ввод данных геолокации, получение и ввод данных с сервера, 16 - обращение к памяти цифрового накопителя, извлечение образов объектов для распознавания, 17 - обнаружение и рас- познавание объектов на изображении, 18 - проверка наличия в полученных данных с сервера комментариев, сформированных другими зарегистрированными пользовате- лями, связанных с обнаруженным объектом на изображении, 19 -отображение ком- ментариев, связанных с объектом, сформированных другими зарегистрированными пользователями, 20 - направление комментариев, связанных с объектом или геогра- фическими координатами на сервер, 21 - проверка наличия дополнительной информа- ции других зарегистрированных пользователе, оставленной в данных координатах, 22 - отображение комментариев, связанных с координатами, сформированных другими за- регистрированными пользователями, 23 - обработка вводимых комментариев для от- правки на сервер, 24 - проверка наличия команды выхода из программы вычислений, 25 - переход к анализу следующего кадра полученного изображения, 26, 27 - начало и конец программы вычислений, соответственно, 28 - средства распознавания, 29 - сред- ства сравнения данных географических координат, 30 - средства формирования итого- вого изображения с наложением дополнительной информации.
Способ управления устройством обработки изображения заключается в сле- дующем.
Описание способа связано с необходимостью определения следующих терми- нов. Полученное изображение - сигнал изображения, полученный с выхода камеры или из памяти цифрового накопителя. Дополнительная информация - данные текста, изображения, звука или их комбинации, которые пользователь вводит с помощью средств ввода поверх полученного изображения и/или звука. Данные геолокации - гео- графические координаты устройства обработки изображения, полученные с помощью средств GPS, ГЛОНАСС, базовых станций GSM или аналогичных. Данные о получен- ном изображении - данные об обнаруженном и распознанном объекте на полученном изображении, а также данные геолокации места, где устройством обработки изображе- ния получено изображение и введена дополнительная информация. Зарегистрирован- ные пользователи - участники интернет ресурса социальной, обучающей, профессио- нальной или иной направленности, зарегистрированные в установленном для данного ресурса порядке и имеющие возможность формировать и публиковать дополнитель- ную информацию, связанную с полученным изображением с помощью своих уст- ройств обработки изображения. Публикация дополнительной информации, связанной с полученным изображением - передача соответствующих сигналов на серверные средства обработки данных, обеспечивающих доступ зарегистрированных пользовате- лей с помощью своих устройств обработки изображения к дополнительной информа- ции, связанной с полученным ими изображением. Связывание дополнительной инфор- мации с полученным изображением - формирование единого блока данных, отобра- жаемых на дисплее и/или воспроизводимых средствами воспроизведения при обраще- нии к соответствующему образу объекта, обнаруженному на полученном изображении.
Серверные средства обработки данных представляют собой удалённый сервер или множество серверов, связанных между собой и реализующих одну из моделей об- лачных технологий, таких как, например, SaaS, PaaS, IaaS, Utility computing, MSP.
Каждый зарегистрированный пользователь предварительно передаёт на сервер- ные средства обработки данных свои идентификационные данные, представляя их та- ким образом администратору ресурса после чего его регистрируют, создавая нового зарегистрированного пользователя.
С помощью встроенной камеры или цифрового накопителя формируют сигнал изображения, которое транслируют на дисплей устройства обработки изображения для его отображения в реальном времени и подают на средства вычисления устройства об- работки изображения.
С помощью средств вычисления осуществляют сопоставление полученного с ка- меры изображения с хранящимися на сервере или в памяти устройства обработки изо- бражения образами объектов, а также, в необходимых случаях получают данные гео- локации с помощью встроенного модуля геолокации.
Предоставляют пользователю возможность введения дополнительной информа- ции относительно полученного с камеры изображения, которую выводят на дисплей. При этом дополнительная информация может быть текстовой, введённой с помощью реальной или виртуальной (экранной) клавиатуры устройства обработки изображения или изображением, созданное или выбранным из архива, или звуковым файлом, соз- данным с помощью микрофона устройства обработки изображения или выбранным из архива или комбинацией перечисленного.
В случае факта обнаружения объекта на полученном изображении, предостав- ляют пользователю ввести дополнительную информацию и связывают эту введённую пользователем дополнительную информацию с образом распознанного объекта в еди- ный блок данных. В этот единый блок данных, в случае необходимости, включают также данные геолокации места, где было получено изображение. Передают с помощью средств связи с сервером устройства обработки изображе- ния сигналы изображения дополнительной информации, связанной с образом обнару- женного на указанном изображении объекта на серверные средства обработки данных, с возможностью её получения другими, зарегистрированными пользователями.
Получают дополнительную информацию, связанную с конкретными объектами, которые были обнаружены средствами вычисления устройства обработки изображения другого пользователя.
Отображают или воспроизводят полученную, введённую ранее другими пользо- вателями с помощью других устройств обработки изображений дополнительную ин- формацию, при распознавании на полученном изображении объекта, относительно ко- торого было осуществлено связывание на том другом устройстве обработки изображе- ния.
Дополнительную информацию формируют в виде текста и/или изображения и/или звука и/или их комбинации.
Устройство обработки изображения содержит встроенную камеру или цифро- вой накопитель, представляющий собой хранилище сохранённых ранее изображений, средства ввода, выполненные в виде кнопок клавиатуры и/или встроенного микрофо- на, средства вычисления, цифровой накопитель, модуль геолокации, дисплей и модуль воспроизведения звука.
Отображение введённой ранее с помощью других устройств обработки изобра- жений дополнительной информации осуществляют поверх полученного изображения, а воспроизведение звуковой дополнительной информации осуществляют в приоритет- ном порядке.
Способ управления устройством обработки изображений реализуется следую- щим образом.
Предварительно формируют и заносят в память серверных средств обработки данных или цифрового накопителя устройства образы объектов, которые предположи- тельно должны появиться на изображении.
Регистрируют пользователей профессионального или социального Интернет ре- сурса. При этом регистрация осуществляется централизовано администратором ресур- са или на основе приглашения любого из зарегистрированных пользователей.
С помощью формирователя сигнала изображения, представляющего собой в простейшем случае встроенную камеру получают изображение, на котором может присутствовать изображение объекта, образ которого хранится на сервере или в памяти устройства обработки изображения. Получают также данные геолокации с соответст- вующего встроенного модуля геолокации.
Если произошло распознавание, то есть, получены данные о полученном изо- бражении и пользователь желает сформировать дополнительную информацию относи- тельно распознанного объекта, он с помощью средств ввода информации вводит тек- стовую или мультимедийную информацию, и формирует команду для связывания до- полнительной информации с распознанным объектом и публикации дополнительной информации на сервере.
После такой публикации любой зарегистрированный пользователь имеет воз- можность оказаться в условиях дополненной реальности при захвате камерой его уст- ройства обработки изображения, распознавании на нём объекта и получении сформи- рованной дополнительной информации.
Зарегистрированный пользователь для отображения нужной ему в данный мо- мент дополнительной информации имеет возможность выбора источника поступления дополнительной информации, если сообщений с дополнительной информацией не- сколько.
Дополненная реальность, выражается в форме дополнительной информации, которую отображают на дисплее устройства обработки изображения в реальном вре- мени путём наложения на изображение, полученное с выхода встроенной камеры или воспроизводят в приоритетном порядке, понизив громкость воспроизведения других одновременно работающих приложений.
Устройство обработки изображения содержит формирователь изображения представляющий собой камеру или цифровой накопитель с данными изображения и/или звука, средства ввода, средства вычисления, средства геолокации и дисплей,
Ниже описаны варианты настоящего изобретения со ссылками на чертежи. Сформулированные в этих вариантах расположение компонентов, числовые выраже- ния и численные значения, не ограничивают объем данного изобретения, если это не указано специально.
Устройство обработки изображения содержит формирователь изображения, в качестве которого использована встроенная камера или внешний цифровой накопитель с хранящейся на нём мультимедийным контентом, средства ввода, в качестве которых используются реальная или экранная клавиатура и/или микрофон, средства вычисле- ния, выполненные на основе процессора, снабжённого программным обеспечением, модуль геолокации, в качестве которого используют модуль системы глобального по- зиционирования GPS или ГЛОНАСС или модуль локации, например, по данным базо- вых станций GSM, дисплей и модуль воспроизведения звука, а также модуль связи с сервером, представляющий собой узел беспроводной передачи данных, в рамках стан- дартов Wi-Fi или стандартов GPRS или LTE или иного аналогичного. При этом фор- мирователь изображения, средства ввода, модуль геолокации и дисплей подключены к средствам вычисления.
Средства вычисления включают в себя средства распознавания объекта на изо- бражении, средства сравнения данных географических координат, средства формиро- вания итогового изображения для вывода на дисплей,
С выхода формирователя изображения сигнал, соответствующий видеоряду, по- лученному с помощью камеры или хранящемуся в памяти внешнего цифрового нако- пителя, поступает на вход средств вычисления, которые обеспечивают обнаружение и распознавание конкретного объекта на полученном изображении. При этом образы для распознавания объектов извлекают из памяти встроенного цифрового накопителя средств вычисления или получают с сервера, подключённого к средствам вычисления посредством Интернет с использованием модуля связи с сервером.
Полученное изображение выводится на дисплей, на который выводят также ин- дикацию о факте распознавания объекта, например путём подсветки границ распо- знанного объекта.
Если объект распознан, и, пользователь желает оставить комментарий, он осу- ществляет ввод текста с помощью реальной или экранной клавиатуры и/или вводит голосовой комментарий с помощью микрофона и/или формирует мультимедийный файл, который связывает с распознанным объектом. Мультимедийный файл может быть сформирован с помощью программных средств редактирования или извлечён из памяти встроенного цифрового накопителя. Комментарий пользователя представляет собой дополнительную информацию к полученному им изображению.
Сформированный комментарий связывают с распознанным объектом в соответ- ствии с командой пользователя, сформированной с помощью средств ввода и отправ- ляют на сервер с помощью модуля связи с сервером. Отправка комментариев на сер- вер является публикацией сформированной дополнительной информации. Модуль связи с сервером позволяет пользователю получать комментарии дру- гих зарегистрированных пользователей, связанных с объектами на полученном изо- бражении в случае их распознавания.
Алгоритм работы процессора средств вычисления включает следующие основ- ные этапы.
Начало 26 программы вычисления обусловлено соответствующей командой пользователя. Далее осуществляют ввод 15 сформированного изображения, данных геолокации и получение данных с сервера, извлечение 16 образа для распознавания объекта на изображении, проверку 17 факта распознавания объекта, проверку 18 нали- чия комментариев других зарегистрированных пользователей, связанных с распознан- ным объектом, отображение 19 комментариев других зарегистрированных пользовате- лей. Формирование 23 и обработка комментариев, связанных с объектом для передачи соответствующих сигналов на сервер, представляет собой формирование пакета дан- ных для отправки на сервер.
На этапе 21 проверки наличия комментариев других пользователей, связанных с координатами, в которых было получено изображение, проверяют была ли оставлена дополнительная информация другими зарегистрированными пользователями в месте, характеризуемом данными координатами. На этапе 22 отображают комментарии дру- гих зарегистрированных пользователей, связанных с координатами места нахождения устройства обработки изображения пользователя.
По команде 20 формируется сигнал, содержащий дополнительную информа- цию, связанную с изображением и отправляют на сервер.
На этапе 24 проверяется наличие команды выхода из программы, Если таковая была, то программу заканчивают - 27, если нет, то начинают обработку следующих 25 кадров изображения.
Пример 1
В качестве устройства обработки изображения используют мобильное средство связи - телефон, снабжённый камерой, процессором с программным обеспечением, встроенным накопителем, модулем геолокации, дисплеем и модулем беспроводной связи, например, GPRS.
Пользователь, имеющий подписчиков своих блогов соответствующего социаль- ного интернет ресурса, обозначаемых далее как другие зарегистрированные пользова- тели, находясь в Риме, наводит камеру телефона на заинтересовавши его архитектур- ное сооружение (Фиг. 1). При этом телефон пользователя обращается к базе данных сервера, где хранятся образы для распознавания известных архитектурных объектов. Полученное пользователем изображение обрабатывают средствами вычисления серве- ра в целях распознавания архитектурного объекта на изображении так, что попавший в поле зрения камеры архитектурный объект может быть распознан с определённой ве- роятностью как Колизей.
Средства вычисления телефона пользователя также могут быть привлечены к процессу распознавания, в этом случае на удалённый сервер постоянно передают дан- ные гелокации телефона пользователя, вследствие чего образы расположенных в этом географическом месте архитектурных объектов через Интернет подкачивают в цифро- вой накопитель телефона пользователя и используют посредством средствами вычис- ления телефона пользователя для распознавания конкретных объектов на изображе- нии.
После распознавания объекта средствами вычисления телефона формируют и выводят на дисплей телефона соответствующее сообщение, информирующее пользо- вателя о факте распознавания. Такое сообщение может быть в виде подсветки или ино- го выделения распознанного объекта на изображении.
Пользователь имеет возможность формирования дополненной реальности. Же- лая зафиксировать факт посещения известного места, пользователь с помощью модуля средств ввода вводит текст со своим именем и формирует команду на отправку. При этом введенное сообщение связывается средствами вычисления телефона с образом распознанного объекта и может быть отображено на дисплее телефона другого зареги- стрированного пользователя, в поле зрения камеры телефона которого попадёт и будет распознан указанный архитектурный объект.
Таким образом, любой зарегистрированный пользователь может участвовать в процессе формирования дополненной реальности и, в то же время, имеет возможность оказаться в условиях дополненной реальностью, созданной другими зарегистрирован- ными пользователями благодаря возможности получения сообщений с дополнитель- ной информацией от других зарегистрированных пользователей. Эти сообщения могут быть получены при распознавании средствами вычисления телефона объектов, относи- тельно которых были ранее введены сообщения другими зарегистрированными поль- зователями. Распознавание объекта может не произойти, например, из-за неудачного ракур- са съёмки, недостаточного освещения или отсутствия образа объекта. В этом случае оставленное пользователем сообщение связывают с координатами места, в котором было сделано сообщение пользователем, так, что другой зарегистрированный пользо- ватель телефона, оказавшийся в месте, характеризуемом теми же или близкими гео- графическими координатами получает на дисплее телефона введённое ранее сообще- ние, оставленное первым пользователем. Сообщение выводится поверх изображения, полученного с выхода встроенной камеры телефона этого другого зарегистрированно- го пользователя.
Пример 2
Способ управления устройством обработки изображений используется для кон- троля знаний ученика в рамках курса иностранного языка.
В качестве устройства обработки изображения используют мобильное средство связи, снабжённое встроенной камерой, процессором с программным обеспечением, встроенным накопителем, дисплеем и средством воспроизведения звука, микрофоном и модулем беспроводной связи, например, Wi-Fi для связи с сервером.
Преподаватель и ученики объединены участием в соответствующем учебном интернет ресурсе в качестве зарегистрированных пользователей.
Преподаватель даёт задание ученикам посетить после школы или по пути в школу известные в городе строения, связанные с определённым историческим событи- ем и кратко охарактеризовать их на иностранном языке с позиции истории, значимости для города, характеристики владельца или иного, либо ответить на вопросы.
Ученик, проходя мимо здания, захватывает его встроенной камерой, произносит требуемый текст и отправляет его в качестве дополнительной информации.
При проверке преподаватель использует базу данных, содержащую заранее соз- данные образы архитектурных объектов или просто зданий и учреждений города, вы- бирая объекты, непосредственно связанные с его заданием.
После распознавания объекта средствами своего устройства обработки изобра- жения, преподаватель получает список учеников, оставивших свои комментарии у вы- бранного им объекта и выбирая нужную фамилию прослушивает монолог соответст- вующего ученика.
Подобные задания привлекательны для учеников своей необычностью и новиз- ной, позволяют осуществлять проверку знаний ученика в реальных условиях жизни города, а также позволяют получать представление о динамике освоения курса учени- ком при повторении задания через определённый промежуток времени.
Пример 3
Способ управления устройством обработки изображений используется как средство для обмена сообщениями преподавателя с родителями ученика.
В качестве устройства обработки изображения используют мобильное средство связи, снабжённое встроенной камерой, процессором с программным обеспечением, встроенным накопителем, дисплеем и средством воспроизведения звука, микрофоном и модулем беспроводной связи, например, Wi-Fi для связи с сервером.
Преподаватель, ученики и их родители являются зарегистрированными пользо- вателями ресурса, созданного в рамках учебного процесса. Предварительно создают образы для распознавания лиц учеников и заносят их в память сервера.
В процессе обучения у преподавателя периодически появляется необходимость проинформировать родителей об успехах или возникших проблемах с их ребёнком. Преподаватель захватывает с помощью встроенной камеры своего телефона изображе- ние лица ученика, которое распознаётся средствами вычисления телефона и делает звуковое или текстовое сообщение для родителей.
Родители, желающие узнать о наличии сообщений преподавателя и ознакомить- ся с их содержанием, захватывают с помощью камеры своих средств связи изображе- ние лица своего ребёнка и после распознавания получают соответствующее звуковое или текстовое сообщение, оставленное преподавателем.
В качестве реагирование родители с помощью своих средств связи могут оста- вить ответное сообщение преподавателю, которое он получит, когда увидит ученика и воспользуется камерой своего средства связи, получив изображение лица ученика.
Таким образом, сообщения формируются зарегистрированными пользователями в удобное для них свободное время, а ученик, относительно которого формируются сообщения становится участником диалога или, по меньшей мере, находится в курсе отзывов преподавателя.
Способ управления устройством обработки изображения обеспечивает отобра- жение или воспроизведение дополнительной информации лишь при условии попада- ния на изображение известного и распознанного объекта или при нахождении пользо- вателя в географических координатах формирования этой дополнительной информа- ции. Исключается необходимость передачи больших объёмов информации на устрой- ство обработки изображения зарегистрированного пользователя, что снижает требова- ния к беспроводным линиям связи по скорости передачи данных. Кроме того, такая автоматическая селекция передаваемой для отображения информации повышает удоб- ство пользования устройством обработки изображения, что облегчает реализацию уст- ройства и обеспечивает возможность продуктивной работы с полученной дополни- тельной информацией.
Способ управления устройством обработки изображения обеспечивает пользо- вателю возможность получения дополнительной информации к изображению, полу- ченному в реальном времени, позволяя ощущать себя в условиях дополненной реаль- ности, При этом пользователь не обязан определять адресата для сформированной им дополнительной информации, которая передаётся на устройство обработки изображе- ния любого зарегистрированного пользователя при выполнении условия распознава- ния объекта или в случае необходимости близости географических координат, в кото- рых была сформирована дополнительная информация, то есть для неограниченного круга пользователей.
Способ управления устройством обработки изображения может быть реализо- ван с использованием стандартных компонентов и радиоэлектронной элементной базы, включая самостоятельные модули, такие как камера, дисплей, процессор и др.
Таким образом, способ управления устройством обработки изображения более прост в реализации за счёт снижения требований к используемым беспроводным лини- ям связи, более удобен в использовании за счёт исключения возможности отображе- ния, не связанной с объектами на изображении дополнительной информации, обеспе- чивает возможность использования изображения в реальном времени формируя усло- вия дополненной реальности, а также обеспечивает возможность получения дополни- тельной информации для неограниченного круга пользователей..

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ управления устройством обработки изображения, заключающийся в передаче данных с возможностью их воспроизведения на устройстве обработки изо- бражения другого зарегистрированного пользователя, отличающийся тем, что полу- чают сигнал изображения с помощью формирователя сигнала изображения и отобра- жают его в реальном времени с помощью дисплея, распознают, по меньшей мере, один объект на полученном изображении, осуществляют связывание дополнительной ин- формации, введённой с помощью средств ввода, с образом распознанного объекта, пе- редача данных представляет собой передачу дополнительной информации, связанной с образом распознанного объекта, с возможностью получения их на устройствах обра- ботки изображения других зарегистрированных пользователей с использованием Ин- тернет, получают и отображают введённую ранее с помощью устройств обработки изображения других зарегистрированных пользователей дополнительную информацию при условии наличия факта распознавания соответствующего объекта на полученном изображении, вывод на дисплей дополнительной информации, распознавание объектов на полученном изображении и связывание дополнительной информации с образом распознанного объекта осуществляют в реальном времени, вывод введённой ранее с помощью других устройств обработки изображений дополнительной информации осуществляют поверх изображения, полученного с выхода формирователя сигнала изображения.
2. Способ по п. 1, отличающийся тем, что распознавание объекта на изображе- нии осуществляют с помощью средств вычисления на основе сопоставления получен- ного изображения с хранящимися в памяти образами объектов.
3. Способ по п. 1, отличающийся тем, что дополнительную информацию фор- мируют в виде изображения, в том числе текстового и/или звукового сигнала, и/или их комбинации.
4. Способ по п. 1, отличающийся тем, что формирователь сигнала изображения представляет собой встроенную камеру.
5. Способ по п. 1, отличающийся тем, что формирователь сигнала изображения представляет собой цифровой накопитель с данными.
6. Способ по п. 1, отличающийся тем, что передачу дополнительной информа- ции, связанной с образом распознанного объекта осуществляют на серверные средства обработки данных, связанные с устройствами обработки изображения других зареги- стрированных пользователей с помощью Интернет.
7. Способ по п. 1, отличающийся тем, что появление зарегистрированного поль- зователя включает следующие шаги: предоставляют администратору или уже зареги- стрированному пользователю данные пользователя в качестве запроса на регистрацию, формируют и направляют пользователю ответное сообщение о регистрации.
8. Способ по п. 1, отличающийся тем, что связывание дополнительной инфор- мации с распознанным объектом представляет собой формирование единого блока данных, так, что при распознавании соответствующего объекта на изображении осу- ществляют отображение включённой в этот блок данных дополнительной информа- ции, связанной с указанным объектом.
9. Способ по п. 1, отличающийся тем, что связывание дополнительной инфор- мации с распознанным объектом осуществляют при формировании дополнительной информации любым зарегистрированным пользователем на своём устройстве обработ- ки изображения.
10. Способ по п. 1, отличающийся тем, что устройство обработки изображения содержит формирователь сигнала изображения, средства ввода, средства вычисления и дисплей.
PCT/RU2016/050031 2015-09-24 2016-09-09 Способ управления устройством обработки изображения WO2017052420A1 (ru)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201680065434.7A CN108351973A (zh) 2015-09-24 2016-09-09 控制图像处理设备的方法
KR1020187011158A KR20180056728A (ko) 2015-09-24 2016-09-09 이미지 처리 장치를 제어하는 방법
EP16849095.1A EP3358505A4 (en) 2015-09-24 2016-09-09 METHOD FOR CONTROLLING IMAGE PROCESSING DEVICE
US15/758,379 US20180249063A1 (en) 2015-09-24 2016-09-09 Method of controlling an image processing device
US16/882,619 US20200285852A1 (en) 2015-09-24 2020-05-25 Method of controlling an image processing device
US17/959,488 US20230031587A1 (en) 2015-09-24 2022-10-04 System and method of controlling image processing devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2015140595 2015-09-24
RU2015140595A RU2622843C2 (ru) 2015-09-24 2015-09-24 Способ управления устройством обработки изображения

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/758,379 A-371-Of-International US20180249063A1 (en) 2015-09-24 2016-09-09 Method of controlling an image processing device
US16/882,619 Continuation-In-Part US20200285852A1 (en) 2015-09-24 2020-05-25 Method of controlling an image processing device

Publications (1)

Publication Number Publication Date
WO2017052420A1 true WO2017052420A1 (ru) 2017-03-30

Family

ID=58386761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/050031 WO2017052420A1 (ru) 2015-09-24 2016-09-09 Способ управления устройством обработки изображения

Country Status (6)

Country Link
US (1) US20180249063A1 (ru)
EP (1) EP3358505A4 (ru)
KR (1) KR20180056728A (ru)
CN (1) CN108351973A (ru)
RU (1) RU2622843C2 (ru)
WO (1) WO2017052420A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110637295A (zh) * 2017-05-16 2019-12-31 谷歌有限责任公司 存储与捕获图像相关的元数据

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200219214A1 (en) * 2019-01-09 2020-07-09 Charles Isgar System for interaction regarding real estate sales
US20200219205A1 (en) 2019-01-09 2020-07-09 Charles Isgar System for social interaction regarding features based on geolocation
CN114902171A (zh) * 2019-12-31 2022-08-12 斯纳普公司 消息系统中的捕获后处理

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100260426A1 (en) * 2009-04-14 2010-10-14 Huang Joseph Jyh-Huei Systems and methods for image recognition using mobile devices
US20130287256A1 (en) * 2012-04-30 2013-10-31 Telibrahma Convergent Communications Private Limited Method and system for real time image recognition on a mobile device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154481B1 (en) * 2007-05-31 2024-07-03 Panasonic Intellectual Property Corporation of America Image capturing device, additional information providing server, and additional information filtering system
US20080317346A1 (en) * 2007-06-21 2008-12-25 Microsoft Corporation Character and Object Recognition with a Mobile Photographic Device
WO2010026170A1 (en) * 2008-09-02 2010-03-11 Ecole Polytechnique Federale De Lausanne (Epfl) Image annotation on portable devices
US8155698B2 (en) * 2009-03-25 2012-04-10 Embarq Holdings LLC System and method for storing and displaying data with digital images
JP5343676B2 (ja) * 2009-04-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
US20130259387A1 (en) * 2012-03-29 2013-10-03 Otter Creek Holdings, Llc Systems and methods for landmark detection
US10216996B2 (en) * 2014-09-29 2019-02-26 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100260426A1 (en) * 2009-04-14 2010-10-14 Huang Joseph Jyh-Huei Systems and methods for image recognition using mobile devices
US20130287256A1 (en) * 2012-04-30 2013-10-31 Telibrahma Convergent Communications Private Limited Method and system for real time image recognition on a mobile device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358505A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110637295A (zh) * 2017-05-16 2019-12-31 谷歌有限责任公司 存储与捕获图像相关的元数据
JP2020521226A (ja) * 2017-05-16 2020-07-16 グーグル エルエルシー 取得画像に関連したメタデータの記憶
US10893202B2 (en) 2017-05-16 2021-01-12 Google Llc Storing metadata related to captured images

Also Published As

Publication number Publication date
RU2015140595A (ru) 2017-03-29
EP3358505A1 (en) 2018-08-08
RU2622843C2 (ru) 2017-06-20
EP3358505A4 (en) 2019-04-24
KR20180056728A (ko) 2018-05-29
CN108351973A (zh) 2018-07-31
US20180249063A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
US8743144B2 (en) Mobile terminal, server device, community generation system, display control method, and program
EP3713159B1 (en) Gallery of messages with a shared interest
CN106233371B (zh) 选择用于显示的时间分布的全景图像
CN104866501B (zh) 电子旅行相册生成方法和系统
US9686645B2 (en) Location information sharing method and apparatus
US20140176606A1 (en) Recording and visualizing images using augmented image data
RU2622843C2 (ru) Способ управления устройством обработки изображения
US10341836B2 (en) System and method for reporting and tracking incidents
CN108572969A (zh) 提供地理信息点介绍信息的方法及装置
CN108293073B (zh) 沉浸式临场感
US20140033322A1 (en) Method and apparatus for mapping
EP3274871A1 (en) Area modeling by geographic photo label analysis
JP2009099024A (ja) 災害情報収集装置、システム、プログラムとその方法
US20230031587A1 (en) System and method of controlling image processing devices
TWI522939B (zh) 事件整合方法及系統
US20140244736A1 (en) File Sharing in a Social Network
US20200285852A1 (en) Method of controlling an image processing device
US20200349948A1 (en) Information processing device, information processing method, and program
US20190378334A1 (en) Augmented reality portal-based applications
CN110674322A (zh) 多媒体内容整合方法、系统及介质
US20150087339A1 (en) Wireless Location Information Request
KR101631932B1 (ko) 사용자 기반 지리 정보 시스템 및 그 제어 방법
JP2016004502A (ja) 共有体験情報構築システム
CN112115284B (zh) 多媒体推荐方法、装置、设备及存储介质
CN111046234B (zh) 信息显示方法、对应装置、终端、服务器和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16849095

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15758379

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187011158

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016849095

Country of ref document: EP