RU2793157C2 - Devices, systems, and methods for capture and display of external appearance - Google Patents

Devices, systems, and methods for capture and display of external appearance Download PDF

Info

Publication number
RU2793157C2
RU2793157C2 RU2018118815A RU2018118815A RU2793157C2 RU 2793157 C2 RU2793157 C2 RU 2793157C2 RU 2018118815 A RU2018118815 A RU 2018118815A RU 2018118815 A RU2018118815 A RU 2018118815A RU 2793157 C2 RU2793157 C2 RU 2793157C2
Authority
RU
Russia
Prior art keywords
image
user
camera
mirror
images
Prior art date
Application number
RU2018118815A
Other languages
Russian (ru)
Other versions
RU2018118815A (en
RU2018118815A3 (en
Inventor
Нисси ВИЛКОВСКИ
Офер САБАН
Original Assignee
Айсмэтч Лтд
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/843,001 external-priority patent/US8982109B2/en
Application filed by Айсмэтч Лтд filed Critical Айсмэтч Лтд
Publication of RU2018118815A publication Critical patent/RU2018118815A/en
Publication of RU2018118815A3 publication Critical patent/RU2018118815A3/ru
Application granted granted Critical
Publication of RU2793157C2 publication Critical patent/RU2793157C2/en

Links

Images

Abstract

FIELD: image processing.
SUBSTANCE: invention relates to technologies of reception and display of images. A method is proposed for operation of a system containing a monitor, a camera, and a processor in such a way that an image imitating a reflection in a mirror is displayed on the monitor. The method is implemented by performing in any order following stages: reception of a digital image from the camera, determination of a distance from a user to the camera, application to the digital image of a transformation algorithm to combine a camera observation point with a theoretical mirror observation point. Next, an image size is changed to weaken changes caused by changes in the distance from the object to the camera. Eye pixels are transformed or replaced so that to locate irises and pupils in the center of eyes looking forward. The image is displayed on the monitor after the image size is changed, and eye pixels are transformed or replaced.
EFFECT: provision of natural image orientation for an image displayed on a monitor.
19 cl, 21 dwg

Description

В настоящей заявке испрашивается приоритет по заявке US 13/843,001, поданной 15 марта 2013 г., и временной заявке US 61/738,957, поданной 18 декабря 2012 г. Полное содержание указанных заявок вводится в настоящую заявку посредством отсылки. This application claims priority over US 13/843,001, filed March 15, 2013, and provisional US 61/738,957, filed December 18, 2012. The entire content of these applications is incorporated into this application by reference.

Область техникиTechnical field

Изобретение относится в целом системам получения и отображения изображений и, более конкретно, к мониторам и интерактивным дисплеям, например, в торговле и/или в сфере услуг, в медицине, в быту, для видеоконференций, для игр и т.п. Специальные реализации относятся к выполнению плоского дисплея, выполняющего функцию зеркала. Другая специальная реализация относится к выполнению плоского дисплея, обеспечивающего видеоизображение человека, смотрящего прямо в глаза при осуществлении видеоконференции.The invention relates in general to systems for obtaining and displaying images, and more specifically to monitors and interactive displays, for example, in commerce and/or in the service sector, in medicine, in everyday life, for videoconferencing, for games, etc. Special implementations relate to the implementation of a flat display that performs the function of a mirror. Another special implementation relates to the implementation of a flat display that provides a video image of a person looking directly into the eyes during a video conference.

Уровень техникиState of the art

Покупатели могут приобретать потребительские товары, например, одежду, в частности, рубашки, брюки, куртки и другие предметы одежды, а также туфли, очки и/или другие изделия, такие как косметика, мебель и т.п. Приобретение товаров обычно осуществляется в торговых предприятиях, например, в розничных магазинах. Прежде чем принять решение о приобретении какой-либо вещи покупатель может захотеть их примерить, например, предметы одежды, и/или представить себя на фоне других изделий, таких как мебель, и каждый раз ему нужно посмотреть, как это выглядит, в зеркале, которое может быть установлено, например, в примерочной розничного магазина. Например, покупатель может примерить первую вещь, например костюм, и посмотреть в зеркале, как он выглядит в этом костюме. Затем покупатель может примерить вторую вещь, например другой костюм. Затем покупателю может быть необходимо запомнить, как он выглядит в первом случае, чтобы мысленно сравнить, как он выглядит в первом и втором костюмах, и оценить, какая вещь ему больше подходит (лучше сидит). Customers may purchase consumer goods such as clothing, such as shirts, trousers, jackets, and other garments, as well as shoes, glasses, and/or other items such as cosmetics, furniture, and the like. The purchase of goods is usually carried out in commercial establishments, for example, in retail stores. Before making a purchase decision, the customer may want to try them on, for example, garments, and / or imagine himself against the background of other products, such as furniture, and each time he needs to see how it looks, in a mirror, which can be installed, for example, in the fitting room of a retail store. For example, a customer may try on the first item, such as a suit, and look in the mirror to see how they look in that suit. The customer can then try on a second item, such as a different suit. The customer may then need to memorize how he looks in the first case, in order to mentally compare how he looks in the first and second suits, and evaluate which item suits him best (fits better).

К сожалению, поскольку покупатель может примерить несколько вещей, и/или поскольку между примеркой второй и первой вещей может пройти много времени, или эти вещи могут примеряться в разных магазинах, покупатель может плохо помнить, как он выглядел во время первой примерки, и поэтому ему может понадобиться вернуться и снова примерить первый предмет одежды. Естественно, это может раздражать покупателей, и эффективность продаж снижается. Unfortunately, because the customer may try on multiple items, and/or because there may be a long time between trying on the second item and the first item, or because the items may be tried on in different stores, the customer may have little memory of what they looked like during the first fitting, and therefore you may need to go back and try on the first piece of clothing again. Naturally, this can annoy customers, and sales efficiency is reduced.

Традиционное зеркало (то есть, отражающая поверхность) представляет собой привычное и наиболее надежное средство для рассмотрения человеком своего реального внешнего вида в режиме реального времени. Были предложены различные альтернативные средства, представляющие собой комбинации телекамеры и экрана, которые позволяют заменить обычное зеркало. Однако эти технологии не стали привычными и не приняты еще как надежное средство изображения человека, которое работает точно так же, как и обычное зеркало. Это связано с тем, что изображение, формируемое камерой, очень отличается от изображения в зеркале. A traditional mirror (i.e., a reflective surface) is the familiar and most reliable means for a person to view their real appearance in real time. Various alternative means have been proposed, which are combinations of a television camera and a screen that can replace a conventional mirror. However, these technologies have not become commonplace and are not yet accepted as a reliable means of depicting a person, which works in exactly the same way as a conventional mirror. This is due to the fact that the image formed by the camera is very different from the image in the mirror.

Когда человек смотрит на себя в зеркале, он видит свое отражение, которое находится от него на расстоянии, превышающем расстояние до зеркала в два раза. Это иллюстрируется на фигуре 5А, на которой пользователь, стоящий на расстоянии D1 от зеркала, видит себя на расстоянии 2 х D1. Аналогично, как показано на фигуре 5В, пользователь, стоящий на расстоянии D2 от зеркала, будет видеть себя на расстоянии 2 x D2. Кроме того, угол поля зрения (FOV) пользователя изменяется, когда это расстояние изменяется, например, когда пользователь подходит ближе к зеркалу. Поле зрения ограничивается углом (β) зеркального отражения от зеркала между глазом пользователя и краем видимого изображения по всем сторонам зеркала (по четырем сторонам для прямоугольного или квадратного зеркала). На фигуре 5В нижняя линия поля зрения по вертикали показана проходящей под двойным углом (β), формируемым линиями, соединяющими глаза пользователя с нижним краем зеркала и отражающимися на туфли пользователя. Соответственно, как показано на фигуре 5В, когда пользователь приближается к зеркалу, поле зрения увеличивается (FOV1 < FOV2), и он продолжает видеть отражение такого же размера, так что пользователь фактически видит себя примерно такого же размера, но ближе. В этом заключается существенная разница от телекамеры, то есть, когда пользователь подходит ближе к телекамере, его размеры кажутся больше. Это происходит главным образом потому, что поле зрения телекамеры фиксировано и определяется в основном размерами линзы камеры или фокусным расстоянием.When a person looks at himself in a mirror, he sees his reflection, which is at a distance from him that is twice the distance from the mirror. This is illustrated in figure 5A, in which the user, standing at a distance D1 from the mirror, sees himself at a distance of 2 x D1. Similarly, as shown in Figure 5B, a user standing at a distance D2 from the mirror will see himself at a distance of 2 x D2. In addition, the field of view (FOV) of the user changes as the distance changes, such as when the user moves closer to the mirror. The field of view is limited by the angle (β) of specular reflection from the mirror between the user's eye and the edge of the visible image on all sides of the mirror (four sides for a rectangular or square mirror). In Figure 5B, the bottom line of the vertical field of view is shown at a double angle (β) formed by lines connecting the user's eyes to the bottom edge of the mirror and reflected onto the user's shoes. Accordingly, as shown in Figure 5B, as the user approaches the mirror, the field of view increases (FOV1 < FOV2) and the user continues to see the same size reflection, so that the user actually sees himself at about the same size, but closer. This is a significant difference from the TV camera, that is, when the user comes closer to the TV camera, the size of the user appears larger. This is mainly because the camera's field of view is fixed and is determined primarily by the dimensions of the camera's lens or focal length.

Следует отметить и другие эффекты, связанные с отражением в зеркале. Например, когда пользователь приближается к зеркалу, отражение его глаз будет всегда проходить от зеркала по одной и той же виртуальной линии. В случае камеры, в зависимости от ее высоты, по мере того как пользователь подходит ближе к камере, его глаза могут казаться находящимися на разной высоте. Другое отличие от камеры заключается в том, что когда пользователь смотрит в зеркало, его изображение инвертируется (например, если поднять правую руку, то изображение в зеркале поднимает левую руку). Однако зеркало не меняет местами левую и правую стороны в большей степени, чем оно меняет местами верхнюю и нижнюю части. Зеркало меняет направления вперед-назад (то есть, находящееся перед зеркалом кажется находящимся за ним), и мы определяем направления влево-вправо относительно направлений вперед-назад. Кроме того, поскольку изображение в зеркале имеет виртуальный характер, то зеркало может иметь меньшие размеры, чем тело человека, и пользователь все-таки будет видеть в нем свое полное отражение. Дело в том, что зеркальное отражение (на фигуре 5А угол β падения равен углу β отражения) может увеличивать эффективное поле зрения, когда пользователь приближается к зеркалу. Кроме того, хотя зеркало представляет собой двухмерный объект, пользователь видит в нем свое трехмерное изображение. Other effects associated with reflection in a mirror should also be noted. For example, when a user approaches a mirror, the reflection of their eyes will always travel from the mirror along the same virtual line. In the case of a camera, depending on its height, as the user gets closer to the camera, their eyes may appear to be at different heights. Another difference from the camera is that when the user looks in the mirror, their image is inverted (for example, if you raise your right hand, then the image in the mirror raises your left hand). However, a mirror does not swap left and right sides any more than it swaps top and bottom. The mirror reverses forward-backward (that is, what is in front of the mirror appears to be behind it), and we define left-right directions relative to the forward-backward directions. In addition, since the image in the mirror is virtual, the mirror may be smaller than the human body, and the user will still see his full reflection in it. This is because specular reflection (in Figure 5A, angle β of incidence is equal to angle β of reflection) can increase the effective field of view as the user approaches the mirror. In addition, although the mirror is a two-dimensional object, the user sees his own three-dimensional image in it.

По меньшей мере некоторые из вышеуказанных причин не позволили до сих пор создать систему, которая бы полностью заменяла зеркало. Система, имитирующая зеркало, может иметь самые разные применения в торговле и в других областях, открывая возможности объединения реальных, ощущений с виртуальными, например, в социальных сетях и других мобильных технологиях. At least some of the above reasons have so far prevented the creation of a system that would completely replace the mirror. A system that mimics a mirror could have a wide variety of applications in retail and other areas, opening up the possibility of combining real, virtual sensations, such as in social networks and other mobile technologies.

Сущность изобретенияThe essence of the invention

Некоторые иллюстративные варианты осуществления изобретения содержат устройства, системы и/или способы, обеспечивающие возможность сравнения внешнего вида. Some exemplary embodiments of the invention include devices, systems, and/or methods that enable comparison in appearance.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения система, обеспечивающая возможность сравнения внешнего вида, может содержать по меньшей мере одну интерактивную станцию получения и отображения изображений. Станция может содержать, например: устройство "зеркало-дисплей", которое может выборочно работать в режиме зеркала и/или дисплея; устройство получения изображений для захвата одного или нескольких изображений внешних видов в поле зрения перед устройством "зеркало-дисплей"; и/или блок управления изображениями для задания режима работы устройства "зеркало-дисплей" по команде пользователя. Устройство "зеркало-дисплей" может быть в форме плоского телевизора, причем при работе в режиме зеркала телевизор показывает преобразованные изображения видеопотока, получаемого из камеры в режиме реального времени, а в режиме дисплея он показывает преобразованные изображения видеопотока, полученные ранее и извлеченные из запоминающего устройства. In accordance with some illustrative embodiments of the invention, a system that provides the ability to compare appearance, may contain at least one interactive station for obtaining and displaying images. The station may include, for example: a "mirror-display" device that can selectively operate in mirror and/or display mode; an image acquisition device for capturing one or more images of external views in a field of view in front of the mirror-display device; and/or an image control unit for setting the operating mode of the "mirror-display" device at the user's command. The "mirror-display" device may be in the form of a flat-panel TV, and when operating in mirror mode, the TV shows the converted images of the video stream received from the camera in real time, and in the display mode it shows the converted images of the video stream received earlier and retrieved from the storage device .

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения блок управления изображениями может содержать устройство ввода данных для приема команд пользователя. In accordance with some exemplary embodiments of the invention, the image control unit may include an input device for receiving user commands.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения блок управления изображениями может содержать устройство хранения данных для хранения информации одного или нескольких изображений, которые могут соответствовать одному или нескольким внешним видам. In accordance with some exemplary embodiments of the invention, the image control unit may include a data storage device for storing information of one or more images, which may correspond to one or more appearances.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство "зеркало-дисплей" может быть разделено по меньшей мере на первую и вторую части, на которых одновременно могут отображаться изображения. Первая часть может выборочно работать как в режиме зеркала, так и в режиме дисплея. Вторая часть может работать, например, в режиме зеркала. In accordance with some exemplary embodiments of the invention, the mirror-display device may be divided into at least a first and a second portion, on which images may be simultaneously displayed. The first part can selectively work both in mirror mode and in display mode. The second part can work, for example, in mirror mode.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство получения изображений может быть способно захватывать трехмерные изображения внешнего вида. In accordance with some exemplary embodiments of the invention, an imaging device may be capable of capturing 3D appearance images.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство "зеркало-дисплей" может быть способно отображать изображения внешних видов в заданных последовательностях. In accordance with some exemplary embodiments of the invention, a mirror-display device may be capable of displaying images of appearances in predetermined sequences.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения блок управления изображения может обеспечивать возможность пользователю осуществлять доступ к изображениям внешних видов, разрешенным этому пользователю, например, на основе идентификационных данных, полученных от пользователя. In accordance with some illustrative embodiments of the invention, the image control unit may allow the user to access images of the appearances allowed to this user, for example, based on identification data obtained from the user.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения указанная по меньшей мере одна интерактивная система получения и отображения изображений может содержать две или более интерактивных станций получения и отображения изображений, способных обмениваться информацией по сети. Например, две или более станций могут обмениваться между собой информацией, представляющей собой изображения внешних видов. In accordance with some exemplary embodiments of the invention, said at least one interactive image acquisition and display system may comprise two or more interactive image acquisition and display stations capable of exchanging information over a network. For example, two or more stations may exchange information representing appearance images with each other.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения блок управления изображения может управлять устройством "зеркало-дисплей" для отображения, например, в режиме дисплея, одного или нескольких изображений, соответствующих внешним видам. Одно или несколько изображений могут содержать, например, одно или несколько зеркальных изображений внешних видов. Зеркальные изображения внешних видов получают путем преобразования изображений или видеопотока, полученного из камеры, для формирования изображений и видеопотока, которые будучи отображенными на мониторе, соответствуют отражению внешнего вида в зеркале. In accordance with some exemplary embodiments of the invention, the image control unit may control the mirror-display device to display, for example, in display mode, one or more images corresponding to appearances. One or more images may contain, for example, one or more mirror images of appearances. Mirror images of appearances are obtained by converting images or video stream received from a camera to form images and video stream which, when displayed on a monitor, correspond to the reflection of the appearance in a mirror.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения способ, обеспечивающий возможность сравнения внешнего вида, может включать: использование работы устройства "зеркало-дисплей", способного выборочно работать в режиме зеркала или дисплея, в режиме зеркала; захват изображения, соответствующего внешнему виду во время первой примерки перед устройством "зеркало-дисплей"; запись изображения первой примерки для хранения; задание работы устройства "зеркало-дисплей" в режиме дисплея; и/или считывание изображения первой примерки и отображение его на устройстве "зеркало-дисплей". In accordance with some illustrative embodiments of the invention, a method for enabling appearance comparison may include: using the operation of a mirror-display device capable of selectively operating in a mirror mode or a display mode in a mirror mode; capturing an image corresponding to the appearance during the first fitting in front of the "mirror-display" device; recording the image of the first fitting for storage; setting the operation of the "mirror-display" device in the display mode; and/or reading the image of the first fitting and displaying it on the device "mirror-display".

В других вариантах предложены способы и устройства, использующие камеры и плоский дисплей для формирования правдоподобного зеркального изображения внешнего вида. In other embodiments, methods and apparatuses are provided that use cameras and a flat panel display to form a lifelike mirror image of an appearance.

Краткое описание чертежейBrief description of the drawings

[0021] Объект настоящего изобретения наиболее подробно определен и четко заявлен в заключительной части заявки. Однако изобретение в отношении организации и способа работы, вместе с его признаками и достоинствами лучше всего можно будет понять из нижеприведенного подробного описания вместе с прилагаемыми чертежами, на которых показано: [0021] The object of the present invention is defined and clearly stated in the final part of the application. However, the invention as regards organization and mode of operation, together with its features and merits, will be best understood from the following detailed description, together with the accompanying drawings, which show:

Фигура 1 – схематический вид интерактивной системы, обеспечивающей возможность сравнения внешнего вида, в соответствии с некоторыми иллюстративными вариантами осуществления изобретения.Figure 1 is a schematic view of an interactive system that provides the ability to compare the appearance, in accordance with some illustrative embodiments of the invention.

Фигуры 2А и 2В – схематические иллюстрации двух последовательных стадий сравнения внешнего вида с использованием интерактивной системы в соответствии с некоторыми иллюстративными вариантами осуществления изобретения. Figures 2A and 2B are schematic illustrations of two successive stages of appearance comparison using an interactive system in accordance with some exemplary embodiments of the invention.

Фигуры 3А, 3В и 3С – схематические иллюстрации трех последовательных стадий сравнения внешнего вида с использованием интерактивной системы в соответствии с некоторыми иллюстративными вариантами осуществления изобретения. Figures 3A, 3B, and 3C are schematic illustrations of three successive steps in appearance comparison using an interactive system in accordance with some illustrative embodiments of the invention.

Фигура 4 – блок-схема способа, обеспечивающего возможность сравнения одного или нескольких внешних видов пользователя в соответствии с некоторыми иллюстративными вариантами осуществления изобретения. Figure 4 is a flowchart of a method for enabling one or more user appearances to be compared, in accordance with some exemplary embodiments of the invention.

Фигуры 5А и 5В – схемы отражения пользователя в зеркале.Figures 5A and 5B are diagrams of the reflection of the user in the mirror.

Фигура 6 – вид варианта с одной камерой или несколькими камерами, расположенными по вертикали на уровне глаз пользователя, для обеспечения низкого уровня искажений изображения.Figure 6 is a view of a variant with a single camera or multiple cameras located vertically at the level of the user's eyes to ensure a low level of image distortion.

Фигура 7 – схематический вид, иллюстрирующий приближение пользователя к зеркалу или удаление от него, при использовании камеры, установленной вверху экрана и направленной по горизонтали.Figure 7 is a schematic view illustrating the user approaching or moving away from the mirror using a camera mounted at the top of the screen and pointing horizontally.

Фигура 8 – схематический вид системы, в которой камера установлена над экраном монитора и наклонена вниз.Figure 8 is a schematic view of a system in which the camera is mounted above the monitor screen and tilted down.

Фигура 9 – блок-схема варианта системы по настоящему изобретению, в которой выполняется преобразование для получения изображения, имитирующего отражение в зеркале. Figure 9 is a block diagram of an embodiment of the system of the present invention in which transformation is performed to obtain an image simulating a reflection in a mirror.

Фигуры 10А и 10В – схематические виды, иллюстрирующие процесс калибровки в соответствии с вариантами осуществления изобретения.Figures 10A and 10B are schematic views illustrating a calibration process in accordance with embodiments of the invention.

Фигура 11 – блок-схема способа по одному из вариантов осуществления изобретения.Figure 11 is a block diagram of the method according to one of the embodiments of the invention.

Фигура 12 – блок-схема, на которой иллюстрируются модули и процессы, используемые для выполнения калибровки и преобразования изображения по одному из вариантов осуществления изобретения.Figure 12 is a block diagram illustrating the modules and processes used to perform image calibration and transformation according to one embodiment of the invention.

Фигура 13 – схема другого варианта, в котором калибровка и формирование алгоритма преобразования осуществляются на месте после установки системы.Figure 13 is a diagram of another option, in which the calibration and the formation of the conversion algorithm are carried out on site after the installation of the system.

Фигура 14 – блок-схема способа извлечения данных из изображения, получаемого камерой.Figure 14 is a flowchart of a method for extracting data from an image captured by a camera.

Фигура 15 – блок-схема варианта, в котором осуществляется соединение ("сшивание") изображений, получаемых из n камер.Figure 15 is a block diagram of a variant in which the connection ("stitching") of images obtained from n cameras is carried out.

Фигура 16 – схема варианта, в котором обеспечивается точное изображение глаз для имитации взгляда пользователя прямо себе в глаза (как в зеркале).Figure 16 is a diagram of an embodiment that provides an accurate image of the eyes to simulate the user looking directly into his own eyes (as in a mirror).

Следует иметь в виду, что для упрощения и наглядности иллюстрации изобретения элементы на фигурах могут быть воспроизведены не совсем точно или не в масштабе. Например, размеры некоторых элементов могут быть непропорционально увеличены относительно других элементов для наглядности или для показа нескольких физических компонентов, входящих в один элемент. Кроме того, там, где это уместно, на разных фигурах могут использоваться одинаковые ссылочные номера для указания соответствующих или аналогичных элементов. Следует понимать, что прилагаемые фигуры представляют примеры реализации настоящего изобретения и не должны рассматриваться как ограничения объема изобретения. It should be borne in mind that for the sake of simplicity and clarity of illustration of the invention, the elements in the figures may not be reproduced exactly or not to scale. For example, the dimensions of some elements may be disproportionately enlarged relative to other elements for clarity or to show multiple physical components included in one element. In addition, where appropriate, the same reference numerals may be used throughout the various figures to indicate corresponding or similar elements. It should be understood that the accompanying figures represent examples of the present invention and should not be construed as limiting the scope of the invention.

Подробное описание изобретенияDetailed description of the invention

В нижеприведенном описании будут рассмотрены различные аспекты настоящего изобретения. Для целей подробного описания приведены конкретные конфигурации и их детали, чтобы обеспечить всестороннее понимание настоящего изобретения. Однако специалисту в данной области техники будет ясно, что настоящее изобретение может быть осуществлено и без некоторых таких конкретных деталей. Кроме того, некоторые признаки изобретения, основанные на принципах и реализациях, известных в технике, могут быть опущены или упрощены, чтобы излишне не загромождать описание. In the following description, various aspects of the present invention will be discussed. For the purposes of a detailed description, specific configurations and their details are given in order to provide a comprehensive understanding of the present invention. However, the person skilled in the art will be clear that the present invention can be implemented without some of these specific details. In addition, certain features of the invention, based on principles and implementations known in the art, may be omitted or simplified so as not to unnecessarily clutter the description.

Некоторые иллюстративные варианты осуществления изобретения могут содержать интерактивную систему, обеспечивающую пользователю возможность сравнения одного или нескольких его внешних видов, например, сравнения разных внешних видов, как это будет описано ниже. Some illustrative embodiments of the invention may include an interactive system that allows the user to compare one or more of its appearances, for example, comparing different appearances, as will be described below.

Термин "внешний вид пользователя", как он используется в настоящем описании, относится к внешнему виду покупателя, который примеряет некоторую вещь. Такой вещью может быть, например, предмет одежды, обуви, аксессуары, очки, галстуки и т.п., товар, например мебель, расположенный возле покупателя, а также другие изделия, товары или продукты, такие как, например, косметика, головные уборы, прическа и т.п. Аналогично, некоторые варианты осуществления изобретения могут использоваться для технических целей, например, в разработке моделей одежды, когда нужно просмотреть различные версии модели, и другие варианты могут использоваться пользователями в своих домах для создания альбомов, содержащих изображения членов семьи.The term "appearance of the user", as used in this description, refers to the appearance of the buyer, who tries on some thing. Such a thing can be, for example, a piece of clothing, shoes, accessories, glasses, ties, etc., a product, such as furniture, located near the buyer, as well as other products, goods or products, such as, for example, cosmetics, hats , hairstyle etc. . Likewise, some embodiments of the invention may be used for technical purposes, such as in fashion design where different versions of a pattern need to be viewed, and other embodiments may be used by users in their homes to create albums containing pictures of family members.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения система может включать устройство получения изображений, способное захватывать изображения внешнего вида пользователя, и устройство "зеркало-дисплей", способное выборочно работать в режиме зеркала или в режиме дисплея. При работе в режиме зеркала устройство "зеркало-дисплей" может обеспечивать пользователю возможность оценки и/или просмотра его внешнего вида в процессе примерки изделия в режиме реального времени. Как это будет описано подробно ниже, это осуществляется путем вывода видеопотока в режиме реального времени на дисплей с плоским экраном, причем перед выводом видеопотока на экран дисплея осуществляется его преобразование для имитации изображения в зеркале. При работе в режиме дисплея устройство "зеркало-дисплей" может обеспечивать пользователю возможность оценки и/или просмотра одного или нескольких его внешних видов, например, полученных ранее устройством получения изображений во время предыдущей примерки, например, как это будет описано подробно ниже. In accordance with some illustrative embodiments of the invention, the system may include an image acquisition device capable of capturing images of the user's appearance, and a mirror-display device capable of selectively operating in mirror mode or display mode. When operating in mirror mode, the "mirror-display" device may allow the user to evaluate and/or view its appearance during the trying on of the product in real time. As will be described in detail below, this is done by displaying a real-time video stream on a flat screen display, and before displaying the video stream on the display screen, it is converted to simulate an image in a mirror. When operating in display mode, the mirror-display device may allow the user to evaluate and/or view one or more of its appearances, for example, previously acquired by the imaging device during a previous try-on, for example, as will be described in detail below.

На фигуре 1 приведена блок-схема интерактивной системы 100 в соответствии с некоторыми иллюстративными вариантами осуществления изобретения. Figure 1 is a block diagram of an interactive system 100 in accordance with some exemplary embodiments of the invention.

В соответствии с этими вариантами система 100 может содержать интерактивную станцию 110 получения и отображения изображений, которая может включать блок 120 управления изображениями, устройство 130 получения изображений (например, фото- или видео-камера), а также устройство 140 "зеркало-дисплей" (например, дисплей с плоским экраном). Блок 120 управления изображениями может содержать контроллер 121, сетевой интерфейс 122, устройство 123 хранения данных и устройство 124 ввода данных. Все эти устройства будут подробно описаны ниже. In accordance with these embodiments, system 100 may include an interactive image acquisition and display station 110, which may include an image control unit 120, an image acquisition device 130 (e.g., a photo or video camera), and a "mirror-display" device 140 ( e.g. flat screen display). The image control unit 120 may include a controller 121, a network interface 122, a storage device 123, and an input device 124. All of these devices will be described in detail below.

Аспекты настоящего изобретения описываются здесь в контексте иллюстративных вариантов устройства получения изображений, например, устройства 130 получения изображений, устройства "зеркало-дисплей", например, устройства 140 "зеркало-дисплей", и/или блока управления изображениями, например, блока 120 управления изображениями, которые являются отдельными компонентами системы сравнения внешнего вида, например, системы 100. Однако специалистам в данной области техники будет понятно, что изобретение не ограничивается только таким вариантом, и что в соответствии с другими вариантами осуществления изобретения система может представлять собой любую подходящую конфигурацию, комбинацию и/или организацию устройства получения изображений, устройства "зеркало-дисплей" и/или блока управления изображениями. Например, система может содержать единый модуль, включающий устройство "зеркало-дисплей", устройство получения изображений и/или блок управления изображениями. Например, устройство получения изображений и/или блок управления изображениями могут быть реализованы как неотъемлемая часть устройства "зеркало-дисплей". Aspects of the present invention are described herein in the context of exemplary embodiments of an imaging device, such as an imaging device 130, a mirror-display device, such as a mirror-display device 140, and/or an image control unit, such as an image control unit 120. , which are separate components of an appearance comparison system, such as system 100. However, those skilled in the art will appreciate that the invention is not limited to such an embodiment, and that, in accordance with other embodiments of the invention, the system may be any suitable configuration, combination and/or organizing an image acquisition device, a mirror-display device, and/or an image control unit. For example, the system may comprise a single module including a mirror-display device, an image acquisition device, and/or an image control unit. For example, the image acquisition device and/or the image control unit may be implemented as an integral part of the mirror-display device.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 140 "зеркало-дисплей" может быть сконфигурировано и/или может включать компоненты и механизмы, обеспечивающие возможность работы устройства 140 выборочно в двух режимах. В первом режиме работы устройство 140 "зеркало-дисплей" может работать как зеркало. Во втором режиме работы устройство 140 "зеркало-дисплей" может работать как дисплей. Когда устройство 140 "зеркало-дисплей" работает в режиме зеркала, пользователь 111 системы 110 может оценивать и/или рассматривать свой внешний вид при первой примерке какой-либо вещи, причем в этом случае устройство 140 работает в режиме реального времени. Устройство 130 получения изображений может захватывать изображение внешнего вида пользователя в процессе первой примерки. Полученное изображение может быть записано для хранения в устройстве 123 хранения данных, например, как это будет описано ниже. Затем пользователь 111 может встать перед устройством 140 "зеркало-дисплей", примеряя вторую вещь, и устройство 130 получения изображений может захватывать второе изображение внешнего вида пользователя в процессе второй примерки. Пользователю может обеспечиваться возможность рассматривать примерку второй вещи в режиме реального времени, используя устройство 140 "зеркало-дисплей", установленный в режим работы "зеркало". После переключения устройства 140 в режим работы "дисплей" может осуществляться отображение на устройстве 140 одного или нескольких ранее записанных изображений. Используя возможность выборочного задания работы устройства 140 в режиме "зеркало" или "дисплей", пользователь 111 может сравнивать одновременно или последовательно , изображения своего внешнего вида в процессе первой и второй примерок, как это подробно описано ниже.In accordance with some exemplary embodiments of the invention, the mirror-display device 140 may be configured and/or may include components and mechanisms that allow the device 140 to operate selectively in two modes. In the first mode of operation, the mirror-display device 140 can operate as a mirror. In the second mode of operation, the mirror-display device 140 can operate as a display. When the mirror-display device 140 operates in mirror mode, the user 111 of the system 110 can evaluate and/or view their appearance when trying on an item for the first time, in which case the device 140 operates in real time. The image acquisition device 130 can capture an image of the user's appearance during the first fitting process. The resulting image may be recorded for storage in the data storage device 123, for example, as will be described below. The user 111 can then stand in front of the mirror display device 140 while trying on the second thing, and the image acquisition device 130 can capture the second image of the user's appearance during the second trying on. The user may be able to view the fitting of the second item in real time using the mirror-display device 140 set to the mirror mode of operation. After switching the device 140 to the "display" mode of operation, one or more previously recorded images can be displayed on the device 140. Using the ability to selectively set the operation of the device 140 in the "mirror" or "display" mode, the user 111 can compare simultaneously or sequentially, images of his appearance during the first and second fitting, as described in detail below.

В некоторых иллюстративных вариантах осуществления изобретения, например, показанных на фигурах 1, 2A, 2B, 3A и/или 3B, контроллер 121 может осуществлять управление блоком 140 для отображения в режиме работы "дисплей" также зеркальных отражений внешнего вида. Однако специалистам в данной области техники будет понятно, что изобретение не ограничивается только этой возможностью, и что в других вариантах контроллер может осуществлять управление устройством 140 для отображения в режиме "дисплей" также и других изображений, относящихся к внешнему виду, например, повернутое изображение, инвертированное изображение, по существу неизмененное изображение, например, изображение в фас, тонированное изображение и т.п., например, как это будет описано ниже. In some illustrative embodiments of the invention, such as those shown in Figures 1, 2A, 2B, 3A, and/or 3B, controller 121 may control block 140 to also display mirrored appearances in the display mode of operation. However, those skilled in the art will appreciate that the invention is not limited to this possibility, and that in other embodiments, the controller may control the device 140 to display other appearance related images as well, such as a rotated image, an inverted image, a substantially unchanged image, such as a frontal image, a toned image, and the like, for example, as will be described below.

Устройство 140 может содержать любую подходящую конфигурацию и/или механизм для обеспечения выборочного задания работы в первом или втором режимах. Например, в одном из вариантов устройство 140 может представлять собой массив жидкокристаллических элементов, которые могут изменять свои оптические характеристики, такие как отражательная способность, коэффициент преломления и т.п., например, в зависимости от напряжения, подаваемого на жидкие кристаллы. Например, при подаче первого напряжения оптические характеристики жидких кристаллов могут изменяться таким образом, что устройство 140 "зеркало-дисплей" может работать как зеркало, и при подаче второго напряжения оптические характеристики жидких кристаллов могут изменяться таким образом, что устройство 140 "зеркало-дисплей" может работать как жидкокристаллический дисплей. Device 140 may include any suitable configuration and/or mechanism to selectively set operation in the first or second modes. For example, in one embodiment, device 140 may be an array of liquid crystal elements that can change their optical characteristics, such as reflectivity, refractive index, and the like, for example, depending on the voltage applied to the liquid crystals. For example, when a first voltage is applied, the optical characteristics of the liquid crystals may change such that the mirror-display device 140 can operate as a mirror, and when a second voltage is applied, the optical characteristics of the liquid crystals may change such that the mirror-display device 140 can work as a liquid crystal display.

В другом варианте устройство 140 "зеркало-дисплей" может содержать жидкокристаллический дисплей, вделанный в полупрозрачное или одностороннее зеркало. Соответственно, если жидкокристаллический дисплей выключен, то устройство 140 "зеркало-дисплей" может пассивно отражать достаточное количество падающего на него света, чтобы пользователь видел в нем свое отражение с достаточным качеством и достаточной яркостью. Если же жидкокристаллический дисплей включен, то выводимые на него изображения могут быть видны пользователю 111, поскольку их яркость может быть существенно выше яркости света, отражаемого от поверхности устройства "зеркало-дисплей". В других вариантах система реализуется в автономном компьютере без отдельного дисплея, так что покупатель системы может сам подобрать подходящий дисплей, или же система может использоваться без дисплея, но изображения могут выводиться на мобильные устройства или планшеты пользователей, так что они могут видеть себя на своих мобильных устройствах и осуществлять дистанционное управление записью информации.Alternatively, the mirror-display device 140 may comprise a liquid crystal display embedded in a translucent or one-way mirror. Accordingly, if the liquid crystal display is turned off, the mirror-display device 140 can passively reflect sufficient light falling on it so that the user sees his own reflection in it with sufficient quality and sufficient brightness. If the liquid crystal display is turned on, then the images displayed on it can be seen by the user 111, since their brightness can be significantly higher than the brightness of the light reflected from the surface of the "mirror-display" device. In other embodiments, the system is implemented on a stand-alone computer without a separate display, so that the buyer of the system can choose the appropriate display, or the system can be used without a display, but images can be displayed on users' mobile devices or tablets so that they can see themselves on their mobile devices. devices and remotely control the recording of information.

Кроме того, в некоторых случаях камера может быть расположена на удалении от дисплея, например, в магазинах категории "люкс" экран дисплея может быть вделан в стену, а камера с соответствующими объективами может быть расположена на удалении от дисплея.In addition, in some cases, the camera may be located away from the display, for example, in luxury stores, the display screen may be embedded in the wall, and the camera with appropriate lenses may be located away from the display.

[0051] В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 140 "зеркало-дисплей" может быть реализовано с помощью жидкокристаллического HD ready-телевизора в зеркале, такого как, например, модель 32PM8822/10 фирмы Royal Philips Electronics (см. описание на сайте http://www.research.philips.com/newscenter/archive/2003/mirrortv.html- ). Такое устройство может содержать, например, органический светоизлучающий дисплей на основе полимера (OLED). Устройство 140 "зеркало-дисплей" может представлять собой любое другое подходящее устройство, в котором реализована любая подходящая технология отображения изображений. Например, в устройстве 140 может использоваться такие дисплеи как: дисплей с эмиссией электронов из нанотрубок (NED); плазменная панель (PDP); дисплей на электронно-лучевой трубке (CRT); дисплей с цифровой обработкой света (DLP); дисплей с поверхностными излучателями электронов (SED); планшетный дисплей; плоский SED-дисплей; дисплей на органических электронных элементах; электронная бумага; трехмерный дисплей, например, голографический дисплей; дисплей на тонкопленочных резисторах (TFT); оптический TFT-дисплей, светодиодный матричный дисплей; ЖК-дисплей с возможностями устройств с зарядовой связью, так что устройство 140 "зеркало-дисплей" может выполнять функции устройства 130 получения изображений; окрашиваемый ЖК-дисплей; телевизионный дисплей с высоким разрешением (HDTV); дисплей с проекционным экраном (рирпроектор) и т.п. [0051] In accordance with some illustrative embodiments of the invention, the device 140 "mirror-display" can be implemented using a liquid crystal HD ready-TV in a mirror, such as, for example, model 32PM8822/10 from Royal Philips Electronics (see description on the site http://www.research.philips.com/newscenter/archive/2003/mirrortv.html-). Such a device may comprise, for example, a polymer based organic light emitting display (OLED). The mirror-display device 140 may be any other suitable device that implements any suitable image display technology. For example, device 140 may use displays such as: Nanotube Electron Emission Display (NED); plasma panel (PDP); cathode ray tube (CRT) display; digital light processing (DLP) display; surface electron emitter display (SED); tablet display; flat SED display; display on organic electronic elements; electronic paper; a three-dimensional display such as a holographic display; thin film resistor display (TFT); optical TFT display, LED matrix display; An LCD display with charge-coupled device capabilities such that the mirror-display device 140 can perform the functions of the image acquisition device 130; paintable LCD; high definition television display (HDTV); projection screen display (rear projector), etc.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 130 получения изображений может быть приспособлено для захвата изображений одного или нескольких внешних видов в поле зрения перед устройством 140 "зеркало-дисплей". Поле зрения перед устройством 140 "зеркало-дисплей" может включать, например, поле, зону, область, участок и/или площадку перед устройством 140 "зеркало-дисплей". Например, поле зрения может включать по меньшей мере часть поля, зоны, области, участка и/или площадки, которая отражается в устройстве 140, когда оно работает в режиме зеркала. In accordance with some exemplary embodiments of the invention, the imaging device 130 may be adapted to capture images of one or more external views in front of the mirror-display device 140. The field of view in front of the device 140 "mirror-display" may include, for example, a field, zone, area, area and/or area in front of the device 140 "mirror-display". For example, the field of view may include at least a portion of the field, zone, region, area, and/or area that is reflected in the device 140 when it is in mirror mode.

Устройство 130 получения изображений может представлять собой или может содержать камеру на приборах с зарядовой связью, видеокамеру, фотокамеру и/или съемочную установку, обеспечивающую получение трехмерных изображений, например, стереоскопическую камеру и т.п. Стереоскопическая камера может быть приспособлена, например, для получения трехмерного изображения внешнего вида пользователя. Стереоскопическая камера может, например, содержать две линзы, расстояние между которыми соответствует расстоянию между глазами человека. Соответственно, стереокамера может быть способна имитировать бинокулярное зрение человека, в результате чего она может обеспечивать получение трехмерного изображения. The imaging device 130 may be, or may include, a CCD camera, a video camera, a still camera, and/or a 3D camera, such as a stereoscopic camera, or the like. A stereoscopic camera may be adapted, for example, to capture a three-dimensional image of the user's appearance. A stereoscopic camera may, for example, include two lenses, the distance between which corresponds to the distance between the eyes of a person. Accordingly, the stereo camera may be capable of simulating human binocular vision, whereby it may provide a three-dimensional image.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения станция 110 может представлять собой автономный блок, который может быть расположен в зоне сравнения внешнего вида, находящейся в нужном месте, например, в офисе, дома или в магазине, например, в магазине готовой одежды. In accordance with some exemplary embodiments of the invention, station 110 may be a stand-alone unit that may be located in an appearance comparison area located in a desired location, such as an office, home, or store, such as a ready-to-wear store.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения станция 110 может быть подсоединена, например, через сетевой интерфейс 122, к сети, например, к сети 150, в результате его обеспечивается связь между станцией 110 и одной или несколькими другими станциями, подсоединенными к сети 150, такими как станция 160 и/или станция 170. In accordance with some illustrative embodiments of the invention, station 110 may be connected, for example, through a network interface 122, to a network, such as network 150, as a result of which communication is provided between station 110 and one or more other stations connected to network 150, such as station 160 and/or station 170.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения станция 110 может содержать сетевой интерфейс 122, который может быть приспособлен для взаимодействия с сетью 150, чтоб обмениваться информацией с другими станциями в сети 150. Такая информация может содержать, например, данные, соответствующие изображениям пользователей, полученным на различных станциях системы 100, например, на станции 160 и/или 170, а также идентифицирующую информацию пользователей для обеспечения защищенного доступа в систему, как это будет описано ниже. Сетью 150 может быть, например: локальная сеть (LAN), региональная сеть (WAN), глобальная коммуникационная сеть, например, сеть Internet, беспроводная коммуникационная сеть, такая как беспроводная сеть LAN (WLAN), сеть Bluetooth, виртуальная частная сеть (VPN), сотовая сеть связи, for example, сеть Проекта партнерства третьего поколения (3GPP), такая как, например, сеть дуплексной связи с частотным разделением каналов (FDD), сеть глобальной системы мобильной связи (GSM), сотовая сеть связи WCDMA (широкополосный многостанционный доступ с кодовым разделением каналов) и т.п. In accordance with some exemplary embodiments of the invention, station 110 may include a network interface 122 that may be adapted to interface with network 150 to exchange information with other stations on network 150. Such information may include, for example, data corresponding to images of users received at various stations of system 100, such as stations 160 and/or 170, as well as identifying user information to provide secure access to the system, as will be described below. Network 150 may be, for example: a local area network (LAN), a wide area network (WAN), a wide area communications network such as the Internet, a wireless communications network such as a wireless LAN (WLAN), a Bluetooth network, a virtual private network (VPN) , a cellular communications network, for example, a 3rd Generation Partnership Project (3GPP) network such as, for example, a frequency division duplex (FDD) network, a global system for mobile communications (GSM) network, a WCDMA (Wideband Multiple Access) cellular communications network code division), etc.

[0057] В соответствии с некоторыми иллюстративными вариантами осуществления изобретения одна или несколько станций 160, 170 могут быть портативными устройствами. Неограничивающие примеры таких портативных устройств включают мобильный телефон, лэптоп, ноутбук, нетбук, планшет, устройство персональной системы связи, карманный персональный компьютер, устройство беспроводной связи, карманный персональный компьютер с встроенным устройством беспроводной связи, сотовый телефон, смарт-карта, карта памяти, блок памяти и т.п. В некоторых вариантах осуществления изобретения одна или несколько станций 160, 170 могут быть стационарными устройствами, такими как, например, настольный компьютер, телевизор, сервер и т.п. [0057] In accordance with some exemplary embodiments of the invention, one or more stations 160, 170 may be portable devices. Non-limiting examples of such portable devices include a mobile phone, laptop, laptop, netbook, tablet, personal communication system device, personal digital assistant, wireless communication device, personal digital assistant with built-in wireless communication device, cellular phone, smart card, memory card, block memory, etc. In some embodiments of the invention, one or more stations 160, 170 may be stationary devices such as, for example, a desktop computer, television, server, and the like.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения система 100 может также содержать центр 190 управления, который может быть соединен со станциями 110, 160 и/или 170, например, по сети 150. Центр 190 управления может принимать и хранить данные, которые могут представлять, например, изображения внешнего вида пользователей, полученные из одной или нескольких станций 110, 160 и/или 170. In accordance with some exemplary embodiments of the invention, system 100 may also include a control center 190 that may be connected to stations 110, 160, and/or 170, such as over network 150. Control center 190 may receive and store data that may represent, for example, images of the appearance of users received from one or more stations 110, 160 and/or 170.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения станции 110, 160 и/или 170 могут быть расположены в разных местах, например, в разных магазинах одной торговой сети. Станции 110, 160 и/или 170 также могут быть расположены в разных местах одного здания, например, на разных этажах, в разных секциях на одном этаже и т.п. Такими местами могут быть, например, магазины готовой одежды, обувные магазины, торговые точки, демонстрационные залы, выставки, торговые центры, магазины оптики, магазины косметики, спортивные клубы, центры здоровья, фитнесс-центры, железнодорожные вокзалы, рестораны, гостиницы, жилые дома и т.п. Одна или несколько станций 110, 160, 170 могут быть также использованы в качестве интерактивных досок объявлений. Например, устройство 130 получения изображений может захватывать изображения, которые могут быть отображены на доске объявлений (не показана). Система 100 может обеспечивать возможность пользователю 111 выбора изображения, которое должно отображаться на доске объявлений, из множества изображений, например, из различных предыдущих результатов примерок одежды. In accordance with some exemplary embodiments of the invention, stations 110, 160 and/or 170 may be located in different locations, for example, in different stores of the same retail chain. Stations 110, 160, and/or 170 may also be located in different locations within the same building, such as on different floors, in different sections on the same floor, and the like. Such places can be, for example, ready-made clothing stores, shoe stores, retail outlets, showrooms, exhibitions, shopping centers, optics stores, cosmetics stores, sports clubs, health centers, fitness centers, railway stations, restaurants, hotels, residential buildings and so on. One or more stations 110, 160, 170 may also be used as interactive bulletin boards. For example, the image acquisition device 130 may capture images that can be displayed on a bulletin board (not shown). The system 100 may allow the user 111 to select an image to be displayed on the bulletin board from among a plurality of images, such as from various previous fitting results.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения изображения внешнего вида пользователя могут просматриваться в разных местах. Например, устройство 130 получения изображений может захватить изображение первой примерки. Затем изображение может быть передано из сетевого интерфейса 122 по сети 150 с использованием сообщений 151 и 152, например, на станцию 160. Соответственно, пользователь 111 будет иметь возможность увидеть изображение первого внешнего вида пользователя на станции 160. Поэтому пользователь 111 может иметь возможность просмотра, например, первой примерки пользователем в первом магазине торговой сети, например, в магазине, связанном со станцией 110, и может сравнить внешний вид во время первой примерки с внешним видом во время второй примерки, которая может происходить во втором магазине этой же или аффилированной сети, например, в магазине, связанном со станцией 160, и/или в другое время, например, через несколько часов, дней или недель после первой примерки. In accordance with some exemplary embodiments of the invention, images of a user's appearance may be viewed in different locations. For example, the imaging device 130 may capture an image of the first fitting. The image may then be transmitted from network interface 122 over network 150 using messages 151 and 152 to station 160, for example. Accordingly, user 111 will be able to see an image of the user's first appearance at station 160. Therefore, user 111 may be able to view, for example, the user's first fitting in a first retail store, such as a store associated with station 110, and can compare the appearance during the first fitting with the appearance during the second fitting, which may occur in a second store of the same or an affiliate network, for example, at a store associated with station 160 and/or at other times, such as hours, days, or weeks after the first fitting.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 130 получения изображений может получать изображения внешнего вида пользователя во время первой примерки и передавать изображение через сетевой интерфейс 122 по сети 150 в центр 190 управления, где эти изображения могут быть сохранены для последующего считывания. Соответственно, пользователь 111 может получить доступ к изображениям первой примерки на любой станции, например, на станции 160, подсоединенной к центру 190 управления по сети 150. In accordance with some illustrative embodiments of the invention, the image acquisition device 130 may acquire images of the user's appearance during the first fitting and transmit the image through the network interface 122 over the network 150 to the control center 190, where these images can be stored for later reading. Accordingly, the user 111 can access the first fitting images at any station, such as station 160 connected to control center 190 via network 150.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 123 хранения данных может быть, например, накопителем на жестком диске, накопителем на гибком диске, CD-накопителем, CD-ROM-накопителем или иным подходящим съемным или стационарным накопителем информации. In accordance with some exemplary embodiments of the invention, storage device 123 may be, for example, a hard disk drive, floppy disk drive, CD drive, CD-ROM drive, or other suitable removable or permanent storage device.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения контроллер 121 может представлять собой или может содержать, например, центральный процессор, процессор обработки цифровых сигналов, микропроцессор, контроллер, чип, микрочип, интегральную схему или любой другой подходящий универсальный или специализированный процессор или контроллер, например, такие устройства, которые известны в технике.In accordance with some illustrative embodiments of the invention, the controller 121 may be or may include, for example, a central processing unit, a digital signal processor, a microprocessor, a controller, a chip, a microchip, an integrated circuit, or any other suitable general purpose or special purpose processor or controller, for example, such devices as are known in the art.

Устройство 124 ввода данных может представлять собой клавиатуру, пульт дистанционного управления, указательное устройство, такое как, например, лазерная указка, мышь, сенсорная площадка (тачпад), сенсорный экран, который может быть вделан, например, в устройство 140 "зеркало-дисплей", или же может быть реализовано в форме другого подходящего устройства, например, отдельно от устройства 140, биометрическое устройство ввода, например, сканер отпечатка пальца и/или камеру для сканирования лица, и/или любое другое подходящее указательное устройство или устройство ввода информации. Устройство 124 ввода данных может быть приспособлено для приема информации, идентифицирующей пользователя, например, для обеспечения доступа, например, защищенного доступа, пользователя 111 в систему 100, как это описано ниже. The input device 124 may be a keyboard, a remote control, a pointing device such as, for example, a laser pointer, a mouse, a touch pad (touchpad), a touch screen, which may be embedded, for example, in the mirror-display device 140 , or may be implemented in the form of another suitable device, for example, separate from device 140, a biometric input device, such as a fingerprint scanner and/or a face scanning camera, and/or any other suitable pointing or input device. Input device 124 may be adapted to receive information identifying a user, for example, to provide access, such as secure access, for user 111 to system 100, as described below.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения пользователь 111 может вводить команды с помощью устройства 124 ввода данных для управления работой устройства 130 получения изображений. Устройство 124 ввода данных может содержать, например, интерфейс, обеспечивающий возможность пользователю 111 системы 100 задавать параметры работы устройства 130 получения изображений. Контроллер 121 может принимать входную информацию от пользователя 111 в форме сообщений 131 и осуществлять соответствующее управление работой устройства 130 получения изображений. Команды пользователя могут содержать, например, команды, относящиеся к заданию моментов времени для получения изображений, к позиционированию устройства 130 получения изображений, например, в соответствии с алгоритмом автоматического сопровождения для слежения за положением пользователя 111, и/или характеристики получения изображения, такие как фокус, положение камеры, угол съемки, динамический диапазон и т.п. Команды пользователя могут также содержать команды задания режимов работы устройства 130 получения изображения, таких как, например, режим видеосъемки, режим фотосъемки и т.п. В соответствии с некоторыми вариантами осуществления изобретения устройство 130 получения изображений может содержать устройство записи звука, такое как, например, микрофон, и/или выходное звуковое устройство, такое как, например, громкоговоритель. Соответственно, устройство получения изображений может принимать звуковые сигналы, например, речь пользователя 111, которая может быть записана и может храниться, например, в устройстве 123 хранения данных, и выводить звуковую информацию через выходное звуковое устройство. Выходное звуковое устройство может воспроизводить любые другие виды звуковой информации, такие как радиопрограммы, записи на компакт-дисках и т.п. In accordance with some exemplary embodiments of the invention, the user 111 may enter commands using the data input device 124 to control the operation of the image acquisition device 130. The input device 124 may include, for example, an interface that allows the user 111 of the system 100 to set the operating parameters of the image acquisition device 130. The controller 121 may receive input from the user 111 in the form of messages 131 and control the operation of the image acquisition device 130 accordingly. The user commands may include, for example, commands related to setting times for image acquisition, positioning of the image acquisition device 130, for example, in accordance with an auto-tracking algorithm for tracking the position of the user 111, and/or image acquisition characteristics such as focus , camera position, shooting angle, dynamic range, etc. The user commands may also contain commands for setting operating modes of the image pickup device 130, such as, for example, a video mode, a photo mode, and the like. In accordance with some embodiments of the invention, the imaging device 130 may include an audio recording device, such as, for example, a microphone, and/or an audio output device, such as, for example, a speaker. Accordingly, the image pickup device can receive audio signals, such as the speech of the user 111, which can be recorded and stored, for example, in the data storage device 123, and output audio information through the audio output device. The audio output device can reproduce any other kind of audio information such as radio programs, CD recordings, and the like.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения контроллер 121 может, например, задавать режим работы устройства 140 "зеркало-дисплей" в соответствии с командами, получаемыми от пользователя 111. Например, если устройство 140 "зеркало-дисплей" работает в режиме зеркала, пользователь системы 100 может ввести с помощью устройства 124 ввода данных команду на переключение, например, путем нажатия на определенную кнопку устройства 124 для переключения устройства 140 в режим дисплея. Контроллер 121 может принимать вводимую информацию из устройства 124 ввода данных и может передавать в устройство 140 команду на переключение в режим дисплея, например, с использованием сообщений 141. In accordance with some illustrative embodiments of the invention, the controller 121 may, for example, set the mode of operation of the mirror-display device 140 in accordance with commands received from the user 111. For example, if the mirror-display device 140 is operating in mirror mode, the user system 100 may enter a switch command via input device 124, for example, by pressing a specific button on device 124 to switch device 140 to display mode. Controller 121 may receive input from input device 124 and may instruct device 140 to switch to display mode, such as using messages 141.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 130 получения изображений может быть установлено в различных положениях, например, сверху, внизу или на одной из сторон устройства 140 "зеркало-дисплей" для получения изображений внешнего вида пользователя 111, относящихся к примерке какого-либо предмета одежды, или изображений пользователя на фоне различных товаров, например, на фоне какой-либо мебели. В некоторых вариантах осуществления изобретения устройство 130 получения изображений может захватывать изображение внешнего вида пользователя, как оно появляется в устройстве 140 "зеркало-дисплей", то есть, зеркальное изображение пользователя. В других вариантах устройство 130 получения изображений может захватывать изображение внешнего вида, и контроллер 121 может формировать зеркальное изображение, соответствующее внешнему виду, захваченному устройством 130. Например, в устройстве 123 хранения данных могут быть записаны команды, при выполнении которых контроллером может выполняться любой подходящий способ или алгоритм поворота, инверсии и/или зеркального отражения внешнего вида, захваченного устройством 130 получения изображений, в результате чего формируется информация изображения, представляющая повернутое, инвертированное и/или зеркально отраженное изображение, сгенерированное из изображения, полученного устройством 130. В соответствии с этими вариантами контроллер 121 может осуществлять управление работой устройства 140 "зеркало-дисплей" для отображения в режиме дисплея повернутого, инвертированного и/или зеркально отраженного изображения. В других вариантах контроллер 121 может осуществлять управление работой устройства 140 "зеркало-дисплей" для отображения в режиме дисплея изображения, соответствующего изображению, захваченному устройством 130, например, без поворота, без инверсии и/или без зеркального отражения. В некоторых вариантах устройство 130 получения изображений может быть не видно пользователю 111 и может быть расположено позади устройства 140 "зеркало-дисплей", и/или может быть вделано в него, причем устройство 140 может быть, например, ЖК-дисплееем с возможностями приборов с зарядовой связью, который может как отображать, так и захватывать изображения. Например, в одном из иллюстративных вариантов осуществления изобретения устройство 140 может содержать экран или поверхность, содержащую жидкие кристаллы для обеспечения отображения информации в режимах зеркало/дисплей, например, как это было описано, а также возможность получения изображений, то есть устройство 140 может выполнять функции вышеописанных устройств 130 и 140. In accordance with some illustrative embodiments of the invention, the image acquisition device 130 may be installed in various positions, for example, on top, below, or on one side of the mirror-display device 140 to obtain images of the appearance of the user 111 related to trying on any a piece of clothing, or images of the user against the background of various products, for example, against the background of some furniture. In some embodiments, the image acquisition device 130 may capture an image of the user's appearance as it appears on the mirror-display device 140, ie, a mirror image of the user. In other embodiments, image acquisition device 130 may capture an image of the appearance and controller 121 may generate a mirror image corresponding to the appearance captured by device 130. or an algorithm for rotating, inverting, and/or mirroring the appearance captured by the image acquisition device 130, resulting in image information representing a rotated, inverted, and/or flipped image generated from an image acquired by the image acquisition device 130. According to these embodiments, the controller 121 may control the operation of the mirror-display device 140 to display a rotated, inverted, and/or flipped image in a display mode. In other embodiments, the controller 121 may control the operation of the mirror-display device 140 to display in display mode an image corresponding to the image captured by the device 130, for example, no rotation, no inversion, and/or no mirroring. In some embodiments, the imaging device 130 may not be visible to the user 111 and may be positioned behind and/or incorporated into the mirror display device 140, the device 140 being, for example, an LCD display with instrument capabilities charge-coupled, which can both display and capture images. For example, in one of the illustrative embodiments of the invention, the device 140 may include a screen or surface containing liquid crystals to provide information display in mirror/display modes, for example, as described, as well as the ability to receive images, that is, the device 140 can perform the functions devices 130 and 140 described above.

В некоторых иллюстративных вариантах осуществления изобретения одна или несколько станций 110, 160 и/или 170 могут не содержать устройство 130 получения изображений, и/или одна или несколько станций 110, 160 и/или 170 могут не содержать устройство 140 "зеркало-дисплей". Например, первая станция системы 100 может содержать только устройство 130 получения изображений и может не содержать устройство 140 "зеркало-дисплей". Пользователь 111 может использовать первую станцию для захвата изображений внешнего вида пользователя во время первой примерки, например, без возможности просмотра получаемых при этом изображений. Позднее пользователь 111 может посмотреть изображения, полученные во время первой примерки, на другой станции системы 100, которая содержит устройство 140 "зеркало-дисплей". In some illustrative embodiments of the invention, one or more stations 110, 160 and/or 170 may not contain an image acquisition device 130, and/or one or more stations 110, 160 and/or 170 may not contain a mirror-display device 140. For example, the first station of system 100 may only contain an image acquisition device 130 and may not contain a mirror-display device 140. The user 111 may use the first station to capture images of the user's appearance during the first fitting, for example, without being able to view the resulting images. Later, the user 111 can view the images obtained during the first fitting at another station of the system 100, which contains the device 140 "mirror-display".

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 130 получения изображений может быть расположено таким образом, чтобы обеспечивалась возможность захвата изображения и/или последовательности изображений, видео или аналогичной информации, зоны, находящейся перед устройством 140 "зеркало-дисплей". Вместо этого или дополнительно к этому устройство 130 получения изображений может быть расположено таким образом, чтобы оно захватывало изображение, отраженное от устройства 140 "зеркало-дисплей". Например, устройство 130 получения изображений может быть способно захватывать изображение пользователя 111, стоящего перед устройством 140 "зеркало-дисплей". Пользователь 111, находясь перед устройством 140 "зеркало-дисплей", может оценивать свой внешний вид во время первой примерки одежды. В соответствии с командой, введенной пользователем 111 с помощью устройства 124 ввода информации, устройство 130 получения изображений может захватывать изображения внешнего вида пользователя, который может примерять, например, какой-либо предмет одежды. Следует отметить, что примерка может также включать вид пользователя 111 вместе с различными объектами, которые могут находиться возле него, такими как мебель, обстановка помещения и т.п. Соответственно, устройство 130 получения изображений может захватывать внешний вид пользователя 111, например, во время первой примерки, второй примерки и т.д., и может передавать соответствующие полученные изображения в устройство 123 хранения данных с использованием сообщений 131 и 30. Затем пользователь может вызывать записанные изображения, например, первой примерки, второй примерки и других последующих примерок для их сравнения, как это описано ниже со ссылками на фигуры 2A, 2B и 2C. In accordance with some exemplary embodiments of the invention, the image acquisition device 130 may be positioned to capture an image and/or sequence of images, video, or the like of the area in front of the mirror-display device 140. Instead or in addition to this, the image acquisition device 130 may be positioned so that it captures the image reflected from the mirror display device 140 . For example, the image acquisition device 130 may be capable of capturing an image of the user 111 standing in front of the mirror display device 140 . The user 111, while in front of the device 140 "mirror-display", can evaluate their appearance during the first fitting of clothes. In accordance with the command entered by the user 111 through the input device 124, the image acquisition device 130 can capture images of the appearance of the user, who may try on a piece of clothing, for example. It should be noted that the fitting may also include the view of the user 111 along with various objects that may be near it, such as furniture, room furnishings, and the like. Accordingly, the image acquisition device 130 can capture the appearance of the user 111, for example, during the first fitting, second fitting, etc., and can transmit the corresponding acquired images to the storage device 123 using messages 131 and 30. The user can then call recorded images of, for example, the first fitting, the second fitting and other subsequent fittings for comparison, as described below with reference to figures 2A, 2B and 2C.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 123 хранения данных может быть приспособлено для приема данных, представляющих изображения, полученные устройством 130, и записывать для хранения изображения внешнего вида, более конкретно, внешнего вида пользователя, например, примеряющего предметы одежды. Изображения внешнего вида пользователя для заданных примерок могут быть вызваны из устройства 123 хранения данных, например, контроллером 121 и отображены на дисплее 140. Пользователь 111 может осуществлять сравнение отображаемых изображений, например, как это будет описано ниже. In accordance with some illustrative embodiments of the invention, the data storage device 123 may be adapted to receive data representing images acquired by the device 130 and record to store an image of the appearance, more specifically, the appearance of a user, such as trying on garments. The user's appearance images for given fittings may be retrieved from the storage device 123, for example, by the controller 121, and displayed on the display 140. The user 111 may compare the displayed images, for example, as will be described below.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 123 хранения данных может содержать данные, представляющие собой программы, в которых требуются идентификационные данные пользователя, такие как идентификатор пользователя, пароль, время входа в систему, биометрические данные и т.п., для обеспечения защищенного доступа на станцию 110, как это будет описано ниже. Например, контроллер 121 может осуществлять управление устройством 140 "зеркало-дисплей" для отображения изображений, соответствующих личности пользователя 111, например, в соответствии с обеспечиваемыми им идентификационными данными. Например, пользователь 111 может обеспечивать устройство 124 ввода данных своими идентификационными данными, которые могут включать биометрические данные, такие как изображение лица, отпечаток ладони, отпечаток пальца, изображение сетчатки глаза, голос и т.п. Данные, вводимые для идентификации пользователя, могут включать другие подходящие признаки, такие как кредитная карточка, личный идентификационный номер, пароль, смарт-карта, карточка покупателя, клубная карточка и т.п. Контроллер 121 проверяет в соответствии с любым подходящим способом и/или алгоритмом, совпадают ли данные, введенные с помощью устройства 124 ввода данных, с информацией, идентифицирующей пользователя, которая может храниться, например, в устройстве 123 хранения данных или в центре 190 управления. В качестве программного обеспечения для подтверждения вводимых биометрических данных может использоваться, например, "Active ID FaceVision technology" компании Geometric Inc. Если контроллер 121 определяет совпадение данных, введенных пользователем 111, с записанными идентификационными данными, то контроллер 121 может обеспечивать пользователю 111 возможность доступа к данным, представляющим, например, изображения предыдущих внешних видов пользователя 111. In accordance with some illustrative embodiments of the invention, the data storage device 123 may contain data, which is programs that require user identification data, such as a user ID, password, login time, biometric data, etc., to provide a secure access to station 110, as will be described below. For example, the controller 121 may control the mirror display device 140 to display images corresponding to the identity of the user 111, for example, in accordance with the identification data provided by it. For example, the user 111 may provide the input device 124 with their identification data, which may include biometric data such as a face image, palm print, fingerprint, retinal image, voice, and the like. The data entered to identify the user may include other suitable features such as a credit card, personal identification number, password, smart card, customer card, club card, and the like. The controller 121 checks, in accordance with any suitable method and/or algorithm, whether the data entered by the input device 124 matches the information identifying the user, which may be stored, for example, in the data storage device 123 or in the control center 190. As software for confirming the input biometric data, for example, "Active ID FaceVision technology" from Geometric Inc. can be used. If the controller 121 determines that the data entered by the user 111 matches the recorded identification data, then the controller 121 may allow the user 111 to access data representing, for example, images of the previous appearances of the user 111.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 123 хранения данных может содержать данные, представляющие, например, программные алгоритмы, обеспечивающие дополнительные системные возможности, такие как визуализация виртуальных эффектов на устройстве 140 "зеркало-дисплей". Например, контроллер может быть способен выводить на устройство 140 "зеркало-дисплей" изображения внешнего вида пользователя вместе с виртуальными объектами, такими как, например, одежда, головные уборы, прически, мебель и т.п. Кроме того, контроллер 121 может быть способен отображать на устройстве 140 "зеркало-дисплей" внешнего вида пользователей, имеющих разные формы тела, для моделирования уменьшения или увеличения веса пользователя и т.п. Например, пользователь 111 может выбрать для первой примерки определенный предмет одежды, например, костюм из некоторой коллекции, и контроллер 121 может "надеть" костюм на изображение пользователя 111, выводимое на устройство 140 "зеркало-дисплей". Контроллер 121 может записывать изображения первой примерки в устройстве 123 хранения данных и может осуществлять эту же стадию для второй примерки. Соответственно, пользователь 111 системы 100 будет иметь возможность сравнивать свои изображения в первой и второй примерках. In accordance with some illustrative embodiments of the invention, the storage device 123 may contain data representing, for example, software algorithms that provide additional system capabilities, such as the rendering of virtual effects on the device 140 "mirror-display". For example, the controller may be capable of displaying on the mirror display device 140 images of the user's appearance along with virtual objects such as clothing, hats, hairstyles, furniture, and the like, for example. In addition, the controller 121 may be configured to display on the device 140 a "mirror display" of the appearance of users having different body shapes to simulate a decrease or increase in the user's weight, or the like. For example, the user 111 may choose to first try on a specific piece of clothing, such as a suit from a certain collection, and the controller 121 may "put on" the suit on the image of the user 111 displayed on the device 140 "mirror-display". The controller 121 may record images of the first fitting in the storage device 123 and may perform the same step for the second fitting. Accordingly, the user 111 of the system 100 will be able to compare their images in the first and second fittings.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения контроллер 121 может обеспечивать, например, возможности просмотра изображений и/или видеофайлов, повторения воспроизведения изображений и/или видеофайлов, причем функциональные возможности могут быть заранее определены системой 100 или же могут быть определены во время работы, в соответствии с командами пользователя 111, введенными им с помощью устройства 124 ввода данных. Например, контроллер 121 может обеспечивать возможность вызова одного или нескольких предыдущих изображений внешнего вида пользователя и отображать их на устройстве 140 "зеркало-дисплей" в разной последовательности. Например, изображения, полученные в предыдущих примерках, могут отображаться по существу непрерывно вперед, назад или выбираться случайным образом и в любой последовательности. Кроме того, изображения предыдущих примерок могут отображаться одновременно на устройстве 140 "зеркало-дисплей", как это будет описано ниже. Контроллер 121 может также обеспечивать удаление ранее записанных изображений внешнего вида пользователя, ограничивать объем данных, которые могут быть сохранены в устройстве 123 хранения данных, и другие аналогичные функции, а также может дополнительно управлять размером, формой, цветом и т.д. изображений, отображаемых на устройстве 140 "зеркало-дисплей". In accordance with some illustrative embodiments of the invention, the controller 121 may provide, for example, the ability to view images and/or video files, repeat playback of images and/or video files, and the functionality may be predetermined by the system 100 or may be determined during operation, in in accordance with the commands of the user 111 entered by him using the input device 124. For example, the controller 121 may be able to recall one or more previous user appearance images and display them on the mirror display device 140 in a different order. For example, the images obtained in previous fittings may be displayed substantially continuously forward, backward, or selected randomly and in any order. In addition, images of previous fittings can be displayed simultaneously on the device 140 "mirror-display", as will be described below. The controller 121 may also delete previously recorded user appearance images, limit the amount of data that can be stored in the storage device 123, and other similar functions, and may further control the size, shape, color, and so on. images displayed on the device 140 "mirror-display".

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения пользователь может использовать портативное устройство 180 хранения данных, на котором можно записать одно или несколько полученных изображений. В качестве такого устройства может использоваться любое подходящее портативное устройство хранения данных, например, смарт-карта, "флэшка" и т.п. Пользователь 111 может считывать изображения, представленные сообщениями 50, его внешнего вида во время первой примерки из устройства 123 хранения данных, например, через интерфейс 125 накопителя или через любое другое подходящее соединение. Позднее пользователь 111 может загрузить свои изображения, полученные во время первой примерки в другое устройство, например, в другую станцию системы 100, такую как станция 170. In accordance with some illustrative embodiments of the invention, the user may use a portable storage device 180 data, which can record one or more received images. Such a device may be any suitable portable storage device such as a smart card, flash drive, or the like. The user 111 can read the images represented by the messages 50 of his appearance during the first fitting from the storage device 123, for example via the drive interface 125 or via any other suitable connection. Later, the user 111 can download their first try-on images to another device, such as another station in system 100, such as station 170.

В некоторых иллюстративных вариантах осуществления изобретения станция 110 может содержать более одного устройства "зеркало-дисплей" или может содержать устройство 140 "зеркало-дисплей", которое может быть разделено на две части, как это описано ниже со ссылками на фигуры 2А и 2В. In some exemplary embodiments of the invention, station 110 may contain more than one mirror-display device, or may contain a mirror-display device 140, which can be divided into two parts, as described below with reference to figures 2A and 2B.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения контроллер 121 может записывать для хранения, например, в устройстве 123 хранения данных, параметры, характеризующие пользователя 111. Например, система 100 может содержать весы, соединенные, например, с устройством 123 хранения данных через контроллер 121. Контроллер 121 может обеспечивать возможность записи веса пользователя 111, например, во время примерки вещей. Соответственно, пользователь 111 может позднее вызывать свои параметры, в том числи и свой вес. In accordance with some illustrative embodiments of the invention, the controller 121 may record for storage, for example, in the data storage device 123, parameters characterizing the user 111. For example, the system 100 may contain a scale connected, for example, to the data storage device 123 through the controller 121. The controller 121 may be able to record the weight of the user 111, for example, during trying on things. Accordingly, the user 111 can later call up his parameters, including his weight.

На фигурах 2A и 2B схематически иллюстрируются стадии сравнения внешнего вида с использованием интерактивной системы в соответствии с некоторыми иллюстративными вариантами осуществления изобретения. Figures 2A and 2B schematically illustrate the steps for comparing appearance using an interactive system in accordance with some exemplary embodiments of the invention.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения устройство 140 "зеркало-дисплей" может быть разделено на две части, причем одна часть 192 может работать как зеркало, и другая часть 191 может работать выборочно как зеркало и как дисплей. Как показано на фигуре 2А, пользователь 11 может стоять перед зеркалом 192 во время первой примерки, изображения которой могут быть захвачены устройством 130 получения изображений и сохранены в устройстве 123 хранения данных. Как показано на фигуре 2В, пользователь 111 может одновременно видеть в части 191 изображение внешнего вида, полученные во время первой примерки, и/или любые другие свои изображения, например, изображения, записанные в устройстве 123 хранения данных, и/или полученные по сети 150 (фигура 1), рядом со своим нормальным отражением в зеркале 192 во время второй примерки, и сравнивать свой внешний вид во время первой и второй примерок. In accordance with some exemplary embodiments of the invention, the mirror-display device 140 can be divided into two parts, where one part 192 can work as a mirror, and the other part 191 can work selectively as a mirror and as a display. As shown in Figure 2A, the user 11 may stand in front of the mirror 192 during the first fitting, the images of which may be captured by the imaging device 130 and stored in the storage device 123. As shown in figure 2B, the user 111 can simultaneously see in the part 191 the appearance image obtained during the first fitting, and/or any other images of himself, for example, images recorded in the data storage device 123 and/or received over the network 150 (figure 1), next to its normal reflection in the mirror 192 during the second fitting, and compare their appearance during the first and second fittings.

На фигурах 3A, 3B и 3C схематически иллюстрируются три последовательные стадии сравнения внешнего вида с использованием интерактивной системы в соответствии с некоторыми иллюстративными вариантами осуществления изобретения. Figures 3A, 3B and 3C schematically illustrate three successive stages of appearance comparison using an interactive system in accordance with some exemplary embodiments of the invention.

Как показано на фигуре 3А, пользователь системы 100 может видеть свое отражение во время первой примерки в устройстве 140 "зеркало-дисплей", работающем в режиме зеркала. Контроллер 121 может принимать, например, из устройства 124 ввода данных, информацию, вводимую пользователем, которая может включать запрос на использование устройства 130 получения изображений для захвата изображений внешнего вида пользователя по время первой примерки. В результате устройство 130 получения изображений может захватывать изображения внешнего вида пользователя во время первой примерки, и эти изображения могут быть записаны в устройстве 123 хранения данных. As shown in Figure 3A, the user of the system 100 can see their reflection during their first fitting in the mirror-display device 140 operating in mirror mode. The controller 121 may receive, for example, from the input device 124, user input, which may include a request to use the image acquisition device 130 to capture images of the user's appearance during the first fitting. As a result, the image acquisition device 130 can capture images of the user's appearance during the first fitting, and these images can be recorded in the storage device 123 .

Как показано на фигуре 3В, пользователь 111 может видеть свое отражение во время второй примерки в устройстве 140 "зеркало-дисплей", которое может работать в режиме зеркала. Затем, когда пользователь захочет увидеть свое изображение во время предыдущей примерки, например, для сравнения, контроллер 121 может принять команду пользователя, введенную через устройство 124 ввода данных, которая задает отображение изображений, полученных во время первой примерки. В этот момент, как показано на фигуре 3С, контроллер 121 может передавать в устройство 140 "зеркало-дисплей" сообщения 141 на переход в режим работы дисплея. Контроллер 121 может также передавать в устройство 140 команду на отображение изображений, полученных во время первой примерки. Таким образом, путем переключения режимов работы устройства 140 "зеркало-дисплей" пользователь 111 может сравнивать свои изображения во время первой и второй примерок и/или любые другие изображения, записанные ранее в устройстве 123 хранения данных. As shown in Figure 3B, the user 111 can see their reflection during a second fitting in a mirror-display device 140 that can operate in a mirror mode. Then, when the user wants to see their image during the previous fitting, for example, for comparison, the controller 121 may receive a user command entered through the input device 124 that sets the display of the images obtained during the first fitting. At this point, as shown in Figure 3C, the controller 121 may send messages 141 to the display device 140 to enter the display mode. The controller 121 may also instruct the device 140 to display the images taken during the first fitting. Thus, by switching the operating modes of the mirror-display device 140, the user 111 can compare his images during the first and second fitting and/or any other images previously recorded in the data storage device 123.

На фигуре 4 приведена блок-схема способа, обеспечивающего возможность сравнения одного или нескольких изображений внешнего вида пользователя в соответствии с некоторыми иллюстративными вариантами осуществления изобретения. Одна или несколько стадий способа, блок-схема которого приведена на фигуре 4, могут быть выполнены одним или несколькими элементами системы 100 (фигура 1), хотя изобретение не ограничивается только этой возможностью. Figure 4 is a flowchart of a method for comparing one or more images of a user's appearance, in accordance with some exemplary embodiments of the invention. One or more of the steps of the method illustrated in Figure 4 may be performed by one or more elements of system 100 (Figure 1), although the invention is not limited to this possibility.

На стадии 410 способа может осуществляться, например, установка режима работы устройства "зеркало-дисплей". Например, пользователь 111 (фигура 1) может вначале задать работу устройства 140 "зеркало-дисплей" в режиме зеркала. В других вариантах дисплей 140 может быть выполнен таким образом, чтобы он по умолчанию работал в режиме зеркала каждый раз, когда к системе 100 (фигура 1) подключается новый пользователь. At step 410 of the method, for example, setting the operating mode of the "mirror-display" device can be carried out. For example, the user 111 (FIG. 1) may first set the mirror-display device 140 to operate in mirror mode. In other embodiments, display 140 may be configured to default to mirror mode each time a new user connects to system 100 (FIG. 1).

На стадии 420 способа пользователь может, например, примерять одежду перед устройством "зеркало-дисплей". Например, пользователь может стоять перед устройством "зеркало-дисплей" и оценивать свой внешний вид во время первой примерки, например, одежды, обуви и/или любых других вещей. At method step 420, the user may, for example, try on clothes in front of the mirror-display device. For example, the user may stand in front of the "mirror-display" device and assess their appearance during the first try-on, for example, clothes, shoes and/or any other items.

На стадии 430 может осуществляться захват изображения внешнего вида пользователя во время первой примерки. Например, пользователь 111 может ввести в устройство 120 команду на захват устройством 130 получения изображений внешнего вида пользователя во время первой примерки. At 430, an image of the user's appearance during the first fitting may be captured. For example, the user 111 may instruct the device 120 to capture the image acquisition device 130 of the user's appearance during the first fitting.

На стадии 440 способа пользователь может также, например, изменять внешний вид перед устройством "зеркало-дисплей". Например, пользователь 111 может изменять детали окружающей обстановки, например мебели, или менять аксессуары одежды, или изменять позу перед устройством 140 "зеркало-дисплей", который может работать в режиме зеркала, и оценивать свой внешний вид в другой позе. At method step 440, the user may also, for example, change the appearance in front of the mirror-display device. For example, the user 111 can change the details of the environment, such as furniture, or change clothing accessories, or change the posture in front of the mirror-display device 140, which can operate in a mirror mode, and evaluate their appearance in a different posture.

На стадии 450 способа может также осуществляться переключение режимов работы устройства "зеркало-дисплей". Например, пользователь 111 (фигура 1) может переключать устройство 140 "зеркало-дисплей" между режимами зеркала и дисплея. Соответственно, пользователь 111 может иметь возможность сравнивать свой внешний вид во время первой примерки и/или любой другой внешний вид, например, записанный в устройстве 123 хранения данных и/или полученный по сети 150 (фигура 1), со своим внешним видом во время второй примерки. At step 450 of the method, switching of the operating modes of the "mirror-display" device can also be carried out. For example, the user 111 (FIG. 1) can switch the mirror-display device 140 between mirror and display modes. Accordingly, the user 111 may be able to compare their appearance during the first try-on and/or any other appearance, for example, recorded in the storage device 123 and/or received over the network 150 (FIG. 1), with their appearance during the second fitting.

В соответствии с некоторыми иллюстративными вариантами осуществления изобретения пользователь 111 может указывать, и/или станция 110 может сохранять автоматически параметры для каждой примерки, например, характеристики магазинов (название, адрес, имя продавца) и товаров (цена, время и/или дата примерки) и т.п. Пользователь 111 может, например, сохранять записанные изображения своего внешнего вида на съемном или портативном накопителе, как это уже было указано со ссылками на фигуру 1, и позднее может просматривать эти изображения, причем обеспечивается возможность подписывания каждого изображения, например, указание названия магазина и т.п. Кроме того, пользователь 111 может задать, и/или контроллер 121 может формировать и/или сохранять в устройстве 123 хранения данных памятки или напоминания, например, о скидках, сезонных распродажах и т.п. In accordance with some illustrative embodiments of the invention, the user 111 may specify and/or the station 110 may automatically save parameters for each fitting, for example, characteristics of stores (name, address, name of the seller) and goods (price, time and/or date of fitting) and so on. The user 111 can, for example, store recorded images of his appearance on a removable or portable storage device, as already indicated with reference to figure 1, and later can view these images, and it is possible to sign each image, for example, indicating the name of a store, etc. .P. In addition, the user 111 may set and/or the controller 121 may generate and/or store in the storage device 123 memos or reminders, such as discounts, seasonal sales, and the like.

Ниже будет рассмотрен вариант использования изображения, полученного камерой, например, цифровой фото- или видео-камерой, и преобразования изображения таким образом, что при его отображении на экране дисплея оно будет аналогично зеркальному отражению, то есть, изображению, которое видел бы пользователь, если бы он стоял перед обычным зеркалом.Below we will consider the option of using an image taken by a camera, for example, a digital photo or video camera, and converting the image in such a way that when it is displayed on the display screen, it will be similar to a mirror image, that is, the image that the user would see if if he stood in front of an ordinary mirror.

На фигуре 6 приведен схематический вид, помогающий лучше понять нижеописанные варианты, на котором показан экран 640 цифрового дисплея, камера 630, и процессор 645 изображений, который может создать правдоподобное зеркальное изображение. В идеальном случае камера должна бы быть способна перемещаться в параллельной плоскости позади экрана в соответствии с положением глаз пользователя для создания реального ощущения взгляда. Однако расположение камеры позади экрана непрактично, поскольку он будет преграждать поле зрения камеры. Теоретические это преодолимо за счет использования полупрозрачного экрана или множества отверстий очень малых размеров, однако такие решения чрезмерно увеличивают стоимость и сложность системы. Наиболее простое решение заключается в размещении камеры над экраном дисплея и преобразовании полученного изображения для имитации зеркального отражения. Ниже рассмотрены примеры соответствующих преобразований.Figure 6 is a schematic view to help better understand the options described below, showing a digital display screen 640, a camera 630, and an image processor 645 that can create a realistic mirror image. Ideally, the camera would be able to move in a parallel plane behind the screen according to the position of the user's eyes to create a real sense of gaze. However, placing the camera behind the screen is impractical as it will block the camera's field of view. Theoretically, this can be overcome by using a translucent screen or a plurality of very small holes, but such solutions unnecessarily increase the cost and complexity of the system. The simplest solution is to place the camera above the display screen and transform the resulting image to simulate a mirror image. Below are examples of the corresponding transformations.

Для компенсации изменений расстояния между пользователем и экраном, необходимо использовать адаптивно регулируемое поле зрения, чтобы пользователь мог видеть свое изображение такого же размера, как и в зеркале. В соответствии с одним из вариантов эта задача решается путем использования увеличения (зума) камеры, цифрового и/или оптического. Традиционные камеры имеют фиксированное поле зрения или оптически изменяемое поле зрения. Для обеспечения адаптивно регулируемого, то есть плавно изменяемого, поля зрения система должна изменять разрешение или осуществлять управление зумом или фокусным расстоянием камеры в режиме реального времени в соответствии с отслеживаемым положением пользователя.To compensate for changes in the distance between the user and the screen, it is necessary to use an adaptively adjustable field of view so that the user can see his image at the same size as in the mirror. In accordance with one of the options, this problem is solved by using the zoom (zoom) of the camera, digital and/or optical. Traditional cameras have a fixed field of view or an optically variable field of view. In order to provide an adaptively adjustable, that is, continuously variable, field of view, the system must change the resolution or control the zoom or focal length of the camera in real time in accordance with the tracked position of the user.

Кроме того, изображение необходимо отражать относительно вертикали для обеспечения изменения направлений "лево-право", как это происходит в зеркальном отражении. Это преобразование изображения может быть выполнено сравнительно просто путем соответствующего изменения адресов пикселей цифрового изображения. In addition, the image needs to be mirrored vertically to allow left-to-right direction changes, as occurs in mirroring. This image transformation can be performed relatively simply by changing the pixel addresses of the digital image accordingly.

Как уже указывалось со ссылкой на фигуру 1, зеркало может быть меньше пользователя, но все-таки будет показывать его в полный рост. Это может быть достигнуто вместе соответствующим выбором поля зрения и соответствующим выбором размера экрана. Идея заключается в проецировании изображения на экран, причем поле зрения устанавливается таким образом, чтобы пользователь видел отражение на двойном расстоянии от зеркала, так чтобы он был виден в полный рост, даже если размер цифрового экрана меньше роста пользователя. Это иллюстрируется на фигуре 6 для положений пользователя А, В и С, на которых показан схематически пользователь, захваченный камерой на разных расстояниях от зеркала, однако при этом он отображается одного и того же размера за счет изменения поля зрения камеры. В некоторых вариантах также в соответствии с расстоянием пользователя до зеркала изменяется разрешение изображения. Например, для меньших расстояний в одном из вариантов может использоваться несколько камер, и процессор изображений осуществляет соединение ("сшивание") их изображений для уменьшения искажений.As already indicated with reference to figure 1, the mirror may be smaller than the user, but still show him in full growth. This can be achieved together with an appropriate choice of field of view and an appropriate choice of screen size. The idea is to project an image onto a screen, with the field of view set so that the user sees the reflection at twice the distance from the mirror, so that he is seen at full height, even if the digital screen is smaller than the user's height. This is illustrated in Figure 6 for user positions A, B, and C, which schematically shows the user captured by the camera at different distances from the mirror, yet rendered the same size by changing the camera's field of view. In some embodiments, the resolution of the image also changes according to the user's distance from the mirror. For example, for smaller distances, one embodiment may use multiple cameras, and the image processor performs the connection ("stitching") of their images to reduce distortion.

Для получения трехмерных изображений необходимо будет использовать две камеры на расстоянии, соответствующем расстоянии между глазами пользователя, или одну камеру с двумя эффективными виртуальными точками зрения. Для получения правдоподобного ощущения трехмерного изображения необходимо использовать систему с адаптивно регулируемым замкнутым контуром, в которой формирование трехмерного изображения осуществляется в зависимости от расстояния. Когда пользователь смотрит на свое отражение в зеркале, он видит , трехмерное изображение, хотя когда он приближается к зеркалу или отходит от него, угол между его глазами и отражением изменяется, в результате чего изменяется глубина трехмерного изображения.To acquire 3D images, it will be necessary to use two cameras at a distance corresponding to the distance between the user's eyes, or one camera with two effective virtual points of view. In order to obtain a realistic 3D impression, it is necessary to use an adaptively controlled closed loop system in which 3D imaging is performed based on distance. When the user looks at his reflection in the mirror, he sees a three-dimensional image, although when he approaches or moves away from the mirror, the angle between his eyes and the reflection changes, resulting in a change in the depth of the three-dimensional image.

Как уже указывалось со ссылками на фигуру 6, размещение камеры позади дисплея на уровне глаз пользователя приводит к удорожанию или усложнению системы. Поэтому в нижеописанных вариантах описывается практический способ реализации вышеописанной идеальной системы с фиксированным расположением камеры (камер) по периметру экрана дисплея. Основной задачей является компенсация искажений изображения адаптивно регулируемым образом и в режиме реального времени, чтобы создать у пользователя ощущения, которые будут возникать в идеальной системе. На фигурах 7 и 8 показаны примеры возникающих проблем при использовании практической конфигурации, когда камера расположена выше экрана цифрового дисплея, то есть, не соответствует уровню глаз пользователя.As already mentioned with reference to figure 6, placing the camera behind the display at the eye level of the user leads to a higher cost or complexity of the system. Therefore, in the following embodiments, a practical method for realizing the above-described ideal system with a fixed arrangement of camera(s) around the perimeter of a display screen is described. The main objective is to compensate for image distortion in an adaptively controlled manner and in real time, in order to give the user the experience that would be experienced in an ideal system. Figures 7 and 8 show examples of problems that arise when using a practical configuration when the camera is located above the screen of the digital display, that is, not at the level of the user's eyes.

На фигуре 7 приведен схематический вид, иллюстрирующий приближение пользователя к зеркалу или удаление от него, при использовании камеры, установленной сверху экрана и направленной по горизонтали. Если система откалибрована по среднему расстоянию до экрана, то когда пользователь находится дальше от экрана (положение С на фигуре 7), изображение будет меньше и выше, и когда пользователь находится ближе к экрану (положение А на фигуре 7), , изображение будет больше, и поле зрения камеры будет обрезать изображение пользователя. Кроме того, когда пользователь приближается к экрану, становятся заметными искажения, то есть, ощущения будут отличаться от обычных ощущений пользователя, рассматривающего себя в зеркале.Figure 7 is a schematic view illustrating the user's approach to or away from the mirror when using a camera mounted on top of the screen and pointing horizontally. If the system is calibrated for the average distance to the screen, then when the user is farther from the screen (position C in figure 7), the image will be smaller and taller, and when the user is closer to the screen (position A in figure 7), the image will be larger, and the camera's field of view will crop the user's image. In addition, when the user approaches the screen, distortions become noticeable, that is, the sensations will be different from the usual sensations of the user looking at himself in the mirror.

Для обеспечения захвата пользователя в полный рост на любой дистанции в одном из вариантов камера расположена сверху экрана и наклонена вниз для обеспечения максимального динамического диапазона перемещения пользователя перед экраном. Как показано на фигуре 8, поскольку камера наклонена вниз, искажения изображения будут гораздо больше и гораздо более заметны. Чем ближе пользователь находится к камере, тем больше будут искажения его изображения. Искажения проявляются в том, то пользователь кажется меньше ростом, и верхняя часть тела увеличивается в размерах. В этой конфигурации изображение пользователя становится меньше, по мере того как он удаляется от экрана. С другой стороны эффективное/используемое поле зрения камеры будет покрывать увеличенную зону перед экраном и будет обеспечивать пользователю возможность нахождения гораздо ближе к экрану, и при этом он будет видеть себя полностью. To capture the user in full growth at any distance in one of the options, the camera is located on top of the screen and tilted down to provide maximum dynamic range of user movement in front of the screen. As shown in figure 8, since the camera is tilted downward, the image distortion will be much larger and much more noticeable. The closer the user is to the camera, the more distorted their image will be. Distortions are manifested in the fact that the user seems to be smaller, and the upper body increases in size. In this configuration, the user's image becomes smaller as the user moves away from the screen. On the other hand, the effective/utilized field of view of the camera will cover a larger area in front of the screen and will allow the user to be much closer to the screen and still see themselves in their entirety.

Для обеспечения формирования правдоподобного (расширенного) зеркального изображения, получаемого из камеры, расположенной перед пользователем и смещенной на некоторое расстояние относительно экрана, используется способ преобразования захваченного изображения перед его выводом на экран. Способ может обеспечивать преобразованное изображение в режиме реального времени или с задержкой, в зависимости от режима работы экрана. To ensure the formation of a plausible (expanded) mirror image obtained from a camera located in front of the user and shifted by some distance relative to the screen, a method is used to convert the captured image before displaying it on the screen. The method may provide the converted image in real time or with a delay, depending on the mode of operation of the screen.

В этом способе осуществляется получение на входе изображения, захваченного камерой, и преобразование этого изображения для коррекции точки наблюдения и поля зрения камеры, чтобы точка наблюдения соответствовала точке наблюдения в случае обычного зеркала. То есть, когда пользователь приближается к зеркалу или удаляется от него, точка наблюдения, которая будет отражаться в зеркале, будет отличаться от точки наблюдения, захваченной камерой. Варианты осуществления предлагаемого способа включают модули адаптивного регулирования точки наблюдения и поля зрения в соответствии с отслеживаемым положением пользователя.This method takes as input an image captured by a camera and transforms this image to correct the camera's viewpoint and field of view so that the viewpoint matches the viewpoint in the case of a conventional mirror. That is, when the user approaches or moves away from the mirror, the viewpoint that will be reflected in the mirror will be different from the viewpoint captured by the camera. Embodiments of the proposed method include modules for adaptive adjustment of the viewpoint and field of view in accordance with the tracked position of the user.

Необходимо отметить, что решение задачи виртуального зеркала только за счет инвертирования изображения относительно вертикали, как это осуществляется в известных способах, недостаточно для формирования зеркального изображения, близкого к реальному. Как только пользователь подходит ближе к камере/экрану, его изображение увеличивается в размерах, и наоборот, в отличие от отражения в обычном зеркале, когда размеры изображения мало изменяются с небольшим изменением поля зрения при изменении расстояния от пользователя до зеркала. Кроме того, при приближении пользователя к камере возникают искажения изображения, которые должны быть откорректированы в усовершенствованном способе. При адаптивном регулировании точки наблюдения и поля зрения перед выводом изображения на экран может быть получено изображение, имитирующее отражение от зеркала, находящегося в месте нахождения экрана. Для получения изображения, более точно воспроизводящего зеркальное отражение, способ может также включать следующие дополнительные особенности. It should be noted that the solution of the virtual mirror problem only by inverting the image relative to the vertical, as is done in known methods, is not enough to form a mirror image close to the real one. As the user gets closer to the camera/screen, the size of the image increases and vice versa, in contrast to the reflection in a normal mirror where the image dimensions change little with little change in the field of view as the distance from the user to the mirror changes. In addition, when the user approaches the camera, image distortion occurs, which must be corrected in the improved method. By adaptively adjusting the viewpoint and field of view before displaying the image on the screen, an image can be obtained that simulates the reflection from a mirror located at the location of the screen. To obtain an image that more accurately reproduces the specular reflection, the method may also include the following additional features.

В соответствии с одним из вариантов в способе также осуществляется динамическое адаптивное соединение изображений, получаемых из нескольких камер. В соответствии с этим вариантом система содержит несколько камер, например, расположенных в разных местах и/или имеющих разные характеристики, так что обеспечивается возможность повышения разрешения изображения, точности его воспроизведения, расширения поля зрения одной камеры, уменьшения искажений для различных пользователей и различных поз пользователей, и формирования улучшенной модели тела пользователя для компенсации искажений камер. Например, поскольку разрешение изображения снижается, когда пользователь отходит от экрана (на изображении пользователя будет меньше пикселей), целесообразно использовать оптический зум и изменять фокусное расстояние камеры. Проблема заключается в том, что это происходит за счет сокращения поля зрения камеры. Для улучшения разрешения с одновременным сохранением поля зрения может одновременно использоваться соединение изображений или динамически регулируемый зум.In accordance with one of the variants, the method also performs a dynamic adaptive connection of images obtained from several cameras. In accordance with this embodiment, the system contains several cameras, for example, located in different places and/or having different characteristics, so that it is possible to increase image resolution, image fidelity, increase the field of view of one camera, reduce distortion for different users and different postures of users. , and the formation of an improved model of the user's body to compensate for camera distortions. For example, since image resolution decreases when the user moves away from the screen (there will be fewer pixels in the user's image), it is advisable to use optical zoom and change the focal length of the camera. The problem is that this comes at the cost of shrinking the camera's field of view. Image fusion or dynamic zoom can be used simultaneously to improve resolution while maintaining the field of view.

Как уже указывалось в предыдущем абзаце, для получения изображения, близкого к реальному отражению в зеркале, в системе может также использоваться адаптивно регулируемый оптический зум. Адаптивно регулируемый оптический зум повышает качество/разрешение изображения/видео в соответствии с непрерывно отслеживаемым расстоянием от пользователя до экрана. Кроме того, уменьшаются асимметричные искажения, которые возникают, если камера установлена с одной стороны экрана.As already mentioned in the previous paragraph, to obtain an image close to the real reflection in the mirror, the system can also use an adaptively adjustable optical zoom. The adaptively adjustable optical zoom increases the quality/resolution of the image/video according to the continuously monitored distance from the user to the screen. It also reduces asymmetric distortion that occurs when the camera is mounted on one side of the screen.

Чтобы обеспечить необходимую точность преобразования изображений, система может быть откалибрована с использованием дискретных указателей, и в способе может осуществляться интерполяция и экстраполяция для обеспечения точного преобразования в различных положениях пользователя от экрана. В соответствии с одним из вариантов проекционные искажения изображений могут быть вычислены в соответствии с отслеживаемым положением пользователя и местонахождением камеры. В соответствии с другим вариантом величину искажения изображения измеряют перед экраном, и эту величину используют вместо непосредственного вычисления проекции.To provide the necessary image conversion accuracy, the system can be calibrated using discrete pointers, and the method can interpolate and extrapolate to provide accurate conversion at various user positions from the screen. According to one embodiment, the projection distortions of the images may be calculated according to the tracked position of the user and the location of the camera. According to another embodiment, the amount of image distortion is measured in front of the screen, and this amount is used instead of directly calculating the projection.

Предлагаемый способ оптимизируется для обеспечения минимально возможной задержки за счет использования предварительных вычислений для преобразования изображений в зависимости от расстояния до экрана, так что для измеренного расстояния алгоритм преобразования изображения будет уже заранее подготовлен. В соответствии с другим вариантом используется непосредственное вычисление без калибровки путем формирования преобразования для компенсации проекционных искажений в соответствии с вычисленной/измеренной точкой наблюдения пользователя.The proposed method is optimized to provide the lowest possible delay by using pre-calculations to transform images depending on the distance to the screen, so that for the measured distance, the image transformation algorithm will already be prepared in advance. In accordance with another option, direct calculation without calibration is used by generating a transformation to compensate for projection distortions in accordance with the calculated/measured user's viewpoint.

Ниже приводится общее описание модулей, которые совместно обеспечивают преобразование захваченного изображения в зеркальное отражение. Модуль получения видеоизображений осуществляет: захват видеоизображений, улучшение их качества, оптимизацию параметров работы камеры и управление камерой для получения наилучшего качества видеоизображений в условиях ограничений используемых аппаратных средств. Модуль геометрических измерений обеспечивает измерение или определение любой комбинации таких параметров, как расстояние от экрана до пользователя, рост пользователя, положение головы и глаз пользователя, а также осуществляет оценку трехмерного изображения тела пользователя и т.п. Модуль управления камерой задает параметры работы камеры для обеспечения необходимого качества изображений/видео и максимального разрешения. В случае нескольких камер оптимизация поля зрения для получения максимального разрешения будет осуществляться в соответствии с расстоянием пользователя от каждой из камер. The following is a general description of the modules that work together to convert a captured image to a mirror image. The video imaging module performs: capturing video images, improving their quality, optimizing camera parameters and controlling the camera to obtain the best video image quality under the limitations of the hardware used. The geometric measurement module measures or determines any combination of parameters such as the distance from the screen to the user, the height of the user, the position of the head and eyes of the user, and also evaluates the three-dimensional image of the user's body, etc. The camera control module sets the camera operation parameters to provide the required image/video quality and maximum resolution. In the case of multiple cameras, the field of view will be optimized for maximum resolution according to the user's distance from each camera.

Модуль геометрических преобразований выбирает видеокадр за видеокадром вместе с соответствующей информацией о геометрическом положении и ориентации пользователя, преобразует необработанные изображения в соответствии с их точным положением и заполняет незаполненные пиксели, если таковые имеются. Например, осуществляется геометрическое преобразование в соответствии с положением глаз таким образом, чтобы получать изображение, на котором пользователь смотрит в зеркало. То есть, способ обеспечивает соответствующее геометрическое преобразование входных видеоизображений для получения изображений, на которых пользователь смотрит себе в глаза. Такое преобразование полезно также и в других ситуациях. Например, когда проводится видеоконференция с использованием компьютеров, , поскольку камера расположена над монитором компьютера, то на получаемом изображении взгляд пользователя всегда будет направлен вниз, поскольку пользователь смотрит на экран монитора, а не в объектив камеры. Использование вышеуказанного геометрического преобразования в такой ситуации позволяет получить изображение пользователя, на котором он смотрит в камеру, хотя в действительности он смотрит на экран монитора. Это позволяет обеспечить более тесный визуальный контакт участников видеоконференции. Для видеоконференций выполняется геометрическая коррекция, аналогичная случаю с зеркалом, хотя инвертирование относительно вертикали (влево-вправо) здесь не требуется.The geometric transformation module selects the video frame by video frame along with the corresponding information about the user's geometric position and orientation, transforms the raw images according to their exact position, and fills in the unfilled pixels, if any. For example, a geometric transformation is performed according to the position of the eyes so as to obtain an image in which the user is looking into a mirror. That is, the method provides an appropriate geometric transformation of the input video images to obtain images in which the user makes eye contact. This conversion is also useful in other situations. For example, when videoconferencing using computers, because the camera is located above the computer monitor, the user's gaze will always be directed downward in the resulting image, since the user is looking at the monitor screen, and not at the camera lens. Using the above geometric transformation in such a situation allows you to get an image of the user in which he is looking at the camera, although in reality he is looking at the monitor screen. This allows you to provide closer visual contact of the participants in the video conference. For video conferencing, geometric correction is performed similar to the case with a mirror, although inverting with respect to the vertical (left-right) is not required here.

Модуль преобразования изображений может быть реализован в соответствии с разными вариантами. В одном из вариантов используется масштабирование, при котором для получения размера изображения, которое пользователь должен видеть в зеркале, размеры захваченного изображения изменяются пропорционально расстоянию до пользователя. В соответствии с другим вариантом используется проекция изображения и масштабирование, причем в соответствии с расстоянием до пользователя, смещением в пространстве и местонахождением глаз для разных расстояний и смещений, вычисляется или измеряется проекционная ошибка между глазами пользователя и местонахождением камеры. Для коррекции оптических искажений может осуществляться дополнительное преобразование.The image conversion module may be implemented according to various embodiments. In one embodiment, scaling is used, in which to obtain the size of the image that the user should see in the mirror, the dimensions of the captured image are changed in proportion to the distance from the user. According to another embodiment, image projection and scaling are used, and in accordance with the distance to the user, the displacement in space and the location of the eyes for different distances and displacements, the projection error between the user's eyes and the location of the camera is calculated or measured. Additional conversion may be performed to correct optical distortion.

Еще в одном варианте используется способ совмещения, который, как выяснилось, обеспечивает довольно точные результаты. В соответствии с этим способом преобразование рассчитывается заранее в соответствии с методикой совмещения изображений по изображению пользователя, стоящего перед камерой и смотрящего в объектив. Эталонное изображение может быть сформировано из одной из нескольких камер. Например, эталонную камеру размещают на такой высоте и на таком расстоянии, на которых минимизируется большая часть оптических искажений, например, на уровне глаз и на расстоянии 2 - 3 м от пользователя. Совмещение изображений обеспечивает наилучшие результаты преобразования в части положения глаз и всего тела пользователя на основе множества указателей. В одном из примеров, множество указателей, например, белых точек, на эталонном объекте, например, на человеке или на манекене, будет формировать двухмерную сетку на его теле. Например, на ноги, на грудь, на плечи, на глаза и т.п. могут быть установлены кольцевые наклейки. Для повышения точности эту калибровку можно повторить для разных местонахождений и поз пользователя перед экраном для учета, например, разных боковых смещений, разных высот, разных расстояний и т.п. Для каждого местонахождения создается наилучший алгоритм преобразования с учетом различных искажений (проекционных, бочкообразных, "рыбий глаз", любых их сочетаний, и т.п.), которые могут быть скорректированы с использованием различных приемов совмещения (например, проецирование, аффинное преобразование, преобразование подобия, полиномиальное преобразование, их сочетания и т.п.). In yet another embodiment, a superposition method is used, which has been found to provide fairly accurate results. According to this method, the transformation is calculated in advance according to the image alignment technique of the image of the user standing in front of the camera and looking into the lens. The reference image may be generated from one of several cameras. For example, the reference camera is placed at a height and distance that minimizes most optical distortion, such as at eye level and 2 to 3 meters away from the user. Image alignment provides the best conversion results in terms of the position of the eyes and the whole body of the user, based on multiple pointers. In one example, a plurality of pointers, such as white dots, on a reference object, such as a person or a mannequin, will form a two-dimensional mesh on his body. For example, on the legs, on the chest, on the shoulders, on the eyes, etc. ring stickers can be installed. To improve accuracy, this calibration can be repeated for different locations and user positions in front of the screen to account for, for example, different lateral offsets, different heights, different distances, and so on. For each location, the best transformation algorithm is created, taking into account various distortions (projection, barrel, fisheye, any combination of them, etc.), which can be corrected using various registration techniques (for example, projection, affine transformation, transformation similarity, polynomial transformation, their combinations, etc.).

Вышеописанные варианты могут быть осуществлены вместе с нижеуказанным дополнительным улучшением. Так, может использоваться соединение изображений, полученных из нескольких камер, для повышения качества и разрешения, для минимизации искажений, создаваемых одной камерой, или для расширения поля зрения. Элемент соединения изображений представляет собой полное соединение в соответствии с геометрическим положением пользователя. Для каждой камеры используется свое собственное корректирующее преобразование, поскольку смещение, относительно виртуального местонахождения глаза будет разным. Несколько камер также могут использоваться для формирования трехмерного изображения, чтобы улучшить восприятие изображения пользователем.The above options can be implemented together with the following additional improvement. For example, a combination of images from multiple cameras can be used to improve quality and resolution, to minimize distortion created by a single camera, or to expand the field of view. The image connection element is a complete connection according to the geometric position of the user. Each camera uses its own corrective transformation, since the offset relative to the virtual location of the eye will be different. Multiple cameras can also be used to form a 3D image to enhance the user experience.

Также может формироваться трехмерное изображение в ИК-лучах. Такое изображение может использоваться для формирования точной виртуальной модели пользователя, которая может затем использоваться интерфейсом прикладных программ для виртуальных примерок и формирования дополненной реальности. Используя возможности технологии дополненной реальности, можно изменять фон, вводить объекты, выполнять виртуальные примерки различных предметов одежды и т.д. Это может использоваться также для анализа поведения человеческого тела и связывания его с приложениями дополненной реальности, приложениями виртуальных примерок одежды, игровыми приложениями, приложениями видеоконференций и т.д.A 3D IR image can also be formed. Such an image can be used to form an accurate virtual model of the user, which can then be used by the application programming interface for virtual fittings and augmented reality generation. Using the capabilities of augmented reality technology, you can change the background, introduce objects, perform virtual fittings on various items of clothing, etc. It can also be used to analyze the behavior of the human body and link it to augmented reality applications, virtual fitting applications, gaming applications, video conferencing applications, etc.

Поскольку в системе осуществляется запись изображений (фотографий или видеоизображений), то может выполняться различный анализ этих изображений. Например, анализ видеоизображений может использоваться для накопления информации о покупателе или о работе магазина, например, как часто пользователь улыбается, удовлетворен ли он, примерный возраст, пол, этническая группа и т.п. В систему анализа поведения покупателей могут подаваться различные данные, и эта система может содействовать активному внедрению электронной торговли в повседневную жизнь, или же она может использоваться как один из компонентов любого другого приложения. Например, такая система может анализировать перечни изделий, примеряемых пользователями, и связывать их с товарными запасами магазина, трехмерной печатью и сайтом электронной торговли, стилистом электронного магазина, социальной сетью и т.п.Since the system records images (photos or videos), various analyzes of these images can be performed. For example, video analysis can be used to collect information about a shopper or a store, such as how often a user smiles, whether they are satisfied, approximate age, gender, ethnic group, and the like. A shopper behavior analysis system can be fed a variety of data and can be used to actively integrate e-commerce into everyday life, or it can be used as a component of any other application. For example, such a system may analyze lists of products tried on by users and link them to store inventory, 3D printing and e-commerce site, e-shop stylist, social network, and the like.

На фигуре 9 приведена блок-схема варианта системы по настоящему изобретению, в которой выполняется преобразование для получения изображения, имитирующего отражение в зеркале. Различные модули системы, блок-схема которой приведена на фигуре 9, могут быть запрограммированы на универсальном компьютере, реализованы на процессорах DSP, CPU, GPU, на процессоре цифровых сигналов или специализированной ИС камеры, на процессоре цифровых сигналов или специализированной ИС экрана, на автономном вычислительном устройстве, на вентильной матрице, программируемой пользователем, на специализированной ИС, а также для этого может использоваться техника параллельных вычислений с использованием "облачных" технологий и т.п.Figure 9 is a block diagram of an embodiment of the system of the present invention in which transformation is performed to obtain an image simulating a reflection in a mirror. The various modules of the system shown in a block diagram in Figure 9 may be programmed on a general purpose computer, implemented on DSPs, CPUs, GPUs, digital signal processors or dedicated camera ICs, digital signal processors or display special ICs, standalone computing device, on a user-programmable gate array, on a specialized IC, and the technique of parallel computing using "cloud" technologies, etc. can also be used for this.

Блок 930 представляет одну или несколько камер 1:n, из которых в модуль 932 захвата изображений передается поток изображений. Блок 930 может содержать фото- и/или видео-камеры, ИК-камеру, устройства для получения двухмерных и/или трехмерных изображений. В состав блока 930 может также входить электроакустический или электронный дальномер. Block 930 represents one or more 1:n cameras from which an image stream is transmitted to the image capturing module 932. Block 930 may contain photo and/or video cameras, an IR camera, devices for obtaining two-dimensional and/or three-dimensional images. Block 930 may also include an electro-acoustic or electronic range finder.

Модуль 932 захвата изображений получает поток изображений из блока 930 и может осуществлять фильтрацию для повышения их качества. Кроме того, может осуществляться обрезание или изменение размеров изображений для их оптимизации. Если используется несколько камер, то модуль 932 осуществляет соединение ("сшивание") изображений для повышения их качества или для расширения эффективного поля зрения.An image capturing module 932 receives the image stream from block 930 and may perform filtering to improve their quality. In addition, images can be cropped or resized to optimize them. If multiple cameras are used, the module 932 performs the joining ("stitching") of the images to improve their quality or to expand the effective field of view.

Модуль 960 запускающих событий представляет собой параллельный процесс который может получать входную информацию непосредственно с выхода модуля 932 захвата изображений, хотя он может также получать изображения после модуля 934 преобразования в соответствии с положением глаз. Входная информация может быть оптимизирована по размеру, полосе пропускания и скорости для осуществления необходимых функциональных возможностей. Ниже указаны примеры элементов, которые могут содержаться в модуле 960 запускающих событий. Определение того, что пользователь находится перед камерой 930, например, на основе исчезновения части фона, изменений в заданной зоне, распознавания образов и т.п. Измерение расстояние до пользователя, например, по корреляции между стереокамерами, ИК-камерой трехмерных изображений и т.п. В соответствии с другим вариантом расстояние до пользователя определяется с использованием измерений одной из камер на основе некоторых геометрических допущений, например, пользователь стоит перед зеркалом на полу, так что расстояние, высоту или теоретическую точку наблюдения пользователя в зеркале можно определить по местонахождению его туфель и по особенному боковому смещению относительно зеркала.The trigger module 960 is a parallel process that can receive input information directly from the output of the image capture module 932, although it can also receive images after the transform module 934 according to the position of the eyes. The input information can be optimized in size, bandwidth and speed to implement the desired functionality. Below are examples of elements that may be contained in the module 960 triggering events. Determining that the user is in front of the camera 930, for example, based on the disappearance of a part of the background, changes in a predetermined area, pattern recognition, and the like. Measuring the distance to the user, for example, by correlation between stereo cameras, 3D IR camera, etc. In another embodiment, the distance to the user is determined using measurements from one of the cameras based on some geometric assumptions, for example, the user is standing in front of a mirror on the floor, so that the user's distance, height or theoretical point of view in the mirror can be determined from the location of his shoes and from special lateral displacement relative to the mirror.

Для облегчения идентификации пользователя может использоваться модуль распознавания лица. В процессе работы системы после регистрации она должна сохранять информацию по каждому пользователю, и если пользователь распознается системой, она может вызвать его данные, сделать их обновления, предложить товары и т.п. В случае распознавания лица пользователю нет необходимости в идентификации для входа в систему, в результате его экономится время и упрощается работа с системой. Распознавание лица может быть запускающим событием для автоматической записи внешнего вида. В некоторых вариантах длина записи каждого сеанса задается заранее и может начинаться сразу же после успешного распознавания лица. В других вариантах для запуска может использоваться техника дистанционного управления, такая как, например, функция, имеющаяся в мобильных приложениях или в специализированных планшетных/мобильных или иных устройствах дистанционного управления.A face recognition module can be used to facilitate user identification. During the operation of the system after registration, it must store information for each user, and if the user is recognized by the system, it can call up his data, make updates to them, offer products, etc. In the case of face recognition, the user does not need identification to enter the system, as a result, he saves time and simplifies the work with the system. Face recognition can be a trigger event for automatic appearance recording. In some embodiments, the length of the recording of each session is predetermined and may begin immediately after successful face recognition. In other embodiments, triggering may use a remote control technique such as, for example, a feature found in mobile applications or dedicated tablet/mobile or other remote control devices.

Другие элементы, которые могут содержаться в модуле 960 запускающих событий, включают программы анализа видеоизображений (для формирования эффективной обратной связи, например, для оценки возраста, пола, настроения, других существенных характеристик и т.п.), распознавания примеряемых вещей (так что система может легко связывать примеряемые вещи с магазином, улучшать систему формирования ассортимента и электронной торговли путем выработки рекомендаций и убыстрения оценки и планирования ассортимента) и распознавания жестов (для органичного управления пользователем без необходимости использования устройства ввода информации).Other elements that may be contained in the triggering event module 960 include video analysis programs (for generating effective feedback, for example, to estimate age, gender, mood, other significant characteristics, etc.), try-on recognition (so that the system can easily link try-on items to the store, improve the stocking and e-commerce system by generating recommendations and speeding up the assessment and planning of the range) and gesture recognition (for seamless user control without the need for an input device).

Модуль 934 преобразования в соответствии с положением глаз осуществляет преобразование изображения перед его отображением на экране 940. На вход модул,яь 934 поступают изображения из модуля 932 захвата изображений, и, кроме того, он может получать вычисленное расстояние, или расстояние и высоту или фактическую точку наблюдения пользователя. Модуль 934 преобразования в соответствии с положением глаз рассчитывает необходимое преобразование. Такое преобразование может быть рассчитано непосредственно по разности углов проекции между камерой и теоретической точкой наблюдения пользователя, например, для получения необходимого масштаба изображения и его положения. В другом варианте может использоваться способ точного соответствия, в котором для получения очень точного преобразования между камерой и вычисленной точкой наблюдения в дискретных положениях пользователя перед зеркалом может использоваться заводской процесс калибровки. Дополнительно могут также использоваться базовые изображения и преобразование, которые создаются по одному или нескольким параметрам, например, по расстоянию, высоте, позе, измерениям, сделанным на заводе, или в режиме реального времени, когда пользователь стоит перед экраном.The conversion module 934 according to the position of the eyes converts the image before displaying it on the screen 940. The module 934 receives images from the image capture module 932, and in addition, it can receive the calculated distance, or the distance and height, or the actual point user observations. The transformation module 934 calculates the necessary transformation according to the position of the eyes. Such a transformation can be calculated directly from the difference in projection angles between the camera and the user's theoretical point of view, for example, to obtain the required image scale and position. Alternatively, an exact match method may be used in which a factory calibration process may be used to obtain a very accurate conversion between the camera and the computed viewpoint at discrete user positions in front of the mirror. Optionally, base images and transformations can also be used, which are generated from one or more parameters, such as distance, height, pose, measurements made at the factory, or in real time when the user is standing in front of the screen.

В соответствии с расстоянием до пользователя или с сочетанием расстояния и точки наблюдения глаз модуль 934 преобразования в соответствии с положением глаз осуществляет интерполяцию преобразования для любого положения пользователя перед камерой. Поскольку расстояние разных частей тела пользователя до камеры неодинаково, то возникают искажения проекции, при которых более близкие части, например, голова, отображаются с увеличенным разрешением (больше пикселей), чем другие части тела, например, ноги. Соответственно, изображение пользователя будет с укороченными ногами и с вытянутой головой, то есть, более близкие части тела будут видны увеличенными, а более дальние части будут казаться уменьшенными. Это преобразование нелинейно, то есть каждый пиксель представляет разную длину и ширину (dx, dy), так что заполнение пикселями или их исключение должно осуществляться с учетом масштабов по осям координат. В качестве способа заполнения может использоваться любая интерполяция (линейная, кубическая, полиномиальная и т.п.) или используется более сложное заполнение с использованием проекций разных камер. Например, камеры сверху и снизу экрана могут дополнять и позволяют лучше определять заполняющие пиксели или корректировать ориентацию глаз. Дополнительный вариант представляет собой использование специальных линз/призм, которые обеспечивают коррекцию большей части проекционных искажений и будут улучшать разрешение. Некоторые проблемы, связанные с изменением размеров, которые влияют на качество, также могут быть скомпенсированы оптически с помощью механического зума.According to the distance to the user, or a combination of distance and eye viewpoint, the eye position transform module 934 interpolates the transform for any position of the user in front of the camera. Since the distance of different parts of the user's body from the camera is not the same, projection distortion occurs, in which closer parts, such as the head, are displayed with increased resolution (more pixels) than other parts of the body, such as legs. Accordingly, the image of the user will be with shortened legs and with an elongated head, that is, closer parts of the body will be seen enlarged, and more distant parts will appear reduced. This transformation is non-linear, that is, each pixel represents a different length and width (dx, dy), so pixel filling or exclusion must be scaled along the coordinate axes. Any interpolation (linear, cubic, polynomial, etc.) can be used as a filling method, or a more complex filling using projections of different cameras can be used. For example, cameras at the top and bottom of the screen can complement and allow better detection of fill pixels or correction of eye orientation. An additional option is to use special lenses/prisms that correct most of the projection distortion and will improve resolution. Some resizing issues that affect quality can also be compensated for optically with a mechanical zoom.

В состав системы дополнительно может быть включен модуль 936 виртуальной примерки/дополненной реальности. Входная информация поступает в модуль 936 из модуля 934 преобразования в соответствии с положением глаз (модуль EyesMatch) или из модуля 938 записи. Модуль 934 преобразования в соответствии с положением глаз осуществляет преобразование изображения, которое будет описано ниже. Модуль 934 преобразования в соответствии с положением глаз может использоваться в различных приложениях, а не только для получения зеркального отражения, например, для видеокамер, для видеоконференций и т.п. Модуль 936 может получать дополнительную входную информацию из центрального процессора, который поддерживает активную связь с базой данных наличного ассортимента, трехмерной печатью, базой данных электронной торговли и т.п. Используя входные данные, модуль 936 может воспроизводить цифровые изображения для слияния с преобразованным изображением. Например, модуль 936 может использоваться для изменения цвета примеряемой вещи в соответствии с имеющимся ассортиментом и выбором пользователя. Следует иметь в виду, что воспроизведение модуля 936 отличается от обычной виртуальной примерки, и что модуль 936 осуществляет воспроизведение на предмете одежды, который отображен надетым на пользователя. Таким образом, воспроизведение вещи в другом цвете не меняет физического внешнего вида вещи, которая надета на пользователе, а только лишь цвет. Соответственно, пользователь может ощущать на себе реальную вещь, видеть, как она действительно выглядит и подходит ли она ему, видеть ее реальные складки и т.п. Модуль 936 может также использоваться для добавления аксессуаров к реальному изображению пользователя или добавлять к системе возможность виртуальной примерки. Аналогично, модуль 936 может использоваться для дополнения фона, для изменения или создания другой среды, соответствующей примеряемой вещи, например, картины пляжа при примерке купального костюма, обстановки ночного клуба для вечернего платья и т.п.The system may additionally include a virtual fitting/augmented reality module 936. The input information enters the module 936 from the module 934 of the transformation in accordance with the position of the eyes (module EyesMatch) or from the module 938 recording. The conversion unit 934 performs image conversion according to the position of the eyes, which will be described later. The eye position conversion unit 934 can be used in a variety of applications other than mirroring, such as video cameras, video conferencing, and the like. Module 936 may receive additional input from a host that is in active communication with a stock database, 3D printing, e-commerce database, and the like. Using the input data, module 936 can render digital images to be merged with the transformed image. For example, module 936 can be used to change the color of the item being tried on according to the available assortment and the user's choice. It should be appreciated that the playback of module 936 is different from a normal virtual fitting, and that module 936 performs playback on an article of clothing that is displayed worn by the user. Thus, reproducing an item in a different color does not change the physical appearance of the item worn by the user, but only the color. Accordingly, the user can feel the real thing on himself, see how it really looks and whether it suits him, see its real folds, etc. The 936 module can also be used to add accessories to the user's real image or add virtual fitting capability to the system. Likewise, module 936 can be used to complement the background, to change or create a different environment to match the item being tried on, such as a picture of a beach for a swimsuit try-on, a nightclub setting for an evening dress, and the like.

Модуль 938 записи видео- или фото-изображений принимает их непосредственно из модуля 932 захвата изображений, из модуля 934 преобразования в соответствии с положением глаз или из модуля 936 виртуальной примерки и дополненной реальности. Кроме того, он получает управляющие сообщения из модуля 962 управления, который указывает, когда начать/закончить запись, какую информацию сохранять по каждому пользователю, и по каким видео- или фото-изображениям осуществлять последующие преобразования/дополнения, виртуальные примерки, улучшения качества и т.п. Способ, который может также использоваться для записи без загрузки системных ресурсов, может включать также возможности кодирования/декодирования на видеокартах. Module 938 recording video or photo images receives them directly from the module 932 capture images, from the module 934 transformation in accordance with the position of the eyes or from the module 936 virtual fitting and augmented reality. In addition, it receives control messages from the control module 962, which indicates when to start/stop recording, what information to store for each user, and what video or photo images to perform subsequent transformations/additions, virtual fittings, quality enhancements, etc. .P. The method, which can also be used for recording without loading system resources, can also include encoding / decoding capabilities on video cards.

В дополнение к необходимости иметь локальную копию видео-/фото-изображений на "зеркале" (станция) изображения должны автоматически дублироваться на "облаке" и могут быть автоматически закодированы до любого необходимого размера.In addition to the need to have a local copy of the video/photo images on the "mirror" (station), the images must be automatically duplicated on the "cloud" and can be automatically encoded to any desired size.

Процесс записи может также изменять скорость кадров, сжатие, формат, удалять части изображения, а также изменять видеоэффекты и цветовые эффекты.The recording process can also change the frame rate, compression, format, remove parts of the image, and change video effects and color effects.

Кроме записи система дополнительно может обеспечивать поток видеоинформации в режиме реального времени из памяти "зеркала". Например, система способна передавать видеопоток в сети в режиме реального времени с любого "зеркала", то есть, на любом устройстве можно будет просматривать это видео, включая передачу видеопотока с одного "зеркала" на другое. In addition to recording, the system can additionally provide a stream of video information in real time from the "mirror" memory. For example, the system is capable of transmitting a video stream on the network in real time from any "mirror", that is, it will be possible to view this video on any device, including the transfer of a video stream from one "mirror" to another.

Модуль 962 управления осуществляет управление работой всех других модулей. Модуль 962 управления конфигурирует все аппаратные и программные компоненты системы, включая камеры 930, экран 940, процессор цифровых сигналов и др. Модуль 962 управления содержит интерфейс, обеспечивающий связь между локальной станцией и системой 950 электронной торговли, построенной на "облачной" технологии, другими веб-приложениями 952, приложениями 954 смартфонов и т.п. Информация, которая будет записываться в модуле 938, может быть доставлена пользователю немедленно с использованием радиосигналов, ИК-сигналов или по проводам, или же может быть передана с разрешения пользователя в "облачное" приложение, такое как Facebook, Google или другие, или на сервер компании, который может быть связан с приложением электронной торговли. The control module 962 controls the operation of all other modules. The control module 962 configures all hardware and software components of the system, including cameras 930, screen 940, digital signal processor, and others. -applications 952, smartphone applications 954, and the like. The information to be recorded in module 938 can be delivered to the user immediately using radio signals, IR signals or by wire, or can be transmitted with the user's permission to a "cloud" application such as Facebook, Google or others, or to a server company that can be associated with the e-commerce application.

Модуль 964 заводской калибровки используется, когда преобразование опирается на преобразования реальных изображений. Геометрия конфигурации камера-экран может быть определена/измерена на заводе или же может быть измерена в месте установке, и смещения могут соответствовать условиям калибровки на заводе. Кроме того, коррекция может соответствовать высоте или углу установленного зеркала относительно пола. Ниже описан возможный процесс калибровки. На первой стадии создается эталонная информация, определяющая как изображение должно выглядеть в зеркале на разных дискретных расстояниях, при определенных ориентациях, разных точках отражения глаз (то есть, теоретических точках наблюдения). Такая эталонная информация может быть получена разными способами:The factory calibration module 964 is used when the transformation relies on real image transformations. The geometry of the camera-to-screen configuration may be determined/measured at the factory, or may be measured at the installation site, and the offsets may be factory calibrated. In addition, the correction can correspond to the height or angle of the installed mirror relative to the floor. A possible calibration process is described below. At the first stage, reference information is created that determines how the image should look in the mirror at different discrete distances, at certain orientations, at different points of reflection of the eyes (that is, theoretical observation points). This reference information can be obtained in different ways:

1. Как показано на фигуре 10А, камера 14 находится в предполагаемом месте расположения зеркала на высоте глаз пользователя или примерно на этой высоте. Пользователь или манекен с указателями (например, с приклеенными белыми метками 10) расположен на таком расстоянии от камеры, на котором исключается большая часть искажений камеры, когда пользователь смотрит в ее объектив. Масштаб изображения может быть подобран, и изображение может быть подрезано таким образом, чтобы оно было равно мнимому изображению в зеркале, или было немного меньше его. То есть, сформированное эталонное изображение должно соответствовать реальному размеру пользователя, которого можно будет видеть, если на место камеры поставить зеркало, или немного меньше, чтобы он вписывался в размер экрана (зависит от размера экрана).1. As shown in Figure 10A, the camera 14 is at the intended location of the mirror at or near the height of the user's eyes. The user or dummy with pointers (eg, with white marks 10 glued on) is positioned at a distance from the camera that eliminates most of the camera's distortion when the user looks into its lens. The image can be scaled and the image can be cropped so that it is equal to or slightly smaller than the virtual image in the mirror. That is, the generated reference image must correspond to the actual size of the user, which can be seen if a mirror is placed in place of the camera, or slightly smaller so that it fits into the screen size (depending on the screen size).

2. На фигуре 10В пользователь или манекен с указателями расположен перед обычным зеркалом 12. Камера расположена возле пользователя на уровне его глаз и захватывает отражение в зеркале. Эталонное изображение также может быть получено, если используется нескольких камер, которые в этом случае устанавливают по вертикали для исключения искажений. После этого изображения, полученные несколькими камерами, соединяют для получения одного однородного изображения с высоким разрешением и низкими искажениями. В этом варианте калибровки также могут использоваться очки Google. Пользователь, находясь перед зеркалом, с помощью этой камеры делает снимок самого себя. Поскольку поле зрения фиксировано, то единственное, что необходимо сделать, это изменить размер изображения для получения правильного размера.2. In Figure 10B, the user or pointer dummy is positioned in front of a conventional mirror 12. The camera is positioned near the user at eye level and captures the reflection in the mirror. The reference image can also be obtained if several cameras are used, which in this case are installed vertically to eliminate distortion. After that, the images taken by several cameras are combined to obtain one homogeneous image with high resolution and low distortion. Google glasses can also be used in this calibration option. The user, being in front of a mirror, uses this camera to take a picture of himself. Since the field of view is fixed, the only thing that needs to be done is to resize the image to get the correct size.

После получения эталонного изображения делают другое изображение, переместив камеру в ее штатное место, в котором она будет находиться во время работы, например, сверху экрана, и это второе изображение здесь будет указываться как реальное изображение. Затем осуществляют совмещение эталонного и реального изображений путем выравнивания указателей на реальном и эталонном изображениях. По результатам совмещения получают преобразование, которое наилучшим образом может откорректировать искажения изображения и извлечь ориентацию тела. Кроме того, в соответствии с фактической геометрией установки на месте в преобразование могут быть введены смещения или дополнительная коррекция. В соответствии с расстоянием пользователя от экрана и точкой наблюдения глаз может быть выполнена интерполяция преобразования в каждом положении пользователя перед камерой.After obtaining the reference image, another image is taken by moving the camera to its regular place where it will be during operation, for example, on top of the screen, and this second image will be indicated here as a real image. Then the reference and real images are combined by aligning the pointers on the real and reference images. Based on the results of the combination, a transformation is obtained that can best correct image distortions and extract the body orientation. In addition, offsets or additional corrections can be introduced into the transformation according to the actual installation geometry in the field. According to the distance of the user from the screen and the viewpoint of the eyes, the transformation can be interpolated at each position of the user in front of the camera.

На фигуре 11 приведена блок-схема, иллюстрирующая способ по одному из вариантов осуществления изобретения, который может быть использован в системах, рассмотренных в настоящем описании. Способ начинается на стадии 1100 с процедуры заводской калибровки, которая может быть выполнена с использованием, например, следующих стадий. Выбирают объект для калибровки, например, манекен, пользователя, щит и т.п. Затем на объекте устанавливают указатели, например, наклейки, показанные на фигуре 10А. После чего камеру устанавливают на ее штатное место, например, сверху экрана, , наклоняют вниз, как показано на фигуре 8, и настраивают ее на получение изображений на максимальной дальности. Делают фотографии объекта в разных положениях (разные расстояния, высоты, боковые смещения и т.п.). С другой стороны, для упрощения вполне достаточно снимков, сделанных на разных расстояниях вдоль центральной виртуальной линии перед экраном. Затем получают одно или несколько эталонных изображений с использованием, например, одного из способов, иллюстрируемых на фигурах 10А и 10В. В одном из вариантов камеру устанавливают на уровне глаз пользователя в месте нахождения экрана. Затем получают один или несколько снимков этого же объекта с использованием этих же прикрепленных указателей. Если делается лишь один снимок, он должен быть сделан на соответствующем расстоянии, на котором будут сведены к минимуму искажения камеры. Если делают несколько эталонных снимков, они должны быть сделаны на разных расстояниях, чтобы уловить небольшие изменения, происходящие при приближении пользователя к зеркалу. Однако следует отметить, что если используют несколько объектов и получают несколько эталонных изображений, то целесообразно получать их на одних и тех же расстояниях и в тех же положениях, чтобы сформировать более точные преобразования. Размеры эталонных изображений могут быть изменены для получения правильного размера на экране, то есть, размера изображения, которое было бы видно в зеркале, установленном в месте нахождения экрана. Figure 11 is a flowchart illustrating a method according to one embodiment of the invention, which can be used in the systems discussed in the present description. The method begins at 1100 with a factory calibration procedure, which may be performed using the following steps, for example. Select an object to be calibrated, such as a mannequin, a user, a shield, etc. Then pointers are installed on the object, for example, stickers shown in figure 10A. After that, the camera is installed in its regular place, for example, on top of the screen, tilted down, as shown in figure 8, and set up to receive images at the maximum range. They take photographs of the object in different positions (different distances, heights, lateral displacements, etc.). On the other hand, for simplification, pictures taken at different distances along the central virtual line in front of the screen are quite enough. One or more reference images are then obtained using, for example, one of the methods illustrated in Figures 10A and 10B. In one embodiment, the camera is mounted at the user's eye level at the location of the screen. Then one or more snapshots of the same object are obtained using the same attached pointers. If only one shot is taken, it should be taken at an appropriate distance that minimizes camera distortion. If multiple reference shots are taken, they should be taken at different distances to capture the small changes that occur as the user approaches the mirror. However, it should be noted that if several objects are used and several reference images are obtained, then it is advisable to obtain them at the same distances and in the same positions in order to form more accurate transformations. The dimensions of the reference images can be changed to obtain the correct size on the screen, that is, the size of the image that would be seen in a mirror placed at the location of the screen.

После того как будут получены изображения объекта и эталонные изображения, изображения объекта с искажениями, полученные с использованием наклоненной камеры, совмещают (сводят) с эталонными изображениями, используя указатели, для получения изображений объекта, как он будет выглядеть в зеркале, установленном в месте нахождения камеры. В результате этой операции будет получен оператор преобразования, например, набор указателей, каждый из которых имеет две координаты: одну – во входном изображении, и одну – в эталонном изображении. Различные преобразования могут быть протестированы на множестве изображений объектов и эталонных изображений. Например, различные функции искажений могут быть применены для получения наилучших результатов согласования изображений. Основными функциями являются: проекция, изменение размеров, перенос по осям XY (смещение) и отражение (замена местами левой и правой частей). Выбирают наилучшую комбинацию функций преобразования, и для каждой точки калибровки создают алгоритм преобразования. Это преобразование представляет собой заводскую калибровку, в соответствии с которой изображения пользователя, получаемые в режиме реального времени, будут преобразовываться в изображения, имитирующие отражение в зеркале. Следует отметить, что преобразование отображение может включать разные преобразования для каждого пикселя или для каждой части получаемого изображения для обеспечения наилучшего представления зеркального отражения. After the images of the object and the reference images are obtained, the images of the object with distortions obtained using the tilted camera are combined (combined) with the reference images using pointers to obtain images of the object as it will look in the mirror installed at the location of the camera . As a result of this operation, a transformation operator will be obtained, for example, a set of pointers, each of which has two coordinates: one in the input image, and one in the reference image. Various transformations can be tested on multiple object images and reference images. For example, various distortion functions can be applied to obtain the best image matching results. The main functions are: projection, resizing, translation along the XY axes (shift) and reflection (replacement of the left and right parts). The best combination of transformation functions is chosen, and a transformation algorithm is created for each calibration point. This conversion is a factory calibration that will convert the user's real-time images into images that mimic a reflection in a mirror. It should be noted that the mapping transformation may include different transformations for each pixel or for each part of the resulting image to provide the best representation of the specular reflection.

Как можно понять, стадия 1100 может быть выполнена на заводе, перед отгрузкой системы. С другой стороны, эта операция может быть также выполнена в месте в установки системы, особенно когда камера и экран являются отдельными элементами, так что возможны различные варианты их расположения относительно друг друга. В таких случаях может быть целесообразно поставлять систему с калибровочным объектом, например, манекеном (трехмерный объект) или щитом с калибровочными метками (двухмерный объект), так чтобы пользователь мог выполнить операцию калибровки на месте с использованием стандартного объекта. В этом случае система будет заранее запрограммирована на выполнение операции калибровки и формирования алгоритма преобразования на месте установки системы. As can be appreciated, step 1100 may be performed at the factory prior to shipment of the system. On the other hand, this operation can also be performed locally in the system installation, especially when the camera and the screen are separate elements, so that different arrangements are possible relative to each other. In such cases, it may be useful to ship the system with a calibration object, such as a manikin (3D object) or a shield with calibration marks (2D object), so that the user can perform an on-site calibration operation using a standard object. In this case, the system will be pre-programmed to perform the calibration operation and the formation of the conversion algorithm at the installation site of the system.

После установки системы на месте ее штатной работы выполняется стадия 1105, на которой получают реальные фото- или видео-изображения пользователя и вводят в систему, например, с помощью блока захвата изображения. Одновременно измеряют положение пользователя, так чтобы можно было определить его точку наблюдения. Эти измерения могут быть выполнены с использованием технологии ИК-измерений или с помощью датчиков, таких как, например, Kinect®, предлагаемых компанией Microsoft®. На стадии 1115 дополнительно (при необходимости) применяют масштабный коэффициент для согласования размера экрана и роста пользователя.After the system is installed at its place of normal operation, step 1105 is performed, in which real photo or video images of the user are obtained and entered into the system, for example, using an image capture unit. At the same time, the position of the user is measured so that his point of observation can be determined. These measurements can be made using IR measurement technology or with sensors such as the Kinect® available from Microsoft®. At 1115, a scaling factor is additionally (if necessary) applied to match the screen size to the user's height.

На стадии 1120 выбирают подходящий алгоритм преобразования или интерполируют преобразование, полученное на заводе в результате стандартной калибровки, для получения точной схемы преобразования для конкретного положения пользователя перед экраном. Затем алгоритм преобразования применяется модулем преобразования в соответствии с положением глаз к видеоизображению, получаемому в режиме реального времени. В настоящем описании термин "реальный" также относится к видеопотоку, который захватывается блоком захвата изображений и может находиться в буфере перед выдачей на экран монитора для отображения. Также, если это необходимо в связи с преобразованием, на стадии 1125 заполняют необходимые пиксели с использованием техники интерполяции. На стадии 1130 изображение из буфера передается для отображения на экране. Следует понимать, что благодаря высокоскоростным процессорам, имеющимся на рынке, стадии 1105 – 1130, могут быть выполнены в режиме реального времени, так что пользователь не будет ощущать никаких задержек в выводе изображений на экран. At step 1120, an appropriate transformation algorithm is selected or the transformation obtained at the factory as a result of standard calibration is interpolated to obtain an accurate transformation scheme for a particular user's position in front of the screen. Then, the conversion algorithm is applied by the conversion module according to the position of the eyes to the video image received in real time. In the present description, the term "real" also refers to the video stream that is captured by the image capture unit and may be buffered before being displayed on the monitor screen for display. Also, if it is necessary in connection with the transformation, at step 1125, the necessary pixels are filled using an interpolation technique. At step 1130, the image from the buffer is transmitted for display on the screen. It should be understood that due to the high speed processors available on the market, steps 1105 - 1130 can be performed in real time, so that the user will not experience any delay in displaying images on the screen.

Модуль преобразования изображений в соответствии с положением глаз может использоваться для обеспечения более естественной среды, которая более соответствует повседневному образу жизни. Например, при совершении видеозвонка с помощью ПК, например, с использованием программы Skype®, поскольку камера обычно расположена над монитором, абонент часто кажется смотрящим в сторону от камеры, поскольку он в действительности смотрит на экран монитора. Это придает неестественность разговору, поскольку говорящие при этом не смотрят друг на друга. В таком применении может использоваться модуль преобразования в соответствии с положением глаз, так что на изображении, выводимом на экран, кажется, что говорящий смотрит прямо в камеру, хотя в действительности он смотрит на экран. Это преобразование может быть выполнено либо на компьютере вызывающего, либо на компьютере вызываемого абонента. Например, у пользователя, использующего программу Skype®, на компьютере может быть установлен модуль преобразования в соответствии с положением глаз пользователя, так что всякий раз, когда активируется видеокамера для проведения видеоконференции, модуль EyesMatch перехватывает видеопоток, идущий от видеокамеры, и применяет к нему преобразование перед передачей этого видеопотока другому пользователю через программу Skype. Когда другой пользователь получает видеопоток, он уже преобразован, так что другой пользователь видит изображение, на котором первый пользователь смотрит в объектив видеокамеры. То же самое может быть осуществлено в любой стандартной системе видеоконференции, такой как WebEx, Polycom и т.п.The eye position image conversion module can be used to provide a more natural environment that is more in line with daily life. For example, when making a video call using a PC, such as using Skype®, because the camera is usually located above the monitor, the caller often appears to be looking away from the camera because they are actually looking at the monitor screen. This makes the conversation seem unnatural because the speakers do not look at each other. In such an application, an eye-position conversion module can be used so that the speaker appears to be looking directly at the camera in the image displayed on the screen, when in fact he is looking at the screen. This conversion can be performed either on the caller's computer or on the called party's computer. For example, a user using Skype® may have a conversion module installed on their computer according to the position of the user's eyes, so that whenever the video camera is activated for a video conference, the EyesMatch module intercepts the video stream coming from the video camera and applies the transformation to it. before transferring this video stream to another user through Skype. When another user receives the video stream, it has already been converted so that the other user sees the image in which the first user is looking into the camera lens. The same can be done on any standard video conferencing system such as WebEx, Polycom, etc.

На фигуре 12 приведена блок-схема, на которой иллюстрируются модули и процессы, используемые для выполнения калибровки и преобразования изображения по одному из вариантов осуществления изобретения. Блок 1230 представляет модуль получения изображений, который может содержать одну или несколько фото- или видео-камер, ИК-камеру или датчик измерения расстояния, блок получения трехмерных изображений и т.п. Модуль 1232 осуществляет управление настройками для оптимизации работы камер, например, для получения соответствующего поля зрения, съемки нужной зоны перед экраном, установки фокусного расстояния и/или разрешения и т.п. Блок 1260 представляет собой модуль запускающих событий, который может использоваться для определения присутствия пользователя перед экраном и запуска процесса захвата и преобразования изображений. В остальное время система может находиться в дежурном режиме, в котором на экране отображается только фон, пока не будет обнаружен пользователь. Figure 12 is a block diagram illustrating the modules and processes used to perform image calibration and transformation according to one embodiment of the invention. Block 1230 represents an imaging module, which may include one or more still or video cameras, an IR camera or distance measurement sensor, a 3D imaging module, and the like. Module 1232 manages settings to optimize camera performance, such as obtaining an appropriate field of view, capturing the desired area in front of the screen, setting the focal length and/or resolution, and so on. Block 1260 is a trigger event module that can be used to detect the user's presence in front of the screen and start the image capture and conversion process. The rest of the time, the system can be in standby mode, in which only the background is displayed on the screen until the user is detected.

Скобка 1360 охватывает стадии операции калибровки, которые будут описаны здесь для системы, сконфигурированной для калибровки на месте, причем камера 1230 расположена над экраном 1240 дисплея, как это указано на фигуре 1. Калибровка 1260 может быть выполнена на заводе перед отгрузкой системы или на месте после ее установки. На стадии 1261 устанавливают объект с указателями, и на стадии 1262 получают один набор эталонных изображений (например, с помощью камеры, установленной на одном уровне с глазами пользователя и направленной по горизонтали), а также набор входных изображений (например, с помощью камеры, установленной на ее штатном месте, над экраном, и наклоненной вниз). На стадии 1263 указатели на каждом входном изображении сравниваются с соответствующими указателями на соответствующих эталонных изображениях. Таким образом, генерируются векторы преобразования. В зависимости от качества видимого зеркального изображения на стадии 1264 дополнительно осуществляется точная настройка векторов, соответствующих зонам вокруг глаз пользователя. Bracket 1360 encompasses the steps in the calibration operation that will be described here for a system configured for on-site calibration, with camera 1230 positioned above display screen 1240 as indicated in Figure 1. Calibration 1260 may be performed at the factory prior to system shipment or on-site after its installation. At step 1261, an object with pointers is set up, and at step 1262, one set of reference images is obtained (for example, using a camera installed at the same level with the user's eyes and directed horizontally), as well as a set of input images (for example, using a camera installed in its regular place, above the screen, and tilted down). At 1263, the pointers on each input image are compared with the corresponding pointers on the respective reference images. Thus, transformation vectors are generated. Depending on the quality of the visible mirror image, step 1264 additionally fine-tunes the vectors corresponding to the areas around the user's eyes.

Используя сравнение указателей на входных изображениях и эталонных изображениях, на стадии 1265 могут быть определены и заданы параметры преобразования, которые дают наилучшее совмещение изображений. Ниже указаны параметры, которые могут использоваться для преобразования. Очень эффективным параметром является преобразование наклона. Преобразование наклона корректирует искажения изображения, вызванные наклоном камеры вниз. Преобразование наклона изменяет входное изображение, сделанное камерой, наклоненной вниз, преобразуя его таким образом, что кажется, будто камера "смотрит" горизонтально (видеосистема может также корректировать ошибку по азимуту). Другим параметром преобразования является преобразование высоты. Преобразование для пространственного регулирования высоты линейно изменяет смещение, которое дает камера, установленная снаружи экрана, например, выше экрана, и это преобразование позволяет получить изображение, которое было бы получено камерой, установленной в месте нахождения экрана на уровне глаз пользователя. Для коррекции рассогласования между камерой и центром экрана может также применяться горизонтальный сдвиг. Другим важным преобразованием для воспроизведения зеркального изображения является масштабирование. Как уже указывалось, в отражении в обычном зеркале пользователь видит очень малые изменения размеров своего тела по мере приближения к зеркалу. И напротив, на изображении, получаемом камерой, размеры существенно изменяются при изменении расстояния от камеры. Преобразование масштаба снижает эффект изменения размера в зависимости от расстояния до экрана, так что пользователь будет видеть на экране свое изображение почти постоянного размера независимо от расстояния от экрана. В зависимости от положения и поля зрения камеры может также потребоваться сдвиг изображения по осям X-Y.Using a comparison of the pointers on the input images and the reference images, at step 1265, the transformation parameters that give the best image registration can be determined and set. Below are the options that can be used for the conversion. A very effective parameter is the slope transformation. Tilt conversion corrects image distortion caused by tilting the camera down. Tilt transformation modifies the input image taken by the camera tilted down, transforming it so that it appears that the camera is "looking" horizontally (the video system can also correct for azimuth error). The other transformation option is the height transformation. The Spatial Height Transformation linearly changes the offset given by a camera mounted outside the screen, eg above the screen, and this transform produces an image that would be captured by a camera mounted at the user's eye level on the screen. A horizontal shift can also be applied to correct misalignment between the camera and the center of the screen. Another important transformation for mirror image reproduction is scaling. As already mentioned, in a reflection in a conventional mirror, the user sees very small changes in the size of his body as he approaches the mirror. Conversely, in an image captured by a camera, the dimensions change significantly as the distance from the camera changes. Scale transformation reduces the effect of resizing with distance from the screen so that the user will see their image on the screen at a nearly constant size regardless of distance from the screen. Depending on the position and field of view of the camera, it may also be necessary to shift the image along the X-Y axes.

Практическая реализация изобретения показала, что осуществления наклона, регулирования высоты и масштабирования обеспечивает довольно убедительное изображение, которое только нужно отразить относительно вертикали (поменять правую и левую стороны), для эффективной имитации отражения в зеркале. Дальнейшие улучшения изображения связаны с преобразованиями, позволяющими откорректировать бочкообразные искажения и искажения "рыбий глаз". Можно также дополнительно усилить глубину восприятия отображаемого изображения путем добавления света и теней, либо искусственно изменяя регулируемым образом интенсивность и/или оттенок пикселей изображения, или путем регулирования элементов освещения, таких как светодиоды, расположенные по сторонам экрана или пользователя. Кроме того, может быть создан эффект трехмерного изображения либо с помощью специальных очков, либо используя технологию формирования трехмерных изображений без использования очков. Во втором случае в каждый глаз проецируются разные наборы изображений. Поскольку в вышеописанных вариантах расстояние до пользователя и положение глаз пользователя измеряются или определяются, это облегчает задачу представления пользователю трехмерных изображений путем проецирования различных наборов изображений в разные глаза.The practical implementation of the invention has shown that the implementation of tilt, height adjustment and zoom provides a fairly convincing image, which only needs to be reflected relative to the vertical (change the right and left sides), to effectively simulate the reflection in the mirror. Further image enhancements are associated with transformations to correct barrel and fisheye distortion. It is also possible to further enhance the depth of perception of the displayed image by adding lights and shadows, or artificially changing the intensity and/or hue of image pixels in a controlled manner, or by adjusting lighting elements such as LEDs located on the sides of the screen or user. In addition, a three-dimensional image effect can be created either by using special glasses or by using glasses-free three-dimensional imaging technology. In the second case, different sets of images are projected into each eye. Since the distance to the user and the position of the user's eyes are measured or determined in the embodiments described above, it facilitates the task of presenting three-dimensional images to the user by projecting different sets of images into different eyes.

На стадии 1266 формируется и записывается для хранения алгоритм преобразования. Этот алгоритм преобразования будет использоваться на стадии 1234 для преобразования видеопотока, поступающего из модуля 1230 получения изображений в режиме реального времени, с использованием расчетного расстояния до пользователя. В зависимости от действия алгоритма преобразования может понадобиться использовать заполняющие пиксели. Например, когда камера расположена наверху экрана и наклонена вниз, необходимо применять преобразования наклона и высоты, в результате чего будет получено изображение, качество которого может быть улучшено за счет использования заполняющих пикселей. Заполнение изображения пикселями может осуществляться на стадии 1237, и полученное изображение на стадии 1240 выводится на экран. Применение преобразования и заполнения пикселями к поступающему видеопотоку легко может быть осуществлено в режиме реального времени при использовании средств обработки соответствующей мощности. At 1266, a transformation algorithm is generated and stored for storage. This conversion algorithm will be used at step 1234 to convert the video stream coming from the real-time imaging module 1230 using the estimated distance to the user. Depending on the action of the transformation algorithm, it may be necessary to use fill pixels. For example, when the camera is positioned at the top of the screen and tilted down, tilt and height transformations must be applied, resulting in an image that can be enhanced by the use of fill pixels. Filling the image with pixels can be performed at step 1237, and the resulting image at step 1240 is displayed on the screen. Applying transformation and pixel filling to the incoming video stream can easily be done in real time using appropriate processing power.

На фигуре 13 приведена схема другого варианта, в котором калибровка и составление алгоритма преобразования осуществляются на месте после установки системы. В примере, представленном на фигуре 13, камера 14 расположена над видеоэкраном 12 и наклонена вниз. Камера 14 и экран 12 соединены с контроллером 18, который осуществляет управление их работой. Пользователь использует устройство 16 ввода информации, которое может обмениваться информацией с контроллером с использованием проводной или беспроводной линии связи. Пользователь стоит в подходящем месте, например в 2 – 3 метрах от экрана 12 и запускает процесс калибровки, например, путем ввода команды "калибровка" с устройства 16 дистанционного управления. Во время процесса калибровки видеопоток поступает в режиме реального времени из камеры 14 в контроллер 18, который отражает изображение относительно центральной вертикальной оси (меняет друг с другом левую и правую стороны изображения) перед его выводом на экран 12. С помощью устройства ввода информации пользователь может управлять разными функциями преобразования. Например, устройство ввода информации может содержать кнопки для задания коррекции наклона, возвышения и масштаба, как это схематически показано на фигуре 13. Команды, введенные пользователем, передаются в контроллер 18, который затем применяет преобразования в режиме реального времени к поступающему видеопотоку, так что изображение на экране перед пользователем изменяется в реальном времени. Пользователь может изменять интенсивность каждой функции преобразования, пока не получит на экране удовлетворяющее его изображение, после чего он может нажать кнопку "Ввод", указывая на завершение калибровки. Затем контроллер 18 записывает соответствующие параметры калибровки, и использует их для всех последующих видеопотоков реального времени.Figure 13 shows a diagram of another option, in which the calibration and compilation of the conversion algorithm are carried out on site after the installation of the system. In the example shown in figure 13, the camera 14 is located above the video screen 12 and tilted downward. The camera 14 and the screen 12 are connected to the controller 18, which controls their operation. The user uses an input device 16 that can communicate with the controller using a wired or wireless communication link. The user stands in a suitable location, for example 2 to 3 meters from the screen 12 and starts the calibration process, for example by entering the command "calibration" from the device 16 remote control. During the calibration process, the video stream arrives in real time from the camera 14 to the controller 18, which reflects the image about the central vertical axis (changes the left and right sides of the image with each other) before displaying it on the screen 12. Using the input device, the user can control different conversion functions. For example, the input device may include buttons for specifying tilt, elevation, and scale corrections, as shown schematically in Figure 13. Commands entered by the user are passed to controller 18, which then applies real-time transformations to the incoming video stream so that the image on the screen in front of the user changes in real time. The user can change the intensity of each transformation function until he gets a satisfactory image on the screen, after which he can press the "Enter" button, indicating the completion of the calibration. The controller 18 then records the corresponding calibration parameters and uses them for all subsequent real-time video streams.

Другой особенностью схемы, показанной на фигуре 13, является определения расстояния. Поскольку положение и наклон камеры 14 относительно экрана 12 известны (например, благодаря стационарному кронштейну, крепящему камеру к верхней части экрана), то изображение, захваченное камерой 14, может использоваться для триангуляции и вычисления расстояния. Например, когда пользователь появляется в кадре видеопотока, передаваемого камерой 14, может быть выполнена триангуляция по кончикам туфель пользователя для вычисления его расстояния от экрана 12. Эта операция может выполняться через каждое фиксированное число n кадров, так что расстояние пользователя от экрана может непрерывно обновляться для отслеживания его перемещений,. Фон может быть обновлен, когда пользователя не будет перед зеркалом (адаптивный способ формирования фона). Another feature of the circuit shown in Figure 13 is distance determination. Since the position and tilt of the camera 14 relative to the screen 12 is known (for example, due to a fixed bracket that secures the camera to the top of the screen), the image captured by the camera 14 can be used for triangulation and distance calculation. For example, when a user appears in a frame of the video stream transmitted by camera 14, the user's shoe tips can be triangulated to calculate their distance from the screen 12. This operation can be performed every fixed number n of frames, so that the user's distance from the screen can be continuously updated to track his movements. The background can be updated when the user is not in front of the mirror (adaptive background generation).

Другой особенностью схемы, показанной на фигуре 13, является использование освещения для создания глубины и/или атмосферы. В частности, в разных местах вокруг экрана 12 могут быть размещены несколько источников 17 света, например, групп светодиодов, и управление их работой осуществляет контроллер 18. Управление источниками 17 света может осуществляться таким образом, чтобы увеличивалась глубина изображения, например, путем добавления теней и ярко освещенных участков. Источники 17 света могут быть разного цвета, чтобы улучшить имеющееся освещение и создать подходящую общую цветовую "температуру" отображаемого изображения. Источники света также могут быть настроены в соответствии с расстоянием до пользователя, чтобы сформировать однородное изображение и устранить артефакты (помехи), которые могут создаваться освещением в магазине. Вместо этого или дополнительно к этому изменения цвета и освещенности могут быть осуществлены контроллером непосредственно в цифровом изображении, принятом из камеры 14. Например, для улучшения зеркального характера изображения может использоваться преобразование цвета, например, регулируемым образом могут изменяться параметры, которые влияют на следующие характеристики изображения: глянец, четкость, резкость, матовость, металлический блеск и т.п. Контроллер 18 может также добавить виртуальные световые пятна и/или тени на изображении для добавления глубины. Кроме того, на передней поверхности экрана может быть нанесено антибликовое покрытие, для устранения или уменьшения отражений, которые обычно характерны для плоских дисплеев. Группа светодиодов может быть соединена со светочувствительным датчиком света и/или с датчиком цветовой температуры для автоматического поддержания характеристик света группы светодиодов в заданных пределах.Another feature of the scheme shown in figure 13 is the use of lighting to create depth and/or atmosphere. In particular, multiple light sources 17, such as groups of LEDs, can be placed at various locations around screen 12 and controlled by controller 18. Light sources 17 can be controlled to increase image depth, for example by adding shadows and brightly lit areas. The light sources 17 can be of different colors to improve the available illumination and create a suitable overall color "temperature" of the displayed image. The light sources can also be adjusted according to the user's distance to form a uniform image and eliminate artifacts (interference) that can be created by store lighting. Instead or in addition to this, changes in color and lightness can be made by the controller directly in the digital image received from the camera 14. For example, color conversion can be used to improve the specular nature of the image, for example, parameters that affect the following characteristics of the image can be changed in a controlled manner. : gloss, clarity, sharpness, haze, metallic luster, etc. Controller 18 may also add virtual highlights and/or shadows to the image to add depth. In addition, an anti-reflective coating can be applied to the front of the screen to eliminate or reduce reflections that are common with flat panel displays. The group of LEDs may be connected to a photosensitive light sensor and/or a color temperature sensor to automatically maintain the light characteristics of the group of LEDs within predetermined limits.

В соответствии с другими вариантами получение трехмерных изображений осуществляется с использованием двух камер, расположенных на расстоянии D друг от друга. Расстояние D определяется как среднее расстояние между глазами человека, обычно указываемое как межзрачковое расстояние, которое для взрослых людей составляет примерно 54 – 68 мм. Преобразование может быть получено как результат совмещения изображения, полученного из входной камеры на расстоянии D, с изображением, полученным из двух опорных (базовых) камер, которые расположены в пространстве подобно глазам пользователя. Базовое изображение для совмещения может быть получено с использованием устройства Kinect® или любой ИК-камеры трехмерного изображения. Для калибровки могут также использоваться очки Google, причем пользователь в этих очках должен снять себя перед обычным зеркалом. Поскольку поле зрения фиксировано, то единственное, что необходимо сделать, это изменить размер изображения для получения правильного размера. Модуль преобразования изображения, такой как контроллер 18, может также изменить размер изображения для его уменьшения или увеличения, чтобы пользователь помещался в изображении на экране, или для фокусировки на некоторой его части. In accordance with other options, the acquisition of three-dimensional images is carried out using two cameras located at a distance D from each other. Distance D is defined as the average distance between a person's eyes, usually referred to as the interpupillary distance, which for adults is approximately 54 - 68 mm. The transformation can be obtained as a result of combining the image obtained from the input camera at a distance D with the image obtained from two reference (base) cameras, which are located in space like the user's eyes. The base image for alignment can be obtained using a Kinect® device or any 3D IR camera. Google glasses can also be used for calibration, with the user wearing these glasses having to film themselves in front of a regular mirror. Since the field of view is fixed, the only thing that needs to be done is to resize the image to get the correct size. An image conversion module, such as controller 18, may also resize the image to reduce or enlarge it to fit the user in the image on the screen, or to focus on some part of it.

Как можно понять, в то время как некоторые из вышеописанных вариантов относятся к формированию алгоритма преобразования путем совмещения изображений или иными эмпирическими способами, в других вариантах могут выполняться непосредственные вычисления расхождений между камерой и теоретической точкой наблюдения пользователя на основе анализа. В этом случае операция совмещения изображений не нужна. В этом случае формируется аналитический алгоритм преобразования, обеспечивающий коррекцию искажений.As can be understood, while some of the above options relate to generating a transformation algorithm by image alignment or other empirical methods, other options may directly calculate the differences between the camera and the user's theoretical viewpoint based on the analysis. In this case, the image alignment operation is not needed. In this case, an analytical transformation algorithm is formed that provides distortion correction.

Еще одной особенностью схемы, показанной на фигуре 13, является использование сети Интернет или "облака" для предоставления услуг, относящихся к преобразованию и представлению зеркального отражения. Например, в соответствии с одним из вариантов, преобразование может быть реально осуществлено в "облаке", если имеет достаточно быстрый канал связи. В этом случае видеопоток с камер 14 может быть передан на сервер 181, который осуществляет преобразование и передает видеопоток обратно в видеоконтроллер 18 для отображения на экране 11 монитора. В соответствии с другим вариантом изображения из камеры 14 или преобразованные изображения из камеры 14 могут быть записаны в "облаке" для хранения и распространяться из него по устройствам, таким как смартфон 183, планшет 187 и другой экран 189 монитора, такой как плоский телевизор. Это может осуществляться в режиме реального времени, когда пользователь примеряет одежду, так что его могут увидеть другие люди в других местах, которые могут высказать свое мнение о том, насколько примеряемая одежда подходит пользователю. Кроме того, после того как пользователь уйдет из магазина, он будет иметь доступ ко всем сделанным изображениям с помощью смартфона, планшета, ПК и т.п. Следует отметить, что для повышения удобства интерфейса пользователя, как показано на мониторе 189 схемы, приведенной на фигуре 13, вместе с текущим изображением могут отображаться пиктограммы различных примерок, и пользователь может выбирать их для просмотра. Another feature of the scheme shown in figure 13 is the use of the Internet or "cloud" to provide services related to the transformation and representation of the mirror image. For example, in accordance with one of the options, the transformation can actually be carried out in the "cloud" if it has a fast enough communication channel. In this case, the video stream from the cameras 14 can be transmitted to the server 181, which performs the conversion and sends the video stream back to the video controller 18 for display on the monitor screen 11. Alternatively, images from camera 14 or converted images from camera 14 can be stored in the cloud for storage and distributed from it to devices such as a smartphone 183, tablet 187, and other monitor screen 189 such as a flat-panel TV. This can be done in real time when the user is trying on the clothes, so that other people in other places can see them and give their opinion on how the clothes being tried on fit the user. In addition, after the user leaves the store, he will have access to all the images taken using a smartphone, tablet, PC, etc. It should be noted that, in order to enhance the convenience of the user interface, as shown in the monitor 189 of the circuit shown in Figure 13, thumbnails of various examples can be displayed along with the current image, and the user can select them for viewing.

На фигуре 14 приведена блок-схема способа извлечения данных из изображения, получаемого камерой 1430. Модуль 1450 запускающих событий определяет присутствие пользователя и активирует процесс извлечения данных. Для управления камерой с целью получения изображений наилучшего качества может использоваться модуль 1432 оптимизации работы камеры. В этом варианте, когда камера 1430 расположена над экраном и направлена вниз, она может видеть туфли пользователя на расстоянии, например, от 1 м до 4 м от экрана. Однако поскольку камера направлена вниз, и туфли находятся на большем расстоянии от камеры по сравнению с головой пользователя, то искажения будут максимальны. При использовании вышеописанного алгоритма преобразования на всех расстояниях будет обеспечиваться коррекция искажений.Figure 14 is a flowchart of a method for extracting data from an image taken by camera 1430. The triggering event module 1450 detects the presence of a user and activates the data extraction process. The camera optimization module 1432 can be used to control the camera in order to obtain the best quality images. In this embodiment, when the camera 1430 is positioned above the screen and directed downward, it can see the user's shoes at a distance of, for example, 1 m to 4 m from the screen. However, since the camera is pointing downwards and the shoes are further away from the camera than the user's head, the distortion will be maximum. When using the above conversion algorithm, distortion correction will be provided at all distances.

Дополнительно, в соответствии с этим вариантом на стадии 1462 изображение пользователя отделяется от фона. На стадии 1464 вычисляется центр масс путем умножения двоичного изображения пользователя только на матрицу индексов с последующим нахождением средней величины индекса пикселей. Самый нижний пиксель тела, ниже центра масс (J, k) определяется открытием окна вокруг k (центр масс) и нахождением самого нижнего активного индекса, который, как можно предположить, представляет собой край туфель. На стадии 1468 вычисляется рост пользователя путем определения верхней точки головы в соответствии с разрешением камеры по расстоянию, полем зрения и углом наклона камеры.Additionally, according to this option, at step 1462, the user's image is separated from the background. In step 1464, the center of mass is calculated by multiplying the user's binary image by the matrix of indices only, and then finding the average value of the pixel index. The bottommost pixel of the body, below the center of mass (J, k) is determined by opening a window around k (center of mass) and finding the lowest active index, which can be assumed to be the edge of the shoes. In step 1468, the height of the user is calculated by determining the top of the head according to the camera resolution in terms of distance, field of view, and camera angle.

На фигуре 15 приведена блок-схема варианта, в котором осуществляется соединение ("сшивание") изображений, получаемых из n камер. Соединение изображений особенно полезно для улучшения разрешения и поля зрения, когда пользователь приближается к экрану. В варианте, схема которого приведена на фигуре 15, осуществляется соединение изображений видеопотоков 1530, 1532, поступающих из n камер. Для запуска процесса соединения, когда определяется присутствие пользователя перед экраном, может использоваться модуль 1560 запускающих событий. Также может обеспечиваться измерение расстояние, либо в форме одной величины, представляющей среднее расстояние до пользователя, или нескольких величин, например, расстояния для каждой камеры. Вместо этого или в дополнение к этому могут обеспечиваться несколько величин, представляющих разные расстояния до разных частей тела пользователя. The figure 15 shows a block diagram of an option in which the connection ("stitching") of images obtained from n cameras. Image stitching is especially useful for improving resolution and field of view as the user approaches the screen. In the variant, the scheme of which is shown in figure 15, the images of the video streams 1530, 1532 coming from n cameras are connected. Trigger event module 1560 can be used to start the connection process when the user's presence is determined in front of the screen. A distance measurement may also be provided, either in the form of a single value representing the average distance to the user, or multiple values, such as the distance for each camera. Instead, or in addition, multiple values may be provided representing different distances to different parts of the user's body.

Оптимизация каждой камеры может осуществляться независимо (стадии 1533, 1536), и видеопотоки, поступающие из каждой камеры, будут проходить через разные алгоритмы преобразования (блоки 1560, 1562), поскольку расположение и ориентация камер относительно точки наблюдения (блоки 1564, 1566) пользователя отличаются. Блок 1570 определения схемы соединения обеспечивает определение наилучшего места для соединения изображений. Если в системе используются две камеры, одна выше и другая ниже экрана, блок определения схемы соединения будут указывать индекс наилучшего разреза. Поскольку расстояние измеряется непрерывно, линия соединения при приближении пользователя к зеркалу может поддерживаться почти фиксированной. Для получения наилучших характеристик соединение (блок 1572) должно оптимизироваться в соответствии с расстоянием пользователя от камер. Для удаления линий, которые могут возникать на пересечениях разных изображений от разных камер, необходимо сглаживание (блок 1574). Изображения от разных камер будут немного отличаться из-за разницы в качестве камер и в освещении, а также в связи с разной коррекцией искажений для каждой камеры. Для ослабления эффекта подсветки может использоваться чересстрочное расположение рядов разных изображений. На выход блока 1576 передается соединенное ("сшитое") изображение. The optimization of each camera can be performed independently (blocks 1533, 1536) and the video streams coming from each camera will go through different transformation algorithms (blocks 1560, 1562) because the location and orientation of the cameras relative to the viewpoint (blocks 1564, 1566) of the user are different . Block 1570 determine the connection scheme determines the best place to connect images. If the system uses two cameras, one above and one below the screen, the connection pattern definition block will indicate the index of the best cut. Since the distance is measured continuously, the connection line can be kept almost fixed as the user approaches the mirror. For best performance, the connection (block 1572) should be optimized according to the user's distance from the cameras. To remove lines that may occur at the intersections of different images from different cameras, smoothing is necessary (block 1574). Images from different cameras will be slightly different due to differences in camera quality and lighting, as well as different distortion correction for each camera. To reduce the backlight effect, interlacing rows of different images can be used. At the output of block 1576, a connected ("stitched") image is transmitted.

В вышеописанных вариантах используется алгоритм преобразования для коррекции изображений, получаемых камерами, и получения изображения, которое имитирует отражение пользователя в зеркале. В нижеописанном варианте, блок-схема которого приведена на фигуре 16, улучшается качество представления глаз пользователя. Идея этого варианта заключается в том, чтобы заменить зону глаз, или только глаза, измененными пикселями, которые будут создавать полное ощущение того, что пользователь смотрит прямо на себя в зеркале. Как можно понять, пользователь будет смотреть прямо на себя, отображаемого на экране, однако поскольку камера не расположена на уровне глаз и не направлена горизонтально, то глаза пользователя, захваченные камерой, не будут смотреть прямо вперед. Вариант, блок-схема которого приведена на фигуре 16, исправляет эту проблему.The embodiments described above use a conversion algorithm to correct the images taken by the cameras and produce an image that mimics the reflection of the user in a mirror. In the embodiment described below, a block diagram of which is shown in Figure 16, the quality of representation of the user's eyes is improved. The idea behind this option is to replace the eye area, or just the eyes, with altered pixels that will give the user the complete impression that the user is looking directly at themselves in the mirror. As can be understood, the user will look directly at himself displayed on the screen, however, since the camera is not at eye level and is not directed horizontally, the user's eyes captured by the camera will not look straight ahead. The variant whose block diagram is shown in Figure 16 corrects this problem.

Основная часть компонентов на фигуре 16 аналогична компонентам блок-схемы, приведенной на фигуре 12, и имеет те же две последние цифры ссылочных номеров (отличаются первыми цифрами 16). Эти компоненты здесь уже не будут описываться. Основное внимание сосредоточено на блоке 1680, в котором осуществляется коррекция положения глаз. Поскольку масштаб уже был скорректирован на предыдущих стадиях, на этой стадии необходимо исправить и/или преобразовать внутренние элементы глаз, например, зрачок, радужную оболочку и т.п., чтобы получить соответствующее изображение.The main body of the components in figure 16 is similar to the components of the block diagram shown in figure 12 and has the same last two digits of the reference numbers (different first digits 16). These components will no longer be described here. The focus is on block 1680, in which the eye position is corrected. Since the scale has already been corrected in the previous stages, at this stage it is necessary to correct and/or transform the internal elements of the eyes, such as the pupil, iris, etc., in order to obtain an appropriate image.

Сначала модуль 1680 обнаруживает на изображении глаза и определяет, что пользователь в самом деле смотрит на экран. Информация для этой стадии и для корректировок может быть получена из архивных изображений, оценок среднестатистических пропорций глаза или измерений, когда пользователь смотрит прямо в объектив камеры, или когда пользователь стоит достаточно далеко от экрана, когда после выполнение алгоритма преобразования искажения будут сравнительно низкими. Если определено, что пользователь смотрит на экран, то пиксели, соответствующие зоне глаз, либо преобразуются, либо заменяются пикселями, которые помещают радужную оболочку и зрачок в центр глаза, то есть, пользователь будет смотреть вперед. Кроме того, белочная оболочка глаза может быть увеличена для имитации взгляда вперед, особенно когда камера расположена вверху экрана и направлена вниз.First, module 1680 detects eyes in the image and determines that the user is indeed looking at the screen. Information for this stage and for adjustments can be obtained from archived images, estimates of average eye proportions, or measurements when the user is looking directly into the camera lens, or when the user is standing far enough from the screen that the distortion will be relatively low after the conversion algorithm has been run. If it is determined that the user is looking at the screen, then the pixels corresponding to the eye zone are either transformed or replaced with pixels that place the iris and pupil in the center of the eye, i.e., the user will look forward. In addition, the albuginea of the eye can be enlarged to simulate looking forward, especially when the camera is located at the top of the screen and points downward.

Другая особенность, которая может быть реализована в любом из вышеописанных вариантов, - это частота обновления параметров преобразования. То есть, иногда пользователь может захотеть видеть неподвижное изображение, когда он стоит неподвижно перед экраном, который имитирует зеркало. Если алгоритм преобразования изменяется, когда пользователь неподвижен, это может создавать дискомфорт для него. С другой стороны, когда пользователь перемещается быстрее вперед к экрану или назад от него, в этом случае можно без проблем быстрее обновлять параметры преобразования. Соответственно, устанавливается несколько зон с разными режимами обновления параметров. В соответствии с одним из вариантов зоны разных режимов устанавливаются в соответствии только с расстоянием. Например, когда пользователь перемещается на расстояние, превышающее заданную величину, параметры обновляются. Соответственно, в одном варианте, если пользователь перемещается меньше, чем на 25 см, обновление параметров преобразования осуществляется реже, например, каждые x секунд, а если пользователь перемещается больше, чем на 25 см, то обновление параметров преобразования осуществляется со второй, большей частотой. В соответствии с другим вариантом зоны устанавливаются в соответствии со скоростью перемещения пользователя. Например, если определяется, что пользователь перемещается со скоростью, меньшей х см/сек, то используется первая скорость обновления параметров преобразования, и если пользователь перемещается быстрее, то обновление параметров преобразования осуществляется со второй, большей частотой. Another feature that can be implemented in any of the above options is the update rate of the transform parameters. That is, sometimes the user may want to see a still image when standing still in front of a screen that simulates a mirror. If the conversion algorithm is changed while the user is stationary, this may cause discomfort to the user. On the other hand, when the user moves faster forward towards or away from the screen, then the transformation parameters can be updated faster without any problems. Accordingly, several zones are installed with different modes for updating parameters. According to one embodiment, zones of different regimes are set according to distance only. For example, when the user moves a distance greater than a given amount, the parameters are updated. Accordingly, in one embodiment, if the user moves less than 25 cm, the transformation parameters are updated less frequently, for example, every x seconds, and if the user moves more than 25 cm, then the transformation parameters are updated at a second, higher frequency. In another embodiment, the zones are set according to the user's movement speed. For example, if it is determined that the user is moving at a speed less than x cm/sec, then the first update rate of the transform parameters is used, and if the user is moving faster, then the update of the transform parameters is performed at a second, higher frequency.

Таким образом, как можно понять из вышесказанного, хотя для отображения изображений пользователя может использоваться обновление системы обработки видео в режиме реального времени, преобразование изображений для отображения на экране монитора необязательно изменять в режиме реального времени, и его обновление будет зависеть от поведения пользователя. Например, если пользователь практически неподвижен или перемещается очень медленно, параметры преобразования могут обновляться в режиме "полуреального" времени. Затем, когда пользователь начинает перемещаться быстрее, система обработки видео может обновляться чаще. Thus, as can be understood from the above, although a real-time update of the video processing system can be used to display user images, the conversion of images for display on a monitor screen does not need to be changed in real time, and its update will depend on the user's behavior. For example, if the user is essentially stationary or moving very slowly, the transformation parameters may be updated in "semi-real" time. Then, as the user starts moving faster, the video processing system can be updated more frequently.

Следует понимать, что вышеописанные варианты могут быть реализованы с использованием цифровой камеры (например, видеокамеры) и монитора, причем изображения из камеры поступают в процессор. Процессор применяет к изображениям алгоритм преобразования и отображает их на мониторе либо в режиме дисплея, либо в режиме зеркала. Из вышеописанного следует понимать, что режим зеркала может быть реализован путем отображения на мониторе видеопотока, получаемого в режиме реального времени, изображения в котором подвергаются обработке в соответствии с алгоритмом преобразования. То есть, в режиме зеркала изображения, которые отображаются на мониторе, являются изображениями пользователями, полученными в режиме реального времени. В режиме дисплея отображаемые изображения являются изображениями, полученными ранее и извлеченными, из устройства хранения данных. Эти записанные изображения могут быть необработанными, то есть, в том виде, как они были получены из камеры, или уже обработанными изображениями. В любом случае ранее записанные изображения, которые отображаются на дисплее, являются преобразованными изображениями. Поэтому, если записанные изображения являются необработанными изображениями, процессор применяет к ним алгоритм преобразования перед отображением на мониторе. It should be understood that the above embodiments may be implemented using a digital camera (eg, video camera) and a monitor, with images from the camera being fed to a processor. The processor applies a conversion algorithm to the images and displays them on the monitor in either display mode or mirror mode. From the above, it should be understood that the mirror mode can be implemented by displaying on the monitor a video stream received in real time, the images of which are processed in accordance with the conversion algorithm. That is, in the mirror mode, the images that are displayed on the monitor are real-time images taken by users. In the display mode, the displayed images are the images previously acquired and retrieved from the storage device. These recorded images may be raw, that is, as received from the camera, or already processed images. In any case, previously recorded images that are shown on the display are converted images. Therefore, if the recorded images are raw images, the processor applies a conversion algorithm to them before displaying them on the monitor.

Независимо от того, работает ли система в режиме дисплея или в режиме зеркала может быть рассмотрена проблема времени: в режиме зеркала изображение, которое отображается на мониторе, является преобразованным изображением того, что видит камера в настоящий момент времени (или немного раньше), а в режиме дисплея отображаемое изображение является преобразованным изображением того, что эта или другая камера видела раньше, и отличается от того, что камера видит в настоящий момент. Эта проблема также относится и к восприятию: в режиме зеркала, поскольку на мониторе отображается преобразованное изображение того, что камера видит в настоящий момент времени, у пользователя, смотрящего на монитор, возникает ощущение, что он смотрит в зеркало, а в режиме дисплея пользователь, смотрящий на монитор, понимает, что он видит видеозапись того, что произошло ранее.Whether the system is running in display mode or mirror mode, the problem of time can be considered: in mirror mode, the image that is displayed on the monitor is a converted image of what the camera sees at the current time (or a little earlier), and in In display mode, the displayed image is a converted image of what this or another camera has seen before and is different from what the camera is currently seeing. This problem also applies to perception: in mirror mode, because the monitor displays a transformed image of what the camera is currently seeing, the user looking at the monitor has the feeling that he is looking into a mirror, and in display mode, the user, looking at the monitor, realizes that he is seeing a video recording of what happened earlier.

Необходимо понимать, что система может быть реализована отдельно и независимо от экрана монитора. Например, в некоторых местах (например, в примерочной) может быть установлен только экран монитора, без какой-либо камеры. Монитор конфигурируют для связи с системой таким образом, чтобы можно было считывать записанные изображения и отображать на экране монитора. Пользователь может взаимодействовать с монитором для просмотра ранее полученных изображений, например, для их сравнения с примеряемой вещью. В другом примере все полученные изображения могут быть загружены на "облако", так что пользователь может просматривать эти изображения на экране ПК или мобильного устройства, например, используя приложение на планшете. It should be understood that the system may be implemented separately and independently of the monitor screen. For example, in some places (for example, in a fitting room) only a monitor screen may be installed, without any camera. The monitor is configured to communicate with the system so that recorded images can be read and displayed on the monitor screen. The user can interact with the monitor to view previously acquired images, for example, to compare them with the item being tried on. In another example, all received images can be uploaded to the "cloud", so that the user can view these images on the screen of a PC or mobile device, for example, using an application on a tablet.

Как можно понять из вышеприведенного описания, различные варианты осуществления изобретения представляют собой устройство преобразования изображений, которое содержит: порт ввода для приема цифровых изображений из камеры; порт вывода для передачи преобразованных изображений для их отображения на мониторе или записи в устройстве хранения данных; и модуль преобразования, который принимает изображения из порта ввода и применяет к ним преобразование, которое включает: по меньшей мере отражение изображения относительно вертикальной оси, в результате которого правая и левая сторона изображения меняются местами; применение алгоритма преобразования к изображению для его изменения таким образом, чтобы оно казалось отражением в зеркале; изменение размера изображения для ослабления изменений, вызываемых изменением расстояния объекта от камеры. В других вариантах предлагается программа, которая при ее выполнении на компьютере, вызывает преобразование компьютером цифрового изображения, полученного из камеры таким образом, что преобразованное изображение напоминает отражение в зеркале, причем преобразование включает: по меньшей мере отражение изображения относительно вертикальной оси, в результате которого правая и левая сторона изображения меняются местами; применение алгоритма преобразования к изображению для его изменения таким образом, чтобы оно казалось отражением в зеркале; изменение размера изображения для ослабления изменений, вызываемых изменением расстояния объекта от камеры. Программа может выполняться на любом универсальном компьютере, таком как сервер, ПК, планшет, смартфон и т.п.As can be understood from the above description, various embodiments of the invention are an image conversion apparatus, which includes: an input port for receiving digital images from a camera; an output port for transmitting converted images for display on a monitor or for recording in a storage device; and a transformation module that receives images from the input port and applies a transformation to them, which includes: at least a reflection of the image about a vertical axis, as a result of which the right and left sides of the image are reversed; applying a transformation algorithm to an image to change it so that it appears as a reflection in a mirror; resizing the image to reduce the changes caused by changes in the object's distance from the camera. In other embodiments, a program is provided which, when executed on a computer, causes the computer to transform a digital image received from a camera such that the transformed image resembles a reflection in a mirror, the transformation comprising: at least reflecting the image about a vertical axis, resulting in the right and the left side of the image are swapped; applying a transformation algorithm to an image to change it so that it appears as a reflection in a mirror; resizing the image to reduce the changes caused by changes in the object's distance from the camera. The program can be run on any universal computer such as a server, PC, tablet, smartphone, etc.

В других вариантах предлагается система, которая обеспечивает возможность пользователю видеть свое изображение на цифровом экране, причем изображение, выводимое на экран, имитирует отражение в зеркале. Система содержит: цифровую камеру, формирующую поток изображений пользователя; контроллер, имеющий порт ввода для приема изображений из камеры, и применяющий к изображениям преобразование для формирования преобразованных изображений, воспроизводящих отражение пользователя в зеркале; причем контроллер имеет порт вывода для передачи потока преобразованных изображений для отображения на мониторе; и устройство хранения данных для записи преобразованных изображений. Контроллер также соединен с Интернетом для загрузки потока преобразованных изображений на "облако". Система также включает программы-клиенты, обеспечивающие возможность скачивания преобразованных изображений из "облака" для просмотра.In other embodiments, a system is provided that allows a user to see their own image on a digital screen, the image displayed on the screen simulating a reflection in a mirror. The system contains: a digital camera that generates a stream of user images; a controller having an input port for receiving images from the camera and applying a transformation to the images to generate transformed images reproducing the reflection of the user in the mirror; wherein the controller has an output port for transmitting a stream of converted images for display on a monitor; and a storage device for storing the converted images. The controller is also connected to the Internet to upload a stream of converted images to the "cloud". The system also includes client programs that provide the ability to download converted images from the "cloud" for viewing.

В различных вариантах контроллер применяет к потоку изображений преобразование, которое включает: отражение изображения относительно вертикальной оси, в результате которого правая и левая сторона изображения меняются местами; применение алгоритма преобразования к изображению для его изменения таким образом, чтобы оно казалось отражением в зеркале; и изменение размера изображения для ослабления изменений, вызываемых изменением расстояния объекта от камеры. Алгоритм преобразования существенным образом изменяет адрес каждого пикселя исходного изображения. Алгоритм преобразования обеспечивает получение изображения, которое было бы получено с камеры, установленной на уровне глаз пользователя и направленной горизонтально. Алгоритм преобразования включает по меньшей мере преобразование наклона и преобразование высоты, причем преобразование наклона изменяет изображение таким образом, что это эквивалентно наклону камеры, и преобразование высоты изменяет изображение таким образом, то это эквивалентно изменению высоты камеры.In various embodiments, the controller applies a transformation to the image stream, which includes: flipping the image about a vertical axis, as a result of which the right and left sides of the image are reversed; applying a transformation algorithm to an image to change it so that it appears as a reflection in a mirror; and resizing the image to reduce changes caused by changing the distance of the object from the camera. The conversion algorithm essentially changes the address of each pixel of the original image. The conversion algorithm provides an image that would be obtained from a camera mounted at the level of the user's eyes and directed horizontally. The transformation algorithm includes at least a tilt transformation and a height transformation, wherein the tilt transformation changes the image in such a way that it is equivalent to tilting the camera, and the height transformation changes the image in such a way that it is equivalent to changing the camera height.

Алгоритм преобразования может включать изменение угла наклона, угла азимута, масштаба, пространственного сдвига (то есть, линейного изменения высоты или смещения по горизонтали) и т.п. Конечное преобразование является матричного умножения отдельного преобразования для коррекции отдельных искажений.The transformation algorithm may include changing the angle of inclination, the angle of azimuth, scale, spatial shift (ie, linear change in height or horizontal shift), and the like. The final transformation is a matrix multiplication of the individual transformation to correct for the individual distortion.

В других вариантах предлагается система для улучшения средств видеоконференций или видеозвонков. Система содержит процессор преобразования для преобразования потока изображений, полученных из видеокамеры, установленной на периметре экрана монитора, так что на этих изображениях пользователь смотрит прямо на экран (что и есть на самом деле), а не в объектив камеры. Подсистема преобразования принимает поток изображений и преобразует их таким образом, чтобы на преобразованных изображениях пользователь смотрел прямо в объектив камеры. Алгоритм преобразования включает любую комбинацию коррекций угла наклона, угла азимута, масштаба, пространственного сдвига (то есть, линейного изменения высоты или смещения по горизонтали) и т.п. Преобразование может также включать замену зоны глаз, или только глаз, измененными пикселями, которые будут создавать полное ощущение того, что пользователь смотрит прямо в объектив камеры. In other embodiments, a system is provided for enhancing video conferencing or video calling facilities. The system contains a conversion processor for converting a stream of images received from a video camera installed on the perimeter of the monitor screen, so that in these images the user looks directly at the screen (which is what it really is), and not at the camera lens. The conversion subsystem receives a stream of images and converts them in such a way that the user looks directly into the camera lens on the converted images. The transformation algorithm includes any combination of corrections for tilt, azimuth, scale, spatial shift (i.e., ramp or horizontal shift), and the like. The transformation may also involve replacing the eye area, or just the eyes, with modified pixels that will give the user the complete impression that the user is looking directly into the camera lens.

В различных вариантах способ включает также вычисление расстояния до пользователя, который фигурирует на изображении, путем отслеживания расстояния между его глазами или размера головы и соответствующего масштабирования изображения. Например, в соответствии с одним из вариантов в системе записано ожидаемое расстояние между глазами пользователя, то есть межзрачковое расстояние, на среднем расстоянии от камеры. 95% мужского населения в США имеет межзрачковое расстояние, равное 70 мм, в то время как у женщин это расстояние равно 65 мм. Когда определяется присутствие пользователя перед камерой, система может сначала определить его пол или же просто переходит к программе измерения расстояния, в которой используется среднее межзрачковое расстояние, равное 68 мм. Для измерения дальности система идентифицирует зрачки на изображении и изменяет масштаб для сохранения ожидаемого межзрачкового расстояния. Система обрабатывает поступающий видеопоток путем масштабирования изображений для сохранения постоянной величины межзрачкового расстояния, равной ожидаемому значению. Таким образом, когда пользователь отходит от камер или подходит к ней, размер фигуры пользователя на изображении, выводимом на экран монитора, остается примерно одинаковым, как это и должно быть для отражения в зеркале. Как можно понять, в системе могут использоваться стандартные размеры, такие как расстояние между ушами и т.п., однако использовать расстояние между глазами проще, поскольку глаза очень легко могут распознаваться в системе. Однако если на пользователе темные очки, , система должна будет обратиться к другим измерениям других частей тела. Это переключение осуществляется динамически, то есть, если система находит глаза, она использует межзрачковое расстояние, если нет, то следует переход к измерению других частей тела. In various embodiments, the method also includes calculating the distance to a user who appears in the image by tracking the distance between their eyes or head size and scaling the image accordingly. For example, according to one embodiment, the system records the expected distance between the user's eyes, i.e. interpupillary distance, at an average distance from the camera. 95% of the male population in the US has an interpupillary distance of 70 mm, while in women this distance is 65 mm. When a user's presence in front of the camera is determined, the system may first determine the user's gender, or simply jump to a distance measurement program that uses an average interpupillary distance of 68mm. For distance measurement, the system identifies the pupils in the image and rescales to maintain the expected interpupillary distance. The system processes the incoming video stream by scaling the images to keep the interpupillary distance constant, equal to the expected value. Thus, when the user moves away from the cameras or approaches it, the size of the user's figure on the image displayed on the monitor screen remains approximately the same, as it should be for reflection in the mirror. As can be understood, standard sizes such as ear spacing and the like can be used in the system, however, eye spacing is easier to use because eyes can be recognized very easily in the system. However, if the user is wearing sunglasses, the system will need to refer to other measurements of other parts of the body. This switching is performed dynamically, that is, if the system finds eyes, it uses the interpupillary distance, if not, then the transition to the measurement of other parts of the body follows.

Также могут использоваться фильтры эффектов, такие как фильтр эффекта подсветки, фильтр эффекта отражающей текстуры, фильтр цветовых эффектов для создания эффекта металлического блеска и т.д. Аналогично, для изменения получаемого изображения могут регулироваться такие параметры, как скорость работы затвора камеры, усиление датчика, баланс белого и любые их комбинации. В любых вариантах эти параметры регулируются в соответствии с динамической областью, представляющей интерес, так что изменения, применяемые к параметрам, относятся лишь выбранной области изображения, а не ко всему изображению. Например, параметры могут изменяться и обновляться в соответствии с расстоянием до пользователя и ограничиваются выбранной областью, которая является окошком, охватывающим пользователя. Например, изображение пользователя может быть отделено от фона, и параметры будут применяться лишь к пикселям изображения пользователя.Effect filters such as highlight effect filter, reflective texture effect filter, metallic color effect filter, etc. can also be used. Similarly, parameters such as camera shutter speed, sensor gain, white balance, and any combination of these can be adjusted to change the resulting image. In either case, these parameters are adjusted according to the dynamic region of interest, so that changes applied to the parameters apply only to the selected region of the image, and not to the entire image. For example, the parameters can be changed and updated according to the distance to the user and are limited to a selected area, which is a window that encloses the user. For example, the user's image can be separated from the background, and the settings will only apply to pixels in the user's image.

В других вариантах реализуется улучшенный эффект реального времени путем записи видео с использованием камеры высокого разрешения с первой частотой кадров, и воспроизведения с повышенной частотой кадров для более плавных движений на экране. Кроме того, фон полученного видеопотока может быть заменен искусственным фоном, записанным в системе. Может использоваться дополнительная обработка для добавления или изменения цвета или текстур аксессуара или другого элемента на изображении. Кроме того, для видеоконференций и других применений преобразование может выполняться без отражения изображения относительно вертикальной оси.In other embodiments, an improved real-time effect is realized by recording video using a high-definition camera at a first frame rate, and playing back at a higher frame rate for smoother screen movements. In addition, the background of the received video stream can be replaced with an artificial background recorded in the system. Additional processing may be used to add or change the color or textures of an accessory or other element in an image. In addition, for videoconferencing and other applications, the conversion can be performed without reflecting the image about the vertical axis.

Хотя в настоящем описании были рассмотрены и описаны конкретные признаки изобретения, специалистам в данной области техники будут очевидны многочисленные модификации, замены, изменения и эквиваленты. Поэтому предполагается, что такие модификации и изменения, не выходящие за пределы сущности изобретения, охватываются прилагаемой формулой.Although specific features of the invention have been discussed and described in the present specification, numerous modifications, substitutions, alterations, and equivalents will be apparent to those skilled in the art. Therefore, it is intended that such modifications and changes, without departing from the spirit of the invention, be covered by the appended claims.

Claims (36)

1. Способ осуществления работы системы, содержащей монитор, камеру и процессор, таким образом, чтобы на мониторе отображалось изображение, имитирующее отражение в зеркале, путем выполнения в любом порядке стадий, включающих:1. A method for implementing the operation of a system containing a monitor, a camera and a processor, so that the monitor displays an image imitating a reflection in a mirror by performing in any order the steps, including: получение цифрового изображения из камеры;obtaining a digital image from the camera; определение расстояния от пользователя до камеры;determining the distance from the user to the camera; применение к цифровому изображению алгоритма преобразования, чтобы совместить точку наблюдения камеры с теоретической точкой наблюдения зеркала;applying a transformation algorithm to the digital image to align the viewpoint of the camera with the theoretical viewpoint of the mirror; изменение размера изображения для ослабления изменений, вызываемых изменениями расстояния от объекта до камеры;resizing the image to reduce the changes caused by changes in the distance from the object to the camera; определение местонахождения глаз пользователя на цифровом изображении;locating the user's eyes in the digital image; преобразование или замена пикселей глаз, чтобы тем самым расположить радужные оболочки и зрачки в центре глаз, смотрящих вперед;transforming or replacing the pixels of the eyes, thereby positioning the irises and pupils in the center of the forward-facing eyes; отображение изображения на мониторе после осуществления изменения размера изображения и преобразования или замены пикселей глаз.displaying the image on the monitor after resizing the image and converting or replacing the eye pixels. 2. Способ по п. 1, в котором преобразование или замена пикселей глаз дополнительно предусматривает увеличение белочной оболочки глаз.2. The method according to claim. 1, in which the transformation or replacement of the pixels of the eyes additionally provides for an increase in the albuginea of the eyes. 3. Способ по п. 1, дополнительно предусматривающий отражение изображения относительно вертикальной оси таким образом, чтобы правая и левая стороны изображения поменялись местами.3. The method of claim. 1, further providing for the reflection of the image about the vertical axis so that the right and left sides of the image are reversed. 4. Способ по п. 1, в котором определение расстояния от пользователя до камеры предусматривает отслеживание расстояния между глазами пользователя.4. The method of claim. 1, in which determining the distance from the user to the camera involves tracking the distance between the eyes of the user. 5. Способ по п. 1, в котором определение расстояния от пользователя до камеры предусматривает идентификацию туфель пользователя и решение задачи триангуляции для определения расстояния до туфель.5. The method of claim 1, wherein determining the distance from the user to the camera involves identifying the user's shoes and solving a triangulation problem to determine the distance to the shoes. 6. Способ по п. 1, дополнительно предусматривающий использование адаптивно регулируемого поля зрения для компенсации изменений в расстояниях до пользователя, так что пользователь видит изображение одинакового размера.6. The method of claim. 1, further comprising using an adaptively adjustable field of view to compensate for changes in distances from the user, so that the user sees an image of the same size. 7. Способ по п. 1, дополнительно предусматривающий следующие стадии:7. The method of claim 1, further comprising the following steps: получение эталонного изображения;obtaining a reference image; совмещение цифрового изображения с эталонным изображением;combining the digital image with the reference image; использование данных, полученных в результате совмещения, для формирования алгоритма преобразования.use of data obtained as a result of combination to form a transformation algorithm. 8. Способ по п. 1, дополнительной предусматривающий применение преобразования смещения для перемещения изображения в пределах зоны отображения монитора.8. The method of claim 1, further comprising applying an offset transform to move the image within the display area of the monitor. 9. Способ по 1, дополнительно предусматривающий изменение интенсивности подсветки отдельных пикселей или групп пикселей монитора таким образом, чтобы улучшить качество воспроизведения темных и светлых участков изображения.9. The method according to 1, additionally providing for changing the backlight intensity of individual pixels or groups of monitor pixels in such a way as to improve the quality of reproduction of dark and light areas of the image. 10. Способ по п. 1, дополнительно предусматривающий применение по меньшей мере одного из преобразования для коррекции бочкообразных искажений и преобразования для коррекции искажений "рыбий глаз".10. The method of claim 1, further comprising applying at least one of a barrel distortion correction transform and a fisheye distortion correction transform. 11. Способ по п. 1, дополнительно предусматривающий осуществление пространственного регулирования высоты для линейного изменения смещения на изображении, чтобы совместить высоту глаз пользователя с изображением на высоте экрана.11. The method of claim 1, further comprising performing spatial height adjustment to linearly change the offset in the image to match the height of the user's eyes with the image at screen height. 12. Способ по п. 1, дополнительно предусматривающий стадию заполнения пикселей, на которой для заполнения пустых пикселей, возникших после осуществления изменения размера изображения и преобразования или замены пикселей глаз, используют экстраполяцию.12. The method of claim 1, further comprising a pixel filling step, in which extrapolation is used to fill in empty pixels resulting from image resizing and eye pixel transformation or replacement. 13. Способ по п. 1, дополнительно предусматривающий следующие стадии:13. The method of claim 1, further comprising the following steps: получение второго цифрового изображения из второй камеры;obtaining a second digital image from the second camera; соединение изображения и второго изображения;connecting the image and the second image; отображение соединенного изображения на мониторе.display the linked image on the monitor. 14. Способ по п. 13, в котором поля зрения камеры и второй камеры перекрываются, при этом способ дополнительно предусматривает стадию определения перекрытия для определения наилучшего расположения перекрывающихся частей полей зрения для осуществления стадии соединения.14. The method of claim 13, wherein the fields of view of the camera and the second camera overlap, the method further comprising an overlap determination step of determining the best location of the overlapping portions of the fields of view for performing the joining step. 15. Способ по п. 14, дополнительно предусматривающий операцию сглаживания для коррекции помех, возникших в результате осуществления стадии соединения.15. The method of claim 14, further comprising a smoothing operation to correct interference resulting from the connection step. 16. Способ по п. 1, дополнительно предусматривающий следующие стадии:16. The method of claim 1, further comprising the following steps: отражение изображения относительно вертикальной оси таким образом, чтобы правая и левая стороны изображения поменялись местами; иreflection of the image about the vertical axis so that the right and left sides of the image are reversed; And изменение размера изображения для ослабления изменений, вызываемых изменениями расстояния от объекта до камеры.resizing the image to reduce the changes caused by changes in the distance from the subject to the camera. 17. Способ по п. 1, в котором указанные стадии выполняются на последовательности изображений видеопотока, поступающего из камеры в режиме реального времени.17. The method according to claim 1, wherein said steps are performed on a sequence of images of a video stream coming from a camera in real time. 18. Способ по п. 17, дополнительно предусматривающий:18. The method of claim 17, further comprising: определение расстояния перемещения пользователя, присутствующего на изображениях видеопотока; иdetermining the distance of movement of the user present in the images of the video stream; And изменение частоты, с которой выполняются указанные стадии на последовательности изображений, в соответствии с расстоянием перемещения.changing the frequency with which said steps are performed on the image sequence according to the moving distance. 19. Способ по п. 17, в котором видеопоток, поступающий в режиме реального времени, хранится в устройстве хранения цифровых данных, и систему выборочно устанавливают в режим зеркала или режим дисплея, причем в режиме зеркала на мониторе отображаются преобразованные изображения того, что камера видит в текущий момент времени, а в режиме дисплея на мониторе отображаются преобразованные изображения, считанные из устройства хранения цифровых данных, того, что камера видела ранее.19. The method of claim 17, wherein the live video stream is stored in a digital storage device and the system is selectively set to mirror mode or display mode, wherein the mirror mode displays converted images of what the camera sees on the monitor. at the current time, and in display mode, the monitor displays the converted images read from the digital storage device that the camera has seen before.
RU2018118815A 2012-12-18 2013-12-18 Devices, systems, and methods for capture and display of external appearance RU2793157C2 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261738957P 2012-12-18 2012-12-18
US61/738,957 2012-12-18
US13/843,001 2013-03-15
US13/843,001 US8982109B2 (en) 2005-03-01 2013-03-15 Devices, systems and methods of capturing and displaying appearances

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2015127905A Division RU2656817C2 (en) 2012-12-18 2013-12-18 Devices, systems and methods of capturing and displaying appearances

Publications (3)

Publication Number Publication Date
RU2018118815A RU2018118815A (en) 2018-11-05
RU2018118815A3 RU2018118815A3 (en) 2021-09-08
RU2793157C2 true RU2793157C2 (en) 2023-03-29

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
US20090051779A1 (en) * 2007-08-20 2009-02-26 Matthew Rolston Photographer, Inc. Modifying visual perception
RU2398362C2 (en) * 2006-06-16 2010-08-27 Эрикссон Аб Connection of independent multimedia sources into conference communication
US20110210970A1 (en) * 2008-06-18 2011-09-01 Kazu Segawa Digital mirror apparatus
US20120257000A1 (en) * 2011-04-07 2012-10-11 Tara Chand Singhal System and method for a grooming mirror in a portable electronic device with a user-facing camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
RU2398362C2 (en) * 2006-06-16 2010-08-27 Эрикссон Аб Connection of independent multimedia sources into conference communication
US20090051779A1 (en) * 2007-08-20 2009-02-26 Matthew Rolston Photographer, Inc. Modifying visual perception
US20110210970A1 (en) * 2008-06-18 2011-09-01 Kazu Segawa Digital mirror apparatus
US20120257000A1 (en) * 2011-04-07 2012-10-11 Tara Chand Singhal System and method for a grooming mirror in a portable electronic device with a user-facing camera

Similar Documents

Publication Publication Date Title
AU2019246856B2 (en) Devices, systems and methods of capturing and displaying appearances
US8982109B2 (en) Devices, systems and methods of capturing and displaying appearances
RU2668408C2 (en) Devices, systems and methods of virtualising mirror
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8976160B2 (en) User interface and authentication for a virtual mirror
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US20190342544A1 (en) Image processing apparatus and method
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
US20160212406A1 (en) Image processing apparatus and method
US11849102B2 (en) System and method for processing three dimensional images
CN115412743A (en) Apparatus, system, and method for automatically delaying a video presentation
US20210264684A1 (en) Fitting of glasses frames including live fitting
CN107862718B (en) 4D holographic video capture method
RU2793157C2 (en) Devices, systems, and methods for capture and display of external appearance