RU2689142C2 - Coded light detection - Google Patents

Coded light detection Download PDF

Info

Publication number
RU2689142C2
RU2689142C2 RU2016148376A RU2016148376A RU2689142C2 RU 2689142 C2 RU2689142 C2 RU 2689142C2 RU 2016148376 A RU2016148376 A RU 2016148376A RU 2016148376 A RU2016148376 A RU 2016148376A RU 2689142 C2 RU2689142 C2 RU 2689142C2
Authority
RU
Russia
Prior art keywords
light
image
orientation
light source
lines
Prior art date
Application number
RU2016148376A
Other languages
Russian (ru)
Other versions
RU2016148376A3 (en
RU2016148376A (en
Inventor
БРЮЭЙН Фредерик Ян ДЕ
Герардус Корнелис Петрус ЛОКХОФФ
Стефанус Йозеф Йоханнес НЕЙССЕН
Констант Паул Мари Йозеф БАГГЕН
Original Assignee
Филипс Лайтинг Холдинг Б.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Филипс Лайтинг Холдинг Б.В. filed Critical Филипс Лайтинг Холдинг Б.В.
Publication of RU2016148376A publication Critical patent/RU2016148376A/en
Publication of RU2016148376A3 publication Critical patent/RU2016148376A3/ru
Application granted granted Critical
Publication of RU2689142C2 publication Critical patent/RU2689142C2/en

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/19Controlling the light source by remote control via wireless transmission
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/196Controlling the light source by remote control characterised by user interface arrangements
    • H05B47/1965Controlling the light source by remote control characterised by user interface arrangements using handheld communication devices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

FIELD: data processing.
SUBSTANCE: invention relates to detection of encoded light by means of a camera with an image capturing element, which captures light in line. Result is achieved by the camera capturing a scene image containing light from a light source, wherein the light from the light source is modulated with the encoded light component. Camera has an image capturing element which is divided into a plurality of lines, as a result of which, in order to capture an image, successive exposure of the lines at different moments in time is carried out. Processing module is configured to detect the orientation of the light source, as projected onto the image capturing element plane, relative to the image capturing element lines, and based on this determination of target device reorientation, so that light imprint from light source covers increased number of specified lines in image. User interface is configured to output an indication of target reorientation to the user, which forces the user to activate the target reorientation.
EFFECT: encoded light detection.
15 cl, 11 dwg

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕTECHNICAL FIELD TO WHICH INVENTION RELATES.

Настоящее раскрытие относится к обнаружению кодированного света посредством камеры с элементом захвата изображения, который захватывает свет построчно, как в камере с рулонным затвором.The present disclosure relates to the detection of coded light by means of a camera with an image pickup element that captures light line by line, as in a camera with a roller shutter.

УРОВЕНЬ ТЕХНИКИBACKGROUND

Кодированный свет относится к методикам посредством которых, сигнал, внедренный в видимый свет, испускается источником света, таким как обычный осветительный прибор. Таким образом, свет содержит как вклад видимого освещения для освещения целевой среды, такой как комната (как правило, первичное назначение света), так и внедренный сигнал, для предоставления информации в среде. Чтобы делать это, свет модулируется на определенной частоте или частотах модуляции, предпочтительно достаточно высокой частоте так, чтобы находиться за пределами восприятия человека и, вследствие этого, не оказывать влияние на первичную функцию освещения.Coded light refers to techniques by which a signal embedded in visible light is emitted by a light source, such as a conventional lighting fixture. Thus, the light contains both the contribution of visible illumination to illuminate the target medium, such as a room (usually the primary purpose of the light), and the embedded signal, to provide information in the medium. To do this, the light is modulated at a certain frequency or modulation frequency, preferably a frequency high enough so that it is outside the human perception and, therefore, does not affect the primary lighting function.

В некоторых из наиболее простых случаев, сигнал может содержать единственную форму волны или даже единственный тон, модулированный в свете от заданного осветительного прибора. Свет, испускаемый каждым из множества осветительных приборов, может быть модулированным с помощью разной соответствующей частоты модуляции, которая является уникальной среди этих осветительных приборов, и тогда частота модуляции может служить в качестве идентификатора осветительного прибора или его света. Например, это может быть использовано в фазе ввода в эксплуатацию, чтобы идентифицировать вклад от каждого осветительного прибора, или может быть использовано во время эксплуатации, чтобы идентифицировать осветительный прибор, для того чтобы управлять им удаленно (например, через RF (радиочастотный) обратный канал). В другом примере, идентификация может быть использована для навигации или другой основанной на местоположении функциональной возможности, посредством построения соответствия идентификатора с известным местоположением осветительного прибора или информацией, ассоциированной с местоположением.In some of the simplest cases, the signal may contain a single waveform or even a single tone modulated in the light from a given light fixture. The light emitted by each of a variety of lighting fixtures can be modulated with a different corresponding modulation frequency, which is unique among these lighting fixtures, and then the modulation frequency can serve as an identifier of the lighting fixture or its light. For example, it can be used in the commissioning phase to identify the contribution from each light fixture, or can be used during operation to identify the light fixture in order to control it remotely (for example, via RF (radio frequency) reverse channel) . In another example, identification may be used for navigation or other location-based functionality, by building an identity mapping with a known location of the lighting fixture or information associated with the location.

В других случаях, в свет может быть внедрен сигнал, содержащий более сложные данные. Например, используя амплитудную манипуляцию, амплитуда света может варьироваться, чтобы кодировать данные, например, используя высокий и низкий уровни, чтобы представлять биты, или используя более сложную схему модуляции, чтобы представлять разные символы. Или, используя частотную манипуляцию, осуществляется работа заданного осветительного прибора, чтобы он испускал на двух (или более) разных частотах модуляции, и чтобы передавал биты данных (или в общем случае символы) посредством переключения между разными частотами модуляции.In other cases, a signal containing more complex data may be embedded in the light. For example, using amplitude manipulation, the amplitude of the light can vary to encode data, for example, using high and low levels to represent bits, or using a more complex modulation scheme to represent different characters. Or, using frequency shift keying, a given lighting device is operated to emit at two (or more) different modulation frequencies, and to transmit data bits (or, in general, symbols) by switching between different modulation frequencies.

Документ WO2012/127439 раскрывает методику, посредством которой кодированный свет может быть обнаружен, используя обычную камеру типа «рулонного затвора», которая часто интегрирована в мобильное устройство, подобное мобильному телефону или планшету. В камере с рулонным затвором, элемент захвата изображения камеры разделен на множество строк (как правило, горизонтальные строки, т.е., ряды), экспонирование которых осуществляется в построчной последовательности. Т.е., чтобы захватить заданный кадр, осуществляется экспонирование светом заданной среды первой строки, затем через несколько более позднее время осуществляется последовательное экспонирование светом следующей строки, и т.д. Как правило, последовательность «сворачивается в рулон» в очередности по кадру, например, в рядах сверху вниз, отсюда и название «рулонный затвор». При использовании для захвата кодированного света, это означает, что разные строки внутри кадра, захватывают свет в разные моменты времени и, вследствие этого, если частота строк достаточно высока по отношению к частоте модуляции, в разные фазы формы волны модуляции. Таким образом может быть обнаружена модуляция в свете.WO2012 / 127439 discloses a technique by which coded light can be detected using a conventional “roll gate” type camera, which is often integrated into a mobile device like a mobile phone or tablet. In a camera with a roller shutter, a camera image capture element is divided into a plurality of lines (as a rule, horizontal lines, i.e., rows), which are exposed in a line by line sequence. That is, in order to capture a given frame, light is exposed to a given medium of the first line, then after a slightly later time, the next line is consecutively light-exposed, and so on. As a rule, the sequence “rolls into a roll” in the sequence of frames, for example, in rows from top to bottom, hence the name “roll shutter”. When used to capture coded light, this means that different lines inside the frame capture light at different points in time and, as a result, if the line frequency is high enough relative to the modulation frequency, the different phases of the modulation waveform are in different phases. In this way, modulation in the light can be detected.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF INVENTION

В случае захвата с помощью рулонного затвора или подобного, эффективная полоса пропускания обнаружения зависит от внешнего вида кодированного света, или ʹотпечаткаʹ, на датчике. Эффективная полоса пропускания обнаружения является максимальной в том случае, когда отпечаток света охватывает настолько много строк датчика изображения, насколько это возможно. В данном случае, минимизируется время обнаружения. Следует отметить, что хотя в идеале осуществляется максимизация отпечатка света, улучшения в скорости обнаружения могут уже происходить, когда увеличивается количество строк датчика, которые охватывает отпечаток света. Это означает, что когда кодированный свет обнаруживается с помощью камеры, направленной на относительно узкий и вытянутый осветительный прибор, такой как потолочная трубчатая люминесцентная лампа, ориентация камеры оказывает значительное влияние на скорость обнаружения. Например, данная ситуация, как правило, происходит, когда используется фронтальная камера мобильного устройства. Желательно было бы, заставить пользователя повернуть устройство камеры (например, мобильный телефон) таким образом, чтобы достигалась более оптимальная ориентация для обнаружения кодированного света применительно к каждой новой ситуации. Требуемое действие пользователя может быть вызвано либо посредством явной инструкции, либо (предпочтительно) посредством не явного аспекта интерфейса пользователя (например, ориентации текста), так что достигается требуемое действие пользователя.In the case of capture using a roller shutter or the like, the effective detection bandwidth depends on the appearance of the coded light, or “print”, on the sensor. Effective detection bandwidth is maximized when the light footprint covers as many lines of the image sensor as possible. In this case, the detection time is minimized. It should be noted that although ideally the maximization of the light imprint is performed, improvements in the detection speed may already occur when the number of sensor lines that encompass the light imprint increases. This means that when coded light is detected with a camera aimed at a relatively narrow and elongated light fixture, such as a ceiling tubular fluorescent lamp, the orientation of the camera has a significant effect on the detection rate. For example, this situation usually occurs when the front camera of a mobile device is used. It would be desirable to force the user to rotate the camera device (for example, a mobile phone) in such a way that a more optimal orientation is achieved to detect the coded light for each new situation. The desired user action can be triggered either by an explicit instruction, or (preferably) by an implicit user interface aspect (eg, text orientation), so that the desired user action is achieved.

В соответствии с одним раскрываемым в данном документе аспектом, предоставляется устройство, содержащее интерфейс пользователя, камеру, и модуль обработки; например, портативное устройство, такое как интеллектуальный телефон или планшет. Камера выполнена с возможностью захвата изображения сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света. Камера содержит элемент захвата изображения, который разделен на множество строк, в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, например, как в камере с рулонным затвором. Модуль обработки выполнен с возможностью обнаружения ориентации источника света, как проецируемого на плоскость элемента захвата изображения (т.е., как он присутствует или будет присутствовать на захваченном изображении), по отношению к строкам элемента захвата изображения, и, на основании этого, определения целевой переориентации устройства, которая была бы желательна для того, чтобы отпечаток света от источника света охватывал увеличенное количество строк в изображении (и, вследствие этого, увеличенное количество строк для обнаружения кодированного света). Интерфейс пользователя выполнен с возможностью затем вывода указания целевой переориентации пользователю, вынуждающего пользователя вводить в действие целевую переориентацию.In accordance with one aspect disclosed herein, an apparatus is provided comprising a user interface, a camera, and a processing module; for example, a portable device such as a smart phone or tablet. The camera is configured to capture an image of a scene containing light from a light source, wherein the light from the light source is modulated with a component of the coded light. The camera contains an image capture element, which is divided into multiple lines, as a result of which, in order to capture an image, consecutive exposure of lines is carried out at different times, for example, as in a camera with a roller shutter. The processing module is configured to detect the orientation of the light source, as projected onto the plane of the image capture element (i.e., how it is present or will be present on the captured image), with respect to the rows of the image capture element, and based on this, the target reorienting the device that would be desirable so that the imprint of light from the light source covers an increased number of lines in the image (and, consequently, an increased number of lines for the detected I coded light). The user interface is adapted to then output the indication of the target reorientation to the user, forcing the user to activate the target reorientation.

Таким образом, например, если источник света является длинной, тонкой прямоугольной трубчатой люминесцентной лампой, а строки являются горизонтальными рядами, пользователь будет вынужден повернуть его или ее устройство так, чтобы источник света присутствовал более вертикально на захваченном изображении, тем самым охватывая больше строк для обнаружения кодированного света.Thus, for example, if the light source is a long, thin rectangular tubular fluorescent lamp, and the rows are horizontal rows, the user will have to rotate his or her device so that the light source is more vertical on the captured image, thereby covering more rows to detect coded light.

Предпочтительно, целевая переориентация является такой, которая требуется для того, чтобы отпечаток охватывал максимальное количество строк (охватываемых отпечатком, учитывая текущее расстояние устройства от источника света). Однако, даже если не является максимальным, по-прежнему может быть выгодным вынуждать переориентацию в направлении любого увеличенного количества строк по отношению к текущей ориентации.Preferably, the target reorientation is such that it is required for the fingerprint to cover the maximum number of lines (covered by the fingerprint, taking into account the current distance of the device from the light source). However, even if it is not the maximum, it may still be beneficial to force a reorientation towards any increased number of lines relative to the current orientation.

В вариантах осуществления интерфейс пользователя содержит дисплей, но не требуется, чтобы захваченное изображение было видимым на упомянутом дисплее.In embodiments, the user interface comprises a display, but it is not required that the captured image be visible on said display.

В вариантах осуществления интерфейс пользователя содержит дисплей и указание целевой переориентации выводится пользователю через дисплей.In embodiments, the user interface comprises a display and an indication of the target reorientation is displayed to the user through the display.

Например, указание может содержать контент дисплея, повернутый на дисплее таким образом, что правильный (в прямом направлении) просмотр контента требует того, чтобы пользователь повернул его или ее устройство в целевую переориентацию. Например, указание может содержать текст, показываемый на дисплее, ориентированный на дисплее так, что чтобы прочитать текст в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию; и/или графику на экране, ориентированную на экране так, что чтобы просмотреть графику в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию.For example, the indication may contain the display content rotated on the display in such a way that a correct (forward) viewing of the content requires the user to turn his or her device into a target reorientation. For example, the indication may contain text displayed on the display, oriented on the display so that in order to read the text in the forward direction, it is required that the user rotates the device into said target reorientation; and / or graphics on the screen oriented on the screen so that in order to view the graphics in the forward direction, it is required that the user rotates the device into said target reorientation.

В качестве другого примера, указание может содержать стрелку на дисплее, указывающую в какую сторону повернуть устройство, чтобы получить упомянутую целевую переориентацию.As another example, the indication may contain an arrow on the display, indicating which way to turn the device in order to obtain said target reorientation.

В дополнительном примере, указание может содержать изменение цвета и/или интенсивности на дисплее в зависимости от текущей ориентации устройства по отношению к целевой переориентации. Например, указание может содержать изменение цвета пикселей границы дисплея. Например, цвет может быть зеленым, чтобы указать на то, что устройство повернуто близко к упомянутой целевой переориентации, и красным, чтобы указать на то, что устройство повернуто далеко от целевой переориентации.In an additional example, the indication may contain a change in color and / or intensity on the display, depending on the current orientation of the device with respect to the target reorientation. For example, the indication may contain a change in the color of the pixels of the display border. For example, the color may be green to indicate that the device is rotated close to the target reorientation mentioned, and red to indicate that the device is rotated far from the target reorientation.

В еще одном другом примере, упомянутое указание может содержать отображение метрики, измеряющей текущую ориентацию устройства по отношению к целевой ориентации. Например, метрика может представлять собой текущее количество строк элемента захвата изображения, охватываемое упомянутым отпечатком по отношению к максимальному количеству строк, которое может быть охвачено отпечатком на текущем расстоянии устройства от источника света.In yet another example, said indication may comprise displaying a metric measuring the current orientation of the device with respect to the target orientation. For example, a metric can be the current number of rows of an image capture element covered by said fingerprint with respect to the maximum number of lines that can be covered by a fingerprint at the device’s current distance from the light source.

Предпочтительно модуль обработки содержит модуль обработки изображения, выполненный с возможностью выполнения упомянутого обнаружения посредством обнаружения ориентации источника света, как присутствующего на захваченном изображении, по отношению к строкам элемента захвата изображения, например, на основании методик распознавания отпечатка для обнаружения источников кодированного света, и или одной или более других методик распознавания изображения.Preferably, the processing module comprises an image processing module configured to perform the above-mentioned detection by detecting the orientation of the light source as being present in the captured image with respect to the rows of the image pickup element, for example, based on fingerprint recognition techniques for detecting coded light sources, and or or more other image recognition techniques.

Тем не менее, в качестве альтернативы или в дополнение, модуль обработки может быть выполнен с возможностью выполнения упомянутого обнаружения на основании абсолютной ориентации устройства, измеренной используя датчик ориентации, позиции устройства, измеренной используя систему позиционирования, и построения соответствия между позицией и предварительно определенным знанием об абсолютной ориентации источника света; модуль обработки таким образом определяющий относительную ориентацию из абсолютной ориентации устройства, сравненной с абсолютной ориентацией источника света.However, alternatively or in addition, the processing module may be configured to perform the above detection based on the absolute orientation of the device, measured using an orientation sensor, the position of the device measured using a positioning system, and building a correspondence between the position and a predetermined knowledge of absolute orientation of the light source; the processing module thus determining the relative orientation of the absolute orientation of the device, compared with the absolute orientation of the light source.

В соответствии с другим раскрываемым в данном документе аспектом, предоставляется способ, содержащий этапы, на которых: используют камеру устройства, чтобы захватить изображение сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света; и камера содержит элемент захвата изображения, разделенный на множество строк, в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени; обнаруживают ориентацию источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения; на основании упомянутого обнаружения, определяют целевую переориентацию устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении; и выводят указание упомянутой целевой переориентации пользователю, через интерфейс пользователя устройства.In accordance with another aspect disclosed herein, a method is provided comprising: using a device camera to capture an image of a scene containing light from a light source, wherein the light from the light source is modulated with the coded light component; and the camera contains an image capture element divided into a plurality of lines, as a result of which, in order to capture an image, sequential exposure of the lines is carried out at different times; detecting the orientation of the light source, as projected onto the plane of the image capture element, with respect to the rows of the image capture element; based on the above detection, determine the target reorientation of the device, so that the imprint of light from the light source covers an increased number of the mentioned lines in the image; and outputting the indication of said target reorientation to the user via the user interface of the device.

В соответствии с другим раскрываемым в данном документе аспектом, предоставляется компьютерный программный продукт, содержащий код, воплощенный на компьютерночитаемом носителе информации, и выполненный таким образом, чтобы при исполнении выполнять соответствующие операции устройства. Например, программа может быть сохранена на сервере так, чтобы загружаться на устройство, или сохранена на локальном хранилище устройства, или где-либо еще; и может быть исполнена на (микро)процессоре устройства или более чем одном из нескольких процессоров устройства, если оно так оборудовано.In accordance with another aspect disclosed herein, a computer program product is provided comprising a code embodied on a computer-readable storage medium, and designed in such a way that, when executed, perform the corresponding operations of the device. For example, a program can be stored on a server so that it can be loaded onto a device, or stored on a local storage device, or anywhere else; and can be executed on a (micro) device processor or more than one of several device processors, if equipped.

В вариантах осуществления, способ может дополнительно содержать этапы или компьютерную программу, дополнительно выполненную с возможностью выполнения операций в соответствии с любым из раскрываемых в данном документе признаков устройства.In embodiments, the method may further comprise steps or a computer program, further configured to perform operations in accordance with any of the features of the device disclosed herein.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

Чтобы способствовать пониманию настоящего раскрытия и чтобы показать то, каким образом варианты осуществления могут быть введены в действие, в качестве примера делается ссылка на сопроводительные чертежи, на которых:To facilitate an understanding of the present disclosure and to show how the embodiments may be put into action, reference is made to the accompanying drawings as an example, in which:

Фигура 1 схематично иллюстрирует пространство, содержащее систему освещения и камеру,Figure 1 schematically illustrates a space containing a lighting system and a camera,

Фигура 2 является принципиальной структурной схемой устройства с камерой для приема кодированного света;Figure 2 is a schematic block diagram of a device with a camera for receiving coded light;

Фигура 3 схематично иллюстрирует элемент захвата изображения камеры с рулонным затвором,Figure 3 schematically illustrates the image capture element of a camera with a roller shutter,

Фигура 4 схематично иллюстрирует захват модулированного света посредством рулонного затвора,Figure 4 schematically illustrates the capture of modulated light by means of a roller shutter,

Фигура 5 является схематическим представлением изображения захвата,Figure 5 is a schematic representation of a capture image,

Фигура 6 является другим схематичным представлением захваченного изображения,Figure 6 is another schematic representation of the captured image,

Фигура 7 является другим схематичным представлением захваченного изображения,Figure 7 is another schematic representation of the captured image,

Фигура 8 является принципиальной структурной схемой компоновки для обработки захваченных изображений,Figure 8 is a schematic block arrangement diagram for processing captured images,

Фигура 9 является схематическим представлением повернутого контента, выводимого через интерфейс пользователя,Figure 9 is a schematic representation of rotated content output via a user interface,

Фигура 10 является схематическим представлением метрики, выводимой посредством интерфейса пользователя, иFigure 10 is a schematic representation of a metric outputted by a user interface, and

Фигура 11 является другим схематичным представлением метрики с Фигуры 10.Figure 11 is another schematic representation of the metric from Figure 10.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDETAILED DESCRIPTION OF EMBODIMENTS

Фигура 1 показывает примерную среду 2, в которой могут быть развернуты раскрываемые в данном документе варианты осуществления. Например, среда может содержать одну или более комнаты и/или коридоры офиса, дома, школы, больницы, музея, или другого пространства внутри помещения; или пространство вне помещения, такое как парк, улица, стадион или нечто подобное; или другой тип пространства, такой как бельведер или салон транспортного средства. В среде 2 инсталлирована система освещения, содержащая, по меньшей мере, одно устройство 4 освещения в форме осветительного прибора. Также в среде 2 присутствует терминал 6 пользователя, предпочтительно мобильное устройство, такое как интеллектуальный телефон или планшет. Осветительный прибор 4 содержит элемент освещения, такой как LED, массив LED, лампа накаливания или газоразрядная лампа. Свет, испускаемый элементом освещения каждого из одного или более осветительных приборов, является модулированным с компонентом кодированного света на частоте, по существу, незаметной человеческому глазу.Figure 1 shows an exemplary environment 2 in which embodiments of which are disclosed herein may be deployed. For example, a medium may contain one or more rooms and / or corridors of an office, home, school, hospital, museum, or other indoor space; or outdoor space, such as a park, street, stadium, or something similar; or another type of space, such as a belvedere or a vehicle cabin. In environment 2, a lighting system is installed, containing at least one lighting device 4 in the form of an illumination device. Also in environment 2 there is a user terminal 6, preferably a mobile device, such as a smart phone or tablet. The illuminator 4 comprises an element of illumination, such as an LED, an array of LEDs, an incandescent lamp, or a discharge lamp. The light emitted by the lighting element of each of the one or more lighting devices is modulated with a component of the coded light at a frequency that is essentially imperceptible to the human eye.

Это может быть выполнено посредством выбора достаточно высокой частоты модуляции и посредством включения мер для ограничения отклонения в частотном спектре светоотдачи, например, как в результате модулированных данных, ниже критической частоты мерцаний зрительной системы человека. Что касается зависимых от данных спектральных компонентов, отмечается, что использование кодов без постоянной составляющей и/или кодов без квадрата постоянной составляющей (DC2-free) может быть в частности выгодным, чтобы ограничивать низкочастотные компоненты в светоотдаче.This can be accomplished by selecting a sufficiently high modulation frequency and by including measures to limit the deviations in the frequency spectrum of light output, for example, as a result of modulated data, below the critical frequency of flicker of the human visual system. With regard to data-dependent spectral components, it is noted that the use of codes without a constant component and / or codes without a square of a constant component (DC 2 -free) may be particularly advantageous in order to limit the low-frequency components in the light output.

Фигура 2 предоставляет структурную схему мобильного устройства 6. Устройство 6 содержит интерфейс 8 пользователя (предпочтительно дисплей, такой как экран или сенсорный экран), камеру 10 с двумерным элементом 20 захвата изображения, и модуль 12 анализа изображения, связанный с элементом 20 захвата изображения и интерфейсом 8 пользователя. Модуль 12 анализа изображения выполнен с возможностью обработки сигналов, представляющих собой изображения, захваченные элементом захвата изображения, и, на их основании, декодирования компонентов кодированного света в свете, из которого было захвачено изображение. Модуль 12 анализа изображения может быть реализован в форме кода, хранящегося на компьютерночитаемом запоминающем носителе информации или носителях информации, и выполненного с возможностью исполнения на процессоре, содержащем один или более блоки обработки. В качестве альтернативы, не исключается, что некоторая часть или весь модуль 12 анализа изображения может быть реализован в предназначенной схеме аппаратного обеспечения или реконфигурируемой схеме, такой как FPGA.Figure 2 provides a block diagram of a mobile device 6. Device 6 comprises a user interface 8 (preferably a display, such as a screen or a touch screen), a camera 10 with a two-dimensional image pickup element 20, and an image analysis module 12 associated with the image pickup element 20 and interface 8 users. The image analysis module 12 is configured to process signals representing images captured by an image pickup element, and, on their basis, decoding components of the coded light in the light from which the image was captured. The image analysis module 12 may be implemented in the form of a code stored on a computer readable storage medium or information carriers configured to be executed on a processor containing one or more processing units. Alternatively, it is not excluded that some or all of the image analysis module 12 may be implemented in a designated hardware circuit or a reconfigurable circuit, such as FPGA.

Фигура 3 представляет собой элемент 20 захвата изображения камеры 10. Элемент 20 захвата изображения содержит массив пикселей для захвата сигналов, представляющих собой падающий свет на каждом пикселе, например, как правило, квадратный или прямоугольный массив из квадратных или прямоугольных пикселей. В камере с рулонным затвором, пиксели организованы во множество строк, например, горизонтальные ряды 22. Чтобы захватить кадр осуществляется последовательное экспонирование каждой строки, каждая на последующий экземпляр времени Texp экспонирования камеры. В данном случае, время экспонирования является продолжительностью экспонирования отдельной строки. Конечно следует отметить, что в контексте цифровой камеры, терминология «осуществлять экспонирование» или «экспонирование» не относится к механическому срабатыванию затвора или нечто подобному (из чего исторически возникла терминология), а наоборот ко времени, когда строка активно используется, чтобы захватить или отобрать образец света из среды. Также следует отметить, что последовательность в настоящем раскрытии означает временную последовательность, т.е., так что экспонирование каждой строки начинается в незначительно разное время (и опционально экспонирование строк может накладываться во времени). Например, экспонирование первого верхнего ряда 221 начинает осуществляться в течение продолжительности Texp, затем в несколько более позднее время начинает осуществлять экспонирование второго ряда 222 ниже в течение Texp, затем в несколько более позднее время вновь начинается осуществляться экспонирование третьего ряда 223 в течение Texp, и т.д. до тех пор, пока не будет осуществлено экспонирование нижнего ряда. Данный процесс затем повторяется, чтобы осуществить экспонирование последовательности кадров.Figure 3 is the image capture element 20 of the camera 10. The image capture element 20 comprises an array of pixels for capturing signals representing incident light at each pixel, for example, as a rule, a square or rectangular array of square or rectangular pixels. In a camera with a roller shutter, the pixels are organized in multiple rows, for example, horizontal rows 22. To capture a frame, each row is sequentially exposed, each for a subsequent instance of the camera's exposure time T exp . In this case, the exposure time is the duration of exposure of a single line. Of course, it should be noted that in the context of a digital camera, the terminology “to carry out exposure” or “exposure” does not refer to the mechanical actuation of the shutter or something similar (from which the terminology has historically originated), but rather to the time when the line is actively used to capture or select sample of light from the environment. It should also be noted that the sequence in the present disclosure means a time sequence, i.e., so that the exposure of each row starts at slightly different times (and optionally the exposure of the rows may overlap over time). For example, the exposure of the first upper row 22 1 begins for the duration of T exp , then at a somewhat later time begins to exhibit the second row 22 2 below for T exp , then at a somewhat later time the third row 22 3 in T exp , etc. until the bottom row is exposed. This process is then repeated to carry out the exposure of a sequence of frames.

В документе WO2012/127439, например, было описано то, каким образом кодированный свет может быть обнаружен, используя традиционную видео камеру данного типа. Обнаружение сигнала использует захват изображения с рулонным затвором, который вызывает перевод временных модуляций света в пространственные вариации интенсивности по последовательным рядам изображения.Document WO2012 / 127439, for example, described how coded light can be detected using a traditional video camera of this type. Signal detection uses a shutter capture of the image, which causes the translation of temporal modulations of light to spatial variations in intensity over successive rows of the image.

Это схематично иллюстрируется Фигурой 4. По мере того, как осуществляется экспонирование каждой последовательной строки 22, ее экспонирование осуществляется в несколько разное время и, вследствие этого (если частота строк достаточно высока в сравнении с частотой модуляции), в несколько разные фазы модуляции. Таким образом, экспонирование каждой строки 22 осуществляется с соответствующим мгновенным уровнем модулированного света. Это приводит к модели из полос, которые являются волнообразными или цикличными сообразно модуляции по заданному кадру. На основании данного принципа, модуль 14 анализа изображения способен обнаружить компоненты кодированного света, модулированные в свете, принимаемом камерой 10.This is schematically illustrated by Figure 4. As each consecutive line 22 is exposed, its exposure takes place at several different times and, as a consequence (if the line frequency is high enough compared to the modulation frequency), at several different modulation phases. Thus, the exposure of each line 22 is carried out with a corresponding instantaneous level of modulated light. This leads to a pattern of bands that are wave-like or cyclical in accordance with the modulation for a given frame. Based on this principle, the image analysis module 14 is able to detect the components of the coded light modulated in the light received by the camera 10.

В качестве альтернативы использованию одного фотодетектора, использование камеры с рулонным затвором, чтобы обнаруживать кодированный свет, дает разнообразные преимущества. Одним таким преимуществом является пространственное разделение разных источников света в плоскости изображения, обеспечивающее одновременную идентификацию нескольких источников света и разделение их распределения света (их «отпечатков») по освещенной сцене.As an alternative to using a single photodetector, using a camera with a shutter to detect coded light provides various advantages. One such advantage is the spatial separation of different light sources in the image plane, ensuring the simultaneous identification of several light sources and the separation of their light distribution (their “fingerprints”) in the illuminated scene.

Например, документ EP 2,503,852 описывает то, каким образом методики типа с рулонным затвором могут быть использованы не только чтобы обнаруживать идентификационные данные или данные, сигнализируемые компонентом кодированного света, но также и пространственный отпечаток отдельного компонента кодированного света в случае, когда присутствует несколько компонентов кодированного света в среде от разных осветительных приборов. Т.е., амплитуда отдельного компонента может быть определена как функция пространственных координат в захваченной изображении, например, как функция декартовых координат x и y пикселя, отделенная от вклада другого компонента или компонентов.For example, EP 2,503,852 describes how roll shutter type techniques can be used not only to detect identification data or data signaled by a component of the coded light, but also the spatial imprint of a single component of the coded light in the case where several components of the coded light are present. in the environment from different lighting devices. That is, the amplitude of a separate component can be defined as a function of spatial coordinates in the captured image, for example, as a function of Cartesian coordinates x and y of a pixel, separated from the contribution of another component or components.

Применительно к обнаружению кодированного света, конкретное использование камер с датчиком изображения с рулонным затвором также обладает преимуществом над считыванием с помощью глобального затвора (где за раз осуществляется экспонирование всего кадра), состоящим в том, что разные экземпляры времени последовательных строк датчика вызывают перевод быстрых модуляций света в пространственные модели, как обсуждалось в отношении Фигуры 4. Тем не менее, в отличие от показанного на Фигуре 4, свет (или, по меньшей мере, используемый свет) от заданного источника 4 света не обязательно охватывает зону всего элемента 20 захвата изображения, а наоборот только некоторый отпечаток. Как следствие, чем короче вертикальное распределение захваченного отпечатка света, тем более длительной является продолжительность, в течение которой может быть обнаружен сигнал кодированного света. На практике, это означает, что только временной фрагмент всего сигнала кодированного света может быть захвачен в рамках одного кадра, так что требуется несколько кадров для того, чтобы захватить достаточно смещенных фрагментов сигнала, чтобы восстановить данные, внедренные в кодированный свет. Чем меньше фрагмент сигнала в каждом кадре, тем больше требуется захваченных кадров перед тем, как будет возможно восстановление данных.For coded light detection, the specific use of cameras with a roller shutter image sensor also has an advantage over reading through a global shutter (where the entire frame is exposed at a time), which means that different instances of consecutive sensor lines translate fast light modulations in spatial models, as discussed in relation to Figure 4. However, unlike the one shown in Figure 4, the light (or, at least, the light used) from the rear 4 continuous source of light does not necessarily cover the entire area of the image capturing element 20, but rather only some imprint. As a result, the shorter the vertical distribution of the captured light imprint, the longer the duration during which the coded light signal can be detected. In practice, this means that only a time fragment of the entire coded light signal can be captured within a single frame, so several frames are required to capture enough displaced signal fragments to recover the data embedded in the coded light. The smaller the signal fragment in each frame, the more captured frames are required before data recovery will be possible.

Кодированный свет может быть обнаружен либо посредством направления камеры 10 на источник света, либо посредством направления камеры на освещенную поверхность. Посредством использования фронтальной камеры мобильного устройства 6, кодированный свет может быть обнаружен при сохранении свободного просмотра на дисплее мобильного устройства. Например, это позволяет использовать мобильное устройство 6 как часть фазы инсталляции освещения (например, ввода в эксплуатацию). В качестве альтернативы или в дополнение, после инсталляции, мобильное устройство 6 может быстро восстанавливать особые для лампы идентификаторы, внедренные в кодированный свет, чтобы предоставлять диапазон услуг конечному пользователю, основанных на его или ее местоположении в здании. Например, такая основанная на местоположении услуга может быть использована для навигации внутри помещения, и/или персонализированного управления локальным освещением посредством регулирования осветительного прибора, который распознается посредством ID, внедренного в кодированный свет (управление, осуществляемое через подходящий обратный канал, например RF).The coded light can be detected either by directing the camera 10 towards the light source, or by directing the camera towards the illuminated surface. By using the front camera of the mobile device 6, the coded light can be detected while maintaining the free viewing on the display of the mobile device. For example, this allows mobile device 6 to be used as part of the lighting installation phase (for example, commissioning). Alternatively or in addition, after installation, mobile device 6 can quickly recover lamp-specific identifiers embedded in the coded light to provide a range of services to the end user based on his or her location in the building. For example, such a location-based service can be used for indoor navigation, and / or personalized control of local lighting by adjusting a lighting device that is recognized by an ID embedded in the coded light (control through a suitable return channel, such as RF).

Распространенной ситуацией в больших общественных пространствах, таких как офисы, магазины и аэропорты, является использование длинных рядов узких осветительных приборов, которые смонтированы на потолке. Даже в случае LED освещения, линейная форма осветительных приборов часто соответствует люминесцентным осветительным приборам (TL-трубки), для которых такие LED осветительные приборы часто служат заменой.A common situation in large public spaces, such as offices, shops and airports, is the use of long rows of narrow lighting fixtures that are mounted on the ceiling. Even in the case of LED lighting, the linear shape of lighting fixtures often corresponds to fluorescent lighting fixtures (TL tubes) for which such LED lighting fixtures often serve as replacements.

Эффективная полоса пропускания обнаружения у обнаружения кодированного света с помощью камеры с рулонным затвором определяется количеством строк датчика, на которых присутствует сигнал кодированного света. Это означает, что время, требуемое для восстановления данных, строго зависит от ориентации мобильного устройства 6 по отношению к длинной оси осветительного прибора 4 (предполагая, что камера 10 является частью мобильного устройства 6 и, вследствие этого перемещается с ним). Если узкий осветительный прибор 4 присутствует так, что его длинная ось параллельна строкам датчика 20 изображения, времена обнаружения могут стать очень длинными. В крайних случаях обнаружение и вовсе может быть невозможным.The effective detection bandwidth for detecting coded light with a camera with a roll-top shutter is determined by the number of sensor lines on which the coded light signal is present. This means that the time required for data recovery strictly depends on the orientation of the mobile device 6 with respect to the long axis of the lighting device 4 (assuming that camera 10 is part of mobile device 6 and, consequently, moves with it). If the narrow fixture 4 is present so that its long axis is parallel to the rows of the image sensor 20, the detection times may become very long. In extreme cases, detection may not be possible at all.

Фигуры с 5 по 7 показывают три типичных случая внешнего вида вытянутого потолочного осветительного прибора, как наблюдаемого обращенной фронтально камерой 10 мобильного устройства 6, т.е. как проецируемого на плоскость элемента 20 захвата изображения. Стрелки указывают вертикальную протяженность светящейся зоны в кадре камеры. Фигура 5 показывает наименее выгодную ситуацию для обнаружения кодированного света. Поворот устройства как на Фигуре 6, или оптимально, как на Фигуре 7, улучшает вертикальную протяженность, по которой захватывается сигнал кодированного света или фрагмент сигнала.Figures 5 through 7 show three typical cases of the appearance of an elongated ceiling light as observed by the front-facing camera 10 of the mobile device 6, i.e. as projected onto the plane of the element 20 image capture. The arrows indicate the vertical length of the luminous zone in the frame of the camera. Figure 5 shows the least advantageous situation for detecting coded light. Rotation of the device as in Figure 6, or optimally, as in Figure 7, improves the vertical extent by which the coded light signal or signal fragment is captured.

Было бы желательным обеспечить или улучшить обнаружение кодированного света в случаях, где изображение источника 4 света присутствует параллельным (например, горизонтальным) или под небольшим углом по отношению к строкам 22 (например, рядам) элемента 20 захвата изображения. В соответствии с нижеследующим, это достигается посредством обнаружения относительной ориентации между изображением источника 4 света и строками 22, и вычисления требуемой переориентации устройства 6 (предполагая, что камера 10 является частью устройства 6 и таким образом перемещается с ним), так что изображение источника 4 света присутствует с более крутым углом по отношению к строкам элемента 20 захвата изображения, предпочтительно с правильными углами (например вертикально) к линиям 22 (например, рядам). Указание целевой переориентации выводится в интерфейс 8 пользователя (предпочтительно на экран), предназначенный для того, чтобы предписать пользователю повернуть его мобильное устройство в направлении более выгодной ориентации по отношению к осветительному прибору(ам).It would be desirable to provide or improve the detection of coded light in cases where the image of light source 4 is present parallel (for example, horizontal) or at a slight angle to lines 22 (for example, rows) of image capture element 20. In accordance with the following, this is achieved by detecting the relative orientation between the image of light source 4 and lines 22, and calculating the required reorientation of device 6 (assuming camera 10 is part of device 6 and thus moving with it), so that image of light source 4 is present with a steeper angle relative to the rows of the image capturing element 20, preferably with correct angles (for example, vertically) to lines 22 (for example, rows). The indication of the target reorientation is displayed on the user interface 8 (preferably on the screen), intended to instruct the user to rotate his mobile device in the direction of a more advantageous orientation with respect to the lighting fixture (s).

Фигура 8 представляет схематический вид мобильного устройства 6, выполненного в соответствии с вариантами осуществления настоящего раскрытия. Функциональные блоки указываются прямоугольными блоками, а соответствующие элементы информационного потока указываются с помощью скругленных блоков.Figure 8 is a schematic view of a mobile device 6, made in accordance with embodiments of the present disclosure. The functional blocks are indicated by rectangular blocks, and the corresponding elements of the information flow are indicated by rounded blocks.

Устройство 6 является предпочтительно мобильным устройством, таким как планшет или интеллектуальный телефон. Как обсуждалось в отношении Фигуры 2, оно содержит встроенную камеру 10 (предпочтительно фронтально обращенную камеру), интерфейс 8 пользователя, который может быть дисплеем с информацией и элементами управления (например, сенсорным экраном), и модуль 12 обработки (например, который может быть реализован в встроенной памяти микропроцессоре устройства 6). Модуль 12 обработки содержит подсистему или алгоритм, чтобы определять ориентацию источника света или ориентацию освещенной зоны по отношению к камеры 10, как впрочем и средство, чтобы менять аспект интерфейса 8 пользователя таким образом, который неявно или явно предлагает пользователю, чтобы он или она повернул устройство в ориентацию, которая оптимизирует обнаружение кодированного света. Предпочтительно интерфейс пользователя не требует того, чтобы изображение камеры было видимым на дисплее 8.Device 6 is preferably a mobile device, such as a tablet or smart phone. As discussed in relation to Figure 2, it comprises an integrated camera 10 (preferably a front facing camera), a user interface 8, which may be a display with information and controls (eg, a touch screen), and a processing module 12 (eg, which may be implemented in the internal memory of the device microprocessor 6). Processing module 12 comprises a subsystem or algorithm to determine the orientation of the light source or the orientation of the illuminated area with respect to camera 10, as well as the means to change the aspect of user interface 8 in a way that implicitly or explicitly suggests to the user that he or she turns the device in an orientation that optimizes the detection of coded light. Preferably, the user interface does not require the camera image to be visible on the display 8.

Как показано на Фигуре 8, модуль 12 обработки устройства 6 содержит блок 32 определения ориентации и блок 38 сравнения. Блок 32 определения ориентации выполнен с возможностью приема потока 30 изображения от элемента 20 захвата изображения камеры 10, при этом поток 30 содержит данные захваченного изображения одного или более изображений среды 2, включая изображение источника 4 света в, по меньшей мере, одном из захваченных изображений. Блок 32 определения ориентации содержит блок распознавания отпечатка, выполненный с возможностью распознавания отпечатка источника 4 света в захваченном изображении, например используя методики, как раскрывается в документе EP 2,503,852. На основании этого, блок 32 определения ориентации определяет текущую ориентацию источника 4 света, как он присутствует в захваченном изображении, например, как показано на Фигурах 5, 6 и 7. Блок 32 определения ориентации затем выводит первый сигнал 34, представляющий собой данную текущую ориентацию, в блок 38 сравнения.As shown in Figure 8, the processing unit 12 of the device 6 comprises an orientation determination unit 32 and a comparison unit 38. The orientation determining unit 32 is configured to receive the image stream 30 from the image capturing element 20 of the camera 10, and the stream 30 contains captured image data of one or more images of the environment 2, including the image of the light source 4 in at least one of the captured images. The orientation determination unit 32 comprises a fingerprint recognition unit configured to recognize the fingerprint of the light source 4 in the captured image, for example using techniques as disclosed in EP 2,503,852. Based on this, the orientation determination unit 32 determines the current orientation of the light source 4 as it is present in the captured image, for example, as shown in Figures 5, 6 and 7. The orientation determination unit 32 then outputs the first signal 34, which is the current orientation, in block 38 comparison.

В качестве альтернативы или в дополнение, относительная ориентация может быть определена другим образом. Например, блок 32 определения ориентации может быть выполнен с возможностью получения ориентации мобильного устройства 6 от датчика ориентации, и объединения этого с информацией о местоположении, извлеченной из системы позиционирования для того, чтобы определить относительную ориентацию между устройством 6 и осветительным прибором 4. Например, датчик ориентации может быть выполнен в виде компаса, гироскопического(их) датчика(ов) и/или акселерометра(ов), интегрированного в мобильное устройство 6, тогда как система позиционирования может быть выполнена в виде основанной на спутнике системы позиционирования (например, GPS, ГЛОНАСС или Galileo) или локальной RF сети связи (например, используя триангуляцию, трилатерацию и мультилатерацию, основанные на сигналах, передаваемых между мобильным устройством 6 и беспроводными узлами сети). Датчик ориентации предоставляет ориентацию устройства 6 по отношению к миру (при условии, что сигнал является надежным), а информация, принимаемая от системы позиционирования, дает местоположение устройства в мире. При наличии доступа к подходящей базе данных освещения (либо хранящейся локально на устройстве, либо доступ к которой осуществляется удалено, например, через сеть), это может позволить блоку 32 определения ориентации провести поиск в отношении того, какой осветительный прибор(ы) 4 присутствуют в текущем местоположении и их «абсолютную» ориентацию, например, относительно карты, планировки или 3D модели среды. Зная также ориентацию мобильного устройства 6 относительно карты, планировки или модели (от датчика ориентации), блок 32 определения ориентации может, следовательно, определять относительную ориентацию устройства 6 и осветительного прибора 4, и, следовательно, ориентацию осветительного прибора 4, как он будет присутствовать на захваченном изображении. Например, информация о местоположении может быть соотнесена с определенным магазином, и база данных может записывать локальную ориентацию осветительных приборов, которые, как правило, являются однонаправленными по всему пространству магазина.Alternatively or in addition, the relative orientation can be determined in another way. For example, the orientation determining unit 32 may be configured to obtain the orientation of the mobile device 6 from the orientation sensor, and combine this with the location information extracted from the positioning system in order to determine the relative orientation between the device 6 and the lighting device 4. For example, the sensor orientation can be made in the form of a compass, a gyroscopic (s) sensor (s) and / or an accelerometer (s) integrated into the mobile device 6, while the positioning system can be It is designed as a satellite-based positioning system (e.g., GPS, GLONASS or Galileo), or a local RF communication network (e.g., using triangulation, trilateration and multilateration based on signals transmitted between the mobile device and wireless network 6 nodes). The orientation sensor provides the orientation of the device 6 with respect to the world (provided that the signal is reliable), and the information received from the positioning system gives the location of the device in the world. If you have access to a suitable lighting database (either stored locally on the device or accessed remotely, for example, via a network), this may allow the orientation determining unit 32 to search for which lighting fixture (s) 4 are present in current location and their “absolute” orientation, for example, relative to a map, layout, or 3D environment model. Knowing also the orientation of the mobile device 6 relative to the map, layout, or model (from the orientation sensor), the orientation determining unit 32 can therefore determine the relative orientation of the device 6 and the lighting device 4, and therefore the orientation of the lighting device 4, as it will be present captured image. For example, location information can be correlated to a specific store, and the database can record the local orientation of the lighting fixtures, which are usually unidirectional throughout the store space.

Таким образом, при наличии опций выше, в разнообразных вариантах осуществления ориентация мобильного устройства 8 может быть определена из распознавания отпечатка, основанного исключительно на изображении, захваченном камерой, или без камеры, на основании датчика ориентации и системы позиционирования; или информации из обоих методик может быть объединена при определении ориентации.Thus, with the options available above, in various embodiments, the orientation of the mobile device 8 can be determined from fingerprint recognition based solely on the image captured by the camera, or without the camera, on the basis of the orientation sensor and the positioning system; or information from both techniques can be combined in determining orientation.

Так или иначе, блок 38 сравнения также извлекает второй сигнал 36, представляющий собой требуемую ориентацию для источника 4 света, как он будет присутствовать на захваченном изображении. Например, блок 38 сравнения извлекает предварительно запрограммированное знание о том, что требуется вертикальная ориентация (в случае горизонтальных строк 22). Блок 38 сравнения затем сравнивает эти два сигнала 36, 38, чтобы определить указание 40 предпочтительной переориентации устройства 6, которое выводится через интерфейс 8 пользователя.Anyway, the comparison unit 38 also extracts the second signal 36, which is the desired orientation for the light source 4, as it will be present in the captured image. For example, comparison unit 38 retrieves a pre-programmed knowledge that vertical orientation is required (in the case of horizontal lines 22). Comparison unit 38 then compares these two signals 36, 38 to determine indication 40 of the preferred reorientation of device 6, which is output via user interface 8.

В вариантах осуществления, указание 40 реализуется посредством определения требуемой ориентации интерфейса пользователя (UI) для интерфейса 8 пользователя, в результате чего тот контент отображается в UI 8 с такой ориентацией, что для правильного (в прямом направлении) чтения, пользователь должен повернуть его или ее телефон или планшет в направлении, наиболее выгодном для обнаружения кодированного света. Таким образом пользователя неявным образом заставляют выполнить переориентацию. Например, текст на дисплее устройства ориентирован так, что для правильного чтения требуется повернуть интеллектуальный телефон 6 в направлении для оптимального (или, по меньшей мере, улучшенного) обнаружения кодированного света. В качестве другого примера, ориентация графики (например, фотографии или чертежа) на дисплее устройства является такой, что для правильного просмотра требуется повернуть интеллектуальный телефон в направлении более выгодном для обнаружения кодированного света. Например, данная графика может содержать логотип компании, интерактивный элемент управления, такой как ползунок, который регулируется посредством взаимодействия с сенсорным экраном, и/или изображения, в рассмотрении которого пользователь заинтригован.In embodiments, instruction 40 is implemented by determining the desired user interface (UI) orientation for user interface 8, with the result that that content is displayed in UI 8 in such an orientation that for the right (forward) reading, the user must rotate him or her phone or tablet in the most advantageous direction for detecting coded light. Thus, the user is implicitly forced to perform a reorientation. For example, the text on the device display is oriented so that for correct reading it is required to turn the smart phone 6 in the direction for optimal (or, at least, improved) detection of the coded light. As another example, the orientation of a graphic (for example, a photo or a drawing) on a device display is such that in order to view it correctly, you need to turn the smart phone in a direction more favorable for detecting coded light. For example, this graphic may contain a company logo, an interactive control, such as a slider, which is adjusted by interacting with a touch screen, and / or an image, in consideration of which the user is intrigued.

Например, обратимся к Фигуре 9. На ней контент содержит картинку кошки 44 и/или некоторый текст 42, но повернутые на угол. Даже не задумываясь, пользователь находит в себе желание полюбоваться кошкой 44 или прочитать текст 42 и инстинктивно поворачивает устройство так, что контент отображается прямо. Угол, под которым теперь держат устройство 6, является оптимальным углом для обнаружения кодированного света.For example, refer to Figure 9. On it, the content contains a picture of a cat 44 and / or some text 42, but rotated by an angle. Without even thinking, the user finds in himself the desire to admire the cat 44 or read the text 42 and instinctively turns the device so that the content is displayed directly. The angle at which device 6 is now held is the optimum angle for detecting coded light.

В другом варианте осуществления, контент интерфейса пользователя может быть повернут, но текст, выражающий сообщение, чтобы повернуть устройство, отображается прямо (и может удерживаться в прямом направлении в то время, как устройство 6 поворачивается), так что пользователь устройства 6 видит инструкцию, в отношении поворота, удобочитаемым образом. Текст может быть удален, как только устройство 6 было повернуто в оптимальную ориентацию.In another embodiment, the content of the user interface can be rotated, but the text expressing the message to rotate the device is displayed directly (and can be held in the forward direction while the device 6 is rotated), so that the user of device 6 sees the instruction in respect to turning, in a readable way. Text can be deleted as soon as device 6 has been rotated to its optimal orientation.

В другом варианте осуществления, стрелка на дисплее 8 указывает оптимальную ориентацию для обнаружения кодированного света.In another embodiment, the arrow on the display 8 indicates the optimal orientation for detecting coded light.

В другом варианте осуществления, цвет указывает на то, в какой степени ориентация является оптимальной для обнаружения кодированного света. Возможной реализацией является использование цветной границы, цвет которой меняется от красного к зеленому, в зависимости от ориентации осветительных приборов.In another embodiment, the color indicates the degree to which the orientation is optimal for detecting coded light. A possible implementation is the use of a color border, the color of which changes from red to green, depending on the orientation of the lighting fixtures.

В еще одном другом варианте осуществления, указание может быть точной метрикой, отображаемой пользователю, количественно определяющей предпочтительную ориентацию по отношению к текущей ориентации устройства. Например, метрика может измерять отношение или пропорцию количества строк 22, которое источник 4 света занимает в настоящее время по отношению к оцениваемому максимальному количеству строк 22, которое источник света может потенциально занимать, если устройство повернуто в оптимальную позицию, и/или метрика может измерять количество градусов, на которое устройство 6 должно быть повернуто по одной или более осям. Данная метрика может быть отображена пользователю с помощью цифр или графически, например, как позиция или величина на графической шкале. Для конечного пользователя, предпочтительно метрика будет представляться графически, например, в форме кругового сектора, который перекрывает диапазон между текущим и требуемым углом ориентации. Например, Фигуры 10 и 11 показывают пример кругового сектора, чтобы указать разницу между менее оптимальной ориентацией и в большей степени оптимальной ориентацией устройства. Второй индикатор представляет собой относительную скорость обнаружения, как процент от максимальной ожидаемой скорости обнаружения.In yet another embodiment, the indication may be an exact metric displayed to the user, quantifying the preferred orientation with respect to the current orientation of the device. For example, a metric can measure the ratio or proportion of the number of lines 22 that the light source 4 currently occupies with respect to the estimated maximum number of lines 22 that the light source can potentially take if the device is turned to the optimum position and / or the metric can measure the amount degrees by which device 6 must be rotated along one or more axes. This metric can be displayed to the user using numbers or graphically, for example, as a position or value on a graphic scale. For the end user, preferably the metric will be represented graphically, for example, in the form of a circular sector, which covers the range between the current and the desired orientation angle. For example, Figures 10 and 11 show an example of a circular sector to indicate the difference between a less optimal orientation and a more optimal orientation of the device. The second indicator represents the relative detection rate, as a percentage of the maximum expected detection rate.

Следует иметь в виду, что вышеприведенные варианты осуществления были описаны лишь в качестве примера.It should be borne in mind that the above embodiments have been described only as an example.

Например, объем раскрываемых методик не ограничивается примерными указаниями целевой ориентации, обсуждаемой выше, и могут быть использованы другие указания, или любое сочетание вышеприведенный указаний и/или других. В целом, целевая переориентация может быть выражена в любой форме, и может быть выражена в единицах целевого изменения в ориентации или в абсолютной ориентации, которая должна быть достигнута.For example, the scope of the disclosed techniques is not limited to the approximate indications of the target orientation discussed above, and other indications may be used, or any combination of the above indications and / or others. In general, target reorientation can be expressed in any form, and can be expressed in units of a target change in orientation or in the absolute orientation that is to be achieved.

Кроме того, несмотря на то, что выше было описано, что модуль 12 обработки декодирует кодированный свет, как впрочем и вычисляет целевую переориентацию, не требуется чтобы это было так во всех возможных вариантах осуществления. В качестве альтернативы или в дополнение, модуль 12 обработки на устройстве 6 может выполнять операции для определения целевой переориентации устройства 6, а захваченное изображение может быть пропущено на другой терминал для извлечения сигнала кодированного света. Например, модуль 12 обработки может сохранять изображение (например, локально или посредством выгрузки на хост-компьютер или сервер), так что кодированный свет может быть декодирован из сохраненного изображения позже.In addition, although it has been described above that the processing module 12 decodes the coded light, as well as calculates the target reorientation, it is not required that this be the case in all possible embodiments. Alternatively or in addition, processing module 12 on device 6 can perform operations to determine the target reorientation of device 6, and the captured image can be passed to another terminal to extract the coded light signal. For example, processing module 12 may store an image (for example, locally or by uploading to a host computer or server), so that coded light can be decoded from a saved image later.

Кроме того, раскрываемые методики могут быть использованы совместно с некоторым количеством разных приложений кодированного света. Кодированный свет добавляет информацию к источнику света, как впрочем и освещенной среде, и обнаружение с помощью существующих (мобильных) камер добавляет значение к источнику света когда внедренная информация становится доступной для разнообразных новых приложений. Например, особая для лампы информация может быть использована во время ввода в эксплуатацию новых систем освещения, и/или обеспечивать персонализированное локальное управление светом с помощью интеллектуального телефона или планшета. В качестве другого примера, совокупность осветительных приборов с возможностями кодированного света может обеспечивать плотную сетку световых маяков для навигации внутри помещения и основанных на местоположении услуг, добавляя значение потребителю и давая точную информацию о местоположении поставщику услуг. В качестве еще одного другого примера, освещение кодированным светом особого объекта может по существу присваивать ʹтэгʹ объекту с помощью внедренного идентификатора внедренного в свет. Раскрываемые методики могут потенциально добавлять надежность любому из этих приложений.In addition, the disclosed techniques can be used in conjunction with a number of different applications of coded light. Coded light adds information to the light source, as well as the illuminated medium, and detection using existing (mobile) cameras adds value to the light source when the embedded information becomes available for a variety of new applications. For example, information specific to the lamp may be used during the commissioning of new lighting systems, and / or provide personalized local light control using a smart phone or tablet. As another example, a combination of lighting products with coded light capabilities can provide a dense grid of light beacons for indoor navigation and location-based services, adding value to the consumer and giving accurate location information to the service provider. As another example, the coded light of a specific object can essentially assign a “tag” to an object using an embedded identifier embedded in the light. The disclosed techniques can potentially add reliability to any of these applications.

Следует иметь в виду, что изобретение также применяется к компьютерным программам, в частности компьютерным программа на или в носителе, адаптированном для воплощения изобретения на практике. Программа может быть в форме исходного кода, объектного кода, кода промежуточного между исходным и объектным кодом, как например в частично компилированной форме, или в любой другой форме подходящей для использования при реализации способа в соответствии с изобретением.It should be borne in mind that the invention also applies to computer programs, in particular computer programs on or in a carrier adapted for putting the invention into practice. The program may be in the form of source code, object code, intermediate code between the source and object code, such as in a partially compiled form, or in any other form suitable for use when implementing the method in accordance with the invention.

Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому средству, по меньшей мере, одной из систем и/или продуктов, изложенных в данном документе. Эти инструкции могут быть подразделены на подпрограммы и/или храниться в одном или более файлах, которые могут быть связаны статично или динамично.Another embodiment relating to a computer program product comprises computer-executable instructions corresponding to each means of at least one of the systems and / or products described in this document. These instructions can be subdivided into subroutines and / or stored in one or more files that can be linked statically or dynamically.

Как предусмотрено выше изобретение может дополнительно быть воплощено в форме компьютерного программного продукта. Когда предоставляется на носителе, носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью переноса программы. Например, носитель может включать в себя запоминающий носитель информации, такой как ROM, например, CD ROM или полупроводниковая ROM, или магнитный записывающий носитель информации, например, жесткий диск. В качестве альтернативы, носитель может быть интегральной микросхемой, в которую внедрена программа, интегральной микросхемой выполненной с возможностью выполнения, или используемой при выполнении, соответствующего способа.As provided above, the invention may additionally be embodied in the form of a computer software product. When provided on a carrier, the carrier of a computer program may be any object or device configured to carry the program. For example, the medium may include a storage medium, such as a ROM, for example, a CD-ROM or a semiconductor ROM, or a magnetic recording medium, for example, a hard disk. Alternatively, the carrier may be an integrated microcircuit in which the program is embedded, an integrated microcircuit configured to be executed, or used in the execution of the corresponding method.

Другие вариации раскрываемых вариантов осуществления могут быть понятны и выполнены специалистами в соответствующей области техники при реализации на практике заявленного изобретения, из изучения чертежей, раскрытия, и прилагаемой формулы изобретения. В формуле изобретения, слово «содержащий» не исключает других элементов и этапов, а формы единственного числа не исключают множество. Один процессор или другой блок может исполнять функции нескольких элементов, перечисленных в формуле изобретения. Тот лишь факт, что некоторые меры изложены во взаимно разных зависимых пунктах формулы изобретения не указывает на то, что сочетание этих мер не может быть использовано для достижения преимущества. Компьютерная программа может быть сохранена/распространяться на подоходящем носителе информации, таком как оптический запоминающий носитель информации или твердотельный носитель информации, поставляемый совместно с или как часть другого аппаратного обеспечения, но также может быть распространена в других формах, как например через Интернет или другие проводные или беспроводные системы телекоммуникации. Любое ссылочное обозначение в формуле изобретения не должно толковаться в качестве ограничивающего объем.Other variations of the disclosed embodiments can be understood and performed by specialists in the relevant field of technology in the implementation in practice of the claimed invention, from the study of the drawings, the disclosure, and the appended claims. In the claims, the word "comprising" does not exclude other elements and steps, and the singular form does not exclude a plurality. One processor or other unit may fulfill the functions of several items recited in the claims. The mere fact that certain measures are set forth in the mutually different dependent claims does not indicate that a combination of these measures cannot be used to achieve an advantage. The computer program may be stored / distributed on an appropriate storage medium, such as an optical storage medium or solid-state storage medium supplied with or as part of other hardware, but may also be distributed in other forms, such as via the Internet or other wired or wireless telecommunications systems. Any reference designation in the claims should not be construed as limiting the scope.

Claims (29)

1. Устройство (6) для обнаружения компонента кодированного света, содержащее:1. A device (6) for detecting a component of a coded light, comprising: интерфейс (8) пользователя;user interface (8); камеру (10), для захвата изображения сцены, содержащей свет от источника (4) света, при этом свет от источника света является модулированным с компонентом кодированного света, и камера содержит элемент (20) захвата изображения, который разделен на множество строк (22), в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, причем элемент захвата изображения задает плоскость; иa camera (10) for capturing an image of a scene containing light from a source (4) of light, while the light from a light source is modulated with a component of coded light, and the camera contains an image capture element (20) that is divided into many lines (22) , as a result, in order to capture an image, sequential exposure of lines is performed at different times, with the image capture element specifying a plane; and модуль (12) обработки выполненный с возможностью обнаружения угла ориентации источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения, и на основании этого определения целевой переориентации устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении;processing module (12) configured to detect the angle of orientation of the light source, as projected onto the plane of the image capture element, with respect to the rows of the image capture element, and based on this definition of the target reorientation of the device so that the light imprint from the light source covers the increased number of said lines in the image; при этом интерфейс пользователя выполнен с возможностью вывода указания целевой переориентации пользователю с тем, чтобы вынудить пользователя повернуть устройство таким образом, чтобы ввести в действие целевую переориентацию.wherein the user interface is configured to output an indication of the target reorientation to the user so as to force the user to rotate the device in such a way as to bring the target reorientation into effect. 2. Устройство по п. 1, в котором целевая переориентация является такой, которая требуется для того, чтобы отпечаток света от источника (4) света охватывал максимальное количество строк (22), охватываемых отпечатком на текущем расстоянии устройства (6) от источника света.2. The device according to claim 1, wherein the target reorientation is such that it requires the imprint of light from the source (4) of light to cover the maximum number of lines (22) covered by the imprint at the current distance of the device (6) from the light source. 3. Устройство по п. 1 или 2, в котором интерфейс пользователя содержит дисплей (8) и захваченное изображение не показывается на упомянутом дисплее.3. The device according to claim 1 or 2, wherein the user interface comprises a display (8) and the captured image is not shown on said display. 4. Устройство по п. 1 или 2, при этом устройство (6) является одним из: портативным устройством, интеллектуальным телефоном, или планшетом.4. The device according to claim 1 or 2, wherein the device (6) is one of: a portable device, a smart phone, or a tablet. 5. Устройство по п. 1 или 2, в котором интерфейс пользователя содержит дисплей (8) и указание целевой переориентации выводится пользователю через дисплей.5. The device according to claim 1 or 2, wherein the user interface comprises a display (8) and an indication of the target reorientation is displayed to the user through the display. 6. Устройство по п. 5, в котором указание содержит, по меньшей мере, одно из следующего:6. The device according to claim 5, in which the indication contains at least one of the following: текст, показываемый на дисплее (8), ориентированный на дисплее так, что чтобы прочитать текст в прямом направлении, требуется чтобы пользователь повернул устройство (6) в упомянутую целевую переориентацию; и/илиthe text shown on the display (8), oriented on the display so that in order to read the text in the forward direction, it is required that the user turns the device (6) into said target reorientation; and / or графику на дисплее, ориентированную на экране так, что чтобы просмотреть графику в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию.the graphics on the display are oriented on the screen so that in order to view the graphics in the forward direction, it is required that the user rotates the device into said target reorientation. 7. Устройство по п. 5, в котором указание содержит стрелку на дисплее, указывающую в какую сторону повернуть устройство (6), чтобы получить упомянутую целевую переориентацию.7. The device according to claim 5, in which the indication contains an arrow on the display indicating in which direction to turn the device (6) in order to obtain said target reorientation. 8. Устройство по п. 5, в котором указание содержит изменение цвета и/или интенсивности на дисплее (8) в зависимости от угла ориентации устройства (6) по отношению к целевой переориентации.8. The device according to claim 5, in which the indication contains a change in color and / or intensity on the display (8) depending on the orientation angle of the device (6) with respect to the target reorientation. 9. Устройство по п. 8, в котором зеленый цвет указывает на то, что устройство (6) повернуто близко к упомянутой целевой переориентации, и красный цвет указывает на то, что устройство повернуто далеко от целевой переориентации.9. The device according to claim 8, in which the green color indicates that the device (6) is rotated close to the mentioned target reorientation, and the red color indicates that the device is rotated far from the target reorientation. 10. Устройство по п. 1 или 2, в котором упомянутое указание содержит отображение метрики, измеряющей угол ориентации устройства (6) по отношению к целевой переориентации.10. The device according to claim 1 or 2, in which said indication comprises displaying a metric measuring the orientation angle of the device (6) with respect to the target reorientation. 11. Устройство по п. 10, в котором метрика представляет собой текущее количество строк (22) элемента (20) захвата изображения, охватываемое упомянутым отпечатком, по отношению к максимальному количеству строк, которое может быть охвачено отпечатком на текущем расстоянии устройства (6) от источника (4) света.11. The device according to claim 10, in which the metric is the current number of lines (22) of the image capture element (20), covered by said fingerprint, in relation to the maximum number of lines that can be covered by the fingerprint at the current distance of the device (6) from source (4) of light. 12. Устройство по п. 1 или 2, в котором модуль (12) обработки содержит модуль обработки изображения, выполненный с возможностью выполнения упомянутого обнаружения посредством обнаружения ориентации источника (4) света, как присутствующего на захваченном изображении, по отношению к строкам (22) элемента (20) захвата изображения.12. The device according to claim 1 or 2, wherein the processing module (12) comprises an image processing module, configured to perform said detection by detecting the orientation of the source (4) of the light, as present on the captured image, with respect to the rows (22) element (20) image capture. 13. Устройство по п. 1 или 2, в котором модуль обработки выполнен с возможностью выполнения упомянутого обнаружения на основании абсолютной ориентации устройства (6), измеренной используя датчик ориентации, позиции устройства, измеренной используя систему позиционирования, и построения соответствия между позицией и предварительно определенным знанием об абсолютной ориентации источника света; модуль обработки таким образом определяющий относительную ориентацию из абсолютной ориентации устройства, сравненной с абсолютной ориентацией источника света.13. The device according to claim 1 or 2, in which the processing module is configured to perform the above-mentioned detection based on the absolute orientation of the device (6), measured using an orientation sensor, the position of the device, measured using a positioning system, and building a correspondence between the position and the predefined knowledge of the absolute orientation of the light source; the processing module thus determining the relative orientation of the absolute orientation of the device, compared with the absolute orientation of the light source. 14. Способ для обнаружения компонента кодированного света, содержащий этапы, на которых:14. A method for detecting a coded light component, comprising: используют камеру (10) устройства (6), чтобы захватить изображение сцены, содержащей свет от источника (4) света, при этом свет от источника света является модулированным с компонентом кодированного света, и камера содержит элемент (20) захвата изображения, разделенный на множество строк (22), в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, причем элемент захвата изображения задает плоскость;use the camera (10) of the device (6) to capture the image of the scene containing light from the light source (4), while the light from the light source is modulated with the component of the coded light, and the camera contains an image capture element (20) divided into a plurality of lines (22), as a result of which, in order to capture an image, consecutive exposing of lines is performed at different times, with the image capturing element specifying a plane; обнаруживают ориентацию источника света, проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения;detecting the orientation of the light source projected onto the plane of the image pickup element with respect to the rows of the image pickup element; на основании упомянутого обнаружения, определяют целевую переориентации устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении; иbased on the above detection, determine the target reorientation of the device, so that the imprint of light from the light source covers an increased number of the mentioned lines in the image; and выводят указание упомянутой целевой переориентации пользователю, через интерфейс пользователя устройства.outputting the indication of the target reorientation to the user via the user interface of the device. 15. Считываемый компьютером запоминающий носитель информации, содержащий компьютерную программу, выполненную с возможностью предписывать, при выполнении, устройству (6), выполнять операции:15. Machine-readable storage media containing a computer program, configured to prescribe, when executed, the device (6) to perform operations: использование камеры (10) устройства, чтобы захватить изображение сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света, и камера содержит элемент (20) захвата изображения, разделенный на множество строк (22), в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, причем элемент захвата изображения задает плоскость;using the camera (10) of the device to capture an image of a scene containing light from a light source, while the light from the light source is modulated with a component of the coded light, and the camera contains an image capture element (20) divided into multiple lines (22) in as a result, in order to capture an image, consecutive exposure of lines is performed at different points in time, with the image capture element defining a plane; обнаружение ориентации источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения;detecting the orientation of the light source, as projected onto the plane of the image capture element, with respect to the rows of the image capture element; на основании упомянутого обнаружения, определение целевой переориентации устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении; иbased on the above detection, the determination of the target reorientation of the device so that the imprint of light from the light source covers an increased number of said lines in the image; and вывод указания упомянутой целевой переориентации пользователю, через интерфейс пользователя устройства.output of the indication of the mentioned target reorientation to the user, through the user interface of the device.
RU2016148376A 2014-05-12 2015-04-30 Coded light detection RU2689142C2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14167840 2014-05-12
EP14167840.9 2014-05-12
PCT/EP2015/059436 WO2015173024A1 (en) 2014-05-12 2015-04-30 Detection of coded light

Publications (3)

Publication Number Publication Date
RU2016148376A RU2016148376A (en) 2018-06-13
RU2016148376A3 RU2016148376A3 (en) 2018-12-21
RU2689142C2 true RU2689142C2 (en) 2019-05-24

Family

ID=50685800

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016148376A RU2689142C2 (en) 2014-05-12 2015-04-30 Coded light detection

Country Status (5)

Country Link
EP (1) EP3143839A1 (en)
JP (1) JP2017525172A (en)
CN (1) CN106663213A (en)
RU (1) RU2689142C2 (en)
WO (1) WO2015173024A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909055B2 (en) * 2017-05-31 2021-07-28 キヤノン株式会社 Information processing equipment, control methods and programs
CN108134629A (en) * 2017-12-20 2018-06-08 成都光享科技有限公司 A kind of wireless communications method based on visible ray

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009093162A1 (en) * 2008-01-24 2009-07-30 Koninklijke Philips Electronics N.V. Sensor device with tilting or orientation-correcting photo sensor for atmosphere creation
WO2010035192A1 (en) * 2008-09-26 2010-04-01 Philips Intellectual Property & Standards Gmbh System and method for automatic commissioning of a plurality of light sources
WO2011086501A1 (en) * 2010-01-15 2011-07-21 Koninklijke Philips Electronics N.V. Method and system for 2d detection of localized light contributions
US20110276151A1 (en) * 2009-01-06 2011-11-10 Koninklijke Philips Electronics N.V. Control system for controlling one or more controllable devices sources and method for enabling such control
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
WO2013073757A1 (en) * 2011-11-14 2013-05-23 Samsung Electronics Co., Ltd. Photographing apparatus and image processing apparatus using coded light, and method thereof
RU2012129543A (en) * 2009-12-15 2014-01-27 Конинклейке Филипс Электроникс Н.В. SYSTEM AND METHOD FOR PHYSICAL ASSOCIATION OF LIGHTING SCENES
WO2014037866A1 (en) * 2012-09-10 2014-03-13 Koninklijke Philips N.V. Light detection system and method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
JP5806606B2 (en) * 2011-12-01 2015-11-10 キヤノン株式会社 Information processing apparatus and information processing method
WO2013109934A1 (en) * 2012-01-20 2013-07-25 Digimarc Corporation Shared secret arrangements and optical data transfer
WO2013136832A1 (en) * 2012-03-13 2013-09-19 富士フイルム株式会社 Stereoscopic image display control device and stereoscopic image display control method
CN107317625B (en) * 2012-05-24 2019-10-18 松下电器(美国)知识产权公司 Information communicating method, information-communication device, recording medium
JP6165245B2 (en) * 2012-06-27 2017-07-19 フィリップス ライティング ホールディング ビー ヴィ Method and apparatus for automatically adapting the light output of a lighting unit
US8752761B2 (en) * 2012-09-21 2014-06-17 Symbol Technologies, Inc. Locationing using mobile device, camera, and a light source

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009093162A1 (en) * 2008-01-24 2009-07-30 Koninklijke Philips Electronics N.V. Sensor device with tilting or orientation-correcting photo sensor for atmosphere creation
WO2010035192A1 (en) * 2008-09-26 2010-04-01 Philips Intellectual Property & Standards Gmbh System and method for automatic commissioning of a plurality of light sources
US20110276151A1 (en) * 2009-01-06 2011-11-10 Koninklijke Philips Electronics N.V. Control system for controlling one or more controllable devices sources and method for enabling such control
RU2012129543A (en) * 2009-12-15 2014-01-27 Конинклейке Филипс Электроникс Н.В. SYSTEM AND METHOD FOR PHYSICAL ASSOCIATION OF LIGHTING SCENES
WO2011086501A1 (en) * 2010-01-15 2011-07-21 Koninklijke Philips Electronics N.V. Method and system for 2d detection of localized light contributions
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
WO2013073757A1 (en) * 2011-11-14 2013-05-23 Samsung Electronics Co., Ltd. Photographing apparatus and image processing apparatus using coded light, and method thereof
WO2014037866A1 (en) * 2012-09-10 2014-03-13 Koninklijke Philips N.V. Light detection system and method

Also Published As

Publication number Publication date
RU2016148376A3 (en) 2018-12-21
EP3143839A1 (en) 2017-03-22
JP2017525172A (en) 2017-08-31
CN106663213A (en) 2017-05-10
WO2015173024A1 (en) 2015-11-19
RU2016148376A (en) 2018-06-13

Similar Documents

Publication Publication Date Title
CN105378503B (en) It determines and is orientated
US9918013B2 (en) Method and apparatus for switching between cameras in a mobile device to receive a light signal
US9418115B2 (en) Location-based mobile services and applications
CN105358938B (en) The apparatus and method determined for distance or position
US9504126B2 (en) Coded light detector
CA2957555C (en) System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
US8957951B1 (en) Content delivery based on a light positioning system
US8994814B2 (en) Light positioning system using digital pulse recognition
US9444547B2 (en) Self-identifying one-way authentication method using optical signals
EP2737779B1 (en) Self identifying modulated light source
CA2892923C (en) Self-identifying one-way authentication method using optical signals
CN110325896B (en) Portable device for presenting virtual objects and method thereof
RU2689142C2 (en) Coded light detection
US10708999B2 (en) Method of visualizing a shape of a linear lighting device
CN110943778B (en) Optical communication device and method for transmitting and receiving information
JP2020507258A (en) Coded light detection
WO2015104187A1 (en) Detecting coded light
CN108419047B (en) Remote monitoring method based on cloud computing
WO2020062876A1 (en) Service provision method and system based on optical label
US11269041B2 (en) System for communicating a presence of a device via a light source