RU2689142C2 - Coded light detection - Google Patents
Coded light detection Download PDFInfo
- Publication number
- RU2689142C2 RU2689142C2 RU2016148376A RU2016148376A RU2689142C2 RU 2689142 C2 RU2689142 C2 RU 2689142C2 RU 2016148376 A RU2016148376 A RU 2016148376A RU 2016148376 A RU2016148376 A RU 2016148376A RU 2689142 C2 RU2689142 C2 RU 2689142C2
- Authority
- RU
- Russia
- Prior art keywords
- light
- image
- orientation
- light source
- lines
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
- H05B47/19—Controlling the light source by remote control via wireless transmission
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
- H05B47/196—Controlling the light source by remote control characterised by user interface arrangements
- H05B47/1965—Controlling the light source by remote control characterised by user interface arrangements using handheld communication devices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Optical Communication System (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- User Interface Of Digital Computer (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕTECHNICAL FIELD TO WHICH INVENTION RELATES.
Настоящее раскрытие относится к обнаружению кодированного света посредством камеры с элементом захвата изображения, который захватывает свет построчно, как в камере с рулонным затвором.The present disclosure relates to the detection of coded light by means of a camera with an image pickup element that captures light line by line, as in a camera with a roller shutter.
УРОВЕНЬ ТЕХНИКИBACKGROUND
Кодированный свет относится к методикам посредством которых, сигнал, внедренный в видимый свет, испускается источником света, таким как обычный осветительный прибор. Таким образом, свет содержит как вклад видимого освещения для освещения целевой среды, такой как комната (как правило, первичное назначение света), так и внедренный сигнал, для предоставления информации в среде. Чтобы делать это, свет модулируется на определенной частоте или частотах модуляции, предпочтительно достаточно высокой частоте так, чтобы находиться за пределами восприятия человека и, вследствие этого, не оказывать влияние на первичную функцию освещения.Coded light refers to techniques by which a signal embedded in visible light is emitted by a light source, such as a conventional lighting fixture. Thus, the light contains both the contribution of visible illumination to illuminate the target medium, such as a room (usually the primary purpose of the light), and the embedded signal, to provide information in the medium. To do this, the light is modulated at a certain frequency or modulation frequency, preferably a frequency high enough so that it is outside the human perception and, therefore, does not affect the primary lighting function.
В некоторых из наиболее простых случаев, сигнал может содержать единственную форму волны или даже единственный тон, модулированный в свете от заданного осветительного прибора. Свет, испускаемый каждым из множества осветительных приборов, может быть модулированным с помощью разной соответствующей частоты модуляции, которая является уникальной среди этих осветительных приборов, и тогда частота модуляции может служить в качестве идентификатора осветительного прибора или его света. Например, это может быть использовано в фазе ввода в эксплуатацию, чтобы идентифицировать вклад от каждого осветительного прибора, или может быть использовано во время эксплуатации, чтобы идентифицировать осветительный прибор, для того чтобы управлять им удаленно (например, через RF (радиочастотный) обратный канал). В другом примере, идентификация может быть использована для навигации или другой основанной на местоположении функциональной возможности, посредством построения соответствия идентификатора с известным местоположением осветительного прибора или информацией, ассоциированной с местоположением.In some of the simplest cases, the signal may contain a single waveform or even a single tone modulated in the light from a given light fixture. The light emitted by each of a variety of lighting fixtures can be modulated with a different corresponding modulation frequency, which is unique among these lighting fixtures, and then the modulation frequency can serve as an identifier of the lighting fixture or its light. For example, it can be used in the commissioning phase to identify the contribution from each light fixture, or can be used during operation to identify the light fixture in order to control it remotely (for example, via RF (radio frequency) reverse channel) . In another example, identification may be used for navigation or other location-based functionality, by building an identity mapping with a known location of the lighting fixture or information associated with the location.
В других случаях, в свет может быть внедрен сигнал, содержащий более сложные данные. Например, используя амплитудную манипуляцию, амплитуда света может варьироваться, чтобы кодировать данные, например, используя высокий и низкий уровни, чтобы представлять биты, или используя более сложную схему модуляции, чтобы представлять разные символы. Или, используя частотную манипуляцию, осуществляется работа заданного осветительного прибора, чтобы он испускал на двух (или более) разных частотах модуляции, и чтобы передавал биты данных (или в общем случае символы) посредством переключения между разными частотами модуляции.In other cases, a signal containing more complex data may be embedded in the light. For example, using amplitude manipulation, the amplitude of the light can vary to encode data, for example, using high and low levels to represent bits, or using a more complex modulation scheme to represent different characters. Or, using frequency shift keying, a given lighting device is operated to emit at two (or more) different modulation frequencies, and to transmit data bits (or, in general, symbols) by switching between different modulation frequencies.
Документ WO2012/127439 раскрывает методику, посредством которой кодированный свет может быть обнаружен, используя обычную камеру типа «рулонного затвора», которая часто интегрирована в мобильное устройство, подобное мобильному телефону или планшету. В камере с рулонным затвором, элемент захвата изображения камеры разделен на множество строк (как правило, горизонтальные строки, т.е., ряды), экспонирование которых осуществляется в построчной последовательности. Т.е., чтобы захватить заданный кадр, осуществляется экспонирование светом заданной среды первой строки, затем через несколько более позднее время осуществляется последовательное экспонирование светом следующей строки, и т.д. Как правило, последовательность «сворачивается в рулон» в очередности по кадру, например, в рядах сверху вниз, отсюда и название «рулонный затвор». При использовании для захвата кодированного света, это означает, что разные строки внутри кадра, захватывают свет в разные моменты времени и, вследствие этого, если частота строк достаточно высока по отношению к частоте модуляции, в разные фазы формы волны модуляции. Таким образом может быть обнаружена модуляция в свете.WO2012 / 127439 discloses a technique by which coded light can be detected using a conventional “roll gate” type camera, which is often integrated into a mobile device like a mobile phone or tablet. In a camera with a roller shutter, a camera image capture element is divided into a plurality of lines (as a rule, horizontal lines, i.e., rows), which are exposed in a line by line sequence. That is, in order to capture a given frame, light is exposed to a given medium of the first line, then after a slightly later time, the next line is consecutively light-exposed, and so on. As a rule, the sequence “rolls into a roll” in the sequence of frames, for example, in rows from top to bottom, hence the name “roll shutter”. When used to capture coded light, this means that different lines inside the frame capture light at different points in time and, as a result, if the line frequency is high enough relative to the modulation frequency, the different phases of the modulation waveform are in different phases. In this way, modulation in the light can be detected.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF INVENTION
В случае захвата с помощью рулонного затвора или подобного, эффективная полоса пропускания обнаружения зависит от внешнего вида кодированного света, или ʹотпечаткаʹ, на датчике. Эффективная полоса пропускания обнаружения является максимальной в том случае, когда отпечаток света охватывает настолько много строк датчика изображения, насколько это возможно. В данном случае, минимизируется время обнаружения. Следует отметить, что хотя в идеале осуществляется максимизация отпечатка света, улучшения в скорости обнаружения могут уже происходить, когда увеличивается количество строк датчика, которые охватывает отпечаток света. Это означает, что когда кодированный свет обнаруживается с помощью камеры, направленной на относительно узкий и вытянутый осветительный прибор, такой как потолочная трубчатая люминесцентная лампа, ориентация камеры оказывает значительное влияние на скорость обнаружения. Например, данная ситуация, как правило, происходит, когда используется фронтальная камера мобильного устройства. Желательно было бы, заставить пользователя повернуть устройство камеры (например, мобильный телефон) таким образом, чтобы достигалась более оптимальная ориентация для обнаружения кодированного света применительно к каждой новой ситуации. Требуемое действие пользователя может быть вызвано либо посредством явной инструкции, либо (предпочтительно) посредством не явного аспекта интерфейса пользователя (например, ориентации текста), так что достигается требуемое действие пользователя.In the case of capture using a roller shutter or the like, the effective detection bandwidth depends on the appearance of the coded light, or “print”, on the sensor. Effective detection bandwidth is maximized when the light footprint covers as many lines of the image sensor as possible. In this case, the detection time is minimized. It should be noted that although ideally the maximization of the light imprint is performed, improvements in the detection speed may already occur when the number of sensor lines that encompass the light imprint increases. This means that when coded light is detected with a camera aimed at a relatively narrow and elongated light fixture, such as a ceiling tubular fluorescent lamp, the orientation of the camera has a significant effect on the detection rate. For example, this situation usually occurs when the front camera of a mobile device is used. It would be desirable to force the user to rotate the camera device (for example, a mobile phone) in such a way that a more optimal orientation is achieved to detect the coded light for each new situation. The desired user action can be triggered either by an explicit instruction, or (preferably) by an implicit user interface aspect (eg, text orientation), so that the desired user action is achieved.
В соответствии с одним раскрываемым в данном документе аспектом, предоставляется устройство, содержащее интерфейс пользователя, камеру, и модуль обработки; например, портативное устройство, такое как интеллектуальный телефон или планшет. Камера выполнена с возможностью захвата изображения сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света. Камера содержит элемент захвата изображения, который разделен на множество строк, в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, например, как в камере с рулонным затвором. Модуль обработки выполнен с возможностью обнаружения ориентации источника света, как проецируемого на плоскость элемента захвата изображения (т.е., как он присутствует или будет присутствовать на захваченном изображении), по отношению к строкам элемента захвата изображения, и, на основании этого, определения целевой переориентации устройства, которая была бы желательна для того, чтобы отпечаток света от источника света охватывал увеличенное количество строк в изображении (и, вследствие этого, увеличенное количество строк для обнаружения кодированного света). Интерфейс пользователя выполнен с возможностью затем вывода указания целевой переориентации пользователю, вынуждающего пользователя вводить в действие целевую переориентацию.In accordance with one aspect disclosed herein, an apparatus is provided comprising a user interface, a camera, and a processing module; for example, a portable device such as a smart phone or tablet. The camera is configured to capture an image of a scene containing light from a light source, wherein the light from the light source is modulated with a component of the coded light. The camera contains an image capture element, which is divided into multiple lines, as a result of which, in order to capture an image, consecutive exposure of lines is carried out at different times, for example, as in a camera with a roller shutter. The processing module is configured to detect the orientation of the light source, as projected onto the plane of the image capture element (i.e., how it is present or will be present on the captured image), with respect to the rows of the image capture element, and based on this, the target reorienting the device that would be desirable so that the imprint of light from the light source covers an increased number of lines in the image (and, consequently, an increased number of lines for the detected I coded light). The user interface is adapted to then output the indication of the target reorientation to the user, forcing the user to activate the target reorientation.
Таким образом, например, если источник света является длинной, тонкой прямоугольной трубчатой люминесцентной лампой, а строки являются горизонтальными рядами, пользователь будет вынужден повернуть его или ее устройство так, чтобы источник света присутствовал более вертикально на захваченном изображении, тем самым охватывая больше строк для обнаружения кодированного света.Thus, for example, if the light source is a long, thin rectangular tubular fluorescent lamp, and the rows are horizontal rows, the user will have to rotate his or her device so that the light source is more vertical on the captured image, thereby covering more rows to detect coded light.
Предпочтительно, целевая переориентация является такой, которая требуется для того, чтобы отпечаток охватывал максимальное количество строк (охватываемых отпечатком, учитывая текущее расстояние устройства от источника света). Однако, даже если не является максимальным, по-прежнему может быть выгодным вынуждать переориентацию в направлении любого увеличенного количества строк по отношению к текущей ориентации.Preferably, the target reorientation is such that it is required for the fingerprint to cover the maximum number of lines (covered by the fingerprint, taking into account the current distance of the device from the light source). However, even if it is not the maximum, it may still be beneficial to force a reorientation towards any increased number of lines relative to the current orientation.
В вариантах осуществления интерфейс пользователя содержит дисплей, но не требуется, чтобы захваченное изображение было видимым на упомянутом дисплее.In embodiments, the user interface comprises a display, but it is not required that the captured image be visible on said display.
В вариантах осуществления интерфейс пользователя содержит дисплей и указание целевой переориентации выводится пользователю через дисплей.In embodiments, the user interface comprises a display and an indication of the target reorientation is displayed to the user through the display.
Например, указание может содержать контент дисплея, повернутый на дисплее таким образом, что правильный (в прямом направлении) просмотр контента требует того, чтобы пользователь повернул его или ее устройство в целевую переориентацию. Например, указание может содержать текст, показываемый на дисплее, ориентированный на дисплее так, что чтобы прочитать текст в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию; и/или графику на экране, ориентированную на экране так, что чтобы просмотреть графику в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию.For example, the indication may contain the display content rotated on the display in such a way that a correct (forward) viewing of the content requires the user to turn his or her device into a target reorientation. For example, the indication may contain text displayed on the display, oriented on the display so that in order to read the text in the forward direction, it is required that the user rotates the device into said target reorientation; and / or graphics on the screen oriented on the screen so that in order to view the graphics in the forward direction, it is required that the user rotates the device into said target reorientation.
В качестве другого примера, указание может содержать стрелку на дисплее, указывающую в какую сторону повернуть устройство, чтобы получить упомянутую целевую переориентацию.As another example, the indication may contain an arrow on the display, indicating which way to turn the device in order to obtain said target reorientation.
В дополнительном примере, указание может содержать изменение цвета и/или интенсивности на дисплее в зависимости от текущей ориентации устройства по отношению к целевой переориентации. Например, указание может содержать изменение цвета пикселей границы дисплея. Например, цвет может быть зеленым, чтобы указать на то, что устройство повернуто близко к упомянутой целевой переориентации, и красным, чтобы указать на то, что устройство повернуто далеко от целевой переориентации.In an additional example, the indication may contain a change in color and / or intensity on the display, depending on the current orientation of the device with respect to the target reorientation. For example, the indication may contain a change in the color of the pixels of the display border. For example, the color may be green to indicate that the device is rotated close to the target reorientation mentioned, and red to indicate that the device is rotated far from the target reorientation.
В еще одном другом примере, упомянутое указание может содержать отображение метрики, измеряющей текущую ориентацию устройства по отношению к целевой ориентации. Например, метрика может представлять собой текущее количество строк элемента захвата изображения, охватываемое упомянутым отпечатком по отношению к максимальному количеству строк, которое может быть охвачено отпечатком на текущем расстоянии устройства от источника света.In yet another example, said indication may comprise displaying a metric measuring the current orientation of the device with respect to the target orientation. For example, a metric can be the current number of rows of an image capture element covered by said fingerprint with respect to the maximum number of lines that can be covered by a fingerprint at the device’s current distance from the light source.
Предпочтительно модуль обработки содержит модуль обработки изображения, выполненный с возможностью выполнения упомянутого обнаружения посредством обнаружения ориентации источника света, как присутствующего на захваченном изображении, по отношению к строкам элемента захвата изображения, например, на основании методик распознавания отпечатка для обнаружения источников кодированного света, и или одной или более других методик распознавания изображения.Preferably, the processing module comprises an image processing module configured to perform the above-mentioned detection by detecting the orientation of the light source as being present in the captured image with respect to the rows of the image pickup element, for example, based on fingerprint recognition techniques for detecting coded light sources, and or or more other image recognition techniques.
Тем не менее, в качестве альтернативы или в дополнение, модуль обработки может быть выполнен с возможностью выполнения упомянутого обнаружения на основании абсолютной ориентации устройства, измеренной используя датчик ориентации, позиции устройства, измеренной используя систему позиционирования, и построения соответствия между позицией и предварительно определенным знанием об абсолютной ориентации источника света; модуль обработки таким образом определяющий относительную ориентацию из абсолютной ориентации устройства, сравненной с абсолютной ориентацией источника света.However, alternatively or in addition, the processing module may be configured to perform the above detection based on the absolute orientation of the device, measured using an orientation sensor, the position of the device measured using a positioning system, and building a correspondence between the position and a predetermined knowledge of absolute orientation of the light source; the processing module thus determining the relative orientation of the absolute orientation of the device, compared with the absolute orientation of the light source.
В соответствии с другим раскрываемым в данном документе аспектом, предоставляется способ, содержащий этапы, на которых: используют камеру устройства, чтобы захватить изображение сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света; и камера содержит элемент захвата изображения, разделенный на множество строк, в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени; обнаруживают ориентацию источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения; на основании упомянутого обнаружения, определяют целевую переориентацию устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении; и выводят указание упомянутой целевой переориентации пользователю, через интерфейс пользователя устройства.In accordance with another aspect disclosed herein, a method is provided comprising: using a device camera to capture an image of a scene containing light from a light source, wherein the light from the light source is modulated with the coded light component; and the camera contains an image capture element divided into a plurality of lines, as a result of which, in order to capture an image, sequential exposure of the lines is carried out at different times; detecting the orientation of the light source, as projected onto the plane of the image capture element, with respect to the rows of the image capture element; based on the above detection, determine the target reorientation of the device, so that the imprint of light from the light source covers an increased number of the mentioned lines in the image; and outputting the indication of said target reorientation to the user via the user interface of the device.
В соответствии с другим раскрываемым в данном документе аспектом, предоставляется компьютерный программный продукт, содержащий код, воплощенный на компьютерночитаемом носителе информации, и выполненный таким образом, чтобы при исполнении выполнять соответствующие операции устройства. Например, программа может быть сохранена на сервере так, чтобы загружаться на устройство, или сохранена на локальном хранилище устройства, или где-либо еще; и может быть исполнена на (микро)процессоре устройства или более чем одном из нескольких процессоров устройства, если оно так оборудовано.In accordance with another aspect disclosed herein, a computer program product is provided comprising a code embodied on a computer-readable storage medium, and designed in such a way that, when executed, perform the corresponding operations of the device. For example, a program can be stored on a server so that it can be loaded onto a device, or stored on a local storage device, or anywhere else; and can be executed on a (micro) device processor or more than one of several device processors, if equipped.
В вариантах осуществления, способ может дополнительно содержать этапы или компьютерную программу, дополнительно выполненную с возможностью выполнения операций в соответствии с любым из раскрываемых в данном документе признаков устройства.In embodiments, the method may further comprise steps or a computer program, further configured to perform operations in accordance with any of the features of the device disclosed herein.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
Чтобы способствовать пониманию настоящего раскрытия и чтобы показать то, каким образом варианты осуществления могут быть введены в действие, в качестве примера делается ссылка на сопроводительные чертежи, на которых:To facilitate an understanding of the present disclosure and to show how the embodiments may be put into action, reference is made to the accompanying drawings as an example, in which:
Фигура 1 схематично иллюстрирует пространство, содержащее систему освещения и камеру,Figure 1 schematically illustrates a space containing a lighting system and a camera,
Фигура 2 является принципиальной структурной схемой устройства с камерой для приема кодированного света;Figure 2 is a schematic block diagram of a device with a camera for receiving coded light;
Фигура 3 схематично иллюстрирует элемент захвата изображения камеры с рулонным затвором,Figure 3 schematically illustrates the image capture element of a camera with a roller shutter,
Фигура 4 схематично иллюстрирует захват модулированного света посредством рулонного затвора,Figure 4 schematically illustrates the capture of modulated light by means of a roller shutter,
Фигура 5 является схематическим представлением изображения захвата,Figure 5 is a schematic representation of a capture image,
Фигура 6 является другим схематичным представлением захваченного изображения,Figure 6 is another schematic representation of the captured image,
Фигура 7 является другим схематичным представлением захваченного изображения,Figure 7 is another schematic representation of the captured image,
Фигура 8 является принципиальной структурной схемой компоновки для обработки захваченных изображений,Figure 8 is a schematic block arrangement diagram for processing captured images,
Фигура 9 является схематическим представлением повернутого контента, выводимого через интерфейс пользователя,Figure 9 is a schematic representation of rotated content output via a user interface,
Фигура 10 является схематическим представлением метрики, выводимой посредством интерфейса пользователя, иFigure 10 is a schematic representation of a metric outputted by a user interface, and
Фигура 11 является другим схематичным представлением метрики с Фигуры 10.Figure 11 is another schematic representation of the metric from Figure 10.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDETAILED DESCRIPTION OF EMBODIMENTS
Фигура 1 показывает примерную среду 2, в которой могут быть развернуты раскрываемые в данном документе варианты осуществления. Например, среда может содержать одну или более комнаты и/или коридоры офиса, дома, школы, больницы, музея, или другого пространства внутри помещения; или пространство вне помещения, такое как парк, улица, стадион или нечто подобное; или другой тип пространства, такой как бельведер или салон транспортного средства. В среде 2 инсталлирована система освещения, содержащая, по меньшей мере, одно устройство 4 освещения в форме осветительного прибора. Также в среде 2 присутствует терминал 6 пользователя, предпочтительно мобильное устройство, такое как интеллектуальный телефон или планшет. Осветительный прибор 4 содержит элемент освещения, такой как LED, массив LED, лампа накаливания или газоразрядная лампа. Свет, испускаемый элементом освещения каждого из одного или более осветительных приборов, является модулированным с компонентом кодированного света на частоте, по существу, незаметной человеческому глазу.Figure 1 shows an
Это может быть выполнено посредством выбора достаточно высокой частоты модуляции и посредством включения мер для ограничения отклонения в частотном спектре светоотдачи, например, как в результате модулированных данных, ниже критической частоты мерцаний зрительной системы человека. Что касается зависимых от данных спектральных компонентов, отмечается, что использование кодов без постоянной составляющей и/или кодов без квадрата постоянной составляющей (DC2-free) может быть в частности выгодным, чтобы ограничивать низкочастотные компоненты в светоотдаче.This can be accomplished by selecting a sufficiently high modulation frequency and by including measures to limit the deviations in the frequency spectrum of light output, for example, as a result of modulated data, below the critical frequency of flicker of the human visual system. With regard to data-dependent spectral components, it is noted that the use of codes without a constant component and / or codes without a square of a constant component (DC 2 -free) may be particularly advantageous in order to limit the low-frequency components in the light output.
Фигура 2 предоставляет структурную схему мобильного устройства 6. Устройство 6 содержит интерфейс 8 пользователя (предпочтительно дисплей, такой как экран или сенсорный экран), камеру 10 с двумерным элементом 20 захвата изображения, и модуль 12 анализа изображения, связанный с элементом 20 захвата изображения и интерфейсом 8 пользователя. Модуль 12 анализа изображения выполнен с возможностью обработки сигналов, представляющих собой изображения, захваченные элементом захвата изображения, и, на их основании, декодирования компонентов кодированного света в свете, из которого было захвачено изображение. Модуль 12 анализа изображения может быть реализован в форме кода, хранящегося на компьютерночитаемом запоминающем носителе информации или носителях информации, и выполненного с возможностью исполнения на процессоре, содержащем один или более блоки обработки. В качестве альтернативы, не исключается, что некоторая часть или весь модуль 12 анализа изображения может быть реализован в предназначенной схеме аппаратного обеспечения или реконфигурируемой схеме, такой как FPGA.Figure 2 provides a block diagram of a
Фигура 3 представляет собой элемент 20 захвата изображения камеры 10. Элемент 20 захвата изображения содержит массив пикселей для захвата сигналов, представляющих собой падающий свет на каждом пикселе, например, как правило, квадратный или прямоугольный массив из квадратных или прямоугольных пикселей. В камере с рулонным затвором, пиксели организованы во множество строк, например, горизонтальные ряды 22. Чтобы захватить кадр осуществляется последовательное экспонирование каждой строки, каждая на последующий экземпляр времени Texp экспонирования камеры. В данном случае, время экспонирования является продолжительностью экспонирования отдельной строки. Конечно следует отметить, что в контексте цифровой камеры, терминология «осуществлять экспонирование» или «экспонирование» не относится к механическому срабатыванию затвора или нечто подобному (из чего исторически возникла терминология), а наоборот ко времени, когда строка активно используется, чтобы захватить или отобрать образец света из среды. Также следует отметить, что последовательность в настоящем раскрытии означает временную последовательность, т.е., так что экспонирование каждой строки начинается в незначительно разное время (и опционально экспонирование строк может накладываться во времени). Например, экспонирование первого верхнего ряда 221 начинает осуществляться в течение продолжительности Texp, затем в несколько более позднее время начинает осуществлять экспонирование второго ряда 222 ниже в течение Texp, затем в несколько более позднее время вновь начинается осуществляться экспонирование третьего ряда 223 в течение Texp, и т.д. до тех пор, пока не будет осуществлено экспонирование нижнего ряда. Данный процесс затем повторяется, чтобы осуществить экспонирование последовательности кадров.Figure 3 is the
В документе WO2012/127439, например, было описано то, каким образом кодированный свет может быть обнаружен, используя традиционную видео камеру данного типа. Обнаружение сигнала использует захват изображения с рулонным затвором, который вызывает перевод временных модуляций света в пространственные вариации интенсивности по последовательным рядам изображения.Document WO2012 / 127439, for example, described how coded light can be detected using a traditional video camera of this type. Signal detection uses a shutter capture of the image, which causes the translation of temporal modulations of light to spatial variations in intensity over successive rows of the image.
Это схематично иллюстрируется Фигурой 4. По мере того, как осуществляется экспонирование каждой последовательной строки 22, ее экспонирование осуществляется в несколько разное время и, вследствие этого (если частота строк достаточно высока в сравнении с частотой модуляции), в несколько разные фазы модуляции. Таким образом, экспонирование каждой строки 22 осуществляется с соответствующим мгновенным уровнем модулированного света. Это приводит к модели из полос, которые являются волнообразными или цикличными сообразно модуляции по заданному кадру. На основании данного принципа, модуль 14 анализа изображения способен обнаружить компоненты кодированного света, модулированные в свете, принимаемом камерой 10.This is schematically illustrated by Figure 4. As each consecutive line 22 is exposed, its exposure takes place at several different times and, as a consequence (if the line frequency is high enough compared to the modulation frequency), at several different modulation phases. Thus, the exposure of each line 22 is carried out with a corresponding instantaneous level of modulated light. This leads to a pattern of bands that are wave-like or cyclical in accordance with the modulation for a given frame. Based on this principle, the
В качестве альтернативы использованию одного фотодетектора, использование камеры с рулонным затвором, чтобы обнаруживать кодированный свет, дает разнообразные преимущества. Одним таким преимуществом является пространственное разделение разных источников света в плоскости изображения, обеспечивающее одновременную идентификацию нескольких источников света и разделение их распределения света (их «отпечатков») по освещенной сцене.As an alternative to using a single photodetector, using a camera with a shutter to detect coded light provides various advantages. One such advantage is the spatial separation of different light sources in the image plane, ensuring the simultaneous identification of several light sources and the separation of their light distribution (their “fingerprints”) in the illuminated scene.
Например, документ EP 2,503,852 описывает то, каким образом методики типа с рулонным затвором могут быть использованы не только чтобы обнаруживать идентификационные данные или данные, сигнализируемые компонентом кодированного света, но также и пространственный отпечаток отдельного компонента кодированного света в случае, когда присутствует несколько компонентов кодированного света в среде от разных осветительных приборов. Т.е., амплитуда отдельного компонента может быть определена как функция пространственных координат в захваченной изображении, например, как функция декартовых координат x и y пикселя, отделенная от вклада другого компонента или компонентов.For example, EP 2,503,852 describes how roll shutter type techniques can be used not only to detect identification data or data signaled by a component of the coded light, but also the spatial imprint of a single component of the coded light in the case where several components of the coded light are present. in the environment from different lighting devices. That is, the amplitude of a separate component can be defined as a function of spatial coordinates in the captured image, for example, as a function of Cartesian coordinates x and y of a pixel, separated from the contribution of another component or components.
Применительно к обнаружению кодированного света, конкретное использование камер с датчиком изображения с рулонным затвором также обладает преимуществом над считыванием с помощью глобального затвора (где за раз осуществляется экспонирование всего кадра), состоящим в том, что разные экземпляры времени последовательных строк датчика вызывают перевод быстрых модуляций света в пространственные модели, как обсуждалось в отношении Фигуры 4. Тем не менее, в отличие от показанного на Фигуре 4, свет (или, по меньшей мере, используемый свет) от заданного источника 4 света не обязательно охватывает зону всего элемента 20 захвата изображения, а наоборот только некоторый отпечаток. Как следствие, чем короче вертикальное распределение захваченного отпечатка света, тем более длительной является продолжительность, в течение которой может быть обнаружен сигнал кодированного света. На практике, это означает, что только временной фрагмент всего сигнала кодированного света может быть захвачен в рамках одного кадра, так что требуется несколько кадров для того, чтобы захватить достаточно смещенных фрагментов сигнала, чтобы восстановить данные, внедренные в кодированный свет. Чем меньше фрагмент сигнала в каждом кадре, тем больше требуется захваченных кадров перед тем, как будет возможно восстановление данных.For coded light detection, the specific use of cameras with a roller shutter image sensor also has an advantage over reading through a global shutter (where the entire frame is exposed at a time), which means that different instances of consecutive sensor lines translate fast light modulations in spatial models, as discussed in relation to Figure 4. However, unlike the one shown in Figure 4, the light (or, at least, the light used) from the rear 4 continuous source of light does not necessarily cover the entire area of the
Кодированный свет может быть обнаружен либо посредством направления камеры 10 на источник света, либо посредством направления камеры на освещенную поверхность. Посредством использования фронтальной камеры мобильного устройства 6, кодированный свет может быть обнаружен при сохранении свободного просмотра на дисплее мобильного устройства. Например, это позволяет использовать мобильное устройство 6 как часть фазы инсталляции освещения (например, ввода в эксплуатацию). В качестве альтернативы или в дополнение, после инсталляции, мобильное устройство 6 может быстро восстанавливать особые для лампы идентификаторы, внедренные в кодированный свет, чтобы предоставлять диапазон услуг конечному пользователю, основанных на его или ее местоположении в здании. Например, такая основанная на местоположении услуга может быть использована для навигации внутри помещения, и/или персонализированного управления локальным освещением посредством регулирования осветительного прибора, который распознается посредством ID, внедренного в кодированный свет (управление, осуществляемое через подходящий обратный канал, например RF).The coded light can be detected either by directing the
Распространенной ситуацией в больших общественных пространствах, таких как офисы, магазины и аэропорты, является использование длинных рядов узких осветительных приборов, которые смонтированы на потолке. Даже в случае LED освещения, линейная форма осветительных приборов часто соответствует люминесцентным осветительным приборам (TL-трубки), для которых такие LED осветительные приборы часто служат заменой.A common situation in large public spaces, such as offices, shops and airports, is the use of long rows of narrow lighting fixtures that are mounted on the ceiling. Even in the case of LED lighting, the linear shape of lighting fixtures often corresponds to fluorescent lighting fixtures (TL tubes) for which such LED lighting fixtures often serve as replacements.
Эффективная полоса пропускания обнаружения у обнаружения кодированного света с помощью камеры с рулонным затвором определяется количеством строк датчика, на которых присутствует сигнал кодированного света. Это означает, что время, требуемое для восстановления данных, строго зависит от ориентации мобильного устройства 6 по отношению к длинной оси осветительного прибора 4 (предполагая, что камера 10 является частью мобильного устройства 6 и, вследствие этого перемещается с ним). Если узкий осветительный прибор 4 присутствует так, что его длинная ось параллельна строкам датчика 20 изображения, времена обнаружения могут стать очень длинными. В крайних случаях обнаружение и вовсе может быть невозможным.The effective detection bandwidth for detecting coded light with a camera with a roll-top shutter is determined by the number of sensor lines on which the coded light signal is present. This means that the time required for data recovery strictly depends on the orientation of the
Фигуры с 5 по 7 показывают три типичных случая внешнего вида вытянутого потолочного осветительного прибора, как наблюдаемого обращенной фронтально камерой 10 мобильного устройства 6, т.е. как проецируемого на плоскость элемента 20 захвата изображения. Стрелки указывают вертикальную протяженность светящейся зоны в кадре камеры. Фигура 5 показывает наименее выгодную ситуацию для обнаружения кодированного света. Поворот устройства как на Фигуре 6, или оптимально, как на Фигуре 7, улучшает вертикальную протяженность, по которой захватывается сигнал кодированного света или фрагмент сигнала.Figures 5 through 7 show three typical cases of the appearance of an elongated ceiling light as observed by the front-facing
Было бы желательным обеспечить или улучшить обнаружение кодированного света в случаях, где изображение источника 4 света присутствует параллельным (например, горизонтальным) или под небольшим углом по отношению к строкам 22 (например, рядам) элемента 20 захвата изображения. В соответствии с нижеследующим, это достигается посредством обнаружения относительной ориентации между изображением источника 4 света и строками 22, и вычисления требуемой переориентации устройства 6 (предполагая, что камера 10 является частью устройства 6 и таким образом перемещается с ним), так что изображение источника 4 света присутствует с более крутым углом по отношению к строкам элемента 20 захвата изображения, предпочтительно с правильными углами (например вертикально) к линиям 22 (например, рядам). Указание целевой переориентации выводится в интерфейс 8 пользователя (предпочтительно на экран), предназначенный для того, чтобы предписать пользователю повернуть его мобильное устройство в направлении более выгодной ориентации по отношению к осветительному прибору(ам).It would be desirable to provide or improve the detection of coded light in cases where the image of
Фигура 8 представляет схематический вид мобильного устройства 6, выполненного в соответствии с вариантами осуществления настоящего раскрытия. Функциональные блоки указываются прямоугольными блоками, а соответствующие элементы информационного потока указываются с помощью скругленных блоков.Figure 8 is a schematic view of a
Устройство 6 является предпочтительно мобильным устройством, таким как планшет или интеллектуальный телефон. Как обсуждалось в отношении Фигуры 2, оно содержит встроенную камеру 10 (предпочтительно фронтально обращенную камеру), интерфейс 8 пользователя, который может быть дисплеем с информацией и элементами управления (например, сенсорным экраном), и модуль 12 обработки (например, который может быть реализован в встроенной памяти микропроцессоре устройства 6). Модуль 12 обработки содержит подсистему или алгоритм, чтобы определять ориентацию источника света или ориентацию освещенной зоны по отношению к камеры 10, как впрочем и средство, чтобы менять аспект интерфейса 8 пользователя таким образом, который неявно или явно предлагает пользователю, чтобы он или она повернул устройство в ориентацию, которая оптимизирует обнаружение кодированного света. Предпочтительно интерфейс пользователя не требует того, чтобы изображение камеры было видимым на дисплее 8.
Как показано на Фигуре 8, модуль 12 обработки устройства 6 содержит блок 32 определения ориентации и блок 38 сравнения. Блок 32 определения ориентации выполнен с возможностью приема потока 30 изображения от элемента 20 захвата изображения камеры 10, при этом поток 30 содержит данные захваченного изображения одного или более изображений среды 2, включая изображение источника 4 света в, по меньшей мере, одном из захваченных изображений. Блок 32 определения ориентации содержит блок распознавания отпечатка, выполненный с возможностью распознавания отпечатка источника 4 света в захваченном изображении, например используя методики, как раскрывается в документе EP 2,503,852. На основании этого, блок 32 определения ориентации определяет текущую ориентацию источника 4 света, как он присутствует в захваченном изображении, например, как показано на Фигурах 5, 6 и 7. Блок 32 определения ориентации затем выводит первый сигнал 34, представляющий собой данную текущую ориентацию, в блок 38 сравнения.As shown in Figure 8, the
В качестве альтернативы или в дополнение, относительная ориентация может быть определена другим образом. Например, блок 32 определения ориентации может быть выполнен с возможностью получения ориентации мобильного устройства 6 от датчика ориентации, и объединения этого с информацией о местоположении, извлеченной из системы позиционирования для того, чтобы определить относительную ориентацию между устройством 6 и осветительным прибором 4. Например, датчик ориентации может быть выполнен в виде компаса, гироскопического(их) датчика(ов) и/или акселерометра(ов), интегрированного в мобильное устройство 6, тогда как система позиционирования может быть выполнена в виде основанной на спутнике системы позиционирования (например, GPS, ГЛОНАСС или Galileo) или локальной RF сети связи (например, используя триангуляцию, трилатерацию и мультилатерацию, основанные на сигналах, передаваемых между мобильным устройством 6 и беспроводными узлами сети). Датчик ориентации предоставляет ориентацию устройства 6 по отношению к миру (при условии, что сигнал является надежным), а информация, принимаемая от системы позиционирования, дает местоположение устройства в мире. При наличии доступа к подходящей базе данных освещения (либо хранящейся локально на устройстве, либо доступ к которой осуществляется удалено, например, через сеть), это может позволить блоку 32 определения ориентации провести поиск в отношении того, какой осветительный прибор(ы) 4 присутствуют в текущем местоположении и их «абсолютную» ориентацию, например, относительно карты, планировки или 3D модели среды. Зная также ориентацию мобильного устройства 6 относительно карты, планировки или модели (от датчика ориентации), блок 32 определения ориентации может, следовательно, определять относительную ориентацию устройства 6 и осветительного прибора 4, и, следовательно, ориентацию осветительного прибора 4, как он будет присутствовать на захваченном изображении. Например, информация о местоположении может быть соотнесена с определенным магазином, и база данных может записывать локальную ориентацию осветительных приборов, которые, как правило, являются однонаправленными по всему пространству магазина.Alternatively or in addition, the relative orientation can be determined in another way. For example, the orientation determining unit 32 may be configured to obtain the orientation of the
Таким образом, при наличии опций выше, в разнообразных вариантах осуществления ориентация мобильного устройства 8 может быть определена из распознавания отпечатка, основанного исключительно на изображении, захваченном камерой, или без камеры, на основании датчика ориентации и системы позиционирования; или информации из обоих методик может быть объединена при определении ориентации.Thus, with the options available above, in various embodiments, the orientation of the
Так или иначе, блок 38 сравнения также извлекает второй сигнал 36, представляющий собой требуемую ориентацию для источника 4 света, как он будет присутствовать на захваченном изображении. Например, блок 38 сравнения извлекает предварительно запрограммированное знание о том, что требуется вертикальная ориентация (в случае горизонтальных строк 22). Блок 38 сравнения затем сравнивает эти два сигнала 36, 38, чтобы определить указание 40 предпочтительной переориентации устройства 6, которое выводится через интерфейс 8 пользователя.Anyway, the
В вариантах осуществления, указание 40 реализуется посредством определения требуемой ориентации интерфейса пользователя (UI) для интерфейса 8 пользователя, в результате чего тот контент отображается в UI 8 с такой ориентацией, что для правильного (в прямом направлении) чтения, пользователь должен повернуть его или ее телефон или планшет в направлении, наиболее выгодном для обнаружения кодированного света. Таким образом пользователя неявным образом заставляют выполнить переориентацию. Например, текст на дисплее устройства ориентирован так, что для правильного чтения требуется повернуть интеллектуальный телефон 6 в направлении для оптимального (или, по меньшей мере, улучшенного) обнаружения кодированного света. В качестве другого примера, ориентация графики (например, фотографии или чертежа) на дисплее устройства является такой, что для правильного просмотра требуется повернуть интеллектуальный телефон в направлении более выгодном для обнаружения кодированного света. Например, данная графика может содержать логотип компании, интерактивный элемент управления, такой как ползунок, который регулируется посредством взаимодействия с сенсорным экраном, и/или изображения, в рассмотрении которого пользователь заинтригован.In embodiments,
Например, обратимся к Фигуре 9. На ней контент содержит картинку кошки 44 и/или некоторый текст 42, но повернутые на угол. Даже не задумываясь, пользователь находит в себе желание полюбоваться кошкой 44 или прочитать текст 42 и инстинктивно поворачивает устройство так, что контент отображается прямо. Угол, под которым теперь держат устройство 6, является оптимальным углом для обнаружения кодированного света.For example, refer to Figure 9. On it, the content contains a picture of a
В другом варианте осуществления, контент интерфейса пользователя может быть повернут, но текст, выражающий сообщение, чтобы повернуть устройство, отображается прямо (и может удерживаться в прямом направлении в то время, как устройство 6 поворачивается), так что пользователь устройства 6 видит инструкцию, в отношении поворота, удобочитаемым образом. Текст может быть удален, как только устройство 6 было повернуто в оптимальную ориентацию.In another embodiment, the content of the user interface can be rotated, but the text expressing the message to rotate the device is displayed directly (and can be held in the forward direction while the
В другом варианте осуществления, стрелка на дисплее 8 указывает оптимальную ориентацию для обнаружения кодированного света.In another embodiment, the arrow on the
В другом варианте осуществления, цвет указывает на то, в какой степени ориентация является оптимальной для обнаружения кодированного света. Возможной реализацией является использование цветной границы, цвет которой меняется от красного к зеленому, в зависимости от ориентации осветительных приборов.In another embodiment, the color indicates the degree to which the orientation is optimal for detecting coded light. A possible implementation is the use of a color border, the color of which changes from red to green, depending on the orientation of the lighting fixtures.
В еще одном другом варианте осуществления, указание может быть точной метрикой, отображаемой пользователю, количественно определяющей предпочтительную ориентацию по отношению к текущей ориентации устройства. Например, метрика может измерять отношение или пропорцию количества строк 22, которое источник 4 света занимает в настоящее время по отношению к оцениваемому максимальному количеству строк 22, которое источник света может потенциально занимать, если устройство повернуто в оптимальную позицию, и/или метрика может измерять количество градусов, на которое устройство 6 должно быть повернуто по одной или более осям. Данная метрика может быть отображена пользователю с помощью цифр или графически, например, как позиция или величина на графической шкале. Для конечного пользователя, предпочтительно метрика будет представляться графически, например, в форме кругового сектора, который перекрывает диапазон между текущим и требуемым углом ориентации. Например, Фигуры 10 и 11 показывают пример кругового сектора, чтобы указать разницу между менее оптимальной ориентацией и в большей степени оптимальной ориентацией устройства. Второй индикатор представляет собой относительную скорость обнаружения, как процент от максимальной ожидаемой скорости обнаружения.In yet another embodiment, the indication may be an exact metric displayed to the user, quantifying the preferred orientation with respect to the current orientation of the device. For example, a metric can measure the ratio or proportion of the number of lines 22 that the
Следует иметь в виду, что вышеприведенные варианты осуществления были описаны лишь в качестве примера.It should be borne in mind that the above embodiments have been described only as an example.
Например, объем раскрываемых методик не ограничивается примерными указаниями целевой ориентации, обсуждаемой выше, и могут быть использованы другие указания, или любое сочетание вышеприведенный указаний и/или других. В целом, целевая переориентация может быть выражена в любой форме, и может быть выражена в единицах целевого изменения в ориентации или в абсолютной ориентации, которая должна быть достигнута.For example, the scope of the disclosed techniques is not limited to the approximate indications of the target orientation discussed above, and other indications may be used, or any combination of the above indications and / or others. In general, target reorientation can be expressed in any form, and can be expressed in units of a target change in orientation or in the absolute orientation that is to be achieved.
Кроме того, несмотря на то, что выше было описано, что модуль 12 обработки декодирует кодированный свет, как впрочем и вычисляет целевую переориентацию, не требуется чтобы это было так во всех возможных вариантах осуществления. В качестве альтернативы или в дополнение, модуль 12 обработки на устройстве 6 может выполнять операции для определения целевой переориентации устройства 6, а захваченное изображение может быть пропущено на другой терминал для извлечения сигнала кодированного света. Например, модуль 12 обработки может сохранять изображение (например, локально или посредством выгрузки на хост-компьютер или сервер), так что кодированный свет может быть декодирован из сохраненного изображения позже.In addition, although it has been described above that the
Кроме того, раскрываемые методики могут быть использованы совместно с некоторым количеством разных приложений кодированного света. Кодированный свет добавляет информацию к источнику света, как впрочем и освещенной среде, и обнаружение с помощью существующих (мобильных) камер добавляет значение к источнику света когда внедренная информация становится доступной для разнообразных новых приложений. Например, особая для лампы информация может быть использована во время ввода в эксплуатацию новых систем освещения, и/или обеспечивать персонализированное локальное управление светом с помощью интеллектуального телефона или планшета. В качестве другого примера, совокупность осветительных приборов с возможностями кодированного света может обеспечивать плотную сетку световых маяков для навигации внутри помещения и основанных на местоположении услуг, добавляя значение потребителю и давая точную информацию о местоположении поставщику услуг. В качестве еще одного другого примера, освещение кодированным светом особого объекта может по существу присваивать ʹтэгʹ объекту с помощью внедренного идентификатора внедренного в свет. Раскрываемые методики могут потенциально добавлять надежность любому из этих приложений.In addition, the disclosed techniques can be used in conjunction with a number of different applications of coded light. Coded light adds information to the light source, as well as the illuminated medium, and detection using existing (mobile) cameras adds value to the light source when the embedded information becomes available for a variety of new applications. For example, information specific to the lamp may be used during the commissioning of new lighting systems, and / or provide personalized local light control using a smart phone or tablet. As another example, a combination of lighting products with coded light capabilities can provide a dense grid of light beacons for indoor navigation and location-based services, adding value to the consumer and giving accurate location information to the service provider. As another example, the coded light of a specific object can essentially assign a “tag” to an object using an embedded identifier embedded in the light. The disclosed techniques can potentially add reliability to any of these applications.
Следует иметь в виду, что изобретение также применяется к компьютерным программам, в частности компьютерным программа на или в носителе, адаптированном для воплощения изобретения на практике. Программа может быть в форме исходного кода, объектного кода, кода промежуточного между исходным и объектным кодом, как например в частично компилированной форме, или в любой другой форме подходящей для использования при реализации способа в соответствии с изобретением.It should be borne in mind that the invention also applies to computer programs, in particular computer programs on or in a carrier adapted for putting the invention into practice. The program may be in the form of source code, object code, intermediate code between the source and object code, such as in a partially compiled form, or in any other form suitable for use when implementing the method in accordance with the invention.
Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому средству, по меньшей мере, одной из систем и/или продуктов, изложенных в данном документе. Эти инструкции могут быть подразделены на подпрограммы и/или храниться в одном или более файлах, которые могут быть связаны статично или динамично.Another embodiment relating to a computer program product comprises computer-executable instructions corresponding to each means of at least one of the systems and / or products described in this document. These instructions can be subdivided into subroutines and / or stored in one or more files that can be linked statically or dynamically.
Как предусмотрено выше изобретение может дополнительно быть воплощено в форме компьютерного программного продукта. Когда предоставляется на носителе, носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью переноса программы. Например, носитель может включать в себя запоминающий носитель информации, такой как ROM, например, CD ROM или полупроводниковая ROM, или магнитный записывающий носитель информации, например, жесткий диск. В качестве альтернативы, носитель может быть интегральной микросхемой, в которую внедрена программа, интегральной микросхемой выполненной с возможностью выполнения, или используемой при выполнении, соответствующего способа.As provided above, the invention may additionally be embodied in the form of a computer software product. When provided on a carrier, the carrier of a computer program may be any object or device configured to carry the program. For example, the medium may include a storage medium, such as a ROM, for example, a CD-ROM or a semiconductor ROM, or a magnetic recording medium, for example, a hard disk. Alternatively, the carrier may be an integrated microcircuit in which the program is embedded, an integrated microcircuit configured to be executed, or used in the execution of the corresponding method.
Другие вариации раскрываемых вариантов осуществления могут быть понятны и выполнены специалистами в соответствующей области техники при реализации на практике заявленного изобретения, из изучения чертежей, раскрытия, и прилагаемой формулы изобретения. В формуле изобретения, слово «содержащий» не исключает других элементов и этапов, а формы единственного числа не исключают множество. Один процессор или другой блок может исполнять функции нескольких элементов, перечисленных в формуле изобретения. Тот лишь факт, что некоторые меры изложены во взаимно разных зависимых пунктах формулы изобретения не указывает на то, что сочетание этих мер не может быть использовано для достижения преимущества. Компьютерная программа может быть сохранена/распространяться на подоходящем носителе информации, таком как оптический запоминающий носитель информации или твердотельный носитель информации, поставляемый совместно с или как часть другого аппаратного обеспечения, но также может быть распространена в других формах, как например через Интернет или другие проводные или беспроводные системы телекоммуникации. Любое ссылочное обозначение в формуле изобретения не должно толковаться в качестве ограничивающего объем.Other variations of the disclosed embodiments can be understood and performed by specialists in the relevant field of technology in the implementation in practice of the claimed invention, from the study of the drawings, the disclosure, and the appended claims. In the claims, the word "comprising" does not exclude other elements and steps, and the singular form does not exclude a plurality. One processor or other unit may fulfill the functions of several items recited in the claims. The mere fact that certain measures are set forth in the mutually different dependent claims does not indicate that a combination of these measures cannot be used to achieve an advantage. The computer program may be stored / distributed on an appropriate storage medium, such as an optical storage medium or solid-state storage medium supplied with or as part of other hardware, but may also be distributed in other forms, such as via the Internet or other wired or wireless telecommunications systems. Any reference designation in the claims should not be construed as limiting the scope.
Claims (29)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14167840 | 2014-05-12 | ||
EP14167840.9 | 2014-05-12 | ||
PCT/EP2015/059436 WO2015173024A1 (en) | 2014-05-12 | 2015-04-30 | Detection of coded light |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2016148376A RU2016148376A (en) | 2018-06-13 |
RU2016148376A3 RU2016148376A3 (en) | 2018-12-21 |
RU2689142C2 true RU2689142C2 (en) | 2019-05-24 |
Family
ID=50685800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016148376A RU2689142C2 (en) | 2014-05-12 | 2015-04-30 | Coded light detection |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3143839A1 (en) |
JP (1) | JP2017525172A (en) |
CN (1) | CN106663213A (en) |
RU (1) | RU2689142C2 (en) |
WO (1) | WO2015173024A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6909055B2 (en) * | 2017-05-31 | 2021-07-28 | キヤノン株式会社 | Information processing equipment, control methods and programs |
CN108134629A (en) * | 2017-12-20 | 2018-06-08 | 成都光享科技有限公司 | A kind of wireless communications method based on visible ray |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009093162A1 (en) * | 2008-01-24 | 2009-07-30 | Koninklijke Philips Electronics N.V. | Sensor device with tilting or orientation-correcting photo sensor for atmosphere creation |
WO2010035192A1 (en) * | 2008-09-26 | 2010-04-01 | Philips Intellectual Property & Standards Gmbh | System and method for automatic commissioning of a plurality of light sources |
WO2011086501A1 (en) * | 2010-01-15 | 2011-07-21 | Koninklijke Philips Electronics N.V. | Method and system for 2d detection of localized light contributions |
US20110276151A1 (en) * | 2009-01-06 | 2011-11-10 | Koninklijke Philips Electronics N.V. | Control system for controlling one or more controllable devices sources and method for enabling such control |
EP2503852A1 (en) * | 2011-03-22 | 2012-09-26 | Koninklijke Philips Electronics N.V. | Light detection system and method |
WO2013073757A1 (en) * | 2011-11-14 | 2013-05-23 | Samsung Electronics Co., Ltd. | Photographing apparatus and image processing apparatus using coded light, and method thereof |
RU2012129543A (en) * | 2009-12-15 | 2014-01-27 | Конинклейке Филипс Электроникс Н.В. | SYSTEM AND METHOD FOR PHYSICAL ASSOCIATION OF LIGHTING SCENES |
WO2014037866A1 (en) * | 2012-09-10 | 2014-03-13 | Koninklijke Philips N.V. | Light detection system and method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7809214B2 (en) * | 2005-08-22 | 2010-10-05 | Samsung Electronics Co., Ltd. | Device and a method for identifying movement patterns |
JP5806606B2 (en) * | 2011-12-01 | 2015-11-10 | キヤノン株式会社 | Information processing apparatus and information processing method |
WO2013109934A1 (en) * | 2012-01-20 | 2013-07-25 | Digimarc Corporation | Shared secret arrangements and optical data transfer |
WO2013136832A1 (en) * | 2012-03-13 | 2013-09-19 | 富士フイルム株式会社 | Stereoscopic image display control device and stereoscopic image display control method |
CN107317625B (en) * | 2012-05-24 | 2019-10-18 | 松下电器(美国)知识产权公司 | Information communicating method, information-communication device, recording medium |
JP6165245B2 (en) * | 2012-06-27 | 2017-07-19 | フィリップス ライティング ホールディング ビー ヴィ | Method and apparatus for automatically adapting the light output of a lighting unit |
US8752761B2 (en) * | 2012-09-21 | 2014-06-17 | Symbol Technologies, Inc. | Locationing using mobile device, camera, and a light source |
-
2015
- 2015-04-30 EP EP15718922.6A patent/EP3143839A1/en not_active Withdrawn
- 2015-04-30 CN CN201580024798.6A patent/CN106663213A/en active Pending
- 2015-04-30 RU RU2016148376A patent/RU2689142C2/en active
- 2015-04-30 WO PCT/EP2015/059436 patent/WO2015173024A1/en active Application Filing
- 2015-04-30 JP JP2016567230A patent/JP2017525172A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009093162A1 (en) * | 2008-01-24 | 2009-07-30 | Koninklijke Philips Electronics N.V. | Sensor device with tilting or orientation-correcting photo sensor for atmosphere creation |
WO2010035192A1 (en) * | 2008-09-26 | 2010-04-01 | Philips Intellectual Property & Standards Gmbh | System and method for automatic commissioning of a plurality of light sources |
US20110276151A1 (en) * | 2009-01-06 | 2011-11-10 | Koninklijke Philips Electronics N.V. | Control system for controlling one or more controllable devices sources and method for enabling such control |
RU2012129543A (en) * | 2009-12-15 | 2014-01-27 | Конинклейке Филипс Электроникс Н.В. | SYSTEM AND METHOD FOR PHYSICAL ASSOCIATION OF LIGHTING SCENES |
WO2011086501A1 (en) * | 2010-01-15 | 2011-07-21 | Koninklijke Philips Electronics N.V. | Method and system for 2d detection of localized light contributions |
EP2503852A1 (en) * | 2011-03-22 | 2012-09-26 | Koninklijke Philips Electronics N.V. | Light detection system and method |
WO2013073757A1 (en) * | 2011-11-14 | 2013-05-23 | Samsung Electronics Co., Ltd. | Photographing apparatus and image processing apparatus using coded light, and method thereof |
WO2014037866A1 (en) * | 2012-09-10 | 2014-03-13 | Koninklijke Philips N.V. | Light detection system and method |
Also Published As
Publication number | Publication date |
---|---|
RU2016148376A3 (en) | 2018-12-21 |
EP3143839A1 (en) | 2017-03-22 |
JP2017525172A (en) | 2017-08-31 |
CN106663213A (en) | 2017-05-10 |
WO2015173024A1 (en) | 2015-11-19 |
RU2016148376A (en) | 2018-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105378503B (en) | It determines and is orientated | |
US9918013B2 (en) | Method and apparatus for switching between cameras in a mobile device to receive a light signal | |
US9418115B2 (en) | Location-based mobile services and applications | |
CN105358938B (en) | The apparatus and method determined for distance or position | |
US9504126B2 (en) | Coded light detector | |
CA2957555C (en) | System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system | |
US8957951B1 (en) | Content delivery based on a light positioning system | |
US8994814B2 (en) | Light positioning system using digital pulse recognition | |
US9444547B2 (en) | Self-identifying one-way authentication method using optical signals | |
EP2737779B1 (en) | Self identifying modulated light source | |
CA2892923C (en) | Self-identifying one-way authentication method using optical signals | |
CN110325896B (en) | Portable device for presenting virtual objects and method thereof | |
RU2689142C2 (en) | Coded light detection | |
US10708999B2 (en) | Method of visualizing a shape of a linear lighting device | |
CN110943778B (en) | Optical communication device and method for transmitting and receiving information | |
JP2020507258A (en) | Coded light detection | |
WO2015104187A1 (en) | Detecting coded light | |
CN108419047B (en) | Remote monitoring method based on cloud computing | |
WO2020062876A1 (en) | Service provision method and system based on optical label | |
US11269041B2 (en) | System for communicating a presence of a device via a light source |