RU2666819C2 - Detecting coded light - Google Patents
Detecting coded light Download PDFInfo
- Publication number
- RU2666819C2 RU2666819C2 RU2015155306A RU2015155306A RU2666819C2 RU 2666819 C2 RU2666819 C2 RU 2666819C2 RU 2015155306 A RU2015155306 A RU 2015155306A RU 2015155306 A RU2015155306 A RU 2015155306A RU 2666819 C2 RU2666819 C2 RU 2666819C2
- Authority
- RU
- Russia
- Prior art keywords
- light
- exposure time
- exposure
- camera
- frequency
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000010191 image analysis Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 230000002045 lasting effect Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/093—Digital circuits for control of exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
- Optical Communication System (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее раскрытие относится к обнаружению компонента кодированного света с использованием камеры.The present disclosure relates to the detection of a coded light component using a camera.
Уровень техникиState of the art
Кодированный свет относится к методам, с помощью которых сигнал интегрируется в видимый свет, излучаемый посредством осветительного прибора. Соответственно, свет содержит составляющую видимого освещения, предназначенную для освещения целевой среды, такой как, например, помещение (как правило, основная цель света), и интегрированный сигнал, предназначенный для предоставления информации в среду. Для этого свет модулируется на конкретной частоте или частотах модуляции.Coded light refers to methods by which a signal is integrated into visible light emitted by a lighting fixture. Accordingly, the light contains a component of visible lighting, intended to illuminate the target environment, such as, for example, a room (usually the main purpose of the light), and an integrated signal designed to provide information to the environment. To do this, the light is modulated at a specific frequency or modulation frequencies.
В некоторых простейших случаях сигнал может содержать одну форму волны или даже один тон, модулированный в свет, излучаемый из конкретного осветительного прибора. Свет, излучаемый посредством каждого из множества осветительных приборов, может быть модулирован на особой соответствующей частоте модуляции, которая является уникальной среди тех осветительных приборов, при этом частота модуляции может впоследствии служить в качестве идентификатора осветительного прибора или его света. Например, это может быть использовано на этапе ввода в эксплуатацию для идентификации составляющей освещения от каждого осветительного прибора, или может быть использовано в процессе эксплуатации для идентификации осветительного прибора, чтобы управлять им. В другом примере идентификация может быть использована для навигационной или другой основанной на местоположении функциональности, посредством преобразования идентификатора для известного местоположения осветительного прибора или информации, связанной с местоположением.In some simple cases, the signal may contain one waveform or even one tone modulated into light emitted from a particular lighting fixture. The light emitted by each of the plurality of lighting fixtures can be modulated at a particular corresponding modulation frequency, which is unique among those lighting fixtures, wherein the modulation frequency can subsequently serve as an identifier of the lighting fixture or its light. For example, this can be used at the commissioning stage to identify the lighting component from each lighting fixture, or it can be used during operation to identify the lighting fixture to control it. In another example, identification may be used for navigation or other location-based functionality by transforming an identifier for a known location of a lighting fixture or location-related information.
В других случаях в свет может быть интегрирован сигнал, содержащий более сложные данные. Например, при использовании частотной манипуляции, конкретный осветительный прибор функционирует для излучения на двух (или более) разных частотах модуляции, а также для передачи битов данных (или, в более общем смысле, символов) посредством переключения между разными частотами модуляции. В случае присутствия множества таких осветительных приборов, осуществляющих излучение в одной среде, каждый из них может быть выполнен с возможностью использования разного соответствующего множества частот для выполнения его соответствующей манипуляции.In other cases, a signal containing more complex data may be integrated into the light. For example, when using frequency manipulation, a particular lighting device operates to emit at two (or more) different modulation frequencies, as well as to transmit data bits (or, more generally, symbols) by switching between different modulation frequencies. In the presence of a plurality of such lighting devices that emit radiation in one medium, each of them can be made with the possibility of using a different corresponding plurality of frequencies to perform its corresponding manipulation.
В документе WО 2012/127439 раскрывается метод, с помощью которого кодированный свет может быть обнаружен с использованием обычной камеры со "сдвигаемым затвором", которая зачастую интегрируется в мобильное устройство, такое как мобильный телефон или планшетный компьютер. В камере со "сдвигаемым затвором" элемент захвата изображения камеры делится на множество линий (как правило, горизонтальных линий, то есть строк), которые экспонируются в построчной последовательности. То есть для захвата конкретного кадра одна первая линия экспонируется на свет в целевой среде, затем в несколько позднее время экспонируется следующая линия в последовательности, и т.д. Как правило, последовательность "сдвигается" в кадре по порядку, например, по строкам сверху вниз, откуда и произошло название "сдвигаемый затвор". При использовании такого метода для захвата кодированного света подразумевается, что разные линии в пределах кадра захватывают свет в разное время, и поэтому, если построчная развертка является достаточно высокой по отношению к частоте модуляции, на разных фазах формы волны модуляции. Таким образом может быть обнаружена модуляция в свете.WO 2012/127439 discloses a method by which coded light can be detected using a conventional “shutter shutter” camera, which is often integrated into a mobile device, such as a mobile phone or tablet computer. In a camera with a “sliding shutter”, the image capture element of the camera is divided into many lines (usually horizontal lines, that is, lines) that are displayed in a row-wise sequence. That is, to capture a specific frame, one first line is exposed to light in the target medium, then at a later time the next line in the sequence is exposed, etc. As a rule, the sequence is “shifted” in the frame in order, for example, in rows from top to bottom, whence the name “shifted shutter” comes from. When using this method to capture coded light, it is assumed that different lines within the frame capture light at different times, and therefore, if the progressive scan is sufficiently high with respect to the modulation frequency, at different phases of the modulation waveform. In this way, light modulation can be detected.
Сущность изобретенияSUMMARY OF THE INVENTION
Если камера используется в качестве детектора для кодированного света, то время экспонирования такой камеры порождает слепые зоны в частотном спектре передаточной функции камеры. В действительности камера может быть неспособна принимать все возможные частоты модуляции, которые могут быть отправлены посредством источника или источников кодированного света.If the camera is used as a detector for coded light, then the exposure time of such a camera generates blind spots in the frequency spectrum of the camera transfer function. In fact, the camera may not be able to receive all possible modulation frequencies that can be sent through a source or sources of coded light.
Согласно одному раскрытому в настоящем документе аспекту, обеспечивается устройство, содержащее вход, выполненный с возможностью приема данных изображения, представляющих свет, захваченный посредством камеры, и модуль анализа изображения, выполненный с возможностью обнаружения компонента кодированного света, модулированного в свет на частоте модуляции. Камера имеет связанное время экспонирования, при этом свет захватывается на основе последовательности экспонирования, продолжительность каждой из которых соответствует моменту времени экспонирования. Обнаружение, выполняемое посредством модуля анализа изображения, сталкивается со слепой зоной частоты вследствие влияния упомянутого времени экспонирования. Для решения данной проблемы устройство снабжается выходом, выполненным с возможностью управления одним или более параметрами камеры, которые изменяют интервал времени экспонирования, и контроллером, выполненным с возможностью управления одним или более параметрами для предотвращения возникновения ситуации, когда частота модуляции соответствует слепой зоне частоты.According to one aspect disclosed herein, an apparatus is provided comprising an input configured to receive image data representing light captured by a camera and an image analysis module configured to detect a component of coded light modulated into light at a modulation frequency. The camera has an associated exposure time, and light is captured based on the exposure sequence, the duration of each of which corresponds to the time of exposure. Detection performed by the image analysis module collides with a frequency blind spot due to the influence of said exposure time. To solve this problem, the device is equipped with an output configured to control one or more camera parameters that change the exposure time interval, and a controller configured to control one or more parameters to prevent a situation when the modulation frequency corresponds to the frequency blind zone.
Например, в камере со сдвигаемым затвором или подобном устройстве, свет захватывается на основе последовательности кадров, при этом в каждом кадре свет захватывается посредством экспонирования последовательности пространственных частей (как правило, линий) в пределах кадра. Каждая из пространственных частей в последовательности экспонируется на свет в момент времени экспонирования, и это время экспонирования порождает слепые зоны в частотной области.For example, in a sliding shutter camera or similar device, light is captured based on a sequence of frames, with light being captured in each frame by exposing a sequence of spatial parts (usually lines) within the frame. Each of the spatial parts in the sequence is exposed to light at the time of exposure, and this exposure time generates blind spots in the frequency domain.
Проблема слепых зон частоты может быть решена посредством захвата изображений с использованием разного времени экспонирования. Например, два или более разных кадров могут быть захвачены с использованием разного времени экспонирования в разных кадрах. В случае применения обнаружения кодированного света к разным изображениям, компонент кодированного света будет отыскиваться, по меньшей мере, в одном из таких изображений, даже если их частота модуляции совпадает с неподдающейся обнаружению слепой зоной, которая порождается в результате воздействия времени экспонирования, используемого для захвата одного или более других таких изображений.The problem of frequency blind spots can be solved by capturing images using different exposure times. For example, two or more different frames can be captured using different exposure times in different frames. In the case of applying coded light detection to different images, the coded light component will be searched for in at least one of these images, even if their modulation frequency coincides with the undetectable blind spot that is generated by exposure time used to capture one or more other such images.
Временем экспонирования можно управлять с использованием установочного параметра явного времени, который оказывает непосредственное влияние на время экспонирования, или с помощью другого параметра, который оказывает косвенное влияние на время экспонирования, например, установочного параметра индекса экспонирования или "ISO", установочного параметра величины экспонирования (отличного от установочного параметра времени экспонирования) или установочного параметра представляющей интерес области.The exposure time can be controlled using an explicit time setting parameter that directly affects the exposure time, or another parameter that indirectly affects the exposure time, for example, the exposure index setting parameter or "ISO", the exposure value setting parameter (excellent from the exposure time setting parameter) or the setting parameter of the region of interest.
В вариантах осуществления после нахождения значения установочного параметра (или установочных параметров), который формирует изображение, в котором обнаруживается компонент кодированного света, оно может быть сохранено для последующих процессов обнаружения. В качестве альтернативы, контроллер может продолжать опробовать множество значений при каждом выполнении обнаружения (например, принимая во внимание тот факт, что в разных средах или при различных обстоятельствах могут присутствовать разные частоты модуляции).In embodiments, after finding the value of the setting parameter (or settings) that forms the image in which the encoded light component is detected, it can be stored for subsequent detection processes. Alternatively, the controller may continue to test a plurality of values each time a detection is performed (for example, taking into account the fact that different modulation frequencies may be present in different environments or under different circumstances).
В вариантах осуществления процесс обнаружения может иметь множество слепых зон, и/или в среде может присутствовать множество частот модуляции. Следовательно, контроллер может быть выполнен с возможностью управления временем экспонирования для предотвращения возникновения ситуации, когда частота модуляции совпадает с одной из слепых зон (то есть частота не совпадает ни с одной из них), и/или для предотвращения возникновения ситуации, когда одна частота из множества частот модуляции совпадает со слепой зоной (то есть ни одна из частот не совпадает ни с одной слепой зоной).In embodiments, the detection process may have multiple blind spots, and / or multiple modulation frequencies may be present in the medium. Therefore, the controller can be configured to control the exposure time to prevent a situation where the modulation frequency coincides with one of the blind spots (i.e., the frequency does not coincide with any of them), and / or to prevent a situation when one frequency from multiple modulation frequencies coincides with the blind zone (that is, none of the frequencies coincides with any blind zone).
Согласно другому раскрытому в настоящем документе аспекту, может быть обеспечен компьютерный программный продукт, который реализован на машиночитаемом носителе и сконфигурирован таким образом, чтобы при выполнении он осуществлял любую из операций устройства обнаружения, раскрытого в настоящем документе.According to another aspect disclosed herein, a computer program product may be provided that is implemented on a computer-readable medium and configured to perform any of the operations of the detection apparatus disclosed herein when executed.
Краткое описание чертежейBrief Description of the Drawings
Для лучшего понимания раскрытых в настоящем документе вариантов осуществления, а также для демонстрации способа, с помощью которого они могут быть осуществлены на практике, обратимся к прилагаемым чертежам, на которых изображено следующее:For a better understanding of the embodiments disclosed herein, as well as to demonstrate the method by which they can be practiced, we turn to the accompanying drawings, which depict the following:
Фиг. 1 схематически демонстрирует пространство, содержащее осветительную систему и камеру,FIG. 1 schematically shows a space containing a lighting system and a camera,
Фиг. 2 изображает блок-схему устройства с камерой для приема кодированного света,FIG. 2 shows a block diagram of a device with a camera for receiving coded light,
Фиг. 3 схематически демонстрирует элемент захвата изображения камеры со сдвигаемым затвором,FIG. 3 schematically shows an image pickup element of a sliding shutter camera,
Фиг. 4 схематически демонстрирует процесс захвата модулированного света посредством сдвигаемого затвора,FIG. 4 schematically illustrates a process for capturing modulated light by means of a sliding shutter,
Фиг. 5 изображает иллюстративную временную диаграмму процесса захвата с использованием сдвигаемого затвора,FIG. 5 is an illustrative timing diagram of a sliding shutter capture process,
Фиг. 6 изображает иллюстративную передаточную функцию во временной области,FIG. 6 depicts an illustrative transfer function in the time domain,
Фиг. 7 изображает иллюстративную передаточную функцию в частотной области, и FIG. 7 depicts an illustrative transfer function in the frequency domain, and
Фиг. 8 изображает дополнительные примеры передаточной функции в частотной области.FIG. 8 depicts further examples of a transfer function in the frequency domain.
Подробное описание вариантов осуществленияDetailed Description of Embodiments
Фиг. 1 изображает иллюстративную среду 2, в которой могут быть развернуты варианты осуществления, раскрытые в настоящем документе. Например, среда может содержать одно или более помещений и/или коридоров офиса, дома, школы, больницы, музея или другое закрытое пространство; или открытое пространство, такое как, например, парк, улица, стадион или подобное; или другой тип пространства, такого как, например, беседка или внутреннее пространство транспортного средства. Среда 2 снабжается осветительной системой, содержащей одно или более осветительных устройств 4 в форме одного или более осветительных приборов. Два осветительных прибора 4i и 4ii изображаются в иллюстративных целях, однако следует понимать, что может присутствовать и другое количество. Осветительные приборы могут быть реализованы с центральным управлением или в качестве отдельных автономных блоков. Также в среде 2 присутствует пользовательский терминал 6, предпочтительно являющийся мобильным устройством, таким как, например, смартфон или планшетный компьютер.FIG. 1 depicts an illustrative environment 2 in which the embodiments disclosed herein may be deployed. For example, an environment may contain one or more rooms and / or corridors of an office, home, school, hospital, museum, or other enclosed space; or open space, such as, for example, a park, street, stadium or the like; or another type of space, such as, for example, a gazebo or the interior of a vehicle. The medium 2 is provided with a lighting system comprising one or more lighting devices 4 in the form of one or more lighting devices. Two lighting fixtures 4i and 4ii are depicted for illustrative purposes, however, it should be understood that other numbers may be present. Lighting devices can be implemented with a central control or as separate autonomous units. Also in environment 2, a user terminal 6 is present, preferably being a mobile device, such as, for example, a smartphone or tablet computer.
Каждый осветительный прибор 4 содержит осветительный элемент, такой как, например, светоизлучающий диод LED, матрица светоизлучающих диодов LED или флуоресцентная трубка для излучения света. Светоизлучающий элемент также может называться лампой или источником света. Свет, излучаемый посредством осветительного элемента каждого из одного или более осветительных приборов, модулируется с компонентом кодированного света на частоте модуляции. Например, модуляция может принимать форму синусоиды, прямоугольной волны или другую форму волны. В случае с синусоидой, модуляция содержит один тон в частотной области. В случае с другой формой волны, такой как прямоугольная волна, модуляция содержит основную частоту и ряд гармоник в частотной области. Как правило, частота модуляции относится к отдельной или основной частоте модуляции, то есть к частоте периода, за который повторяется форма волны.Each lighting device 4 comprises a lighting element, such as, for example, an LED light emitting diode, an LED light emitting diode array, or a fluorescent tube for emitting light. The light emitting element may also be called a lamp or a light source. The light emitted by the lighting element of each of one or more lighting devices is modulated with a coded light component at a modulation frequency. For example, the modulation may take the form of a sine wave, a square wave, or other waveform. In the case of a sine wave, the modulation contains one tone in the frequency domain. In the case of another waveform, such as a square wave, the modulation contains the fundamental frequency and a series of harmonics in the frequency domain. Typically, the modulation frequency refers to a single or fundamental modulation frequency, that is, to the frequency of the period over which the waveform is repeated.
В вариантах осуществления, в одной среде 2 может присутствовать множество осветительных приборов 4i, 4ii, каждый из которых является выполненным с возможностью интегрирования различного соответствующего компонента кодированного света, модулированного на соответствующей частоте модуляции, в свет, излучаемый из соответствующего осветительного элемента. Альтернативно или дополнительно, конкретный осветительный прибор 4 может быть выполнен с возможностью интегрирования двух или более компонентов кодированного света в свет, излучаемый посредством одного осветительного элемента осветительного прибора, каждый из которых модулируется на различной соответствующей частоте модуляции, например, для того, чтобы осветительный прибор мог использовать частотную манипуляцию применительно к интегрированным данным. Также возможна ситуация, когда два или более осветительных приборов 4 находятся в одной среде 2, при этом каждый из них излучает свет, модулированный с двумя или более соответствующими компонентами кодированного света на разных соответствующих частотах модуляции. То есть чтобы первый осветительный прибор 4i мог излучать первое множество компонентов кодированного света на множестве соответствующих частот модуляции, а второй осветительный прибор 4ii мог излучать второе отличное множество компонентов кодированного света, модулированных на втором отличном множестве соответствующих частот модуляции.In embodiments, a plurality of lighting fixtures 4i, 4ii may be present in one medium 2, each of which is configured to integrate a different respective component of the encoded light modulated at the corresponding modulation frequency into the light emitted from the corresponding lighting element. Alternatively or additionally, the particular lighting fixture 4 may be configured to integrate two or more components of the encoded light into the light emitted by one lighting element of the lighting fixture, each of which is modulated at a different respective modulation frequency, for example, so that the lighting fixture can Use frequency manipulation for integrated data. It is also possible that two or more lighting fixtures 4 are in the same medium 2, each of which emits light modulated with two or more corresponding components of the encoded light at different respective modulation frequencies. That is, so that the first lighting fixture 4i can emit a first plurality of coded light components at a plurality of respective modulation frequencies, and the second lighting fixture 4ii can emit a second distinct plurality of encoded light components modulated at a second distinct plurality of respective modulation frequencies.
Фиг. 2 демонстрирует блок-схему мобильного устройства 6. Устройство 6 содержит камеру, имеющую элемент 20 захвата двухмерного изображения, и модуль 12 анализа изображения, соединенный с элементом захвата изображения. Модуль 12 анализа изображения функционирует для обработки сигналов, представляющих изображения, захваченные посредством элемента захвата изображения, а также для обнаружения компонентов кодированного света в свете, из которого было захвачено изображение. В соответствии с раскрытыми в настоящем документе вариантами осуществления, мобильное устройство 6 также содержит контроллер 14 в форме модуля управления экспонированием, функция которого будет обсуждаться вкратце. Модуль 12 анализа изображения и/или контроллер 14 может быть реализован в форме кода, который хранится на машиночитаемой среде хранения данных и может быть выполнен на процессоре 10, содержащем один или более блоков обработки. Кроме того, не исключается вариант реализации модуля 12 анализа изображения и/или контроллера 14 в специализированной схеме аппаратных средств или перенастраиваемой схеме, такой как, например, программируемая пользователем вентильная матрица FPGA. В целом, компоненты 12, 14 и 16 могут быть интегрированы в один блок.FIG. 2 shows a block diagram of a mobile device 6. The device 6 comprises a camera having a two-dimensional image capturing element 20, and an image analysis module 12 connected to the image capturing element. The image analysis module 12 operates to process signals representing images captured by the image pickup element, as well as to detect encoded light components in the light from which the image was captured. In accordance with the embodiments disclosed herein, the mobile device 6 also includes a controller 14 in the form of an exposure control module, the function of which will be discussed briefly. The image analysis module 12 and / or the controller 14 may be implemented in the form of a code that is stored on a computer-readable storage medium and may be executed on a processor 10 containing one or more processing units. In addition, an embodiment of the image analysis module 12 and / or controller 14 in a specialized hardware circuit or a reconfigurable circuit, such as, for example, a user-programmable FPGA gate array, is not ruled out. In general, components 12, 14, and 16 can be integrated into one unit.
Один или более осветительных приборов 4 являются выполненными с возможностью излучения света в среду 2, вследствие чего они освещают, по меньшей мере, часть этой среды. Пользователь мобильного устройства 6 может направить камеру 16 устройства в направлении сцены 8 в среде 2, от которой отражается свет. Например, сцена может содержать поверхность, такую как, например, стена, и/или другие объекты. Свет, излучаемый посредством одного или более осветительных приборов 4, отражается от сцены на элемент захвата двухмерного изображения камеры, которая в итоге захватывает двухмерное изображение сцены 8. Альтернативно или дополнительно, также можно обнаружить кодированный свет непосредственно от источника света (без отражения от поверхности). Поэтому в альтернативном варианте мобильное устройство может быть направлено непосредственно на один или более осветительных приборов 4.One or more lighting devices 4 are configured to emit light into the medium 2, as a result of which they illuminate at least part of this medium. The user of the mobile device 6 can direct the camera 16 of the device in the direction of the scene 8 in the environment 2, from which light is reflected. For example, a scene may contain a surface, such as, for example, a wall, and / or other objects. The light emitted by one or more lighting devices 4 is reflected from the scene to a two-dimensional image capture element of the camera, which ultimately captures the two-dimensional image of scene 8. Alternatively or additionally, coded light can also be detected directly from the light source (without reflection from the surface). Therefore, in an alternative embodiment, the mobile device can be directed directly at one or more lighting devices 4.
Фиг. 3 изображает элемент 20 захвата изображения камеры 16. Элемент 20 захвата изображения содержит матрицу пикселов для захвата сигналов, представляющих свет, падающий на каждый пиксел, например, как правило, квадратную или прямоугольную матрицу квадратных или прямоугольных пикселов. В камере со сдвигаемым затвором пикселы располагаются во множестве линий, например, в горизонтальных строках 22. Для захвата кадра каждая линия экспонируется в последовательности, каждая в очередной момент времени Тexp экспонирования камеры. В этом случае временем экспонирования является продолжительность экспонирования отдельной линии. Также следует отметить, что последовательность в настоящем раскрытии означает временную последовательность, то есть экспонирование каждой линии (или, в более общем смысле, части) начинается в несколько отличное время. Например, сначала верхняя строка 221 начинает экспонироваться в течение времени Texp, затем в несколько позднее время вторая нижестоящая строка 222 начинает экспонироваться в течение времени Texp, затем в несколько позднее время третья нижестоящая строка 223 начинает экспонироваться в течение времени Texp, и т.д., до тех пор, пока не будет экспонирована нижняя строка. Этот процесс впоследствии повторяется для экспонирования последовательности кадров.FIG. 3 shows an image capturing element 20 of a camera 16. The image capturing element 20 comprises a matrix of pixels for capturing signals representing light incident on each pixel, for example, as a rule, a square or rectangular matrix of square or rectangular pixels. In a camera with a movable shutter, the pixels are arranged in many lines, for example, in horizontal lines 22. To capture a frame, each line is exposed in sequence, each at the next instant of exposure time T exp of the camera. In this case, the exposure time is the exposure time of a single line. It should also be noted that the sequence in the present disclosure means a time sequence, that is, the exposure of each line (or, in a more general sense, part) begins at a slightly different time. For example, first, the upper line 22 1 starts to be exposed during the time T exp , then a little later the second lower line 22 2 starts to be exposed during the time T exp , then at a slightly later time the third lower line 22 3 starts to be exposed during the time T exp , etc., until the bottom line is exposed. This process is subsequently repeated to expose a sequence of frames.
Фиг. 5 изображает пример временную диаграмму типичного сдвигаемого затвора в процессе непрерывного захвата видео.FIG. 5 is an example timing diagram of a typical sliding shutter during a continuous video capture process.
Например, в документе WO2012/127439 описывается способ обнаружения кодированного света с использованием обычной видеокамеры такого типа. В процессе обнаружения сигнала используется захват изображения с использованием сдвигаемого затвора, что побуждает к преобразованию временных модуляций света в пространственные изменения интенсивности по последовательным строкам изображения.For example, WO2012 / 127439 describes a method for detecting coded light using a conventional video camera of this type. In the process of signal detection, image capture using a sliding shutter is used, which leads to the conversion of temporal light modulations into spatial intensity changes along successive lines of the image.
Этот схематически демонстрируется на Фиг. 4. По мере экспонирования каждой последовательной линии 22, она экспонируется в несколько отличное время, и поэтому (если построчная развертка является достаточно высокой по сравнению с частотой модуляции) на немного отличной фазе модуляции. Соответственно, каждая линия 22 экспонируется на соответствующем мгновенном уровне модулированного света. В результате чего формируется шаблон полос, которые волнообразно или циклически повторяются с модуляцией по конкретному кадру. На основании такого принципа, модуль 12 анализа изображения способен обнаруживать компоненты кодированного света, модулированные в свет, принятый посредством камеры 16.This is shown schematically in FIG. 4. As each serial line 22 is exposed, it is exposed at a slightly different time, and therefore (if the progressive scan is sufficiently high compared to the modulation frequency) at a slightly different modulation phase. Accordingly, each line 22 is exposed at a corresponding instantaneous level of modulated light. As a result, a pattern of bands is formed, which are wave-like or cyclically repeated with modulation for a specific frame. Based on this principle, the image analysis module 12 is capable of detecting coded light components modulated into the light received by the camera 16.
Однако процесс получения порождает эффект низкочастотной фильтрации применительно к полученному сигналу. Фиг. 6 и 7 демонстрируют характеристику низкочастотной фильтрации процесса получения камеры со сдвигаемым затвором со временем Texp экспонирования.However, the acquisition process produces the effect of low-pass filtering in relation to the received signal. FIG. 6 and 7 show the characteristic of low-pass filtering of the process of obtaining a camera with a sliding shutter with exposure time T exp .
Фиг. 6 изображает схематическое изображение, демонстрирующее время экспонирования в качестве прямоугольной функции блокировки или фильтра с прямоугольной характеристикой во временной области. Процесс экспонирования может быть выражен в виде конволюции модулированного светового сигнала с этой прямоугольной функцией во временной области. Конволюция с фильтром с прямоугольной характеристикой во временной области является эквивалентной умножению на функцию синуса в частотной области. Поэтому, как демонстрируется посредством схематического изображения, представленного на Фиг. 7, в частотной области это побуждает к умножению спектра принятого сигнала на функцию синуса. Функция, на которую умножается спектр принятого сигнала, может называться передаточной функцией, то есть она указывает пропорцию спектра принятого сигнала, которая фактически «определяется» посредством процесса обнаружения в спектре обнаружения.FIG. 6 is a schematic diagram showing exposure time as a rectangular blocking function or filter with a rectangular characteristic in the time domain. The exposure process can be expressed as the convolution of a modulated light signal with this rectangular function in the time domain. Convolving with a filter with a rectangular characteristic in the time domain is equivalent to multiplying by the sine function in the frequency domain. Therefore, as demonstrated by the schematic representation shown in FIG. 7, in the frequency domain, this leads to a multiplication of the spectrum of the received signal by the sine function. The function by which the spectrum of the received signal is multiplied can be called the transfer function, that is, it indicates the proportion of the spectrum of the received signal, which is actually “determined” by the detection process in the detection spectrum.
Соответственно, время экспонирования камеры является функцией блокировки во временной области и фильтром низких частот (синусом) в частотной области. В результате чего, спектр обнаружения или передаточная функция достигает нулевой точки в момент 1/Texp и в целых кратных 1/Texp. Вследствие этого, процесс обнаружения, выполняемый посредством модуля 12 анализа изображения, будет сталкиваться со слепыми зонами в частотной области на нулевой точке или около нее в моменты 1/Texp, 2/Texp, 3/Texp и т.д. Если частота модуляции совпадает с одной из слепых зон, то компонент кодированного света не будет поддаваться обнаружению. Следует отметить, что в вариантах осуществления не следует рассматривать возникновение слепой зоны только на точных частотах этих нулевых точек или точек пересечения в спектре обнаружения или передаточной функции, однако, в более общем случае, слепая зона может относиться к любому диапазону частот около этих нулевых точек или точек пересечения в спектре обнаружения, где передаточная функция является настолько малой, что желаемый компонент кодированного света не может быть обнаружен или не может быть обнаружен достоверно.Accordingly, the exposure time of the camera is a function of blocking in the time domain and a low-pass filter (sine) in the frequency domain. As a result, the detection spectrum or transfer function reaches the zero point at 1 / T exp and in integer multiples of 1 / T exp . As a result of this, the detection process performed by the image analysis unit 12 will collide with the blind spots in the frequency domain at or near zero at times 1 / T exp , 2 / T exp , 3 / T exp , etc. If the modulation frequency coincides with one of the blind spots, then the coded light component will not be detectable. It should be noted that in the embodiments, the occurrence of a blind zone only at the exact frequencies of these zero points or intersection points in the detection spectrum or transfer function should not be considered, however, in a more general case, the blind zone can belong to any frequency range near these zero points or the intersection points in the detection spectrum, where the transfer function is so small that the desired coded light component cannot be detected or cannot be detected reliably.
Было бы желательно предотвратить проблематичное сопряжение частоты модуляции источника света со временем экспонирования камеры, которое может привести к тому, что модуляции не будут поддаваться обнаружению камерой.It would be desirable to prevent the problematic coupling of the modulation frequency of the light source with the exposure time of the camera, which could lead to the fact that the modulations would not be detectable by the camera.
Прямое решение заключается в предварительном планировании частот компонентов кодированного света и времени экспонирования камеры таким образом, чтобы они не конфликтовали друг с другом. Однако для предоставления гарантий надежной работоспособности требуется выполнить огромный объем работы по согласования между всевозможными производителями устройств 6 и осветительных приборов 4. Другое возможное решение заключается в том, чтобы устройство 6 осуществляло обратную связь, с указанием его времени экспонирования или подходящей частоты, с осветительными приборами 4 по подходящему обратному каналу, такому как, например, радиочастотный (RF) канал. Однако это может увеличить нежелательную степень дополнительной инфраструктуры, и также требует согласования между производителями. Еще одно возможное решение заключается в том, чтобы осветительный прибор 4 постепенно изменял собственную частоту модуляции или выполнял параллельную передачу на множестве гармонических частот, чтобы устройство 6 могло всегда обнаружить компонент кодированного света на одной из частот. В данном случае исключается потребность в установлении связи между устройством 6 и осветительными приборами 4. Однако не гарантируется, что осветительные приборы в обязательном порядке будут оснащены такой функциональностью во всех возможных средах, с которыми может столкнуться устройство 6.A direct solution is to pre-plan the frequencies of the components of the encoded light and the exposure time of the camera so that they do not conflict with each other. However, to provide guarantees of reliable performance, a huge amount of work is required to be agreed between various manufacturers of devices 6 and lighting devices 4. Another possible solution is for device 6 to provide feedback, indicating its exposure time or suitable frequency, with lighting devices 4 on a suitable return channel, such as, for example, a radio frequency (RF) channel. However, this can increase the undesirable degree of additional infrastructure, and also requires coordination between manufacturers. Another possible solution is for the lighting device 4 to gradually change its own modulation frequency or to perform parallel transmission at a variety of harmonic frequencies, so that the device 6 can always detect the encoded light component at one of the frequencies. In this case, the need for establishing a connection between the device 6 and the lighting devices 4 is eliminated. However, it is not guaranteed that the lighting devices will necessarily be equipped with such functionality in all possible environments that the device 6 may encounter.
Вместо зависимости от таких возможностей, настоящее раскрытие обеспечивает решение, основанное на том факте, что некоторые устройства камеры обеспечивают управление экспонированием. В случае использования такого решения, изображения могут быть захвачены с использованием разного времени экспонирования, а результаты объединены для предоставления гарантий обнаружения частоты в присутствии эффекта подавления, связанного с экспонированием. В качестве альтернативы, в случае доступности ограниченного управления экспонированием, обеспечиваются варианты осуществления, которые предоставляют гарантии обнаружения частоты посредством управления другим параметром, который косвенно изменяет время экспонирования, таким как, например, установочный параметр ISO, установочный параметр величины экспонирования (EV) или установочный параметр представляющей интерес области.Instead of depending on such capabilities, the present disclosure provides a solution based on the fact that some camera devices provide exposure control. If such a solution is used, images can be captured using different exposure times, and the results are combined to provide guarantees of frequency detection in the presence of the suppression effect associated with exposure. Alternatively, if limited exposure control is available, embodiments are provided that provide assurance of frequency detection by controlling another parameter that indirectly changes the exposure time, such as, for example, ISO setting parameter, exposure value (EV) setting parameter or setting parameter area of interest.
Фиг. 8 изображает иллюстративную передаточную функцию с временем экспонирования, равным 1/30 секунды (демонстрируется посредством сплошной кривой на Фиг. 8), и передаточную функцию с временем экспонирования, равным 1/40 секунды (демонстрируется посредством светлой кривой на Фиг. 8), а также лампу с одной частотой модуляции, равной 300 Гц. Если частота лампы задается равной 300 Гц, а время экспонирования камеры равно 1/30 (или 1/60, 1/100) секунды, то камера не сможет осуществить захват, поскольку передаточная функция является нулевой. Однако когда время экспонирования задается равным 1/40 секунды, камера снова становится чувствительной к 300 Гц. Аналогичный принцип применяется к FSK (переключению между множеством частот).FIG. 8 depicts an illustrative transfer function with an exposure time of 1/30 second (shown by the solid curve in FIG. 8) and a transfer function with the exposure time of 1/40 second (shown by the light curve in FIG. 8), and a lamp with one modulation frequency equal to 300 Hz. If the lamp frequency is set to 300 Hz, and the exposure time of the camera is 1/30 (or 1/60, 1/100) seconds, then the camera will not be able to capture because the transfer function is zero. However, when the exposure time is set to 1/40 of a second, the camera again becomes sensitive to 300 Hz. A similar principle applies to FSK (switching between multiple frequencies).
Как изображено на Фиг. 2, устройство 6 содержит модуль 14 управления экспонированием, соединенный с камерой 6. Модуль 14 управления экспонированием является выполненным с возможностью управления, по меньшей мере, одним параметром камеры 6, который оказывает непосредственное или косвенное влияние на время Тexp экспонирования.As shown in FIG. 2, the device 6 comprises an exposure control module 14 connected to the camera 6. The exposure control module 14 is configured to control at least one parameter of the camera 6, which directly or indirectly affects the exposure time T exp .
Модуль 14 управления является выполненным с возможностью захвата, по меньшей мере, двух кадров данных изображения посредством камеры 16 (например, смартфона), где каждый кадр имеет отличное значением параметра, и поэтому отличное значение времени Texp экспонирования. Соответственно, если кодированные в свете данные не поддаются обнаружению в одном кадре данных изображения, то они должны поддаваться обнаружению в следующем.The control unit 14 is configured to capture at least two frames of image data via a camera 16 (e.g., a smartphone), where each frame has a different parameter value, and therefore a different exposure time T exp . Accordingly, if the light-encoded data is not detectable in one frame of image data, then it should be detectable in the following.
Предпочтительно, чтобы предложение позволяло исключить обратный канал для осветительного прибора с функцией кодирования света (то есть передатчика), поскольку отсутствует необходимость того, чтобы камера (то есть приемник) указывала осветительному прибору частоты модуляции, которые он должен использовать. Кроме того, более высокая скорость передачи данных может быть использована в случае, когда передатчик не обеспечивает механизм для предотвращения недостатков комбинации частоты модуляции с временем экспонирования (например, альтернативное решение излучения из осветительного прибора 4 с использованием двойной параллельной или изменяющихся во времени частот будет понапрасну растрачивать половину полосы частот).Preferably, the proposal allows to exclude the return channel for a lighting device with a light coding function (i.e., a transmitter), since there is no need for the camera (i.e., receiver) to indicate to the lighting device the modulation frequencies that it should use. In addition, a higher data rate can be used when the transmitter does not provide a mechanism to prevent the disadvantages of combining the modulation frequency with the exposure time (for example, an alternative solution to the radiation from the lighting device 4 using double parallel or time-varying frequencies will be wasted half bandwidth).
Модуль 14 управления экспонированием является выполненным с возможностью захвата двух (или более) разных кадров с разными соответствующими временами экспонирования, а также с возможностью применения процесса обнаружения модуля 12 анализа изображения к разным кадрам по отдельности. Каждое время экспонирования соответствует связанной передаточной функции в частотной области, при этом разные времена экспонирования располагаются на достаточном расстоянии друг от друга, чтобы практически не перекрывать слепые зоны (неподдающийся обнаружению диапазон частот около нулевой точки или точки пересечения одной передаточной функции времени экспонирования не перекрывается неподдающимся обнаружению диапазоном около нулевой точки или точки пересечения другой передаточной функции времени экспонирования). Кроме того, времена экспонирования располагаются таким образом, чтобы местоположения частот их слепых зон являлись соответственно негармоническими, по меньшей мере, чтобы одно значение времени 1/Texp не являлось целым кратным другого значения времени 1/Texp. Таким образом, когда модуль 12 анализа изображения применяется к разным кадрам, захваченным с разными соответствующими временами экспонирования, по меньшей мере, один будет всегда обеспечивать положительное обнаружение (предполагается наличие компонента кодированного света, подлежащего обнаружению).The exposure control module 14 is configured to capture two (or more) different frames with different respective exposure times, and also to apply the detection process of the image analysis module 12 to different frames separately. Each exposure time corresponds to a related transfer function in the frequency domain, while different exposure times are located at a sufficient distance from each other so as not to overlap blind areas (the frequency range near the zero point or the intersection point of one transfer function of the exposure time does not overlap with the detection range near the zero point or the intersection of another transfer function of the exposure time). In addition, exposure times are arranged so that the frequency locations of their blind zones are respectively nonharmonic, at least one time value 1 / T exp is not an integer multiple of another time value 1 / T exp . Thus, when the image analysis module 12 is applied to different frames captured with different respective exposure times, at least one will always provide positive detection (the presence of a coded light component to be detected is assumed).
В вариантах осуществления это может быть реализовано посредством конфигурирования модуля 14 экспонирования для опробования двух (или более) конкретных времен экспонирования, предварительно определенных для таких свойств. В качестве альтернативы, модуль 14 управления экспонированием может быть выполнен с возможностью осуществления сканирования по множеству или диапазону разных времен экспонирования, чтобы попытаться выполнить обнаружение с каждым из них.In embodiments, this can be accomplished by configuring the exposure unit 14 to test two (or more) specific exposure times predefined for such properties. Alternatively, the exposure control unit 14 may be configured to scan across a plurality or a range of different exposure times in order to attempt to detect with each of them.
Поэтому следует отметить, что не нужно обязательно знать фактическое местоположение слепых зоны частоты. При условии, что время экспонирования варьируется среди, по меньшей мере, двух разных захваченных изображений, могут быть предоставлены гарантии того, что модуляция будет поддаваться обнаружению, по меньшей мере, в одном из этих изображений.Therefore, it should be noted that it is not necessary to know the actual location of the frequency blind spots. Provided that the exposure time varies among at least two different captured images, guarantees can be provided that the modulation can be detected in at least one of these images.
В вариантах осуществления модуль 14 управления экспонированием и модуль 12 анализа изображения могут захватить кадр и попытаться выполнить обнаружение на основании каждого из различных времен экспонирования, когда принятый свет инспектируется на предмет наличия сигнала или образца кодированного света, а затем модуль 12 анализа изображения может выбрать один или более кадров из числа захваченных кадров, которые привели к положительному обнаружению, или даже может усреднить или накопить захваченные кадры для формирования совокупного изображения, из которого может быть обнаружен кодированный свет. В качестве альтернативы, модуль 14 управления экспонированием может быть выполнен с возможностью переключения, циклического повтора или сканирования разных значений параметра только до тех пор, пока модуль 12 анализа изображения не сообщит о положительном обнаружении.In embodiments, the exposure control module 14 and the image analysis module 12 may capture a frame and attempt to detect based on each of the different exposure times when the received light is inspected for the presence of a signal or sample of coded light, and then the image analysis module 12 may select one or more frames from the number of captured frames that led to positive detection, or can even average or accumulate captured frames to form an aggregate image Brazi from which coded light can be detected. Alternatively, the exposure control module 14 may be configured to switch, cycle, or scan different parameter values only until the image analysis module 12 reports a positive detection.
После нахождения значения параметра, что приводит к положительному обнаружению, он может быть сохранен для дальнейшего использования. В качестве альтернативы, разные значения параметра могут быть опробованы при каждом инспектировании принятого света на предмет наличия сигнала или образца кодированного света.After finding the value of the parameter, which leads to a positive detection, it can be saved for future use. Alternatively, different parameter values may be tested each time the received light is inspected for a signal or sample of coded light.
Операция инспектирования принятого света на предмет наличия сигнала кодированного света может быть инициирована, например, в ответ на пользовательский ввод или автоматически, например, с интервалами, например, периодически.The operation of inspecting the received light for the presence of a coded light signal can be initiated, for example, in response to user input or automatically, for example, at intervals, for example, periodically.
В вариантах осуществления параметр, используемый для оказания воздействия на время экспонирования, может содержать установочный параметр явного времени экспонирования, которым контроллер 14 может непосредственно управлять.In embodiments, the parameter used to influence the exposure time may comprise a setting parameter for the explicit exposure time, which the controller 14 can directly control.
В качестве альтернативы, если время экспонирования не может быть задано напрямую (или даже в качестве дополнительного способа управления временем экспонирования), то один из нижеприведенных способов может быть использован для косвенного получения изображений с разными временами экспонирования. Эти способы предусматривают управление другим параметром, который, по сути, не является установочным параметром времени экспонирования, но оказывает косвенное воздействие на время экспонирования.Alternatively, if the exposure time cannot be set directly (or even as an additional way to control the exposure time), then one of the following methods can be used to indirectly obtain images with different exposure times. These methods provide for the control of another parameter, which, in fact, is not a setting parameter of the exposure time, but has an indirect effect on the exposure time.
В одном таком примере модуль 14 управления экспонированием может быть выполнен с возможностью получения различных времен экспонирования посредством применения разных значений установочного параметра индекса экспонирования (EI) камеры 16, как правило, относящегося к установочному параметру ISO. Это указывает уровень чувствительности камеры к свету.In one such example, the exposure control unit 14 may be configured to obtain different exposure times by applying different values of the exposure index (EI) setting of the camera 16, typically related to the ISO setting. This indicates the level of sensitivity of the camera to light.
В другом примере установочный параметр "величины экспонирования" (EY) может быть изменен (следует отметить, что он не является "индексом экспонирования" или "значением времени экспонирования"). Управление EV направлено на принудительное осуществление недостаточного или чрезмерного экспонирования. Экспонирование является количеством света, принятого посредством датчика, и зависит от апертурной диафрагмы камеры и времени экспонирования. Как правило, регулировка уменьшает или увеличивает дробные шаги (например, шаги ±1/3, ±1/2, ±1, ±2 или ±3) стандартного или предварительно определенного экспонирования камеры. Как правило, это относится к текущему (выбранному автоматически) времени экспонирования.In another example, the "exposure value" (EY) setting parameter may be changed (it should be noted that it is not an "exposure index" or an "exposure time value"). EV control is aimed at forcing insufficient or excessive exposure. Exposure is the amount of light received by the sensor and depends on the aperture diaphragm of the camera and the exposure time. Typically, adjusting decreases or increases the fractional steps (for example, steps ± 1/3, ± 1/2, ± 1, ± 2 or ± 3) of a standard or predefined camera exposure. Typically, this refers to the current (automatically selected) exposure time.
В еще одном примере параметр(ы), управление которым осуществляется посредством модуля 14 управления экспонированием, содержит установочный параметр или установочные параметры, указывающие "представляющую интерес область" (ROI) в пределах кадра, на основе которых камера регулирует параметры экспонирования. "Представляющая интерес область" является выбранной подобластью в пределах области кадра. В этом случае модуль 14 управление экспонированием выбирает, по меньшей мере, две зоны в области кадра, скажем, яркую и темную зоны захватываемой сцены. При захвате кадра с областью ROI в темной зоне и кадра с областью ROI, размещенной в светлой зоне, параметры экспонирования (включая время экспонирования) будут впоследствии изменены автоматически посредством камеры, в ответ на изменение местоположения области ROI. Это может оказаться полезным, например, если ни один из параметров экспонирования не был задан напрямую, и встроенная мобильная камера 16 может принять только местоположение области ROI экспонирования. Эта ситуация является довольно распространенной в современных мобильных устройствах.In yet another example, the parameter (s) controlled by the exposure control unit 14 comprises a setting parameter or settings indicating a “region of interest” (ROI) within the frame based on which the camera adjusts the exposure parameters. A region of interest is a selected sub-region within the frame region. In this case, the exposure control unit 14 selects at least two areas in the frame area, say, the bright and dark areas of the captured scene. When capturing a frame with an ROI area in a dark area and a frame with an ROI area located in a light area, the exposure settings (including exposure time) will subsequently be automatically changed by the camera in response to a change in the location of the ROI area. This may be useful, for example, if none of the exposure parameters was set directly, and the built-in mobile camera 16 can only accept the location of the exposure ROI area. This situation is quite common in modern mobile devices.
Следует понимать, что вышеописанные варианты осуществления были описаны исключительно в иллюстративных целях. Например, изобретение может быть применено в широком диапазоне вариантов применения, таких как, например, обнаружение кодированного света с помощью оборудованных камерой устройств, таких как, например, смартфоны и планшетные компьютеры, обнаружение кодированного света на основе камеры (например, для осветительной установки в потребительской и профессиональной области), персонифицированное управление светом, пометка объекта на основе света и навигацию в помещении на основе света.It should be understood that the above embodiments have been described for illustrative purposes only. For example, the invention can be applied in a wide range of applications, such as, for example, detecting coded light using camera-equipped devices, such as, for example, smartphones and tablet computers, detecting coded light based on a camera (for example, for lighting installations in a consumer and professional areas), personalized light control, marking an object based on light, and navigation in a room based on light.
Кроме того, область применения изобретения не ограничивается предотвращением порождения слепых зон методами сдвигаемого затвора или слепых зон в любом конкретном эффекте фильтрации или спектре обнаружения. Например, в случае, когда частота кадров является достаточно высокой и время экспонирования все еще оказывает влияние на частотную характеристику процесса обнаружения, может быть использован кадровый затвор. В настоящем раскрытии следует понимать, что использование разных времен экспонирования может снизить риск неудачного обнаружения модуляции вследствие слепых зон частоты, возникающих в результате любого побочного эффекта или ограничения, связанного с временем экспонирования любого устройства обнаружения, используемого для обнаружения модулированного света.In addition, the scope of the invention is not limited to preventing blind spots from being generated by sliding shutter methods or blind spots in any particular filtering effect or detection spectrum. For example, in the case where the frame rate is high enough and the exposure time still affects the frequency response of the detection process, a frame shutter can be used. It should be understood in the present disclosure that using different exposure times can reduce the risk of failure to detect modulation due to frequency blind spots resulting from any side effect or limitation associated with the exposure time of any detection device used to detect modulated light.
Как было упомянуто выше, когда модуляция принимает несинусоидальную форму волны, такую как, например, прямоугольная волна, как правило, частота модуляции относится к основной частоте. В вышеупомянутых примерах, когда слепые зоны возникают в целых кратных времени 1/Texp, формы волны, такие как, например, прямоугольная волна, создаются из основной частоты и гармоник целых кратных основной частоты, предоставляя гарантии того, что основная частота модуляции предотвратит порождение слепой зоны, а также означает, что гармоники предотвратят порождение слепых зон. Тем не менее, в целом, не исключено, что компонент кодированного света будет рассматриваться в качестве подлежащего модулированию с частотой основной и/или любой желаемой гармоники, и предотвращение возникновения ситуации, когда частота модуляции соответствует слепой зоне, может означать предотвращение возникновения ситуации, когда основная и/или любая желаемая гармоника (которая оказывает влияние на способность обнаружения компонента) совпадает со слепой зоной.As mentioned above, when the modulation takes a non-sinusoidal waveform, such as, for example, a square wave, as a rule, the modulation frequency refers to the fundamental frequency. In the above examples, when blind zones occur in integer multiples of the time 1 / T exp , waveforms such as, for example, a square wave are created from the fundamental frequency and harmonics of integer multiples of the fundamental frequency, providing guarantees that the fundamental modulation frequency will prevent generation of the blind zones, and also means that harmonics will prevent the generation of blind zones. Nevertheless, in general, it is possible that the coded light component will be considered to be modulated with the frequency of the fundamental and / or any desired harmonic, and preventing the occurrence of a situation where the modulation frequency corresponds to the blind spot may mean preventing the occurrence of a situation where the main and / or any desired harmonic (which affects the ability to detect the component) coincides with the blind spot.
Представленное выше описание было описано с точки зрения опробования разных времен экспонирования применительно к разным кадрам, однако в других вариантах реализации не исключается тот факт, что контроллер 14 может использовать разные времена экспонирования применительно к, скажем, разным половинам или, в более общем смысле, частям одного кадра. В качестве альтернативы, каждое отличное время экспонирования может быть использовано в группе кадров, а обнаружение применяется к каждой из различных групп.The above description has been described in terms of testing different exposure times for different frames, however, in other embodiments, the fact that the controller 14 can use different exposure times for, say, different halves or, more generally, parts one frame. Alternatively, each different exposure time can be used in a group of frames, and detection is applied to each of the different groups.
Другие изменения в раскрытых вариантах осуществления могут быть восприняты и произведены специалистами в соответствующей области техники при осуществлении на практике заявленного изобретения после изучения чертежей, раскрытия и прилагаемой формулы изобретения. В формуле изобретения слово "содержащий" не исключает наличия других элементов или этапов, а упоминание элемента в единственном числе не исключает наличия множества таких элементов. Отдельный процессор или другой блок может выполнять функции нескольких пунктов, перечисленных в формуле изобретения. Лишь тот факт, что конкретные измерения перечислены в отличающихся друг от друга зависимых пунктах формулы изобретения, не указывает на невозможность полезного применения их комбинации. Компьютерная программа может быть сохранена или распространяться на подходящем носителе, таком как, например, оптический информационный носитель или твердотельный носитель, поставляемый совместно или в составе других аппаратных средств, однако также может распространяться в других формах, таких как, например, через сеть Интернет или другие проводные или беспроводные телекоммуникационные системы. Никакие ссылочные позиции в нижеследующей формуле изобретения не следует рассматривать в порядке ограничения ее объема.Other changes in the disclosed embodiments may be perceived and made by those skilled in the art when practicing the claimed invention after studying the drawings, disclosure and appended claims. In the claims, the word “comprising” does not exclude the presence of other elements or steps, and the mention of an element in the singular does not exclude the presence of a plurality of such elements. A single processor or other unit may fulfill the functions of several items listed in the claims. The mere fact that specific measurements are listed in dependent dependent claims that are different from each other does not indicate the impossibility of the beneficial use of their combination. The computer program may be stored or distributed on a suitable medium, such as, for example, optical information medium or solid-state medium supplied jointly or as part of other hardware, but may also be distributed in other forms, such as, for example, via the Internet or other wired or wireless telecommunication systems. No reference position in the following claims should not be construed in order to limit its scope.
Claims (23)
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13169086 | 2013-05-24 | ||
| EP13169086.9 | 2013-05-24 | ||
| PCT/EP2014/060685 WO2014187968A1 (en) | 2013-05-24 | 2014-05-23 | Detecting coded light |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2015155306A RU2015155306A (en) | 2017-06-28 |
| RU2015155306A3 RU2015155306A3 (en) | 2018-03-23 |
| RU2666819C2 true RU2666819C2 (en) | 2018-09-12 |
Family
ID=48482952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015155306A RU2666819C2 (en) | 2013-05-24 | 2014-05-23 | Detecting coded light |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10128944B2 (en) |
| EP (1) | EP3004984B1 (en) |
| JP (1) | JP6407975B2 (en) |
| CN (1) | CN105230002B (en) |
| BR (1) | BR112015028951A2 (en) |
| RU (1) | RU2666819C2 (en) |
| WO (1) | WO2014187968A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3025442B1 (en) * | 2013-07-23 | 2018-04-25 | Philips Lighting Holding B.V. | Modulation of coded light components |
| DE112015006688T5 (en) | 2015-08-04 | 2018-03-29 | Ford Global Technologies, Llc | Determining the position of a device in a vehicle |
| TWI620420B (en) * | 2016-12-02 | 2018-04-01 | 財團法人資訊工業策進會 | Visible light communication system and method |
| EP3682562B1 (en) * | 2017-09-11 | 2021-01-20 | Signify Holding B.V. | Detecting coded light with rolling-shutter cameras |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010021249A1 (en) * | 2008-08-21 | 2010-02-25 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2011078074A (en) * | 2009-09-04 | 2011-04-14 | Canon Inc | Imaging apparatus and control method therefor |
| WO2012127439A1 (en) * | 2011-03-22 | 2012-09-27 | Koninklijke Philips Electronics N.V. | Light detection system and method |
| US20130107063A1 (en) * | 2010-07-16 | 2013-05-02 | Olympus Corporation | Imaging device and method of controlling imaging device |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4797415B2 (en) | 2005-03-25 | 2011-10-19 | 株式会社ニコン | Illumination device, photographing device, and photographing system |
| US8164651B2 (en) * | 2008-04-29 | 2012-04-24 | Omnivision Technologies, Inc. | Concentric exposure sequence for image sensor |
| JP2010232912A (en) * | 2009-03-26 | 2010-10-14 | Panasonic Electric Works Co Ltd | Illumination light transmission system |
| JP2011014957A (en) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | Imaging element |
| CN102696280B (en) | 2010-01-15 | 2016-07-06 | 皇家飞利浦电子股份有限公司 | Use the regular camera sensor tip Data Detection to visible light communication |
| BR112012017100A8 (en) | 2010-01-15 | 2017-09-19 | Koninklijke Philips Electronics Nv | DETECTION SYSTEM FOR DETERMINING IF A LIGHT CONTRIBUTION FROM A FIRST LIGHT SOURCE OF A LIGHTING SYSTEM IS PRESENT IN A SELECTED POSITION WITHIN A SCENE, METHOD FOR DETERMINING IF A LIGHT CONTRIBUTION FROM A FIRST LIGHT SOURCE OF A LIGHTING SYSTEM LIGHTING IS PRESENT AT A SELECTED POSITION WITHIN A SCENE AND COMPUTER PROGRAM |
| JP5482259B2 (en) | 2010-02-05 | 2014-05-07 | 株式会社豊田中央研究所 | Optical communication device |
| JP5204165B2 (en) * | 2010-08-05 | 2013-06-05 | パナソニック株式会社 | Image restoration apparatus and image restoration method |
| US8908081B2 (en) * | 2010-09-09 | 2014-12-09 | Red.Com, Inc. | Optical filter opacity control for reducing temporal aliasing in motion picture capture |
| CN102104735B (en) * | 2011-01-28 | 2014-05-21 | 清华大学 | Sports scene image capturing method and device for computing illumination |
| US8334898B1 (en) * | 2011-07-26 | 2012-12-18 | ByteLight, Inc. | Method and system for configuring an imaging device for the reception of digital pulse recognition information |
| US9252878B2 (en) * | 2012-12-27 | 2016-02-02 | Panasonic Intellectual Property Corporation Of America | Information communication method |
-
2014
- 2014-05-23 BR BR112015028951A patent/BR112015028951A2/en not_active IP Right Cessation
- 2014-05-23 CN CN201480029936.5A patent/CN105230002B/en active Active
- 2014-05-23 JP JP2016514437A patent/JP6407975B2/en active Active
- 2014-05-23 EP EP14726155.6A patent/EP3004984B1/en active Active
- 2014-05-23 WO PCT/EP2014/060685 patent/WO2014187968A1/en active Application Filing
- 2014-05-23 US US14/893,662 patent/US10128944B2/en active Active
- 2014-05-23 RU RU2015155306A patent/RU2666819C2/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010021249A1 (en) * | 2008-08-21 | 2010-02-25 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2011078074A (en) * | 2009-09-04 | 2011-04-14 | Canon Inc | Imaging apparatus and control method therefor |
| US20130107063A1 (en) * | 2010-07-16 | 2013-05-02 | Olympus Corporation | Imaging device and method of controlling imaging device |
| WO2012127439A1 (en) * | 2011-03-22 | 2012-09-27 | Koninklijke Philips Electronics N.V. | Light detection system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105230002A (en) | 2016-01-06 |
| EP3004984B1 (en) | 2019-09-25 |
| WO2014187968A1 (en) | 2014-11-27 |
| JP2016524853A (en) | 2016-08-18 |
| CN105230002B (en) | 2019-07-19 |
| EP3004984A1 (en) | 2016-04-13 |
| RU2015155306A3 (en) | 2018-03-23 |
| US10128944B2 (en) | 2018-11-13 |
| JP6407975B2 (en) | 2018-10-17 |
| US20160112126A1 (en) | 2016-04-21 |
| RU2015155306A (en) | 2017-06-28 |
| BR112015028951A2 (en) | 2017-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10291321B2 (en) | Self-identifying one-way authentication method using optical signals | |
| CA2957555C (en) | System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system | |
| US9386643B2 (en) | Visible light communications using a remote control | |
| US20160165145A1 (en) | Configuration and management of light positioning system using digital pulse recognition | |
| RU2666819C2 (en) | Detecting coded light | |
| CA2892923C (en) | Self-identifying one-way authentication method using optical signals | |
| CN103250418B (en) | Image processing device, imaging device, image processing method, and white balance adjustment method | |
| JP6096383B2 (en) | Modulation of the encoded light component | |
| JP2017518693A (en) | Encoded light detection | |
| JP2015534316A (en) | Photodetection system and method | |
| WO2017114151A1 (en) | Method for controlling infrared illuminator and related image-recording device | |
| US20090284615A1 (en) | Image capture device and method thereof | |
| Yang et al. | LIPO: Indoor position and orientation estimation via superposed reflected light | |
| WO2014164951A1 (en) | Automatic location-based camera frame rate settings | |
| KR20210049853A (en) | Optical communication device and information transmission/reception method | |
| JP2020532908A (en) | Optical communication devices and systems, and corresponding information transmission and reception methods | |
| US20210135753A1 (en) | Detecting coded light | |
| WO2015104187A1 (en) | Detecting coded light | |
| RU2689142C2 (en) | Coded light detection | |
| CN109474345B (en) | External control-free LED modulation method based on visible light positioning technology | |
| Kim et al. | Features extraction of fluorescent light image for positioning information acquisition using steerable Gaussian filter | |
| JP2015023430A (en) | Imaging apparatus detection unit, imaging apparatus detection system, imaging apparatus detection device, imaging apparatus detection method and imaging apparatus detection program | |
| LIGHT | The present disclosure relates to the detection of coded light using an image sensor, eg a camera of a mobile terminal. |