RU2528016C2 - Способ и устройство для управления осветительным устройством в виртуальной комнате - Google Patents

Способ и устройство для управления осветительным устройством в виртуальной комнате Download PDF

Info

Publication number
RU2528016C2
RU2528016C2 RU2011152270/07A RU2011152270A RU2528016C2 RU 2528016 C2 RU2528016 C2 RU 2528016C2 RU 2011152270/07 A RU2011152270/07 A RU 2011152270/07A RU 2011152270 A RU2011152270 A RU 2011152270A RU 2528016 C2 RU2528016 C2 RU 2528016C2
Authority
RU
Russia
Prior art keywords
photorealistic
devices
room
virtual
virtual room
Prior art date
Application number
RU2011152270/07A
Other languages
English (en)
Other versions
RU2011152270A (ru
Inventor
Роберт П. МАДОННА
Николас Дж. СИПОЛЛО
Original Assignee
Савант Системс Ллс
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Савант Системс Ллс filed Critical Савант Системс Ллс
Publication of RU2011152270A publication Critical patent/RU2011152270A/ru
Application granted granted Critical
Publication of RU2528016C2 publication Critical patent/RU2528016C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Abstract

Изобретение относится к области светотехники. Согласно способу управления одно или несколько устройств, находящихся внутри сооружения, подключают, прямо или косвенно, к программируемому мультимедийному контроллеру, выполненному с возможностью подачи команд управления, которые после их реализации изменяют состояние устройств. На экране дисплея отображается пользовательский интерфейс виртуальной комнаты. Пользовательский интерфейс на основе виртуальной комнаты включает одну или несколько виртуальных комнат, каждая из которых содержит фотореалистичное изображение части сооружения, включая фотореалистичные изображения одного или нескольких устройств, расположенных внутри данной части сооружения. В ответ на выбор конкретного фотореалистичного визуального изображения программируемый мультимедийный контроллер может подавать команды управления, которые после их реализации изменяют состояние этого конкретного устройства. Внешний вид конкретной виртуальной комнаты может обновляться, отражая изменившееся состояние. Технический результат - упрощение управления бытовыми устройствами. 3 н. и 17 з.п. ф-лы, 12 ил.

Description

Связанные заявки
В настоящей заявке испрашивается приоритет по предварительной заявке на патент США, серийный №61/183,825, поданной Robert P. Madonna 3 июня 2009 г. и озаглавленной «Способ и устройство для управления осветительным устройством в виртуальной комнате», содержание которой полностью включено в настоящий документ посредством ссылки.
Область техники, к которой относится изобретение
Настоящее изобретение в целом относится к осветительному устройству и устройству для управления, а, конкретнее, к способам и устройству для управления осветительным устройством в виртуальной комнате.
Уровень техники
По мере увеличения размеров домов и других сооружений и появления в них все большего количества электрических и электронных устройств нагрузка на системы управления этими электрическими и электронными устройствами также возрастает. Одной из конкретных областей, в которых возникает эта проблема, является управление освещением.
Как правило, управление осветительными устройствами в жилом доме или другом сооружении преимущественно осуществляется с помощью настенных механических переключателей света, таких как механические тумблерные переключатели, клавишные переключатели, нажимные кнопочные переключатели и т.п. Такие механические переключатели принимают форму 2-позиционных переключателей, когда управление осветительным устройством осуществляется из одного места расположения переключателя, 3-позиционных переключателей, когда управление осветительным устройством осуществляется из двух мест расположения переключателей, 4-позиционных переключателей, когда управление осветительным устройством осуществляется из трех мест расположения переключателей и т.д. В некоторых случаях механические переключатели комбинируются с механическими регуляторами силы света, которые позволяют делать свет, излучаемый осветительным устройством, более тусклым или ярким, например, поворачивая рукоятку, регулирующую переменный резистор, включенный последовательно с осветительным устройством.
Хотя механические переключатели и регуляторы силы света зарекомендовали себя надежными и экономически эффективными устройствами, они все в большей степени демонстрируют свои ограничения в случае установки в больших домах и других сооружениях. В одной только комнате большого дома или другого сооружения может находиться большое количество отдельных осветительных устройств. Например, в большой комнате могут находиться несколько отдельно стоящих осветительных устройств, таких как лампы, которые создают рабочее освещение; несколько стационарных осветительных устройств, таких как утопленные корпусные светильники и(или) настенные бра, которые обеспечивают общее освещение; а также несколько осветительных устройств специального назначения, таких как местные точечные светильники, которые обеспечивают освещение предметов искусства, архитектурных деталей или других элементов комнаты. Для управления всеми осветительными устройствами в большой комнате с помощью традиционных механических переключателей и регуляторов света обычно применяются «групповые» панели переключателей. ФИГ.1 представляет собой изображение традиционной 6-позиционной механической панели переключателей 100, содержащей шесть механических переключателей 110, 120, 130, 140, 150, 160, каждый из которых может управлять одним или несколькими осветительными устройствами. Для большой комнаты с большим количеством осветительных устройств может потребоваться несколько таких панелей, расположенных в комнате в нескольких местах, например возле разных входов, чтобы обеспечить достаточные средства для управления всеми осветительными устройствами в комнате.
Очевидно, что, хотя применение схемы управления данного типа в большой комнате технически целесообразно, она, как правило, неудобна для пользователя. Пользователю приходится запоминать, какой из многих механических переключателей управляет каждым отдельным осветительным устройством или устройствами. Любой оказавшийся в комнате новый посетитель, который не запомнил эту взаимозависимость, как правило, вынужден действовать методом проб и ошибок, чтобы определить, какой механический переключатель управляет каждым осветительным устройством или устройствами, щелкая всеми переключателями, пока не удастся добиться желаемого результата. Это может быстро привести в состояние растерянности.
В последнее время разработан ряд электронных систем управления освещением различных типов, в которых сделана попытка усовершенствовать традиционную практику управления освещением. Такие электронные системы управления освещением включают один или несколько программируемых электронных контроллеров освещения, которые связаны с помощью цепей управления с реле и(или) регуляторами света, подключенными к каждому отдельному осветительному устройству. Электронные контроллеры освещения могут также быть подключены к ряду настенных, настольных или переносных панелей переключателей с помощью проводных или беспроводных линий связи. Некоторые электронные системы управления освещением поддерживают ряд «сцен» освещения таким образом, чтобы можно было совместно включать, выключать или регулировать яркость некоторого количества источников света с помощью единственного управляющего воздействия, например единственного нажатия на кнопку. Например, конкретная сцена освещения в помещении может включать определенное рабочее освещение и стационарное освещение при полной яркости, подходящее для чтения, при этом другая сцена освещения может включать только определенное местное освещение при очень низком уровне яркости, создавая обстановку, подходящую для просмотра фильмов.
Однако многие традиционные электронные системы управления освещением по-прежнему используют кнопочно-ориентированные пользовательские интерфейсы, напоминающие механические переключатели и регуляторы света, которые они заменили. На ФИГ.2 изображен традиционный настенный пульт управления 200 для традиционной электронной системы управления освещением. В состав пульта 200 входит набор физических нажимных кнопок, на которые нанесена текстовая маркировка. Кнопки 205, 210, 215, 220 выбора сцены освещения позволяют выбирать различные сцены освещения, при этом предусмотрены регуляторы света 230 для регулировки яркости. Кроме того, пульт управления 200 включает кнопки 240 для выбора осветительных устройств в других комнатах дома или сооружения, а также кнопки 250, 255 «Все включены» и «Все выключены» для общего управления.
Хотя традиционные электронные системы управления освещением, использующие традиционные кнопочно-ориентированные пульты управления 200, могут обеспечить некоторое улучшение характеристик по сравнению с традиционными групповыми механическими переключателями и регуляторами света, на практике управление освещением по-прежнему остается довольно недружелюбным к пользователю. Хотя общее количество органов управления может быть сокращено, по-прежнему сохраняется необходимость определять, какая нажимная кнопка управляет каждым из осветительных устройств или групп осветительных устройств в большой комнате. Как правило, на лицевой стороне каждой кнопки в качестве подсказки предусмотрено только короткое неясное название. Далее, если пользователь пожелает отойти от предусмотренных сцен и включать, выключать и(или) регулировать яркость конкретных осветительных устройств, ему придется разбираться с запутанным множеством вариантов отключения и ручного управления. Таким образом, опыт практического управления устройством в целом может, как и раньше, оказаться довольно обескураживающим для пользователя.
В дополнение к традиционным кнопочно-ориентированным пультам управления, в которых используются физические нажимные кнопки, некоторые традиционные электронные системы управления освещением работают совместно с устройствами управления с сенсорным экраном, на котором отображается пользовательский интерфейс на основе меню. Вместо того чтобы манипулировать физическими нажимными кнопками, пользователь одним касанием может выбирать изображения кнопок на сенсорном экране. НА ФИГ.3 изображен традиционный сенсорный пользовательский интерфейс 310 для традиционной электронной системы управления освещением на устройстве управления 300 с сенсорным экраном. Аналогично обсуждавшемуся выше кнопочно-ориентированному пульту управления 200, пользовательский интерфейс 310 отображает набор кнопок 320, 330, 340, 350 для выбора различных сцен освещения. Кроме того, пользовательский интерфейс 310 включает регуляторы света 360 для регулировки яркости, а также средства управления меню 370 для доступа к интерфейсам других комнат в доме или сооружении. Очевидно, что, хотя пользователю больше не приходится нажимать физические кнопки, в целом его действия, предусмотренные традиционным устройством управления 300 с сенсорным экраном, часто мало отличаются от тех, которые предусматриваются традиционным кнопочно-ориентированным пультом управления 200. Просто теперь пользователь использует цифровые кнопки вместо физических. Пользователь по-прежнему должен запоминать, какие кнопки управляют каждым из осветительных устройств или групп осветительных устройств, и, как и раньше, вынужден прибегать к методу проб и ошибок, чтобы точно определить, какое именно действие выполняет каждая кнопка. Таким образом, действия пользователя в целом могут оказаться такими же обескураживающими, как при использовании традиционного кнопочно-ориентированного пульта управления 200.
Кроме того, обсуждавшиеся выше ограничения традиционных систем управления не сводятся только к области управления освещением. В домах и других сооружениях, как правило, имеются другие электрические и электронные устройства разнообразных типов, которые обычно страдают такими же недостатками управления. Например, большая комната в доме или другом сооружении может содержать ряд электроприводных устройств, таких как автоматические светонепроницаемые шторы или потолочные вентиляторы, которыми пользователь может выборочно управлять и регулировать их по своему желанию. Аналогичным образом, большая комната в доме или другом сооружении может содержать ряд аудио- и видеокомпонентов, которыми пользователь хотел бы управлять по своему выбору, а также других устройств, которые он хотел бы эксплуатировать с возможностью управления. Кроме того, в комнате дома или другого сооружения могут находиться различные устройства обогрева, вентиляции и кондиционирования воздуха и(или) устройства управления энергопотреблением, которыми пользователь хотел бы управлять. Как и в случае осветительных устройств, пользователю приходится запоминать, какой механический переключатель, физическая нажимная кнопка или цифровая кнопка связана с каждым устройством и(или) каждой функцией устройства, при этом он может растеряться, когда простое включение или выключение устройства, или иное изменение его состояния потребует значительных усилий.
Следовательно, существует потребность в усовершенствованных способах управления осветительными и другими устройствами, устанавливаемыми в жилых домах или других сооружениях.
Раскрытие изобретения
Недостатки известного уровня техники частично устраняются благодаря программируемому мультимедийному контроллеру, который поддерживает новейший пользовательский интерфейс на основе виртуальной комнаты. В одном из вариантов осуществления пользовательский интерфейс на основе виртуальной комнаты включает набор интерфейсных окружений виртуальной комнаты (в дальнейшем именуемых «виртуальные комнаты»). Каждая виртуальная комната соответствует той или иной физической комнате (или части физической комнаты) в доме или другом сооружении. В некоторых случаях несколько виртуальных комнат могут соответствовать различным частям одной физической комнаты, например, чтобы охватить всю физическую комнату. Каждая виртуальная комната может включать практически фотореалистичное изображение границ физической комнаты (или части физической комнаты), например стен, потолка, пола и т.д., которые очерчивают комнату; может отображать, по меньшей мере, часть мебели, находящейся в физической комнате (или части физической комнаты), например диваны, стулья, кровати, стенные драпировки и т.д., которые находятся в физической комнате; и может отображать устройства, например осветительные устройства, управляемые (прямо или косвенно) программируемым мультимедийным контроллером, которые находятся в физической комнате (или части физической комнаты).
Практически фотореалистичные изображения управляемых устройств предпочтительно показаны в таких местах виртуальной комнаты, которые соответствуют фактическому местоположению устройств в физической комнате. В предпочтительном варианте осуществления практически фотореалистичные изображения комнаты и устройств получены на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты, сделанных из заранее заданного положения и показывающих комнату в различных состояниях. Однако ниже в явной форме рассмотрен и описан ряд других методов создания фотореалистичных изображений комнаты и устройств.
С помощью пользовательского интерфейса на основе виртуальной комнаты пользователь может выбирать, управлять или иным образом взаимодействовать с устройствами, например осветительными устройствами в физической комнате, манипулируя практически фотореалистичными визуальными изображениями устройств, находящихся в виртуальной комнате, например, путем выбора визуальных изображений устройств в виртуальной комнате на сенсорном экране. Внешний вид виртуальной комнаты может динамически обновляться в ответ на манипуляции, производимые пользователем в виртуальной комнате. Кроме того, внешний вид виртуальной комнаты может динамически обновляться в ответ на данные, полученные от устройств, находящихся в физической комнате, и(или) в ответ на изменения окружающих условий. Таким образом, виртуальная комната может непрерывно обновляться, демонстрируя практически фотореалистичное изображение, по меньшей мере, части соответствующей физической комнаты так, чтобы то, что видит пользователь в виртуальной комнате, отражало или, по меньшей мере, напоминало зрительные впечатления, воспринимаемые им в данное время в соответствующей физической комнате.
Краткое описание чертежей
Ниже приведено описание, относящееся к прилагаемым чертежам примеров осуществления.
На ФИГ.1 показано изображение традиционной 6-позиционной механической панели переключателей, содержащей шесть отдельных механических переключателей.
На ФИГ.2 показано изображение традиционного настенного пульта управления для традиционной электронной системы управления освещением.
На ФИГ.3 показано изображение традиционного сенсорного пользовательского интерфейса для традиционной электронной системы управления освещением.
На ФИГ.4 показана блок-схема, иллюстрирующая пример программируемого мультимедийного контроллера, связанного с рядом устройств.
На ФИГ.5 показана блок-схема, иллюстрирующая пример архитектуры аппаратных средств программируемого мультимедийного контроллера, представленного на ФИГ.4.
На ФИГ.6 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты.
На ФИГ.7 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, в котором виртуальная комната была обновлена, чтобы продемонстрировать включение конкретных осветительных устройств.
На ФИГ.8А показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, в котором части двух виртуальных комнат изображены смещенными на пол-экрана, например, в ответ на скольжение пальца пользователя по экрану.
На ФИГ.8В показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, в котором части двух виртуальных комнат, соответствующие одной и той же физической комнате, изображены смещенными на пол-экрана, например, в ответ на скольжение пальца пользователя по экрану.
На ФИГ.8С показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат.
На ФИГ.8D показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат, и демонстрируется дополнительное использование движений пальцев.
На ФИГ.8Е показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, на которой изображен набор виртуальных комнат, распределенных по группам в рамках древовидной структуры виртуальных комнат.
На ФИГ.9 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, на которой выделена вкладка «Освещение».
На ФИГ.10 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, на которой выделена вкладка «Аудио/видео».
На ФИГ.11 показана структурная схема, иллюстрирующая пример последовательности шагов по управлению устройствами в физической комнате с помощью пользовательского интерфейса на основе виртуальной комнаты.
На ФИГ.12 показана функциональная блок-схема, изображающая пример метода визуализации изображения виртуальной комнаты на основе ограниченного количества предварительно записанных изображений физической комнаты в различных состояниях.
Осуществление изобретения
На ФИГ.4 показана блок-схема, иллюстрирующая пример программируемого мультимедийного контроллера 400, связанного с рядом устройств. Термин «программируемый мультимедийный контроллер» следует толковать расширительно в качестве устройства, способного осуществлять управление, коммутацию данных и(или) иное взаимодействие с различными электрическими и электронными устройствами, такими как аудио-, видео- и телефонное оборудование, средства обработки данных и безопасности, устройства с приводным и релейным управлением, системы обогрева, вентиляции и кондиционирования воздуха (ОВКВ) и(или) управления энергопотреблением и(или) другие типы устройств.
Программируемый мультимедийный контроллер 400 может подключаться к различным аудио- и видеоустройствам, в том числе источникам аудиосигнала 410, таким как проигрыватели компакт-дисков (CD-проигрыватели), проигрыватели цифровых видеодисков (DVD-проигрыватели), микрофоны, цифровые видеомагнитофоны (DVR), блоки кабельного телевидения, аудио- и видеоусилители со встроенным тюнером, персональные медиа-плейеры и другие устройства, которые являются источниками аудиосигналов; может подключаться к различным источникам видеосигнала 420, таким как проигрыватели цифровых видеодисков (DVD-проигрыватели), цифровые видеомагнитофоны (DVR), блоки кабельного телевидения, аудио- и видеоусилители со встроенным тюнером, персональные медиа-плейеры и другие устройства, которые являются источниками видеосигналов; может подключаться к различным устройствам со звуковым выходом 430, таким как громкоговорители, устройства, в состав которых входят громкоговорители, и другие устройства, формирующие выходные аудиосигналы; а также может подключаться к различным устройствам с видеовыходом 440, таким как телевизоры, мониторы и другие устройства, формирующие выходные видеосигналы.
Кроме того, программируемый мультимедийный контроллер 400 может подключаться, управлять или иным образом взаимодействовать с различными устройствами других типов, напрямую или через один или несколько промежуточных контроллеров. Например, программируемый мультимедийный контроллер 400 может подключаться к системе управления охранным видеонаблюдением (ОВН) 470, которая управляет системой камер, расположенных в доме или другом сооружении, системе управления ОВКВ и(или) энергопотреблением 475, которая управляет устройствами ОВКВ в целях регулирования параметров окружающей среды и(или) устройств управления энергопотреблением в доме или другом сооружении, и(или) системе безопасности 480, которая управляет набором отдельных охранных датчиков в доме или другом сооружении. В ответ на команды управления, получаемые от программируемого мультимедийного контроллера 400, система управления ОВН 470, система управления ОВКВ и(или) система управления энергопотреблением 475 и система безопасности 480 может управлять устройствами, находящимися соответственно под их непосредственным контролем.
Кроме того, программируемый мультимедийный контроллер 400 может подключаться, управлять или иным образом взаимодействовать с одним или несколькими электронными контроллерами освещения 490. Один или несколько электронных контроллеров освещения 490 могут подключаться, например, с помощью проводных или беспроводных линий связи к набору реле 492 и(или) регуляторов света 493, распределенных по дому или другому сооружению и подсоединенных к цепи электропитания отдельных находящихся там осветительных устройств. В ответ на команды управления, получаемые от программируемого мультимедийного контроллера 400, один или несколько электронных контроллеров освещения 490 могут выборочно вызывать срабатывание реле 492 и(или) настраивать регуляторы света 493, которые подсоединены к конкретным осветительным устройствам (не показаны), с целью создания нужного уровня освещенности или темноты в различных комнатах дома или другого сооружения.
Аналогичным образом, программируемый мультимедийный контроллер 400 может подключаться, управлять или иным образом взаимодействовать с одним или несколькими контроллерами электроприводных устройств 495, например одним или несколькими контроллерами автоматических светонепроницаемых штор или другими типами контроллеров. Как и в случае управления освещением, в ответ на команды управления, получаемые от программируемого мультимедийного контроллера 400, контроллеры электроприводных устройств 495 могут выборочно вызывать срабатывание электроприводных устройств (не показаны) в различных комнатах дома или сооружения для достижения желаемых эффектов.
Программируемый мультимедийный контроллер 400 может получать вводимые пользователем данные с помощью одного или нескольких пультов управления 450, например настенных пультов управления, настольных пультов управления, ручных переносных пультов управления и тому подобных устройств, которые имеют дисплейный экран. Один или несколько пультов управления 450 могут включать сенсорно-экранный интерфейс, интерфейс на основе мыши и указателя или интерфейс другого типа. Пульты управления 450 могут представлять собой специализированные модули, предназначенные для работы с программируемыми мультимедийными контроллерами 400, или устройства общего назначения, например переносные персональные компьютеры, настольные компьютеры и т.д., оснащенные программным обеспечением, позволяющим реализовать пользовательский интерфейс в соответствии с описанными ниже методами. В некоторых случаях пульты управления 450 могут подключаться к программируемому мультимедийному контроллеру 400 через промежуточное устройство 453, например компьютер, с помощью проводных или беспроводных соединений или сетей. В других случаях пульты управления 450 могут непосредственно взаимодействовать с программируемым мультимедийным контроллером 400.
Программируемый мультимедийный контроллер 400 может также получать вводимые пользователем данные с помощью одного или нескольких ручных дистанционных кнопочно-ориентированных пультов управления и(или) настенных кнопочно-ориентированных пультов управления 455, или с помощью одного или нескольких ручных дистанционных пультов управления, включающих круговой сенсорный датчик 457. Дистанционные пульты управления, включающие круговой сенсорный датчик 457, могут быть приспособлены для манипулирования и выделения элементов управления с помощью системы экранных меню, отображаемых на индикаторном устройстве. Дополнительные подробности, касающиеся дистанционных пультов управления, включающих круговой сенсорный датчик, приведены в заявке на патент США, серийный №11/520,328, поданной Madonna и др. 13 сентября 2006 г. и озаглавленной «Дистанционный пульт управления для программируемого мультимедийного контроллера», содержание которой полностью включено в настоящий документ посредством ссылки.
Программируемый мультимедийный контроллер 400 может также получать вводимые пользователем данные с помощью одного или нескольких мобильных устройств 460. В данном контексте термин «мобильное устройство» относится к электронным устройствам, пригодным для индивидуальной переноски, включая мультимедийные смартфоны, такие как мультимедийный телефон iPhone®, выпускаемый компанией Apple Inc., и устройство Blackberry®, выпускаемый компанией Research In Motion Limited, многофункциональные планшетные вычислительные устройства, такие как планшет iPad® компании Apple Inc., переносные медиа-плейеры с расширенными возможностями, такие как iPod® touch компании Apple Inc., карманные персональные компьютеры (КПК), электронные книги и т.п. Такие мобильные устройства могут взаимодействовать с программируемым мультимедийным контроллером 400 непосредственно или косвенно, через различные беспроводные, сотовые и(или) проводные сети (не показаны).
Кроме того, программируемый мультимедийный контроллер 400 может получать вводимые пользователем данные с помощью сенсорного экрана или другого интерфейса, входящего в состав мультимедийных средств самого программируемого контроллера 400, например сенсорного экрана или другого интерфейса, представленных на передней панели 465 программируемого мультимедийного контроллера 400.
В дополнение к этому, программируемый мультимедийный контроллер 400 может получать вводимые пользователем данные с помощью сенсорного экрана, входящего в состав устройства с видеовыходом 440, такого как телевизор.
В ответ на ввод данных пользователем с одного из пультов управления 450, кнопочно-ориентированных дистанционных пультов управления и(или) настенных кнопочно-ориентированных пультов управления 455, дистанционных пультов управления, включающих круговой сенсорный датчик 457, мобильных устройств 460, передней панели 465 и(или) устройств с видеовыходом 440, программируемый мультимедийный контроллер 400 может коммутировать данные, подавать команды управления и(или) иным образом взаимодействовать с источниками звукового сигнала 410, источниками видеосигнала 420, устройствами со звуковым выходом 430 и(или) устройствами с видеовыходом 440. Кроме того, в ответ на вводимые пользователем данные программируемый мультимедийный контроллер 400 может подавать команды управления или иным образом взаимодействовать с системой управления ОВН 470, системой управления ОВКВ и(или) энергопотреблением 475, системой безопасности 480, электронными контроллерами освещения 490, а также контроллерами электроприводных устройств 495. Вводимые пользователем данные, которые, по меньшей мере, частично, определяют выполняемые функции, могут быть получены при помощи нового пользовательского интерфейса на основе виртуальной комнаты, как подробнее объясняется ниже.
В предпочтительном варианте осуществления изобретения новый пользовательский интерфейс на основе виртуальной комнаты отображается на экране пульта управления 450, мобильного устройства 460, дисплея передней панели 465 или другого устройства, имеющего сенсорный экран, при этом пользователь выбирает на нем элементы, касаясь выделенных частей интерфейса пальцем, сенсорным карандашом или аналогичным приспособлением. В других вариантах осуществления пользовательский интерфейс на основе виртуальной комнаты отображается на экране дисплея, не имеющего возможности распознавания касаний, при этом пользователь может взаимодействовать с интерфейсом при помощи какого-либо другого типа интерфейса, например мыши. В одной из конфигураций пользователь может выбирать элементы при помощи кнопочно-ориентированных дистанционных пультов управления и(или) настенных кнопочно-ориентированных пультов управления 455, дистанционных пультов управления, включающих круговой сенсорный датчик 457, или другого устройства. В ответ на выбор пользователем элементов пользовательского интерфейса на основе виртуальной комнаты программируемый мультимедийный контроллер 400 может отдавать конкретные команды управления подключенным к нему устройствам.
На ФИГ.5 показана структурная схема, иллюстрирующая пример архитектуры аппаратных средств 500 программируемого мультимедийного контроллера 400. Различные показанные на схеме компоненты могут быть расположены на «материнской плате» контроллера 400 или на нескольких печатных платах, взаимосвязанных при помощи объединительной панели (не показана). Микроконтроллер 510 управляет работой контроллера 400 в целом. Микроконтроллер 510 подключен к аудиокоммутатору 515 и видеокоммутатору 520 при помощи шины 518. Аудиокоммутатор 515 и видеокоммутатор 520 предпочтительно представляют собой матричные коммутаторы, способные коммутировать ряд соединений одновременно. Однако могут также применяться многие другие типы коммутаторов, способных коммутировать цифровые сигналы, например, коммутаторы с временным разделением каналов (TDM, Time Division Multiplexing) или другие устройства. Кроме того, хотя на рисунке показаны два отдельных коммутатора 515, 520, функции коммутации аудио- и видеосигналов могут быть объединены в одном коммутаторе, который поддерживает коммутацию обоих типов данных.
Срединная объединительная панель 535 связывает аудио- и видеокоммутаторы 515, 520 с различными входными и выходными модулями, например одним или несколькими модулями входных/выходных видеосигналов 587, одним или несколькими модулями входных/выходных аудиосигналов 590 и(или) одним или несколькими другим модулями 595. Такие модули могут включать множество соединительных портов, позволяющих подключаться к аудио- и видеоустройствам. Дополнительные подробности, касающиеся работы одного или нескольких модулей входных/выходных видеосигналов 587, одного или нескольких модулей входных/выходных аудиосигналов 590 и(или) одного или нескольких других модулей 595, приведены в заявке на патент США, серийный №11/314,664, поданной Madonna и др. 20 декабря 2005 г. и озаглавленной «Система и способ для программируемого мультимедийного контроллера», содержание которой полностью включено в настоящий документ посредством ссылки.
Срединная объединительная панель 535, кроме того, подключена к коммутатору Ethernet 530, который связывает порты Ethernet 532 и подсистему обработки 540 с микроконтроллером 210. В одном из вариантов осуществления подсистема обработки 540 включает один или несколько «универсальных вычислительных машин» 545. В данном контексте термин «универсальная вычислительная машина» 545 относится к устройству, которое выполнено с возможностью исполнять набор команд и, в зависимости от конкретных исполняемых команд, может реализовывать ряд различных функций или задач. Как правило, хотя и не всегда, универсальная вычислительная машина 545 исполняет операционную систему общего назначения, такую как операционную систему Windows®, предлагаемую компанией Microsoft Corporation, операционную систему Linux®, предлагаемую рядом других поставщиков, операционную систему OSX®, предлагаемую компанией Apple Inc., или другую операционную систему. Универсальная вычислительная машина 545 может включать машиночитаемый носитель, например жесткий диск, компакт-диск для однократной записи данных (CDROM), флэш-память или устройство хранения данных другого типа, и(или) может быть связана с устройством хранения данных, предусмотренным в другом месте подсистемы обработки 540.
Подсистема обработки 540 предпочтительно имеет один или несколько устройств графического вывода данных 541, 542, таких как аналоговые разъемы VGA (Video Graphics Array, видеографическая матрица), разъемы DVI (Digital Visual Interface, цифровой видеоинтерфейс), разъемы ADC (Apple Display Connector, разъем дисплея Apple), или разъемы другого типа для передачи графических данных. Данные на такие устройства графического вывода данных 541, 542 могут поступать, например, непосредственно от одной или нескольких универсальных вычислительных машин 545 подсистемы обработки 540.
Пример программируемого мультимедийного контроллера 400 может также включать интерфейс карты памяти и ряд портов USB (Universal Serial Bus, универсальная последовательная шина) 542, соединенных с концентратором USB 543. Такие порты USB 542 могут подключаться к внешним устройствам. Коммутатор USB 544 используется для коммутации сигналов USB, полученных концентратором, на подсистему обработки 540. Аналогичным образом, ряд портов IEEE 1394 (FireWire™) 546 может подключаться к внешним устройствам и пропускать данные к концентратору IEEE 1394 547 и коммутатору IEEE 1394 548 для коммутации на подсистему обработки 540.
Микроконтроллер 510 также соединен со схемой распределения 550 последовательного периферийного интерфейса (SPI, Serial Peripheral Interface) и шины для соединения ИС (Inter-lntegrated Circuit, I2C), которая обеспечивает последовательный асинхронный интерфейс связи для устройств с относительно низкой скоростью передачи данных. Контроллер SPI/I2C 550 соединен со срединной объединительной панелью 535 и вследствие этого обеспечивает подачу команд управления от микроконтроллера 510 на модули 587, 590, 595 программируемого мультимедийного контроллера 300. Кроме того, обеспечиваются соединения контроллера SPI/I2C 550 с такими компонентами, как контроллер вентилятора 551, датчик температуры 552 и схема диспетчера питания 553, которые совместно управляют тепловыми характеристиками программируемого мультимедийного контроллера 400.
Микроконтроллер 510 соединен также с интерфейсом управления устройствами 575, которое может взаимодействовать с системой управления ОВН 470, системой управления ОВКВ и(или) энергопотреблением 475, системой безопасности 480, одним или несколькими электронными контроллерами освещения 490, а также одним или несколькими контроллерами электроприводных устройств 495. Кроме того, может быть предусмотрен телефонный интерфейс 570 для подключения к телефонной сети и(или) телефонным трубкам. В дополнение к этому, может предусматриваться порт расширения 580 для соединения нескольких программируемых мультимедийных контроллеров 100 с целью образования расширенной системы, при этом дисплей передней панели 465, например сенсорный дисплей, предусматривается для отображения статуса, конфигурации и(или) другой информации для пользователя, а также приема вводимых пользователем данных.
Такой программируемый мультимедийный контроллер 400 или другая платформа могут поддерживать новый пользовательский интерфейс на основе виртуальной комнаты. В одном из вариантов осуществления пользовательский интерфейс на основе виртуальной комнаты включает набор интерфейсных окружений виртуальной комнаты (в дальнейшем именуемых «виртуальные комнаты»). Каждая виртуальная комната соответствует другой физической комнате (или части физической комнаты) в доме или другом сооружении. В некоторых случаях несколько виртуальных комнат могут соответствовать различным частям одной физической комнаты, например, чтобы охватить всю физическую комнату. Каждая виртуальная комната может включать практически фотореалистичное изображение границ физической комнаты (или части физической комнаты), например стен, потолка, пола и т.д., которые очерчивают комнату; может отображать, по меньшей мере, часть мебели, находящейся в физической комнате (или части физической комнаты), например диваны, стулья, кровати, стенные драпировки и т.д., которые находятся в физической комнате; и может отображать устройства, например осветительные устройства, управляемые (прямо или косвенно) программируемым мультимедийным контроллером, которые находятся в физической комнате (или части физической комнаты).
Практически фотореалистичные изображения управляемых устройств предпочтительно показаны в таких местах виртуальной комнаты, которые соответствуют фактическому местоположению устройств в физической комнате. В предпочтительном варианте осуществления практически фотореалистичные изображения комнаты и устройств получены на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты, сделанных из заранее заданного положения и показывающих комнату в различных состояниях. Однако ниже в явной форме рассмотрены и описаны различные другие методы создания фотореалистичных изображений комнаты и устройств.
С помощью пользовательского интерфейса на основе виртуальной комнаты пользователь может выбирать, управлять или иным образом взаимодействовать с устройствами, например осветительными устройствами в физической комнате, манипулируя практически фотореалистичными визуальными изображениями устройств в виртуальной комнате, например, путем выбора визуальных изображений устройств в виртуальной комнате на сенсорном экране. Внешний вид виртуальной комнаты может динамически обновляться в ответ на манипуляции, производимые пользователем в виртуальной комнате. Внешний вид виртуальной комнаты может также динамически обновляться в ответ на данные, полученные от устройств, находящихся в физической комнате, и(или) в ответ на изменения окружающих условий, например времени дня. Таким образом, виртуальная комната может непрерывно обновляться, демонстрируя практически фотореалистичное изображение, по меньшей мере, части соответствующей физической комнаты так, чтобы то, что видит пользователь в виртуальной комнате, отражало или, по меньшей мере, напоминало зрительные впечатления, воспринимаемые им в данное время в соответствующей физической комнате.
На ФИГ.6 показана схема, иллюстрирующая пример пользовательского интерфейса 600 на основе виртуальной комнаты. Пример пользовательского интерфейса 600 на основе виртуальной комнаты может включать основную область 610, которая образует виртуальную комнату для управления устройствами в соответствующей физической комнате. Пример пользовательского интерфейса 600 на основе виртуальной комнаты может также включать область меню 620, выполненную с возможностью отображения выбираемых вкладок меню, соответствующих различным типам выполняемых функций, и функционально-ориентированную область 630, выполненную с возможностью отображения опций, относящихся к выбранной вкладке меню.
В примере пользовательского интерфейса 600 на основе виртуальной комнаты показана виртуальная комната, соответствующая части «большой комнаты». На дисплее показано практически фотореалистичное изображение части «большой комнаты», включая границы физической комнаты, предметы мебели и устройства, управляемые программируемым мультимедийным контроллером 400, которые находятся в пределах этой части комнаты. Так, в примере виртуальной комнаты показаны практически фотореалистичные изображения отдельно стоящих осветительных устройств, таких как лампы 640, 642; стационарных осветительных устройств, таких как настенные бра 645, 647, 650 и люстра 662; а также осветительные устройства специального назначения, такие как светильники направленного света 665, 667 и 670. Кроме того, в примере виртуальной комнаты показаны практически фотореалистичные визуальные изображения телевизора с плоским экраном 672 и автоматические светонепроницаемые шторы 675, которые также находятся под управлением программируемого мультимедийного контроллера 400. Пользователь может манипулировать практически фотореалистичными визуальными изображениями устройств в виртуальной комнате, чтобы выбирать, управлять или иным образом взаимодействовать с устройствами, находящимися в физической комнате.
Например, пользователь может выбрать конкретные осветительные устройства, чтобы включить их, выделяя, т.е. прикасаясь или нажимая на практически фотореалистичные визуальные изображениями осветительных устройств в виртуальной комнате. Так, пользователь может выбрать, т.е. прикоснуться или нажать на практически фотореалистичное визуальное изображение лампы 640 и люстры 662. В ответ на это программируемый мультимедийный контроллер 400 может послать на один или несколько электронных контроллеров освещения 490 команды управления, под действием которых такие контроллеры включают реле, подсоединенные к цепи электропитания лампы 640 и люстры 662. Кроме того, программируемый мультимедийный контроллер 400 может обновить виртуальную комнату так, чтобы показать практически фотореалистичное изображение физической комнаты с конкретными включенными осветительными устройствами.
На ФИГ.7 показана схема, иллюстрирующая пример пользовательского интерфейса 700 на основе виртуальной комнаты, в котором виртуальная комната была обновлена, чтобы продемонстрировать включение конкретных осветительных устройств. Как видно на ФИГ.7, практически фотореалистичные визуальные изображения лампы 640 и люстры 662 изменились и показывают включенные осветительные устройства. Кроме того, эффекты такого освещения воспроизведены в виртуальной комнате таким образом, чтобы помещение и предметы мебели отображали световые эффекты, создаваемые лампой 640 и люстрой 662. Например, на отражающих поверхностях показаны реалистические отсветы, соответствующие тени показывают направление света и т.д. Как подробнее обсуждается ниже, обновленный внешний вид виртуальной комнаты, включая реалистичные эффекты освещения, может визуализироваться на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты, сделанных из заранее заданного положения и показывающих комнату в различных состояниях. Альтернативно, для создания практически фотореалистичных изображений комнаты и находящихся в ней устройств в различных состояниях может использоваться ряд других методов.
Кроме того, пользователь может выбрать устройство, отличное от осветительного устройства, находящегося в физической комнате, чтобы включить и(или) управлять им, выбирая, т.е. прикасаясь или нажимая на практически фотореалистичное визуальное изображение устройства в виртуальной комнате. Например, пользователь может выбрать, т.е. прикоснуться или нажать на практически фотореалистичное визуальное изображение телевизора с плоским экраном 572 в виртуальной комнате. В ответ на это программируемый мультимедийный контроллер 400 может послать команды управления для включения телевизора с плоским экраном. Кроме того, программируемый мультимедийный контроллер 400 может обновить виртуальную комнату так, чтобы показать практически фотореалистичное изображение физической комнаты с включенным телевизором. Например, на практически фотореалистичном изображении телевизора с плоским экраном 572 в виртуальной комнате может быть представлено миниатюрное воспроизведение программы, идущей по ТВ в данный момент. Точно так же можно управлять разнообразными типами других аудио- и видеоустройств, связанных с физической комнатой.
Аналогичным образом, пользователь может выбрать, т.е. прикоснуться или нажать на практически фотореалистичное визуальное изображение конкретного комплекта светонепроницаемых штор 675 в виртуальной комнате. В ответ на это программируемый мультимедийный контроллер 400 может послать команды управления на один или несколько контроллеров электроприводных устройств 495, чтобы поднять или опустить выбранные шторы в зависимости от ситуации. Кроме того, программируемый мультимедийный контроллер 400 может обновить виртуальную комнату так, чтобы показать практически фотореалистичное изображение поднятых или опущенных штор 675. Таким образом, то, что видит пользователь в виртуальной комнате, может отражать или, по меньшей мере, напоминать зрительные впечатления, воспринимаемые им в соответствующей физической комнате.
В дополнение к поддержке выбора двоичных (т.е. выкл/вкл) элементов в виртуальной комнате, пользовательский интерфейс на основе виртуальной комнаты может поддерживать более развитые типы управляющих входных данных. Такое более совершенное управление может поддерживаться с помощью области меню 620 пользовательского интерфейса виртуальной комнаты и функционально-ориентированной области 630 пользовательского интерфейса на основе виртуальной комнаты. Альтернативно, оно может поддерживаться при помощи распознавания движений пальцев в основной области 610 пользовательского интерфейса на основе виртуальной комнаты.
Область меню 620 интерфейса может включать набор функциональных вкладок, например вкладку «Безопасность» 677, на которой можно получить доступ к некоторым дополнительным функциям, связанным с системой ОВН и(или) системой безопасности, вкладку «Аудио/видео» 680, на которой можно получить доступ к некоторым дополнительным функциям, связанным с аудио- и видеоданными, вкладку «ОВКВ/Шторы» 682, на которой можно получить доступ к некоторым дополнительным функциям, связанным с системами ОВКВ и(или) системами автоматических светонепроницаемых штор, вкладку «Освещение» 685, на которой можно получить доступ к некоторым дополнительным функциям, связанным с управлением осветительными устройствами, вкладку «Услуги» 687, на которой можно получить доступ к некоторым функциям, связанным с программируемыми услугами, и вкладку «Зоны» 690, на которой можно выбирать различные виртуальные комнаты для отображения в основной области 610 экрана.
После выбора конкретной вкладки функционально-ориентированная область 630 пользовательского интерфейса может отображать выбранные значки, кнопки, текст и другие элементы, связанные с такими функциями. Так, в примере пользовательского интерфейса 600 виртуальной комнаты на ФИГ.6 изображена выбранная вкладка «Зоны» 690, при этом функционально-ориентированная область 630 отображает набор выбранных значков 691, 692, 693, 694, 695, 696, соответствующих различным доступным виртуальным комнатам, причем каждая виртуальная комната соответствует другой физической комнате (или части физической комнаты) в доме или сооружении. В ответ на выбор элемента, т.е. прикосновение к конкретному значку 691, 692, 693, 694, 695, 696 другой комнаты, основная часть 610 пользовательского интерфейса на основе виртуальной комнаты может быть обновлена с целью отображения соответствующей другой виртуальной комнаты.
Альтернативно, различные виртуальные комнаты можно выбирать при помощи движений пальцев, например движений пальцев по сенсорной поверхности. Например, виртуальные комнаты могут быть расположены в логическом порядке в виде линейного или кругового массива. Пользователь может «скользить» пальцем, сенсорным карандашом или аналогичным приспособлением по сенсорному экрану, например, в основной области 610 пользовательского интерфейса на основе виртуальной комнаты, чтобы перемещаться из одной виртуальной комнаты в другую. В данном контексте термин «скольжение» относится к быстрому, непрерывному, практически линейному движению по пользовательскому интерфейсу. В ответ на него виртуальная комната, отображаемая в основной области 610 пользовательского интерфейса на основе виртуальной комнаты, может переместиться. На ФИГ.8А показана схема, иллюстрирующая пример пользовательского интерфейса 800 на основе виртуальной комнаты, в котором части двух виртуальных комнат 810, 810, соответствующие разным физическим комнатам, изображены смещенными на пол-экрана, например, в ответ на совершаемое пользователем скольжение по экрану. Поскольку виртуальные комнаты могут также соответствовать какой-либо части физической комнаты, скольжение альтернативно может использоваться для передвижения между виртуальными комнатами, которые соответствуют части одной и той же физической комнаты. На ФИГ.8В показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса 830 на основе виртуальной комнаты, в котором части двух виртуальных комнат 835, 840, соответствующие одной и той же физической комнате, изображены смещенными на пол-экрана, например, в ответ на скольжение по экрану.
В других вариантах осуществления виртуальные комнаты могут быть логически расположены в более сложном порядке. Например, в некоторых конфигурациях виртуальные комнаты и(или) группы виртуальных комнат могут быть расположены в виде древовидной структуры. В зависимости от текущего уровня древовидной структуры пользователь, взаимодействуя с интерфейсом при помощи движений пальцев, может выполнять различные функции. Такое расположение может использоваться вместе с набором движений различного типа, включая «мультисенсорные» движения, то есть движения, которые включают выбор двух или нескольких точек пользовательского интерфейса. Альтернативно, такое расположение может использоваться с другими типами средств управления, например со схемой управления с помощью указателя и мыши.
На ФИГ.8С показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса виртуальной комнаты 845, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат. Просматривая виртуальную комнату на этом уровне, пользователь может совершить мультисенсорное «сжимающее движение» 850. В данном контексте термин «сжимающее движение» относится к выбору двух точек в пользовательском интерфейсе и перетаскиванию таких точек в направлении друг к другу практически непрерывным движением. В ответ интерфейс может увеличить масштаб изображения части виртуальной комнаты вокруг того места, где было сделано движение пальцами. Аналогичным образом, пользователь может совершить мультисенсорное «расширяющее движение» 855. В данном контексте термин «расширяющее движение» относится к выбору двух точек в пользовательском интерфейсе и перетаскиванию таких точек в направлении друг от друга практически непрерывным движением. В ответ интерфейс может уменьшить масштаб изображения, чтобы показать большую часть виртуальной комнаты.
На ФИГ.8D показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса 860 на основе виртуальной комнаты, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат, и демонстрируется дополнительное использование движений пальцев. В таком альтернативном варианте осуществления пользователь может совершить «перетаскивающее движение» 865 в одном из нескольких направлений, например вверх, вниз, влево или вправо. В данном контексте термин «перетаскивающее движение» относится к непрерывному, практически линейному движению по пользовательскому интерфейсу. В ответ на перетаскивающее движение интерфейс может выполнить панорамирование в пределах виртуальной комнаты в соответствующем направлении, если имеются части виртуальной комнаты, которые в данный момент не показаны в видимой области интерфейса.
В таком альтернативном варианте осуществления, если пользователь уменьшает масштаб в достаточной степени, он может перейти к отображению более высокого уровня древовидной структуры. На ФИГ.8Е показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса 870 на основе виртуальной комнаты, на которой изображен набор виртуальных комнат, распределенных по группам в рамках древовидной структуры виртуальных комнат. В одной из конфигураций первая группа 890 может соответствовать «1 этажу» сооружения и включать одну или несколько виртуальных комнат, связанных с этим этажом, вторая группа 885 может соответствовать «2 этажу» сооружения и включать одну или несколько виртуальных комнат, связанных с этим этажом, а третья группа 880 может соответствовать «2 этажу» сооружения и включать виртуальные комнаты, связанные с этим этажом, тогда как дополнительная группа 895 может соответствовать наружной части сооружения и включать виртуальные комнаты, связанные с ней. Следует понимать, что такой вариант группирования дан только в качестве примера и что нетрудно реализовать широкий спектр других конфигураций. Чтобы снова вернуться на нижний уровень древовидной структуры виртуальных комнат, пользователь может выбрать одну из виртуальных комнат, показанных на интерфейсе 870.
Возвращаясь к ФИГ.6, отметим, что, аналогично выбору вкладки «Зоны» 690, выбор вкладки «Освещение» 685 может обеспечить доступ к выбранным значкам, кнопкам, тексту и другим элементам в функционально-ориентированной области 630 пользовательского интерфейса, связанным с управлением освещением. На ФИГ.9 показана схема, иллюстрирующая пример пользовательского интерфейса 900 на основе виртуальной комнаты, на которой выбрана вкладка «Освещение». Как показано на ФИГ.9, функционально-ориентированная область 630 пользовательского интерфейса в примере пользовательского интерфейса 900 может включать набор кнопок 910, 920, 930, 940, соответствующих различным «сценам» освещения, выбор которых позволяет включать, выключать и(или) уменьшать/увеличивать яркость множества осветительных устройств в комнате.
Кроме того, функционально-ориентированная область 630 пользовательского интерфейса в примере пользовательского интерфейса 900 на основе виртуальной комнаты может включать один или несколько скользящих маркеров регулировки яркости 950. Перемещение маркеров инициирует подачу программируемым мультимедийным контроллером 400 команд управления на один или несколько электронных контроллеров освещения 490, под действием которых такие контроллеры производят корректировку регуляторов света 493, подсоединенных к цепи электропитания отдельных осветительных устройств или групп осветительных устройств.
Альтернативно, при помощи движений пальцев, например движений пальцев по сенсорной поверхности, можно инициировать подачу программируемым мультимедийным контроллером 400 команд управления на один или несколько электронных контроллеров освещения 490, под действием которых такие контроллеры производят корректировку регуляторов света 493, подсоединенных к цепи электропитания отдельных осветительных устройств или групп осветительных устройств. Пользователь может совершить движение пальцами, например движение по сенсорной поверхности поверху или рядом с практически фотореалистичным изображением конкретного осветительного устройства или группы осветительных устройств. Такое движение может быть преобразовано в команду управления увеличением или уменьшением яркости. Например, пользователь может совершить мультисенсорное «расширяющее» движение поверху или рядом с практически фотореалистичным изображением конкретного осветительного устройства и, перетаскивая такие точки в противоположных направлениях, указать, что яркость соответствующего осветительного устройства следует увеличить. Аналогичным образом, пользователь может совершить мультисенсорное «сжимающее» движение поверху или рядом с практически фотореалистичным изображением конкретного осветительного устройства, указывая, что яркость соответствующего осветительного устройства следует уменьшить. В дополнение к «расширяющим» и «сжимающим» движениям, поддержка ряда других движений в явной форме рассматривается с целью использования для управления яркостью осветительных устройств или параметров настройки других устройств.
Кроме того, вкладка «Аудио/видео» 680 может обеспечить доступ к выбранным значкам, кнопкам, тексту и другим элементам в функционально-ориентированной области 630 пользовательского интерфейса для управления аудио- и видеоустройствами. Так, пользователь может выбрать аудио/видеоустройство, находящееся под управлением программируемого мультимедийного контроллера 400, например телевизор, выбирая, т.е. прикасаясь к практически фотореалистичному изображению устройства в виртуальной комнате, отображаемой в основной части 610 пользовательского интерфейса на основе виртуальной комнаты. После этого в распоряжение пользователя предоставляются ориентированные на конкретное устройство значки, кнопки, текст и другие управляющие элементы, манипулирование которыми позволяет управлять выбранным устройством.
На ФИГ.10 показана схема, иллюстрирующая пример пользовательского интерфейса 1000 на основе виртуальной комнаты, на которой выделена вкладка «Аудио/видео» 685. Как показано на ФИГ.10, функционально-ориентированная область 630 в примере пользовательского интерфейса 1000 на основе виртуальной комнаты может включать набор кнопок, относящихся к аудио- и видеоустройствам, например кнопки громкости 1010, 1020, кнопку отключения звука 1030, кнопки контроля воспроизведения 1040, кнопку питания 1050 и(или) кнопки выбора каналов 1060, 1070.
На ФИГ.11 показана структурная схема, иллюстрирующая пример последовательности шагов 1100 по управлению устройствами в физической комнате с помощью пользовательского интерфейса на основе виртуальной комнаты. На шаге 1110 программируемый мультимедийный контроллер 400 визуализирует изображение виртуальной комнаты, включая практически фотореалистичные изображения физической комнаты (или части физической комнаты) и практически фотореалистичные изображения устройств, например осветительных устройств в физической комнате. На шаге 1120 визуализированная виртуальная комната отображается на экране дисплея пульта управления 450, мобильного устройства 460, дисплея передней панели 465 программируемого мультимедийного контроллера 400, телевизора 440 или, альтернативно, на другом устройстве. На шаге ИЗО, мультимедийный контроллер 400 воспринимает выбранный пользователем элемент, например выбранный элемент сенсорной поверхности, нажатие кнопки, данные, введенные с помощью кругового сенсорного датчика, и т.д. Выбранный элемент указывает на конкретное практически фотореалистичное визуальное изображение устройства, например конкретного осветительного устройства внутри виртуальной комнаты.
На шаге 1140 программируемый мультимедийный контроллер 400 посылает команды управления на устройство в физической комнате или на промежуточный контроллер, подключенный к этому устройству, с целью изменения его состояния. Например, программируемый мультимедийный контроллер 400 может посылать команды управления на один или несколько электронных контроллеров освещения 490, под действием которых такие контроллеры включают реле 492, подсоединенные к цепи электропитания выбранного осветительного устройства. На шаге 1150 программируемый мультимедийный контроллер 400 обновляет внешний вид виртуальной комнаты и возвращается к шагу 1010 в начале цикла для визуализации виртуальной комнаты и формирования визуальных изображений устройств в виртуальной комнате, чтобы отобразить обновленное состояние, например показать включенное осветительное устройство.
Изображение виртуальной комнаты, включая практически фотореалистичное изображение физической комнаты и практически фотореалистичные изображения устройств внутри физической комнаты, визуализируется на шаге 1110, показанном на ФИГ.11, любым из множества различных способов. В одном из вариантов осуществления установщик в процессе конфигурирования системы может зафиксировать изображения, например, сделать цифровые фотоснимки физической комнаты из заранее заданного положения, при этом каждое изображение комнаты фиксируется, пока она потенциально находится в другом состоянии. Например, первое изображение физической комнаты может быть зафиксировано при отсутствии включенных осветительных устройств, второе изображение - при первом включенном осветительном устройстве, третье изображение - при втором включенном осветительном устройстве, четвертое изображение физической комнаты может быть зафиксировано при включенных первом и втором осветительных устройствах, и так далее, чтобы получить все потенциальные комбинации. Изображения могут согласовываться, чтобы одинаковые признаки изображений совпадали по месту, и сохраняться в библиотеке программируемого мультимедийного контроллера 400 или на другом устройстве. В таком варианте осуществления шаг визуализации 1110 может просто включать доступ к соответствующему сохраняемому изображению физической комнаты, которое показывает комнату с устройствами в соответствующих состояниях.
Однако хотя такой метод может оказаться целесообразным для некоторых применений, по мере увеличения количества устройств в комнате количество предварительно записанных изображений, необходимое, что представлять комнату в каждом потенциальном состоянии, возрастает экспоненциально. Для комнаты, в которой находится n устройств, может потребоваться 2n предварительно записанных изображений, чтобы представить все возможные комбинации устройств, предполагая, что каждое устройство имеет только двоичные состояния (т.е. вкл/выкл). Введение устройств, имеющих больше двух возможных состояний, например ряд параметров настройки регулятора света, может дополнительно увеличить необходимое количество предварительно записанных изображений. Соответственно, желательно использовать метод, которые позволяет получать дополнительные состояния комнаты на основе меньшего количества предварительно записанных изображений.
В предпочтительном варианте осуществления изображение виртуальной комната, включая практически фотореалистичное изображение физической комнаты и практически фотореалистичные изображения устройств внутри физической комнаты, визуализируется на шаге 1110, показанном на ФИГ.11, на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты. В процессе конфигурирования системы установщик из заранее заданного положения фиксирует изображение комнаты, в которой нет включенных устройств, а также изображений комнаты, в которой каждое из находящихся в ней устройств включено отдельно (т.е. включено, когда все остальные устройства в комнате выключены). Например, первое изображение физической комнаты может быть зафиксировано, когда выключены все осветительные устройства, второе изображение - когда включено только первое осветительное устройство (предпочтительно, при максимальной яркости), третье изображение - когда включено только второе осветительное устройство (предпочтительно, при максимальной яркости), четвертое изображение физической комнаты может быть зафиксировано, когда включено только третье осветительное устройство (предпочтительно, при максимальной яркости), и так далее. Для комнаты, в которой находится n устройств, можно зафиксировать n+1 изображений. Изображения в количестве n+1 могут согласовываться, чтобы одинаковые признаки изображений совпадали по месту, и сохраняться в библиотеке программируемого мультимедийного контроллера 400 или на другом устройстве. Затем, в соответствии с новым методом смешения, все возможные состояния комнаты могут генерироваться во время воспроизведения изображения на основе n+1 предварительно записанных изображений.
На ФИГ.12 показана функциональная блок-схема 1200, изображающая пример метода визуализации виртуальной комнаты на основе ограниченного количества предварительно записанных изображений физической комнаты в различных состояниях. Ограниченное количество изображений может храниться в библиотеке изображений, например в памяти 1202 программируемого мультимедийного контроллера 400 или другого устройства. В состав изображений входят первое изображение 1210 физической комнаты, в которой нет включенных устройств, например осветительных устройств, второе изображение 1230 физической комнаты, в которой включено только первое устройство, например первое осветительное устройство (предпочтительно, при максимальной яркости), третье изображение 1250 физической комнаты, в которой включено только второе устройство, например второе осветительное устройство (предпочтительно, при максимальной яркости), четвертое изображение 1270 физической комнаты, в которой включено только третье устройство, например третье осветительное устройство (предпочтительно, при максимальной яркости), вплоть до n-го изображения 1290 комнаты, в которой включено только n-е устройство, например n-е осветительное устройство (предпочтительно, при максимальной яркости).
Доступ к изображениям 1210, 1230, 1250, 1270, 1290 может быть получен процессором 1204, например программируемого мультимедийного контроллера 400 или другого устройства, которое реализует функции двоичного виртуального управления 1232, 1252, 1272, 1292. Функции двоичного виртуального управления могут представлять собой стандартные программы, которые, в ответ на выбор пользователем визуального изображения устройства на пользовательском интерфейсе на основе виртуальной комнаты, либо передают соответствующее изображение, представляющее включенное устройство, либо блокируют изображение. Переданные изображения поступают на графический процессор (graphical processing unit, GPU) 1206, например, программируемого мультимедийного контроллера 400 или другого устройства.
Графический процессор GPU 1206 предпочтительно выполняет набор программ регулировки 1234, 1254, 1274, 1294, которые регулируют свойства изображений 1230, 1250, 1270, 1290. Например, в варианте осуществления, где каждое из устройств представляет собой осветительные устройства, программы регулировки 1234, 1254, 1274, 1294 могут представлять собой программы регуляторов света, которые регулируют яркость изображений 1230, 1250, 1270, 1290, например, в диапазоне от 0% до 100%, в ответ на выбор регуляторов света, сделанный пользователем в пользовательском интерфейсе на основе виртуальной комнаты.
Кроме того, графический процессор GPU 1206 предпочтительно выполняет набор программ-фильтров 1236, 1256, 1276, 1296, которые получают два или несколько изображений и выполняют попиксельную фильтрацию изображений для получения выходных изображений 1238, 1258, 1278, 1298. Получаемые изображения могут включать отрегулированные изображения, предоставляемые программами регулировки 1234, 1254, 1274, 1294, а также выходные изображения, предоставляемые предшествующими программами-фильтрами 1236, 1256, 1276 по линиям 1237, 1257, 1277. В варианте осуществления, где каждое из устройств представляет собой осветительное устройство, программы-фильтры 1236, 1256, 1276, 1296 могут среди соответствующих пикселей в каждом полученном изображении выбирать пиксель с наибольшей величиной (т.е. наибольшей яркостью) и формировать выходное изображение 1238, 1258, 1278, 1298 из таких пикселей. Таким способом можно результативно комбинировать эффекты освещения, создаваемые различными осветительными устройствами. Кроме того, подавая выходное изображение от какой-либо программы-фильтра на программу-фильтр следующей ступени, можно аппроксимировать накопленные эффекты освещения от множества различных включенных осветительных устройств.
Селектор 1240 графического процессора GPU 1206 выбирает подходящее выходное изображение 1238, 1258, 1278, 1298, которое представляет комбинацию устройств, включенных в комнате. Такое выходное изображение подается затем на дисплей пользовательского интерфейса на основе виртуальной комнаты, например изображение, используемое на шаге отображения 1120, показанном на ФИГ.11.
Хотя в приведенном выше описании обсуждаются некоторые примеры осуществления изобретения, следует понимать, что в него может быть внесен ряд модификаций и(или) дополнений.
Например, хотя выше говорится о том, что устройства, управляемые с помощью пользовательского интерфейса на основе виртуальной комнаты, расположены внутри комнаты дома или другого сооружения, такой как большая комната или кухня, следует понимать, что эти методы можно использовать применительно к различным комнатам другого типа, находящихся в сооружениях различных типов. Например, виртуальная комната может соответствовать (или соответствовать части) конференц-зала, зала заседаний, выставочного помещения, классной комнаты, зала ресторана или бара, заводского цеха, складского помещения и т.д. Кроме того, устройства необязательно должны располагаться внутри «помещения» любого типа. Например, устройствами, расположенными снаружи дома или сооружения, такими как внешние осветительные устройства, также можно управлять с помощью пользовательского интерфейса на основе виртуальной комнаты. В таком варианте осуществления одну или несколько виртуальных комнат можно задавать для открытого пространства, при этом каждая виртуальная комната будет включать практически фотореалистичное изображение конкретной части открытого пространства.
Точно так же устройствами, расположенными в нескольких домах или других сооружениях, можно управлять с помощью пользовательского интерфейса на основе виртуальной комнаты. В таком варианте осуществления одну или несколько виртуальных комнат можно задать для каждого отдельного сооружения. В некоторых вариантах осуществления каждое сооружение может быть оснащено собственным программируемым мультимедийным контроллером 400, подключенным к устройствам и промежуточным контроллерам, например к электронным контроллерам освещения 490, контроллерам электроприводных устройств 495 и т.п. Программируемые мультимедийные контроллеры 400 могут быть связаны сетью, например глобальной вычислительной сетью (ГВС), позволяющей передавать команды управления между ними. Такая конфигурация может позволить пользователю, с помощью пользовательского интерфейса на основе виртуальной комнаты, находящегося в первом сооружении, включать, выключать и(или) регулировать работу устройств во втором сооружении, расположенном на расстоянии от первого.
Кроме того, хотя выше говорилось о том, что практически фотореалистичные изображения комнаты и устройств, используемые для создания каждой виртуальной комнаты, могут быть визуализированы на основе изображений, например цифровых фотоснимков, практически фотореалистичные изображения могут быть визуализированы и другими способами. Например, практически фотореалистичные изображения могут быть визуализированы при помощи полномасштабного видео, а не фотоснимков. В таком альтернативном варианте осуществления полномасштабное видео может быть заранее снято и сохранено в процессе конфигурирования системы, либо сохраненная информация может содержать, по меньшей мере, часть реальной полномасштабной видеосъемки физической комнаты (или ее части) дома или другого сооружения, например, произведенной в реальном времени одной или несколькими видеокамерами, подключенными к системе управления ОВН 470. Точно так же практически фотореалистичные изображения могут быть визуализированы на основе трехмерных (3-D) лазерных сканов высокой четкости или других типов высококачественной съемки комнат дома или другого сооружения. В таком альтернативном варианте осуществления модель CAD (computer aided design, система автоматического проектирования) высокой четкости может быть построена для каждой комнаты на основе данных, зафиксированных с помощью лазерных 3-D сканов или других типов съемки, причем такая модель используется для визуализации изображения.
Кроме того, хотя выше предполагалось, что пульты управления 450, кнопочно-ориентированные дистанционные пульты управления и(или) настенные кнопочно-ориентированные пульты управления 455, дистанционные пульты управления, включающие круговой сенсорный датчик 457, мобильные устройства 460, передняя панель 465 и(или) устройства с видеовыходом 440, подключенные к программируемому мультимедийному контроллеру 400, расположены внутри дома или другого сооружения, следует понимать, что, по меньшей мере, некоторые из этих устройств могут располагаться на расстоянии, позволяя пользователю взаимодействовать с системой дистанционно, например, с помощью сети Интернет. Например, программируемый мультимедийный контроллер 400 может быть подключен через сетевой интерфейс (не показан) к сети Интернет. Пользовательский интерфейс на основе виртуальной комнаты может отображаться для пользователя в рамках web-браузера или другого приложения на устройстве, расположенном на значительном расстоянии от дома или сооружения. Элементы, выбранные пользователем, могут передаваться через сеть Интернет программируемому мультимедийному контроллеру 400. Таким образом, пользователь может дистанционно управлять устройствами, находящимися в доме или другом сооружении, на больших расстояниях и наблюдать за последствиями выбора таких управляющих элементов.
Помимо этого, следует понимать, что процедуры или процессы, описанные выше, могут быть реализованы с помощью аппаратного обеспечения, программного обеспечения (выполненного в виде машиночитаемого носителя, содержащего команды программы), аппаратно-программного обеспечения или их сочетания. Машиночитаемый носитель может представлять собой память, такую как память с произвольным доступом (RAM, random access memory), диск, такой как компакт-диск постоянной памяти (CD-ROM), или другой материальный носитель информации.
Таким образом, следует понимать, что приведенные выше описания представлены только в качестве примера.

Claims (20)

1. Способ управления одним или более устройствами внутри физической комнаты сооружения, включающий следующие шаги:
подключают, прямо или опосредованно, одно или более устройств, находящихся внутри сооружения, к программируемому мультимедийному контроллеру, выполненному с возможностью подачи команд управления, которые, после их реализации, изменяют состояние одного или более устройств;
отображают на экране дисплея пользовательский интерфейс на основе виртуальной комнаты, включающий одну или более виртуальных комнат, каждая из которых содержит по существу фотореалистичное изображение части сооружения, причем фотореалистичное изображение части сооружения содержит по существу фотореалистичные визуальные изображения одной или более границ этой части сооружения, одного или более предметов мебели, находящихся внутри этой части сооружения, и одного или более устройств, расположенных внутри этой части сооружения;
получают выбранный элемент конкретного по существу фотореалистичного визуального изображения конкретного устройства внутри конкретной виртуальной комнаты;
подают, в ответ на выбор конкретного фотореалистичного визуального изображения конкретного устройства, с помощью программируемого мультимедийного контроллера команды управления, которые, после их реализации, изменяют состояние этого конкретного устройства; и
обновляют внешний вид конкретной виртуальной комнаты таким образом, чтобы по существу фотореалистичное визуальное изображение конкретного устройства, а также по существу фотореалистичные визуальные изображения одной или более границ части сооружения и одного или более предметов мебели, находящихся внутри этой части сооружения, отражали изменившееся состояние этого конкретного устройства.
2. Способ по п.1, отличающийся тем, что одно или более устройств включают в себя одно или более осветительных устройств, выбор конкретного фотореалистичного визуального изображения соответствует фотореалистичному визуальному изображению конкретного осветительного устройства, при этом команды управления после их реализации изменяют состояние конкретного осветительного устройства путем изменения освещенности конкретного осветительного устройства.
3. Способ по п.2, отличающийся тем, что при изменении освещенности конкретного осветительного устройства включают или выключают конкретное осветительное устройство.
4. Способ по п.3, отличающийся тем, что при обновлении внешнего вида конкретной виртуальной комнаты показывают по существу фотореалистичное изображение физической комнаты с освещенным конкретным осветительным устройством.
5. Способ по п.1, отличающийся тем, что одно или более устройств включают в себя одно или более аудио/видео устройств, выбор конкретного фотореалистичного визуального изображения соответствует фотореалистичному визуальному изображению конкретного аудио/видео устройства, при этом команды управления после их реализации изменяют состояние конкретного аудио/видео устройства.
6. Способ по п.1, отличающийся тем, что одно или более устройств включают в себя одну или более автоматических светонепроницаемых штор, выбор конкретного фотореалистичного визуального изображения соответствует фотореалистичному визуальному изображению конкретной автоматической светонепроницаемой шторы, при этом команды управления после их реализации поднимают или опускают конкретную автоматическую светонепроницаемую штору.
7. Способ по п.1, отличающийся тем, что одна или более виртуальных комнат соответствуют части физической комнаты сооружения, одна или более границ части сооружения являются границами физической комнаты, а один или более предметов мебели, находящихся внутри части сооружения, являются предметами мебели, находящимися в этой физической комнате.
8. Способ по п.1, отличающийся тем, что пользовательский интерфейс на основе виртуальной комнаты включает одну или более дополнительных виртуальных комнат, при этом, по меньшей мере, одна дополнительная виртуальная комната включает по существу фотореалистичное изображение открытого пространства и по существу фотореалистичные визуальные изображения одного или более устройств, находящихся в этом открытом пространстве.
9. Способ по п.1, отличающийся тем, что подключают, прямо или опосредованно, пульт управления к программируемому мультимедийному контроллеру, при этом отображают пользовательский интерфейс на основе виртуальной комнаты на экране дисплея пульта управления и принимают выбранный элемент конкретного фотореалистичного визуального изображения конкретного устройства с помощью пульта управления.
10. Способ по п.9, отличающийся тем, что экран дисплея пульта управления представляет собой сенсорный дисплей, а при приеме выбранного элемента конкретного фотореалистичного визуального изображения принимают касание сенсорного дисплея, относящееся к конкретному фотореалистичному визуальному изображению.
11. Способ по п.1, отличающийся тем, что предусматривают мобильное устройство, которое выполнено с возможностью взаимодействия с программируемым мультимедийным контроллером, при этом отображают пользовательский интерфейс на основе виртуальной комнаты на экране дисплея мобильного устройства и принимают выбранный элемент конкретного фотореалистичного визуального изображения конкретного устройства с помощью мобильного устройства.
12. Способ по п.11, отличающийся тем, что мобильное устройство представляет собой мультимедийный смартфон, многофункциональное планшетное вычислительное устройство или переносной медиа-плейер.
13. Способ по п.1, отличающийся тем, что подключают, прямо или опосредованно, телевизор к программируемому мультимедийному контроллеру; подключают, прямо или опосредованно, дистанционный пульт управления к программируемому мультимедийному контроллеру, при этом отображают пользовательский интерфейс на основе виртуальной комнаты на экране телевизора и принимают выбранный элемент конкретного фотореалистичного визуального изображения конкретного устройства с помощью дистанционного пульта управления.
14. Способ по п.1, отличающийся тем, что осуществляют первый набор фотоснимков части сооружения, и получают фотореалистичное изображение этой части сооружения в каждом из второго набора состояний, причем второй набор больше первого.
15. Устройство для управления одним или более устройствами внутри физической комнаты сооружения, включающее:
экран дисплея;
программируемый мультимедийный контроллер, подключенный к одному или более устройствам, находящимся внутри сооружения, и выполненный с возможностью подачи команд управления, которые, после их реализации, изменяют состояние одного или более устройств, а также с возможностью вывода отображения пользовательского интерфейса на основе виртуальной комнаты на экран дисплея, при этом пользовательский интерфейс на основе виртуальной комнаты включает одну или более виртуальных комнат, каждая из которых содержит по существу фотореалистичное изображение части сооружения, причем фотореалистичное изображение части сооружения содержит по существу фотореалистичные визуальные изображения одной или более границ этой части сооружения, одного или более предметов мебели, находящихся внутри этой части сооружения, и одного или более устройств, расположенных внутри этой части сооружения, при этом внешний вид одной или более границ части сооружения и одного или более предметов мебели, находящихся внутри этой части сооружения, зависит от состояния одного или более устройств;
интерфейс для приема выбранного элемента конкретного по существу фотореалистичного визуального изображения конкретного устройства внутри конкретной виртуальной комнаты;
причем программируемый мультимедийный контроллер выполнен с возможностью, в ответ на выбор конкретного фотореалистичного визуального изображения устройства, подавать команды управления, которые, после их реализации, изменяют состояние этого конкретного устройства.
16. Устройство по п.15, отличающееся тем, что программируемый мультимедийный контроллер выполнен с возможностью обновлять внешний вид конкретной виртуальной комнаты на экране дисплея таким образом, чтобы по существу фотореалистичное визуальное изображение устройства, а также по существу фотореалистичные визуальные изображения одной или более границ части сооружения и одного или более предметов мебели, находящихся внутри этой части сооружения, отражали изменившееся состояние этого конкретного устройства.
17. Устройство по п.16, отличающееся тем, что одно или более устройств включают в себя одно или более осветительных устройств, выбор конкретного фотореалистичного визуального изображения устройства соответствует фотореалистичному визуальному изображению конкретного осветительного устройства, при этом команды управления после их реализации изменяют состояние конкретного осветительного устройства путем изменения освещенности конкретного осветительного устройства.
18. Устройство по п.17, отличающееся тем, что программируемый мультимедийный контроллер выполнен с возможностью обновлять внешний вид конкретной виртуальной комнаты, чтобы показать фотореалистичное изображение физической комнаты с конкретным включенным осветительным устройством.
19. Устройство по п.16, отличающееся тем, что экран дисплея и интерфейс представляют собой часть пульта управления с сенсорным экраном, подключенного, прямо или опосредованно, к программируемому мультимедийному контроллеру.
20. Устройство для управления одним или более устройствами внутри физической комнаты сооружения, включающее:
средства для подачи команд управления, которые, после их реализации, изменяют состояние одного или более устройств;
средства для отображения пользовательского интерфейса на основе виртуальной комнаты, включающего одну или более виртуальных комнат, каждая из которых содержит по существу фотореалистичное изображение части сооружения, причем фотореалистичное изображение части сооружения содержит по существу фотореалистичные изображения одного или более устройств, расположенных внутри этой части сооружения;
средства для приема выбранного элемента конкретного фотореалистичного визуального изображения конкретного устройства внутри конкретной виртуальной комнаты;
средства для подачи, в ответ на выбор конкретного фотореалистичного визуального изображения устройства, команд управления, которые, после их реализации, изменяют состояние этого конкретного устройства; и
средства для обновления внешнего вида конкретной виртуальной комнаты таким образом, чтобы фотореалистичное визуальное изображение конкретного устройства отражало изменившееся состояние этого конкретного устройства.
RU2011152270/07A 2009-06-03 2010-06-02 Способ и устройство для управления осветительным устройством в виртуальной комнате RU2528016C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US18382509P 2009-06-03 2009-06-03
US61/183,825 2009-06-03
PCT/US2010/001600 WO2010141076A1 (en) 2009-06-03 2010-06-02 Virtual room-based light fixture and device control

Publications (2)

Publication Number Publication Date
RU2011152270A RU2011152270A (ru) 2013-07-20
RU2528016C2 true RU2528016C2 (ru) 2014-09-10

Family

ID=42549347

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011152270/07A RU2528016C2 (ru) 2009-06-03 2010-06-02 Способ и устройство для управления осветительным устройством в виртуальной комнате

Country Status (14)

Country Link
US (3) US8296669B2 (ru)
EP (1) EP2438800B1 (ru)
JP (1) JP5782433B2 (ru)
KR (1) KR101719842B1 (ru)
CN (1) CN102461344B (ru)
AU (1) AU2010257154B2 (ru)
BR (1) BRPI1011140B1 (ru)
CA (1) CA2764240C (ru)
ES (1) ES2530679T3 (ru)
IL (1) IL216756A0 (ru)
MX (1) MX2011012905A (ru)
NZ (1) NZ596852A (ru)
RU (1) RU2528016C2 (ru)
WO (1) WO2010141076A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2707183C2 (ru) * 2014-09-01 2019-11-25 Филипс Лайтинг Холдинг Б.В. Способ управления осветительной системой, компьютерный программный продукт, носимое вычислительное устройство и набор осветительной системы
RU2713612C2 (ru) * 2015-06-05 2020-02-05 Дайфуку Ко., Лтд. Сенсорная панель для ручного управления механическим оборудованием

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9126116B2 (en) * 2007-09-05 2015-09-08 Sony Computer Entertainment America Llc Ranking of user-generated game play advice
US9108108B2 (en) * 2007-09-05 2015-08-18 Sony Computer Entertainment America Llc Real-time, contextual display of ranked, user-generated game play advice
US8074581B2 (en) 2007-10-12 2011-12-13 Steelcase Inc. Conference table assembly
US20140361954A1 (en) 2013-06-07 2014-12-11 Lewis Epstein Personal control apparatus and method for sharing information in a collaboration workspace
US10631632B2 (en) 2008-10-13 2020-04-28 Steelcase Inc. Egalitarian control apparatus and method for sharing information in a collaborative workspace
US10884607B1 (en) 2009-05-29 2021-01-05 Steelcase Inc. Personal control apparatus and method for sharing information in a collaborative workspace
US10775960B2 (en) 2009-06-03 2020-09-15 Savant Systems, Inc. User generated virtual room-based user interface
CN102461344B (zh) 2009-06-03 2014-12-17 萨万特系统有限责任公司 控制结构的物理房间内的一个或者多个设备的方法和装置
US10613704B2 (en) 2009-06-03 2020-04-07 Savant Systems, Llc Small screen virtual room-based user interface
US8955022B2 (en) 2010-09-15 2015-02-10 Comcast Cable Communications, Llc Securing property
FR2969778B1 (fr) * 2010-12-22 2013-01-11 Somfy Sas Molette souris
WO2012103167A2 (en) * 2011-01-28 2012-08-02 Interactive Control Solutions,Llc Design and authorization system for wireless control
KR101069269B1 (ko) * 2011-03-21 2011-10-04 엘지전자 주식회사 중앙 제어기 및 이를 포함하는 조명 시스템
WO2012131544A1 (en) * 2011-03-29 2012-10-04 Koninklijke Philips Electronics N.V. Device for communicating light effect possibilities
US8914724B2 (en) * 2011-04-06 2014-12-16 Savant Systems, Llc Method and apparatus for creating and modifying graphical schedules
US9329773B2 (en) * 2011-05-19 2016-05-03 International Business Machines Corporation Scalable gesture-based device control
WO2012177719A2 (en) * 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
TW201308933A (zh) * 2011-08-11 2013-02-16 Hon Hai Prec Ind Co Ltd 電器遠端控制系統及方法
US20130049633A1 (en) * 2011-08-24 2013-02-28 Fsp-Powerland Technology Inc. Illumination system relating to light-emitting-diode lamps
US20130076651A1 (en) * 2011-09-28 2013-03-28 Robert Reimann Methods and apparatus to change control centexts of controllers
US9101003B2 (en) * 2011-09-29 2015-08-04 Lite-On Electronics (Guangzhou) Limited Wireless intelligent lamp control method and system, wall switch base, and remote switch handset
CN109041372B (zh) * 2011-12-14 2021-01-05 飞利浦灯具控股公司 用于控制照明的方法和装置
US9060409B2 (en) * 2012-02-13 2015-06-16 Lumenetix, Inc. Mobile device application for remotely controlling an LED-based lamp
CN103313460B (zh) * 2012-03-15 2017-04-12 富泰华工业（深圳）有限公司 照明设备控制系统及方法
US9115880B2 (en) 2012-05-04 2015-08-25 Abl Ip Holding, Llc Lighting system reconfigurable by gestural control
ES2643266T5 (es) 2012-06-04 2022-05-31 Signify Holding Bv Un método para proporcionar protección de la privacidad en sistemas de control de la iluminación en red
CN104335250B (zh) * 2012-06-11 2018-08-10 飞利浦灯具控股公司 用于在虚拟环境中配置照明灯具的方法和装置
WO2014027275A1 (en) * 2012-08-16 2014-02-20 Koninklijke Philips N.V. Controlling a system comprising one or more controllable device
US9833707B2 (en) * 2012-10-29 2017-12-05 Sony Interactive Entertainment Inc. Ambient light control and calibration via a console
US10078371B1 (en) 2012-12-07 2018-09-18 American Megatrends, Inc. Touchless controller with configurable output pins
USD734766S1 (en) * 2013-01-15 2015-07-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP5558644B1 (ja) * 2013-02-20 2014-07-23 パナソニック株式会社 携帯情報端末の制御方法及びプログラム
CN104350335B (zh) * 2013-02-20 2017-10-20 松下电器（美国）知识产权公司 便携信息终端、便携信息终端的控制方法以及记录介质
SG11201404650XA (en) * 2013-02-20 2014-11-27 Panasonic Ip Corp America Program and method for controlling information terminal
US9766799B2 (en) 2013-02-20 2017-09-19 Panasonic Intellectual Property Corporation Of America Control method for information apparatus and computer-readable recording medium
JP5529357B1 (ja) * 2013-02-20 2014-06-25 パナソニック株式会社 携帯情報端末の制御方法及びプログラム
CN104126313B (zh) * 2013-02-20 2018-12-07 松下电器（美国）知识产权公司 信息终端的控制方法和装置
CN104247445B (zh) 2013-02-20 2018-10-12 松下电器（美国）知识产权公司 便携信息终端的控制方法
US9198259B2 (en) 2013-02-27 2015-11-24 Nguyen Hoan Hoang Programmable touchscreen dimmer with interchangeable electronic faceplate
US9806712B2 (en) * 2013-03-14 2017-10-31 Control4 Corporation Systems and methods for gesture-based lighting control
TWI505175B (zh) * 2013-04-29 2015-10-21 Hon Hai Prec Ind Co Ltd 具有三維用戶介面的遠端控制裝置及其介面生成方法
KR20140133362A (ko) 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
CN105191509A (zh) * 2013-05-13 2015-12-23 皇家飞利浦有限公司 具有用于控制照明性质的图形用户界面的设备
JP5474238B1 (ja) * 2013-06-05 2014-04-16 三菱電機株式会社 レイアウト生成システム、エネルギーマネジメントシステム、端末装置、レイアウト作成方法、および、プログラム
US10568179B2 (en) * 2013-09-20 2020-02-18 Osram Sylvania Inc. Techniques and photographical user interface for controlling solid-state luminaire with electronically adjustable light beam distribution
US10939155B2 (en) 2013-11-19 2021-03-02 Comcast Cable Communications, Llc Premises automation control
JP6259368B2 (ja) * 2013-11-28 2018-01-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 携帯端末の制御方法
KR20150079106A (ko) 2013-12-31 2015-07-08 삼성전자주식회사 디스플레이 장치, 단말 장치 및 그 제어 방법
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9300647B2 (en) * 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
ES2707055T3 (es) * 2014-02-26 2019-04-02 Savant Systems Llc Interfaz de usuario basada en salas virtuales generada por el usuario
US20180285312A1 (en) * 2014-03-04 2018-10-04 Google Inc. Methods, systems, and media for providing content based on a level of conversation and shared interests during a social event
US9716861B1 (en) 2014-03-07 2017-07-25 Steelcase Inc. Method and system for facilitating collaboration sessions
US10664772B1 (en) 2014-03-07 2020-05-26 Steelcase Inc. Method and system for facilitating collaboration sessions
CN105050227B (zh) * 2014-03-21 2019-07-26 奥斯兰姆施尔凡尼亚公司 用于控制可调整光束分布的固态泛光灯的方法和用户接口
CN104936339B (zh) * 2014-03-21 2019-07-26 奥斯兰姆施尔凡尼亚公司 控制可调整光束分布的固态泛光灯的方法和图形用户接口
CN105025611B (zh) * 2014-04-16 2018-03-20 东林科技股份有限公司 无线灯具的控制界面显示方法
KR20150123374A (ko) * 2014-04-24 2015-11-04 한국전자통신연구원 가상홈 서비스 장치 및 방법
US9918180B2 (en) 2014-04-28 2018-03-13 Johnson Controls Technology Company Systems and methods for detecting and using occupant location in a building management system
US9766079B1 (en) 2014-10-03 2017-09-19 Steelcase Inc. Method and system for locating resources and communicating within an enterprise
US9955318B1 (en) 2014-06-05 2018-04-24 Steelcase Inc. Space guidance and management system and method
US9380682B2 (en) 2014-06-05 2016-06-28 Steelcase Inc. Environment optimization for space based on presence and activities
US11744376B2 (en) 2014-06-06 2023-09-05 Steelcase Inc. Microclimate control systems and methods
US10433646B1 (en) 2014-06-06 2019-10-08 Steelcaase Inc. Microclimate control systems and methods
GB2529295B (en) * 2014-06-13 2018-02-28 Harman Int Ind Media system controllers
KR20160021576A (ko) * 2014-08-18 2016-02-26 엘지이노텍 주식회사 조명 제어 장치 및 이의 조명 제어 방법
USD783632S1 (en) * 2014-09-04 2017-04-11 Flir Systems Ab Display screen or portion thereof with graphical user interface
US10042336B2 (en) * 2014-09-09 2018-08-07 Savant Systems, Llc User-defined scenes for home automation
US10310704B2 (en) * 2014-09-18 2019-06-04 Ademco Inc. System and method to have location based personalized UI updates on mobile app for connected users in security, video and home automation applications
KR102288777B1 (ko) 2014-09-22 2021-08-11 엘지이노텍 주식회사 조명 제어 장치 및 이의 조명 제어 방법
US9852388B1 (en) 2014-10-03 2017-12-26 Steelcase, Inc. Method and system for locating resources and communicating within an enterprise
TWD180105S (zh) * 2014-11-14 2016-12-11 愛斯佩克股份有限公司 顯示面板之操作介面之部分
EP3245566A1 (en) * 2015-01-16 2017-11-22 Giva Audiovisual Technologies BVBA Audio, video and light control system encapsulated in a single housing
US10982868B2 (en) 2015-05-04 2021-04-20 Johnson Controls Technology Company HVAC equipment having locating systems and methods
US10733371B1 (en) 2015-06-02 2020-08-04 Steelcase Inc. Template based content preparation system for use with a plurality of space types
US20170139582A1 (en) * 2015-11-13 2017-05-18 General Electric Company Method and system for controlling an illumination device and related lighting system
CN107295502B (zh) * 2016-04-05 2020-06-30 北京京东尚科信息技术有限公司 一种信息传输装置的标识系统及方法
USD823882S1 (en) * 2016-04-20 2018-07-24 Sorenson Ip Holdings, Llc Display screen or portion thereof with a graphical user interface
US10190791B2 (en) 2016-04-27 2019-01-29 Crestron Electronics, Inc. Three-dimensional building management system visualization
DE102016005255B4 (de) * 2016-04-29 2023-01-26 Mercedes-Benz Group AG Vorrichtung und Verfahren zur Steuerung einer Innenraumbeleuchtung eines Fahrzeugs
US10481574B2 (en) 2016-05-04 2019-11-19 Johnson Controls Technology Company Building alarm management system with mobile device notifications
US9921726B1 (en) 2016-06-03 2018-03-20 Steelcase Inc. Smart workstation method and system
WO2018007450A1 (en) 2016-07-08 2018-01-11 Philips Lighting Holding B.V. Programming rules for controlling lighting
US10582596B2 (en) 2016-09-14 2020-03-03 Lutron Ketra, Llc Illumination device, system and method for manually adjusting automated fading of color temperature changes to emulate exterior daylight
US10621836B2 (en) 2016-09-14 2020-04-14 Lutron Ketra, Llc Global keypad for linking the control of shows and brightness among multiple zones illuminated by light emitting diodes arranged among a structure
US9930742B1 (en) 2016-09-14 2018-03-27 Ketra, Inc. Keypad with color temperature control as a function of brightness among scenes and the momentary or persistent override and reprogram of a natural show and method thereof
US10237945B2 (en) 2016-09-14 2019-03-19 Lutron Ketra, Llc Illumination device, system and method for manually adjusting automated periodic changes in emulation output
EP3513401A4 (en) 2016-09-14 2020-05-27 Lutron Ketra, LLC LIGHTING DEVICE AND METHOD FOR ADJUSTING PERIODIC CHANGES IN EMULATION PERFORMANCE
US11202354B2 (en) 2016-09-14 2021-12-14 Lutron Technology Company Llc Illumination system and method that presents a natural show to emulate daylight conditions with smoothing dimcurve modification thereof
US9795000B1 (en) 2016-09-14 2017-10-17 Ketra, Inc. Illumination device, system and method for manually adjusting automated changes in exterior daylight among select groups of illumination devices placed in various rooms of a structure
CN117676954A (zh) * 2016-09-14 2024-03-08 路创技术有限责任公司 用于控制作为亮度的函数的色温的照明系统
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
WO2018102337A1 (en) * 2016-11-29 2018-06-07 Walmart Apollo, Llc Virtual representation of activity within an environment
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
GB2559321B (en) * 2017-01-10 2022-09-21 Hoare Lea Llp Graphical lighting control system
CN106817827A (zh) * 2017-02-13 2017-06-09 杭州睿者智能工程有限公司 实景反馈灯具控制方法和控制系统
CN106982499B (zh) * 2017-03-10 2019-04-30 北京工业大学 一种基于多点光源的体感智能照明系统和方法
US20180284953A1 (en) * 2017-03-28 2018-10-04 Osram Sylvania Inc. Image-Based Lighting Controller
US10561942B2 (en) 2017-05-15 2020-02-18 Sony Interactive Entertainment America Llc Metronome for competitive gaming headset
US10128914B1 (en) 2017-09-06 2018-11-13 Sony Interactive Entertainment LLC Smart tags with multiple interactions
CA3073208A1 (en) 2017-09-06 2019-03-14 Savant Systems, Llc Small screen virtual room-based user interface
US20190215460A1 (en) * 2018-01-09 2019-07-11 Osram Sylvania Inc. User Interface for Control of Building System Components
US10972360B2 (en) 2018-05-08 2021-04-06 Lexi Devices, Inc. Dynamic design of a lighting configuration
CN108846220A (zh) * 2018-06-23 2018-11-20 广东启源建筑工程设计院有限公司 一种可视化建筑光照设计方法及其系统
CN109286545A (zh) * 2018-09-11 2019-01-29 青岛海信智慧家居系统股份有限公司 一种智能家居设备管理方法及装置
US11863343B2 (en) 2019-02-14 2024-01-02 Savant Systems, Inc. Multi-role devices for automation environments
US11120682B2 (en) * 2019-02-20 2021-09-14 Robert Bosch Gmbh System and method for operating physical entities based on a virtual representation of the physical entities
US11626010B2 (en) * 2019-02-28 2023-04-11 Nortek Security & Control Llc Dynamic partition of a security system
US11189061B2 (en) 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
CN110374486A (zh) * 2019-07-08 2019-10-25 武汉诚信卓远科技发展有限公司 窗帘控制方法、设备及计算机可读存储介质
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
CN114651221A (zh) * 2019-09-11 2022-06-21 萨万特系统公司 用于家庭自动化系统的基于三维虚拟房间的用户接口
CN111487892B (zh) * 2020-03-31 2023-03-21 北京中庆现代技术股份有限公司 一种多功能可编程集成控制装置
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
WO2022015830A1 (en) * 2020-07-14 2022-01-20 Lutron Technology Company Llc Lighting control system with light show overrides
CN111818705A (zh) * 2020-07-17 2020-10-23 广州彩熠灯光股份有限公司 基于3d仿真的灯具选择方法、系统、存储介质、灯光控制台
CN112074056A (zh) * 2020-09-16 2020-12-11 陈漱文 一种灯光互动仿真系统
CN112732460A (zh) * 2021-01-05 2021-04-30 卓望数码技术（深圳）有限公司 数据状态管理方法、系统及存储介质
USD1018580S1 (en) * 2021-10-13 2024-03-19 Degussa Bank AG Display screen with financial institution graphical user interface
USD1021939S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution navigation interface
USD1021940S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution communication interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10012508A1 (de) * 2000-03-15 2001-09-20 Luxmate Controls Gmbh Dornbirn System und Steuereinrichtung zum Steuern mehrerer Aktoren eines Raumes
WO2002099780A2 (en) * 2001-06-06 2002-12-12 Color Kinetics Incorporated System and methods of generating control signals
DE10314134A1 (de) * 2002-03-27 2003-10-23 Siemens Gebaeudeman & Services System und Verfahren zur Bereitstellung, Parametrierung und Steuerung von Gebäudediensten
RU53510U1 (ru) * 2005-10-24 2006-05-10 Сергей Александрович Шестаков Микропроцессорная информационно-управляющая система "умный дом"
WO2009004531A1 (en) * 2007-06-29 2009-01-08 Philips Intellectual Property & Standards Gmbh Light control system with a user interface for interactively changing settings in a lighting system and method for interactively changing settings in a lighting system with a user interface

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773978A (ja) * 1993-08-31 1995-03-17 Toshiba Lighting & Technol Corp 照明演出装置
WO1996024216A1 (en) * 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
US6160359A (en) * 1998-01-30 2000-12-12 Hewlett-Packard Company Apparatus for communicating with a remote computer to control an assigned lighting load
US6362822B1 (en) 1999-03-12 2002-03-26 Terminal Reality, Inc. Lighting and shadowing methods and arrangements for use in computer graphic simulations
US6463343B1 (en) * 1999-08-10 2002-10-08 International Business Machines Corporation System and method for controlling remote devices from a client computer using digital images
US7159022B2 (en) * 2001-01-26 2007-01-02 American Power Conversion Corporation Method and system for a set of network appliances which can be connected to provide enhanced collaboration, scalability, and reliability
US7202613B2 (en) 2001-05-30 2007-04-10 Color Kinetics Incorporated Controlled lighting methods and apparatus
US6756998B1 (en) 2000-10-19 2004-06-29 Destiny Networks, Inc. User interface and method for home automation system
JP2002245102A (ja) * 2001-02-14 2002-08-30 Matsushita Electric Works Ltd 建物の環境制御方法及びそのシステム
KR100359332B1 (ko) 2001-06-14 2002-10-31 박찬구 주파수 스캐닝 효과를 이용한 위성추적 시스템 및 그 방법
US8042049B2 (en) * 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
US7047092B2 (en) * 2003-04-08 2006-05-16 Coraccess Systems Home automation contextual user interface
JP2005098043A (ja) * 2003-08-21 2005-04-14 Misawa Homes Co Ltd 居室環境演出装置
US7167777B2 (en) 2003-11-04 2007-01-23 Powerweb Technologies Wireless internet lighting control system
US7782384B2 (en) 2004-11-05 2010-08-24 Kelly Douglas J Digital camera having system for digital image composition and related method
FR2882843B1 (fr) * 2005-03-01 2009-08-21 Somfy Sas Interface de commande d'un systeme domotique et procedes pour son fonctionnement
US8122131B2 (en) * 2005-03-16 2012-02-21 Icontrol Networks, Inc. Takeover processes in security network integrated with premise security system
WO2007124453A2 (en) * 2006-04-20 2007-11-01 Exceptional Innovation Llc Touch screen for convergence and automation system
US20070265121A1 (en) 2006-05-09 2007-11-15 Jimmy Gross Drive chain motion stabilizer
US20070268121A1 (en) * 2006-05-18 2007-11-22 Daryush Vasefi On-line portal system and method for management of devices and services
US7830417B2 (en) 2006-08-15 2010-11-09 Fuji Xerox Co., Ltd System and method for interacting with objects via a camera enhanced mobile device
US7930644B2 (en) * 2006-09-13 2011-04-19 Savant Systems, Llc Programming environment and metadata management for programmable multimedia controller
TW200842540A (en) * 2007-04-26 2008-11-01 L & C Lighting Technology Corp Method of changing light colors of a lamp and control system thereof
EP2156710B1 (en) 2007-05-22 2014-04-16 Koninklijke Philips N.V. Remote lighting control
WO2009003169A2 (en) * 2007-06-27 2008-12-31 University Of Florida Research Foundation, Inc. Display-based interactive simulation with dynamic panorama
WO2009032279A1 (en) * 2007-09-05 2009-03-12 Savant Systems Llc. Multimedia control and distribution architechture
US8310335B2 (en) 2007-09-07 2012-11-13 Verizon Patent And Licensing Inc. Network-based access and control of home automation systems
US7760107B1 (en) * 2007-10-24 2010-07-20 Inteltech Corporation Method for programming a network of control points
TW200935972A (en) 2007-11-06 2009-08-16 Koninkl Philips Electronics Nv Light management system with automatic identification of light effects available for a home entertainment system
KR100963200B1 (ko) 2007-11-07 2010-06-10 위월드 주식회사 추적 특성이 향상된 위성 추적 안테나 시스템 및 그동작방법
WO2009090597A1 (en) 2008-01-16 2009-07-23 Koninklijke Philips Electronics N.V. User interface for scene setting control with light balance
KR101557176B1 (ko) * 2008-05-02 2015-10-02 사반트 시스템즈 엘엘씨 프로그램 가능한 멀티미디어 컨트롤러를 위한 터치 감응 비디오 신호 디스플레이
US8140989B2 (en) 2009-02-19 2012-03-20 Kimberly-Clark Worldwide, Inc. Virtual room use simulator and room planning system
CN102461344B (zh) 2009-06-03 2014-12-17 萨万特系统有限责任公司 控制结构的物理房间内的一个或者多个设备的方法和装置
CN102034341B (zh) 2009-09-30 2012-12-12 金宝电子工业股份有限公司 控制系统及其控制画面的产生方法
US8719581B2 (en) * 2010-09-22 2014-05-06 Savant Systems, Llc Programmable multimedia controller with flexible user access and shared device configurations
EP2827605B1 (en) 2012-03-12 2016-09-28 NTT DoCoMo, Inc. Remote control system, remote control method, communication device and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10012508A1 (de) * 2000-03-15 2001-09-20 Luxmate Controls Gmbh Dornbirn System und Steuereinrichtung zum Steuern mehrerer Aktoren eines Raumes
WO2002099780A2 (en) * 2001-06-06 2002-12-12 Color Kinetics Incorporated System and methods of generating control signals
DE10314134A1 (de) * 2002-03-27 2003-10-23 Siemens Gebaeudeman & Services System und Verfahren zur Bereitstellung, Parametrierung und Steuerung von Gebäudediensten
RU53510U1 (ru) * 2005-10-24 2006-05-10 Сергей Александрович Шестаков Микропроцессорная информационно-управляющая система "умный дом"
WO2009004531A1 (en) * 2007-06-29 2009-01-08 Philips Intellectual Property & Standards Gmbh Light control system with a user interface for interactively changing settings in a lighting system and method for interactively changing settings in a lighting system with a user interface

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2707183C2 (ru) * 2014-09-01 2019-11-25 Филипс Лайтинг Холдинг Б.В. Способ управления осветительной системой, компьютерный программный продукт, носимое вычислительное устройство и набор осветительной системы
RU2713612C2 (ru) * 2015-06-05 2020-02-05 Дайфуку Ко., Лтд. Сенсорная панель для ручного управления механическим оборудованием

Also Published As

Publication number Publication date
JP5782433B2 (ja) 2015-09-24
US10146398B2 (en) 2018-12-04
US8296669B2 (en) 2012-10-23
KR20120027454A (ko) 2012-03-21
RU2011152270A (ru) 2013-07-20
WO2010141076A1 (en) 2010-12-09
EP2438800B1 (en) 2014-11-19
CN102461344B (zh) 2014-12-17
EP2438800A1 (en) 2012-04-11
AU2010257154A1 (en) 2012-01-12
US20100312366A1 (en) 2010-12-09
US20120284672A1 (en) 2012-11-08
ES2530679T3 (es) 2015-03-04
CN102461344A (zh) 2012-05-16
KR101719842B1 (ko) 2017-03-24
US9055627B2 (en) 2015-06-09
US20150301716A1 (en) 2015-10-22
NZ596852A (en) 2013-03-28
IL216756A0 (en) 2012-03-01
CA2764240A1 (en) 2010-12-09
AU2010257154B2 (en) 2014-02-20
MX2011012905A (es) 2012-03-29
CA2764240C (en) 2017-08-22
JP2012529147A (ja) 2012-11-15
BRPI1011140A2 (pt) 2018-02-14
BRPI1011140B1 (pt) 2020-04-14

Similar Documents

Publication Publication Date Title
RU2528016C2 (ru) Способ и устройство для управления осветительным устройством в виртуальной комнате
RU2594178C2 (ru) Система дистанционного управления, позволяющая обойтись без визуального контроля устройства управления и обеспечивающая визуальную обратную связь
US10387007B2 (en) Video tiling
US11688140B2 (en) Three dimensional virtual room-based user interface for a home automation system
US8914724B2 (en) Method and apparatus for creating and modifying graphical schedules
JP2014106837A (ja) 表示制御装置、表示制御方法および記録媒体
JP7312162B2 (ja) 小画面の仮想部屋ベースのユーザインタフェイス
KR20110050217A (ko) 디스플레이 장치 및 그 사용자 인터페이스 제공 방법
WO2014199263A1 (en) Frameworks, devices and methods configured for enabling display of facility information and surveillance data via a map-based user interface
TW201327363A (zh) 應用於特定空間之控制系統操作介面
NZ616350B2 (en) Method and apparatus for creating and modifying graphical schedules

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC43 Official registration of the transfer of the exclusive right without contract for inventions

Effective date: 20210909