RU2767145C2 - Система и способ интерактивной помощи когнитивными средствами при решении задач - Google Patents

Система и способ интерактивной помощи когнитивными средствами при решении задач Download PDF

Info

Publication number
RU2767145C2
RU2767145C2 RU2017136560A RU2017136560A RU2767145C2 RU 2767145 C2 RU2767145 C2 RU 2767145C2 RU 2017136560 A RU2017136560 A RU 2017136560A RU 2017136560 A RU2017136560 A RU 2017136560A RU 2767145 C2 RU2767145 C2 RU 2767145C2
Authority
RU
Russia
Prior art keywords
data
task
sensor
user
real
Prior art date
Application number
RU2017136560A
Other languages
English (en)
Other versions
RU2017136560A3 (ru
RU2017136560A (ru
Inventor
Уильям Дж. ВУД
Марк Х. БОЙД
Мелани К. ЛОРАН
Дэвид Х. КУСУДА
Original Assignee
Зе Боинг Компани
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Зе Боинг Компани filed Critical Зе Боинг Компани
Publication of RU2017136560A publication Critical patent/RU2017136560A/ru
Publication of RU2017136560A3 publication Critical patent/RU2017136560A3/ru
Application granted granted Critical
Publication of RU2767145C2 publication Critical patent/RU2767145C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24019—Computer assisted maintenance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32226—Computer assisted repair, maintenance of system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

Изобретение относится к области вычислительной техники для технического обслуживания физических конструкций. Технический результат заключается в повышении эффективности выполнения технического обслуживания за счет автоматизации процесса выполнения операций технического обслуживания. Технический результат достигается за счет того, что принимают в блоке обработки указаний команду, вызывающую выполнение задачи, от пользователя; определяют в блоке обработки указаний этап из указанного множества этапов на основании принятой команды и на основании уровня опытности пользователя; передают из блока обработки указаний пользователю данные с инструкциями, иллюстрирующие, как должен быть выполнен указанный по меньшей мере один этап; принимают в блоке обработки указаний данные датчика, вырабатываемые датчиком, расположенным возле физической конструкции; вычисляют показатель выполнения указанного этапа согласно данным датчика; переопределяют указанное множество этапов на основании дополнительных этапов, которые были выполнены, или этапов, которые были пропущены пользователем, когда пользователь завершил задачу. 2 н. и 11 з.п. ф-лы, 9 ил.

Description

1. ОБЛАСТЬ ТЕХНИКИ
[001] Настоящее изобретение относится к системам и способам производства и технического обслуживания физических конструкций и, в частности, к системе и способу для выдачи пользователям указаний при выполнении задач на физических конструкциях.
2. УРОВЕНЬ ТЕХНИКИ
[002] При традиционном техническом обслуживании используются бумажные руководства, к которым пользователь (специалист по техническому обслуживанию) обращается, с тем чтобы выявить соответствующие задачи технического обслуживания и следовать каждому этапу этих задач. Как следствие, специалист по техническому обслуживанию должен найти бумажное руководство по обслуживанию, выявить соответствующую часть руководства, относящуюся к необходимой задаче технического обслуживания, определить, какие необходимы приспособления и другие ресурсы (часто расположенные в другом месте), и получить эти приспособления и ресурсы. После этого специалист по техническому обслуживанию вынужден обращаться к бумажному руководству по обслуживанию для каждого этапа, выполнить этот этап, затем снова обращаться к бумажному руководству по обслуживанию для определения следующего этапа. То, что специалист по техническому обслуживанию должен постоянно останавливать работу, чтобы обратиться к находящимся в руководстве инструкциям для каждого этапа, приводит к увеличению времени, необходимому для выполнения задачи, и увеличению вероятности ошибок со стороны специалиста по техническому обслуживанию. В целом, бумажные руководства по обслуживанию должны храниться и извлекаться, их не просто найти и выполнить к ним запрос, и при работе с ними специалисту по техническому обслуживанию необходимо перемещаться между местами выполнения задачи по техническому обслуживанию и соответствующим руководством, что приводит к замедлению процесса технического обслуживания.
[003] Хотя существуют цифровые руководства по обслуживанию, которые устраняют некоторые из этих недостатков благодаря тому, что руководству придана портативность, и в нем легко выполнить поиск, специалисту по техническому обслуживанию необходимо иметь свободные руки, чтобы взаимодействовать с цифровым руководством по обслуживанию. Цифровое руководство по обслуживанию может включать в себя видео, но такие видеоролики обычно воспроизводятся быстрее или медленнее по сравнению со способностью специалиста по техническому обслуживанию выполнить указанные этапы, поэтому специалист по техническому обслуживанию должен постоянно запускать и перезапускать (или перематывать) воспроизведение соответствующего видео.
[004] Существуют системы, позволяющие улучшить работу с такими цифровыми руководствами по обслуживанию. Например, было предложено использовать дополненную реальность для выдачи указаний специалистам по техническому обслуживанию по проведению этапов технического обслуживания с использованием очков дополненной реальности. Одна такая система была предложена компанией Bavarian Motor Works и описана в статье "End of the Mechanic? BMW Smart Glasses Make it Possible for Anyone to Spot и Fix a Car Engine Fault Just by Looking at It" (Конец механика? Интеллектуальные очки от компании BMW позволят любому человеку обнаружить и устранить неисправность в двигателе автомобиля, просто глядя на него), автор Victoria Woollaston, издание Daily Mail, опубликовано 21 января 2014 года, которая включена в настоящий документ посредством ссылки. Пример подобной системы описан в работе "Дополненная реальность для технического обслуживания и ремонта" (Augmented Reality for Maintenance и Repair, ARMAR), авторы Steve Henderson и Steven Feiner, Columbia University Computer Graphics и User Interfaces Lab (Колумбийский университет компьютерной графики и лаборатория пользовательских интерфейсов), 2016, которая также включена в настоящий документ посредством ссылки. Эта работа раскрывает использование компьютерной графики в режиме реального времени, накладываемой на фактически ремонтируемое оборудование с регистрацией изображений, для повышения производительности, точности и безопасности работы обслуживающего персонала с помощью носимых на голове дисплеев отслеживания движения, которые дополняют физический вид системы, видимый пользователю, такой информацией, как маркировка подкомпонентов, служащей для выдачи руководящих указаний по этапам технического обслуживания, диагностические данные в режиме реального времени, а также предупреждения, касающиеся техники безопасности. Такие системы могут использовать интеллектуальные шлемы, такие как доступные от компании DAQRI, описанные в работе "Интеллектуальный шлем Daqri" (Daqri Smart Helmet), автор Brian Barrett, издание Wired, 7 января 2016 года, которая также включена в настоящий документ посредством ссылки.
[005] К сожалению, такие известные системы не позволяют решить многие вопросы технического обслуживания. Например, взаимодействие пользователя с системой BMW включает в себя голосовое взаимодействие, ограниченное выдачей специалистом по техническому обслуживанию таких речевых команд, как "следующий этап". Система не определяет ни задачу, которую необходимо выполнить, ни этапы этой задачи с использованием запросов от пользователя на обычном языке. Следовательно, для данной задачи специалист по техническому обслуживанию должен еще определить, какую задачу необходимо выполнить (например, нет ни какого-либо показателя, ни какого-либо признака, который бы позволил пользователю, используя обычный язык, выявить для цели, которую необходимо достичь, соответствующую задачу или этапы задачи). Аналогичным образом системы ARMAR и DAQRI недостаточны в этом отношении.
[006] Вышеуказанные системы также не позволяют осуществить мониторинг выполнения этапов (для обеспечения обратной связи, подтверждающей, что этап был выполнен должным образом, или указывающей на его невыполнение, с выдачей корректирующих действий) или обеспечить регистрацию данных выполнения этапа. Например, этап, который необходимо выполнить, может заключаться в затягивании гайки на болте с определенным крутящим моментом.
[007] Что касается мониторинга выполнения этапов для обеспечения обратной связи, ни одна из вышеупомянутых систем не выявляет, удалось ли специалисту по техническому обслуживанию затянуть гайку согласно соответствующей спецификации, использует ли специалист по техническому обслуживанию надлежащее приспособление, удалось ли пользователю выровнять гайку на резьбе болта перед ее затягиванием. Маловероятно, что такие ошибки могут быть своевременно обнаружены, а в случае их обнаружения потребовалось бы время, т.к. они могут потребовать разборки или выполнения этапов задачи в обратном порядке, с тем чтобы обеспечить возможность исправления ошибки. Также, ни одна из вышеупомянутых систем не обеспечивает возможности определения, выполняется ли этап правильно при выполнении его пользователем, и, таким образом, возможности предотвращения повреждения используемых приспособлений или конструкции, на которой производятся работы.
[008] Что касается регистрации, ни одна из вышеупомянутых систем не ведет запись данных в отношении выполнения этапа. Такие данные могут быть использованы для дальнейшего уточнения процедур технического обслуживания или оценки необходимой продолжительности таких процедур. Эти данные также могут быть использованы для выявления причин последующих сбоев (например, последующие сбои чаще возникали при затягивании гайки от конкретного поставщика с максимальным значением крутящего момента, указанным в спецификации).
[009] Поэтому было бы желательно иметь способ и устройство, которые учитывают по меньшей мере некоторые из рассмотренных выше проблем, а также другие возможные проблемы.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
[0010] Для устранения указанных выше недостатков в данном документе раскрыты система и способ выдачи указаний при выполнении задачи, имеющей по меньшей мере один этап, выполняемый на станции на физической конструкции. В одном варианте реализации изобретения согласно способу:
принимают в блоке обработки указаний от структуры, выполняющей работы, команду, вызывающую выполнение задачи,
определяют в блоке обработки указаний по меньшей мере один этап на основании принятой команды,
передают из блока обработки указаний в структуру, выполняющую работы, данные с инструкциями, иллюстрирующие выполнение указанного по меньшей мере одного этапа,
принимают в блоке обработки указаний данные датчика в реальном времени, вырабатываемые датчиком, расположенным возле физической конструкции и измеряющим выполнение этапа, и
вычисляют показатель выполнения этапа согласно данным датчика.
Предлагаемые система и способ могут сделать операции технического обслуживания более эффективными, например за счет выполнения операций технического обслуживания полностью автоматически (без помощи рук) с передачей информации в виде комбинации аудио- и трехмерных визуальных пояснений в среде дополненной реальности и, следовательно, с уменьшением риска возникновения ошибок, необходимости доработок, угроз безопасности и возникновения задержек при техническом обслуживании, ремонте и эксплуатации летательных аппаратов или других продуктов, во время которых выполняются операции технического обслуживания. Предлагаемые система и способ также обеспечивают возможность сокращения затрат на обучение и техническое обслуживание, ремонт и эксплуатацию летательных аппаратов или других продуктов, во время которых выполняются операции технического обслуживания.
[0011] Еще один вариант реализации изобретения представлен системой для выдачи указаний при выполнении задачи, имеющей по меньшей мере один этап, выполняемый на станции на физической конструкции, при этом система содержит датчик, расположенный возле физической конструкции, устройство представления информации и блок обработки указаний, содержащий процессор, соединенный с возможностью обмена данными с памятью, хранящей инструкции, содержащие инструкции. Указанные инструкции включают в себя инструкции для
приема от структуры, выполняющей работы, команды, вызывающей выполнение задачи,
определения указанного по меньшей мере одного этапа на основании принятой команды,
передачи в структуру, выполняющую работы, данных с инструкциями, иллюстрирующих выполнение указанного по меньшей мере одного этапа, для представления устройством представления информации,
приема данных датчика в реальном времени, вырабатываемых датчиком, расположенным возле физической конструкции и измеряющим выполнение этапа, и
вычисления показателя выполнения этапа согласно данным датчика.
Предлагаемая система может сделать операции технического обслуживания более эффективными, например за счет выполнения операций технического обслуживания полностью без помощи рук с передачей информации в виде комбинации аудио- и трехмерных визуальных пояснений в среде дополненной реальности и, следовательно, с уменьшением риска возникновения ошибок, необходимости доработок, угроз безопасности и возникновения задержек при техническом обслуживании, ремонте и эксплуатации летательных аппаратов или других продуктов, во время которых выполняются операции технического обслуживания. Предлагаемые система и способ также обеспечивают возможность сокращения затрат на обучение и техническое обслуживание, ремонт и эксплуатацию летательных аппаратов или других продуктов, во время которых выполняются операции технического обслуживания.
[0012] Указанные признаки, функции и преимущества могут быть получены независимо в различных вариантах реализации изобретения или могут быть скомбинированы в других вариантах реализации изобретения, дальнейшие подробности которых могут быть рассмотрены со ссылкой на последующие описание и фигуры чертежей.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0013] На чертежах одинаковые ссылочные номера обозначают соответствующие части, при этом:
[0014] на ФИГ. 1 схематически показан пример предприятия по выполнению технического обслуживания, сборки и испытаний;
[0015] на ФИГ. 2 показана функциональная блок-схема одного варианта реализации станции;
[0016] на ФИГ. 3А-3С схематически показан один вариант реализации этапов приведенного в качестве примера процесса, которые используют для выдачи указаний пользователям при выполнении задач;
[0017] на ФИГ. 4 схематично показана работа блока обработки указаний с другими элементами используемых станций и центрального процессора;
[0018] на ФИГ. 5А и 5В схематично показаны примеры блока обработки указаний и соответствующих элементов используемой станции, реализованные в виде испытательного стенда;
[0019] на ФИГ. 6 схематично показана приведенная в качестве примера компьютерная система, которая может быть использована для реализации рабочих элементов системы геолокации.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0020] В приведенном ниже описании приведены ссылки на прилагаемые чертежи, которые являются частью настоящего описания и на которых в иллюстративных целях показаны некоторые варианты реализации. Следует понимать, что могут быть использованы другие варианты реализации и могут быть выполнены конструктивные изменения без выхода за пределы объема настоящего изобретения.
Обзор
[0021] Система и способ, описанные в настоящем документе, улучшают производительность и эффективность специалиста по техническому обслуживанию платформы или другой физической конструкции посредством оказания ему помощи в поиске правильных процедур технического обслуживания, выдачи руководящих указаний специалисту по техническому обслуживанию для выполнения каждого этапа технического обслуживания с использованием аудио- и визуальных пояснений и проверке правильности каждого этапа посредством использования датчика обратной связи. В одном варианте реализации изобретения датчики встроены в систему посредством Интернета вещей (Internet of Things, IoT). Система обеспечивает возможность (1) использовать зрительные и другие датчики или сенсоры, для Интернета вещей для выполнения начальной диагностики, с тем чтобы помочь специалисту по техническому обслуживанию выбрать подходящий порядок работы (2), автоматически выполнять сбор изображений и данных, связанных с операциями технического обслуживания для обеспечения достоверного контроля на основе датчиков, а не в результате ручного ввода данных специалистом по техническому обслуживанию (3), и автоматически собирать показатели выполнения и времени пребывания детали на производственном участке, показывающие, сколько времени занимает выполнение этапов технического обслуживания, для определения возможностей усовершенствования обработки, в том числе возможностей по обучению специалистов технического обслуживания. В одном варианте реализации изобретения система работает под голосовым управлением с использованием естественного языка для выдачи команд и для управления средой технического обслуживания. Например, оператор может голосом попросить включить свет, а не тянуться к выключателю света.
[0022] Система и способ расширяют возможности нового приспособления для технического обслуживания за счет нескольких когнитивных средств, в том числе средств преобразования речи в текст, текста в речь, обработки на естественном языке, машинного обучения и дополненной реальности. Эти возможности позволяют специалисту по техническому обслуживанию взаимодействовать с приспособлением для технического обслуживания с использованием команд, произносимых в естественной речи, без необходимости запоминать точные голосовые команды. Приспособление также использует обработку на естественном языке и машинное обучение для определения цели подачи голосовых команд и соответствующего реагирования на такие команды. Обратную связь от приспособления представляют специалисту по техническому обслуживанию с использованием реализуемой без помощи рук дополненной реальности, с выдачей звуковых команд на естественном языке, и трехмерной визуальной информации, наложенной на объекты реального мира.
[0023] Приспособление объединяет в себе нескольких различных возможностей, чтобы сделать оконечную систему более мощной по сравнению с каждым отдельным компонентом. В одном варианте реализации изобретения приспособление объединяет Интернет вещей, технологии когнитивной обработки естественного языка и усовершенствованные индексирование и запрашивание документов. Это позволяет специалисту по техническому обслуживанию легко получать доступ ко всем знаниям, необходимым для быстрого и эффективного выполнения технического обслуживания. Приспособление также обеспечивает возможность управления операциями технического обслуживания полностью без помощи рук с сопровождением информации в виде комбинации аудио- и трехмерных визуальных пояснений в среде дополненной реальности. Приспособление также обеспечивает дополнительные когнитивные возможности и обратную связь Интернета вещей для существующих приспособлений технического обслуживания, которое в ином случае потребовало бы выполняемых вручную и без подтверждения этапов технического обслуживания. Добавление когнитивных возможностей обеспечивает специалисту по техническому обслуживанию возможность быстро и эффективно находить соответствующую информацию о техническом обслуживании, а добавление обратной связи Интернета вещей обеспечивает подтверждение правильного завершения каждого этапа с уменьшением необходимости доработок.
[0024] Хотя указанное приспособление описано прежде всего в отношении выполнения задач технического обслуживания, оно с таким же успехом применимо при решении задач производства или в любых случаях выполнения задач на физических конструкциях, включая управление производством и контроль качества. Например, методы, описанные ниже, применимы к сборке и испытанию физических конструкций, включая автомобили, летательные аппараты, космические корабли и водные суда.
[0025] На ФИГ. 1 схематически показан пример предприятия 100 по выполнению технического обслуживания, сборки и испытаний (в дальнейшем называемое просто предприятием или предприятием 100 по выполнению технического обслуживания, сборки и испытаний). Предприятие 100 по выполнению технического обслуживания, сборки и испытаний имеет одну или более станций 102A-102N (в дальнейшем также называемых станциями 102), на которых выполняют задачи. Каждая станция 102 включает в себя физическую конструкцию 106, на которой выполняют техническое обслуживание (собирают/разбирают части или выполняют испытания). Станции 102 также могут содержать одно или более приспособлений 110А-110N (в дальнейшем также называемых приспособлением (приспособлениями) 110), используемых для выполнения задач на физической конструкции 106. Такие задачи могут быть выполнены одним или более пользователями, такими как человек (люди) 108Р или робот(ы) 108R (в дальнейшем также называемых пользователем (пользователями) 108).
[0026] Одно или более из следующего: физической конструкции 106, приспособлений 110 и пользователя 108 -включают в себя один или более датчиков (вместе называемых датчиками 112), которые измеряют или выполняют мониторинг характеристики связанных с ними физической конструкции 106, приспособлений 110 или пользователя 108, соответственно. Например, физическая конструкция 106 может включать в себя один или более датчиков 112В физической конструкции, которые считывают характеристику физической конструкции 106. Эта характеристика может включать в себя физическую характеристику, такую как положение или угол внешнего устройства относительно другой части физической конструкции 106, электрическую характеристику, такую как измеренное значение напряжения или тока на проводнике или физической конструкции 106 или любое другое качество, измеримое датчиком любого типа. Датчики 112В физической конструкции могут включать в себя датчики, которые являются частью законченной сборки физической конструкции 106, или датчики 112В физической конструкции, которые прикреплены к физической конструкции 106, для целей производства или технического обслуживания, а затем удалены перед завершением сборки или технического обслуживания. Например, физическая конструкция 106 может содержать поверхность управления полетом, такую как руль направления, которая включает в себя встроенный потенциометр, измеряющий положение руля направления для целей навигации и управления. В этом примере указанный потенциометр может быть использован в качестве одного из датчиков 112В физической конструкции 106 не только для оперативной сборки, но и для проведения испытаний. В других вариантах реализации изобретения другие датчики 112В физической конструкции могут быть прикреплены к физической конструкции для выполнения операции технического обслуживания, сборки и испытаний. Например, к рулю может быть прикреплен отдельный потенциометр, а значения положения руля направления, измеряемые датчиком, могут быть сравнены с положением руля направления измеренным встроенным потенциометром.
[0027] Схожим образом, каждое из одного или более приспособлений 110 может включать в себя один или более датчиков 112DA-112DN, которые используют для выявления или измерения характеристики связанного с ним приспособления 110А-110N, соответственно. Эта характеристика также может включать в себя одну или более таких характеристик, как физическая характеристика, электрическая характеристика или любое другое качество, измеряемое датчиками 112. Например, приспособление 110А может содержать ключ с регулируемым крутящим моментом, и датчик 112DA может измерять крутящий момент, сообщаемый части физической конструкции 106, такой как болт или гайка, ключом с регулируемым крутящим моментом. Такие датчики 112D также могут включать в себя датчики температуры (для мониторинга температуры приспособления 110 во время использования).
[0028] Кроме того, один или более пользователей 108 могут содержать или использовать один или более датчиков 112. Пользователь (пользователи) 108 может (могут) быть, например, человеком 108Р или роботом 108R. Робот 108R может иметь один или более датчиков 112F робота для выявления характеристики робота 108R, одной или более характеристик других элементов станции 102А (включая физическую конструкцию 106, приспособления 110 или человека 108Р). В одном варианте реализации изобретения робот 108R включает в себя множество потенциометров, которые обеспечивают выдачу указания об относительном положении конструкций робота 108R, на основании чего может быть определено положение головы или рабочей поверхности робота 108R. Это может быть использовано, например, для определения положения рабочего конца робота 108, а также любой из его конструкций как функции от времени. Еще в одном варианте реализации изобретения робот 108R включает в себя камеру или другой зрительный сенсор, расположенный на рабочем конце или около него, так что обеспечена возможность получения визуальных представлений области, окружающей рабочий конец. Датчики 112F могут быть встроены в робота 108R (например, при этом результаты измерения датчиком используются роботом 108R для управления реагированием робота на команды) или могут быть добавлены к роботу 108R только для использования на станции 102 для выполнения операций технического обслуживания, сборки и испытаний. Такие датчики 112F робота также могут включать в себя датчики температуры (для мониторинга температуры робота 108R или частей робота 108R во время использования).
[0029] В качестве еще одного примера, человек 108Р может носить один или более датчиков 112Е. Такие датчики 112Е могут включать в себя, например, гарнитуру дополненной реальности. Такие гарнитуры обычно содержат стереоскопический дисплей, устанавливаемый на голове, (выдающий отдельные изображения для каждого глаза человека) и датчики отслеживания движения головы. Такие датчики отслеживания движения могут включать в себя, например, инерциальные датчики, такие как акселерометры и гироскопы, системы структурированной подсветки и датчики отслеживания движений глаз. Когда гарнитура дополненной реальности носится человеком 108Р, человек может видеть окружающую его среду, но при этом на окружающую среду накладываются стереоскопические изображения. Такие стереоскопические изображения могут включать в себя, например, части физической конструкции 106 или изменения физической конструкции 106, вызванные этапами задачи. Инерциальные датчики и датчики глаза могут быть использованы для определения направления взгляда пользователя во внутреннее пространство, и изображения физической конструкции, накладываемые на эти изображения.
[0030] Поскольку гарнитура дополненной реальности не только записывает видеоизображения, но и представляет видеоизображения, накладываемые на реальные изображения, такие гарнитуры могут рассматриваться не только в качестве датчиков, но и в качестве элементов представления информации, выполненные в гарнитуре 114В дополненной реальности, которые представляют информацию пользователю 108. Станция 102А также может включать в себя более привычное устройство представления информации, такое как дисплей 114А, для отображения информации с инструкциями.
[0031] Датчики 112Е также могут включать в себя другие датчики 112Е, такие как инерциальные датчики, установленные на внешних устройствах, например акселерометры или гироскопы, которые могут измерять инерциальное состояние внешних устройств, используемых человеком. В некоторых вариантах реализации изобретения датчики могут включать в себя датчики для мониторинга человека 108Р, такие как датчики, которые измеряют температуру или частоту сердечных сокращений. Информация, выдаваемая такими датчиками, является полезной при определении, являются ли задачи, выполняемые человеком 108Р, особенно трудными.
[0032] Станция 102А также может включать в себя датчики 112А состояния окружающей среды. Датчики 112А состояния окружающей среды являются датчиками, которые измеряют характеристику среды, окружающей станцию 102. Это может включать в себя, например, датчики, которые измеряют температуру окружающей среды или влажность (например, с использованием термометра и гигрометра), оптические датчики, которые определяют физическое местоположение или близость любого из элементов станции 102 по отношению к другим, включая элементы физической конструкции 106, приспособлений 110, пользователя 108 или блок 104 обработки указаний. Датчики 112А состояния окружающей среды могут включать в себя элементы, которые расположены на других элементах станции 102А. Датчики 112А состояния окружающей среды могут содержать пассивные, активные или полуактивные системы. Например, один вариант реализации активного датчика состояния окружающей среды может содержать отражатель, размещенный на другом элементе станции 102 (например, руке робота 108R), светильник, который освещает отражатель, и зрительный датчик, который измеряет положение освещаемого датчика. Примером пассивного датчика состояния окружающей среды является зрительный датчик, такой как видео или фотокамера, который может быть чувствительным к видимым, ультрафиолетовым или инфракрасным длинам волн. Датчики 112А состояния окружающей среды также могут включать в себя системы радиочастотной идентификации, которые могут быть использованы для определения физической конструкции 106 и ее характеристик.
[0033] Любой из датчиков 112 или все датчики 112 соединены с возможностью обмена данными с блоком 104 обработки указаний (обозначено символами
Figure 00000001
), обеспечивая блоку 104 обработки указаний возможность приема данных от датчиков. Кроме того, блок 104 обработки указаний может быть соединен с возможностью обмена данными с блоками обработки указаний других станций 102B-102N и центральным процессором 120 (как обозначено символами
Figure 00000002
).
[0034] На ФИГ. 2 схематически показан один из вариантов реализации станции 102. Станция 102 включает в себя блок 104 обработки указаний, одно или более таких устройств, как датчики 112, исполнительные органы 202, устройства 114 представления информации (которые включают в себя дисплей 114А и элементы представления информации, выполненные в гарнитуре 114В дополненной реальности) и физическую конструкцию 106.
[0035] Блок 104 обработки указаний принимает данные датчика от датчиков 112, а в некоторых вариантах реализации изобретения также выдает команды датчиков на датчики 112. Такие команды могут включать в себя, например, команды относительно разрешения или активного диапазона датчиков 112. Блок 104 обработки указаний также отправляет команды в исполнительные органы и принимает данные от исполнительных органов. Такие исполнительные органы могут включать в себя, например, шаговый двигатель, который управляет одним из датчиков 112 или роботом 108R.
[0036] В показанном варианте реализации изобретения блок 104 обработки указаний включает в себя интерфейс 206, соединенный с возможностью обмена данными с процессором 208. Датчики 112 выдают данные датчика в процессор 208 посредством интерфейса 206. Кроме того, датчики 112 могут принимать команды от процессора посредством интерфейса 206. Схожим образом, процессор 208 через интерфейс 206 выдает команды на исполнительные органы 202, а также может принимать данные от исполнительных органов 202.
[0037] Блок 104 обработки указаний выдает данные с инструкциями, иллюстрирующие выполнение этапов, выполняемых на физической конструкции, для завершения задач, в устройства 114 представления информации и может также выдавать команды для управления датчиками 112 посредством интерфейса 206. Аналогичным образом устройства 114 представления информации могут выдавать команды или информацию в блок 104 обработки указаний.
[0038] Блок 104 обработки указаний содержит процессор 208, соединенный с возможностью обмена данными с одним или более запоминающими устройствами, в которых хранятся инструкции для процессора, которые при исполнении обусловливают выполнение операций, описанных ниже, блоком 104 обработки указаний. Процессор 208 может включать в себя множество процессоров 208, и такие процессоры 208 могут быть размещены удаленно друг от друга. В варианте реализации изобретения, описанном ниже, процессор 208 содержит распределенные рабочие элементы.
[0039] На ФИГ. 3А-3В схематически показан один вариант реализации этапов приведенного в качестве примера процесса, которые могут быть использованы для выдачи руководящих указаний пользователю 108 при выполнении на физических конструкциях 106 задач, включающих один или более этапов. В блоке 302 пользователь 108 или структура, выполняющая работы, передает команду, вызывающую выполнение задачи, которую необходимо выполнить на физической конструкции 106. В блоке 304 команду принимают блоком 104 обработки указаний.
[0040] В одном варианте реализации изобретения эта команда подается пользователем без помощи рук (например, голосом), команда считывается акустическим датчиком и подается в блок 104 обработки указаний, в котором аудиокоманда распознается модулем распознавания речи и преобразуется в текст. Такие голосовые команды могут быть на языке фиксированных команд (когда ответственность лежит на пользователе 108, который обязан выучить синтаксис команд и выражения, необходимые для блока 104 обработки указаний) и естественном языке (когда ответственность лежит на блоке 104 обработки указаний, который должен интерпретировать голосовые команды и преобразовывать их согласно синтаксису и в выражения, необходимые для поиска соответствующей задачи и этапов. Языки фиксированных команд могут включать в себя обучение, относящееся к определенной области знаний и проводимое путем обучения программных компонентов, которые преобразуют речь пользователя в текст.
[0041] В других вариантах реализации изобретения команда содержит цифровую команду, передаваемую посредством контроллерного устройства, соединенного с возможностью обмена данными с блоком 104 обработки указаний, такого как пульт дистанционного управления, компьютерная клавиатура, мышь, игровой контроллер или сенсорный экран. Еще в одном варианте реализации изобретения команду считывают посредством системы мониторинга и преобразуют в цифровую команду. Например, команда может быть полностью или частично реализована с использованием жестов, показываемых пользователем 108, выявлена датчиком формирования изображения (например, датчиком 112А состояния окружающей среды) и выдана в блок обработки указаний, где такие жесты анализируют, интерпретируют и преобразуют в цифровые команды.
[0042] Еще в одном варианте реализации команда является цифровой командой, принимаемой посредством сообщения типа "от системы системе" от системы управления для робота 108R или других роботов на других станциях 102 или центрального процессора 120.
[0043] Далее блок 104 обработки указаний определяет один или более этапов, которые необходимо выполнить, на основании принятой команды. Принятые команды могут иметь множество различных форм. В одном варианте реализации изобретения команда содержит обобщенную цель, а не конкретную задачу. Например, пользователь 108 может подать команду "кондиционер воздуха не работает". С получением этой команды блок 104 обработки указаний определяет, какие проблемы, связанные с физической конструкцией, могут быть причиной неработающего кондиционера воздуха. В процессе этого определения блок 104 обработки указаний может принимать входные данные от датчика бортовой системы диагностики. Затем блок 104 обработки указаний определяет одну или более задач на основании принятой команды и определяет по меньшей мере один этап на основании определенной задачи. Например, в случае неработающего кондиционера воздуха блок обработки указаний может вырабатывать множество задач для проверки каждого компонента системы кондиционирования воздуха, а также задач для диагностирования, какой из компонентов является неисправным. Каждая задача может иметь одну или более подзадач, иерархически подчиненных каждой задаче. Внизу иерархии задач и подзадач находятся этапы, которые представляют блок действий, подходящих для выдачи конкретных инструкций пользователю 108. В вышеприведенном примере этапом может являться удаление одного неисправного компрессора кондиционера воздуха или удаление подсистемы компрессора указанного кондиционера. Иерархический уровень, в котором этапы определены, может зависеть от сложности этапа и опытности пользователя 108. Например, голосовая команда может включать в себя выдачу указания о том, насколько опытным является пользователь 108, и иерархический уровень этапов определяют согласно этому уровню опытности. Как определено далее в настоящем документе, блок 104 обработки указаний может сохранять данные выполнения, указывающие на то, насколько хорошо пользователь 108 выполнил этапы или задачи, и данная информация может быть использована для определения уровня опытности пользователя 108, в результате чего выполняются этапы или инструкции, соответствующие уровню опытности этого пользователя. В этом случае пользователь 108 может быть определен вводом пользователя (например, печатью или произнесением имени пользователя), с помощью технологий радиочастотной идентификации или других средств.
[0044] В одном варианте реализации изобретения определение задачи на основании принятой команды включает выработку запроса к базе данных на основании принятой команды с использованием интерпретатора естественного языка. Такие интерпретаторы обеспечивают пользователям возможность выдавать команды на простом разговорном языке. Слова в команде подвергают разбору, и разобранные слова анализируются на предмет синтаксиса, семантики, дискурса и речи. Результатом этого является запрос к базе данных на соответствующем языке и с соответствующим синтаксисом. Этот запрос выдается в базу данных, соединенную с возможностью обмена данными с блоком обработки указаний (например, центральным процессором 120), и задачу определяют на основании результата запроса к базе данных. После определения задачи на ее основе может быть выработан запрос для получения соответствующих этапов выполнения с учетом опыта и способностей пользователя.
[0045] В одном варианте реализации изобретения задача является одной из множества задач, которые необходимо выполнить на физической конструкции 106, а запрос к базе данных также определяют согласно текущим контекстным данным. Такие контекстные данные содержат, например, информацию о других задачах из указанного множества задач, выполняемых на физической конструкции 106, и ограничения на задачу, налагаемые самой физической конструкцией, окружающей средой (например, положением других элементов или физических конструкций, температурой, влажностью, рабочими ограничениями приспособлений 110). Например, на физической конструкции 106 может быть выполнена задача, которая изменяет этапы, необходимые для выполнения другой конкретной задачи. Со ссылкой на пример системы кондиционирования, другая задача может привести к удалению подсистемы или части, что делает ненужным удаление этой подсистемы или части в текущей задаче. С другой стороны, могут быть выполнены этап или задача, которые вызовут необходимость в дополнительных этапах для выполнения текущей задачи. Например, если предыдущая задача включала в себя приклеивание компонента, текущая задача может потребовать периода ожидания, пока клей не схватится. Показатели выполнения ранее выполненных задач также могут быть использованы для изменения или модифицирования определения этапов, которые необходимо выполнить по текущей задаче. Например, если предыдущая задача включала в себя этап затягивания гайки на болте с определенным крутящим моментом, измеренный крутящий момент, прикладываемый к болту (показатель выполнения этого предыдущего этапа) мог бы быть использован для оценки крутящего момента, необходимого для удаления этой гайки для последующей задачи.
[0046] В других вариантах реализации изобретения задача может быть определена с использованием сохраненной информации, имеющей отношение к выполняемой работе, такой как наряд на работу, или другой информации. Задача (и этапы) также может быть определена на основании ограничений, налагаемых состоянием физической конструкции 106 или окружающей среды. Например, предыдущая задача могла заключаться в разборке по меньшей мере части физической конструкции 106, в этом случае этапы, необходимые для разборки этой части физической конструкции, не являются необходимыми. С другой стороны, предыдущая задача могла заключаться в модифицировании физической конструкции 106 таким образом, что возникает необходимость в выполнении дополнительных этапов. В качестве еще одного примера, может потребоваться выполнение этапа при заданной температуре окружающей среды. Если температура окружающей среды слишком низкая, задача может включать этап повышения температуры окружающей среды до более высокого значения, а этот этап не потребуется, если температура окружающей среды будет достаточной. В качестве еще одного примера, напряжение, измеряемое на потенциометре физической конструкции, может зависеть от температуры окружающей среды. Датчики 112А состояния окружающей среды могут быть использованы для определения этой температуры и определения правильной настройки потенциометра на основании такой температуры окружающей среды. Другие ограничения по окружающей среде могут включать в себя, например, расположение других элементов станции 102, таких как рука робота 108R, приспособления 110 или других физических конструкций, потому что расположение этих конструкций может препятствовать разборке физической конструкции 106. В этом случае датчики состояния окружающей среды могут включать в себя датчики видимого света, которые определяют расположение физической конструкции 106 и близлежащих элементов. Также, информация по окружающей среде может включать то, какие приспособления 110 имеются на станции 102, и какие из них должны быть извлечены из других мест для завершения этой задачи. В этом случае датчики 112А состояния окружающей среды могут включать в себя радиочастотные метки на приспособлениях.
[0047] Как показано на ФИГ. 3А, затем блок обработки указаний передает данные с инструкциями, иллюстрирующие этап(ы), как показано в блоке 308. Как показано в блоке 310, данные с инструкциями принимают одним или более устройствами 114 представления информации (которые могут включать в себя дисплей 114А и/или элементы представления информации, выполненные в гарнитуре 114В дополненной реальности, или громкоговоритель или другой акустический датчик (не показано)). В случае устройств визуального представления информации выполняют визуальное представление этапа. В одном примере визуальное представление этапа представляют на дисплее 114А. Еще в одном примере визуальное представление этапа представляют в дополненной реальности посредством элементов представления информации, выполненных в гарнитуре 114В дополненной реальности.
[0048] В одном варианте реализации изобретения данные с инструкциями, иллюстрирующие этап(ы), содержат визуальное представление указанного этапа для представления в дополненной реальности посредством гарнитуры дополненной реальности. Гарнитуры дополненной реальности обычно содержат стереоскопический дисплей, устанавливаемый на голове, (выдающий отдельные изображения для каждого глаза) два громкоговорителя для стереозвучания и датчики отслеживания движения головы (которые могут включать в себя гироскопы, акселерометры и системы структурированной подсветки). Некоторые гарнитуры дополненной реальности также имеют датчики отслеживания движений глаз. Благодаря использованию датчиков отслеживания движений головы (а при необходимости глаз) гарнитура дополненной реальности знает свое местоположение и ориентацию в инерциальном пространстве и выдает эту информацию в блок 104 обработки указаний. Блок 104 обработки указаний использует эту информацию для определения, что пользователь 108 должен видеть и может накладывать другие изображения на изображения, представляемые пользователю 108. Например, если пользователь 108 смотрит на физическую конструкцию 106, блок 104 обработки указаний может выделить определенную часть, с которой необходимо произвести физические действия для выполнения инструкции на дисплеях, которыми оборудована гарнитура 114В дополненной реальности. Таким образом, до пользователя 108 может быть конкретно доведено, какие действия должны быть выполнены для каждой части физического узла и какое действие является особенно полезным по мере того, как блок 104 обработки указаний выполняет сопоставление иллюстрируемого этапа с фоновыми изображениями, видимыми пользователю 108. Указанное также исключает ошибки, так как меньше вероятность того, что пользователь 108 примет одну часть физической конструкции 106 за другую (например, пользователь не раскрепит неправильный болт). Данные с инструкциями также обычно содержат аудиоинформацию (например, речевое описание этапов, которые необходимо выполнить, или звуковое представление того, какой звук должна издавать физическая конструкция во время или после выполнения этапа), и элементы представления информации, которыми оснащена гарнитура 114В дополненной реальности, обычно представляют эту информацию с использованием громкоговорителей в гарнитуре 114В дополненной реальности. В одном варианте реализации изобретения речевые инструкции выдаются на естественном языке (например, обычная разговорная речь человека). Такие инструкции на естественном языке могут быть даны на любом языке (например, английском, немецком, китайском и т.д.). Видео- и/или звуковые инструкции могут быть выданы на самые разные устройства, включая мобильные компьютерные устройства, такие как сотовые телефоны или планшетные компьютеры, а также настольные компьютерные устройства.
[0049] Пользователь 108 принимает представленные данные с инструкциями, иллюстрирующие этап, и начинает выполнение этапа, как показано в блоке 312. Обычно это выполняется человеком 108Р, но также может выполняться роботом 108R или человеком 108Р, работающим вместе с роботом 108R, при этом человек 108Р и робот 108R выполняют свою подсовокупность этапов, или человек 108Р и робот 108R вместе работают над выполнением одного или более этапов.
[0050] При выполнении этапа вырабатывают данные датчика, который воспринимает выполнение этапа, как показано в блоке 314. Данные датчика передают, как показано в блоке 316 и принимают в блоке 104 обработки указаний, как показано в блоке 318. Данные датчика используют для мониторинга выполнения указанного этапа, например для определения хода выполнения этапа, момента завершения этапа и того, был ли этап завершен. Данные датчика также могут быть использованы для определения, когда пользователь 108 фактически начал выполнение этапа (что полезно позже при вычислении времени, которое потребовалось пользователю 108 для завершения этапа). Данные датчика также могут быть использованы для хранения данных, указывающих на выполнение этапа с течением времени. Такие данные могут быть полезны при диагностике сбоев в более позднее время.
[0051] Указанные данные датчика могут быть выработаны каким-либо из датчиков или комбинацией датчиков 112 на станции 102. Такие датчики 112 могут отслеживать:
[0052] Одно или более состояний физической конструкции 106, на которой задача выполняется: Это может быть выполнено с использованием датчиков 112В физической конструкции, встроенных в саму физическую конструкцию или прикрепленных к ней, или датчиков 112А состояния окружающей среды. Датчики 112В физической конструкции и датчики 112А состояния окружающей среды могут включать в себя зрительные и/или незрительные сенсоры. Например, в одном варианте реализации изобретения датчики 112А состояния окружающей среды включают в себя зрительные сенсоры, которые визуально отслеживают состояние физической конструкции 106 с использованием методов распознавания объектов и образов, подобных тем, которые используются для самодвижущихся автомобилей. Такие датчики 112В могут включать в себя встроенные датчики и радиочастотные метки.
[0053] Одно или более состояний структуры, выполняющей работы, или пользователя 108, выполняющего задачу: датчик(и) 112Е для измерения таких состояний может (могут) включать в себя носимые на голове устройства, в том числе акустические датчики, датчики формирования изображения и видеодатчики, инерциальные измерительные датчики, такие как гироскопы и акселерометры, и личные датчики, такие как мониторы частоты сердечных сокращений;
[0054] Одно или более состояний устройств (например, приспособлений 110, испытательного оборудования и деталей), используемых для выполнения задачи: Это может быть выполнено с использованием датчиков 112DA-112DN, установленных на приспособлениях 110 или встроенных в приспособления 110, или датчиков 112А состояния окружающей среды, таким же образом, как датчики состояния окружающей среды могут следить за физической конструкцией. Такие приспособления могут включать в себя радиочастотные метки или датчики, встроенные в приспособления;
[0055] Одно или более состояний устройств, совместно работающих над выполнением задачи: Указанное может включать в себя, например, состояние (состояния) робота 108R, измеряемое (измеряемые) датчиком (датчиками) 112F робота; или
[0056] Одно или более состояний окружающей среды, в которой выполняют задачу: Указанное может включать в себя, например, датчики 112А состояния окружающей среды, измеряющие температуру станции 102 или какого-либо ее элемента, влажность станции, энергопотребление станции или расположение элементов станции 102 как функции от времени. Такие датчики состояния окружающей среды могут включать в себя датчики формирования изображения, акустические датчики, датчики температуры и датчики влажности.
[0057] В одном примере указанный этап заключается в том, что пользователь 108 затягивает гайку на болте с использованием приспособления 110А, которым является ключ с регулируемым крутящим моментом. Ключ с регулируемым крутящим моментом включает в себя датчик 112DA крутящего момента, который воспринимает величину крутящего момента, сообщаемого приспособлением 110А. В этом варианте реализации изобретения датчик 112DA крутящего момента измеряет крутящий момент, прикладываемый к физической конструкции 106, и передает данные датчика, включающие измеренный крутящий момент, в блок 104 обработки указаний. Такая передача может быть осуществлена либо с использованием проводов, либо беспроводными средствами. Еще в одном примере указанный этап заключается в том, что пользователь поворачивает винт до тех пор, пока не произойдет включение микровыключателя (например, переключение из положения "выключено" в положение "включено"). В этом случае датчик передает напряжение, связанное с положением "выключено" в то время, как винт поворачивается, и когда винт оказывается повернут в правильное положение, выключатель включается, и передается напряжение, связанное с положением "включено". В этом случае передают данные датчика в реальном времени, образованные одним напряжением или другим напряжением.
[0058] Как показано на ФИГ. 3А, блок 104 обработки указаний вычисляет показатель выполнения на основании данных датчика, как показано в блоке 320. Это может быть выполнено, например, сравнением принятых данных датчика с пороговым значением и вычислением показателя выполнения на основании произведенного сравнения принятых данных датчика и порогового значения. Показатель выполнения может быть использован для мониторинга выполнения этапа и/или для подтверждения правильности выполнения этапа, как описано ниже. В примере ключа с регулируемым крутящим моментом, используемого для затягивания гайки на болте с определенным крутящим моментом, принятые данные датчика в реальном времени сравнивают с пороговым значением крутящего момента (например, 10 ньютон метров) и вычисляют показатель выполнения исходя из разности между измеренным крутящим моментом и пороговым значением крутящего момента.
[0059] В одном варианте реализации изобретения блок 104 обработки указаний при необходимости обеспечивает выдачу пользователю 108 в реальном времени сигналов обратной связи о ходе выполнения задачи. Указанное проиллюстрировано пунктирными блоками на ФИГ. 3В. Блок 322 при необходимости вырабатывает и передает данные обратной связи согласно произведенному сравнению данных датчика и порогового значения. Эти данные обратной связи при необходимости принимают устройствами 114 представления информации и представляют пользователю 108, как показано в блоках 324 и 326. Выработка данных выполнения и передачи сигналов обратной связи позволяет пользователю принимать информацию относительно хода выполнения этапа при его выполнении. Например, в случае, когда пользователь 108 затягивает гайку на болте, согласно блокам 322-326 можно вычислить показатель выполнения, содержащий разность между измеренным крутящим моментом и требуемым или пороговым значением крутящего момента, и представить эту разность пользователю в виде показаний манометра, цифрового дисплея или других средств. Обратная связь может также быть звуковой (например, подается звуковой сигнал, когда достигнуто соответствующее значение крутящего момента) или одновременно звуковой и визуальной (например, с визуальным показом отображения сравнения измеренного крутящего момента с необходимым крутящим моментом на круговом графике и звуковой обратной связью с тоновым сигналом, подаваемым каждый раз при достижении подходящего крутящего момента) или с изменением высоты тона, позволяющим пользователю регулировать крутящий момент, не глядя на средства визуального представления информации.
[0060] Обратная связь может также обеспечивать сравнение состояния среды с пороговыми значениями, с тем чтобы способствовать учету физических факторов или факторов обеспечения безопасности. Например, такие данные и связанные с ними сравнения пороговых значений могут включать в себя температуру, влажность, местоположение и/или перемещение опасных устройств (например, вилочный подъемник приближается к пользователю и/или находится в пределах расстояния или порогового значения от того, где внешнее устройство пользователя 108 может находиться во время выполнения одного или более этапов задачи), и обеспечивать включение или блокировку устройств обеспечения безопасности. Схожим образом, собранные данные датчика могут быть выданы на другие элементы на других станциях 102 или между станциями 102 на предприятии 100 по выполнению технического обслуживания, сборки и испытаний для управления этими другими элементами, с тем чтобы предотвратить появление опасных случаев (например, передавать данные датчика на вилочный подъемник для предупреждения оператора о выполнении этапа и о том, что вилочный подъемник должен оставаться на безопасном расстоянии.
[0061] В блоке 328 блок 104 обработки указаний определяет, был ли завершен этап. Это может быть выполнено посредством определения, не выходят ли за пределы заданных допусков показатель выполнения, вычисленный на основании порогового значения, и данные датчика. В одном варианте реализации изобретения указанное выполняют сравнением состояния физической конструкции 106, элементов станции 102 или предприятия 100 по выполнению технического обслуживания, сборки и испытаний с ожидаемым состоянием физической конструкции 106, элементов станции 102, таких как приспособления 110, или элементов предприятия 100 по выполнению технического обслуживания, сборки и испытаний, на предмет, был ли этап должным образом завершен, по сравнению с измеренным или фактическим состоянием. Вновь обращаясь к примеру пользователя 108, который затягивает гайку на болте, блок 328 будет указывать на то, что этап затягивания болта завершен, когда показатель выполнения (разность между измеренным крутящим моментом и заданным необходимым крутящим моментом, который представляет необходимое значение) находится в пределах допуска (например, 0,1 Нм) необходимого крутящего момента.
[0062] Если этап не завершен, обработку перенаправляют назад в блок 318 для приема и последующей обработки данных датчика. Показанный вариант реализации изобретения также включает в себя используемое по необходимости испытание 330 на отказ, во время которого определяют, удалось ли выполнить этап (например, возникла проблема, которая препятствует выполнению этапа). Если этап выполнить удалось, обработку переводят в блок 306 для определения другого этапа, с учетом того, что ранее указанный этап выполнить не удалось. Если этап выполнить не удалось, обработку перенаправляют в блок 318 для приема и обработки дополнительных данных датчика, как указано ранее. Невыполнение этапа может быть определено с использованием сравнения времени запуска таймера, когда были отправлены инструкции для этапа (например, в блоке 308), и ожидаемым временем завершения этапа. В качестве альтернативы, таймер может быть запущен посредством использования данных датчика для указания, когда фактически началось выполнение указанного этапа на физической конструкции 106. Невыполнение этапа также может быть определено по отказу приспособления 110, необходимого для выполнения этапа, или если окружающей среде станции 102 не удалось достичь состояния, необходимого для выполнения этапа. Например, если этап требует средней температуры 23 градуса по Цельсию, а кондиционирование воздуха или нагрев помещения, в котором расположена станция 102, не обеспечивает достижения этого значения.
[0063] Если блок 328 определяет, что этап завершен, обработку переводят в блок 332, в котором вырабатывают и передают данные обратной связи, касающиеся выполнения завершенного этапа. Эти данные обратной связи принимают и представляют пользователю 108 устройствами 114 представления информации или другими средствами, как показано в блоках 334-336. Эти данные обратной связи могут быть использованы для отправки пользователю 108 подтверждения того, что этап был успешно (или неуспешно) завершен, и представлены после выполнения этапа.
[0064] В завершении, со ссылкой на ФИГ. 3С, в блоке 338 сохраняют информацию, собранную или вычисленную в отношении выполнения этапа. Эта информация может включать в себя данные датчика от некоторых или всех датчиков 112 и показатели выполнения. Также может быть сохранена другая информация, включая время, которое требовалось пользователю 108 для выполнения требуемого этапа или задачи.
[0065] Такие данные могут быть использованы для определения, насколько эффективны и экономически обоснованы определенные этапы при выполнении необходимой задачи, и их можно сравнить с другими возможными этапами при выполнении задачи. Например, на начальном этапе первая группа станций 102 может получить конкретную последовательность этапов, необходимых для выполнения задачи, а другая группа станций 102 может получить отличающуюся последовательность для испытаний. Время, необходимое для выполнения испытания, может быть определено для каждой группы станций и сравнено с использованием данных датчика с показателем качества с точки зрения того, насколько хорошо этапы были выполнены. Таким образом, две возможные последовательности этапов могут быть сравнены с реальными результатами с выбором наиболее эффективной из двух возможных последовательностей этапов для будущей деятельности.
[0066] Данные датчика и показатели выполнения могут быть использованы для улучшения процесса определения этапа, показанного в блоке 306. Например, опытные пользователи 108 могут знать, что не просто выполнение этапа, а то, как этап выполняется, позволяет им делать свою работу более точно и за меньшее время. Используя данные датчика, такие методы и дополнительные этапы, выполняемые пользователем 108, даже если их нет в первоначальном определении требуемого этапа, могут быть идентифицированы и встроены в то, как этап(ы) должны быть выполнены в будущем. Например, в начале производства опытным пользователям может быть предоставлена общая схема этапов, и дополнительные этапы или пропущенные этапы этих пользователей могут быть использованы для оптимизации процесса определения этапов, необходимых для выполнения задачи.
[0067] Это может быть выполнено путем использования методов машинного обучения. Например, предприятие 100 по выполнению технического обслуживания, сборки и испытаний выдает пользователю 108 инструкции для выполнения конкретной процедуры посредством ряда этапов, и пользователь 108 выполняет обозначенные этапы. Предприятие 100 по выполнению технического обслуживания, сборки и испытаний может затем использовать данные датчика пользователя 108, выполняющего этапы, а также другие показатели выполнения для "изучения" (например, средствами машинного обучения) того, какие инструкции (или тип инструкций) были недопоняты пользователем, и для пересмотра инструкций, как требуется, чтобы сделать их более понятными.
[0068] Это может быть определено, например, на основании времени, прошедшего между моментом, когда этап был представлен пользователю 108, и пользователь начал выполнение этапа, и/или времени, которое понадобилось пользователю 108 для завершения выполнения этапа (с лишним временем, свидетельствующим о недопонимании со стороны пользователя 108). Кроме того, предприятие 100 по выполнению технического обслуживания, сборки и испытаний может использовать методы машинного обучения для модифицирования этапов для обеспечения дополнительной ясности или других улучшений. Данные датчика могут быть использованы для определения причин недопонимания со стороны пользователя. Например, данные датчика в отношении приспособлений, выбранных для конкретного этапа, могут подтвердить или опровергнуть представление о том, что пользователь 108 использовал надлежащие приспособления при попытке выполнить этапа. Пользователь 108 также может выполнить ввод в прямой форме (уведомлений о своем неполном понимании или вопросов, задаваемых пользователем 108 для уточнения инструкций, которые им кажутся неясными).
[0069] Процедуры/этапы могут быть модифицированы для всех пользователей 108 на основе совокупности предыдущей деятельности этих пользователей при выполнении этапов или могут быть модифицированы для каждого пользователя отдельно, так что этапы, вырабатываемые и представляемые каждому пользователю 108, предприятием 100 по выполнению технического обслуживания, сборки и испытаний, приспосабливаются для каждого конкретного пользователя 108 на основе предыдущей деятельности этого пользователя при выполнении предыдущих этапов или процедур. Например, предприятие 100 по выполнению технического обслуживания, сборки и испытаний может вырабатывать совокупность базовых этапов, которые должны быть выполнены для завершения конкретной задачи. Более опытным пользователям или тем из них, которые выполнили эти задачи быстро, могут быть представлены сокращенные версии инструкций, а менее опытным пользователям или тем из них, которым пришлось дольше выполнять эти задачи, могут быть представлены версии инструкций с предложением, как можно лучше или быстрее завершить этап. Такие версии могут быть основаны, например, на данных датчика, полученных от других пользователей 108, которые быстрее завершили назначенные этапы или задачи. Это позволяет быстро поделиться опытом всех пользователей 108, выполняющих задачу, с более неопытными пользователями. Кроме того, методы машинного обучения и данные датчика могут быть использованы для оценки опыта и знаний пользователя, и предприятие 100 по выполнению технического обслуживания, сборки и испытаний может представлять инструкции, соизмеримые с этим опытом. Например, различные наборы инструкций этапов могут быть выработаны для выполнения одних и тех же задач, и предприятие 100 по выполнению технического обслуживания, сборки и испытаний может решить, какой набор инструкций предоставить пользователю 108, в зависимости от профессионального или ожидаемого уровня опыта пользователя.
[0070] Методы машинного обучения также могут быть использованы для диагностики и устранения проблем с использованием данных датчика, собранных при выполнении этапов. Данные датчика, полученные при производстве или техническом обслуживании физической конструкции 106, могут быть рассмотрены, чтобы попытаться соотнести эти дефекты с тем, как один или более этапов были выполнены при сборке или техническом обслуживании продукта, с использованием методов глубинного анализа данных или машинного обучения. Например, может быть установлено, что группа продуктов имеет конкретный дефект (например, дефект болта). Методы глубинного анализа данных могут быть использованы для анализа данных датчика, собранных при производстве или техническом обслуживании физической конструкции 106, чтобы попытаться соотнести используемые конфигурации с теми физическими конструкциями, которые оказались неисправными. В одном примере на основе этого анализа можно сделать вывод, что каждый из дефектных болтов был затянут с крутящим моментом, значение которого выше, чем для болтов, которые оказались исправными, повышая вероятность того, что спецификация крутящего момента неверна и должна быть изменена. В более сложном примере, анализ может показать, что причина не в крутящем моменте, приложенном к болту, а напротив, в конфигурации затяжки или дефекте в соответствующей части.
[0071] В завершении, в блоке 340 определяют, завершена ли задача (например, необходимы ли дополнительные этапы для завершения задачи). В одном варианте реализации изобретения это выполняют сравнением состояния физической конструкции 106, элементов станции 102 или предприятия 100 по выполнению технического обслуживания, сборки и испытаний с ожидаемым состоянием физической конструкции 106, элементов станции 102, таких как элементы приспособления 110, или предприятия 100 по выполнению технического обслуживания, сборки и испытаний, на предмет, была ли задача должным образом завершена, по сравнению с измеренным или фактическим состоянием. Если дополнительные этапы необходимы, обработку перенаправляют в блок 306, в котором определяют следующий этап, и продолжают обработку, как описано выше. Если дополнительные этапы не являются необходимыми, в блоке 344 обработку направляют к следующей задаче (при ее наличии). В одном варианте реализации изобретения это выполняют сравнением состояния элементов станции 102 или предприятия 100 по выполнению технического обслуживания, сборки и испытаний с ожидаемым состоянием станции 102 или предприятия 100 по выполнению технического обслуживания, сборки и испытаний на предмет, были ли этапы и задачи должным образом завершены. Предлагаемый процесс обеспечивает возможность уменьшения риска возникновения ошибок, необходимости доработок, угроз безопасности и возникновения задержек при техническом обслуживании, ремонте и эксплуатации летательных аппаратов или других продуктов, во время которых выполняются операции технического обслуживания. Предлагаемый процесс также обеспечивает возможность сокращения затрат на обучение и выполнение технического обслуживания, ремонт и эксплуатацию летательных аппаратов или других продуктов, во время которых выполняются операции технического обслуживания.
[0072] Данные, касающиеся выполнения задачи (например, затраченное время или продолжительность выполнения всей задачи или другие показатели выполнения задач) при необходимости могут быть выработаны и сохранены, как показано в блоке 342.
[0073] Данные выполнения задачи или этапа, вместе с данными датчика, используемыми для выработки данных выполнения задачи или этапа, могут быть выработаны в режиме реального времени и переданы на другие элементы предприятия 100 по выполнению технического обслуживания, сборки и испытаний для целей цифрового документирования выполнения этапов в режиме реального времени, и использованы в целях архивирования и/или оптимизации, регистрации использования деталей для обновления цепочки поставок, регистрации журналов аудита и технического обслуживания.
[0074] На ФИГ. 4 схематично показана работа блока 104 обработки указаний с другими элементами станций 102 и центральным процессором 120. В этом варианте реализации изобретения блок 104 обработки указаний реализован с использованием шлюза 402 для Интернета вещей, соединенного с возможностью обмена данными с интерфейсом 206 для приема данных от датчиков 112 и исполнительных органов и передачи данных в датчики 112 и исполнительные органы (например, приспособлений 110).
[0075] Используя интерфейс 206 датчика, шлюз 402 собирает данные от датчиков 112 и приспособлений 110 и выдает эту информацию для обработки и/или хранения на одном или более общедоступных серверах 404A-404N (далее общедоступный сервер (общедоступные серверы) 404) и/или одном или более частных серверах 406 на предприятии 100 по выполнению технического обслуживания, сборки и испытаний. Общедоступные серверы 404 представляют собой облачные устройства для обработки и хранения, расположенные "в облаке" (например, на удалении от станции 102 или предприятия 100 по выполнению технического обслуживания, сборки и испытаний и обычно управляемые другой структурой). Частный сервер 406 представляет собой устройство для обработки и хранения данных, которое, как правило, размещено со станцией 102 и/или предприятием 100 по выполнению технического обслуживания, сборки и испытаний и управляется одной и той же структурой.
[0076] Шлюз 402 также принимает команды и данные от общедоступного сервера (общедоступных серверов) 404 и частного сервера 406 и выдает эти команды в интерфейс 206, а оттуда в датчик(и) 112 и приспособление (приспособления) 110 в соответствии с требованиями. Общедоступные серверы 404 и частный сервер 406 также выдают данные с инструкциями, иллюстрирующие этап(ы), в устройства 204 представления информации, такие как дисплей 114А или звуковоспроизводящее устройство. Модуль 408 машинного обучения/обработки получает доступ к данным с инструкциями и может модифицировать данные с инструкциями на основе предыдущих данных с инструкциями, а также данных датчика 112 и приспособления 110.
[0077] На ФИГ. 5А и 5В схематично показаны примеры блока 104 обработки указаний и соответствующих элементов станции 102, реализованных в виде испытательного стенда. В этом варианте реализации изобретения датчики 112 включают в себя нажимную кнопку 502 (например, кнопку GROVE, которая мгновенно реагирует на нажатие путем вывода цифрового сигнала напряжения, имеющего логический сигнал высокого уровня, и выдает логический сигнал низкого уровень при отпускании) и потенциометр 504 (выдающий аналоговый сигнал напряжения). Исполнительные органы или приспособления 110 включают в себя например, светоизлучающий диод 506, который принимает цифровую команду, шаговый двигатель 508, принимающий цифровую команду и/или жидкокристаллический дисплей 510, принимающий команду последовательной асимметричной шины для связи между интегральными схемами (I2C). Интерфейс 206 может быть реализован с помощью модульного процессорного устройства 514 (например, процессор ARDUINO), соединенного с возможностью обмена данными с платой ввода/вывода (I/O), такой как цокольный экран 512 GROVE.
[0078] Кроме того, в этом варианте реализации изобретения шлюз 402 для Интернета вещей реализован процессором 519 шлюза, работающим с операционной системой (operating system, OS) 518, такой как RASPBIAN, в которой исполняется средство 516 программирования для Интернета вещей, такое как NODE-RED. Шлюз 402 для Интернета вещей реализует обмен сообщениями с открытым исходным кодом в режиме реального времени (сетевой протокол MQTT) по сетям WiFi и может передавать информацию от любой комбинации другим шлюзами 402 для Интернета вещей и в любую комбинацию других шлюзов 402 для Интернета вещей.
[0079] Шлюз 402 для Интернета вещей сообщается с одним или более общедоступных серверов 404A-404N (совместно именуемых в дальнейшем общедоступным сервером (общедоступными серверами) 404 и/или одним или более частных серверов 406. Каждый общедоступный сервер 404A-404N включает в себя соответствующую когнитивную систему 520A-520N, соответственно, а также соответствующую облачную платформу 528A-528N, каждая из которых реализует средство интеграции программ, обеспечивающее взаимосвязь аппаратных устройств. Каждая когнитивная система 520 сочетает в себе искусственный интеллект (artificial intelligence, AI) и аналитическое программное обеспечение для создания системы, которая может отвечать на вопросы.
[0080] В одном варианте реализации изобретения каждый общедоступный сервер 404 может быть реализован с использованием различных конструкций от различных поставщиков. Например, когнитивная система 520А может содержать платформу WATSON от компании IBM для Интернета вещей, работающую с облачной платформой 528А BLUEMIX, на которой запущено средство 522А NODE-RED интеграции программ, а когнитивная система 520N может содержать концентратор AZURE для Интернета вещей от компании MICROSOFT, работающий с приложением 528N AZURE, которым запущено средство 522N интеграции приложений на языке JAVA.
[0081] Серверы 404 и 406 в защищенном режиме обмениваются данными со средством 536 визуализации, исполняющим приложение 534 дополненной реальности (AR), посредством интерфейса прикладных программ (application program interface, API) 532, совместимого с набором архитектурных ограничений REST (representational state transfer), и обеспечивает безопасность API для обеспечения доступа к системе только авторизованным структурам. Соблюдение архитектурных ограничений REST налагает ограничения на взаимодействие между элементами, стандартизацию синтаксиса и средства, с помощью которых эти элементы обмениваются данными друг с другом. В результате этого архитектурные элементы являются по существу "подключаемыми", что обеспечивает возможность замены одной версии архитектурного элемента другой версией без каких-либо значительных изменений в работе или изменения других архитектурных элементов. В одном варианте реализации изобретения средство визуализации реализовано инструментом разработки дополненной реальности, таким как очки HoloLens, доступным от компании MICROSOFT CORPORATION. Посредством использования этого средства 536 визуализации, данные Интернета вещей могут быть просмотрены на мобильных устройствах, посредством использования интерфейсов API на основе архитектурных ограничений REST для обеспечения веб-доступа к общедоступному серверу (общедоступным серверам) 404 и/или частному серверу (частным серверам) 406. В одном варианте реализации изобретения частный сервер 406 может быть реализован с использованием брокера 524 сетевого протокола Message Queue Telemetry Transport (MQTT) и операционной системы 530, в которой запущен инструмент интеграции программного обеспечения 526 NODE-RED.
Среда аппаратных средств
[0082] На ФИГ. 6 показана приведенная в качестве примера компьютерная система 600, которая может быть использована для реализации раскрытых выше рабочих элементов, в том числе блока 104 обработки указаний центральный процессор 120, устройств 114 представления информации и/или датчиков 112. Компьютер 602 содержит один или более процессоров 604А и 604В и память, такую как оперативное запоминающее устройство (ОЗУ) 606. Процессор(ы) может (могут) включать в себя процессор 604А общего назначения и/или процессор 604В специального назначения. Процессоры 604А общего назначения обычно не требуют какого-либо конкретного компьютерного языка или программного обеспечения и предназначены для выполнения общих операций обработки, но могут быть запрограммированы для специальных применений. Процессоры 604В специального назначения могут потребовать конкретного компьютерного языка или программного обеспечения, могут реализовывать некоторые функции на аппаратном уровне и обычно оптимизированы для конкретного применения. Компьютер 602 функционально соединен с дисплеем 622, в котором представлены изображения, такие как окна, пользователю на графическом интерфейсе пользователя (graphical user interface, GUI). Компьютер 602 может быть соединен с другими устройствами, такими как клавиатура 614, мышь 616, принтер 628 и т.д. Конечно, специалистам в данной области техники будет понятно, что любая комбинация указанных выше компонентов или любое количество различных компонентов, периферийных устройств и других устройств могут быть использованы с компьютером 602.
[0083] В целом, компьютер 602 работает под управлением операционной системы 608, сохраненной в памяти 606, и взаимодействует с пользователем, чтобы принимать входные данные и команды и представлять результаты через модуль 618А графического интерфейса пользователя. Хотя модуль 618В графического интерфейса пользователя изображен в виде отдельного модуля, инструкции, выполняющие функции графического интерфейса пользователя, могут быть резидентными или распределены в операционной системе 608, компьютерной программе 610 или реализованы с помощью памяти и процессоров особого назначения. Компьютер 602 также реализует компилятор 612, который обеспечивает возможность преобразования компьютерной прикладной программы 610, написанной на языке программирования, таком как С++, С#, Java, Python или другом языке, в читаемый процессором 604 код. После завершения компьютерная программа 610 получает доступ к данным, сохраненным в памяти 606 компьютера 602, и работает с ним с использованием отношений и логики, которые были выработаны с использованием компилятора 612. Компьютер 602 при необходимости также содержит внешнее устройство связи, например модем, спутниковый канал, Ethernet-карту или другое устройство для связи с другими компьютерами.
[0084] В одном варианте реализации изобретения инструкции, реализующие операционную систему 608, компьютерная программа 610 и компилятор 612 имеют материальное воплощение в компьютерочитаемом носителе, например устройстве 624 для хранения данных, который может включать в себя одно или более фиксированных или съемных устройств для хранения данных, таких как жесткий диск, привод CD-ROM, флэш-диск и т.д. Кроме того, операционная система 608 и компьютерная программа 610 включают в себя инструкций, которые при их считывании и исполнении компьютером 602, вызывают выполнение компьютером 602 операций, описанных в настоящем документе. Компьютерная программа 610 и/или рабочие инструкции также могут иметь материальное воплощение в памяти 606 и/или устройствах 630 передачи данных с образованием, таким образом, компьютерного программного продукта или изделия. По существу, термины "изделие", "устройство хранения программ" и "компьютерный программный продукт", используемые в настоящем документе, предназначены для охвата компьютерной программы, доступной с любого компьютерочитаемого устройства или носителей.
[0085] Специалистам в данной области техники будут очевидны многочисленные модификации, которые могут быть выполнены с приведенной конфигурацией без отклонения от сущности и объема раскрытия настоящего изобретения. Например, специалистам в данной области техники будет понятно, что могут быть использованы любая комбинация указанных выше компонентов или любое количество различных компонентов, периферийных устройств и других устройств.
Вывод
Настоящим завершено описание предпочтительных вариантов раскрытия настоящего изобретения.
Вышеизложенное описывает когнитивного помощника, который обеспечивает для специалиста по техническому обслуживанию возможность разговаривать с приложением на естественном языке. Специалист по техническому обслуживанию может быстро взаимодействовать с приложением без помощи рук и без необходимости использовать сложные пользовательские интерфейсы или сохраненные голосовые команды. Помощник выдает инструкции специалисту по техническому обслуживанию с использованием аудио- и визуальных пояснений, получаемых по технологии дополненной реальности. Помощник сопровождает специалиста по техническому обслуживанию при выполнении задач технического обслуживания и подтверждает правильность выполнения с использованием датчиков для Интернета вещей. Если после завершения этапа датчики для Интернета вещей не имеют ожидаемого состояния, специалист по техническому обслуживанию получает уведомление о том, как разрешить возникшую ситуацию.
Вышеизложенное описание предпочтительного варианта реализации изобретения было представлено в целях иллюстрации и описания. Оно не предназначено быть исчерпывающим или ограничивать раскрытие точной раскрытой формой. В свете приведенных выше положений возможны многие модификации и вариации. Предполагается, что объем прав ограничивается не этим подробным описанием, а прилагаемой формулой изобретения.
Кроме того, раскрытие изобретения содержит варианты реализации согласно следующим пунктам:
Пункт 1. Способ выдачи указаний при выполнении задачи, имеющей по меньшей мере один этап, выполняемый на станции на физической конструкции, согласно которому:
(a) принимают в блоке обработки указаний от структуры, выполняющей работы, команду, вызывающую выполнение задачи;
(b) определяют в блоке обработки указаний по меньшей мере один этап на основании принятой команды;
(c) передают из блока обработки указаний в структуру, выполняющую работы, данные с инструкциями, иллюстрирующие выполнение указанного по меньшей мере одного этапа;
(d) принимают в блоке обработки указаний данные датчика в реальном времени, вырабатываемые датчиком, расположенным возле физической конструкции и измеряющим выполнение этапа; и
(e) вычисляют показатель выполнения этапа согласно данным датчика в реальном времени.
Пункт 2. Способ по пункту 1, согласно которому вычисление показателя выполнения этапа включает:
сравнение данных датчика в реальном времени с пороговым значением;
вычисление показателя выполнения согласно произведенному сравнению и
подтверждение правильности выполнения этапа согласно показателю выполнения.
Пункт 3. Способ по пункту 2, также включающий:
выработку данных обратной связи согласно произведенному сравнению и
передачу данных обратной связи из блока обработки указаний для представления на станции.
Пункт 4. Способ по пункту 2, согласно которому вычисление показателя выполнения этапа согласно данным датчика в реальном времени включает:
выработку данных обратной связи с использованием данных датчика в реальном времени и
представление данных обратной связи на станции.
Пункт 5. Способ по пункту 4, согласно которому:
данные обратной связи представляют одновременно с выполнением этапа;
а способ также включает:
повтор этапов (с) и (d) до тех пор, пока этап не будет завершен.
Пункт 6. Способ по пункту 4, согласно которому данные обратной связи представляют после выполнения этапа.
Пункт 7. Способ по любому предыдущему пункту, также включающий:
вычисление посредством блока обработки указаний показателя выполнения в отношении выполнения указанного этапа на основании данных датчика в реальном времени и
сохранение показателя выполнения.
Пункт 8. Способ по пункту 7, согласно которому:
показателем выполнения является время, затрачиваемое на выполнение этапа, которое вычисляют на основании порогового значения и данных датчика в реальном времени.
Пункт 9. Способ по любому предыдущему пункту, также включающий:
сохранение посредством блока обработки указаний данных датчика в реальном времени и
сравнение данных датчика в реальном времени с данными другого датчика в реальном времени, измеряющего выполнение другого этапа на другой физической конструкции.
Пункт 10. Способ по любому предыдущему пункту, также включающий:
определение задачи на основании принятой команды и
определение указанного по меньшей мере одного этапа на основании определенной задачи.
Пункт 11. Способ по пункту 10, согласно которому:
определение задачи на основании принятой команды включает:
выработку запроса к базе данных на основании принятой команды с использованием интерпретатора естественного языка;
обращение с запросом к базе данных согласно запросу к базе данных для определения задачи; а
определение указанного по меньшей мере одного этапа на основании определенной задачи включает:
определение указанного по меньшей мере одного этапа на основании определенной задачи.
Пункт 12. Способ по пункту 11, согласно которому:
задача является одной из множества задач, выполняемых на физической конструкции;
запрос к базе данных также определяют согласно текущим контекстным данным, включающим:
информацию о других задачах из указанного множества задач, выполняемых на физической конструкции; и
ограничения на задачу, налагаемые по меньшей мере физической конструкцией и/или средой, окружающей используемую станцию.
Пункт 13. Способ по любому предыдущему пункту, согласно которому данные с инструкциями, иллюстрирующие выполнение указанного по меньшей мере одного этапа, содержат визуальное представление указанного этапа для представления в дополненной реальности посредством гарнитуры дополненной реальности.
Пункт 14. Способ по любому предыдущему пункту, согласно которому данные датчика в реальном времени описывают состояние физической конструкции.
Пункт 15. Способ по пункту 14, согласно которому датчик является оптическим датчиком, следящим за выполнением этапа, а данные датчика в реальном времени содержат видеоданные.
Пункт 16. Способ по пункту 14, согласно которому датчик расположен на физической конструкции, на которой выполняют указанный этап.
Пункт 17. Способ по любому предыдущему пункту, согласно которому данные датчика в реальном времени описывают состояние приспособления, используемого для выполнения указанного этапа.
Пункт 18. Способ по пункту 17, согласно которому датчик является оптическим датчиком, следящим за выполнением этапа, а данные датчика в реальном времени содержат видеоданные.
Пункт 19. Способ по пункту 17, согласно которому датчик расположен на приспособлении, используемом для выполнения указанного этапа.
Пункт 20. Способ по любому предыдущему пункту, согласно которому данные датчика в реальном времени описывают состояние устройств, совместно работающих над выполнением задачи.
Пункт 21. Способ по любому предыдущему пункту, согласно которому данные описывают состояние окружающей среды, в которой выполняют задачу.
Пункт 22. Способ по любому предыдущему пункту, согласно которому команда является командой, подаваемой пользователем без помощи рук.
Пункт 23. Система для выдачи указаний при выполнении задачи, имеющей по меньшей мере один этап, выполняемый на станции на физической конструкции, содержащая:
блок обработки указаний, содержащий процессор, соединенный с возможностью обмена данными с памятью, хранящей инструкции, содержащие инструкции для:
приема от структуры, выполняющей работы, команды, вызывающей выполнение задачи;
определения указанного по меньшей мере одного этапа на основании принятой команды;
передачи в структуру, вьшолняющую работы, данных с инструкциями, иллюстрирующих выполнение указанного по меньшей мере одного этапа;
приема данных датчика в реальном времени, вырабатываемых датчиком, расположенным возле физической конструкции и измеряющим выполнение этапа; и
вычисления показателя выполнения этапа согласно данным датчика в реальном времени.
Пункт 24. Система по пункту 23, в которой указанные инструкции для вычисления показателя выполнения этапа согласно данным датчика в реальном времени содержат инструкции для:
сравнения данных датчика в реальном времени с пороговым значением;
вычисления показателя выполнения согласно произведенному сравнению и
подтверждения правильности выполнения этапа согласно показателю выполнения.
Пункт 25. Система по пункту 24, в которой указанные инструкции также содержат инструкции для:
выработки данных обратной связи согласно произведенному сравнению и
передачи данных обратной связи из блока обработки указаний для представления на станции.
Пункт 26. Система по пункту 24, в которой указанные инструкции для вычисления показателя выполнения этапа согласно данным датчика в реальном времени содержат инструкции для:
выработки данных обратной связи с использованием данных датчика в реальном времени и
представления данных обратной связи на станции.
Пункт 27. Система по пункту 26, в которой:
возможность представления данных обратной связи обеспечена одновременно с выполнением этапа, а
указанные инструкции также содержат инструкции для повтора этапов (с) и (d) до тех пор, пока этап не будет завершен.
Пункт 28. Система по пункту 26, в которой обеспечена возможность представления данных обратной связи после выполнения этапа.
Пункт 29. Система по любому из пунктов 23-28, в которой указанные инструкции также содержат инструкции для:
вычисления показателя выполнения в отношении выполнения указанного этапа на основании данных датчика в реальном времени и
сохранения показателя выполнения.
Пункт 30. Система по пункту 29, в которой:
показателем выполнения является время, затрачиваемое на выполнение этапа, вычисляемое на основании порогового значения и данных датчика в реальном времени.
Пункт 31. Система по любому из пунктов 23-30, в которой указанные инструкции также содержат инструкции для:
сохранения посредством блока обработки указаний данных датчика в реальном времени и
сравнения данных датчика в реальном времени с данными другого датчика в реальном времени, измеряющего выполнения другого этапа на другой физической конструкции.
Пункт 32. Система по любому из пунктов 23-31, в которой указанные инструкции также содержат инструкции для:
определения задачи на основании принятой команды и
определения указанного по меньшей мере одного этапа на основании определенной задачи.
Пункт 33. Система по пункту 32, в которой:
инструкции для определения задачи на основании принятой команды содержат инструкции для:
выработки запроса к базе данных на основании принятой команды с использованием интерпретатора естественного языка и
обращения с запросом к базе данных согласно запросу к базе данных для определения задачи; и
инструкции для определения указанного по меньшей мере одного этапа на основании определенной задачи содержат инструкции для:
определения указанного по меньшей мере одного этапа на основании определенной задачи.
Пункт 34. Система по пункту 33, в которой:
задача является одной из множества задач, выполняемых на физической конструкции; и
запрос к базе данных также определяют согласно текущим контекстным данным, включающим:
информацию о других задачах из указанного множества задач, выполняемых на физической конструкции; и
ограничения на задачу, налагаемые по меньшей мере физической конструкцией и/или средой, окружающей используемую станцию.
Пункт 35. Система по любому из пунктов 23-34, в которой данные с инструкциями, иллюстрирующие выполнение указанного по меньшей мере одного этапа, содержат визуальное представление указанного этапа для представления в дополненной реальности посредством гарнитуры дополненной реальности.
Пункт 36. Система по любому из пунктов 23-35, в которой данные датчика в реальном времени описывают состояние физической конструкции.
Пункт 37. Система по пункту 36, в которой датчик является оптическим датчиком, следящим за выполнением этапа, а данные датчика в реальном времени содержат видеоданные.
Пункт 38. Система по пункту 36, в которой датчик расположен на физической конструкции, на которой выполняют указанный этап.
Пункт 39. Система по любому из пунктов 23-38, в которой данные датчика в реальном времени описывают состояние приспособления, используемого для выполнения указанного этапа.
Пункт 40. Система по пункту 39, в которой датчик является оптическим датчиком, следящим за выполнением этапа, а данные датчика в реальном времени содержат видеоданные.
Пункт 41. Система по пункту 39, в которой датчик расположен на приспособлении, используемом для выполнения указанного этапа.
Пункт 42. Система по любому из пунктов 23-41, в которой данные описывают состояние устройств, совместно работающих над выполнением задачи.
Пункт 43. Система по любому из пунктов 23-42, в которой данные описывают состояние окружающей среды, в которой выполняют задачу.
Пункт 44. Система по любому из пунктов 23-43, в которой команда является командой, подаваемой пользователем без помощи рук.
Пункт 45. Система для выдачи указаний при выполнении задачи, имеющей по меньшей мере один этап, выполняемый на станции на физической конструкции, содержащая:
датчик, расположенный возле физической конструкции;
устройство представления информации и
блок обработки указаний, содержащий процессор, соединенный с возможностью обмена данными с памятью, хранящей инструкции, содержащие инструкции для:
приема от структуры, выполняющей работы, команды, вызывающей выполнение задачи;
определения указанного по меньшей мере одного этапа на основании принятой команды;
передачу в структуру, выполняющую работы, данных с инструкциями, иллюстрирующих выполнение указанного по меньшей мере одного этапа, для представления устройством представления информации;
приема данных датчика в реальном времени, вырабатываемых датчиком, расположенным возле физической конструкции и измеряющим выполнение этапа; и
вычисления показателя выполнения этапа согласно данным датчика в реальном времени.

Claims (46)

1. Способ выдачи указаний пользователю при выполнении задачи, имеющей множество этапов, выполняемых на станции (102) на физической конструкции (106), согласно которому:
(a) принимают в блоке (104) обработки указаний команду, вызывающую выполнение задачи, от пользователя (108);
(b) определяют в блоке (104) обработки указаний по меньшей мере один этап из указанного множества этапов на основании принятой команды и на основании уровня опытности пользователя (108), при этом определение указанного по меньшей мере одного этапа включает определение иерархического уровня, на котором определен указанный по меньшей мере один этап, на основании уровня опытности пользователя (108);
(c) передают из блока (104) обработки указаний пользователю (108) данные с инструкциями, иллюстрирующие, как должен быть выполнен указанный по меньшей мере один этап;
(d) принимают в блоке (104) обработки указаний данные датчика (112) в реальном времени, вырабатываемые датчиком (112), расположенным возле физической конструкции (106), причем датчик выполнен с возможностью измерения выполнения указанного по меньшей мере одного этапа; и
(e) вычисляют показатель выполнения указанного по меньшей мере одного этапа согласно данным датчика (112) в реальном времени, причем указанный этап вычисления включает:
выработку данных обратной связи в реальном времени о ходе выполнения указанного по меньшей мере одного этапа с использованием данных датчика (112) в реальном времени и
представление данных обратной связи в реальном времени пользователю на станции (102) одновременно с выполнением указанного по меньшей мере одного этапа;
(f) повторяют этапы (с) - (е) до тех пор, пока указанный по меньшей мере один этап не будет завершен; и
(g) переопределяют указанное множество этапов, которые должны быть выполнены для завершения задачи в последующем случае, на основании одного или более дополнительных этапов, которые были выполнены, или одного или более этапов, которые были пропущены пользователем (108), когда пользователь (108) завершил задачу в предшествующем случае, как определено на основании данных датчика или показателя выполнения.
2. Способ по п. 1, согласно которому вычисление показателя выполнения указанного по меньшей мере одного этапа также включает:
сравнение данных датчика (112) в реальном времени с пороговым значением; вычисление показателя выполнения согласно произведенному сравнению и подтверждение правильности выполнения указанного по меньшей мере одного этапа согласно показателю выполнения.
3. Способ по п. 1, согласно которому:
данные обратной связи в реальном времени включают сравнение данных датчика (112) в реальном времени и порогового значения.
4. Способ по любому предыдущему пункту, также включающий:
вычисление посредством блока (104) обработки указаний показателя выполнения в отношении выполнения указанного по меньшей мере одного этапа на основании данных датчика (112) в реальном времени и
сохранение показателя выполнения.
5. Способ по п. 4, согласно которому:
показателем выполнения является время, затрачиваемое на выполнение указанного по меньшей мере одного этапа, которое вычисляют на основании порогового значения и данных датчика (112) в реальном времени.
6. Способ по п. 1, также включающий:
сохранение посредством блока (104) обработки указаний данных датчика (112) в реальном времени и
сравнение данных датчика (112) в реальном времени с данными другого датчика (112) в реальном времени, измеряющего выполнение указанного по меньшей мере одного этапа на другой физической конструкции (106).
7. Способ по п. 1, также включающий:
определение задачи на основании принятой команды и
определение указанного по меньшей мере одного этапа на основании определенной задачи.
8. Способ по п. 7, согласно которому:
определение задачи на основании принятой команды включает:
выработку запроса к базе данных на основании принятой команды с использованием интерпретатора естественного языка;
обращение с запросом к базе данных согласно запросу к базе данных для определения задачи; а
определение указанного по меньшей мере одного этапа на основании определенной задачи включает:
определение указанного по меньшей мере одного этапа на основании определенной задачи.
9. Способ по п. 8, согласно которому:
задача является одной из множества задач, выполняемых на физической конструкции (106);
запрос к базе данных также определяют согласно текущим контекстным данным, включающим:
информацию о других задачах из указанного множества задач, выполняемых на физической конструкции (106), и
ограничения на задачу, налагаемые физической конструкцией (106) и/или средой, окружающей станцию (102).
10. Способ по п. 1, согласно которому данные с инструкциями, иллюстрирующие выполнение указанного по меньшей мере одного этапа, содержат визуальное представление указанного по меньшей мере одного этапа для представления в дополненной реальности посредством гарнитуры (114 В) дополненной реальности, причем
данные датчика (112) в реальном времени при необходимости описывают состояние физической конструкции (106), и
данные датчика (112) в реальном времени при необходимости описывают состояние приспособления (110), используемого для выполнения указанного по меньшей мере одного этапа.
11. Способ по п. 10, согласно которому датчик (112) является оптическим датчиком, следящим за выполнением указанного по меньшей мере одного этапа, а данные датчика (112) в реальном времени содержат видеоданные, причем
датчик (112) при необходимости размещен на приспособлении (110), используемом для выполнения указанного по меньшей мере одного этапа.
12. Способ по п. 1, согласно которому данные датчика (112) в реальном времени описывают состояние устройств, совместно работающих над выполнением задачи, причем
данные при необходимости описывают состояние окружающей среды, в которой выполняют задачу, а
команда при необходимости является командой, подаваемой пользователем без помощи рук.
13. Система для выдачи указаний пользователю при выполнении задачи, имеющей множество этапов, выполняемых на станции (102) на физической конструкции (106), содержащая:
блок (104) обработки указаний, содержащий процессор (604), соединенный с возможностью обмена данными с памятью (606), хранящей инструкции, содержащие инструкции для выполнения способа по любому из пп. 1-12.
RU2017136560A 2016-12-09 2017-10-17 Система и способ интерактивной помощи когнитивными средствами при решении задач RU2767145C2 (ru)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662432495P 2016-12-09 2016-12-09
US62/432,495 2016-12-09
US15/649,382 US11348475B2 (en) 2016-12-09 2017-07-13 System and method for interactive cognitive task assistance
US15/649,382 2017-07-13

Publications (3)

Publication Number Publication Date
RU2017136560A RU2017136560A (ru) 2019-04-17
RU2017136560A3 RU2017136560A3 (ru) 2021-02-10
RU2767145C2 true RU2767145C2 (ru) 2022-03-16

Family

ID=60262671

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017136560A RU2767145C2 (ru) 2016-12-09 2017-10-17 Система и способ интерактивной помощи когнитивными средствами при решении задач

Country Status (8)

Country Link
US (1) US11348475B2 (ru)
EP (1) EP3333654B1 (ru)
JP (1) JP7184511B2 (ru)
KR (1) KR102494817B1 (ru)
CN (1) CN108228345B (ru)
BR (1) BR102017025093A8 (ru)
CA (1) CA2982575A1 (ru)
RU (1) RU2767145C2 (ru)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11020860B2 (en) * 2016-06-15 2021-06-01 Irobot Corporation Systems and methods to control an autonomous mobile robot
TWI659659B (zh) * 2017-09-06 2019-05-11 國立臺灣大學 車輛資訊及環境監測複合式車載系統及其資料處理及傳輸方法
CN108363556A (zh) * 2018-01-30 2018-08-03 百度在线网络技术（北京）有限公司 一种基于语音与增强现实环境交互的方法和系统
US10862971B2 (en) * 2018-04-27 2020-12-08 EMC IP Holding Company LLC Internet of things gateway service for a cloud foundry platform
US11406896B1 (en) 2018-06-08 2022-08-09 Meta Platforms, Inc. Augmented reality storytelling: audience-side
JP7425756B2 (ja) 2018-06-26 2024-01-31 ファナック アメリカ コーポレイション 拡張現実を用いた自動動的診断ガイド
US20200005165A1 (en) * 2018-06-28 2020-01-02 International Business Machines Corporation Dynamically determining a region of effectiveness of athletes during game play based on predictive factors
US11200811B2 (en) * 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
DE102018213208A1 (de) * 2018-08-07 2020-02-13 MTU Aero Engines AG Verfahren zum Durchführen von Wartungsarbeiten an einer komplexen Montagebaugruppe
CN110858158B (zh) * 2018-08-23 2024-04-05 京东科技控股股份有限公司 分布式任务调度方法、装置、电子设备、存储介质
GB201817061D0 (en) * 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
JP7096544B2 (ja) * 2018-10-22 2022-07-06 株式会社Subaru ねじ締付装置及びねじ締付方法
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200302331A1 (en) * 2019-03-20 2020-09-24 International Business Machines Corporation Intelligent problem solving using visual input
CN110011848B (zh) * 2019-04-03 2020-07-31 南方电网数字电网研究院有限公司 一种移动运维审计系统
JP7392281B2 (ja) * 2019-04-22 2023-12-06 株式会社ジェイテクト 作業支援システム
KR102104326B1 (ko) * 2019-06-28 2020-04-27 한화시스템 주식회사 증강현실 기반 정비 교육 시스템 및 방법
WO2021041990A1 (en) 2019-08-28 2021-03-04 Qwake Technologies, Llc Wearable assisted perception module for navigation and communication in hazardous environments
US11958183B2 (en) * 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
JP2021072001A (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 プログラム、情報処理装置、情報処理方法、及び情報処理システム
US11894130B2 (en) 2019-12-26 2024-02-06 Augmenticon Gmbh Pharmaceutical manufacturing process control, support and analysis
TWI738214B (zh) * 2020-02-13 2021-09-01 國立虎尾科技大學 物聯網廣播設備名稱多對多狀態識別系統
JP2023045089A (ja) * 2021-09-21 2023-04-03 株式会社東芝 分析装置、分析システム、分析方法、プログラム、及び記憶媒体
CN116483192A (zh) * 2022-01-14 2023-07-25 台达电子工业股份有限公司 具有拆装检核功能的虚拟现实系统及其拆装检核方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620894B1 (en) * 2003-10-08 2009-11-17 Apple Inc. Automatic, dynamic user interface configuration
US20130325155A1 (en) * 2011-02-11 2013-12-05 Ops Solutions Llc Light guided assembly system and method
RU2013147677A (ru) * 2012-10-26 2015-04-27 Дзе Боинг Компани Система отображения виртуальной реальности
US20150243013A1 (en) * 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50003377D1 (de) 1999-03-02 2003-09-25 Siemens Ag Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
EP1363535B1 (en) * 2001-01-30 2012-01-04 R. Christopher Decharms Methods for physiological monitoring, training, exercise and regulation
JP4093145B2 (ja) 2003-08-26 2008-06-04 松下電工株式会社 締付け工具
WO2009079036A1 (en) * 2007-08-09 2009-06-25 Vialogy Llc Network centric sensor policy manager for ipv4/ipv6 capable wired and wireless networks
CN101159697B (zh) * 2007-11-23 2010-12-08 南京大学 无线传感器网络中时延限制下实现最小能耗路由的方法
JP5304630B2 (ja) 2009-12-24 2013-10-02 トヨタ自動車株式会社 締結部材の締め付けトルク検査方法及び締め付けトルク検査システム
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US20130010068A1 (en) * 2011-04-12 2013-01-10 Radiation Monitoring Devices, Inc. Augmented reality system
WO2012167123A1 (en) * 2011-06-03 2012-12-06 Massachusetts Institute Of Technology Method and apparatus accounting for independent cognitive capacities in the right vs. left half of vision
JP2013031900A (ja) 2011-08-02 2013-02-14 Mitsubishi Electric Corp ねじ締め装置およびねじ締め方法
JP5959875B2 (ja) 2012-02-15 2016-08-02 本田技研工業株式会社 締付方法及び締付機の制御装置
US9504414B2 (en) * 2012-04-13 2016-11-29 Adidas Ag Wearable athletic activity monitoring methods and systems
US9406170B1 (en) * 2012-07-16 2016-08-02 Amazon Technologies, Inc. Augmented reality system with activity templates
US10573037B2 (en) 2012-12-20 2020-02-25 Sri International Method and apparatus for mentoring via an augmented reality assistant
US20140201629A1 (en) * 2013-01-17 2014-07-17 Microsoft Corporation Collaborative learning through user generated knowledge
US20150088547A1 (en) * 2013-09-22 2015-03-26 Ricoh Company, Ltd. Mobile Information Gateway for Home Healthcare
US10810529B2 (en) * 2014-11-03 2020-10-20 Hand Held Products, Inc. Directing an inspector through an inspection
US20160306172A1 (en) * 2015-04-20 2016-10-20 NSF International Computer-implemented techniques for remotely interacting with performance of food quality, food safety, and workplace safety tasks
US9610476B1 (en) * 2016-05-02 2017-04-04 Bao Tran Smart sport device
US10022614B1 (en) * 2016-05-02 2018-07-17 Bao Tran Smart device
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
KR20180043627A (ko) * 2016-10-20 2018-04-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치를 제어하는 방법
US10822108B2 (en) * 2017-03-06 2020-11-03 Textron Innovations Inc. Augmented reality system for pilot and passengers
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10127227B1 (en) * 2017-05-15 2018-11-13 Google Llc Providing access to user-controlled resources by automated assistants
US10466963B2 (en) * 2017-05-18 2019-11-05 Aiqudo, Inc. Connecting multiple mobile devices to a smart home assistant account
US11056105B2 (en) * 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620894B1 (en) * 2003-10-08 2009-11-17 Apple Inc. Automatic, dynamic user interface configuration
US20130325155A1 (en) * 2011-02-11 2013-12-05 Ops Solutions Llc Light guided assembly system and method
RU2013147677A (ru) * 2012-10-26 2015-04-27 Дзе Боинг Компани Система отображения виртуальной реальности
US20150243013A1 (en) * 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes

Also Published As

Publication number Publication date
US11348475B2 (en) 2022-05-31
EP3333654A1 (en) 2018-06-13
JP2018160232A (ja) 2018-10-11
CN108228345B (zh) 2023-06-02
US20180165978A1 (en) 2018-06-14
RU2017136560A3 (ru) 2021-02-10
BR102017025093A2 (pt) 2018-06-26
KR20180066823A (ko) 2018-06-19
EP3333654B1 (en) 2022-03-09
JP7184511B2 (ja) 2022-12-06
CN108228345A (zh) 2018-06-29
CA2982575A1 (en) 2018-06-09
BR102017025093A8 (pt) 2023-04-25
RU2017136560A (ru) 2019-04-17
KR102494817B1 (ko) 2023-02-02

Similar Documents

Publication Publication Date Title
RU2767145C2 (ru) Система и способ интерактивной помощи когнитивными средствами при решении задач
US11037573B2 (en) Management and execution of equipment maintenance
JP6386786B2 (ja) 複合システムの構成要素上で実行されるタスクをサポートするユーザの追跡
WO2018036554A1 (zh) 设备故障检测系统及故障检测装置
JP7158876B2 (ja) 没入型シミュレータのためのシステム及び方法
WO2015136959A1 (ja) 制御システム、方法、プログラムおよび情報処理装置
US20130010068A1 (en) Augmented reality system
WO2016179185A1 (en) Head-mounted display for performing ophthalmic examinations
US10838797B2 (en) Imaging modality smart symptom maintenance systems and methods
JP7098316B2 (ja) 物理ベース及びデータ駆動型モデルを使用した、ビークルからの妨害的異常表示の削減
JP7297898B2 (ja) 画像診断法保守ケアパッケージのシステムおよび方法
CN110717462B (zh) 数字仪表读数识别方法、装置、设备和介质
JP2019144716A (ja) 非定常状態検出システム、及び非定常状態検出方法
WO2020003547A1 (ja) コンテンツ提示システムおよびコンテンツ提示方法
US10593223B2 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
JP2020091556A (ja) 作業支援装置、作業支援システム、作業支援方法及びプログラム
WO2023162364A1 (ja) 異常診断装置及びその方法
KR102313620B1 (ko) 로봇의 이상 상태를 출력하는 방법 및 장치
WO2021005542A1 (en) Method and device for fault diagnosis and rectification for an industrial controller
WO2024026213A1 (en) Dental equipment service application
KR20240042480A (ko) 로봇 장치와 인간 조작자 간의 충돌 위험 평가 통합
TWM498339U (zh) 智慧維運系統