RU2637562C2 - Кооперативное трехмерное рабочее место - Google Patents

Abstract

Группа изобретений относится к представлению трехмерного динамического отображения и к взаимодействию с ним. Группа изобретений состоит из устройства, применения и способа представления виртуального трехмерного динамического отображения. Представлено устройство (600) представления с несколькими индикаторными устройствами для представления и кооперативной обработки виртуального трехмерного динамического отображения (610) посредством нескольких операторов (120). Причем каждый оператор рассматривает виртуальное трехмерное динамическое отображение с индивидуально определяемой перспективы. Индикаторное устройство (100) для представления трехмерного динамического отображения с первым проекционным устройством (111) и вторым проекционным устройством (112). Индикаторное устройство (100) имеет голографическое индикаторное устройство (130) с первым голографическим модулем (131) и вторым голографическим модулем (132). Проецируют первое и второе изображения с противоположной наблюдателю стороны на соответствующее прозрачное голографическое индикаторное устройство таким образом, что у наблюдателя голографического индикаторного устройства возникает впечатление трехмерного динамического отображения. Каждое голографическое индикаторное устройство представляет одно и то же виртуальное трехмерное динамическое отображение с отличной от других индикаторных устройств перспективы взгляда. Каждая перспектива взгляда на виртуальное трехмерное динамическое отображение предоставляется согласно расположению голографического индикаторного устройства по отношению к виртуальному трехмерному динамическому отображению. Обнаруживают положения глаз наблюдателя. Осуществляют поворот голографического индикаторного устройства вокруг вертикальной оси таким образом, что направление взгляда наблюдателя ориентировано в сагиттальной плоскости перпендикулярно голографическому индикаторному устройству. Группа изобретений обеспечивает представление одного и того же виртуального трехмерного динамического отображения с собственной перспективы взгляда, отличной от других индикаторных устройств при его кооперативной обработке несколькими находящимися рядом наблюдателями за счет устройства и взаимного расположения индикаторных устройств. 3 н. и 8 з.п. ф-лы, 7 ил.

Description

Область изобретения

Изобретение относится к представлению трехмерного динамического отображения и к взаимодействию с ним. Прежде всего, изобретение относится к индикаторному устройству для представления трехмерного динамического отображения, к устройству представления трехмерного динамического отображения для кооперативной обработки трехмерного динамического отображения несколькими операторами, к применению устройства представления трехмерного динамического отображения для кооперативной обработки трехмерного динамического отображения несколькими операторами для кооперативного наблюдения за воздушным пространством, а также к способу представления трехмерного динамического отображения и к способу кооперативной обработки трехмерного динамического отображения.

Уровень техники изобретения

Известны стереоскопические системы с индивидуальным формированием изображения для одного или нескольких пользователей. В данных стереоскопических системах отдельные изображения представлены на экране соответственно для левого глаза и для правого глаза наблюдателя. При этом необходимо обеспечивать распознавание соответствующим глазом только заданного для этого глаза изображения, чтобы таким образом создавать у наблюдателя впечатление пространственного рассмотрения за счет различия воспринятых разными глазами изображений. Такое отделение изображений для соответствующих глаз наблюдателя может быть реализовано, например, благодаря использованию призм, которые преломляют свет таким образом, что глаза рассматривают различные изображения.

Наряду с этим, известно использование очков с различно поляризованными линзами для пользователя или, соответственно, наблюдателя. На поверхности представления различно поляризованным светом представлены соответствующим образом два различных изображения, причем в каждом случае соответствующая линза позволяет проникать к глазу наблюдателя только соответствующим образом поляризованному свету. Таким образом, впечатление трехмерного динамического отображения может быть вызвано у наблюдателя различными изображениями, поступающими к его двум глазам.

Эти два принципиальных варианта построения системы представления трехмерного динамического отображения могут быть выбраны также в качестве основы системы для нескольких наблюдателей. При этом второму наблюдателю или каждому последующему наблюдателю позволено без проблем рассматривать трехмерное динамическое отображение до тех пор, пока все наблюдатели рассматривают то же самое динамическое отображение.

Если, тем не менее, второй наблюдатель рассматривает другое динамическое отображение, чем первый наблюдатель, то дисплей дополнительно к двум изображениям для первого наблюдателя должен представлять еще два последующих изображения для второго наблюдателя. При этом следует обратить внимание не только на то, что каждый глаз должен рассматривать предназначенное для него изображение, и только это изображение, но и на необходимость обеспечения различения изображений относительно наблюдателей.

Прежде всего, при рассмотрении трехмерного динамического отображения несколькими наблюдателями проявляет себя граница применимости известных стереоскопических систем, поскольку дисплей для каждого последующего наблюдателя должен представлять соответственно два других изображения. Каждое последующее представленное изображение на дисплее неизбежно ухудшает качество других изображений, поскольку отображающая способность, например разрешение дисплея, должна быть распределена на несколько изображений.

Сущность изобретения

В качестве цели изобретения может быть указано устройство для представления трехмерного динамического отображения, которое делает возможной кооперативную обработку трехмерного динамического отображения несколькими операторами.

Прежде всего, в качестве цели изобретения может быть указано устройство для представления трехмерного динамического отображения, в котором масштабируемость устройства для нескольких пользователей или, соответственно, наблюдателей достигнута таким образом, что синхронное и кооперативное взаимодействие нескольких наблюдателей с представленным трехмерным динамическим отображением может происходить без потери высокого качества представления и, тем не менее, каждому наблюдателю обеспечена индивидуальная точка обзора на трехмерное динамическое отображение.

Предложены индикаторное устройство для представления трехмерного динамического отображения, устройство представления трехмерного динамического отображения для кооперативной обработки трехмерного динамического отображения несколькими операторами и применение устройства представления для кооперативного наблюдения за воздушным пространством, а также способ представления и способ кооперативной обработки трехмерного динамического отображения согласно признакам независимых пунктов формулы изобретения. Варианты осуществления изобретения получены из дополнительных пунктов формулы изобретения и из последующего описания. Многие из далее описанных признаков, относящихся к индикаторному устройству и к устройству представления, применимы также к этапам способа, и наоборот.

Согласно первому аспекту изобретения предложено индикаторное устройство для представления трехмерного динамического отображения, снабженное первым проекционным устройством и вторым проекционным устройством, а также голографическим индикаторным устройством, снабженным первым голографическим модулем и вторым голографическим модулем. При этом первое проекционное устройство и второе проекционное устройство выполнены для проецирования первого изображения и соответственно второго изображения на голографическое индикаторное устройство. Первый голографический модуль и второй голографический модуль выполнены для распространения первого изображения и соответственно второго изображения таким образом, что первый глаз оператора воспринимает первое изображение, а второй глаз оператора воспринимает второе изображение таким образом, что у оператора возникает впечатление трехмерного динамического отображения.

Голографическое индикаторное устройство может быть, например, экраном, а первый и второй голографический модуль может быть, например, голограммой. Первое проекционное устройство и второе проекционное устройство могут быть, например, лазерными проекторами.

Голограммы могут быть установлены, например, таким образом, что они принимают в каждом случае только свет от одного из двух проекционных устройств и направляют или, соответственно, распространяют его во втором направлении отклоненным настолько, что соответствующее изображение может быть видимым только под заданным углом зрения. Другими словами это значит, что каждая голограмма выполнена для приема падающего на нее света только под заданным углом входа и для отдачи этого света под заданным углом выхода.

Соответственно, первое проекционное устройство расположено для проецирования света на первую голограмму таким образом, что он попадает под соответствующим углом входа на первую голограмму. Аналогично, это относится также к расположению второго проекционного устройства и второй голограммы.

При этом первый голографический модуль может быть выполнен для направления света первого проекционного устройства в первое полупространство и второй голографический модуль может быть выполнен для направления света второго проекционного устройства во второе полупространство. У наблюдателя голографического индикаторного устройства возникает тем самым впечатление трехмерного динамического отображения, причем первый глаз наблюдателя воспринимает первое изображение, а второй глаз наблюдателя воспринимает второе изображение. При этом первый глаз находится в первом полупространстве, а второй глаз находится во втором полупространстве.

Согласно варианту осуществления изобретения индикаторное устройство имеет также регистрирующее устройство и приводное устройство. При этом регистрирующее устройство выполнено для обнаружения позиции первого глаза и второго глаза оператора. Приводное устройство выполнено для перемещения голографического индикаторного устройства таким образом, что направление взгляда оператора в сагиттальной плоскости индикаторного устройства перпендикулярно индикаторному устройству.

Так как впечатление трехмерного динамического отображения у оператора возникает благодаря тому, что каждый глаз оператора видит собственное изображение, необходимо, чтобы соответствующий глаз оператора находился в закрепленном за этим глазом полупространстве.

Очевидно, направление взгляда оператора может быть ориентировано в сагиттальной плоскости также под другим произвольным углом относительно индикаторного устройства до тех пор, пока этот угол соответствует направлению излучения изображений голограммами таким образом, что каждый глаз может воспринимать выделенное ему изображение.

При этом полупространство обозначает пространственную область на стороне рассмотрения голографического индикаторного устройства, в которой находящимся в соответствующем полупространстве глазом может восприниматься только изображение первого проекционного устройства и, соответственно, только изображение второго проекционного устройства.

При этом расположение первого полупространства и второго полупространства заданы расположением глаз оператора, причем первое полупространство и второе полупространство отнесены друг от друга горизонтально таким образом, что соответственно по одному глазу оператора находится в первом полупространстве и во втором полупространстве.

Первый голографический модуль и второй голографический модуль могут быть выполнены таким образом, что позиционирование первого полупространства и второго полупространства приспосабливается в зависимости от расстояния между первым глазом и вторым глазом оператора и/или в зависимости от расстояния оператора от голографического индикаторного устройства.

Прежде всего, при горизонтальном или, соответственно, боковом перемещении оператора по отношению к голографическому индикаторному устройству, возможен выход по меньшей мере одного глаза из предусмотренного для этого глаза полупространства, и таким образом, нарушение трехмерного динамического отображения.

Другими словами это значит, что первый глаз и второй глаз оператора воспринимают тем самым только первое изображение или, соответственно только второе изображение, так как первое полупространство и второе полупространство отнесены друг от друга по горизонтали в соответствии с заданным горизонтальным расстоянием между глазами оператора. Напротив, изменение позиции рассмотрения оператора по вертикали не ведет к тому, что один глаз передвигается в полупространство другого глаза.

Вертикальное перемещение оператора может привести к тому, что изменится расстояние от глаз оператора до голографического индикаторного устройства. Это может повлечь нарушение восприятия первого изображения и/или второго изображения. Соответственно, индикаторное устройство может также быть перемещено таким образом, что расстояние от глаз оператора до индикаторного устройства остается по существу постоянным.

Другими словами это значит, что индикаторное устройство способно перемещаться в направлении на оператора и прочь от оператора.

Однако первый голографический модуль или второй голографический модуль может быть выполнен таким образом, что приспособления голографических модулей могут производиться так, что голографические модули приспосабливаются к вертикальным перемещениям пользователя и восприятие первого изображения и второго изображения сделано возможным вопреки колеблющемуся расстоянию от глаз оператора до индикаторного устройства.

Для повышения удобства эксплуатации индикаторного устройства, голографическое индикаторное устройство способно поворачиваться посредством приводного устройства вокруг вертикальной оси индикаторного устройства таким образом, что глаза оператора находятся, независимо от его горизонтального положения, всегда в выделенном соответствующему глазу полупространстве.

Сагиттальная плоскость индикаторного устройства простирается через направление взгляда оператора на индикаторное устройство и горизонтальную ось индикаторного устройства. Вертикальное перемещение глаз оператора соответствует изменению наклона сагиттальной плоскости по отношению к индикаторному устройству в результате вращения сагиттальной плоскости вокруг горизонтальной оси индикаторного устройства.

Перемещение глаз оператора в горизонтальном направлении может привести к тому, что глаз покинет выделенное ему полупространство и, таким образом, нарушится впечатление трехмерного динамического отображения. С целью поддержания впечатления трехмерности у оператора, голографическое индикаторное устройство должно поворачиваться вокруг его вертикальной оси таким образом, чтобы соотнести расположение первого полупространства и второго полупространства с первым глазом и вторым глазом оператора.

Другими словами это значит, что угол между направлением взгляда наблюдателя на индикаторное устройство и индикаторным устройством остается постоянным. При этом данный угол может быть произвольным углом, решающее значение имеет сохранение его постоянства при горизонтальном перемещении глаз оператора. Предпочтительно, направление взгляда в сагиттальной плоскости образует с индикаторным устройством прямой угол, то есть угол 90 градусов.

Согласно другому варианту осуществления изобретения регистрирующее устройство имеет по меньшей мере одну камеру.

При этом камера может быть выполнена для обнаружения положения по меньшей мере одного глаза оператора таким образом, что приводное устройство направляется к перемещению голографического индикаторного устройства в надлежащую позицию, то есть к повороту его горизонтальной оси таким образом, что оператор своим первым глазом воспринимает первое изображение и своим вторым глазом воспринимает второе изображение голографического индикаторного устройства.

При этом камера может быть выполнена для следования за однозначно идентифицируемым объектом, который находится, например, рядом с одним из глаз оператора. Данный однозначно идентифицируемый объект может быть представлен, например, наклейкой с визуальным признаком кодировки, например штрихкодом.

Согласно другому варианту осуществления голографическое индикаторное устройство выполнено для представления указательного элемента. При этом оператор может взаимодействовать с трехмерным динамическим отображением за счет того, что от первого глаза или второго глаза оператора через указательный элемент к виртуальному трехмерному динамическому отображению образуется линия связи. При этом линия связи может быть построена также в виде среднего значения между линиями связи левого глаза и, соответственно, правого глаза, к указательному элементу в трехмерном динамическом отображении.

По рассчитанной линии связи между глазом оператора и указательным элементом может быть установлено, какой элемент выбран в трехмерном динамическом отображении.

Согласно другому варианту осуществления изобретения указательный элемент размещается на голографическом индикаторном устройстве за счет касания оператором индикаторного устройства пальцем.

Например, голографическое индикаторное устройство может иметь чувствительный к соприкосновению слой, который выполнен для установления точки соприкосновения пальца оператора с индикаторным устройством. Положение пальца на голографическом индикаторном устройстве может также быть обнаружено посредством других техник для чувствительных к соприкосновению устройств, как например. Frustrated Total Internal Reflection (Изменяемое полное внутреннее отражение).

Согласно другому варианту осуществления изобретения указательный элемент на голографическом индикаторном устройстве размещается за счет обнаружения регистрирующим устройством положения пальца оператора.

При этом регистрирующее устройство способно обнаруживать положение пальца принципиально аналогично обнаружению положения глаза, описанному подробно выше.

При этом регистрирующее устройство может иметь несколько регистрирующих элементов, первая группа которых в составе нескольких регистрирующих элементов может быть выполнена для обнаружения положения глаз оператора и вторая группа которых в составе нескольких регистрирующих элементов может быть выполнена для обнаружения положения пальца оператора.

Позиционирование указательного элемента на индикаторном устройстве может производиться также посредством устройства ввода, как например, так называемой компьютерной мыши или шарового манипулятора, или с помощью клавиатуры посредством кнопок-стрелок, а также любыми иными устройствами ввода.

Согласно другому варианту осуществления изобретения индикаторное устройство имеет двухмерный индикаторный элемент, который выполнен для предоставления информации оператору в графической и текстовой форме.

Под представляемой на двухмерном индикаторном элементе информацией подразумевается произвольная информация, которая не может или не должна быть представлена в трехмерном динамическом отображении.

Если трехмерное динамическое отображение представляет, например, наблюдаемое воздушное пространство с находящимися в нем летательными аппаратами, на двухмерном индикаторном элементе может сообщаться информация о выбранном летательном аппарате, как например, его скорость, высота полета, данные по погоде или прочие данные.

Двухмерный индикаторный элемент может быть чувствителен к прикосновению.

Это делает возможным обращение с двухмерным индикаторным элементом аналогичным взаимодействию с трехмерным динамическим отображением.

Согласно другому аспекту изобретения предложено устройство представления трехмерного динамического отображения для кооперативной обработки трехмерного динамического отображения несколькими операторами, которое имеет несколько индикаторных устройств, как описаны выше и ниже, причем каждому из операторов выделено по меньшей мере одно индикаторное устройство.

Тем самым устройство представления делает возможным общую и кооперативную обработку динамического отображения силами нескольких операторов. При этом индикаторного устройства могут быть разделены пространственно или быть расположенными рядом друг с другом.

Например, несколько индикаторных устройств на одном рабочем месте, например, на столе, могут быть расположены рядом и обеспечивать, таким образом, наряду с общим взаимодействием операторов с трехмерным динамическим отображением, также непосредственную взаимную коммуникацию операторов.

Однако индикаторного устройства могут быть также расположены пространственно отдельно друг от друга и обеспечивать, тем не менее, общую кооперативную обработку трехмерного динамического отображения. При этом индикаторного устройства могут быть расположены в различных помещениях, в различных зданиях, и быть сколь угодно пространственно удалены друг от друга. Необходимым является лишь соединение индикаторных устройств с центральной вычислительной системой, которая отвечает за представление трехмерного динамического отображения на индикаторного устройства.

Очевидно, каждое индикаторное устройство может располагать также децентрализованным вычислительным устройством, которое выполнено для управления проекцией изображения первым проекционным устройством и вторым проекционным устройством. При этом децентрализованное вычислительное устройство может быть связано с центральной вычислительной системой, причем центральная вычислительная система выполнена лишь для управления несколькими децентрализованными вычислительными устройствами и для координации их работы.

Соответствующая изобретению структура индикаторных устройств делает возможным произвольное масштабирование числа операторов. Например, устройство представления может быть выполнено для четырех, восьми, двенадцати или иного произвольного числа операторов, причем параметр для установления количества операторов может быть представлен сложностью и размером наблюдаемого трехмерного динамического отображения.

При этом центральная вычислительная система управляет устройствами отображения таким образом, что у каждого оператора возникает впечатление трехмерного динамического отображения.

При этом устройство согласно изобретению представления может быть применено, например, для кооперативного планирования выполнения задания с использованием наземных транспортных средств, плавсредств и летательных аппаратов, для кооперативного выполнения задания с использованием нескольких беспилотных наземных транспортных средств, плавсредств и летательных аппаратов с помощью соответствующих операторов транспортных средств, а также для кооперативного наблюдения за воздушным пространством или границами страны, или даже для наблюдения за мероприятиями с массовой публикой, например, на футбольных стадионах или концертных площадках.

В зависимости от конкретных требований по выполнению задания, устройство согласно изобретению представления может быть расширено таким образом, что индикаторное устройство или несколько индикаторных устройств предоставляются в распоряжение каждому оператору. При этом центральная вычислительная система управляет распределенными на отдельные индикаторного устройства представлениями или, соответственно, частичными представлениями, таким образом, что операторы обрабатывают трехмерное динамическое отображение сообща и кооперативно.

Очевидно, выше- и нижеописанное устройство представления может использоваться также в целях тренировки и аналитической обработки.

Согласно варианту осуществления изобретения каждый оператор видит трехмерное динамическое отображение в реальной перспективе. При этом реальная перспектива соответствует перспективе взгляда оператора на трехмерное динамическое отображение соответственно позиции оператора по отношению к устройству представления.

При наблюдении за воздушным пространством силами, например, четырех операторов реальная перспектива на трехмерное динамическое отображение, то есть наблюдаемое воздушное пространство, соответствует той перспективе взгляда, как если бы операторы были так расположены по отношению к наблюдающему воздушному пространству, как они расположены по отношению к трехмерному динамическому отображению воздушного пространства.

Другими словами, это значит, что, например, один из четырех равномерно распределенных вокруг устройства представления операторов наблюдает трехмерное динамическое отображение с восточного направления, второй оператор с южного направления, третий оператор с западного направления и четвертый оператор с северного направления на трехмерное динамическое отображение наблюдаемого воздушного пространства.

Согласно другому варианту осуществления изобретения каждый оператор видит трехмерное динамическое отображение в дублированной перспективе.

При этом дублированная перспектива соответствует заданной перспективе взгляда оператора на трехмерное динамическое отображение. Прежде всего, все или только заданная часть операторов могут рассматривать трехмерное динамическое отображение в одинаковой перспективе.

Таким образом, например, оператор при большой интенсивности воздушного движения в наблюдаемой им области может быть поддержан вторым оператором, в результате чего обоим операторам на их индикаторном устройстве представлена одна и та же перспектива на трехмерное динамическое отображение.

Согласно другому варианту осуществления изобретения каждый оператор наблюдает трехмерное динамическое отображение в индивидуальной перспективе.

При этом индивидуальная перспектива соответствует сколь угодно регулируемой перспективе взгляда каждого оператора на трехмерное динамическое отображение. Другими словами это значит, что оператор может устанавливать его перспективу таким образом, как если бы он свободно передвигался в представленном пространстве.

В той же мере, как оператор может изменять перспективу на трехмерное динамическое отображение, оператор может также выбирать область трехмерного динамического отображения, и увеличивать, например, ее масштаб, для получения повышенной четкости деталей представления.

Согласно другому варианту осуществления изобретения каждому оператору выделено второе индикаторное устройство, которое выполнено для представления трехмерного изображения пространственно удаленного коммуникативного партнера.

Прежде всего, в связи с пространственно распределенными устройствами отображения, здесь также может быть представлен оператор удаленного индикаторного устройства.

Согласно другому аспекту изобретения устройство представления, как описано выше и ниже, используется для кооперативного наблюдения за воздушным пространством.

Согласно другому аспекту изобретения предложен способ представления трехмерного динамического отображения.

На первом этапе способа осуществляется проецирование соответственно первого изображения и второго изображения на соответственно голографическое индикаторное устройство из нескольких голографических индикаторных устройств таким образом, что у наблюдателя трехмерного индикаторного устройства возникает впечатление трехмерного динамического отображения, причем каждое голографическое индикаторное устройство представляет трехмерное общее динамическое отображение в заданной перспективе взгляда.

На следующем этапе осуществляется обнаружение положения глаз наблюдателя.

На следующем этапе голографическое индикаторное устройство поворачивается вокруг вертикальной оси настолько, что направление взгляда наблюдателя в сагиттальной плоскости индикаторного устройства оказывается под заданным углом к голографическому индикаторному устройству.

Согласно другому аспекту изобретения предложен способ кооперативной обработки трехмерного динамического отображения.

На первом этапе способа осуществляется обнаружение положения глаз наблюдателя трехмерного общего динамического отображения.

На следующем этапе задается точка начала отсчета на голографическом индикаторном устройстве.

На следующем этапе осуществляется расчет линии связи от положения глаз через точку начала отсчета в трехмерное общее динамическое отображение.

Затем осуществляется обнаружение визируемого наблюдателем объекта в трехмерном общем динамическом отображении.

В дальнейшем варианты осуществления изобретения описаны со ссылками на чертежи.

Фиг. 1 показывает горизонтальную проекцию индикаторного устройства согласно варианту осуществления изобретения.

Фиг. 2 показывает горизонтальную проекцию индикаторного устройства согласно другому варианту осуществления изобретения.

Фиг. 3 показывает аксонометрическое изображение голографического индикаторного устройства согласно варианту осуществления изобретения.

Фиг. 4 показывает аксонометрическое изображение индикаторного устройства согласно другому варианту осуществления изобретения.

Фиг. 5 показывает вид сбоку индикаторного устройства согласно другому варианту осуществления изобретения.

Фиг. 6 показывает горизонтальную проекцию устройства представления трехмерного динамического отображения для кооперативной обработки несколькими операторами согласно варианту осуществления изобретения.

Фиг. 7 показывает блок-схему способа представления и кооперативной обработки трехмерного общего динамического отображения.

Подробное описание вариантов осуществления

Изображения на чертежах схематические и выполнены без соблюдения масштаба.

Одинаковые ссылочные обозначения, использованные в последующем при описании чертежей, соотносятся с одинаковыми или с похожими элементами.

Фиг. 1 изображает индикаторное устройство 100 согласно варианту осуществления изобретения. Индикаторное устройство содержит первое проекционное устройство 111 и второе проекционное устройство 112, а также голографическое индикаторное устройство 130 с первым голографическим модулем 131 и вторым голографическим модулем 132.

Первое проекционное устройство 111 выполнено для проецирования изображения на первый голографический модуль 131, причем изображение от первого проекционного устройства направлено в направлении первого глаза 121 оператора и изображение от второго проекционного устройства 112 направлено вторым голографическим модулем 132 в направлении второго глаза 122 оператора.

Впечатление трехмерного динамического отображения возникает у оператора в результате различия изображений, воспринимаемых первым глазом и вторым глазом.

Далее, фиг. 1 показывает первое полупространство 151 и второе полупространство 152, в которых соответственно могут находиться первый глаз и второй глаз без нарушения впечатления трехмерного динамического отображения. Только при оставлении первого полупространства и, соответственно, второго полупространства первым глазом и, соответственно, вторым глазом, данное впечатление нарушается. Кроме того, первое полупространство и второе полупространство ограничены в силу того, что при вертикальном перемещении оператора расстояние от глаз оператора до индикаторного устройства изменяется, что может также нарушить восприятие первого изображения и/или второго изображения. Для противодействия этому эффекту, индикаторное устройство перемещается на пользователя или прочь от него таким образом, чтобы компенсировать изменение расстояния от глаз до индикаторного устройства.

Фиг. 2 изображает индикаторное устройство 100 согласно другому варианту осуществления изобретения. Индикаторное устройство 100 содержит голографическое индикаторное устройство 130, приводное устройство 202 и регистрирующее устройство 220.

Регистрирующее устройство 220 выполнено для обнаружения положения оператора относительно индикаторного устройства. Для обеспечения восприятия глазами оператора различных изображений с целью создания у оператора впечатления трехмерного динамического отображения, может быть необходимо в зависимости от положения оператора по отношению к голографическому индикаторному устройству 130, поворачивать голографическое индикаторное устройство 130 вокруг вертикальной оси 135 по стрелке 136 направления таким образом, что каждый глаз оператора может воспринимать предусмотренное для этого глаза изображение и, соответственно, первый глаз пребывает в первом полупространстве, а второй глаз пребывает во втором полупространстве.

Фиг. 3 показывает в аксонометрическом представлении голографическое индикаторное устройство 130. Сагиттальная плоскость 310 простирается через направление 301 взгляда оператора на индикаторное устройство 130 и горизонтальную ось 320 индикаторного устройства 130.

Тем самым сагиттальная плоскость 310 рассекает индикаторное устройство 130 под углом α 311. Угол β 321 образован направлением взгляда 301 в сагиттальной плоскости 310 и индикаторным устройством 130.

Изменение угла α 311 соответствует вертикальному перемещению оператора перед индикаторным устройством 130.

Горизонтальное перемещение оператора перед индикаторным устройством 130 вызывает покидание по меньшей мере одним глазом предусмотренного для этого глаза полупространства и восприятие им, таким образом, либо ненадлежащего изображения, либо вовсе никакого изображения, что влечет нарушение впечатления трехмерного динамического отображения. Для поддержания впечатления трехмерного динамического отображения независимо от перемещения оператора, голографическое индикаторное устройство 130 перемещается приводным устройством 202 таким образом, что угол β 321 постоянно сохраняет заданное или, соответственно, определенное значение.

Фиг. 4 изображает индикаторное устройство 100 согласно другому варианту осуществления изобретения. Индикаторное устройство содержит голографическое индикаторное устройство 130, двухмерный индикаторный элемент 430, второе голографическое индикаторное устройство 230 и четыре камеры 221, 222, 223, 224, которые образуют регистрирующее устройство для обнаружения положения глаз оператора и/или пальца оператора.

Камеры могут быть выполнены для обнаружения положения пальца на индикаторном устройстве, но также способны и определять положение пальца в пространстве.

Как первое индикаторное устройство 130, так и второе индикаторное устройство 230 могут быть повернуты приводным устройством (не показано) вокруг их соответствующих вертикальных осей таким образом, что направление взгляда 301 постоянно образует заданный или, соответственно, определенный угол с индикаторным устройством 130 и с индикаторным устройством 230.

Фиг. 5 показывает вид сбоку голографического индикаторного устройства 130 и схематически представленного трехмерного динамического отображения 550. Индикаторное устройство 130 выполнено для представления указательного элемента 510.

Для обеспечения взаимодействия оператора с трехмерным динамическим отображением, указательный элемент 510 подвижен на индикаторном устройстве 130. Это может быть достигнуто, например, прикосновением пальца к индикаторному устройству 130 или, например, перемещением или иными действиями элемента ввода, такого как, например, так называемая компьютерная мышь.

Для распознавания выбранной области 555 в трехмерном динамическом отображении образована линия связи 511 между глазом 121, 122 оператора и указательным элементом 510 в трехмерном динамическом отображении 550. Посредством линии связи 511 выбранный оператором элемент 555 может быть задан в трехмерном динамическом отображении.

Под выбранным элементом 555 понимают отдельный объект или часть объекта в трехмерном динамическом отображении. Например, может быть выбрано транспортное средство, как например, летательный аппарат, или любая часть транспортного средства, например, несущая поверхность или руль направления.

Линия связи 511 соответствует направлению 301 взгляда оператора на индикаторное устройство 130, причем линия связи 511 и индикаторное устройство 130 образуют угол α 311. Как уже описано, изменение угла α не влияет на впечатление от восприятия трехмерного динамического отображения у оператора. Также не оказывает влияния на трехмерное восприятие у оператора изменение угла γ 501 между индикаторным устройством 130 и горизонтальной линией 502, например, поверхностью стола.

Фиг. 6 показывает устройство 600 представления трехмерного динамического отображения для кооперативной обработки двухмерного динамического отображения несколькими операторами согласно варианту осуществления изобретения. На рабочем месте, например, на столе 502 расположены четыре индикаторных устройства 100. При этом для каждого индикаторного устройства выделен соответственно один оператор 120.

Каждый оператор 120 смотрит на выделенное ему индикаторное устройство 100 таким образом, что у каждого оператора вызывается впечатление трехмерного динамического отображения. С точки зрения операторов 120 ситуация представляется таким образом, что операторы рассматривают виртуальное трехмерное общее динамическое отображение 610.

Необходимо отметить, что виртуальное трехмерное общее динамическое отображение наблюдается лишь в том случае, если операторы рассматривают выделенное им или, соответственно, какое-либо иное индикаторное устройство 100.

Показанное на фиг. 6 устройство представления делает тем самым возможной общую кооперативную обработку трехмерного общего динамического отображения несколькими операторами, причем обработка трехмерного динамического отображения может поддерживаться посредством обеспечения операторам возможности непосредственной взаимной коммуникации и согласования.

Фиг. 7 показывает способ 700 представления и кооперативной обработки трехмерного общего динамического отображения согласно варианту осуществления изобретения.

На первом этапе 701 происходит проецирование соответственно первого изображения и второго изображения на соответственно голографическое индикаторное устройство из нескольких голографических индикаторных устройств таким образом, что у наблюдателя трехмерного индикаторного устройства возникает впечатление трехмерного динамического отображения, причем каждое голографическое индикаторное устройство представляет трехмерное общее динамическое отображение в определенной перспективе взгляда.

При этом первое изображение и второе изображение соответственно первого проекционного устройства или, соответственно, второго проекционного устройства проецируются на голографическое индикаторное устройство. За счет проецирования совокупности в составе первых изображений и вторых изображений на соответствующее индикаторное устройство из нескольких голографических индикаторных устройств, обеспечена возможность для нескольких операторов рассматривать трехмерное динамическое отображение в каждом случае в собственной перспективе.

Соответствующим образом, перспектива взгляда оператора на трехмерное динамическое отображение составляется в каждом случае из пары, образованной первым изображением и вторым изображением, которые проецируются на выделенное данному оператору индикаторное устройство.

Предложением первого изображения и второго изображения для нескольких индикаторных устройств может управлять, например, центральная система управления или центральная компьютерная система. Центральная система управления может быть выполнена для предоставления различных выше- и нижеописанных перспектив взгляда оператора на трехмерное общее динамическое отображение.

При этом каждое голографическое индикаторное устройство может представлять трехмерное общее динамическое отображение в заданной вышеописанной перспективе взгляда.

Например, трехмерное общее динамическое отображение может представляться таким образом, что несколько размещенных на рабочем месте индикаторных устройств представляют трехмерное общее динамическое отображение с так называемой естественной перспективой.

Так, например, четыре индикаторных устройств а на рабочем месте могут быть расположены таким образом, что первое индикаторное устройство показывает трехмерное общее динамическое отображение в первой перспективе, например, с восточного направления, второе индикаторное устройство показывает во второй перспективе, например, с южного направления, третье индикаторное устройство показывает в третьей перспективе, например, с западного направления, и четвертое индикаторное устройство показывает в четвертой перспективе, например, с северного направления.

При этом перспективы взгляда операторов могут соответствовать тем перспективам, которые были бы у операторов на миниатюрной репродукции трехмерного общего динамического отображения, если бы эта миниатюрная репродукция лежала действительно между операторами в середине рабочего места.

Очевидно, каждое индикаторное устройство может показывать произвольную перспективу в трехмерном общем динамическом отображении.

На втором этапе 702 осуществляется обнаружение положения глаз наблюдателя.

При этом, например, может быть обнаружено лишь положение одного глаза, например, левого глаза или правого глаза, и заблокировано обнаружение положения правого глаза или, соответственно, левого глаза оператора. Однако могут быть обнаружены как положение правого глаза, так и положение левого глаза оператора для того, чтобы таким образом узнать индивидуальное горизонтальное расстояние между глазами различных операторов.

Центральная система управления может иметь также и функцию идентификации оператора, которая позволяет после обнаружения положения первого глаза, по известному центральной системе управления индивидуальному горизонтальному расстоянию между глазами определять положение второго глаза.

Обнаружение положения глаза может производиться посредством регистрирующего устройства, представленного, например, одной или несколькими камерами. При этом обнаружение положения глаза может производиться посредством техники распознавания образов. Также положение глаза может быть обнаружено с помощью маркера, размещенного на заданном расстоянии и под заданным углом к глазу, например, на лбу оператора. После распознавания положения маркера центральная система управления определяет положение глаза или обоих глаз оператора.

На третьем этапе 703 голографическое индикаторное устройство поворачивается вокруг вертикальной оси настолько, что направление взгляда наблюдателя в сагиттальной плоскости индикаторного устройства оказывается под заданным углом к голографическому индикаторному устройству.

За счет этого обеспечивается, что первый глаз оператора всегда воспринимает первое изображение, а второй глаз всегда воспринимает второе изображение, которые проецируются на голографическое индикаторное устройство таким образом, что у оператора возникает впечатление трехмерного общего динамического отображения.

Прежде всего, за счет поворота индикаторного устройства предотвращают ситуацию, когда глаз оператора не воспринимает никакого изображения или оба глаза воспринимают одно и то же изображение, что нарушало бы впечатление трехмерности.

Другими словами, боковое перемещение оператора должно быть компенсировано поворотами индикаторного устройства вокруг вертикальной оси таким образом, что первое изображение и второе изображение попадают всегда в соответствующий глаз. Вертикальное перемещение оператора не способно в той же самой мере, как боковое перемещение или, соответственно, горизонтальное перемещение, нарушить впечатление трехмерности, поскольку за счет горизонтального расстояния между глазами оператора, глаза могут воспринимать различные изображения независимо от вертикального положения оператора.

На четвертом этапе 704 производится фиксация точки начала отсчета на голографическом индикаторном устройстве.

При этом точка начала отсчета может быть зафиксирована как точка на голографическом индикаторном устройстве. В данном случае речь идет о фиксации на одной из соответствующих плоскостей индикаторного устройства, то есть о двухмерном позиционировании. Однако точка начала отсчета может быть задана также как точка в пространстве.

Для фиксации точки начала отсчета может быть использован, прежде всего, палец оператора, который задает точку начала отсчета на чувствительном к соприкосновению регистрационном слое индикаторного устройства.

Таким же образом положение пальца оператора может быть обнаружено в пространстве или на индикаторном устройстве посредством регистрационной системы. При этом положение пальца может быть обнаружено в результате применения принципиально тех же самых способов, как описанные выше способы обнаружения положения глаз оператора.

Таким же образом перемещение точки начала отсчета может осуществляться с помощью обычного графического устройства-указателя, например, так называемой компьютерной мыши или шарового манипулятора, которое связано с центральной системой управления в качестве устройства ввода.

На пятом этапе 705 осуществляется расчет линии связи от положения глаз через точку начала отсчета в трехмерное общее динамическое отображение.

Центральная система управления знает положение по меньшей мере одного глаза оператора, которое служит первой точкой линии связи. Далее известно положение точки начала отсчета, которое служит второй точкой линии связи.

Затем на шестом этапе 706 осуществляется обнаружение визируемого наблюдателем объекта в трехмерном общем динамическом отображении.

Посредством интерполяции линия связи продлевается в трехмерном динамическом отображении и, таким образом, в этом динамическом отображении идентифицируется объект, который оператор визировал или, соответственно выбрал, то есть объект, на который оператор указал.

В последующем, к выбранному объекту могут быть применены любые доступные действия. При этом центральная система управления может быть выполнена для предложения оператору выбора действий из общего списка действий, причем к выбору предлагаются такие действия, которые применимы к выбранному объекту в актуальной ситуации.

Например, общий список действий может содержать все действия для беспилотного самолета, и выбор действий может содержать только те действия, которые допустимы в конкретной ситуации. Например, указание на снижение высоты полета может быть недопустимо в случае, если будет пересечена минимальная высота полета.

За счет этого устройство согласно изобретению и/или способ согласно изобретению делает возможным простое, быстрое и интуитивное обслуживание трехмерного динамического отображения, пригодного для кооперативной обработки несколькими операторами. Прежде всего, количество операторов может быть представлено любым числом, поскольку способ согласно изобретению и устройство согласно изобретению произвольно масштабируемы.

Claims (26)

1. Устройство (600) представления для кооперативной обработки виртуального трехмерного динамического отображения несколькими операторами, имеющее несколько индикаторных устройств (100) для представления виртуального трехмерного динамического отображения, причем:

- каждое из индикаторных устройств обеспечивает представление одного и того же виртуального трехмерного динамического отображения с отличной от других индикаторных устройств перспективы взгляда,

- по меньшей мере одно индикаторное устройство из нескольких индикаторных устройств является соотносимым с оператором, и

- каждое индикаторное устройство выполнено для предоставления соотнесенному с этим индикаторным устройством оператору перспективы взгляда на виртуальное трехмерное динамическое отображение согласно положению индикаторного устройства по отношению к виртуальному трехмерному динамическому отображению,

- каждое из нескольких индикаторных устройств (100) имеет первое проекционное устройство (111), второе проекционное устройство (112) и прозрачное голографическое индикаторное устройство (130) с первым голографическим модулем (131) и вторым голографическим модулем (132),

- первое проекционное устройство (111) и второе проекционное устройство (112) расположены так, чтобы направлять соответственно первое изображение и второе изображение на голографическое индикаторное устройство (130) с противоположной оператору стороны индикаторного устройства (130),

- каждое из нескольких индикаторных устройств (100) также имеет регистрирующее устройство (220), выполненное с возможностью обнаружения положения первого глаза и второго глаза оператора, и приводное устройство (202), выполненное с возможностью перемещения голографического индикаторного устройства (130) таким образом, чтобы направление (301) взгляда оператора в сагиттальной плоскости (310) голографического индикаторного устройства (130) было перпендикулярным голографическому индикаторному устройству (130),

- индикаторные устройства (100) расположены рядом друг с другом на общем рабочем месте нескольких операторов.

2. Устройство представления по п. 1, причем первый голографический модуль и второй голографический модуль выполнены для распространения соответственно первого изображения и второго изображения таким образом, что первый глаз (121) оператора воспринимает первое изображение, а второй глаз (122) оператора воспринимает второе изображение таким образом, что у оператора возникает впечатление трехмерного динамического отображения.

3. Устройство представления по п. 1, причем регистрирующее устройство имеет по меньшей мере одну камеру (221, 222, 223, 224).

4. Устройство представления по п. 2, причем голографическое индикаторное устройство выполнено для представления указательного элемента (510) и оператор может взаимодействовать с виртуальным трехмерным динамическим отображением за счет того, что от первого глаза или второго глаза оператора через указательный элемент к виртуальному трехмерному динамическому отображению образуется линия связи (511).

5. Устройство представления по п. 4, причем указательный элемент на голографическом индикаторном устройстве размещается за счет касания оператором индикаторного устройства пальцем.

6. Устройство представления по п. 4, причем указательный элемент на голографическом индикаторном устройстве размещается за счет обнаружения регистрирующим устройством положения пальца оператора.

7. Устройство представления по п. 2, причем каждое индикаторное устройство из нескольких индикаторных устройств имеет двухмерный индикаторный элемент (430), выполненный с возможностью предоставления оператору информации в графической и текстовой форме.

8. Устройство представления по одному из пп. 1-7, причем с оператором является соотносимым второе индикаторное устройство, выполненное для представления трехмерного изображения пространственно удаленного коммуникативного партнера.

9. Применение устройства представления по одному из пп. 1-8 для кооперативного наблюдения за воздушным пространством.

10. Способ представления виртуального трехмерного динамического отображения, содержащий этапы:

- проецирования первого изображения и второго изображения с противоположной наблюдателю стороны на соответствующее прозрачное голографическое индикаторное устройство из нескольких голографических индикаторных устройств таким образом, что у наблюдателя голографического индикаторного устройства возникает впечатление трехмерного динамического отображения, причем каждое голографическое индикаторное устройство представляет одно и то же виртуальное трехмерное динамическое отображение с отличной от других индикаторных устройств перспективы взгляда и каждая перспектива взгляда на виртуальное трехмерное динамическое отображение предоставляется согласно расположению голографического индикаторного устройства по отношению к виртуальному трехмерному динамическому отображению,

- обнаружения положения глаз наблюдателя,

- поворота голографического индикаторного устройства вокруг вертикальной оси таким образом, что направление взгляда наблюдателя ориентировано в сагиттальной плоскости перпендикулярно голографическому индикаторному устройству,

причем виртуальное трехмерное динамическое отображение предоставляется нескольким находящимся рядом друг с другом наблюдателям.

11. Способ по п. 10, содержащий этапы:

обнаружения положения глаз наблюдателя виртуального трехмерного динамического отображения,

фиксации точки начала отсчета на голографическом индикаторном устройстве,

расчета линии связи от положения глаз через точку начала отсчета в виртуальное трехмерное динамическое отображение,

обнаружения визируемого наблюдателем объекта в виртуальном трехмерном динамическом отображении.

Images