RU2362216C1

RU2362216C1 - Устройство для трехмерной манипуляции

Info

Publication number: RU2362216C1
Application number: RU2008118713/09A
Authority: RU
Inventors: Михаил Герцевич Литманович (RU); Михаил Герцевич Литманович; Андрей Михайлович Литманович (RU); Андрей Михайлович Литманович
Original assignee: Михаил Герцевич Литманович; Андрей Михайлович Литманович
Priority date: 2008-05-12
Filing date: 2008-05-12
Publication date: 2009-07-20

Abstract

Изобретение относится к технике оптико-электронных измерительных систем и устройств ввода информации в компьютерные системы и может быть использовано для ввода информации в компьютеры, справочные системы в местах общего пользования, в системах управления домашней техникой и в прочих пассивных и интерактивных системах. Устройство содержит первый и второй излучатели, телевизионную камеру, зоной обзора которой является «поверхность теневой локации», представляющая собой диффузно рассеивающую излучение поверхность и на которую поочередно падают световые потоки от первого и второго излучателя, и вычислительное устройство. Рабочая зона устройства образуется пересечением конусов распространения потоков излучения первого и второго излучателей, падающих на «поверхность теневой локации», на которой образуются поочередно две тени. Вычислительное устройство определяет по ним пространственные координаты пальца и углы его наклона к рабочей области. Изобретение повышает функциональные возможности устройства. 2 з.п. ф-лы, 12 ил.

Description

Предлагаемое изобретение относится к технике оптико-электронных измерительных систем и устройств ввода информации в компьютерные системы. Оно может быть использовано для ввода информации в компьютеры, справочные системы в местах общего пользования, в системах управления домашней техникой и в прочих пассивных и интерактивных системах.

Известен ряд устройств подобного назначения. Например, в патенте США №7006236 В2 от 28.02.2006 г. предлагается устройство, создающее поверхность «виртуальной клавиатуры», касание которой в определенном смысле эквивалентно использованию стандартной компьютерной клавиатуры. Данное устройство содержит телевизионную камеру, оптически сопряженный с ней источник структурированного освещения и вычислительное устройство. Введение пальца в создаваемый источником структурированного освещения поток излучения регистрируется телевизионной камерой. Вычислительное устройство обрабатывает видеоинформацию, поступающую с телевизионной камеры, и определяет координаты точки касания пальца с потоком структурированного излучения.

Известен так же патент США №7151530 В2 от 19.12.2006 г., в котором в дополнение к описанному выше способу используется предыстория касаний, что позволяет повысить надежность распознавания координаты касания пальцем поверхности виртуальной клавиатуры.

Наиболее близким по техническому решению является патент РФ №2278423 от 15.10.2004 г. на «Устройство для интерактивной локализации объектов». В этом устройстве используются два источника подсветки (излучатели) и оптически сопряженный с ними фотоприемник, представляющий собой линейку фоточувствительных элементов, причем фотоприемник охватывает часть периметра контролируемой поверхности. Пересечение оптических потоков излучателей с чувствительной поверхностью фотоприемника и образует поверхность «виртуальной клавиатуры».

Кроме того, в устройство входит вычислительное устройство, осуществляющее управление излучателями, ввод информации с линейки фотоприемников и определение координат точки пересечения пальцем потока излучений, создаваемых излучателями.

Алгоритм работы вычислительного устройства основан на определении центров теней на поверхности линейного фотоприемника, создаваемых при поочередном включении излучателей, и дальнейшем определении координат точки пересечения 2-х линий, соединяющих центр теней с оптическим центром соответствующего излучателя.

Надо отметить, что во всех предложенных устройствах виртуальная клавиатура (как впрочем и реальная) является двумерной, в которых по координате кончика пальца в плоскости касания определяется «нажимаемая» клавиша.

Целью предлагаемого изобретения является повышение функциональных возможностей устройства.

Для этого в известное устройство, содержащее первый и второй излучатели, оптически сопряженный с ними фотоприемник и вычислительное устройство, дополнительно вводится так называемая «поверхность теневой локации», оптически сопряженная с первым и вторым излучателями и фотоприемником, на которую поочередно падают световые потоки от первого и второго излучателя, и представляющая собой диффузно рассеивающую излучение поверхность. Кроме того, фотоприемник представляет собой телевизионную камеру, полем обзора которой является «поверхность теневой локации». Рабочая зона устройства образуется пересечением конусов распространения потоков излучения первого и второго излучателей, падающих на «поверхность теневой локации». При этом при введении пальца (стилуса) оператора в рабочую зону устройства на «поверхности теневой локации» образуются поочередно, по сигналам вычислительного устройства управляющего включением излучателей, две тени. Их изображения с помощью телевизионной камеры вводятся в вычислительное устройство, которое определяет по ним пространственные координаты пальца (стилуса) и углы его наклона к поверхности рабочей области. Эта информация вводится затем в компьютер, к которому подключено данное устройство.

На фиг.1 приведена функциональная схема предлагаемого устройства, где 1, 2 - первый и второй излучатели,

3 - телевизионная камера,

4 - вычислительное устройство,

5 - поверхность теневой локации.

Устройство функционирует следующим образом.

Излучатели 1 и 2 представляют собой точечные источники излучения, например мощные светодиоды с малой площадью рабочего тела инфракрасного излучения, снабженные встроенной формирующей оптикой, а их оптические оси проходят через «поверхность теневой локации» (ПТЛ) 5. Эти излучатели создают два пересекающихся потока излучений Ψ₁ и Ψ₂, падающих на ПТЛ 5.

Далее отраженный от ПТЛ световой поток φ формирует на поверхности оптико-электронного преобразователя (ОЭП) телевизионной камеры 3 изображение ПТЛ. При этом, в случае появления в рабочей зоне устройства пальца оператора (стилуса) на ПТЛ образуются последовательно с поочередным включением излучателей 1 и 2 две тени этого пальца (стилуса) и соответственно их изображения на поверхности ОЭП.

Формирование рабочей зоны устройства иллюстрируется на фиг.2, где

6, 7 - оптические центры первого и второго излучателя соответственно,

8 - оптический центр объектива телевизионной камеры,

9 - ОЭП телевизионной камеры (далее просто ОЭП),

5 - ПТЛ,

LN, FN, DF, DL - границы ПТЛ,

LMED, NFEM - боковые поверхности рабочей области,

LMN - передняя плоскость рабочей области,

DEF - задняя граница рабочей области,

α, β, γ - ориентация осевой линии Оυ пальца (стилуса) относительно системы координат OXY (углы Эйлера).

Далее везде используется допущение, что моделью пальца является цилиндр с полусферической верхушкой.

Как видно из фигуры, рабочая зона образуется пересечением световых потоков от обоих излучателей, рассеиваемых на ПТЛ, и «вырезается» боковыми поверхностями LMED и NFEM.

А именно:

боковая поверхность LMED представляет собой плоскость, проходящую через сторону DL и оптический центр первого излучателя 6,

боковая поверхность NFEM представляет собой плоскость, проходящую через сторону NF и оптический центр излучателя 7,

передняя рабочая область NLM представляет собой плоскость, проходящую через сторону LN и оптический центр излучателей 6 и 7,

задняя граница рабочей области DEF представляет собой плоскость, проходящую через сторону DF и оптический центр излучателей 6 и 7.

Вычислительное устройство 4 производит поочередное включение излучателей 1 и 2, определяемое сигналом кадровой синхронизации, формируемым телевизионной камерой 3.

На фиг.3 приведена временная диаграмма работы предлагаемого устройства, где

VertS - сигнал кадровой синхронизации,

I - цифровые отсчеты яркости,

s - количество пикселей фотоприемной матрицы,

Ψ₁ - включение потока 1-го излучателя,

Ψ₂ - включение потока 2-го излучателя,

TSK - цикл обработки данных, поступивших с телевизионной камеры.

Сигналы VertS и I выделяются и оцифровываются в вычислительном устройстве из видеосигнала либо используются исходно в цифровом представлении.

Включение излучателя 1 и выключение излучателя 2 (фиг.3 сигнал Ψ₁) производится в период «нечетного» кадра (фиг.2 фрагмент Video-I), а включение излучателя 2 и выключение излучателя 1 (фиг.3. сигнал Ψ₂) - в период «четного» кадра (фиг.3 фрагмент Video-II).

При этом, во время каждого из этих циклов в память вычислительного устройства вводятся соответствующие выборки видеосигнала I_r, (r=1…s), и далее, например с помощью пороговой обработки, определяются координаты тени пальца на поверхности ОЭП.

Выключение обоих излучателей производится во время цикла обработки данных, производимого вычислительным устройством (фиг.2 сигнал TSK).

В качестве иллюстрации алгоритма, реализуемого вычислительным устройством 4, на фиг.4 приведены фрагменты изображений, формируемых на ОЭП размером 10×20 пиксель, где 9 - поверхность ОЭП,

10, 11 - границы изображения теней, получаемых от пальца оператора при включении излучателя 1 или 2 соответственно,

12, 13 - границы этих же изображений, полученных после пороговой обработки вычислительным устройством 4,

0_mХ_mY_m - система координат, связанная с ОЭП.

Пороговая обработка заключается в сравнении последовательности отсчетов I_r, (r=1…s) с неким определенным заранее уровнем. В результате формируются два массива, задающих в памяти вычислительного устройства координаты теней пальца оператора, для 1-го и 2-го излучателя в системе координат 0_mХ_mY_m, и имеющих например следующую структуру:

где Y - Y-координата границы тени вдоль строки ОЭП,

Х_n - Х-координата начала тени вдоль строки ОЭП (в пикселях),

Х_k - Х-координата конца тени вдоль строки ОЭП (в пикселях).

Для данного примера (фиг.4):

Положение пальца определяется крайними точками изображения его теней с координатами их центров:

a_1m=(1, 15.5);

b_1m=(6, 17);

при включенном 1-м излучателе, и

a_2m=(1, 5);

b_2m=(6, 6.5);

при включенном 2-м излучателе.

На фиг.5 приведена, без соблюдения пропорций, геометрическая схема предлагаемого устройства, позволяющая получить расчетные формулы,

где 6, 7 - оптические центры первого и второго излучателя соответственно,

9 - ОЭП,

5 - ПТЛ,

14, 15, 16, 17 - границы ПТЛ,

18, 19, 20, 21 - границы ОЭП,

22 - общая поверхность, облучаемая излучателями,

23 - 3-х мерная модель кисти руки,

24, 25 - границы теней, образуемых моделью кисти 23 от 1-го и 2-го и излучателей соответственно,

0_р - оптический центр ПТЛ,

0^* - оптический центр ОЭП,

А, В - точки, находящиеся на осевой линии модели пальца, причем точка А образуется пересечением осевой линии модели пальца с передней плоскостью рабочей зоны точка, а точка В находится на кончике пальца (стилуса),

a₁, b₁, a₂, b₂- проекции точек А и В при включении 1 или 2-го излучателей соответственно,

0XY - главная система координат, связанная с ПТЛ,

0_mХ_mY_m - система координат, связанная с ОЭП.

Из простейших соотношений гауссовой оптики, считая, что точки О_р и О^* являются сопряженными, линейное увеличение данной системы равно (4, стр.67):

где f - фокусное расстояние объектива телекамеры с оптическим центром в точке 8,

L - расстояние от точки О_Р до точки 8.

Пусть измеренные в системе координат 0_mХ_mY_m точки а_1m, b_1m, a_2m, b_2m имеют следующие координаты:

соответственно.

Отсюда, координаты сопряженных им точек на ПТЛ - а₁, b₁, a₂, b₂ (учитывая, что реально V>>1) равны:

соответственно.

Учитывая, что координаты оптических центров 6 и 7 излучателей 1 и 2 в системе координат OXYZ равны (X₁, 0, Z₁) и (X₂, 0, Z₂), может быть составлена следующая система уравнений (5, стр.81):

- для точки А:

откуда получаем:

Решая систему 6 относительно Х_A и Z_A, (Y_A=0;), определяем координаты точки А;

- для точки B:

откуда получаем:

Решая систему 8 относительно Х_B, Y_B и Z_B, определяем координаты точки В.

На фиг.6, 7, 8, 9, 10 приведены примеры формируемых на ПТЛ теней при различных углах наклона пальца, где:

a₁, b₁, a₂, b₂ - проекции точек А, В при включении 1 или 2-го излучателей соответственно.

Обозначим:

(X_a1, Y_a1), (X_b1, Y_b1) - координаты точек А, В на ПТЛ при включении 1-го излучателя,

(X_a2, Y_a2), (X_b2, Y_b2) - координаты точек А, В на ПТЛ при включении 2-го излучателя.

При этом соответствующие координаты их изображений на ОЭП:

(X_a1m, Y_a1m), (X_b1m, Y_b1m);

(X_a2m, Y_a2m), (X_b2m, Y_b2m);

Рассмотрим следующие ориентации пальца оператора относительно передней рабочей плоскости LMN:

Фиг.6 - палец перпендикулярен плоскости LMN, при этом α=90°, β=0°, γ=90°,

Фиг.7 - палец имеет наклон только в горизонтальной плоскости, при этом α>90°, β=0°, γ=90°;

Фиг.8 - палец имеет наклон только в горизонтальной плоскости, при этом α<90°, β=0°, γ=90°;

Фиг.9 - палец имеет наклон только в вертикальной плоскости, при этом α=90°, β<0°, γ>90°;

Фиг.10 - палец имеет наклон только в вертикальной плоскости, при этом α=90°, β>0°, γ<90°;

Таким образом, реализуя в вычислительном устройстве следующий алгоритм проверки:

может быть определено направление ориентации пальца, что допускает использование предлагаемого устройства, аналогичное двухкнопочной панели Touch Pad большинства ноутбуков.

А именно, сценарий взаимодействия может заключаться в следующем:

Сначала производится целеуказание объекта на экране монитора по пространственным координатам кончика пальца.

Далее, для реализации левого или правого «клика» может быть использован наклон этого пальца движением кисти (оставляя неподвижным кончик пальца) соответственно влево или вправо (аналог нажатия левой или правой кнопки Touch Pad). Функция прокрутки текста может быть выбрана наклоном пальца вверх или вниз.

Кроме возможного выполнения ПТЛ в виде диффузного отражателя существует вариант в виде диффузного рассеивателя, например матового стекла.

На фиг.11 приведена функциональная схема данного решения. При этом телевизионная камера расположена под ПТЛ и регистрирует изображение, сформированное на ПТЛ и прошедшее через нее.

Может быть предложен еще один вариант, при котором сама ПТЛ выполнена так, что возможно непосредственное (без использования телевизионной камеры 3) определение положения теней на ПТЛ. Для этого на ПТЛ, изображенной на фиг.12 и выполненой в виде печатной платы 26, размещается множество фотоприемников 27, в качестве которых могут быть использованы фототранзисторы в SMD корпусе. Дальнейшая обработка сводится к вводу в вычислительное устройство 4 сигналов фотоприемников 27, определения координат точек a₁, b₁, a₂, b₂ (фиг.5) на ПТЛ и пространственного положения пальца решением систем уравнений 6 и 8.

Вычислительное устройство во всех случаях может быть реализовано на базе достаточно производительного процессора, например, серии ARM, MSP430, AVR и пр.

Литература:

1. Патент США №7006236 В2 от 28.02.2006 г.

2. Патент США №7151530 В2 от 19.12.2006 г.

3. Патент РФ №2278423 от 15.10.2004 г. (прототип).

4. Справочник конструктора оптико-механических приборов. Под общ. ред. В.А.Панова. Л.: Машиностроение, 1980 г.

5. Г.Корн и Т.Корн. Справочник по математике, М.: Наука, 1968 г.

Claims

1. Устройство для трехмерной манипуляции, содержащее оптически сопряженные первый и второй излучатели и приемник излучения, подключенные к вычислительному устройству, отличающееся тем, что дополнительно содержит поверхность теневой локации, выполненную в виде диффузного рассеивателя излучения, оптически сопряженную с первым и вторым излучателями и с приемником излучения, причем приемник излучения представляет собой телевизионную камеру, полем обзора которой является поверхность теневой локации, при этом пересечение оптических потоков, формируемых излучателями на поверхности теневой локации, обеспечивает формирование трехмерной рабочей зоны, а вычислительное устройство поочередно включает один из излучателей, вводит координаты появляющейся на поверхности теневой локации тени и рассчитывает пространственное положение объекта.

2. Устройство по п.1, отличающееся тем, что поверхность теневой локации, над которой находятся первый и второй излучатели, выполнена в виде диффузно прозрачной поверхности, при этом телевизионная камера расположена под поверхностью теневой локации.

3. Устройство по п.1, отличающееся тем, что приемник излучения выполнен в виде матрицы фотоприемников, занимающей всю поверхность теневой локации.