RU2667720C1 - Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве - Google Patents

Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве Download PDF

Info

Publication number
RU2667720C1
RU2667720C1 RU2017119469A RU2017119469A RU2667720C1 RU 2667720 C1 RU2667720 C1 RU 2667720C1 RU 2017119469 A RU2017119469 A RU 2017119469A RU 2017119469 A RU2017119469 A RU 2017119469A RU 2667720 C1 RU2667720 C1 RU 2667720C1
Authority
RU
Russia
Prior art keywords
sphere
screen
image
virtual
images
Prior art date
Application number
RU2017119469A
Other languages
English (en)
Inventor
Сыцун ЧЖАН
Original Assignee
Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд.
Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд., Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд. filed Critical Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд.
Application granted granted Critical
Publication of RU2667720C1 publication Critical patent/RU2667720C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Abstract

Изобретение относится к системе дополненной реальности. Технический результат заключается в повышении эффективности имитационного моделирования и управления виртуальной сферой в мобильном устройстве. Технический результат достигается за счет получения изображений с использованием блока получения изображений в мобильном устройстве, с тем чтобы получить последовательность непрерывных изображений; анализ содержания изображений; в последовательности полученных изображений выполнения, согласно конкретному правилу, взаимодействия между виртуальной сферой и содержанием изображений, а также пользователем; и отображения результата взаимодействия на экране мобильного устройства; причем правила взаимодействия содержат по меньшей мере одно из следующего: наличие неупругого соударения между сферой и цветовыми границами в изображении; наличие неупругого соударения между сферой и левым, правым и нижним краями экрана; на экране сфера испытывает воздействие виртуального гравитационного поля, причем виртуальное гравитационное поле направлено от верхней части экрана к нижней части экрана; наличие неупругого соударения между сферой и пальцем пользователя; сфера вылетает с экрана вверх и свободно падает в направлении нижней части экрана после вылета из экрана. 4 з.п. ф-лы, 6 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к системе дополненной реальности и, в частности, касается способа имитационного моделирования и управления виртуальной сферой в мобильном устройстве.
УРОВЕНЬ ТЕХНИКИ
С распространением мобильных устройств и технологий большое значение приобрела разработка и совершенствование систем дополненной реальности на мобильных устройствах в ходе продвижения и доработки технологии дополненной реальности. Технология дополненной реальности позволяет улучшить иммерсивное ощущение пользователя путем комбинирования виртуальной информации с реальной сценой. Команды, отражающие действия пользователя, могут фиксироваться датчиком или экраном камеры.
Стандартные системы человеко-машинного взаимодействия на компьютерной основе обычно базируются на использовании устройств типа мыши и клавиатуры. Однако в том случае, когда на мобильном устройстве реализована система дополненной реальности, взаимодействие через клавиатуру сопровождается дрожанием, что значительно влияет на точность взаимодействия. В реальной жизни люди могут гибко манипулировать реальным объектом, таким как сферический объект, используя руки наряду со зрительными ощущениями, осязанием и усилием, и человеческие руки стали наиболее прямым, естественным и практичным средством для общения с внешним миром.
Однако взаимодействия между человеком и сферическим объектом в известном уровне техники обычно делятся на два типа: (1) взаимодействие между человеком и реальной сферой; (2) взаимодействие между человеком и виртуальной сферой, реализуемое путем фиксации местоположения человека с использованием специального устройства физического обнаружения, такого как инфракрасный датчик.
Таким образом имеется потребность в устройстве для имитационного моделирования и управления виртуальной сферой, которое без задержек реализует взаимодействие между пользователем и виртуальной сферой без использования дополнительного устройства.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Согласно одному варианту осуществления настоящее изобретение обеспечивает способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве, содержащий: получение изображений с использованием блока получения изображений в мобильном устройстве, с тем чтобы получить последовательность непрерывных изображений; анализ содержания изображений; в последовательности полученных изображений, выполнение согласно конкретному правилу взаимодействия между виртуальной сферой и содержанием изображений, а также пользователем; и отображение результата взаимодействия на экране мобильного устройства.
Предпочтительно, анализ содержания изображений содержит: вычисление краев изображений в окрестности виртуальной сферы; вычисление скорости и направления соударения; обновление местоположения виртуальной сферы; и отображение виртуальной сферы.
Предпочтительно, правила взаимодействия содержат по меньшей мере одно из следующего: появление неупругого соударения между сферой и цветовыми границами в изображении; появление неупругого соударения между сферой и левым, правым и нижним краями экрана; на экране сфера испытывает воздействие виртуального гравитационного поля и в результате как бы «падает» в направлении нижней части экрана, причем виртуальное гравитационное поле направлено от верхней части экрана к нижней части экрана; появление неупругого соударения между сферой и пальцем пользователя, причем угол и сила соударения между сферой и пальцем учитывается при появлении указанного соударения; сфера вылетает с экрана вверх, и свободно падает просто в направлении нижней части экрана после вылета из экрана; учет только соударения между нижней частью сферы и содержанием изображения, а также пальцем пользователя.
Предпочтительно, вычисление краев изображения в окрестности виртуальной сферы содержит: преобразование входного изображения в изображение в оттенках серого; вычисление гистограммы оттенков серого нижней части виртуальной сферы; построение кривой вероятности оттенков серого с использованием упомянутой гистограммы; и принятие построенной кривой вероятности в качестве основы для оценки упомянутых краев.
Предпочтительно, край изображения представляет собой соединение областей, имеющих разные вероятности оттенков серого.
Предпочтительно, скорости соударения в поперечном и продольном направлениях не зависят друг от друга, причем упомянутая скорость в поперечном направлении пропорциональна расстоянию между точкой контакта в поперечном направлении до центра виртуальной сферы, а упомянутая скорость в продольном направлении обратно пропорциональна расстоянию от точки контакта в продольном направлении до центра сферы.
Согласно раскрытой здесь сущности изобретения и согласно соответствующим подробным описаниям чертежей специалистам в данной области техники станут очевидными другие цели, признаки и преимущества настоящего изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Чертежи иллюстрируют варианты осуществления настоящего изобретения и используются вместе с описанием изобретения для разъяснения его принципов. На чертежах:
фиг. 1 – иллюстрирует способ имитационного моделирования и управления виртуальной сферой согласно варианту осуществления настоящего изобретения;
фиг. 2 - схема, иллюстрирующая сценарий применения варианта осуществления настоящего изобретения;
фиг. 3 - блок-схема последовательности операций, иллюстрирующая, каким образом можно реализовать этап анализа содержания изображения по фиг. 1;
фиг. 4 - блок-схема последовательности операций иллюстрирующая, каким образом можно вычислить края изображения в окрестности сферы;
фиг. 5 - изображение в оттенках серого при отсутствии какого-либо другого объекта, вошедшего в пространство сферы;
фиг. 6 - изображение в оттенках серого в случае, когда в пространство сферы вошел другой объект.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В вариантах осуществления согласно настоящему изобретению раскрыт способ имитационного моделирования и управления виртуальной сферой для мобильного устройства. В иллюстративных целях в последующих описаниях использованы конкретные детали, с тем, чтобы обеспечить исчерпывающее понимание вариантов осуществления настоящего изобретения. Однако специалистам в данной области техники очевидно, что варианты осуществления настоящего изобретения можно реализовать без указанных конкретных деталей.
В настоящем изобретении фиксация ординарных изображений выполняется с использованием известного пользователям устройства получения изображений, такого как сотовый телефон, планшетный компьютер и домашняя камера, а эффект взаимодействия между человеком и виртуальной сферой достигается путем использования результата интеллектуального анализа изображений. В частности, в настоящем изобретении раскрыта система, которая получает информацию об изображении путем использования устройства получения изображений (такого как камера), создает виртуальную сферу с использованием вычислительного устройства (такого как персональный компьютер, сотовый телефон, планшетный компьютер и т.д.), выполняет интеллектуальный анализ содержания полученного изображения, с использованием способа обработки изображения, взаимодействует с виртуальной сферой на основе упомянутого анализа и, наконец, отображает результат взаимодействия и упомянутое изображение на устройстве отображения (таком как сотовый телефон, дисплей и т.д.).
На фиг. 1 показан способ 100 имитационного моделирования и управления виртуальной сферой согласно варианту осуществления настоящего изобретения. Способ 100 в основном содержит три этапа: получение изображений, анализ содержания изображений и отображение результата взаимодействия.
В частности, в ходе получения изображений получают последовательность непрерывных изображений путем использования известного устройства получения изображений (такого как сотовый телефон и камера настольного персонального компьютера). Устройство получения изображений является мобильным устройством, которое не влияет на результат взаимодействия с виртуальной сферой.
В ходе анализа содержания изображений согласно настоящему изобретению предполагается, что виртуальная сфера взаимодействует с содержанием изображения и пользователем в последовательности полученных изображений согласно конкретному правилу. Далее в качестве примера будет описано виртуальное жонглирование мячом. Заметим, что виртуальное жонглирование мячом используется здесь просто для объяснения того, как виртуальная сфера взаимодействует с содержанием изображений и пользователем (но не как какое-либо ограничение настоящего изобретения в смысле вариантов его осуществления), и поэтому в объем настоящего изобретения попадает любое приложение, содержащее взаимодействия между виртуальной сферой и изображением, а также пользователем.
На фиг. 2 представлена схема, иллюстрирующая сценарий применения варианта осуществления настоящего изобретения. Как показано на фиг. 2, пользователь держит в руках устройство (такое как сотовый телефон), нацеливает камеру телефона на выполнение конкретного сценария S и ориентирует экран дисплея в сторону пользователя. Затем пользователь помещает свой палец в сценарий S, на выполнение которого ориентировано устройство получения изображений (такое как камера сотового телефона), чтобы взаимодействовать с мячом для виртуального жонглирования. Правила взаимодействия состоят в следующем:
(1) возникает неупругое соударение сферы с цветными границами в изображении;
(2) возникает неупругое соударение указанной сферы с левым, правым и нижним краями экрана;
(3) на экране указанная сфера подвергается воздействию виртуального гравитационного поля в направлении от верхней части экрана к нижней части экрана, в результате чего она «падает» в направлении нижней части экрана;
(4) возникает неупругое соударение указанной сферы с пальцем пользователя, причем при возникновении соударения необходимо учесть угол и силу соударения сферы и пальца;
(5) сфера вылетает с экрана вверх и свободно падает в направлении нижней части экрана после вылета с экрана;
(6) засчитывается только соударение нижней части сферы с содержанием изображения, а также с пальцем пользователя, а соударение верхней части сферы не засчитывается;
(7) термин «сфера» используется просто для указания на виртуальную сферу, которая в действительности отображается на экране в виде правильного круга.
Специалистам в данной области техники должно быть очевидно, что вид взаимодействия согласно настоящему изобретению включает в себя любое устройство взаимодействия, удовлетворяющее перечисленным правилам, и любой вид взаимодействия на основе обработки изображений. Например, виртуальная сфера, использованная в настоящем изобретении, не ограничивается мячом для виртуального жонглирования, то есть, это может быть виртуальный камень для керлинга, виртуальный пинг-понг, виртуальный баскетбол и т.д.
На фиг. 3 представлена блок-схема последовательности операций, иллюстрирующая способ реализации этапа анализа содержания изображения по фиг. 1. На этапе 31 вводится следующий кадр изображения. На этапе 32 вычисляют края изображения в окрестности сферы. На этапе 33 вычисляют скорость и направление соударения. На этапе 34 обновляют местоположение упомянутой сферы. На этапе 35 выполняют отображение упомянутой сферы. На этапе 36 определяют, выполнен ли анализ содержания изображения. Если выполнен, то процесс обработки завершается. Если нет, то процесс возвращается к этапу 31.
Вычисление краев изображения в окрестности сферы
На фиг.4 представлена блок-схема последовательности операций, иллюстрирующая процесс вычисления краев изображения в окрестности сферы. Принцип вычисления краев изображения в окрестности сферы состоит в следующем: в настоящем приложении цвет нижней части сферы рассматривается как один цвет. При наличии двух или более оттенков серого считается, что некоторые объекты входят в пространство сферы для взаимодействия со сферой. Конкретный вычислительный процесс включает вычисление гистограммы и построение кривой вероятности.
Как показано на фиг. 4, сначала входное изображение преобразуют в изображение в оттенках серого. Затем вычисляют гистограмму H, показывающую оттенки серого нижней части сферы. Затем гистограмму H, показывающую оттенки серого, используют для построения кривой вероятности, показывающей оттенки серого. И, наконец, выполняют оценку краев в соответствии с построенной кривой вероятности.
А. Вычисление гистограммы
На фиг. 5 представлено изображение в оттенках серого, когда в пространство сферы не вошел никакой другой объект. В этом изображении серая область является пространством, в котором вычисляют гистограмму цвета.
Способ вычисления гистограммы цвета:
Figure 00000001
Figure 00000002
H обозначает матрицу, состоящую из 256 элементов, каждый из которых представляет несколько пикселей со значением оттенка серого, равным i, в изображении в оттенках серого. Области значений серого на изображении в оттенках серого пересекаются для каждого пикселя P(j), j представляет j-й пиксель, а N - общее количество пикселей в области оттенков серого. Если значение P(j)=i, то H(i)= H(i)+1.
B. Построение кривой вероятности
На фиг. 6 представлено изображение в оттенках серого в том случае, когда в пространство сферы входит другой объект. Как было установлено выше, после вычисления H согласно настоящему изобретению в качестве основного оттенка серого для фона принимается оттенок серого, присутствующий в подавляющем большинстве пикселей, а пиксели других оттенков серого представляют интерактивный объект, который входит в объем тела сферы.
Вероятность появления вычисляется как:
Figure 00000003
D(j) представляет значение оттенка серого каждого пикселя кривой малой вероятности, j представляет j-й пиксель, H Max представляет максимальное значение среди 256 элементов гистограммы. В полученном изображении D, чем больше значение оттенка серого, тем меньше цветов в объеме тела сферы, то есть, тем выше вероятность того, что указанные пиксели представляют собой взаимодействующий объект, входящий в упомянутую сферу. Тогда края изображения представляют соединение двух областей, имеющих разные вероятности появления, то есть соединение областей, имеющих разные вероятности оттенков серого.
Вычисление скорости и направления соударения
Согласно настоящему изобретению в кривой D вероятности появления, построенной на предыдущем этапе, центр тяжести области, имеющей большую вероятность того, что пиксели представляют собой взаимодействующий объект, является точкой P Int взаимодействия взаимодействующего объекта и сферы, а отклонение P Int относительно центра сферы между горизонтальной и вертикальной координатами (пиксели) представляет силу в интерактивном горизонтальном и вертикальном направлениях, причем скорости в горизонтальном и вертикальном направлениях не зависят друг от друга.
Способ вычисления точки взаимодействия заключается в следующем:
P Int (X C , Y C )
Figure 00000004
X и Y представляют горизонтальную координату и вертикальную координату области, имеющей большую вероятность, D(j) -вероятность, вычисленная на предыдущем этапе, X C и Y C - координаты центра тяжести. Скорость в поперечном направлении пропорциональна расстоянию от точки контакта в направлении X до центра сферы, причем, чем больше расстояние от точки контакта до центра сферы, тем выше скорость контакта. Продольная скорость обратно пропорциональна расстоянию от точки контакта в направлении Y до центра сферы, причем, чем короче расстояние от точки контакта до центра сферы, тем выше скорость контакта.
Figure 00000005
Нижний индекс Max представляет максимальные скорости в поперечном направлении и в продольном направлении, которые имеют предварительно установленные фиксированные значения.
Обновление местоположения сферы
Согласно настоящему изобретению местоположение сферы перемещается независимо в поперечном направлении и продольном направлении, начиная с начального статичного состояния. В поперечном направлении сфера перемещается равномерно по прямой со скоростью V X соударения после каждого возникновения взаимодействия (в результате соприкосновения с рукой, краями изображения и границами экрана). В продольном направлении сфера подбрасывается вертикально вверх с начальной скоростью, равной скорости V Y соударения после возникновения взаимодействия в продольном направлении (смотри:
http://baike.baidu.com/link?url=tJ8e6IfmpCZqSxfLM98X7_qCWeuq2JQBHDCRJfb8GxDqZHhCqxeHuJ_9GokBCSzZ)
Текущее местоположение сферы выражается как:
Figure 00000006
Где нижний индекс t представляет t-ое соударение, Xt и Yt представляют горизонтальную и вертикальную координаты t-го соударения, g - ускорение свободного падения, а T представляет временной интервал между текущим моментом времени и моментом возникновения t-го соударения.
Отображение сферы
Виртуальная сфера отображается на экране с текущими координатами X, Y. Затем все операции заканчиваются.
В настоящем изобретении ординарные изображения фиксируются с использованием общеизвестного потребительского устройства получения изображений (такого как сотовый телефон, планшетный компьютер и домашняя камера), а эффект взаимодействия человека с виртуальной сферой достигается путем использования результата интеллектуального анализа изображений, так что результат взаимодействия человека с указанной сферой отображается пользователю с использованием способа дополненной реальности на основе обработки изображений. Таким образом, настоящее изобретение дает возможность обычному пользователю взаимодействовать с виртуальной сферой, создаваемой на основе технологии дополненной реальности, с использованием обычного устройства получения изображений и устройства отображения, например, сотового телефона и планшетного компьютера, так что пользователь получает более иммерсивное восприятие реальных сцен и лучше приспосабливается к системе дополненной реальности, реализуя тем самым уникальный способ взаимодействия, который невозможно осуществить в известном уровне техники.
Вышеописанный вариант осуществления изобретения является просто предпочтительным вариантом, который не подразумевает ограничения настоящего изобретения. Специалистам в данной области техники очевидно, что в данный вариант осуществления настоящего изобретения можно ввести различные изменения и корректировки, не выходя за рамки существа и объема настоящего изобретения. Таким образом, настоящее изобретение преследует свей целью охват всех возможных корректировок и модификаций, которые вписываются в объем настоящего изобретения, определенный формулой изобретения.

Claims (24)

1. Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве, содержащий:
получение изображений с использованием блока получения изображений в мобильном устройстве, с тем чтобы получить последовательность непрерывных изображений;
анализ содержания изображений;
в последовательности полученных изображений выполнение, согласно конкретному правилу, взаимодействия между виртуальной сферой и содержанием изображений, а также пользователем и
отображение результата взаимодействия на экране мобильного устройства,
причем правила взаимодействия содержат по меньшей мере одно из следующего:
наличие неупругого соударения между сферой и цветовыми границами в изображении;
наличие неупругого соударения между сферой и левым, правым и нижним краями экрана;
на экране сфера испытывает воздействие виртуального гравитационного поля и в результате как бы «падает» в направлении нижней части экрана, причем виртуальное гравитационное поле направлено от верхней части экрана к нижней части экрана;
наличие неупругого соударения между сферой и пальцем пользователя, причем угол и сила соударения между сферой и пальцем учитывается при наличии указанного соударения;
сфера вылетает с экрана вверх и свободно падает в направлении нижней части экрана после вылета из экрана;
учет только соударения между нижней частью сферы и содержанием изображения, а также пальцем пользователя.
2. Способ по п. 1, в котором анализ содержания изображений содержит:
вычисление краев изображений в окрестности виртуальной сферы;
вычисление скорости и направления соударения;
обновление местоположения виртуальной сферы и
отображение виртуальной сферы.
3. Способ по п. 2, в котором вычисление краев изображения в окрестности виртуальной сферы содержит:
преобразование входного изображения в изображение в оттенках серого;
вычисление гистограммы оттенков серого нижней части виртуальной сферы;
построение кривой вероятности оттенков серого с использованием упомянутой гистограммы и
принятие построенной кривой вероятности в качестве основы для оценки упомянутых краев.
4. Способ по п. 3, в котором край изображения представляет собой соединение областей, имеющих разные вероятности оттенков серого.
5. Способ по п. 2, в котором скорости соударения в поперечном и продольном направлениях не зависят друг от друга, причем упомянутая скорость в поперечном направлении пропорциональна расстоянию от точки контакта в поперечном направлении до центра виртуальной сферы, а упомянутая скорость в продольном направлении обратно пропорциональна расстоянию от точки контакта в продольном направлении до центра сферы.
RU2017119469A 2014-11-06 2015-11-03 Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве RU2667720C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410619473.X 2014-11-06
CN201410619473.XA CN104407696B (zh) 2014-11-06 2014-11-06 移动设备的虚拟球模拟及控制的方法
PCT/CN2015/093735 WO2016070800A1 (zh) 2014-11-06 2015-11-03 移动设备的虚拟球模拟及控制的方法

Publications (1)

Publication Number Publication Date
RU2667720C1 true RU2667720C1 (ru) 2018-09-24

Family

ID=52645333

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017119469A RU2667720C1 (ru) 2014-11-06 2015-11-03 Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве

Country Status (6)

Country Link
US (1) US10401947B2 (ru)
JP (1) JP6810048B2 (ru)
CN (1) CN104407696B (ru)
HK (1) HK1204690A1 (ru)
RU (1) RU2667720C1 (ru)
WO (1) WO2016070800A1 (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407696B (zh) 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
CN108735052B (zh) * 2018-05-09 2021-01-08 北京航空航天大学青岛研究院 一种基于slam的增强现实自由落体实验方法
CN110517341A (zh) * 2018-05-21 2019-11-29 北京京东尚科信息技术有限公司 视图的物理动画效果实现方法和装置
CN110278446B (zh) * 2019-06-20 2022-01-28 北京字节跳动网络技术有限公司 确定虚拟礼物展现信息的方法、装置及电子设备
CN113867523A (zh) * 2021-09-08 2021-12-31 北京工业大学 一种基于虚拟现实体感交互的现代冰壶运动模拟系统和方法
CN114001731B (zh) * 2021-10-12 2023-03-07 苏州大学 虚拟圆球模型下极区惯性导航相位调制阻尼方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
US20110254860A1 (en) * 2008-12-03 2011-10-20 Alcatel Lucent Mobile device for augmented reality application
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты
US20120249429A1 (en) * 2011-03-29 2012-10-04 Anderson Glen J Continued virtual links between gestures and user interface elements
US20140306891A1 (en) * 2013-04-12 2014-10-16 Stephen G. Latta Holographic object feedback

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463379B2 (ja) * 1994-10-19 2003-11-05 カシオ計算機株式会社 画像制御装置及び画像制御方法
JP2002082751A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム
JP2005253871A (ja) * 2004-03-15 2005-09-22 Vr Sports:Kk 通信対戦型バーチャルリアリティテニスゲームシステム
US7847808B2 (en) * 2006-07-19 2010-12-07 World Golf Tour, Inc. Photographic mapping in a simulation
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP5288375B2 (ja) * 2008-09-08 2013-09-11 国立大学法人広島大学 印加力推定装置及び方法
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
JP2014006820A (ja) * 2012-06-26 2014-01-16 Honda Motor Co Ltd 車両周辺監視装置
US9741145B2 (en) * 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
CN102902355B (zh) * 2012-08-31 2015-12-02 中国科学院自动化研究所 移动设备的空间交互方法
US9466121B2 (en) * 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US20150185826A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Mapping gestures to virtual functions
CN104407696B (zh) 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты
US20110254860A1 (en) * 2008-12-03 2011-10-20 Alcatel Lucent Mobile device for augmented reality application
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
US20120249429A1 (en) * 2011-03-29 2012-10-04 Anderson Glen J Continued virtual links between gestures and user interface elements
US20140306891A1 (en) * 2013-04-12 2014-10-16 Stephen G. Latta Holographic object feedback

Also Published As

Publication number Publication date
HK1204690A1 (en) 2015-11-27
JP2017534135A (ja) 2017-11-16
US10401947B2 (en) 2019-09-03
CN104407696B (zh) 2016-10-05
WO2016070800A1 (zh) 2016-05-12
US20170315609A1 (en) 2017-11-02
CN104407696A (zh) 2015-03-11
JP6810048B2 (ja) 2021-01-06

Similar Documents

Publication Publication Date Title
RU2667720C1 (ru) Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве
CN104823147B (zh) 作为与应用的交互的多模式用户表达和用户力度
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
CN104364753B (zh) 用于突出显示活动界面元素的方法
RU2644520C2 (ru) Бесконтактный ввод
JP7008733B2 (ja) 挿入される画像コンテンツについての影生成
CN106201173B (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
CN105229582A (zh) 基于近距离传感器和图像传感器的手势检测
WO2022142626A1 (zh) 虚拟场景的适配显示方法、装置、电子设备、存储介质及计算机程序产品
CN111949112A (zh) 对象交互方法及装置、系统、计算机可读介质和电子设备
CN111862341A (zh) 虚拟对象的驱动方法、装置、显示设备及计算机存储介质
WO2022088819A1 (zh) 视频处理方法、视频处理装置和存储介质
CN113867531A (zh) 交互方法、装置、设备及计算机可读存储介质
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
CN113052078A (zh) 空中书写轨迹识别方法、装置、存储介质及电子设备
Kang Effect of interaction based on augmented context in immersive virtual reality environment
CN115047976A (zh) 基于用户交互的多层次ar展示方法、装置和电子设备
WO2018000606A1 (zh) 一种虚拟现实交互界面的切换方法和电子设备
WO2018171196A1 (zh) 一种控制方法、终端及系统
CN108874141B (zh) 一种体感浏览方法和装置
WO2023116562A1 (zh) 图像展示方法、装置、电子设备及存储介质
CN110197459A (zh) 图像风格化生成方法、装置及电子设备
CN106547339A (zh) 计算机设备的控制方法和装置
CN109375866A (zh) 一种屏幕触摸点击响应的方法及实现的系统