Claims (37)
1. Способ, предусматривающий фиксирование изображений из движущейся мобильной камеры; определение описания движения движущейся мобильной камеры на основе фиксированных изображений; обеспечение пользовательского интерфейса к прикладной программе на интерфейсном устройстве и автоматическое определение входного сигнала пользователя к прикладной программе на основе определенного движения.1. A method comprising capturing images from a moving mobile camera; determining a description of the motion of a moving mobile camera based on fixed images; providing a user interface to the application program on the interface device; and automatically detecting a user input to the application program based on a specific movement.
2. Способ по п.1, в котором интерфейсное устройство физически связано с мобильной камерой.2. The method according to claim 1, wherein the interface device is physically connected to a mobile camera.
3. Способ по п.1, в котором интерфейсное устройство физически интегрировано в устройство, включающее в себя мобильную камеру.3. The method according to claim 1, wherein the interface device is physically integrated in a device including a mobile camera.
4. Способ по п.1, в котором определение описания движения определяется автоматически.4. The method according to claim 1, in which the definition of the description of the movement is determined automatically.
5. Способ по п.1, в котором определение описания движения предусматривает определение одной или более величины и ориентации.5. The method according to claim 1, in which the definition of the description of the movement provides for the determination of one or more values and orientations.
6. Способ по п.1, в котором определение описания движения движущейся мобильной камеры предусматривает вычисление поворота движущейся мобильной камеры в двух степенях свободы.6. The method according to claim 1, in which the definition of the description of the movement of a moving mobile camera includes calculating the rotation of a moving mobile camera in two degrees of freedom.
7. Способ по п.1, в котором определение описания движения движущейся мобильной камеры предусматривает вычисление поворота движущейся мобильной камеры в трех степенях свободы.7. The method according to claim 1, in which the determination of the description of the movement of a moving mobile camera provides for calculating the rotation of a moving mobile camera in three degrees of freedom.
8. Способ по п.1, в котором определение описания движения движущейся мобильной камеры предусматривает вычисление поступательного движения движущейся мобильной камеры.8. The method according to claim 1, in which the determination of the description of the movement of a moving mobile camera includes calculating the translational motion of a moving mobile camera.
9. Способ по п.1, в котором определение описания движения движущейся мобильной камеры предусматривает вычисление движения движущейся мобильной камеры относительно исходного положения движущейся мобильной камеры.9. The method according to claim 1, in which the determination of the description of the movement of the moving mobile camera includes calculating the movement of the moving mobile camera relative to the initial position of the moving mobile camera.
10. Способ по п.9, в котором исходное положение движущейся мобильной камеры может быть восстановлено прикладной программой.10. The method according to claim 9, in which the initial position of the moving mobile camera can be restored by the application program.
11. Способ по п.1, в котором определение описания движения движущейся мобильной камеры предусматривает определение движения элементов в фиксированных изображениях и определение движения мобильной камеры на основе движения элементов.11. The method according to claim 1, in which the definition of the description of the movement of a moving mobile camera includes determining the movement of elements in fixed images and determining the movement of the mobile camera based on the movement of the elements.
12. Способ по п.11, в котором определение описания движения движущейся мобильной камеры дополнительно предусматривает сегментирование элементов на основе определенного движения элементов во множестве движущихся элементов, которые движутся относительно реального кадра ссылки.12. The method according to claim 11, in which the definition of the description of the movement of a moving mobile camera further provides for segmenting elements based on a specific movement of elements in a variety of moving elements that move relative to the real frame of the link.
13. Способ по п.12, в котором сегментирование движущихся элементов предусматривает выбор множества элементов, покрывающих наибольшую площадь, и игнорирование невыбранных элементов.13. The method according to item 12, in which the segmentation of moving elements provides for the selection of many elements covering the largest area, and ignoring unselected elements.
14. Способ по п.12, в котором сегментирование движущихся элементов предусматривает игнорирование элементов, которые не имеют направления и величины, подобных значительному множеству элементов.14. The method according to item 12, in which the segmentation of moving elements includes ignoring elements that have no direction and magnitude similar to a significant number of elements.
15. Способ по п.1, в котором определение описания движения предусматривает использование оптического потока.15. The method according to claim 1, in which the definition of the description of the movement involves the use of an optical stream.
16. Способ по п.1, в котором определение описания движения предусматривает выделение элементов из фиксированных изображений; сравнение изображений для согласования элементов, представленных более чем в одном изображении; определение вектора потока для согласованных элементов вычислением смещения в положении элемента в текущем изображении относительно положения элемента в предшествующем изображении и определение движения мобильной камеры на основе векторов потока, определенных для согласованных элементов.16. The method according to claim 1, in which the definition of the description of the movement provides for the selection of elements from fixed images; image comparison to match elements represented in more than one image; determining a flow vector for the matched elements by calculating an offset in the position of the element in the current image relative to the position of the element in the previous image; and determining the motion of the mobile camera based on the flow vectors defined for the matched elements.
17. Способ по п.16, в котором выделение элементов из фиксированных изображений предусматривает детектирование, по меньшей мере, углов или краев.17. The method according to clause 16, in which the selection of elements from fixed images includes detecting at least angles or edges.
18. Способ по п.16, в котором сравнение изображений для согласования элементов предусматривает сначала сравнение блока изображения, расположенного вблизи известного положения элемента в другом изображении.18. The method according to clause 16, in which the comparison of images for matching elements involves first comparing the image block located near the known position of the element in another image.
19. Способ по п.16, в котором сравнение изображений для согласования элементов предусматривает сначала сравнение изображений при низком разрешении при условии, если согласование найдено, сравнение изображений при более высоком разрешении.19. The method according to clause 16, in which the comparison of images for matching elements involves first comparing the images at low resolution, provided that if matching is found, comparing the images at a higher resolution.
20. Способ по п.16, в котором определение движения мобильной камеры, основанное на векторах потока, предусматривает определение движения мобильной камеры в реальных единицах преобразованием движения, определенного в зависимых от изображения единицах.20. The method according to clause 16, in which the definition of the movement of the mobile camera, based on the flow vectors, provides for determining the movement of the mobile camera in real units by converting the movement defined in image-dependent units.
21. Способ по п.1, в котором фиксирование изображений предусматривает фиксирование последовательности изображений, а определение описания движения движущейся мобильной камеры предусматривает определение движения первого элемента, видимого в первом подмножестве изображений в последовательности изображений; определение движения второго элемента, видимого во втором подмножестве изображений в последовательности изображений, частично перекрывающемся с первым подмножеством, причем второй элемент имеет постоянную физическую взаимосвязь с первым элементом, при этом движение второго элемента основано на движении первого элемента, даже если первый элемент не видим во всем втором подмножестве изображений; и определение описания движения движущейся мобильной камеры на основе определенных движений первого и второго элементов.21. The method according to claim 1, in which the image capturing provides for capturing a sequence of images, and determining the description of the motion of a moving mobile camera provides for determining the motion of the first element visible in the first subset of images in the image sequence; determining the motion of the second element visible in the second subset of images in a sequence of images partially overlapping with the first subset, the second element having a constant physical relationship with the first element, while the movement of the second element is based on the movement of the first element, even if the first element is not visible throughout a second subset of images; and determining a description of the movement of the moving mobile camera based on certain movements of the first and second elements.
22. Способ по п.1, в котором входной сигнал пользователя имитирует функцию датчика наклона и регулирует наклон объекта в прикладной программе.22. The method according to claim 1, in which the user input signal simulates the function of the tilt sensor and adjusts the tilt of the object in the application program.
23. Способ по п.1, в котором входной сигнал пользователя контролирует движение шара в прикладной программе.23. The method according to claim 1, in which the input of the user controls the movement of the ball in the application program.
24. Способ по п.1, в котором входной сигнал пользователя контролирует функцию управления транспортным средством в прикладной программе.24. The method according to claim 1, wherein the user input controls the vehicle control function in the application program.
25. Способ по п.1, в котором входной сигнал пользователя контролирует функцию прицеливания объекта в прикладной программе.25. The method according to claim 1, in which the input signal of the user controls the function of aiming the object in the application program.
26. Способ по п.1, в котором входной сигнал пользователя контролирует функцию навигации объекта в прикладной программе.26. The method according to claim 1, in which the input signal of the user controls the navigation function of the object in the application program.
27. Способ по п.1, в котором входной сигнал пользователя контролирует движение сочлененного символа в прикладной программе.27. The method according to claim 1, in which the input of the user controls the movement of the articulated symbol in the application program.
28. Способ по п.1, в котором входной сигнал пользователя контролирует движение частиц в прикладной программе имитации частиц.28. The method according to claim 1, in which the user input controls the movement of particles in the particle simulation application.
29. Способ по п.1, в котором входной сигнал пользователя определяется, когда величина определенного движения больше порогового значения.29. The method according to claim 1, in which the input signal of the user is determined when the magnitude of a certain movement is greater than a threshold value.
30. Способ по п.1, в котором прикладная программа является, по меньшей мере, игрой, или прикладной программой слежения, или прикладной программой обеспечения безопасности.30. The method according to claim 1, wherein the application program is at least a game, or a tracking application, or a security application.
31. Способ по п.1, в котором движущаяся мобильная камера физически связана с сотовым телефоном.31. The method according to claim 1, in which a moving mobile camera is physically connected to a cell phone.
32. Портативное устройство, содержащее камеру и процессор, конфигурированный для фиксирования изображений из камеры; определения описания движения портативного устройства на основе фиксированных изображений; обеспечения пользовательского интерфейса к прикладной программе на интерфейсном устройстве и автоматического определения входного сигнала пользователя к прикладной программе на основе определенного движения.32. A portable device comprising a camera and a processor configured to capture images from a camera; determining a motion description of a portable device based on fixed images; providing a user interface to the application program on the interface device; and automatically detecting a user input to the application program based on a specific movement.
33. Портативное устройство по п.32, в котором процессор дополнительно конфигурирован для определения описания движения портативного устройства путем выделения элементов из фиксированных изображений; сравнения изображений для согласования элементов, представленных в более чем одном изображении; определения вектора потока согласованных элементов вычислением смещения в положении элемента в текущем изображении относительно положения элемента в предшествующем изображении и определения движения портативного устройства на основе векторов потока, определенных для согласованных элементов.33. The portable device according to p, in which the processor is additionally configured to determine the description of the movement of the portable device by extracting elements from fixed images; comparing images to match elements represented in more than one image; determining the flow vector of the matched elements by calculating the offset in the position of the element in the current image relative to the position of the element in the previous image; and determining the movement of the portable device based on the flow vectors defined for the matched elements.
34. Удобочитаемый компьютером носитель данных или распространяемый сигнал, имеющий реализованную на нем компьютерную программу, содержащую захватывающий кодовый сегмент для фиксации изображений из движущейся мобильной камеры; определяющий кодовый сегмент для определения описания движения движущейся мобильной камеры на основе фиксированных изображений; обеспечивающий кодовый сегмент для обеспечения пользовательского интерфейса к прикладной программе на интерфейсном устройстве и определяющий кодовый сегмент для автоматического определения входного сигнала пользователя к прикладной программе на основе определенного движения.34. A computer-readable storage medium or a distributed signal having a computer program implemented thereon comprising an exciting code segment for capturing images from a moving mobile camera; a determining code segment for determining a description of the movement of a moving mobile camera based on fixed images; providing a code segment for providing a user interface to the application program on the interface device; and determining a code segment for automatically determining a user input signal to the application program based on a specific motion.
35. Носитель данных или сигнал по п.34, в котором захватывающий кодовый сегмент для фиксации изображений из движущейся мобильной камеры содержит кодовый сегмент для фиксации последовательности изображений, а определяющий кодовый сегмент для определения описания движения движущейся мобильной камеры содержит кодовый сегмент для определения движения первого элемента, видимого в первом подмножестве изображений в последовательности изображений; кодовый сегмент для определения движения второго элемента, видимого во втором подмножестве изображений в последовательности изображений, частично перекрывающемся с первым подмножеством, причем второй элемент имеет постоянную физическую взаимосвязь с первым элементом, при этом движение второго элемента основано на движении первого элемента, даже если первый элемент не является видимым во всем втором подмножестве изображений; и кодовый сегмент для определения описания движения движущейся мобильной камеры на основе определенных движений первого и второго элементов.35. The storage medium or signal according to clause 34, in which the capturing code segment for capturing images from a moving mobile camera contains a code segment for capturing a sequence of images, and the determining code segment for determining a description of the movement of a moving mobile camera contains a code segment for determining the movement of the first element visible in the first subset of images in the image sequence; a code segment for determining the movement of the second element visible in the second subset of images in an image sequence partially overlapping with the first subset, the second element having a constant physical relationship with the first element, while the movement of the second element is based on the movement of the first element, even if the first element is not is visible in the entire second subset of images; and a code segment for determining a description of the movement of the moving mobile camera based on the determined movements of the first and second elements.
36. Портативный телефон, содержащий камеру, интегрально образованную в телефоне; дисплей, интегрально образованный в телефоне; обрабатывающее устройство (процессор), физически и коммуникабельно связанное с камерой и дисплеем; и удобочитаемый компьютером носитель данных, физически и коммуникабельно связанный с обрабатывающим устройством и включающий в себя команды для побуждения обрабатывающего устройства выполнять, по меньшей мере, следующее: прием фиксируемых изображений из камеры, определение описания движения телефона на основе принятых изображений, обеспечение пользовательского интерфейса дисплея для прикладной программы, автоматическое определение входного сигнала пользователя к прикладной программе на основе описания движения телефона и обеспечение входного сигнала пользователя к прикладной программе.36. A portable telephone comprising a camera integrally formed in a telephone; a display integrally formed in the telephone; a processing device (processor) physically and communicatively associated with the camera and display; and a computer-readable storage medium physically and communicatively connected to the processing device and including instructions for causing the processing device to perform at least the following: receiving captured images from the camera, determining a description of the phone’s movement based on the received images, providing a display user interface for application program, automatic determination of the user's input signal to the application program based on the description of the movement of the phone and providing ix user to the application of the input signal.
37. Телефон по п.36, в котором удобочитаемый компьютером носитель данных является интегральной частью обрабатывающего устройства.
37. The phone according to clause 36, in which the computer-readable storage medium is an integral part of the processing device.