RU2672624C2 - Graphical user interface providing virtual super-zoom functionality - Google Patents
Graphical user interface providing virtual super-zoom functionality Download PDFInfo
- Publication number
- RU2672624C2 RU2672624C2 RU2016112470A RU2016112470A RU2672624C2 RU 2672624 C2 RU2672624 C2 RU 2672624C2 RU 2016112470 A RU2016112470 A RU 2016112470A RU 2016112470 A RU2016112470 A RU 2016112470A RU 2672624 C2 RU2672624 C2 RU 2672624C2
- Authority
- RU
- Russia
- Prior art keywords
- scaling
- layers
- zoom
- fingers
- levels
- Prior art date
Links
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 51
- 230000007480 spreading Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 239000000126 substance Substances 0.000 abstract description 4
- 210000003811 finger Anatomy 0.000 description 51
- 239000010410 layer Substances 0.000 description 40
- 210000000056 organ Anatomy 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000001413 cellular effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000002889 endothelial cell Anatomy 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 210000000813 small intestine Anatomy 0.000 description 5
- 210000004351 coronary vessel Anatomy 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000001225 therapeutic effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- -1 for example Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 206010011091 Coronary artery thrombosis Diseases 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000003851 biochemical process Effects 0.000 description 1
- 230000008827 biological function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000002528 coronary thrombosis Diseases 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000037041 intracellular level Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 230000002438 mitochondrial effect Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000000069 prophylactic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 208000003663 ventricular fibrillation Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Изобретение касается способа и устройства графического интерфейса (GUI) пользователя с целью обеспечения расширенных функциональных возможностей виртуального масштабирования, которыми может управлять пользователь графического дисплея от компьютера или устройства или системы обработки данных.The invention relates to a method and apparatus for a graphical user interface (GUI) for providing enhanced virtual scalability functionality that a graphical display user can control from a computer or data processing device or system.
Уровень техникиState of the art
В частности, в области мобильных вычислительных устройств, в которые входят, помимо прочего, планшетные ПК, лэптопы, мобильные телефоны или карманные персональные компьютеры, ввод информации пользователем с использованием сенсорного экрана становится все более и более популярным. В этих сенсорных экранах реализована определенная технология обнаружения положения курсора по контакту пальцев с экраном дисплея.In particular, in the field of mobile computing devices, which include, but are not limited to, tablet PCs, laptops, mobile phones or personal digital assistants, user input using a touch screen is becoming more and more popular. In these touch screens, a certain technology for detecting the position of the cursor by the contact of the fingers with the display screen is implemented.
Известны отслеживающие несколько событий сенсорные экраны, которые одновременно отслеживают контакты нескольких пальцев. На основе таких отслеженных контактов пальцев, GUI указывает, прокручивает, осуществляет виртуальные трехмерные (3D) операции с отображаемыми объектами. В некоторых случаях отслеживают ввод с помощью жестов пальцев и, в ответ на жесты пальцев, устройство выбирает материал, визуально выделяет выбранный материал и/или обновляет выбранный материал на основе отслеженного ввода информации. В других случаях устройство отображает область отображения команд, которая содержит один или более значок команды, обнаруживает активацию значка команды в области отображения команд и, в ответ на обнаружение активации значка команды в области отображения команд, осуществляет соответствующее действие для выбранного материала. Примерами действий является вырезание, копирование и вставка материала.Touch events that track multiple events are known, which simultaneously track the contacts of several fingers. Based on such traced finger contacts, the GUI indicates, scrolls, performs virtual three-dimensional (3D) operations with displayed objects. In some cases, input is tracked using finger gestures and, in response to finger gestures, the device selects the material, visually highlights the selected material and / or updates the selected material based on the tracked input. In other cases, the device displays a command display area that contains one or more command icons, detects the activation of the command icon in the command display area, and, in response to the detection of the activation of the command icon in the command display area, performs the corresponding action for the selected material. Examples of actions are cutting, copying, and pasting material.
Помимо описанных функциональных возможностей ввода информации пользователем, применяются функциональные возможности по масштабированию, которыми управляет пользователь посредством увеличения или уменьшения расстояния между двумя точками касания двух пальцев. Для обеспечения упомянутых функциональных возможностей масштабирования может быть показана увеличительная лупа, например, в зависимости от контекста, при этом сила увеличения лупы может изменяться на основе размера элемента пользовательского интерфейса, соответствующего расположению жеста на сенсорной поверхности.In addition to the described user input functionality, scaling functionality is applied that the user controls by increasing or decreasing the distance between two touch points of two fingers. To provide the aforementioned scaling functionality, a magnifying magnifier may be shown, for example, depending on the context, and the magnifying force of the magnifying glass may vary based on the size of the user interface element corresponding to the location of the gesture on the touch surface.
Что касается упомянутых функциональных возможностей GUI по масштабированию, существует несколько различных подходов соответственно по управлению вводом информации пользователем или взаимодействию с пользователем.Regarding the mentioned scalability of the GUI functionality, there are several different approaches, respectively, for managing user input or user interaction.
В документе ЕР 0 990 202 А1 описан сенсорный экран GUI, содержащий полный набор значков, отображенных в масштабе, при этом отдельная функция каждого значка понятна, но указанные значки слишком малы для легкого доступа к свойствам функции. С помощью касания области экрана с приспосабливанием области значка, экран предоставляет увеличенный вариант этой области, так что пользователь может выбрать нужное свойство.EP 0 990 202 A1 describes a GUI touch screen containing a full set of icons displayed on a scale, with a separate function of each icon being understood, but these icons are too small for easy access to the properties of the function. By touching the area of the screen with the adjustment of the area of the icon, the screen provides an enlarged version of this area, so that the user can select the desired property.
В документе ЕР 2 492 788 А1 описан способ масштабирования в GUI электронного устройства, содержащего сенсорный экран, указанный способ включает в себя обнаружение первого, второго и третьего события, заключающегося в касании, являющегося результатом первого, второго и третьего взаимодействия с касанием в первой, второй и третьей координате сенсорного экрана, при этом управляют сенсорным экраном с целью осуществления операции масштабирования для изображения, показанного в GUI, в зависимости от первого расстояния между первой и второй координатами и второго расстояния между первой и третьей координатами.EP 2 492 788 A1 describes a method for scaling in a GUI of an electronic device comprising a touch screen, said method comprising detecting a first, second and third touch event resulting from a first, second and third touch interaction in the first, second and the third coordinate of the touch screen, while controlling the touch screen in order to perform the zoom operation for the image shown in the GUI, depending on the first distance between the first and second coordinates and the second distance between the first and third coordinates.
В документе US 2007 294 643 A1 описан GUI для графического управления удобством использования при перемещении по интерактивной графической карте, при этом GUI содержит иерархию слоев, содержащую первый слой и, по меньшей мере, второй слой. Первая полоска отображения диапазона связана с первым слоем и выполнена для показа диапазона масштабов карты, при которых первый слой отображают на оцифрованной карте, а вторая полоска отображения диапазона связана со вторым слоем и выполнена для показа диапазона масштабов карты, при которых второй слой отображают на оцифрованной карте. Иерархия слоев позволяет разработчику карты эффективно организовывать и управлять слоями оцифрованной карты на основе приоритета рисования различных слоев, графических стилей, связанных с каждым из различных слоев, и диапазонов масштаба карты, то есть коэффициентов масштабирования, при которых на оцифрованной карте отображают различные слои.US 2007 294 643 A1 describes a GUI for graphically controlling usability when navigating an interactive graphics card, the GUI comprising a hierarchy of layers comprising a first layer and at least a second layer. The first range display bar is connected to the first layer and is designed to show the map scale range at which the first layer is displayed on a digitized map, and the second range display bar is connected to the second layer and is made to show the map scale range at which the second layer is displayed on a digitized map . The hierarchy of layers allows the map designer to efficiently organize and manage the layers of the digitized map based on the priority of drawing different layers, the graphic styles associated with each of the different layers, and the scale range of the map, i.e. the scaling factors at which different layers are displayed on the digitized map.
Сущность изобретенияSUMMARY OF THE INVENTION
Изобретение касается способа и устройства для предоставления графического интерфейса (GUI) пользователя компьютера или устройства обработки данных для экрана, предпочтительно, сенсорного экрана, при этом GUI показывает, по меньшей мере, один виртуальный двумерный или трехмерный объект таким образом, что пользователь может исследовать объект или перемещаться по нему с минимальными требованиями к пользователю по вводу управляющей информации, при этом обеспечиваются функциональные возможности виртуального масштабирования с широким диапазоном уровней масштабирования, например, уровней масштабирования, отличающихся друг от друга на много порядков величины.The invention relates to a method and apparatus for providing a graphical user interface (GUI) of a computer or data processing device for a screen, preferably a touch screen, wherein the GUI shows at least one virtual two-dimensional or three-dimensional object so that the user can examine the object or navigate it with the minimum requirements for the user to enter control information, while providing functionality for virtual scaling with a wide range the zone of scaling levels, for example, scaling levels that differ from each other by many orders of magnitude.
Эти уровни масштабирования, в реальном мире, предпочтительно находятся в диапазоне от макроскопических уровней масштабирования, которых можно достичь с использованием оптического микроскопа (LM) или сканирующего электронного микроскопа (SEM), до даже атомного или наноскопического масштаба, которого можно достичь только с использованием просвечивающего электронного микроскопа (ТЕМ), атомно-силового микроскопа (АРМ) или туннельного микроскопа (ТМ). Соответствующие изобретению функциональные возможности масштабирования обеспечивают немедленный легкий доступ для пользователя ко всем уровням масштабирования и, таким образом, позволяют осуществить перемещение по объекту от упомянутого макроскопического вида до упомянутого вида атомного масштаба и, таким образом, могут быть обозначены как функциональные возможности виртуального супермасштабирования.These scaling levels, in the real world, preferably range from macroscopic scaling levels that can be achieved using an optical microscope (LM) or scanning electron microscope (SEM), to even atomic or nanoscopic scaling, which can only be achieved using a transmission electron microscope (TEM), atomic force microscope (AWP) or tunnel microscope (TM). The scaling functionalities according to the invention provide immediate easy access for the user to all zoom levels and, thus, allow moving around an object from the aforementioned macroscopic view to the aforementioned view of the atomic scale and, thus, can be referred to as virtual superscaling functionality.
Соответствующие одному аспекту или варианту осуществления изобретения функциональные возможности супермасштабирования обеспечиваются дискретным расположением таких различных уровней масштабирования с помощью соответствующих слоев или уровней масштабирования, при этом к каждому слою масштабирования можно получить доступ или активировать упомянутый слой масштабирования с использованием соответствующего ввода управляющей информации пользователем. В рамках одного слоя или уровня масштабирования пользователь может увеличить или уменьшить масштаб, изменяя, таким образом, коэффициент масштабирования, с использованием управляющих механизмов, таких как раздвигание двух пальцев на упомянутом выше отслеживающем несколько событий сенсорном экране. Когда пользователь хочет переключиться на другой уровень масштабирования, полезно, что не существует требования по достижению края или предела (то есть минимального или максимального возможного коэффициента масштабирования на одном уровне масштабирования) текущего уровня масштабирования, но, более того, пользователь может непосредственно переключиться на другой уровень масштабирования, который является или соседним для текущего уровня масштабирования, или который является другим уровнем масштабирования, более отдаленным от текущего уровня, что делается путем осуществления действия по вводу управляющей информации в один этап или в одно нажатие.Super-scaling functionality in accordance with one aspect or embodiment of the invention is provided by discreetly arranging such various zoom levels using respective layers or zoom levels, wherein each zoom layer can be accessed or activated by the said zoom layer using the appropriate user input for control information. Within a single layer or zoom level, the user can zoom in or out, thereby changing the zoom ratio, using control mechanisms, such as spreading two fingers on the multi-event touch screen mentioned above. When a user wants to switch to a different zoom level, it is useful that there is no requirement to reach the edge or limit (that is, the minimum or maximum possible zoom ratio at one zoom level) of the current zoom level, but, moreover, the user can directly switch to another level scaling, which is either adjacent to the current zoom level, or which is another zoom level, farther from the current a level that is done by implementing action on the control information input in one step or in one press.
Действие по вводу управляющей информации в один этап или в одно нажатие в случае сенсорного экрана может быть осуществлено с использованием третьего пальца при масштабировании на сенсорном экране, при этом предоставляется возможность увеличивать масштаб раздвигая два пальца на экране. Конечно, в качестве третьего пальца может быть использован третий палец той же руки пользователя или другой (произвольный) палец другой руки пользователя. Переключение на другой уровень масштабирования может поддерживаться выпадающим меню, колесом прокрутки или подобным образом, с помощью которого может быть выбран нужный уровень масштабирования. В вариантах реализации без сенсорного экрана могут быть использованы определенные управляющие команды, введенные на клавиатуре компьютера или с помощью компьютерной мыши или любого другого указателя.The action of entering control information in one step or one click in the case of a touch screen can be carried out using the third finger when scaling on the touch screen, while it is possible to zoom in by spreading two fingers on the screen. Of course, the third finger of the same user's hand or the other (arbitrary) finger of the user's other hand can be used as the third finger. Switching to another zoom level can be supported by a drop-down menu, a scroll wheel or the like, with which the desired zoom level can be selected. In embodiments without a touch screen, certain control commands entered on a computer keyboard or using a computer mouse or any other pointer may be used.
Предложенный механизм переключения между различными уровнями масштабирования требует гораздо меньше времени и, соответственно, он гораздо более удобен пользователю по сравнению с существующими в технике подходами. В этой связи этот механизм позволяет переключаться от одного слоя масштабирования на другой без каких-либо ограничений, например, переключение возможно при любом текущем коэффициенте масштабирования или в любое время и, следовательно, этот механизм предотвращает случайное или непреднамеренное переключение пользователем на другой уровень.The proposed mechanism for switching between different levels of scaling requires much less time and, accordingly, it is much more convenient for the user in comparison with the approaches existing in the technique. In this regard, this mechanism allows you to switch from one scaling layer to another without any restrictions, for example, switching is possible at any current scaling factor or at any time and, therefore, this mechanism prevents the user from accidentally or unintentionally switching to another level.
В соответствии с другим аспектом или вариантом осуществления изобретения, одновременно на дисплее могут быть показаны, по меньшей мере, два слоя или уровни масштабирования, например, расположенные рядом или способом «картинка-в-картинке». Предпочтительно, чтобы эти два уровня масштабирования были следующими: предыдущий активированный или вызванный уровень масштабирования и текущий активированный или вызванный уровень масштабирования. Этот вариант осуществления изобретения позволяет показывать текущий объект или часть этого объекта с двумя различными уровнями масштабирования, например, для облегчения перемещения по этим уровням масштабирования или по всей иерархии уровней масштабирования.In accordance with another aspect or embodiment of the invention, at least two layers or zoom levels, for example, adjacent to or in a picture-in-picture manner, can be simultaneously displayed on a display. Preferably, these two zoom levels are: the previous activated or triggered zoom level and the current activated or triggered zoom level. This embodiment of the invention makes it possible to show the current object or part of this object with two different zoom levels, for example, to facilitate movement across these zoom levels or throughout the hierarchy of zoom levels.
В соответствии с еще одним аспектом или вариантом осуществления изобретения, в случае упомянутого показа на дисплее, по меньшей мере, двух слоев или уровней масштабирования, любые действия или изменения, выполненные с объектом при текущем активном уровне масштабирования, будут видны, по меньшей мере, при втором показе объекта с использованием второго уровня масштабирования, или последствия или результаты этих действий или изменений соответственно сделаны видимыми, как подробно описано в приведенном ниже описании. Эти функциональные возможности могут значительно увеличить эффективность и ценность, например, технического или обучающего инструмента.In accordance with another aspect or embodiment of the invention, in the case of said display of at least two layers or zoom levels, any actions or changes made to the object at the current active zoom level will be visible at least the second display of the object using the second zoom level, or the consequences or results of these actions or changes are accordingly made visible, as described in detail in the description below. These features can significantly increase the efficiency and value of, for example, a technical or training tool.
В соответствии с еще одним аспектом или вариантом осуществления изобретения, помимо упомянутого дискретного расположения слоев или уровней масштабирования, предложено, по меньшей мере, второе дискретное расположение информационных слоев или уровней соответственно, при этом, по меньшей мере, два дискретных расположения могут быть реализованы как вертикальная и горизонтальная линии двумерного или большей размерности массива или матрицы. Такой массив обеспечивает легкий доступ к различным информационным уровням или темам, при этом указанные темы предпочтительно касаются соответствующего уровня масштабирования.In accordance with another aspect or embodiment of the invention, in addition to the aforementioned discrete arrangement of layers or scaling levels, at least a second discrete arrangement of information layers or levels, respectively, is proposed, wherein at least two discrete arrangements can be implemented as a vertical and horizontal lines of two-dimensional or greater dimension of an array or matrix. Such an array provides easy access to various information levels or topics, while these topics preferably relate to the appropriate level of scaling.
По меньшей мере, второе расположение информационных уровней может быть использовано для показа или иллюстрации соответствующей информации для виртуального объекта, по которому перемещается пользователь, в частности информации, приспособленной к текущему активному уровню масштабирования. Например, в случае, когда показываемый объект является человеческим телом или органом человеческого тела, в случае активированного клеточного уровня масштабирования на экране могут быть показаны, например, рядом друг с другом, соответствующие биохимические процессы или изменения, возможные причины клеточной или касающейся клеток болезни и/или возможные соответствующие лечебные вмешательства, таким образом, улучшается восприятие пользователем показываемой информации. Только в качестве примера, в случае, когда рассматриваемое устройство является обучающим устройством или инструментом, процесс обучения может быть значительно улучшен.At least a second arrangement of information levels can be used to display or illustrate relevant information for the virtual object that the user is moving along, in particular information adapted to the current active zoom level. For example, in the case where the displayed object is a human body or an organ of the human body, in the case of an activated cellular level of scaling, the screen can show, for example, next to each other, the corresponding biochemical processes or changes, possible causes of a cell or cell-related disease of the disease and / or possible appropriate treatment interventions, thereby improving the user's perception of the displayed information. By way of example only, in the case where the device in question is a training device or tool, the learning process can be significantly improved.
Следует отметить, что упомянутые виртуальные объекты могут быть или виртуальными анимированными трехмерными (3D) объектами или двумерными объектами, так как основная идея настоящего изобретения не зависит от количества размерностей показа объекта на экране или дисплее.It should be noted that the mentioned virtual objects can be either virtual animated three-dimensional (3D) objects or two-dimensional objects, since the main idea of the present invention does not depend on the number of dimensions of displaying the object on the screen or display.
Соответствующие изобретению функциональные возможностиFunctionality of the Invention
супермасштабирования могут быть реализованы в GUI для показа на сенсорном экране, которым управляет пользователь с помощью упомянутых контактов и/или перемещений пальцев. В качестве альтернативы функциональные возможности супермасштабирования могут быть реализованы в GUI, который показывают на экране или мониторе компьютера, или устройства или системы обработки данных с использованием известной компьютерной клавиатуры, компьютерной мыши, планшета ввода графической информации или любого другого устройства ввода информации пользователем. В случае ввода управляющей информации с использованием клавиатуры может быть использована определенная комбинация управляющих клавиш клавиатуры. В случае компьютерной мыши, планшета ввода графической информации или подобного устройства, ввод управляющей информации пользователем для функциональных возможностей супермасштабирования может быть осуществлен с использованием определенных комбинаций управляющих клавиш. В случае мобильного устройства сенсорный экран и/или поворотный переключать позволяет вводить нужные управляющие команды с помощью карусельного устройства данных, полосы прокрутки или подобного устройства, например, с помощью выбора определенных углов поворота карусельного устройства или подобного элемента.super-scaling can be implemented in the GUI to display on the touch screen, which is controlled by the user using the mentioned contacts and / or finger movements. Alternatively, the super-scale functionality may be implemented in a GUI that is displayed on a computer screen or monitor, or a data processing device or system using a known computer keyboard, computer mouse, graphic input tablet or any other user input device. In the case of inputting control information using the keyboard, a certain combination of keyboard control keys may be used. In the case of a computer mouse, a tablet for inputting graphic information, or a similar device, input of control information by a user for super-scale functionality can be carried out using certain combinations of control keys. In the case of a mobile device, the touch screen and / or rotary switch allows you to enter the desired control commands using the data carousel, scroll bar or similar device, for example, by selecting specific rotation angles of the carousel device or the like.
Краткое описание чертежейBrief Description of the Drawings
Объекты, признаки и достоинства изобретения понятны с учетом приведенного ниже подробного описания. Подробное описание понятно с учетом приложенных чертежей, которые образуют материальную часть этого изобретения и на которых:The objects, features and advantages of the invention are understood in light of the following detailed description. A detailed description is clear in view of the attached drawings, which form the material part of this invention and in which:
фиг. 1А, В - виды, показывающие пример расположения слоев или уровней масштабирования и соответствующий процесс перемещения, в соответствии с изобретением;FIG. 1A, B are views showing an example of the arrangement of layers or zoom levels and the corresponding movement process, in accordance with the invention;
фиг. 2 - вид, показывающий как осуществлять быстрое переключение между различными (не обязательно соседними) слоями или уровнями масштабирования;FIG. 2 is a view showing how to quickly switch between different (not necessarily adjacent) layers or zoom levels;
фиг. 3 - вид, показывающий пример соответствующей изобретению процедуры осуществления переключения между различными объектами или информацией без изменения слоя или уровня или коэффициента масштабирования;FIG. 3 is a view showing an example of a procedure according to the invention for switching between different objects or information without changing a layer or level or scaling factor;
фиг. 4 - вид, показывающий пример соответствующей изобретению процедуры выбора части виртуального 3D объекта с целью переключения на другой слой или уровень масштабирования;FIG. 4 is a view showing an example of a procedure according to the invention for selecting a portion of a virtual 3D object to switch to another layer or zoom level;
фиг. 5 - вид, показывающий пример матричного расположения или структуры слоев или уровней масштабирования относительно различных категорий объектов;FIG. 5 is a view showing an example of a matrix arrangement or structure of layers or scaling levels with respect to various categories of objects;
фиг. 6 - вид, показывающий блок-схему предпочтительного варианта осуществления способа, соответствующего изобретению;FIG. 6 is a view showing a flowchart of a preferred embodiment of a method according to the invention;
фиг. 7 - вид, показывающий вариант осуществления соответствующего изобретению способа, который позволяет изменениям, сделанным с объектом при одном уровне масштабирования, вступать в силу при другом уровне масштабирования.FIG. 7 is a view showing an embodiment of a method according to the invention, which allows changes made to an object at one zoom level to take effect at a different zoom level.
Подробное описание изобретенияDETAILED DESCRIPTION OF THE INVENTION
На фиг. 1А и 1В показано устройство по биологии человека или по медицине человека, где виртуальным объектом является человеческое тело. Показанное вертикальное направление масштабирования, в этом примере, обеспечивает микроскопические или даже наноскопические слои или уровни масштабирования (далее обозначаем только как «уровни») человеческого тела, заданного органа или ткани человека, органа или ткани на клеточном уровне, органа или ткани на внутриклеточном уровне, например, структуры эндотелиальной клетки или митохондрии. В частности, может быть показан в статике или в динамике любой уровень функциональных возможностей, например, органа при текущем уровне масштабирования.In FIG. 1A and 1B show a device for human biology or human medicine, where the virtual object is the human body. The shown vertical direction of scaling, in this example, provides microscopic or even nanoscopic layers or scaling levels (hereinafter referred to only as “levels”) of the human body, a given organ or human tissue, organ or tissue at the cellular level, organ or tissue at the intracellular level, for example, endothelial cell or mitochondrial structures. In particular, any level of functionality, for example, an organ at a current zoom level, can be shown in statics or dynamics.
Тем не менее, настоящее изобретение может быть внедрено или реализовано в устройствах, используемых в различных областях науки или технологии, в том числе, помимо прочего, в биологических системах и процессах или механических или электротехнических устройствах и процессах. В случае, когда виртуальный объект является механическим или электротехническим устройством, вертикальное направление (масштабирование) может обеспечить уровни супермасштабирования для самого устройства, миниатюризированных частей машины, печатных плат (РСВ), реализованных в соответствующей части машины, электронных компонентов, таких как резисторы, диоды или транзисторы, реализованных на плате, микроскопических деталей этих компонентов и так далее.However, the present invention can be implemented or implemented in devices used in various fields of science or technology, including, but not limited to, biological systems and processes, or mechanical or electrical devices and processes. In the case where the virtual object is a mechanical or electrical device, the vertical direction (scaling) can provide super-scaling levels for the device itself, miniaturized parts of the machine, printed circuit boards (PCBs) implemented in the corresponding part of the machine, electronic components such as resistors, diodes or transistors implemented on the board, microscopic details of these components and so on.
Как в примере, показанном на фиг. 1А и фиг. 1В, на любом уровне масштабирования могут быть показаны в статике или в динамике функциональные возможности, например, части или компонента машины на текущем уровне масштабирования.As in the example shown in FIG. 1A and FIG. 1B, at any zoom level, functionalities, for example, a part or component of a machine at the current zoom level, can be shown in statics or dynamics.
Приложение или устройство в рассматриваемом варианте осуществления настоящего изобретения реализуют в планшетном компьютере, который содержит сенсорный экран, схематически показанный на фиг. 1А и 1В. Это устройство обеспечивает пример пяти уровней 100-120 и 125-145 (супер) масштабирования. Уровни 100-120 масштабирования, показанные на фиг. 1А относятся к процедуре увеличения, а уровни 125-145 масштабирования, показанные на фиг. 1В относятся к процедуре уменьшения. В настоящем примере, переключение между показанными уровнями масштабирования осуществляется последовательно, то есть от одного уровня масштабирования до следующего (соседнего) уровня масштабирования. Конечно, раздвигание или собирание с помощью только двух пальцев, контактирующих с сенсорным экраном, будет обеспечивать непрерывное изменение коэффициента масштабирования, что известно в технике.The application or device in the present embodiment is implemented in a tablet computer that includes a touch screen, shown schematically in FIG. 1A and 1B. This device provides an example of five levels of 100-120 and 125-145 (super) scaling. The zoom levels 100-120 shown in FIG. 1A relate to the enlargement procedure, and the zoom levels 125-145 shown in FIG. 1B relate to a reduction procedure. In the present example, the switching between the shown zoom levels is carried out sequentially, that is, from one zoom level to the next (neighboring) zoom level. Of course, sliding or picking up with only two fingers in contact with the touch screen will provide a continuous change in the zoom ratio, which is known in the art.
Как показано на фиг. 1А, первый уровень 100 масштабирования изображает упомянутое человеческое тело в целом, правая рука 101 пользователя показана для иллюстрации примера ввода пользователем управляющей информации с использованием сенсорного экрана. В этом примере, помимо большого пальца 102 и указательного пальца 103, касание среднего пальца 104 и одновременное раздвигание всех трех пальцев вызывает переключение от первого уровня 100 масштабирования к следующему (второму) уровню 105 масштабирования. В рассматриваемом примере второй уровень 105 масштабирования показывает орган человеческого тела, в рассматриваемом примере - сердце. Третий уровень 110 масштабирования показывает сечение сердца, при этом четвертый уровень 115 масштабирования показывает коронарную артерию сердца. Наконец, пятый уровень 120 масштабирования показывает эндотелиальную клетку в коронарной артерии.As shown in FIG. 1A, the
Как упомянуто выше, каждый уровень (слой) 100, 105, 110, 115, 120 масштабирования отличается от соседнего уровня (слоя) масштабирования существенно другим коэффициентом масштабирования. Например, четвертый уровень 115 масштабирования и пятый уровень 120 масштабирования отличаются друг от друга до такой степени, что детали коронарной артерии могут быть видны пользователю с использованием оптического микроскопа (LM), а детали эндотелиальной клетки могут быть видны с использованием только электронного микроскопа (SEM или ТЕМ). В результате, с использованием только известной процедуры масштабирования на основе раздвигания двух пальцев, соответствующие коэффициенты масштабирования могут быть получены или с использованием процедуры масштабирования с низким разрешением, таким образом, потенциально не показывая соответствующую информацию во время масштабирования, или с использованием процедуры масштабирования с высоким разрешением, которая требует трудоемких и, следовательно, занимающих много времени и выполняемых пользователем управляющих команд, направленных на покрытие всего диапазона коэффициентов масштабирования между двумя уровнями 115, 120 масштабирования.As mentioned above, each zoom level (layer) 100, 105, 110, 115, 120 differs from the neighboring zoom level (layer) by a substantially different scaling factor. For example, the
На фиг. 1В показано, как пользователь может уменьшить масштаб, начиная с описанного выше пятого уровня 120 масштабирования, сейчас обозначенного ссылочной позицией 125 и по направлению к первому уровню 100 масштабирования, сейчас обозначенного ссылочной позицией 145. Пятый уровень 125 масштабирования показывает упомянутую эндотелиальную клетку и показывает снова правую руку 126 пользователя с большим пальцем 127, указательным пальцем 129 и средним пальцем 128. Для запуска уменьшения масштаба и, соответственно, для переключения от пятого уровня 125 масштабирования к соседнему четвертому уровню 130 масштабирования, позиции касания трех пальцев 127, 128, 129 должны быть близки или, соответственно, они должны быть собраны вместе, а не раздвинуты, как в случае процедуры увеличения масштаба (смотри фиг. 1А). Соответственно можно получить другие уровни 135, 140, 145 масштабирования.In FIG. 1B shows how a user can zoom out from the
Следует упомянуть, что описанная выше процедура уменьшения масштаба и увеличения масштаба является только примером и, как будет очевидно из последующего описания, возможно переключение не только между соседними уровнями масштабирования, но также между произвольными уровнями масштабирования, при использовании пользователем определенного ввода управляющей информации.It should be mentioned that the procedure for zooming out and zooming out described above is only an example and, as will be apparent from the following description, it is possible to switch not only between adjacent zoom levels, but also between arbitrary zoom levels, when the user uses a certain input of control information.
На фиг. 2 показан пример способа, соответствующего изобретению и показывающего, как может быть реализован способ быстрого переключения между различными уровнями масштабирования. Как и на фиг. 1А и 1В, показан схематический вид в перспективе сенсорного экрана 200 планшетного компьютера. Кроме того, показана правая, рука 201 пользователя. В этом примере, выполняют быстрое переключение с использованием трех пальцев, а именно большого пальца 203, указательного пальца 202 и среднего пальца 204 пользователя. На экране 200 показаны четыре уровня 205, 210, 215, 220 масштабирования.In FIG. 2 shows an example of a method according to the invention and showing how a method for quickly switching between different zoom levels can be implemented. As in FIG. 1A and 1B, a schematic perspective view of a
В рассматриваемом примере скорость раздвигания или собирания трех пальцев определяет величину перехода при быстром переключении. Например, чем больше скорость раздвигания или собирания трех пальцев, тем больше может быть пропущено уровней масштабирования. Только в качестве примера, с помощью быстрого переключения можно напрямую переключиться от первого уровня 205 масштабирования до третьего уровня 215 масштабирования или даже до четвертого уровня 220 масштабирования и наоборот, пропуская таким образом, промежуточное переключение ко второму уровню 210 масштабирования. Конечно, как и в предыдущем примере, показанном на фиг. 1А и 1В, раздвигание или собирание двух пальцев обеспечивает изменение коэффициента масштабирования на соседнее значение, что известно в технике.In this example, the speed of sliding or gathering three fingers determines the magnitude of the transition with a quick switch. For example, the greater the speed of sliding apart or gathering three fingers, the more zoom levels can be skipped. By way of example only, with a quick switch, you can directly switch from the
Тем не менее, описанная выше процедура супермасштабирования также может быть применена на основе раздвигания или собирания двух, а не трех пальцев, но в этом случае скорость раздвигания или собирания должна превышать определенное (минимальное) пороговое значение, чтобы предотвратить конфликт с упомянутой выше процедурой непрерывного изменения коэффициента масштабирования в рамках одного уровня масштабирования. Далее, специалисту в рассматриваемой области техники станет ясно, что использование трех пальцев, то есть третьего пальца в качестве средства ввода управляющей информации, обеспечивает гораздо более стабильные функциональные возможности супермасштабирования по сравнению с использованием только двух пальцев (смотри, например, упомянутый выше конфликт).However, the super-scaling procedure described above can also be applied based on spreading or gathering two rather than three fingers, but in this case, the speed of spreading or gathering must exceed a certain (minimum) threshold value to prevent a conflict with the above-mentioned continuous change procedure scale factor within one zoom level. Further, it will become clear to a person skilled in the art that the use of three fingers, that is, the third finger as a means of inputting control information, provides much more stable super-scalability functionality compared to using only two fingers (see, for example, the conflict mentioned above).
В качестве альтернативы вместо описанного подхода с тремя пальцами, для выбора определенного уровня масштабирования из списка всех доступных уровней масштабирования может быть использовано другое средство ввода пользователем управляющей информации, такое как карусельное устройство данных, полоса прокрутки, иерархическое меню или колесо прокрутки.Alternatively, instead of the described three-finger approach, another means of user input of control information, such as a carousel data device, scroll bar, hierarchical menu or scroll wheel, can be used to select a specific zoom level from the list of all available zoom levels.
На фиг. 3 показан другой пример процедуры, которая соответствует изобретению, и которая позволяет пользователю переключать по горизонтали между различными информационными категориями или уровнями (слоями) или даже объектами, которые предпочтительно относятся к объекту (например, человеческому органу), показываемому на текущем уровне масштабирования. Переключение между этими различными информационными уровнями или слоями не изменяет коэффициент масштабирования или не переключает на другой уровень или слой масштабирования. Аналогично предыдущим фиг., показан сенсорный экран 300 планшетного компьютера, а также правая рука пользователя в двух позициях 303, 304. Другой информацией могут быть другие болезни человека для каждого из органов или тканей человеческого тела, показанных на различных уровнях масштабирования, как описано при рассмотрении фиг. 1А, 1В и фиг. 2.In FIG. 3 shows another example of a procedure that is consistent with the invention, and which allows the user to switch horizontally between different information categories or levels (layers) or even objects that preferably belong to an object (e.g., a human organ) shown at the current zoom level. Switching between these different information levels or layers does not change the scaling factor or does not switch to another level or scaling layer. Similar to the previous Fig., The
В рассматриваемом примере в горизонтальном направлении (стрелки 302) показаны различные органы человеческого тела, а именно, тонкий кишечник 305, легкие 310, сердце 315, печень 320 и желудок 325. С помощью перемещения трех пальцев налево или направо 302, то есть без описанного выше раздвигания или собирания пальцев, могут быть выбраны или загружены эти соответствующие объекты. Для выбранного в текущий момент объекта, такого как тонкий кишечник 305 в рассматриваемом примере, с целью переключения на другие уровни масштабирования для этих органов может быть применена описанная выше процедура супермасштабирования.In this example, in the horizontal direction (arrows 302), various organs of the human body are shown, namely, the
На фиг. 4 показан пример процедуры, которая соответствует изобретению, и которая позволяет пользователю выбрать область или часть выбранного в текущий момент объекта, которым в рассматриваемом примере является виртуальное 3D (трехмерное) изображение внутренних органов человеческого тела (например, сердце 425 и тонкий кишечник 420), что нужно для переключения на другой уровень масштабирования, начиная с этой области или части. В этом примере показаны три снимка сенсорного экрана 400 планшетного компьютера. Кроме того, показаны правая рука 405 пользователя, большой палец 406, указательный палец 407 и средний палец 408 пользователя.In FIG. Figure 4 shows an example of a procedure that corresponds to the invention, and which allows the user to select a region or part of the currently selected object, which in this example is a virtual 3D (three-dimensional) image of the internal organs of the human body (for example,
Позиция трех пальцев 406-408 при их раздвигании или собирании определяет позицию виртуального указателя на объект, который будет использован как начальная позиция при переключении на другой уровень масштабирования. В рассматриваемом варианте осуществления настоящего изобретения виртуальный указатель показан в виде креста 480 в круге. В рассматриваемом примере позицию виртуального указателя на объекте определяет точка фокусировки или равновесия трех пальцев. Тем не менее, позиция может быть определена другими путями, например, с использованием взвешенного равновесия трех пальцев, точки фокусировки между двумя пальцами или подобного. Если точка фокусировки указывает на сердце 425, как указано стрелкой 415, сердце 425 будет выбрано для увеличения масштаба, в том числе описанного переключения уровней масштабирования. Соответственно, если точка фокусировки указывает на тонкий кишечник 420, как указано стрелкой 410, тонкий кишечник 420 будет выбран для увеличения масштаба, в том числе описанного переключения уровней масштабирования.The position of the three fingers 406-408 when they are spread apart or assembled determines the position of the virtual pointer to the object, which will be used as the starting position when switching to another zoom level. In the present embodiment, the virtual pointer is shown as a
Следует заметить, что показанный 3D объект, до описанного выбора внутреннего органа, можно виртуально вращать на экране, например, с использованием одного пальца, при этом касание трех пальцев сенсорного экрана выработает виртуальный указатель, по существу, в центре трех пальцев, который указывает позицию фокусировки в показываемой в настоящей момент части 3D объекта, где начнется быстрое перемещение на объект с масштабированием. В зависимости от скорости перемещения третьего пальца, может быть выбран определенный уровень масштабирования и, таким образом, пользователь может наглядно увеличивать и уменьшать масштаб определенной части или участка объекта, что очень удобно пользователю.It should be noted that the 3D object shown, before the described selection of the internal organ, can be virtually rotated on the screen, for example, using one finger, while touching the three fingers of the touch screen will produce a virtual pointer, essentially in the center of the three fingers, which indicates the focus position in the currently displayed part of the 3D object, where fast movement to the object with scaling will begin. Depending on the speed of movement of the third finger, a certain zoom level can be selected and, thus, the user can visually increase and decrease the scale of a certain part or section of the object, which is very convenient for the user.
В описанном выше варианте применения для человеческого тела и его органов, особенным достоинством описанного подхода является то, что для выбранного в текущий момент уровня масштабирования показанного тела или органа могут быть одновременно и автоматически показаны соответствующие биологические функции части или органа человеческого тела, а именно те функции, которые могут быть видны на текущем уровне масштабирования.In the application described above for the human body and its organs, a particular advantage of the described approach is that for the currently selected zoom level of the shown body or organ, the corresponding biological functions of a part or organ of the human body can be simultaneously and automatically shown, namely those functions that can be seen at the current zoom level.
Например, на клеточном уровне масштабирования пользователю может быть показана или даже пользователем может быть исследована подача в клетки человека определенных питательных, профилактических или лечебных веществ и реакция клетки на это. В качестве примера, если процесс артериосклероза, который развивается на клеточном уровне, затрудняет или даже останавливает ток крови или ее циркуляцию через артерию, уровень масштабирования для органов (выше клеточного уровня) позволяет показывать, наблюдать или исследователь последствия инфаркта миокарда или тромбоза коронарных артерий, например, эффект фибрилляции желудочков.For example, at the cellular level of scaling, the user can be shown, or even the user can be examined, the supply of certain nutrient, prophylactic or therapeutic substances to human cells and the reaction of the cell to this. As an example, if the process of arteriosclerosis, which develops at the cellular level, impedes or even stops the flow of blood or its circulation through the artery, the scaling level for organs (above the cellular level) allows the researcher to show, observe or investigate the consequences of myocardial infarction or coronary artery thrombosis, for example , ventricular fibrillation effect.
Так как описанный подход позволяет пользователю получать наглядное понимание сложных биологических и биохимических механизмов взаимодействия, то, в соответствии с другим аспектом настоящего изобретения, описанный способ может быть реализован в качестве обучающего инструмента.Since the described approach allows the user to obtain a visual understanding of the complex biological and biochemical mechanisms of interaction, in accordance with another aspect of the present invention, the described method can be implemented as a training tool.
На фиг. 5 показан пример матричного расположения или структуры уровней масштабирования, которые соответствуют вертикальному направлению 500, и упомянутых различных категорий объектов или информационных категорий, которые соответствуют горизонтальному направлению 505. Это расположение содержит восемь уровней 510, 515, 520 и т.д. масштабирования и три слоя 510, 525, 530 и т.д. информационных категорий. Перемещение или переключение между этими уровнями масштабирования и информационными слоями может быть осуществлено с помощью описанных выше процедур и так, как показано различными стрелками, изображенными в этом расположении.In FIG. 5 shows an example of a matrix arrangement or structure of zoom levels that correspond to the
Подчеркнем, что описанные выше процедуры позволяют пользователю переключаться между соседними уровнями масштабирования, например, уровнями 510 и 515, или между не соседними уровнями масштабирования, например, уровнями 510 и 520, и/или между соседними информационными слоями, например, слоями 510 и 525, или между не соседними информационными слоями, например, слоями 510 и 530.We emphasize that the procedures described above allow the user to switch between adjacent zoom levels, for example,
Также подчеркнем, что показанное количество уровней масштабирования и слоев объекта/информационных слоев является только примером и может изменяться. Конечно, в случае множества таких уровней и слоев, подход к масштабированию/перемещению, соответствующий изобретению, становится даже еще более целесообразным, так как сохраняет большое количество усилий и времени для использования соответственно устройства или функциональных возможностей супермасштабирования.We also emphasize that the shown number of zoom levels and object layers / information layers is only an example and may vary. Of course, in the case of a plurality of such levels and layers, the scaling / moving approach according to the invention becomes even more expedient, since it saves a lot of effort and time for using the device or super-scalability functionality accordingly.
В случае описанного выше человеческого тела, горизонтальное направление матрицы может представлять различные органы или ткани человеческого тела, различные болезни человека и т.д. В случае упомянутой области механики или электротехники, горизонтальное направление может касаться различные частей машины.In the case of the human body described above, the horizontal direction of the matrix can represent various organs or tissues of the human body, various human diseases, etc. In the case of the aforementioned field of mechanics or electrical engineering, the horizontal direction may concern various parts of the machine.
На фиг. 6 показана блок-схема предпочтительного варианта осуществления способа, соответствующего изобретению. В показанной процедуре сначала в 600 проверяют, имеет ли место касание, по меньшей мере, двух пальцев пользователя. Если нет, то происходит переход назад на начало, так что последующая часть процедуры начнется только в случае да.In FIG. 6 is a flowchart of a preferred embodiment of the method of the invention. In the procedure shown, a check is first made at 600 to see if at least two fingers of the user have touched. If not, then there is a transition back to the beginning, so that the next part of the procedure will begin only if yes.
Если в 600 определено, что имеет место касание двух или более пальцев, то в 605 проверяют, имеет ли место, то есть во время контакта сенсорного экрана, раздвигание или собирание двух из, по меньшей мере, двух пальцев. Если обнаружено такое раздвигание или собирание, то в 610 соответствующим образом приспосабливают коэффициент масштабирования, то есть показываемый объект будут изображать на экране или увеличенным, или уменьшенным.If it is determined at 600 that two or more fingers are touching, then at 605 it is checked whether, i.e. during the touch screen contact, the two of the at least two fingers are pushed apart or picked up. If such a spreading or gathering is detected, then in 610 the scaling factor is adjusted accordingly, that is, the displayed object will be displayed on the screen either enlarged or reduced.
На следующем этапе 615 проверяют, имеет ли место касание трех пальцев, что запустит описанную выше процедуру супермасштабирования и, если условие не выполняется, то осуществляют переход назад на начало, на этап 600. Если обнаружено касание тремя пальцами, то в рассматриваемом примере объект или часть этого объекта выбирают в 620 для возможной операции супермасштабирования, например, с использованием описанного выше виртуального указателя 480. После выбора в 620 объекта, в 625 проверяют, сдвигаются ли вместе три пальца, то есть имеет ли место общее перемещение, предпочтительно в горизонтальном направлений, или общее раздвигание трех пальцев. Если в 625 обнаружено такое общее смещение или раздвигание, то в 630 выбирают соответствующую' информационную категорию или объект, как описано выше. После выбора новой информационной категории или объекта, процедура супермасштабирования начинается снова, с начала, с этапа 600.At the
Если, на этапе 625 не обнаружено общее смещение или раздвигание трех пальцев, то в настоящем варианте осуществления настоящего изобретения на следующем этапе 635 активируют и показывают на экране колесо прокрутки или подобное устройство, что позволяет пользователю выбрать из доступных уровней масштабирования определенный уровень масштабирования. На следующем этапе 640 проверяют, выбрал ли пользователь определенный уровень масштабирования с использованием показанного колеса прокрутки. В этом случае описанная процедура масштабирования или функциональные возможности супермасштабирования соответствующего устройства или программы в 645 непосредственно переключает на выбранный уровень масштабирования, как подробно описано выше, и далее происходит переход назад на начало, на этап 600. Иначе, происходит переход назад с этапа 640 на начало, то есть на этап 600.If, at
Конечно, описанный способ является только примером и может быть модифицирован, оставаясь при этом в рамках основной идеи изобретения. В частности, порядок этапов описанного способа может изменяться и, таким образом, может считаться только иллюстрацией упомянутой идеи.Of course, the described method is only an example and can be modified while remaining within the framework of the main idea of the invention. In particular, the order of the steps of the described method can be changed and, thus, can be considered only an illustration of the mentioned idea.
Другой вариант осуществления изобретения показан на фиг. 7, на котором изображены четыре снимка 700, 705, 710, 715 экрана для двух различных уровней 700, 715 и 705, 710 масштабирования. Первый уровень 700, 715 масштабирования показывает сердце 770, 775 человека, а второй уровень 705, 710 масштабирования показывает эндотелиальную клетку 760, 765 сердца 770, 775. Подчеркнем, что в рассматриваемом примере перемещения с супермасштабированием эти два уровня 700, 715 и 705, 710 масштабирования не являются соседними, то есть при переключении между двумя уровнями 700, 715 и 705, 710 масштабирования пропускают промежуточный уровень масштабирования, показывающий коронарную артерию. В рассматриваемом примере процесс переключения или перемещения между четырьмя снимками 700-715 экрана показан стрелками 740, 745, 750, 755.Another embodiment of the invention is shown in FIG. 7, which depicts four
Ссылочные позиции 720, 725, 730, 735, дополнительно показанные на снимках 700-715 экрана, являются текущими частотами сердечных сокращений. Показанное изменение частоты сердечных сокращений от 62 Гц до 89 Гц вызвано применением профилактического лечебного вещества на клеточном уровне 705. Медицинский или физиологический эффект от этого лечебного вещества, то есть только для примера показанное увеличение частоты сердечных сокращений, в рассматриваемом варианте осуществления GUI также немедленно вступает в силу на более высоком уровне 700 масштабирования и в рассматриваемом примере одновременно показано на более высоком уровне 700, 715 масштабирования анимацией биения сердца.
Как упомянуто выше, первый уровень 700, 715 масштабирования и второй уровень 705, 710 масштабирования могут быть показаны одновременно на одном дисплее или экране, улучшая таким образом информационное содержание GUI, в частности, улучшая способ показа упомянутых эффектов, например, на клеточном уровне и уровне органов.As mentioned above, the
Изобретение может быть использовано, в основном, для карманных устройств с сенсорными экранами, но оно также может быть применимо для Персональных компьютеров при использовании определенной комбинации управляющих клавиш компьютерной клавиатуры, например, вместе с компьютерной мышью. В случае клавиатуры, мыши или любого другого устройства управления вводом информации пользователем, описанный выше способ (фиг. 6) необходимо соответствующим образом изменить, при этом этапы проверки определенных контактов или перемещений пальцев необходимо заменить проверкой определенного ввода информации устройством управления или определенных комбинаций нажатия клавиш, что хорошо понятно внимательному читателю. Помимо этого, ввод информации пользователем для управления описанными процедурами может быть реализован с использованием камеры, которая может обнаруживать направление взгляда пользователя и использовать обнаруженное направление для выбора объекта или уровня масштабирования. Описанные выше жесты пальцами, используемые при касании сенсорного экрана, в рассматриваемом варианте могут быть заменены жестами пальцами или руками, которые могут быть обнаружены камерой, запуская, таким образом, определенное действие в GUI, в частности, действие, связанное с описанными расширенными функциональными возможностями масштабирования.The invention can be used mainly for handheld devices with touch screens, but it can also be applied to personal computers using a certain combination of control keys of a computer keyboard, for example, together with a computer mouse. In the case of a keyboard, mouse, or any other user input control device, the method described above (Fig. 6) needs to be changed accordingly, while the steps of checking certain contacts or finger movements need to be replaced by checking the specific input of information by the control device or certain key combinations, which is well understood by the attentive reader. In addition, user input for controlling the described procedures can be implemented using a camera that can detect the direction of the user's gaze and use the detected direction to select an object or zoom level. The finger gestures described above, used when touching the touch screen, in the considered embodiment can be replaced by finger gestures or hands that can be detected by the camera, thus triggering a certain action in the GUI, in particular, the action associated with the described advanced zoom functionality .
Предложенные функциональные возможности могут быть реализованы в обучающих устройствах или инструментах с целью обеспечения легкого и быстрого доступа к уровням масштабирования, покрывающим много порядков увеличения.The proposed functionality can be implemented in training devices or tools in order to provide easy and quick access to zoom levels covering many magnification orders.
Claims (9)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13004326.8 | 2013-09-04 | ||
EP13004326.8A EP2846243B1 (en) | 2013-09-04 | 2013-09-04 | Graphical user interface providing virtual super-zoom functionality |
PCT/EP2014/002203 WO2015032467A1 (en) | 2013-09-04 | 2014-08-11 | Graphical user interface providing virtual super-zoom functionality |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2016112470A RU2016112470A (en) | 2017-10-09 |
RU2672624C2 true RU2672624C2 (en) | 2018-11-16 |
Family
ID=49123632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016112470A RU2672624C2 (en) | 2013-09-04 | 2014-08-11 | Graphical user interface providing virtual super-zoom functionality |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160202892A1 (en) |
EP (1) | EP2846243B1 (en) |
RU (1) | RU2672624C2 (en) |
WO (1) | WO2015032467A1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9202297B1 (en) * | 2011-07-12 | 2015-12-01 | Domo, Inc. | Dynamic expansion of data visualizations |
US9792017B1 (en) | 2011-07-12 | 2017-10-17 | Domo, Inc. | Automatic creation of drill paths |
KR20150050199A (en) * | 2013-10-31 | 2015-05-08 | 한국전자통신연구원 | Method and Apparatus for representing symptoms graphically |
CN111991090B (en) * | 2016-08-30 | 2024-06-21 | 马科外科公司 | System and method for intraoperative pelvic registration |
WO2019070649A1 (en) * | 2017-10-02 | 2019-04-11 | Boston Scientific Scimed Inc. | Display of multiple electrograms anatomical map |
US10754523B2 (en) * | 2017-11-27 | 2020-08-25 | International Business Machines Corporation | Resizing of images with respect to a single point of convergence or divergence during zooming operations in a user interface |
CN111078089A (en) * | 2019-11-29 | 2020-04-28 | 东莞市拓久柘电子科技有限公司 | Quick screenshot method based on touch all-in-one machine, electronic equipment and computer readable storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070294643A1 (en) * | 2004-03-30 | 2007-12-20 | Kyle Henry M | System for managing the navigational usability of an interactive map |
RU2009104062A (en) * | 2006-08-08 | 2010-08-20 | Майкрософт Корпорейшн (Us) | VIRTUAL CONTROLLER FOR VISUAL IMAGES |
US20110231746A1 (en) * | 2000-06-12 | 2011-09-22 | Softview L.L.C. | Scalable display of internet content on mobile devices |
US20110273479A1 (en) * | 2010-05-07 | 2011-11-10 | Apple Inc. | Systems and methods for displaying visual information on a device |
US20120050332A1 (en) * | 2010-08-25 | 2012-03-01 | Nokia Corporation | Methods and apparatuses for facilitating content navigation |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6211856B1 (en) | 1998-04-17 | 2001-04-03 | Sung M. Choi | Graphical user interface touch screen with an auto zoom feature |
US20040155888A1 (en) * | 2003-02-11 | 2004-08-12 | Padgitt David Gary | Method for displaying the contents of a collection of media objects |
EP2492788B1 (en) | 2011-02-24 | 2015-07-15 | ST-Ericsson SA | Zooming method |
US9235317B2 (en) * | 2012-02-01 | 2016-01-12 | Facebook, Inc. | Summary and navigation of hierarchical levels |
-
2013
- 2013-09-04 EP EP13004326.8A patent/EP2846243B1/en not_active Not-in-force
-
2014
- 2014-08-11 RU RU2016112470A patent/RU2672624C2/en not_active IP Right Cessation
- 2014-08-11 US US14/915,897 patent/US20160202892A1/en not_active Abandoned
- 2014-08-11 WO PCT/EP2014/002203 patent/WO2015032467A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110231746A1 (en) * | 2000-06-12 | 2011-09-22 | Softview L.L.C. | Scalable display of internet content on mobile devices |
US20070294643A1 (en) * | 2004-03-30 | 2007-12-20 | Kyle Henry M | System for managing the navigational usability of an interactive map |
RU2009104062A (en) * | 2006-08-08 | 2010-08-20 | Майкрософт Корпорейшн (Us) | VIRTUAL CONTROLLER FOR VISUAL IMAGES |
US20110273479A1 (en) * | 2010-05-07 | 2011-11-10 | Apple Inc. | Systems and methods for displaying visual information on a device |
US20120050332A1 (en) * | 2010-08-25 | 2012-03-01 | Nokia Corporation | Methods and apparatuses for facilitating content navigation |
Also Published As
Publication number | Publication date |
---|---|
US20160202892A1 (en) | 2016-07-14 |
WO2015032467A1 (en) | 2015-03-12 |
EP2846243B1 (en) | 2019-08-14 |
EP2846243A1 (en) | 2015-03-11 |
RU2016112470A (en) | 2017-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2672624C2 (en) | Graphical user interface providing virtual super-zoom functionality | |
Biener et al. | Breaking the screen: Interaction across touchscreen boundaries in virtual reality for mobile knowledge workers | |
US11003304B2 (en) | Information display terminal, information display method and program | |
Fitzmaurice et al. | Tracking menus | |
Ren et al. | 3D selection with freehand gesture | |
US7814439B2 (en) | Pan-zoom tool | |
US9146674B2 (en) | GUI controls with movable touch-control objects for alternate interactions | |
US9477381B2 (en) | User interface for toolbar navigation | |
Käser et al. | FingerGlass: efficient multiscale interaction on multitouch screens | |
JP2004078693A (en) | Visual field movement operating method | |
Telkenaroglu et al. | Dual-finger 3d interaction techniques for mobile devices | |
EP2676178A1 (en) | Breath-sensitive digital interface | |
JP2004192241A (en) | User interface device and portable information device | |
Uddin | Improving Multi-Touch Interactions Using Hands as Landmarks | |
Riehmann et al. | Short‐contact touch‐manipulation of scatterplot matrices on wall displays | |
Hinckley et al. | The props-based interface for neurosurgical visualization | |
Hinckley et al. | New applications for the touchscreen in 2D and 3D medical imaging workstations | |
Büring et al. | Zoom interaction design for pen-operated portable devices | |
US20230207103A1 (en) | Method of determining and displaying an area of interest of a digital microscope tissue image, input/output system for navigating a patient-specific image record, and work place comprising such input/output system | |
Cho et al. | HyFinBall: a two-handed, hybrid 2D/3D desktop VR interface for multi-dimensional visualization | |
Bezerianos | Using alternative views for layout, comparison and context switching tasks in wall displays | |
Pietroszek | 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue | |
Bhowmick et al. | Design and evaluation of AMAZE: A multi-finger approach to select small and distant objects in dense virtual environments | |
Appert | From Direct manipulation to Gestures | |
Sun et al. | PenShaft: Enabling Pen Shaft Detection and Interaction for Touchscreens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200812 |