RU2672624C2 - Graphical user interface providing virtual super-zoom functionality - Google Patents

Graphical user interface providing virtual super-zoom functionality Download PDF

Info

Publication number
RU2672624C2
RU2672624C2 RU2016112470A RU2016112470A RU2672624C2 RU 2672624 C2 RU2672624 C2 RU 2672624C2 RU 2016112470 A RU2016112470 A RU 2016112470A RU 2016112470 A RU2016112470 A RU 2016112470A RU 2672624 C2 RU2672624 C2 RU 2672624C2
Authority
RU
Russia
Prior art keywords
scaling
layers
zoom
fingers
levels
Prior art date
Application number
RU2016112470A
Other languages
Russian (ru)
Other versions
RU2016112470A (en
Inventor
Маттиас Рат
Дирк Фрид КАРНАТ
Original Assignee
Маттиас Рат
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Маттиас Рат filed Critical Маттиас Рат
Publication of RU2016112470A publication Critical patent/RU2016112470A/en
Application granted granted Critical
Publication of RU2672624C2 publication Critical patent/RU2672624C2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

FIELD: data processing; image forming apparatus.
SUBSTANCE: invention relates to graphical interfaces. Device comprises a display which includes at least two discrete zoom layers, wherein between the at least two zoom layers it is switched based on a certain user control input.
EFFECT: technical result is enabling continuous variation of the zooming factor while allowing switching between arbitrary zoom layers.
9 cl, 8 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Изобретение касается способа и устройства графического интерфейса (GUI) пользователя с целью обеспечения расширенных функциональных возможностей виртуального масштабирования, которыми может управлять пользователь графического дисплея от компьютера или устройства или системы обработки данных.The invention relates to a method and apparatus for a graphical user interface (GUI) for providing enhanced virtual scalability functionality that a graphical display user can control from a computer or data processing device or system.

Уровень техникиState of the art

В частности, в области мобильных вычислительных устройств, в которые входят, помимо прочего, планшетные ПК, лэптопы, мобильные телефоны или карманные персональные компьютеры, ввод информации пользователем с использованием сенсорного экрана становится все более и более популярным. В этих сенсорных экранах реализована определенная технология обнаружения положения курсора по контакту пальцев с экраном дисплея.In particular, in the field of mobile computing devices, which include, but are not limited to, tablet PCs, laptops, mobile phones or personal digital assistants, user input using a touch screen is becoming more and more popular. In these touch screens, a certain technology for detecting the position of the cursor by the contact of the fingers with the display screen is implemented.

Известны отслеживающие несколько событий сенсорные экраны, которые одновременно отслеживают контакты нескольких пальцев. На основе таких отслеженных контактов пальцев, GUI указывает, прокручивает, осуществляет виртуальные трехмерные (3D) операции с отображаемыми объектами. В некоторых случаях отслеживают ввод с помощью жестов пальцев и, в ответ на жесты пальцев, устройство выбирает материал, визуально выделяет выбранный материал и/или обновляет выбранный материал на основе отслеженного ввода информации. В других случаях устройство отображает область отображения команд, которая содержит один или более значок команды, обнаруживает активацию значка команды в области отображения команд и, в ответ на обнаружение активации значка команды в области отображения команд, осуществляет соответствующее действие для выбранного материала. Примерами действий является вырезание, копирование и вставка материала.Touch events that track multiple events are known, which simultaneously track the contacts of several fingers. Based on such traced finger contacts, the GUI indicates, scrolls, performs virtual three-dimensional (3D) operations with displayed objects. In some cases, input is tracked using finger gestures and, in response to finger gestures, the device selects the material, visually highlights the selected material and / or updates the selected material based on the tracked input. In other cases, the device displays a command display area that contains one or more command icons, detects the activation of the command icon in the command display area, and, in response to the detection of the activation of the command icon in the command display area, performs the corresponding action for the selected material. Examples of actions are cutting, copying, and pasting material.

Помимо описанных функциональных возможностей ввода информации пользователем, применяются функциональные возможности по масштабированию, которыми управляет пользователь посредством увеличения или уменьшения расстояния между двумя точками касания двух пальцев. Для обеспечения упомянутых функциональных возможностей масштабирования может быть показана увеличительная лупа, например, в зависимости от контекста, при этом сила увеличения лупы может изменяться на основе размера элемента пользовательского интерфейса, соответствующего расположению жеста на сенсорной поверхности.In addition to the described user input functionality, scaling functionality is applied that the user controls by increasing or decreasing the distance between two touch points of two fingers. To provide the aforementioned scaling functionality, a magnifying magnifier may be shown, for example, depending on the context, and the magnifying force of the magnifying glass may vary based on the size of the user interface element corresponding to the location of the gesture on the touch surface.

Что касается упомянутых функциональных возможностей GUI по масштабированию, существует несколько различных подходов соответственно по управлению вводом информации пользователем или взаимодействию с пользователем.Regarding the mentioned scalability of the GUI functionality, there are several different approaches, respectively, for managing user input or user interaction.

В документе ЕР 0 990 202 А1 описан сенсорный экран GUI, содержащий полный набор значков, отображенных в масштабе, при этом отдельная функция каждого значка понятна, но указанные значки слишком малы для легкого доступа к свойствам функции. С помощью касания области экрана с приспосабливанием области значка, экран предоставляет увеличенный вариант этой области, так что пользователь может выбрать нужное свойство.EP 0 990 202 A1 describes a GUI touch screen containing a full set of icons displayed on a scale, with a separate function of each icon being understood, but these icons are too small for easy access to the properties of the function. By touching the area of the screen with the adjustment of the area of the icon, the screen provides an enlarged version of this area, so that the user can select the desired property.

В документе ЕР 2 492 788 А1 описан способ масштабирования в GUI электронного устройства, содержащего сенсорный экран, указанный способ включает в себя обнаружение первого, второго и третьего события, заключающегося в касании, являющегося результатом первого, второго и третьего взаимодействия с касанием в первой, второй и третьей координате сенсорного экрана, при этом управляют сенсорным экраном с целью осуществления операции масштабирования для изображения, показанного в GUI, в зависимости от первого расстояния между первой и второй координатами и второго расстояния между первой и третьей координатами.EP 2 492 788 A1 describes a method for scaling in a GUI of an electronic device comprising a touch screen, said method comprising detecting a first, second and third touch event resulting from a first, second and third touch interaction in the first, second and the third coordinate of the touch screen, while controlling the touch screen in order to perform the zoom operation for the image shown in the GUI, depending on the first distance between the first and second coordinates and the second distance between the first and third coordinates.

В документе US 2007 294 643 A1 описан GUI для графического управления удобством использования при перемещении по интерактивной графической карте, при этом GUI содержит иерархию слоев, содержащую первый слой и, по меньшей мере, второй слой. Первая полоска отображения диапазона связана с первым слоем и выполнена для показа диапазона масштабов карты, при которых первый слой отображают на оцифрованной карте, а вторая полоска отображения диапазона связана со вторым слоем и выполнена для показа диапазона масштабов карты, при которых второй слой отображают на оцифрованной карте. Иерархия слоев позволяет разработчику карты эффективно организовывать и управлять слоями оцифрованной карты на основе приоритета рисования различных слоев, графических стилей, связанных с каждым из различных слоев, и диапазонов масштаба карты, то есть коэффициентов масштабирования, при которых на оцифрованной карте отображают различные слои.US 2007 294 643 A1 describes a GUI for graphically controlling usability when navigating an interactive graphics card, the GUI comprising a hierarchy of layers comprising a first layer and at least a second layer. The first range display bar is connected to the first layer and is designed to show the map scale range at which the first layer is displayed on a digitized map, and the second range display bar is connected to the second layer and is made to show the map scale range at which the second layer is displayed on a digitized map . The hierarchy of layers allows the map designer to efficiently organize and manage the layers of the digitized map based on the priority of drawing different layers, the graphic styles associated with each of the different layers, and the scale range of the map, i.e. the scaling factors at which different layers are displayed on the digitized map.

Сущность изобретенияSUMMARY OF THE INVENTION

Изобретение касается способа и устройства для предоставления графического интерфейса (GUI) пользователя компьютера или устройства обработки данных для экрана, предпочтительно, сенсорного экрана, при этом GUI показывает, по меньшей мере, один виртуальный двумерный или трехмерный объект таким образом, что пользователь может исследовать объект или перемещаться по нему с минимальными требованиями к пользователю по вводу управляющей информации, при этом обеспечиваются функциональные возможности виртуального масштабирования с широким диапазоном уровней масштабирования, например, уровней масштабирования, отличающихся друг от друга на много порядков величины.The invention relates to a method and apparatus for providing a graphical user interface (GUI) of a computer or data processing device for a screen, preferably a touch screen, wherein the GUI shows at least one virtual two-dimensional or three-dimensional object so that the user can examine the object or navigate it with the minimum requirements for the user to enter control information, while providing functionality for virtual scaling with a wide range the zone of scaling levels, for example, scaling levels that differ from each other by many orders of magnitude.

Эти уровни масштабирования, в реальном мире, предпочтительно находятся в диапазоне от макроскопических уровней масштабирования, которых можно достичь с использованием оптического микроскопа (LM) или сканирующего электронного микроскопа (SEM), до даже атомного или наноскопического масштаба, которого можно достичь только с использованием просвечивающего электронного микроскопа (ТЕМ), атомно-силового микроскопа (АРМ) или туннельного микроскопа (ТМ). Соответствующие изобретению функциональные возможности масштабирования обеспечивают немедленный легкий доступ для пользователя ко всем уровням масштабирования и, таким образом, позволяют осуществить перемещение по объекту от упомянутого макроскопического вида до упомянутого вида атомного масштаба и, таким образом, могут быть обозначены как функциональные возможности виртуального супермасштабирования.These scaling levels, in the real world, preferably range from macroscopic scaling levels that can be achieved using an optical microscope (LM) or scanning electron microscope (SEM), to even atomic or nanoscopic scaling, which can only be achieved using a transmission electron microscope (TEM), atomic force microscope (AWP) or tunnel microscope (TM). The scaling functionalities according to the invention provide immediate easy access for the user to all zoom levels and, thus, allow moving around an object from the aforementioned macroscopic view to the aforementioned view of the atomic scale and, thus, can be referred to as virtual superscaling functionality.

Соответствующие одному аспекту или варианту осуществления изобретения функциональные возможности супермасштабирования обеспечиваются дискретным расположением таких различных уровней масштабирования с помощью соответствующих слоев или уровней масштабирования, при этом к каждому слою масштабирования можно получить доступ или активировать упомянутый слой масштабирования с использованием соответствующего ввода управляющей информации пользователем. В рамках одного слоя или уровня масштабирования пользователь может увеличить или уменьшить масштаб, изменяя, таким образом, коэффициент масштабирования, с использованием управляющих механизмов, таких как раздвигание двух пальцев на упомянутом выше отслеживающем несколько событий сенсорном экране. Когда пользователь хочет переключиться на другой уровень масштабирования, полезно, что не существует требования по достижению края или предела (то есть минимального или максимального возможного коэффициента масштабирования на одном уровне масштабирования) текущего уровня масштабирования, но, более того, пользователь может непосредственно переключиться на другой уровень масштабирования, который является или соседним для текущего уровня масштабирования, или который является другим уровнем масштабирования, более отдаленным от текущего уровня, что делается путем осуществления действия по вводу управляющей информации в один этап или в одно нажатие.Super-scaling functionality in accordance with one aspect or embodiment of the invention is provided by discreetly arranging such various zoom levels using respective layers or zoom levels, wherein each zoom layer can be accessed or activated by the said zoom layer using the appropriate user input for control information. Within a single layer or zoom level, the user can zoom in or out, thereby changing the zoom ratio, using control mechanisms, such as spreading two fingers on the multi-event touch screen mentioned above. When a user wants to switch to a different zoom level, it is useful that there is no requirement to reach the edge or limit (that is, the minimum or maximum possible zoom ratio at one zoom level) of the current zoom level, but, moreover, the user can directly switch to another level scaling, which is either adjacent to the current zoom level, or which is another zoom level, farther from the current a level that is done by implementing action on the control information input in one step or in one press.

Действие по вводу управляющей информации в один этап или в одно нажатие в случае сенсорного экрана может быть осуществлено с использованием третьего пальца при масштабировании на сенсорном экране, при этом предоставляется возможность увеличивать масштаб раздвигая два пальца на экране. Конечно, в качестве третьего пальца может быть использован третий палец той же руки пользователя или другой (произвольный) палец другой руки пользователя. Переключение на другой уровень масштабирования может поддерживаться выпадающим меню, колесом прокрутки или подобным образом, с помощью которого может быть выбран нужный уровень масштабирования. В вариантах реализации без сенсорного экрана могут быть использованы определенные управляющие команды, введенные на клавиатуре компьютера или с помощью компьютерной мыши или любого другого указателя.The action of entering control information in one step or one click in the case of a touch screen can be carried out using the third finger when scaling on the touch screen, while it is possible to zoom in by spreading two fingers on the screen. Of course, the third finger of the same user's hand or the other (arbitrary) finger of the user's other hand can be used as the third finger. Switching to another zoom level can be supported by a drop-down menu, a scroll wheel or the like, with which the desired zoom level can be selected. In embodiments without a touch screen, certain control commands entered on a computer keyboard or using a computer mouse or any other pointer may be used.

Предложенный механизм переключения между различными уровнями масштабирования требует гораздо меньше времени и, соответственно, он гораздо более удобен пользователю по сравнению с существующими в технике подходами. В этой связи этот механизм позволяет переключаться от одного слоя масштабирования на другой без каких-либо ограничений, например, переключение возможно при любом текущем коэффициенте масштабирования или в любое время и, следовательно, этот механизм предотвращает случайное или непреднамеренное переключение пользователем на другой уровень.The proposed mechanism for switching between different levels of scaling requires much less time and, accordingly, it is much more convenient for the user in comparison with the approaches existing in the technique. In this regard, this mechanism allows you to switch from one scaling layer to another without any restrictions, for example, switching is possible at any current scaling factor or at any time and, therefore, this mechanism prevents the user from accidentally or unintentionally switching to another level.

В соответствии с другим аспектом или вариантом осуществления изобретения, одновременно на дисплее могут быть показаны, по меньшей мере, два слоя или уровни масштабирования, например, расположенные рядом или способом «картинка-в-картинке». Предпочтительно, чтобы эти два уровня масштабирования были следующими: предыдущий активированный или вызванный уровень масштабирования и текущий активированный или вызванный уровень масштабирования. Этот вариант осуществления изобретения позволяет показывать текущий объект или часть этого объекта с двумя различными уровнями масштабирования, например, для облегчения перемещения по этим уровням масштабирования или по всей иерархии уровней масштабирования.In accordance with another aspect or embodiment of the invention, at least two layers or zoom levels, for example, adjacent to or in a picture-in-picture manner, can be simultaneously displayed on a display. Preferably, these two zoom levels are: the previous activated or triggered zoom level and the current activated or triggered zoom level. This embodiment of the invention makes it possible to show the current object or part of this object with two different zoom levels, for example, to facilitate movement across these zoom levels or throughout the hierarchy of zoom levels.

В соответствии с еще одним аспектом или вариантом осуществления изобретения, в случае упомянутого показа на дисплее, по меньшей мере, двух слоев или уровней масштабирования, любые действия или изменения, выполненные с объектом при текущем активном уровне масштабирования, будут видны, по меньшей мере, при втором показе объекта с использованием второго уровня масштабирования, или последствия или результаты этих действий или изменений соответственно сделаны видимыми, как подробно описано в приведенном ниже описании. Эти функциональные возможности могут значительно увеличить эффективность и ценность, например, технического или обучающего инструмента.In accordance with another aspect or embodiment of the invention, in the case of said display of at least two layers or zoom levels, any actions or changes made to the object at the current active zoom level will be visible at least the second display of the object using the second zoom level, or the consequences or results of these actions or changes are accordingly made visible, as described in detail in the description below. These features can significantly increase the efficiency and value of, for example, a technical or training tool.

В соответствии с еще одним аспектом или вариантом осуществления изобретения, помимо упомянутого дискретного расположения слоев или уровней масштабирования, предложено, по меньшей мере, второе дискретное расположение информационных слоев или уровней соответственно, при этом, по меньшей мере, два дискретных расположения могут быть реализованы как вертикальная и горизонтальная линии двумерного или большей размерности массива или матрицы. Такой массив обеспечивает легкий доступ к различным информационным уровням или темам, при этом указанные темы предпочтительно касаются соответствующего уровня масштабирования.In accordance with another aspect or embodiment of the invention, in addition to the aforementioned discrete arrangement of layers or scaling levels, at least a second discrete arrangement of information layers or levels, respectively, is proposed, wherein at least two discrete arrangements can be implemented as a vertical and horizontal lines of two-dimensional or greater dimension of an array or matrix. Such an array provides easy access to various information levels or topics, while these topics preferably relate to the appropriate level of scaling.

По меньшей мере, второе расположение информационных уровней может быть использовано для показа или иллюстрации соответствующей информации для виртуального объекта, по которому перемещается пользователь, в частности информации, приспособленной к текущему активному уровню масштабирования. Например, в случае, когда показываемый объект является человеческим телом или органом человеческого тела, в случае активированного клеточного уровня масштабирования на экране могут быть показаны, например, рядом друг с другом, соответствующие биохимические процессы или изменения, возможные причины клеточной или касающейся клеток болезни и/или возможные соответствующие лечебные вмешательства, таким образом, улучшается восприятие пользователем показываемой информации. Только в качестве примера, в случае, когда рассматриваемое устройство является обучающим устройством или инструментом, процесс обучения может быть значительно улучшен.At least a second arrangement of information levels can be used to display or illustrate relevant information for the virtual object that the user is moving along, in particular information adapted to the current active zoom level. For example, in the case where the displayed object is a human body or an organ of the human body, in the case of an activated cellular level of scaling, the screen can show, for example, next to each other, the corresponding biochemical processes or changes, possible causes of a cell or cell-related disease of the disease and / or possible appropriate treatment interventions, thereby improving the user's perception of the displayed information. By way of example only, in the case where the device in question is a training device or tool, the learning process can be significantly improved.

Следует отметить, что упомянутые виртуальные объекты могут быть или виртуальными анимированными трехмерными (3D) объектами или двумерными объектами, так как основная идея настоящего изобретения не зависит от количества размерностей показа объекта на экране или дисплее.It should be noted that the mentioned virtual objects can be either virtual animated three-dimensional (3D) objects or two-dimensional objects, since the main idea of the present invention does not depend on the number of dimensions of displaying the object on the screen or display.

Соответствующие изобретению функциональные возможностиFunctionality of the Invention

супермасштабирования могут быть реализованы в GUI для показа на сенсорном экране, которым управляет пользователь с помощью упомянутых контактов и/или перемещений пальцев. В качестве альтернативы функциональные возможности супермасштабирования могут быть реализованы в GUI, который показывают на экране или мониторе компьютера, или устройства или системы обработки данных с использованием известной компьютерной клавиатуры, компьютерной мыши, планшета ввода графической информации или любого другого устройства ввода информации пользователем. В случае ввода управляющей информации с использованием клавиатуры может быть использована определенная комбинация управляющих клавиш клавиатуры. В случае компьютерной мыши, планшета ввода графической информации или подобного устройства, ввод управляющей информации пользователем для функциональных возможностей супермасштабирования может быть осуществлен с использованием определенных комбинаций управляющих клавиш. В случае мобильного устройства сенсорный экран и/или поворотный переключать позволяет вводить нужные управляющие команды с помощью карусельного устройства данных, полосы прокрутки или подобного устройства, например, с помощью выбора определенных углов поворота карусельного устройства или подобного элемента.super-scaling can be implemented in the GUI to display on the touch screen, which is controlled by the user using the mentioned contacts and / or finger movements. Alternatively, the super-scale functionality may be implemented in a GUI that is displayed on a computer screen or monitor, or a data processing device or system using a known computer keyboard, computer mouse, graphic input tablet or any other user input device. In the case of inputting control information using the keyboard, a certain combination of keyboard control keys may be used. In the case of a computer mouse, a tablet for inputting graphic information, or a similar device, input of control information by a user for super-scale functionality can be carried out using certain combinations of control keys. In the case of a mobile device, the touch screen and / or rotary switch allows you to enter the desired control commands using the data carousel, scroll bar or similar device, for example, by selecting specific rotation angles of the carousel device or the like.

Краткое описание чертежейBrief Description of the Drawings

Объекты, признаки и достоинства изобретения понятны с учетом приведенного ниже подробного описания. Подробное описание понятно с учетом приложенных чертежей, которые образуют материальную часть этого изобретения и на которых:The objects, features and advantages of the invention are understood in light of the following detailed description. A detailed description is clear in view of the attached drawings, which form the material part of this invention and in which:

фиг. 1А, В - виды, показывающие пример расположения слоев или уровней масштабирования и соответствующий процесс перемещения, в соответствии с изобретением;FIG. 1A, B are views showing an example of the arrangement of layers or zoom levels and the corresponding movement process, in accordance with the invention;

фиг. 2 - вид, показывающий как осуществлять быстрое переключение между различными (не обязательно соседними) слоями или уровнями масштабирования;FIG. 2 is a view showing how to quickly switch between different (not necessarily adjacent) layers or zoom levels;

фиг. 3 - вид, показывающий пример соответствующей изобретению процедуры осуществления переключения между различными объектами или информацией без изменения слоя или уровня или коэффициента масштабирования;FIG. 3 is a view showing an example of a procedure according to the invention for switching between different objects or information without changing a layer or level or scaling factor;

фиг. 4 - вид, показывающий пример соответствующей изобретению процедуры выбора части виртуального 3D объекта с целью переключения на другой слой или уровень масштабирования;FIG. 4 is a view showing an example of a procedure according to the invention for selecting a portion of a virtual 3D object to switch to another layer or zoom level;

фиг. 5 - вид, показывающий пример матричного расположения или структуры слоев или уровней масштабирования относительно различных категорий объектов;FIG. 5 is a view showing an example of a matrix arrangement or structure of layers or scaling levels with respect to various categories of objects;

фиг. 6 - вид, показывающий блок-схему предпочтительного варианта осуществления способа, соответствующего изобретению;FIG. 6 is a view showing a flowchart of a preferred embodiment of a method according to the invention;

фиг. 7 - вид, показывающий вариант осуществления соответствующего изобретению способа, который позволяет изменениям, сделанным с объектом при одном уровне масштабирования, вступать в силу при другом уровне масштабирования.FIG. 7 is a view showing an embodiment of a method according to the invention, which allows changes made to an object at one zoom level to take effect at a different zoom level.

Подробное описание изобретенияDETAILED DESCRIPTION OF THE INVENTION

На фиг. 1А и 1В показано устройство по биологии человека или по медицине человека, где виртуальным объектом является человеческое тело. Показанное вертикальное направление масштабирования, в этом примере, обеспечивает микроскопические или даже наноскопические слои или уровни масштабирования (далее обозначаем только как «уровни») человеческого тела, заданного органа или ткани человека, органа или ткани на клеточном уровне, органа или ткани на внутриклеточном уровне, например, структуры эндотелиальной клетки или митохондрии. В частности, может быть показан в статике или в динамике любой уровень функциональных возможностей, например, органа при текущем уровне масштабирования.In FIG. 1A and 1B show a device for human biology or human medicine, where the virtual object is the human body. The shown vertical direction of scaling, in this example, provides microscopic or even nanoscopic layers or scaling levels (hereinafter referred to only as “levels”) of the human body, a given organ or human tissue, organ or tissue at the cellular level, organ or tissue at the intracellular level, for example, endothelial cell or mitochondrial structures. In particular, any level of functionality, for example, an organ at a current zoom level, can be shown in statics or dynamics.

Тем не менее, настоящее изобретение может быть внедрено или реализовано в устройствах, используемых в различных областях науки или технологии, в том числе, помимо прочего, в биологических системах и процессах или механических или электротехнических устройствах и процессах. В случае, когда виртуальный объект является механическим или электротехническим устройством, вертикальное направление (масштабирование) может обеспечить уровни супермасштабирования для самого устройства, миниатюризированных частей машины, печатных плат (РСВ), реализованных в соответствующей части машины, электронных компонентов, таких как резисторы, диоды или транзисторы, реализованных на плате, микроскопических деталей этих компонентов и так далее.However, the present invention can be implemented or implemented in devices used in various fields of science or technology, including, but not limited to, biological systems and processes, or mechanical or electrical devices and processes. In the case where the virtual object is a mechanical or electrical device, the vertical direction (scaling) can provide super-scaling levels for the device itself, miniaturized parts of the machine, printed circuit boards (PCBs) implemented in the corresponding part of the machine, electronic components such as resistors, diodes or transistors implemented on the board, microscopic details of these components and so on.

Как в примере, показанном на фиг. 1А и фиг. 1В, на любом уровне масштабирования могут быть показаны в статике или в динамике функциональные возможности, например, части или компонента машины на текущем уровне масштабирования.As in the example shown in FIG. 1A and FIG. 1B, at any zoom level, functionalities, for example, a part or component of a machine at the current zoom level, can be shown in statics or dynamics.

Приложение или устройство в рассматриваемом варианте осуществления настоящего изобретения реализуют в планшетном компьютере, который содержит сенсорный экран, схематически показанный на фиг. 1А и 1В. Это устройство обеспечивает пример пяти уровней 100-120 и 125-145 (супер) масштабирования. Уровни 100-120 масштабирования, показанные на фиг. 1А относятся к процедуре увеличения, а уровни 125-145 масштабирования, показанные на фиг. 1В относятся к процедуре уменьшения. В настоящем примере, переключение между показанными уровнями масштабирования осуществляется последовательно, то есть от одного уровня масштабирования до следующего (соседнего) уровня масштабирования. Конечно, раздвигание или собирание с помощью только двух пальцев, контактирующих с сенсорным экраном, будет обеспечивать непрерывное изменение коэффициента масштабирования, что известно в технике.The application or device in the present embodiment is implemented in a tablet computer that includes a touch screen, shown schematically in FIG. 1A and 1B. This device provides an example of five levels of 100-120 and 125-145 (super) scaling. The zoom levels 100-120 shown in FIG. 1A relate to the enlargement procedure, and the zoom levels 125-145 shown in FIG. 1B relate to a reduction procedure. In the present example, the switching between the shown zoom levels is carried out sequentially, that is, from one zoom level to the next (neighboring) zoom level. Of course, sliding or picking up with only two fingers in contact with the touch screen will provide a continuous change in the zoom ratio, which is known in the art.

Как показано на фиг. 1А, первый уровень 100 масштабирования изображает упомянутое человеческое тело в целом, правая рука 101 пользователя показана для иллюстрации примера ввода пользователем управляющей информации с использованием сенсорного экрана. В этом примере, помимо большого пальца 102 и указательного пальца 103, касание среднего пальца 104 и одновременное раздвигание всех трех пальцев вызывает переключение от первого уровня 100 масштабирования к следующему (второму) уровню 105 масштабирования. В рассматриваемом примере второй уровень 105 масштабирования показывает орган человеческого тела, в рассматриваемом примере - сердце. Третий уровень 110 масштабирования показывает сечение сердца, при этом четвертый уровень 115 масштабирования показывает коронарную артерию сердца. Наконец, пятый уровень 120 масштабирования показывает эндотелиальную клетку в коронарной артерии.As shown in FIG. 1A, the first zoom level 100 depicts the aforementioned human body as a whole, the user's right hand 101 is shown to illustrate an example of user inputting control information using a touch screen. In this example, in addition to thumb 102 and index finger 103, touching the middle finger 104 and simultaneously spreading all three fingers causes switching from the first zoom level 100 to the next (second) zoom level 105. In this example, the second zoom level 105 shows the organ of the human body, in this example, the heart. The third zoom level 110 shows a cross-section of the heart, while the fourth zoom level 115 shows the coronary artery of the heart. Finally, the fifth zoom level 120 shows an endothelial cell in the coronary artery.

Как упомянуто выше, каждый уровень (слой) 100, 105, 110, 115, 120 масштабирования отличается от соседнего уровня (слоя) масштабирования существенно другим коэффициентом масштабирования. Например, четвертый уровень 115 масштабирования и пятый уровень 120 масштабирования отличаются друг от друга до такой степени, что детали коронарной артерии могут быть видны пользователю с использованием оптического микроскопа (LM), а детали эндотелиальной клетки могут быть видны с использованием только электронного микроскопа (SEM или ТЕМ). В результате, с использованием только известной процедуры масштабирования на основе раздвигания двух пальцев, соответствующие коэффициенты масштабирования могут быть получены или с использованием процедуры масштабирования с низким разрешением, таким образом, потенциально не показывая соответствующую информацию во время масштабирования, или с использованием процедуры масштабирования с высоким разрешением, которая требует трудоемких и, следовательно, занимающих много времени и выполняемых пользователем управляющих команд, направленных на покрытие всего диапазона коэффициентов масштабирования между двумя уровнями 115, 120 масштабирования.As mentioned above, each zoom level (layer) 100, 105, 110, 115, 120 differs from the neighboring zoom level (layer) by a substantially different scaling factor. For example, the fourth zoom level 115 and the fifth zoom level 120 differ from each other to such an extent that details of the coronary artery can be visible to the user using an optical microscope (LM), and details of the endothelial cell can be seen using only an electron microscope (SEM or TOPIC). As a result, using only the known two-finger scaling procedure, the corresponding scaling factors can be obtained either using the low-resolution scaling procedure, thus potentially not showing the corresponding information during scaling, or using the high-resolution scaling procedure , which requires time-consuming and, therefore, time-consuming and user-executed control commands, nnyh to cover the entire range of scaling factors between the two levels 115, 120 scale.

На фиг. 1В показано, как пользователь может уменьшить масштаб, начиная с описанного выше пятого уровня 120 масштабирования, сейчас обозначенного ссылочной позицией 125 и по направлению к первому уровню 100 масштабирования, сейчас обозначенного ссылочной позицией 145. Пятый уровень 125 масштабирования показывает упомянутую эндотелиальную клетку и показывает снова правую руку 126 пользователя с большим пальцем 127, указательным пальцем 129 и средним пальцем 128. Для запуска уменьшения масштаба и, соответственно, для переключения от пятого уровня 125 масштабирования к соседнему четвертому уровню 130 масштабирования, позиции касания трех пальцев 127, 128, 129 должны быть близки или, соответственно, они должны быть собраны вместе, а не раздвинуты, как в случае процедуры увеличения масштаба (смотри фиг. 1А). Соответственно можно получить другие уровни 135, 140, 145 масштабирования.In FIG. 1B shows how a user can zoom out from the fifth scaling level 120 described above, now indicated by 125 and towards the first scaling level 100, now indicated by 145. The fifth scaling level 125 shows said endothelial cell and again shows the right user’s hand 126 with thumb 127, index finger 129, and middle finger 128. To start zooming out and, accordingly, to switch from the fifth level, 125 scaler Bani to an adjacent fourth level of zoom 130, touch position three fingers 127, 128, 129 should be close to or, correspondingly, they must be assembled together and do not spread apart as in the case of zoom procedure (see FIG. 1A). Accordingly, you can get other levels 135, 140, 145 scaling.

Следует упомянуть, что описанная выше процедура уменьшения масштаба и увеличения масштаба является только примером и, как будет очевидно из последующего описания, возможно переключение не только между соседними уровнями масштабирования, но также между произвольными уровнями масштабирования, при использовании пользователем определенного ввода управляющей информации.It should be mentioned that the procedure for zooming out and zooming out described above is only an example and, as will be apparent from the following description, it is possible to switch not only between adjacent zoom levels, but also between arbitrary zoom levels, when the user uses a certain input of control information.

На фиг. 2 показан пример способа, соответствующего изобретению и показывающего, как может быть реализован способ быстрого переключения между различными уровнями масштабирования. Как и на фиг. 1А и 1В, показан схематический вид в перспективе сенсорного экрана 200 планшетного компьютера. Кроме того, показана правая, рука 201 пользователя. В этом примере, выполняют быстрое переключение с использованием трех пальцев, а именно большого пальца 203, указательного пальца 202 и среднего пальца 204 пользователя. На экране 200 показаны четыре уровня 205, 210, 215, 220 масштабирования.In FIG. 2 shows an example of a method according to the invention and showing how a method for quickly switching between different zoom levels can be implemented. As in FIG. 1A and 1B, a schematic perspective view of a touch screen 200 of a tablet computer is shown. In addition, the right hand 201 of the user is shown. In this example, fast switching is performed using three fingers, namely the thumb 203, the index finger 202, and the middle finger 204 of the user. Screen 200 shows four zoom levels 205, 210, 215, 220.

В рассматриваемом примере скорость раздвигания или собирания трех пальцев определяет величину перехода при быстром переключении. Например, чем больше скорость раздвигания или собирания трех пальцев, тем больше может быть пропущено уровней масштабирования. Только в качестве примера, с помощью быстрого переключения можно напрямую переключиться от первого уровня 205 масштабирования до третьего уровня 215 масштабирования или даже до четвертого уровня 220 масштабирования и наоборот, пропуская таким образом, промежуточное переключение ко второму уровню 210 масштабирования. Конечно, как и в предыдущем примере, показанном на фиг. 1А и 1В, раздвигание или собирание двух пальцев обеспечивает изменение коэффициента масштабирования на соседнее значение, что известно в технике.In this example, the speed of sliding or gathering three fingers determines the magnitude of the transition with a quick switch. For example, the greater the speed of sliding apart or gathering three fingers, the more zoom levels can be skipped. By way of example only, with a quick switch, you can directly switch from the first zoom level 205 to the third zoom level 215, or even to the fourth zoom level 220, and vice versa, thus skipping intermediate switching to the second zoom level 210. Of course, as in the previous example shown in FIG. 1A and 1B, spreading or picking up two fingers allows the zoom factor to change to an adjacent value, as is known in the art.

Тем не менее, описанная выше процедура супермасштабирования также может быть применена на основе раздвигания или собирания двух, а не трех пальцев, но в этом случае скорость раздвигания или собирания должна превышать определенное (минимальное) пороговое значение, чтобы предотвратить конфликт с упомянутой выше процедурой непрерывного изменения коэффициента масштабирования в рамках одного уровня масштабирования. Далее, специалисту в рассматриваемой области техники станет ясно, что использование трех пальцев, то есть третьего пальца в качестве средства ввода управляющей информации, обеспечивает гораздо более стабильные функциональные возможности супермасштабирования по сравнению с использованием только двух пальцев (смотри, например, упомянутый выше конфликт).However, the super-scaling procedure described above can also be applied based on spreading or gathering two rather than three fingers, but in this case, the speed of spreading or gathering must exceed a certain (minimum) threshold value to prevent a conflict with the above-mentioned continuous change procedure scale factor within one zoom level. Further, it will become clear to a person skilled in the art that the use of three fingers, that is, the third finger as a means of inputting control information, provides much more stable super-scalability functionality compared to using only two fingers (see, for example, the conflict mentioned above).

В качестве альтернативы вместо описанного подхода с тремя пальцами, для выбора определенного уровня масштабирования из списка всех доступных уровней масштабирования может быть использовано другое средство ввода пользователем управляющей информации, такое как карусельное устройство данных, полоса прокрутки, иерархическое меню или колесо прокрутки.Alternatively, instead of the described three-finger approach, another means of user input of control information, such as a carousel data device, scroll bar, hierarchical menu or scroll wheel, can be used to select a specific zoom level from the list of all available zoom levels.

На фиг. 3 показан другой пример процедуры, которая соответствует изобретению, и которая позволяет пользователю переключать по горизонтали между различными информационными категориями или уровнями (слоями) или даже объектами, которые предпочтительно относятся к объекту (например, человеческому органу), показываемому на текущем уровне масштабирования. Переключение между этими различными информационными уровнями или слоями не изменяет коэффициент масштабирования или не переключает на другой уровень или слой масштабирования. Аналогично предыдущим фиг., показан сенсорный экран 300 планшетного компьютера, а также правая рука пользователя в двух позициях 303, 304. Другой информацией могут быть другие болезни человека для каждого из органов или тканей человеческого тела, показанных на различных уровнях масштабирования, как описано при рассмотрении фиг. 1А, 1В и фиг. 2.In FIG. 3 shows another example of a procedure that is consistent with the invention, and which allows the user to switch horizontally between different information categories or levels (layers) or even objects that preferably belong to an object (e.g., a human organ) shown at the current zoom level. Switching between these different information levels or layers does not change the scaling factor or does not switch to another level or scaling layer. Similar to the previous Fig., The touch screen 300 of the tablet computer is shown, as well as the user's right hand in two positions 303, 304. Other information may be other human diseases for each of the organs or tissues of the human body, shown at different zoom levels, as described in consideration FIG. 1A, 1B and FIG. 2.

В рассматриваемом примере в горизонтальном направлении (стрелки 302) показаны различные органы человеческого тела, а именно, тонкий кишечник 305, легкие 310, сердце 315, печень 320 и желудок 325. С помощью перемещения трех пальцев налево или направо 302, то есть без описанного выше раздвигания или собирания пальцев, могут быть выбраны или загружены эти соответствующие объекты. Для выбранного в текущий момент объекта, такого как тонкий кишечник 305 в рассматриваемом примере, с целью переключения на другие уровни масштабирования для этих органов может быть применена описанная выше процедура супермасштабирования.In this example, in the horizontal direction (arrows 302), various organs of the human body are shown, namely, the small intestine 305, lungs 310, heart 315, liver 320 and stomach 325. By moving three fingers to the left or right 302, that is, without the above spreading or collecting fingers, these corresponding objects can be selected or loaded. For the currently selected object, such as the small intestine 305 in the example under consideration, the superscaling procedure described above can be applied to switch to other zoom levels for these organs.

На фиг. 4 показан пример процедуры, которая соответствует изобретению, и которая позволяет пользователю выбрать область или часть выбранного в текущий момент объекта, которым в рассматриваемом примере является виртуальное 3D (трехмерное) изображение внутренних органов человеческого тела (например, сердце 425 и тонкий кишечник 420), что нужно для переключения на другой уровень масштабирования, начиная с этой области или части. В этом примере показаны три снимка сенсорного экрана 400 планшетного компьютера. Кроме того, показаны правая рука 405 пользователя, большой палец 406, указательный палец 407 и средний палец 408 пользователя.In FIG. Figure 4 shows an example of a procedure that corresponds to the invention, and which allows the user to select a region or part of the currently selected object, which in this example is a virtual 3D (three-dimensional) image of the internal organs of the human body (for example, heart 425 and small intestine 420), which need to switch to another zoom level, starting from this area or part. In this example, three screenshots of the touch screen 400 of a tablet computer are shown. In addition, the user's right hand 405, thumb 406, index finger 407, and middle finger 408 of the user are shown.

Позиция трех пальцев 406-408 при их раздвигании или собирании определяет позицию виртуального указателя на объект, который будет использован как начальная позиция при переключении на другой уровень масштабирования. В рассматриваемом варианте осуществления настоящего изобретения виртуальный указатель показан в виде креста 480 в круге. В рассматриваемом примере позицию виртуального указателя на объекте определяет точка фокусировки или равновесия трех пальцев. Тем не менее, позиция может быть определена другими путями, например, с использованием взвешенного равновесия трех пальцев, точки фокусировки между двумя пальцами или подобного. Если точка фокусировки указывает на сердце 425, как указано стрелкой 415, сердце 425 будет выбрано для увеличения масштаба, в том числе описанного переключения уровней масштабирования. Соответственно, если точка фокусировки указывает на тонкий кишечник 420, как указано стрелкой 410, тонкий кишечник 420 будет выбран для увеличения масштаба, в том числе описанного переключения уровней масштабирования.The position of the three fingers 406-408 when they are spread apart or assembled determines the position of the virtual pointer to the object, which will be used as the starting position when switching to another zoom level. In the present embodiment, the virtual pointer is shown as a cross 480 in a circle. In this example, the position of the virtual pointer on the object is determined by the focus point or equilibrium of three fingers. However, the position can be determined in other ways, for example, using a balanced balance of three fingers, a focus point between two fingers, or the like. If the focus point points to the heart 425, as indicated by arrow 415, the heart 425 will be selected for zooming, including the described switching of zoom levels. Accordingly, if the focal point indicates the small intestine 420, as indicated by arrow 410, the small intestine 420 will be selected to zoom in, including the described switching of zoom levels.

Следует заметить, что показанный 3D объект, до описанного выбора внутреннего органа, можно виртуально вращать на экране, например, с использованием одного пальца, при этом касание трех пальцев сенсорного экрана выработает виртуальный указатель, по существу, в центре трех пальцев, который указывает позицию фокусировки в показываемой в настоящей момент части 3D объекта, где начнется быстрое перемещение на объект с масштабированием. В зависимости от скорости перемещения третьего пальца, может быть выбран определенный уровень масштабирования и, таким образом, пользователь может наглядно увеличивать и уменьшать масштаб определенной части или участка объекта, что очень удобно пользователю.It should be noted that the 3D object shown, before the described selection of the internal organ, can be virtually rotated on the screen, for example, using one finger, while touching the three fingers of the touch screen will produce a virtual pointer, essentially in the center of the three fingers, which indicates the focus position in the currently displayed part of the 3D object, where fast movement to the object with scaling will begin. Depending on the speed of movement of the third finger, a certain zoom level can be selected and, thus, the user can visually increase and decrease the scale of a certain part or section of the object, which is very convenient for the user.

В описанном выше варианте применения для человеческого тела и его органов, особенным достоинством описанного подхода является то, что для выбранного в текущий момент уровня масштабирования показанного тела или органа могут быть одновременно и автоматически показаны соответствующие биологические функции части или органа человеческого тела, а именно те функции, которые могут быть видны на текущем уровне масштабирования.In the application described above for the human body and its organs, a particular advantage of the described approach is that for the currently selected zoom level of the shown body or organ, the corresponding biological functions of a part or organ of the human body can be simultaneously and automatically shown, namely those functions that can be seen at the current zoom level.

Например, на клеточном уровне масштабирования пользователю может быть показана или даже пользователем может быть исследована подача в клетки человека определенных питательных, профилактических или лечебных веществ и реакция клетки на это. В качестве примера, если процесс артериосклероза, который развивается на клеточном уровне, затрудняет или даже останавливает ток крови или ее циркуляцию через артерию, уровень масштабирования для органов (выше клеточного уровня) позволяет показывать, наблюдать или исследователь последствия инфаркта миокарда или тромбоза коронарных артерий, например, эффект фибрилляции желудочков.For example, at the cellular level of scaling, the user can be shown, or even the user can be examined, the supply of certain nutrient, prophylactic or therapeutic substances to human cells and the reaction of the cell to this. As an example, if the process of arteriosclerosis, which develops at the cellular level, impedes or even stops the flow of blood or its circulation through the artery, the scaling level for organs (above the cellular level) allows the researcher to show, observe or investigate the consequences of myocardial infarction or coronary artery thrombosis, for example , ventricular fibrillation effect.

Так как описанный подход позволяет пользователю получать наглядное понимание сложных биологических и биохимических механизмов взаимодействия, то, в соответствии с другим аспектом настоящего изобретения, описанный способ может быть реализован в качестве обучающего инструмента.Since the described approach allows the user to obtain a visual understanding of the complex biological and biochemical mechanisms of interaction, in accordance with another aspect of the present invention, the described method can be implemented as a training tool.

На фиг. 5 показан пример матричного расположения или структуры уровней масштабирования, которые соответствуют вертикальному направлению 500, и упомянутых различных категорий объектов или информационных категорий, которые соответствуют горизонтальному направлению 505. Это расположение содержит восемь уровней 510, 515, 520 и т.д. масштабирования и три слоя 510, 525, 530 и т.д. информационных категорий. Перемещение или переключение между этими уровнями масштабирования и информационными слоями может быть осуществлено с помощью описанных выше процедур и так, как показано различными стрелками, изображенными в этом расположении.In FIG. 5 shows an example of a matrix arrangement or structure of zoom levels that correspond to the vertical direction 500, and the various categories of objects or information categories mentioned that correspond to the horizontal direction 505. This arrangement contains eight levels 510, 515, 520, etc. scaling and three layers 510, 525, 530, etc. information categories. Moving or switching between these zoom levels and information layers can be done using the procedures described above and as shown by the various arrows depicted in this location.

Подчеркнем, что описанные выше процедуры позволяют пользователю переключаться между соседними уровнями масштабирования, например, уровнями 510 и 515, или между не соседними уровнями масштабирования, например, уровнями 510 и 520, и/или между соседними информационными слоями, например, слоями 510 и 525, или между не соседними информационными слоями, например, слоями 510 и 530.We emphasize that the procedures described above allow the user to switch between adjacent zoom levels, for example, levels 510 and 515, or between non-adjacent zoom levels, for example, levels 510 and 520, and / or between adjacent information layers, for example, layers 510 and 525, or between non-adjacent information layers, for example, layers 510 and 530.

Также подчеркнем, что показанное количество уровней масштабирования и слоев объекта/информационных слоев является только примером и может изменяться. Конечно, в случае множества таких уровней и слоев, подход к масштабированию/перемещению, соответствующий изобретению, становится даже еще более целесообразным, так как сохраняет большое количество усилий и времени для использования соответственно устройства или функциональных возможностей супермасштабирования.We also emphasize that the shown number of zoom levels and object layers / information layers is only an example and may vary. Of course, in the case of a plurality of such levels and layers, the scaling / moving approach according to the invention becomes even more expedient, since it saves a lot of effort and time for using the device or super-scalability functionality accordingly.

В случае описанного выше человеческого тела, горизонтальное направление матрицы может представлять различные органы или ткани человеческого тела, различные болезни человека и т.д. В случае упомянутой области механики или электротехники, горизонтальное направление может касаться различные частей машины.In the case of the human body described above, the horizontal direction of the matrix can represent various organs or tissues of the human body, various human diseases, etc. In the case of the aforementioned field of mechanics or electrical engineering, the horizontal direction may concern various parts of the machine.

На фиг. 6 показана блок-схема предпочтительного варианта осуществления способа, соответствующего изобретению. В показанной процедуре сначала в 600 проверяют, имеет ли место касание, по меньшей мере, двух пальцев пользователя. Если нет, то происходит переход назад на начало, так что последующая часть процедуры начнется только в случае да.In FIG. 6 is a flowchart of a preferred embodiment of the method of the invention. In the procedure shown, a check is first made at 600 to see if at least two fingers of the user have touched. If not, then there is a transition back to the beginning, so that the next part of the procedure will begin only if yes.

Если в 600 определено, что имеет место касание двух или более пальцев, то в 605 проверяют, имеет ли место, то есть во время контакта сенсорного экрана, раздвигание или собирание двух из, по меньшей мере, двух пальцев. Если обнаружено такое раздвигание или собирание, то в 610 соответствующим образом приспосабливают коэффициент масштабирования, то есть показываемый объект будут изображать на экране или увеличенным, или уменьшенным.If it is determined at 600 that two or more fingers are touching, then at 605 it is checked whether, i.e. during the touch screen contact, the two of the at least two fingers are pushed apart or picked up. If such a spreading or gathering is detected, then in 610 the scaling factor is adjusted accordingly, that is, the displayed object will be displayed on the screen either enlarged or reduced.

На следующем этапе 615 проверяют, имеет ли место касание трех пальцев, что запустит описанную выше процедуру супермасштабирования и, если условие не выполняется, то осуществляют переход назад на начало, на этап 600. Если обнаружено касание тремя пальцами, то в рассматриваемом примере объект или часть этого объекта выбирают в 620 для возможной операции супермасштабирования, например, с использованием описанного выше виртуального указателя 480. После выбора в 620 объекта, в 625 проверяют, сдвигаются ли вместе три пальца, то есть имеет ли место общее перемещение, предпочтительно в горизонтальном направлений, или общее раздвигание трех пальцев. Если в 625 обнаружено такое общее смещение или раздвигание, то в 630 выбирают соответствующую' информационную категорию или объект, как описано выше. После выбора новой информационной категории или объекта, процедура супермасштабирования начинается снова, с начала, с этапа 600.At the next step 615, it is checked whether there is a touch of three fingers, which will start the super-scaling procedure described above and, if the condition is not met, then go back to the beginning, to step 600. If three fingers are detected, then in this example an object or part this object is selected at 620 for a possible super-scaling operation, for example, using the virtual pointer 480 described above. After selecting an object at 620, at 625 it is checked whether three fingers are moved together, that is, is there a common Movement, preferably in horizontal directions, or general extension of three fingers. If such a general displacement or spread is detected in 625, then the corresponding 'information category or object is selected in 630, as described above. After selecting a new information category or object, the super-scaling procedure starts again, from the beginning, from step 600.

Если, на этапе 625 не обнаружено общее смещение или раздвигание трех пальцев, то в настоящем варианте осуществления настоящего изобретения на следующем этапе 635 активируют и показывают на экране колесо прокрутки или подобное устройство, что позволяет пользователю выбрать из доступных уровней масштабирования определенный уровень масштабирования. На следующем этапе 640 проверяют, выбрал ли пользователь определенный уровень масштабирования с использованием показанного колеса прокрутки. В этом случае описанная процедура масштабирования или функциональные возможности супермасштабирования соответствующего устройства или программы в 645 непосредственно переключает на выбранный уровень масштабирования, как подробно описано выше, и далее происходит переход назад на начало, на этап 600. Иначе, происходит переход назад с этапа 640 на начало, то есть на этап 600.If, at step 625, a common shift or spread of three fingers is not detected, then in the present embodiment of the present invention, at the next step 635, a scroll wheel or the like is activated and displayed on the screen, which allows the user to select a certain zoom level from the available zoom levels. In a next step 640, it is checked whether the user has selected a particular zoom level using the scroll wheel shown. In this case, the described scaling procedure or the superscaling functionality of the corresponding device or program in 645 directly switches to the selected scaling level, as described in detail above, and then goes back to the beginning, to step 600. Otherwise, you go back from step 640 to the beginning , that is, to step 600.

Конечно, описанный способ является только примером и может быть модифицирован, оставаясь при этом в рамках основной идеи изобретения. В частности, порядок этапов описанного способа может изменяться и, таким образом, может считаться только иллюстрацией упомянутой идеи.Of course, the described method is only an example and can be modified while remaining within the framework of the main idea of the invention. In particular, the order of the steps of the described method can be changed and, thus, can be considered only an illustration of the mentioned idea.

Другой вариант осуществления изобретения показан на фиг. 7, на котором изображены четыре снимка 700, 705, 710, 715 экрана для двух различных уровней 700, 715 и 705, 710 масштабирования. Первый уровень 700, 715 масштабирования показывает сердце 770, 775 человека, а второй уровень 705, 710 масштабирования показывает эндотелиальную клетку 760, 765 сердца 770, 775. Подчеркнем, что в рассматриваемом примере перемещения с супермасштабированием эти два уровня 700, 715 и 705, 710 масштабирования не являются соседними, то есть при переключении между двумя уровнями 700, 715 и 705, 710 масштабирования пропускают промежуточный уровень масштабирования, показывающий коронарную артерию. В рассматриваемом примере процесс переключения или перемещения между четырьмя снимками 700-715 экрана показан стрелками 740, 745, 750, 755.Another embodiment of the invention is shown in FIG. 7, which depicts four screenshots 700, 705, 710, 715 of the screen for two different zoom levels 700, 715 and 705, 710. The first zooming level 700, 715 shows the human heart 770, 775, and the second zooming level 705, 710 shows the endothelial cell 760, 765 of the heart 770, 775. We emphasize that in this example of super-scaling movement these two levels are 700, 715 and 705, 710 the scaling is not adjacent, that is, when switching between the two scaling levels 700, 715 and 705, 710, an intermediate scaling level is shown showing the coronary artery. In this example, the process of switching or moving between four screenshots 700-715 is shown by arrows 740, 745, 750, 755.

Ссылочные позиции 720, 725, 730, 735, дополнительно показанные на снимках 700-715 экрана, являются текущими частотами сердечных сокращений. Показанное изменение частоты сердечных сокращений от 62 Гц до 89 Гц вызвано применением профилактического лечебного вещества на клеточном уровне 705. Медицинский или физиологический эффект от этого лечебного вещества, то есть только для примера показанное увеличение частоты сердечных сокращений, в рассматриваемом варианте осуществления GUI также немедленно вступает в силу на более высоком уровне 700 масштабирования и в рассматриваемом примере одновременно показано на более высоком уровне 700, 715 масштабирования анимацией биения сердца.Reference numerals 720, 725, 730, 735, additionally shown in screen shots 700-715, are current heart rate. The shown change in heart rate from 62 Hz to 89 Hz is caused by the use of a preventive therapeutic substance at a cellular level of 705. The medical or physiological effect of this therapeutic substance, that is, by way of example only, the shown increase in heart rate, in the present embodiment, the GUI also immediately enters force at a higher level of 700 scaling, and in the considered example, it is simultaneously shown at a higher level of 700, 715 scaling by an animation of a heartbeat.

Как упомянуто выше, первый уровень 700, 715 масштабирования и второй уровень 705, 710 масштабирования могут быть показаны одновременно на одном дисплее или экране, улучшая таким образом информационное содержание GUI, в частности, улучшая способ показа упомянутых эффектов, например, на клеточном уровне и уровне органов.As mentioned above, the first zoom level 700, 715 and the second zoom level 705, 710 can be displayed simultaneously on a single display or screen, thereby improving the information content of the GUI, in particular, improving the way these effects are displayed, for example, at the cellular level and level organs.

Изобретение может быть использовано, в основном, для карманных устройств с сенсорными экранами, но оно также может быть применимо для Персональных компьютеров при использовании определенной комбинации управляющих клавиш компьютерной клавиатуры, например, вместе с компьютерной мышью. В случае клавиатуры, мыши или любого другого устройства управления вводом информации пользователем, описанный выше способ (фиг. 6) необходимо соответствующим образом изменить, при этом этапы проверки определенных контактов или перемещений пальцев необходимо заменить проверкой определенного ввода информации устройством управления или определенных комбинаций нажатия клавиш, что хорошо понятно внимательному читателю. Помимо этого, ввод информации пользователем для управления описанными процедурами может быть реализован с использованием камеры, которая может обнаруживать направление взгляда пользователя и использовать обнаруженное направление для выбора объекта или уровня масштабирования. Описанные выше жесты пальцами, используемые при касании сенсорного экрана, в рассматриваемом варианте могут быть заменены жестами пальцами или руками, которые могут быть обнаружены камерой, запуская, таким образом, определенное действие в GUI, в частности, действие, связанное с описанными расширенными функциональными возможностями масштабирования.The invention can be used mainly for handheld devices with touch screens, but it can also be applied to personal computers using a certain combination of control keys of a computer keyboard, for example, together with a computer mouse. In the case of a keyboard, mouse, or any other user input control device, the method described above (Fig. 6) needs to be changed accordingly, while the steps of checking certain contacts or finger movements need to be replaced by checking the specific input of information by the control device or certain key combinations, which is well understood by the attentive reader. In addition, user input for controlling the described procedures can be implemented using a camera that can detect the direction of the user's gaze and use the detected direction to select an object or zoom level. The finger gestures described above, used when touching the touch screen, in the considered embodiment can be replaced by finger gestures or hands that can be detected by the camera, thus triggering a certain action in the GUI, in particular, the action associated with the described advanced zoom functionality .

Предложенные функциональные возможности могут быть реализованы в обучающих устройствах или инструментах с целью обеспечения легкого и быстрого доступа к уровням масштабирования, покрывающим много порядков увеличения.The proposed functionality can be implemented in training devices or tools in order to provide easy and quick access to zoom levels covering many magnification orders.

Claims (9)

1. Способ графического интерфейса пользователя для обеспечения расширенных функциональных возможностей виртуального масштабирования для объекта, показанного на дисплее (200) устройства или системы обработки данных, отличающийся тем, что обеспечивают, по меньшей мере, два дискретных слоя (205 - 220) масштабирования, при этом каждый, по меньшей мере, из двух дискретных слоев (205 - 220) масштабирования обеспечивает слои масштабирования с минимальным и максимальным коэффициентами масштабирования, и при этом в рамках одного из, по меньшей мере, двух слоев (205 - 220) масштабирования коэффициент масштабирования изменяют непрерывно между указанными соответствующими минимальным и максимальным коэффициентами масштабирования, что делают на основе раздвигания или собирания только двух пальцев, контактирующих с сенсорным экраном, и при этом между произвольными, по меньшей мере, двумя слоями масштабирования переключают на основе 1) действия пользователя с использованием трех пальцев (202 - 204), при этом скорость раздвигания или собирания трех пальцев определяет количество пропущенных уровней масштабирования, или 2) уровень масштабирования выбирают из списка всех доступных уровней масштабирования с помощью устройства выбора данных.1. A method of a graphical user interface for providing enhanced virtual scaling functionality for an object shown on a display (200) of a data processing device or system, characterized in that at least two discrete scaling layers (205 - 220) are provided, wherein each of at least two discrete scaling layers (205 - 220) provides scaling layers with minimum and maximum scaling factors, and at the same time within one of at least two s oev (205 - 220) scaling, the scaling factor is changed continuously between the indicated corresponding minimum and maximum scaling factors, which is done by spreading or collecting only two fingers in contact with the touch screen, and at the same time switch between at least two scaling layers based on 1) the user's actions using three fingers (202 - 204), while the speed of sliding or collecting three fingers determines the number of missed levels scaling, or 2) the scaling level is selected from the list of all available scaling levels using the data selection device. 2. Способ по п. 1, в котором, по меньшей мере, два дискретных слоя (205 - 220) масштабирования одновременно показывают на дисплее (200).2. The method according to claim 1, in which at least two discrete scaling layers (205 - 220) are simultaneously shown on the display (200). 3. Способ по п. 2, в котором любые динамические изменения или любые динамические результаты таких изменений, осуществленных с объектом на текущем слое (205 - 220) масштабирования, немедленно вступают в силу или становятся видимыми, по меньшей мере, на втором слое масштабирования.3. The method according to claim 2, wherein any dynamic changes or any dynamic results of such changes made with the object on the current zoom layer (205 - 220) take effect immediately or become visible on at least the second zoom layer. 4. Способ по любому одному из пп. 1-3, в котором обеспечивают, по меньшей мере, два дискретных информационных слоя или слоя, имеющие отношение к объекту, и в котором информация, содержащаяся, по меньшей мере, в двух информационных слоях или слоях, имеющих отношение к объекту, относится к выбранному уровню масштабирования.4. The method according to any one of paragraphs. 1-3, in which at least two discrete information layers or layers related to the object are provided, and in which information contained in at least two information layers or layers related to the object relates to the selected zoom level. 5. Способ по п. 4, в котором, по меньшей мере, два дискретных слоя масштабирования и, по меньшей мере, два дискретных информационных слоя или слоя, имеющие отношение к объекту, расположены в двумерной матрице.5. The method according to claim 4, in which at least two discrete scaling layers and at least two discrete information layers or layers related to the object are arranged in a two-dimensional matrix. 6. Способ по п. 1, в котором позиция, по меньшей мере, трех пальцев (202 - 204) или, по меньшей мере, двух пальцев (202, 203) определяет позицию виртуального указателя на объект, которую используют как начальную позицию при переключении на другой слой масштабирования.6. The method according to claim 1, in which the position of at least three fingers (202 - 204) or at least two fingers (202, 203) determines the position of the virtual pointer to the object, which is used as the starting position when switching to another zoom layer. 7. Способ по п. 1, в котором устройство или система обработки данных содержит клавиатуру и/или указывающее устройство, отличающийся тем, что вводом пользователем управляющей информации управляет комбинация клавиш клавиатуры и/или указывающего устройства.7. The method according to claim 1, wherein the data processing device or system comprises a keyboard and / or a pointing device, characterized in that the keyboard input and / or pointing device controls the input of the control information by the user. 8. Способ по п. 1, в котором устройство выбора данных является иерархическим меню, полосой прокрутки или колесом прокрутки, карусельным устройством данных или подобным, с помощью которого может быть выбран нужный слой масштабирования.8. The method according to claim 1, wherein the data selection device is a hierarchical menu, scroll bar or scroll wheel, data carousel, or the like, with which the desired zoom layer can be selected. 9. Устройство графического интерфейса пользователя для обеспечения расширенных функциональных возможностей виртуального масштабирования для объекта, показанного на дисплее устройства или системы обработки данных, отличающееся тем, что устройство выполнено с возможностью использования в способе по любому одному из пп. 1-8.9. A graphical user interface device for providing enhanced virtual scaling functionality for an object shown on the display of a device or data processing system, characterized in that the device is adapted to be used in the method according to any one of claims. 1-8.
RU2016112470A 2013-09-04 2014-08-11 Graphical user interface providing virtual super-zoom functionality RU2672624C2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13004326.8 2013-09-04
EP13004326.8A EP2846243B1 (en) 2013-09-04 2013-09-04 Graphical user interface providing virtual super-zoom functionality
PCT/EP2014/002203 WO2015032467A1 (en) 2013-09-04 2014-08-11 Graphical user interface providing virtual super-zoom functionality

Publications (2)

Publication Number Publication Date
RU2016112470A RU2016112470A (en) 2017-10-09
RU2672624C2 true RU2672624C2 (en) 2018-11-16

Family

ID=49123632

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016112470A RU2672624C2 (en) 2013-09-04 2014-08-11 Graphical user interface providing virtual super-zoom functionality

Country Status (4)

Country Link
US (1) US20160202892A1 (en)
EP (1) EP2846243B1 (en)
RU (1) RU2672624C2 (en)
WO (1) WO2015032467A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
KR20150050199A (en) * 2013-10-31 2015-05-08 한국전자통신연구원 Method and Apparatus for representing symptoms graphically
CN111991090B (en) * 2016-08-30 2024-06-21 马科外科公司 System and method for intraoperative pelvic registration
WO2019070649A1 (en) * 2017-10-02 2019-04-11 Boston Scientific Scimed Inc. Display of multiple electrograms anatomical map
US10754523B2 (en) * 2017-11-27 2020-08-25 International Business Machines Corporation Resizing of images with respect to a single point of convergence or divergence during zooming operations in a user interface
CN111078089A (en) * 2019-11-29 2020-04-28 东莞市拓久柘电子科技有限公司 Quick screenshot method based on touch all-in-one machine, electronic equipment and computer readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070294643A1 (en) * 2004-03-30 2007-12-20 Kyle Henry M System for managing the navigational usability of an interactive map
RU2009104062A (en) * 2006-08-08 2010-08-20 Майкрософт Корпорейшн (Us) VIRTUAL CONTROLLER FOR VISUAL IMAGES
US20110231746A1 (en) * 2000-06-12 2011-09-22 Softview L.L.C. Scalable display of internet content on mobile devices
US20110273479A1 (en) * 2010-05-07 2011-11-10 Apple Inc. Systems and methods for displaying visual information on a device
US20120050332A1 (en) * 2010-08-25 2012-03-01 Nokia Corporation Methods and apparatuses for facilitating content navigation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211856B1 (en) 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
US20040155888A1 (en) * 2003-02-11 2004-08-12 Padgitt David Gary Method for displaying the contents of a collection of media objects
EP2492788B1 (en) 2011-02-24 2015-07-15 ST-Ericsson SA Zooming method
US9235317B2 (en) * 2012-02-01 2016-01-12 Facebook, Inc. Summary and navigation of hierarchical levels

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110231746A1 (en) * 2000-06-12 2011-09-22 Softview L.L.C. Scalable display of internet content on mobile devices
US20070294643A1 (en) * 2004-03-30 2007-12-20 Kyle Henry M System for managing the navigational usability of an interactive map
RU2009104062A (en) * 2006-08-08 2010-08-20 Майкрософт Корпорейшн (Us) VIRTUAL CONTROLLER FOR VISUAL IMAGES
US20110273479A1 (en) * 2010-05-07 2011-11-10 Apple Inc. Systems and methods for displaying visual information on a device
US20120050332A1 (en) * 2010-08-25 2012-03-01 Nokia Corporation Methods and apparatuses for facilitating content navigation

Also Published As

Publication number Publication date
US20160202892A1 (en) 2016-07-14
WO2015032467A1 (en) 2015-03-12
EP2846243B1 (en) 2019-08-14
EP2846243A1 (en) 2015-03-11
RU2016112470A (en) 2017-10-09

Similar Documents

Publication Publication Date Title
RU2672624C2 (en) Graphical user interface providing virtual super-zoom functionality
Biener et al. Breaking the screen: Interaction across touchscreen boundaries in virtual reality for mobile knowledge workers
US11003304B2 (en) Information display terminal, information display method and program
Fitzmaurice et al. Tracking menus
Ren et al. 3D selection with freehand gesture
US7814439B2 (en) Pan-zoom tool
US9146674B2 (en) GUI controls with movable touch-control objects for alternate interactions
US9477381B2 (en) User interface for toolbar navigation
Käser et al. FingerGlass: efficient multiscale interaction on multitouch screens
JP2004078693A (en) Visual field movement operating method
Telkenaroglu et al. Dual-finger 3d interaction techniques for mobile devices
EP2676178A1 (en) Breath-sensitive digital interface
JP2004192241A (en) User interface device and portable information device
Uddin Improving Multi-Touch Interactions Using Hands as Landmarks
Riehmann et al. Short‐contact touch‐manipulation of scatterplot matrices on wall displays
Hinckley et al. The props-based interface for neurosurgical visualization
Hinckley et al. New applications for the touchscreen in 2D and 3D medical imaging workstations
Büring et al. Zoom interaction design for pen-operated portable devices
US20230207103A1 (en) Method of determining and displaying an area of interest of a digital microscope tissue image, input/output system for navigating a patient-specific image record, and work place comprising such input/output system
Cho et al. HyFinBall: a two-handed, hybrid 2D/3D desktop VR interface for multi-dimensional visualization
Bezerianos Using alternative views for layout, comparison and context switching tasks in wall displays
Pietroszek 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue
Bhowmick et al. Design and evaluation of AMAZE: A multi-finger approach to select small and distant objects in dense virtual environments
Appert From Direct manipulation to Gestures
Sun et al. PenShaft: Enabling Pen Shaft Detection and Interaction for Touchscreens

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200812