RU2806542C2 - Method for entry of information by operator using touch screen - Google Patents
Method for entry of information by operator using touch screen Download PDFInfo
- Publication number
- RU2806542C2 RU2806542C2 RU2021106776A RU2021106776A RU2806542C2 RU 2806542 C2 RU2806542 C2 RU 2806542C2 RU 2021106776 A RU2021106776 A RU 2021106776A RU 2021106776 A RU2021106776 A RU 2021106776A RU 2806542 C2 RU2806542 C2 RU 2806542C2
- Authority
- RU
- Russia
- Prior art keywords
- key
- pressed
- touch screen
- operator
- centroid
- Prior art date
Links
Images
Abstract
Description
Заявленное изобретение относится к области информационных технологий, а именно к технике обеспечения устойчивости ввода информации с сенсорного экрана в условиях вибрации автоматизированного рабочего места (АРМ) оператора.The claimed invention relates to the field of information technology, namely to a technique for ensuring stability of information input from a touch screen in conditions of vibration of an operator's automated workstation (AWS).
Заявленное изобретение может быть использовано для повышения безошибочности ввода данных оператором через клавиатуру сенсорного экрана в условиях вибрации автоматизированного рабочего места оператора.The claimed invention can be used to increase the error-free data entry by the operator through the touch screen keyboard under vibration conditions of the operator's automated workstation.
Для операторов с появлением сенсорных экранов существенно повысилось удобство ввода данных через клавиатуру таких экранов. На сенсорном экране высвечивается электронная клавиатура, оператор касается пальцем или стилусом требуемой клавиши для ввода алфавитно-цифровой или графической информации. Сенсорные экраны широко внедряются в состав оборудования автоматизированных рабочих мест (АРМ) операторов подвижных объектов автоматизации. В современных автоматизированных системах на АРМ операторов, установленных на колесных и гусеничных транспортных средствах, малых морских судах, самолетах и вертолетах, в движении воздействуют интенсивные вибрационные воздействия на закрепленный сенсорный экран и на оператора АРМ, и при воздействии тряски на сенсорный экран и на оператора возникают частые ошибки при вводе оператором цифро-буквенной и графической информации. В силу высокой интенсивности и нестационарности вибрационных воздействий известными средствами, такими как антивибрационные платформы, стабилизаторы положения АРМ и т.п. не удается существенно сгладить вибрацию во время движения до такой степени, чтобы не возникали ошибки в касании требуемых областей сенсорного экрана. При этом отказаться от использования на борту подвижных средств сенсорных устройств затруднительно, так как они позволяют обеспечить с высокой оперативностью ввод и отображение большого объема требуемой информации при существенном уменьшении размера средств ввода и отображения АРМ. Например, в качестве средств ввода и отображения в кабине вводимого в эксплуатацию в 2020 году самолета Boeing 777Х будут использованы сенсорные дисплеи. Поэтому актуальным становится решение технической задачи повышения устойчивости ввода информации на сенсорном экране в условиях тряски АРМ оператора подвижного объекта автоматизации.For operators, the advent of touch screens has significantly increased the convenience of entering data through the keyboard of such screens. An electronic keyboard is displayed on the touch screen; the operator touches the required key with a finger or stylus to enter alphanumeric or graphic information. Touch screens are widely being introduced into the equipment of automated workstations (AWS) of operators of mobile automation objects. In modern automated systems, operator workstations installed on wheeled and tracked vehicles, small sea vessels, airplanes and helicopters, when in motion, are subject to intense vibration impacts on the fixed touch screen and on the operator workstation, and when shaking occurs on the touch screen and on the operator, frequent errors when the operator enters alphanumeric and graphic information. Due to the high intensity and non-stationary nature of vibration impacts, known means such as anti-vibration platforms, workstation position stabilizers, etc. Cannot significantly smooth out vibration during movement to the extent that errors in touching desired areas of the touchscreen do not occur. At the same time, it is difficult to abandon the use of sensor devices on board mobile vehicles, since they allow for high-speed input and display of a large amount of required information while significantly reducing the size of the automated workplace input and display means. For example, touch screens will be used as input and display devices in the cockpit of the Boeing 777X aircraft, which will enter service in 2020. Therefore, it becomes relevant to solve the technical problem of increasing the stability of information input on a touch screen in conditions of shaking of the operator's workstation of a mobile automation object.
В сенсорных устройствах определен следующий порядок ввода информации. Оператор при вводе цифро-буквенных данных через сенсорный экран касается пальцем или стилусом области требуемой электронной клавиши и прекращает контакт удалением пальца (стилуса), при этом в момент прекращения контакта с поверхностью сенсорного экрана в качестве введенной выбирается соответствующая этому участку поверхности электронная клавиша. Или оператор, касаясь экрана, перемещает палец или стилус по экрану в область требуемой клавиши и, достигнув этой области, прекращает контакт. В электронной клавиатуре при этом периодически с интервалом порядка единиц-десятков миллисекунд опрашиваются все точки клавиатуры и при обнаружении каждой нажатой точки определяют ее горизонтальную и вертикальную координаты, при этом контроллер электронной клавиатуры определяет, какой клавише принадлежит нажатая точка. В случае воздействия мешающей тряски палец оператора или стилус в его руке может не попасть в область требуемой клавиши, что приводит к ошибочному вводу данных в соответствии с клавишей, в границах области которой произошло прекращение контакта с экраном. По мере уменьшения размера сенсорных экранов и увеличения числа электронных клавиш вероятность ошибки ввода данных возрастает.In touch devices, the following order of information input is defined. The operator, when entering alphanumeric data through the touch screen, touches the area of the required electronic key with a finger or stylus and stops contact by removing the finger (stylus), while at the moment of termination of contact with the surface of the touch screen, the electronic key corresponding to this area of the surface is selected as entered. Or the operator, touching the screen, moves his finger or stylus across the screen to the area of the required key and, having reached this area, stops contact. In this case, in the electronic keyboard, all points of the keyboard are periodically polled at intervals of the order of tens of milliseconds and, when each pressed point is detected, its horizontal and vertical coordinates are determined, while the electronic keyboard controller determines which key the pressed point belongs to. If exposed to disturbing shaking, the operator's finger or the stylus in his hand may not fall into the area of the required key, which leads to erroneous data entry in accordance with the key within the area of which the contact with the screen was terminated. As touchscreens become smaller and the number of electronic keys increases, the likelihood of data entry errors increases.
Для повышения устойчивости ввода оператором информации через клавиатуру сенсорного экрана в условиях вибрации сенсорного экрана и оператора известны различные технические решения.To increase the stability of the operator's input of information through the touch screen keyboard in conditions of vibration of the touch screen and the operator, various technical solutions are known.
Известен способ увеличения геометрического размера изображений клавиш электронной клавиатуры сенсорного экрана, которые наиболее часто были использованы к текущему моменту работы оператора. В процессе работы оператора автоматически подсчитывается частота нажатия на каждую клавишу электронной клавиатуры, и на сенсорном экране размер изображения наиболее часто используемых электронных клавиш автоматически увеличивают, как описано, например, в патентной заявке US 2010271299. При этом достигается снижение вероятности ошибки при нажатии на такие клавиши, но увеличение размера изображений более часто используемых клавиш приводит к пропорциональному уменьшению размера менее часто используемых клавиш, и при попытке их ввода вероятность ошибки существенно возрастает.There is a known method for increasing the geometric size of the images of the keys of an electronic touch screen keyboard, which have been most often used at the current moment of the operator’s work. As the operator works, the frequency of pressing each key of the electronic keyboard is automatically calculated, and on the touch screen the image size of the most frequently used electronic keys is automatically increased, as described, for example, in patent application US 2010271299. This reduces the likelihood of errors when pressing such keys , but increasing the size of the images of more frequently used keys leads to a proportional reduction in the size of the less frequently used keys, and when trying to enter them, the likelihood of error increases significantly.
Известен также способ обеспечения устойчивости нажатия клавиши на сенсорном экране по патенту США 9256318 МПК G06F 3/0488 от 21.03.2012. В данном способе, предназначенном для повышения безошибочности ввода данных. через клавиатуру сенсорного экрана в движущемся автомобиле, при обнаружении операции нажатия регистрируют положения и моменты времени последовательно нажатых точек, из которых вычисляют значение ускорения движения пальца при последовательных нажатиях, и если вычисленное значение ускорения между последовательными нажатиями превышает предварительно установленное предельное значение, то принимают решение, что соответствующие им нажатые точки обусловлены толчками при движении транспортного средства, и исключаются при оценке нажатой кнопки.There is also a known method for ensuring the stability of pressing a key on a touch screen according to US patent 9256318 IPC G06F 3/0488 dated 03/21/2012. In this method, designed to increase the accuracy of data entry. through the touch screen keyboard in a moving car, when a pressing operation is detected, the positions and times of successively pressed points are recorded, from which the acceleration value of the finger movement during successive presses is calculated, and if the calculated acceleration value between successive presses exceeds a preset limit value, a decision is made that the corresponding pressed points are caused by shocks during the movement of the vehicle, and are excluded when evaluating the pressed button.
Недостатком указанного аналога является сложность разделения значений ускорения движения пальца при быстрых перемещениях пальца оператора по сенсорному экрану при безошибочном наборе от значений ускорения движения пальца, обусловленных толчками при движении автомобиля или иного транспортного средства, что не позволяет существенно уменьшить ошибки ввода данных через клавиатуру сенсорного экрана в условиях вибрации.The disadvantage of this analogue is the difficulty of separating the values of acceleration of finger movement during rapid movements of the operator’s finger on the touch screen with error-free typing from the values of acceleration of finger movement caused by shocks when moving a car or other vehicle, which does not significantly reduce errors in data entry through the touch screen keyboard in vibration conditions.
Наиболее близким по своей технической сущности к заявленному способу ввода оператором информации с сенсорного экрана является способ оценки нажатия клавиши на сенсорном экране по патенту РФ 2535480 МПК G06F 3/0488 (2013.01) от 25.03.2011. Способ - прототип ввода оператором информации с сенсорного экрана заключается в том, что обнаруживают начало операции нажатия, и при его обнаружении получают информацию о позиции текущей нажатой точки и расширенную информацию, содержащую область оценки и продолжительность времени нажатия точки, до тех пор, пока не будет обнаружено завершение операции нажатия, выполняют оценку нажатой клавиши, соответствующей каждой нажатой точке, в соответствии с информацией о позиции точек, нажатых во время операции нажатия, и областью оценки, соответствующей нажатой клавише, подсчитывают время нажатия, соответствующего каждой нажатой точке, в соответствии с информацией о позиции и соответствующей информацией о времени для точек, нажатых во время операции нажатия, вычисление количества нажатых точек и продолжительности времени нажатия, соответствующей каждой нажатой клавише, формирование оценки нажатой клавиши, соответствующей операции нажатия, в соответствии с количеством нажатых точек и продолжительностью времени нажатия каждой оцененной нажатой клавиши, и осуществление ввода в соответствии с оценкой нажатой клавиши, соответствующей операции нажатия.The closest in its technical essence to the claimed method for the operator entering information from a touch screen is the method for assessing a key press on a touch screen according to RF patent 2535480 IPC G06F 3/0488 (2013.01) dated 03.25.2011. The method - prototype of the operator entering information from a touch screen is that the beginning of the pressing operation is detected, and when it is detected, information about the position of the current pressed point and extended information containing the evaluation area and the duration of time of pressing the point are obtained, until the completion of the pressing operation is detected, the pressed key corresponding to each pressed point is evaluated in accordance with the position information of the points pressed during the press operation and the evaluation area corresponding to the pressed key, the press time corresponding to each pressed point is calculated in accordance with the information about the position and corresponding time information for the points pressed during the press operation, calculating the number of pressed points and the duration of the press time corresponding to each pressed key, generating an estimate of the pressed key corresponding to the press operation according to the number of pressed points and the duration of the press time of each the estimated pressed key, and making input in accordance with the evaluation of the pressed key corresponding to the press operation.
В способе - прототипе при получении информации о позиции текущей нажатой точки выполняют оценку нажатой клавиши, соответствующей каждой нажатой точке, а далее в соответствии с полученными оценками нажатых клавиш формируют оценку нажатой клавиши, соответствующей операции нажатия. Данное техническое решение может обеспечить безошибочность ввода данных при условии, что вызванные тряской смещения пальца оператора относительно искомой клавиши не превышают в среднем примерно половины геометрического размера клавиши при условии, что палец оператора …ориентирован им в центр области искомой клавиши. Иначе при попытках нажатия искомой клавиши палец оператора будет смещаться за пределы этой клавиши и в качестве нажатой клавиши будет выбрана ошибочная клавиша. Например, в соответствии со стандартом ANSI/HFES 100-2007 на эргономические характеристики клавиатур и устройств отображения изображение элемента управления сенсорного экрана мобильных средств пользователя не может иметь по вертикали или по горизонтали размер менее 9,5 мм, так как иначе палец оператора может одновременно нажимать две соседние клавиши, а для средств, эксплуатирующихся в движении, размер клавиши должен быть не менее 11 мм. При этом геометрический размер изображения клавиш сенсорного экрана, как правило, по каждой из координат не может превышать порядка 15…25 мм, так как иначе не удается разместить электронную клавиатуру в пределах типового размера сенсорного экрана. Однако при работе операторов на борту автомобильных и гусеничных транспортных средств в условиях плохих дорог, а также на борту морских судов, самолетов и вертолетов, вызванные тряской смещения пальца оператора относительно искомой клавиши сенсорного экрана зачастую существенно превышают геометрические размеры изображений используемых клавиш.In the prototype method, upon receiving information about the position of the current pressed point, an assessment of the pressed key corresponding to each pressed point is performed, and then, in accordance with the obtained estimates of the pressed keys, an assessment of the pressed key corresponding to the pressing operation is formed. This technical solution can ensure error-free data entry, provided that the displacement of the operator’s finger relative to the desired key caused by shaking does not exceed, on average, approximately half the geometric size of the key, provided that the operator’s finger ... is oriented towards the center of the area of the desired key. Otherwise, when trying to press the desired key, the operator’s finger will move beyond this key and the wrong key will be selected as the pressed key. For example, according to the ANSI/HFES 100-2007 standard for the ergonomic performance of keyboards and display devices, the image of a touch screen control of a mobile user device cannot have a vertical or horizontal dimension of less than 9.5 mm, otherwise the operator's finger could simultaneously press two adjacent keys, and for devices operated in motion, the key size must be at least 11 mm. In this case, the geometric size of the image of the touch screen keys, as a rule, for each of the coordinates cannot exceed about 15...25 mm, since otherwise it is not possible to place the electronic keyboard within the typical size of the touch screen. However, when operators work on board automobiles and tracked vehicles in poor road conditions, as well as on board ships, airplanes and helicopters, the vibration-induced displacement of the operator's finger relative to the desired touch screen key often significantly exceeds the geometric dimensions of the images of the keys being used.
Например, пусть оператор желает нажать клавишу "S", из-за тряски первая нажатая точка, с которой операция нажатия начинается, попала в область соседней клавиши "А", как показано на фиг. 1, где нажатые точки обозначены серыми кружками, а переход от очередной нажатой точки к последующей показан стрелками. В процессе операции нажатия оператор пытается переместить палец в область требуемой клавиши, но из-за тряски текущие нажатые точки смещаются в направлении, зависящем как от определяемого оператором перемещения пальца, так и от направления сдвига сенсорного экрана и пальца оператора, вызванного тряской транспортного средства. Вторая составляющая имеет случайный характер, поэтому положение текущих нажатых точек обусловлено в значительной степени случайными факторами, но благодаря тому, что оператор в течение нажатия клавиши пытается из очередной нажатой точки переместить палец в область требуемой клавиши, то текущие нажатые точки располагаются вокруг области требуемой клавиши. В представленном примере первые 2 нажатые точки попали в область клавиши "А", третья - в область клавиши "W", четвертая - в область клавиши "З", пятая - в область клавиши "Е", шестая и седьмая - в область клавиши "D", а последняя восьмая по счету - в область клавиши "пробел". При этом в силу того, что вызванные тряской смещения пальца оператора относительно искомой клавиши сенсорного экрана превысили геометрические размеры изображения клавиши, нажатые точки ни разу не попали в область требуемой клавиши "S", поэтому в ближайшем аналоге (прототипе) способа ввода оператором информации с сенсорного экрана произойдет ошибка ввода данных.For example, let the operator wish to press the "S" key, due to the shaking, the first pressed point from which the pressing operation begins falls into the area of the adjacent "A" key, as shown in FIG. 1, where the pressed points are indicated by gray circles, and the transition from the next pressed point to the next one is shown by arrows. During the tapping operation, the operator attempts to move his finger to the desired key area, but the shaking causes the currently pressed points to move in a direction that depends on both the operator-determined finger movement and the direction of the touch screen and operator's finger movement caused by vehicle shaking. The second component is random in nature, so the position of the current pressed points is determined largely by random factors, but due to the fact that the operator, while pressing a key, tries to move the finger from the next pressed point to the area of the required key, the current pressed points are located around the area of the required key. In the presented example, the first 2 pressed points fell into the area of the "A" key, the third - into the area of the "W" key, the fourth - into the area of the "Z" key, the fifth - into the area of the "E" key, the sixth and seventh - into the area of the "" key. D", and the last eighth in a row - in the space bar area. Moreover, due to the fact that the displacement of the operator’s finger relative to the desired touch screen key caused by shaking exceeded the geometric dimensions of the key image, the pressed points never fell into the area of the required “S” key, therefore, in the closest analogue (prototype) of the method for the operator entering information from the touch screen screen, a data entry error will occur.
Таким образом, недостатком ближайшего аналога (прототипа) способа ввода оператором информации с сенсорного экрана являются частые ошибки ввода данных при воздействии вибрации транспортного средства, на котором установлен АРМ оператора.Thus, the disadvantage of the closest analogue (prototype) of the operator’s method of entering information from a touch screen is frequent data entry errors when exposed to vibration of the vehicle on which the operator’s workstation is installed.
Техническим результатом заявляемого решения является разработка способа ввода оператором информации с сенсорного экрана, обеспечивающего повышение безошибочности ввода данных при воздействии вибрации транспортного средства с установленным на нем АРМ оператора.The technical result of the proposed solution is the development of a method for the operator to enter information from a touch screen, which ensures increased error-free data entry when exposed to vibration of a vehicle with an operator's workstation installed on it.
Указанный технический результат в заявляемом способе ввода оператором информации с сенсорного экрана достигается тем, что в известном способе оценки нажатия клавиши на сенсорном экране, заключающемся в том, что фиксируют начало операции нажатия и при его обнаружении получают информацию о позиции текущей нажатой точки до тех пор, пока не будет обнаружено завершение операции нажатия, идентифицируют нажатую клавишу, которую принимают введенной, дополнительно для идентификации нажатой клавиши вычисляют центроид позиций текущих нажатых точек и в качестве нажатой клавиши выбирают ту, область которой содержит вычисленный центроид. Центроид позиций текущих нажатых точек вычисляют как среднее значение горизонтальных координат и среднее значение вертикальных координат позиций текущих нажатых точек.The specified technical result in the proposed method for the operator to enter information from a touch screen is achieved by the fact that in the known method of assessing a key press on a touch screen, which consists in recording the beginning of the pressing operation and, when it is detected, receiving information about the position of the current pressed point until until the completion of the pressing operation is detected, the pressed key is identified, which is accepted as entered; additionally, to identify the pressed key, the centroid of the positions of the current pressed points is calculated and the one whose area contains the calculated centroid is selected as the pressed key. The centroid of the positions of the current pressed points is calculated as the average of the horizontal coordinates and the average of the vertical coordinates of the positions of the current pressed points.
В предлагаемой совокупности действий учитывается, что при воздействии вибрации палец оператора относительно искомой клавиши сенсорного экрана смещается по сложной траектории в вертикальном (вверх и вниз от искомой клавиши) и в горизонтальном (влево и вправо от искомой клавиши) направлениях. Усредняя позиции нажатых точек за некоторое время выполнения операции нажатия, получают положение усредненной точки нажатия, которое находится тем ближе к центру области искомой клавиши, чем точнее позиции нажатых точек относительно центра области искомой клавиши описываются случайной переменной, распределенной в соответствии со стандартным нормальным распределением. Из математики известно, как описано, например, в книге Ю. Тюрина, А. Макарова "Статистический анализ данных на компьютере", М:. ИНФРА-М, 1998, стр. 73-80, что центроид точек в двухмерном пространстве, распределенных в соответствии со стандартным нормальным распределением, дает положение усредненной точки. Из этих же источников известно, что чем больше случайных факторов влияют на исход серии последовательных опытов, а в нашем случае это положение точки касания, и чем больше число этих опытов, тем ближе закон распределения точек к стандартному нормальному распределению, причем на практике, как правило, вполне достаточно не менее десяти случайных факторов, действующих независимо друг от друга. На практике на смещения пальцев оператора и сенсорного экрана АРМ на борту транспортного средства воздействуют множество случайных факторов движения транспортного средства.The proposed set of actions takes into account that when exposed to vibration, the operator’s finger relative to the desired touch screen key moves along a complex trajectory in the vertical (up and down from the desired key) and horizontal (left and right from the desired key) directions. By averaging the positions of the pressed points over a period of time during the pressing operation, the position of the average pressed point is obtained, which is located the closer to the center of the area of the desired key, the more accurately the positions of the pressed points relative to the center of the area of the desired key are described by a random variable distributed in accordance with the standard normal distribution. It is known from mathematics, as described, for example, in the book by Yu. Tyurin, A. Makarov “Statistical analysis of data on a computer”, M:. INFRA-M, 1998, pp. 73-80 that the centroid of points in two-dimensional space distributed according to the standard normal distribution gives the position of the average point. From the same sources it is known that the more random factors influence the outcome of a series of successive experiments, and in our case this is the position of the point of contact, and the greater the number of these experiments, the closer the law of distribution of points is to the standard normal distribution, and in practice, as a rule , at least ten random factors acting independently of each other are quite sufficient. In practice, the displacements of the operator’s fingers and the touch screen of the workstation on board the vehicle are affected by many random factors of the vehicle’s movement.
В силу указанных причин вызванные вибрацией смещения пальца оператора АРМ относительно искомой клавиши сенсорного экрана с достаточной точностью описываются нормальным законом распределения и поэтому центроид позиций нажатых точек за время операции нажатия достаточной длительности, как правило, принадлежит области требуемой для ввода клавиши сенсорного экрана.For these reasons, vibration-induced displacements of the workstation operator’s finger relative to the desired touch screen key are described with sufficient accuracy by the normal distribution law and therefore the centroid of the positions of the pressed points during a press operation of sufficient duration, as a rule, belongs to the area required to enter the touch screen key.
Поэтому указанная новая совокупность действий предлагаемого способа ввода оператором информации с сенсорного экрана позволяет повысить безошибочность ввода данных при воздействии вибрации транспортного средства с установленным на нем АРМ оператора.Therefore, the specified new set of actions of the proposed method for the operator entering information from the touch screen makes it possible to increase the error-free data entry when exposed to vibration of a vehicle with an operator’s workstation installed on it.
Заявленный способ поясняется чертежами, на которых показаны:The claimed method is illustrated by drawings, which show:
- на фиг. 1 - примерный вид позиций нажатых точек во время операции нажатия в условиях вибрации;- in fig. 1 is an approximate view of the positions of the pressed points during the pressing operation under vibration conditions;
- на фиг. 2 - устройство ввода оператором информации с сенсорного экрана;- in fig. 2 - device for operator input of information from the touch screen;
- на фиг. 3 - алгоритм ввода оператором информации с сенсорного экрана;- in fig. 3 - algorithm for operator input of information from the touch screen;
- на фиг. 4 - таблица примерного вида координат нажатых точек во время операции нажатия;- in fig. 4 - table of an approximate view of the coordinates of the pressed points during the pressing operation;
- на фиг. 5 - примерный вид центроида позиций нажатых точек во время операции нажатия.- in fig. 5 is an approximate view of the centroid of the positions of the pressed points during the press operation.
Реализация заявленного способа представлена на примере устройства ввода оператором информации с сенсорного экрана, показанного на фиг. 2. При касании пальцем оператора сенсорного экрана с клавиатурой 1 модуль обнаружения нажатия 2 обнаруживает начало операции нажатия и запускает модуль получения точек 3, принимающий от сенсорного экрана с клавиатурой 1 информацию о координатах текущей нажатой точки. Координаты вновь поступивших точек по мере поступления передают в модуль оценки 4, в котором вычисляют центроид позиций нажатых точек за текущее время операции нажатия и определяют, в область какой клавиши попадает текущая позиция вычисленного центроида. Модуль оценки 4 передает текущую оценку нажатой клавиши в модуль подсказки 5, который в служебном поле сенсорного экрана с клавиатурой 1 высвечивает изображение текущей выбранной клавиши. Оператор может наблюдать на экране изображение текущей выбранной клавиши и если эта оценка не совпадает с искомой клавишей, то продолжает операцию нажатия, перемещая палец ближе к искомой клавише. Прекращение касания оператором пальцем сенсорного экрана с клавиатурой 1 воспринимается в модуле обнаружения нажатия 2 как завершение операции нажатия и модуль обнаружения нажатия 2 выдает в модуль ввода 6 разрешение на выдачу на выход устройства оценку нажатой клавиши, область которой содержит вычисленный центроид.The implementation of the claimed method is presented using the example of a device for operator input of information from a touch screen, shown in Fig. 2. When the operator's finger touches the touch screen with
Предлагаемый способ может быть использован в различных типах сенсорных экранов, таких как резистивные, емкостные, проекционно-емкостные, экраны на поверхностно-акустических волнах, индукционные, экраны на сетке инфракрасных лучей, тензометрические и т.п. Во всех перечисленных типах сенсорных экранов на выход передают координаты текущих нажатых точек, на основе которых формируют оценку нажатой клавиши.The proposed method can be used in various types of touch screens, such as resistive, capacitive, projection-capacitive, surface-acoustic wave screens, induction, infrared ray grid screens, strain gauges, etc. In all of the listed types of touch screens, the coordinates of the currently pressed points are transmitted to the output, on the basis of which an assessment of the pressed key is formed.
В способе реализуется следующая последовательность действий.The method implements the following sequence of actions.
Алгоритм ввода оператором информации с сенсорного экрана представлен на фигуре 3.The algorithm for the operator entering information from the touch screen is presented in Figure 3.
Известные способы фиксации начала операции нажатия клавиши на сенсорном экране, например, описанные в статье А. Никитина "Современные сенсорные интерфейсы на основе датчиков S-Touch компании ST Microelectroncs" в журнале "Новости электроники", 2010, №1, стр. 14-17, заключаются в том, что контроллер сенсорного экрана определяет начало операции нажатия клавиши на сенсорном экране по выявлению нажатия первой по времени нажатой точки. Например, наиболее распространенные в настоящее время резистивные сенсорные экраны состоят из стеклянной панели и гибкой пластиковой мембраны, на которые нанесено проводящее ток покрытие. Пространство между стеклянной панелью и мембраной заполнено равномерно распределенными микроизоляторами, которые надежно изолируют проводящие поверхности в режиме ожидания нажатия. Когда оператор нажимает на экран в некоторой точке, панель и мембрана на небольшой окрестности, составляющей точку нажатия, замыкаются и контроллер сенсорного экрана фиксирует изменение напряжения мембраны, определяя тем самым начало операции нажатия, и переходит в состояние готовности получения информацию о позиции текущей нажатой точки.Known methods for recording the start of a key press operation on a touch screen, for example, those described in the article by A. Nikitin “Modern touch interfaces based on S-Touch sensors from ST Microelectroncs” in the magazine “Electronics News”, 2010, No. 1, pp. 14-17 , are that the touch screen controller determines the start of a key press operation on the touch screen by detecting the press of the first time-pressed point. For example, the most commonly used resistive touchscreens today consist of a glass panel and a flexible plastic membrane coated with a conductive coating. The space between the glass panel and the membrane is filled with evenly distributed micro-insulators, which reliably isolate conductive surfaces when pressed. When the operator presses on the screen at a certain point, the panel and membrane in a small vicinity constituting the point of pressing are closed and the touch screen controller records the change in membrane voltage, thereby determining the beginning of the pressing operation, and goes into a state of readiness to receive information about the position of the currently pressed point.
Известные способы получения информации о позиции текущей нажатой точки при обнаружении операции нажатия заключаются в следующем. Например, в резистивном сенсорном экране имеются верхний и нижний вертикальные электроды и левый и правый горизонтальные электроды. На верхний электрод подают напряжение питания, а нижний электрод заземляют. При нажатии на экран в текущей нажатой точке контроллер экрана с использованием аналого-цифрового преобразователя регистрирует изменение сопротивления и величину этого изменения преобразует в значение вертикальной координаты "Y" позиции текущей нажатой точки. Аналогично формируют значение горизонтально координаты "X" позиции текущей нажатой точки. Контроллер, получив информацию о позиции текущей нажатой точки, передает ее в виде пары координат для последующего формирования оценки нажатой клавиши, например, в процессор вычислительного устройства, в состав которого входит сенсорный экран. Например, в статье А. Никитина "Современные сенсорные интерфейсы на основе датчиков S-Touch компании ST Microelectroncs" в журнале "Новости электроники", 2010, №1, стр. 17, указывается, что в сенсорном экране имеется массив 4096 на 4096 возможных точек нажатия, соответственно, координаты "X" и "Y" позиции текущей нажатой точки могут иметь значения в диапазоне от 0 до 4095.Known methods for obtaining information about the position of the currently pressed point when a press operation is detected are as follows. For example, a resistive touch screen has top and bottom vertical electrodes and left and right horizontal electrodes. The top electrode is supplied with supply voltage, and the bottom electrode is grounded. When you press the screen at the current pressed point, the screen controller, using an analog-to-digital converter, registers a change in resistance and converts the magnitude of this change into the value of the vertical coordinate "Y" of the position of the current pressed point. Similarly, the value of the horizontal coordinates "X" of the position of the current pressed point is formed. The controller, having received information about the position of the current pressed point, transmits it in the form of a pair of coordinates for the subsequent formation of an assessment of the pressed key, for example, to the processor of a computing device that includes a touch screen. For example, in the article by A. Nikitin “Modern touch interfaces based on S-Touch sensors from ST Microelectroncs” in the magazine “Electronics News”, 2010, No. 1, p. 17, it is indicated that the touch screen has an array of 4096 by 4096 possible points presses, respectively, the “X” and “Y” coordinates of the position of the currently pressed point can have values in the range from 0 to 4095.
При перемещении пальца оператора по поверхности сенсорного экрана контроллер с периодичностью опроса точек экрана последовательно определяют координаты текущих нажатых точек. Если палец не перемещается относительно сенсорного экрана, то контроллер через заданный интервал опроса выдает координаты этой же нажатой точки.When the operator's finger moves along the surface of the touch screen, the controller periodically polls screen points to sequentially determine the coordinates of the currently pressed points. If the finger does not move relative to the touch screen, then the controller, after a specified polling interval, displays the coordinates of the same pressed point.
Обнаружение завершения операции нажатия выполняет контроллер экрана при выявлении факта, что после нажатия очередной точки в течение заданного промежутка времени отсутствует нажатие на экран, то есть выявляет ситуацию, когда оператор убрал палец (стилус) с поверхности экрана.Detection of the completion of the pressing operation is performed by the screen controller when it detects the fact that after pressing the next point for a given period of time there is no pressing on the screen, that is, it detects a situation when the operator has removed the finger (stylus) from the surface of the screen.
Способ идентификации нажатой клавиши, для чего вычисляют центроид позиций текущих нажатых точек, заключается в следующем. С момента времени начала до окончания операции нажатия передают координаты "X" и "Y" позиций текущих нажатых точек для вычисления центроида текущих нажатых точек, который является точкой, вертикальной координатой которой является среднее арифметическое значение вертикальных координат текущих нажатых точек, а горизонтальной координатой - среднее арифметическое значение горизонтальных координат этих точек. Для этого из координат Xi и Yi i-ых текущих N нажатых точек вычисляют горизонтальную координату Хс и вертикальную координату Yc центроида текущих нажатых точек по формуламThe method for identifying the pressed key, for which the centroid of the positions of the currently pressed points is calculated, is as follows. From the start time to the end of the pressing operation, the "X" and "Y" coordinates of the positions of the current pressed points are transmitted to calculate the centroid of the current pressed points, which is a point whose vertical coordinate is the arithmetic mean of the vertical coordinates of the current pressed points, and the horizontal coordinate is the average the arithmetic value of the horizontal coordinates of these points. To do this, from the coordinates X i and Y i of the i-th current N pressed points, the horizontal coordinate X c and the vertical coordinate Y c of the centroid of the current pressed points are calculated using the formulas
Затем вычисленные координаты центроида сравнивают с границами областей всех электронных клавиш на экране, и выбирают клавишу, область которой содержит вычисленный центроид.The calculated centroid coordinates are then compared to the boundaries of the areas of all electronic keys on the screen, and a key whose area contains the calculated centroid is selected.
Например, пусть получены координаты "X" и "Y" позиций текущих нажатых точек, показанные на фиг. 4. Положение текущих нажатых точек представлено на фиг. 5 в виде серых кружков, положение вычисленных центроидов - черными заштрихованными кружками и переходы от текущего вычисленного значения центроида к последующему значению - черными стрелками жирного цвета. Координаты центроида первой нажатой точки совпадают с ее координатами. Соответственно, область клавиши "А" содержит центроид первой нажатой точки. Затем при регистрации нажатия второй точки из координат первой нажатой точки "710, 1327" и второй нажатой точки "742, 998" вычисляют координаты центроида первых двух нажатых точек по формуламFor example, suppose the "X" and "Y" coordinates of the positions of the current pressed points are obtained, shown in FIG. 4. The position of the currently pressed points is shown in Fig. 5 in the form of gray circles, the position of the calculated centroids - in black shaded circles, and transitions from the current calculated centroid value to the next value - in bold black arrows. The centroid coordinates of the first clicked point coincide with its coordinates. Accordingly, the area of the "A" key contains the centroid of the first pressed point. Then, when registering the pressing of the second point, from the coordinates of the first pressed point “710, 1327” and the second pressed point “742, 998”, the coordinates of the centroid of the first two pressed points are calculated using the formulas
Центроид первых двух нажатых точек также находится в области клавиши "А".The centroid of the first two pressed points is also in the area of the "A" key.
Последовательно вычисляют при поступлении координат текущих нажатых точек координаты центроида текущих нажатых точек, как показано на фиг. 4. Как показано на фиг. 5 шаг от шага положение центроида становится все ближе к центру искомой клавиши, и в результате начиная с некоторой нажатой точки, центроид текущих нажатых точек будет находиться в пределах области клавиши, которую желает нажать оператор, при условии, что вызванные вибрацией смещения пальца оператора относительно искомой клавиши сенсорного экрана с достаточной точностью описываются нормальным законом распределения. Например, центроид текущих нажатых точек будет находиться в пределах области искомой клавиши "S", начиная с седьмой нажатой точки. Пусть оператор прекращает касание пальцем сенсорного экрана в восьмой по счету нажатой точке, лежащей в области клавиши "пробел".When receiving the coordinates of the current pressed points, the centroid coordinates of the current pressed points are sequentially calculated, as shown in FIG. 4. As shown in FIG. 5 step from step, the position of the centroid becomes closer to the center of the desired key, and as a result, starting from some pressed point, the centroid of the currently pressed points will be within the area of the key that the operator wants to press, provided that the vibration-induced displacement of the operator’s finger relative to the desired one The touch screen keys are described with sufficient accuracy by the normal distribution law. For example, the centroid of the currently pressed points will be within the area of the searched "S" key, starting from the seventh pressed point. Let the operator stop touching the touch screen with his finger at the eighth pressed point, located in the space bar area.
По завершению операции нажатия в качестве нажатой клавиши выбирают ту, область которой содержит вычисленный к этому моменту центроид. Эту клавишу принимают как введенную оператором с сенсорного экрана.Upon completion of the pressing operation, the one whose area contains the centroid calculated at this point is selected as the pressed key. This key is accepted as entered by the operator from the touch screen.
Например, по завершению операции нажатия из координат N=8 нажатых точек вычисляют координаты центроида нажатых точек, которые принадлежат области клавиши "S". Соответственно, определяется, что буква "S" введена оператором с сенсорного экрана, как он и намеревался, хотя из-за вибрации ни одна точка касания оператором экрана не принадлежит области данной электронной клавиши.For example, upon completion of the pressing operation, from the coordinates of N=8 pressed points, the coordinates of the centroid of the pressed points, which belong to the area of the "S" key, are calculated. Accordingly, the letter "S" is determined to have been entered by the operator from the touch screen as intended, although due to vibration, no point where the operator touches the screen is in the area of that electronic key.
Для оценки устойчивости ввода данных с клавиатуры сенсорного экрана в условиях вибрации сенсорного экрана и оператора с использованием предлагаемого технического решения были проведены следующие эксперименты. Сенсорный экран был закреплен на приборной панели перед сиденьем пассажира справа от водителя легкового автомобиля. При движении автомобиля на скорости от 30 до 90 километров в час по различным типам дорог и бездорожью оператор, находящийся на месте пассажира, осуществлял ввод буквенно-цифровых данных через клавиатуру сенсорного экрана. В одинаковых условиях подсчитывалось количество ошибочных нажатий требуемых клавиш при использовании сенсорного экрана в обычном режиме ввода, установленным заводским контроллером клавиатуры, и при вводе данных в соответствии с предлагаемым способом. Выявлено, что во всех проведенных экспериментах в условиях вибрации сенсорного экрана и оператора вероятность безошибочного ввода данных через клавиатуру сенсорного экрана выше с использованием предлагаемого технического решения в 2,2…6,4 раза, причем по мере ухудшения качества дороги и увеличения скорости транспортного средства выигрыш предлагаемого технического решения становится выше.To evaluate the stability of data input from the touch screen keyboard under conditions of vibration of the touch screen and the operator, the following experiments were carried out using the proposed technical solution. The touch screen was mounted on the dashboard in front of the passenger seat to the right of the driver of the car. When the vehicle was moving at speeds from 30 to 90 kilometers per hour on various types of roads and off-road, the operator, located in the passenger seat, entered alphanumeric data through the touch screen keyboard. Under the same conditions, the number of erroneous presses of the required keys was counted when using the touch screen in the normal input mode installed by the factory keyboard controller, and when entering data in accordance with the proposed method. It was revealed that in all experiments conducted under conditions of vibration of the touch screen and the operator, the probability of error-free data entry through the touch screen keyboard using the proposed technical solution is 2.2...6.4 times higher, and as the quality of the road deteriorates and the speed of the vehicle increases, the gain the proposed technical solution becomes higher.
Проведенные исследования подтверждают, что при использовании предлагаемого способа ввода оператором информации с сенсорного экрана обеспечивается повышение безошибочности ввода данных при воздействии вибрации транспортного средства с установленным на нем АРМ оператора.The conducted studies confirm that when using the proposed method for the operator to enter information from a touch screen, an increase in the error-free data entry is ensured when exposed to vibration of a vehicle with an operator’s workstation installed on it.
Claims (1)
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2021106776A RU2021106776A (en) | 2022-09-15 |
| RU2806542C2 true RU2806542C2 (en) | 2023-11-01 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090251435A1 (en) * | 1998-01-26 | 2009-10-08 | Wayne Westerman | Contact tracking and identification module for touch sensing |
| US20130285926A1 (en) * | 2012-04-30 | 2013-10-31 | Research In Motion Limited | Configurable Touchscreen Keyboard |
| RU2535480C2 (en) * | 2010-03-26 | 2014-12-10 | Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед | Method and apparatus for keystroke estimation on touch screen |
| US20150293695A1 (en) * | 2012-11-15 | 2015-10-15 | Oliver SCHÖLEBEN | Method and Device for Typing on Mobile Computing Devices |
| RU2576425C2 (en) * | 2014-06-24 | 2016-03-10 | Руслан Анатольевич Корешков | Device for contact with electronic device sensory display |
| US20160259549A1 (en) * | 2003-10-29 | 2016-09-08 | Samsung Electronics Co., Ltd. | Apparatus and method for inputting character using touch screen in portable terminal |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090251435A1 (en) * | 1998-01-26 | 2009-10-08 | Wayne Westerman | Contact tracking and identification module for touch sensing |
| US20160259549A1 (en) * | 2003-10-29 | 2016-09-08 | Samsung Electronics Co., Ltd. | Apparatus and method for inputting character using touch screen in portable terminal |
| RU2535480C2 (en) * | 2010-03-26 | 2014-12-10 | Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед | Method and apparatus for keystroke estimation on touch screen |
| US20130285926A1 (en) * | 2012-04-30 | 2013-10-31 | Research In Motion Limited | Configurable Touchscreen Keyboard |
| US20150293695A1 (en) * | 2012-11-15 | 2015-10-15 | Oliver SCHÖLEBEN | Method and Device for Typing on Mobile Computing Devices |
| RU2576425C2 (en) * | 2014-06-24 | 2016-03-10 | Руслан Анатольевич Корешков | Device for contact with electronic device sensory display |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101793769B1 (en) | System and method for determining object information using an estimated deflection response | |
| US8325160B2 (en) | Contact sensitive device for detecting temporally overlapping traces | |
| CN100350363C (en) | Flexible computer input | |
| US9207801B2 (en) | Force sensing input device and method for determining force information | |
| US20080100586A1 (en) | Method and system for calibrating a touch screen | |
| JP5849095B2 (en) | Method for detecting and locating key press events on a touch and vibration sensitive flat surface | |
| US6610936B2 (en) | Object position detector with edge motion feature and gesture recognition | |
| EP1607852B1 (en) | Object position detector with edge motion feature and gesture recognition | |
| KR101749378B1 (en) | System and method for determining object information using an estimated rigid motion response | |
| US20080192024A1 (en) | Operator distinguishing device | |
| US20100283752A1 (en) | Capacitive touch panel and method for detecting touched input position on the same | |
| US20090009482A1 (en) | Touch sensor pad user input device | |
| US20040207606A1 (en) | Sensing the size of a touch point in a touch-sensitive panel employing resistive membranes | |
| US9405383B2 (en) | Device and method for disambiguating region presses on a capacitive sensing device | |
| US20170364259A1 (en) | Input apparatus | |
| CN111630480A (en) | Touch panel device | |
| JP2012198607A (en) | Coordinate correction function generation device, input device, coordinate correction function generation method, coordinate correction method and program | |
| RU2806542C2 (en) | Method for entry of information by operator using touch screen | |
| US11789556B2 (en) | Touch detection device and method | |
| US9354739B2 (en) | Self-capacitive touch control apparatus and control method thereof | |
| KR101094877B1 (en) | Apparatus and method for sensing multi-touch using resistive film and infrared sensors | |
| CN213582124U (en) | Pressure sensing device and system based on touch panel | |
| US8350825B2 (en) | Touch panel and touching point detection method thereof | |
| US10466839B2 (en) | Dynamic differential algorithm for side touch signals | |
| CN117666836A (en) | Information input system and elevator |