RU2501066C2 - Портативное устройство отображения, способ управления портативным устройством отображения и носитель записи - Google Patents

Abstract

Изобретение относится к портативным устройствам отображения. Технический результат заключается в повышении точности операций ввода при удержании устройства. Устройство содержит модуль отображения, выполненный с возможностью отображения изображений, соответственно, на двух смежных экранах, модуль ввода, выполненный с возможностью получения координат позиций на модуле отображения, модуль распознавания жестов, выполненный с возможностью распознавания и выполнения ранее сохраненной команды обработки, соответствующей форме изменения связанных координат, посредством хронологического ассоциирования координат позиций, при этом модуль распознавания жестов переходит в состояние отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные модулем ввода, не включают в себя заданную фиксированную координату, и состояние приема, в котором распознавание команды обработки разрешено, когда координаты, полученные модулем ввода, включают в себя фиксированную координату. 2 н.п. ф-лы, 17 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к портативным устройствам отображения и, в частности к портативному устройству отображения, имеющему модуль отображения с двумя экранами и сенсорную панель, допускающую определение координат на модуле отображения, который подвергается действию приближения, прикосновения или нажатия.

УРОВЕНЬ ТЕХНИКИ

В последние годы растущее число портативных устройств отображения, требующих таких операций, как выбор пункта меню, содержат сенсорную панель, с помощью которой такая операция, как выбор требуемого меню, принимается посредством нажатия на панель с помощью пера стилуса или пальца согласно отображению на экране. Такие портативные устройства отображения используют различные известные способы, к примеру, резистивный тип, электростатический емкостный тип, на основе оптических датчиков и инфракрасный тип, чтобы указывать позицию на панели, которая нажата.

Дополнительно, в последние годы дисплей таких портативных устройств отображения образован двумя экранами (обычно с разворотом), поскольку предпочтительно, чтобы дисплей занимал большую часть поверхности корпуса. Кроме того, некоторые дисплеи выполнены так, что два экрана соединяются без стыка (бесшовно).

Публикация заявки на патент Японии № 2006-53678 раскрывает структуру ноутбука, имеющего такую сенсорную панель с двумя экранами, и конфигурацию пользовательского интерфейса, к примеру, виртуальной клавиатуры и виртуальной мыши на дисплее устройства.

УРОВЕНЬ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

Патентный документ 1. Публикация заявки на патент Японии № 2006-53678

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ЗАДАЧИ, РЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

В этом случае среди обычных портативных устройств отображения, описанных выше, предполагается, что ноутбук и т.п. используется с размещением, к примеру, на столе в процессе использования, даже если такое устройство является портативным, и для такого устройства предпочтительно использовать конфигурацию, в которой отображается такой экран интерфейса, как виртуальная клавиатура или виртуальная мышь, для того, чтобы принимать ввод.

Тем не менее в случае портативного устройства отображения, которое используется одной рукой, к примеру, мобильного телефонного терминала или устройства PDA (карманного персонального компьютера), не обязательно подходит управление таким устройством через виртуальную клавиатуру или виртуальную мышь.

Дополнительно, в случае устройства или прикладного программного обеспечения (также называемого электронной книгой), которое предназначено для использования обоих из двух экранов в качестве дисплея, к примеру, устройства или прикладного программного обеспечения для представления электронного документа в виде двухстраничного разворота аналогично печатной книге, отображение виртуальной клавиатуры или виртуальной мыши на дисплее мешает просмотру, и, следовательно, требуется способ более надлежащего приема операции ввода.

Таким образом, задача настоящего изобретения состоит в создании портативного устройства отображения, которое является достаточно небольшим для удержания одной рукой и содержит интерфейс для операции ввода, подходящей для дисплея с двумя экранами, способа управления портативным устройством отображения, программы и носителя записи.

СРЕДСТВО ДЛЯ РЕШЕНИЯ ЗАДАЧ

Первый аспект настоящего изобретения предусматривает портативное устройство отображения, выполненное с возможностью удержания пользователем, причем устройство включает в себя:

- модуль отображения, выполненный с возможностью отображать изображения, соответственно, на двух смежных экранах;

- модуль ввода, выполненный с возможностью получать две или более координат позиций на модуле отображения, причем позиции подвергаются одному из действия приближения, прикосновения и нажатия пользователем; и

- модуль распознавания жестов, выполненный с возможностью распознавать и выполнять ранее сохраненную команду обработки, соответствующую форме изменения двух или более связанных координат, посредством хронологического ассоциирования координат позиций, подвергнутых одному из действия приближения, прикосновения и нажатия на модуле отображения и полученных на этапе ввода, при этом:

- модуль распознавания жестов переходит в: состояние отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные на этапе ввода, не включают в себя заданную фиксированную координату, и состояние приема, в котором распознавание команды обработки разрешено, когда координаты, полученные модулем ввода, включают в себя фиксированную координату.

Согласно второму аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- модуль распознавания жестов выполняет команду обработки на основе фиксированной координаты, которая ранее определена, причем фиксированная координата находится в или около участка, на котором два экрана являются смежными.

Согласно третьему аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- модуль ввода получает, в качестве фиксированной координаты, координату позиции на модуле отображения, которая соответствует позиции одного пальца руки пользователя, держащего портативное устройство отображения, и которая соответствует позиции, подходящей для удержания одним пальцем руки пользователя, и получает в качестве двух или более связанных координат координаты позиций на модуле отображения, которые соответствуют позиции другого пальца руки пользователя.

Согласно четвертому аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- модуль отображения является складываемым так, что два экрана располагаются напротив друг друга, принимая участок на или около стороны, на которой два экрана являются смежными, в качестве линии сгиба внутрь, и

- модуль распознавания жестов выполняет команду обработки на основе фиксированной координаты, включающей в себя координату на или около линии сгиба внутрь.

Согласно пятому аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- когда две или более связанных координат представляют форму изменения, в которой координаты перемещаются от одного к другому из двух экранов, модуль распознавания жестов распознает и выполняет заданную команду перенаправления на страницу, соответствующую форме изменения, и

- модуль отображения отображает два изображения, соответственно, ассоциированные с заданными страницами в виде двухстраничного разворота, на двух экранах, и отображает изображения, ассоциированные со страницами, увеличенными или уменьшенными на заданное число, согласно форме изменения, когда команда перенаправления на страницу выполняется модулем распознавания жестов.

Согласно шестому аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- когда координаты, полученные модулем ввода, включают в себя ранее определенные координаты последовательно в течение заданного периода времени, модуль распознавания жестов распознает и выполняет заданную команду перенаправления на страницу в течение этого периода, причем ранее определенные координаты располагаются около внешнего периметра двух экранов и удалены на заданное расстояние от фиксированной координаты, и

- модуль отображения отображает два изображения, соответственно, ассоциированные с заданными страницами в виде двухстраничного разворота, на двух экранах, и отображает изображения, ассоциированные со страницами, увеличенными или уменьшенными на заданное число, в течение периода с заданным интервалом времени, когда команда перенаправления на страницу распознается модулем распознавания жестов.

Согласно седьмому аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- модуль отображения отображает два изображения, соответственно, ассоциированные с заданными страницами в виде двухстраничного разворота, на двух экранах, и

- когда две или более связанных координат представляют форму изменения, в которой две или более связанных координат перемещаются от участка около конца экрана к участку около центра экрана на или около участка, на котором два экрана являются смежными, модуль распознавания жестов распознает заданную команду назначения закладки и сохраняет страницы, соответствующие изображениям, отображаемым на модуле отображения.

Согласно восьмому аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- когда две или более связанных координат представляют форму изменения, в которой две или более связанных координат перемещаются от участка около одной стороны к участку около другой стороны из четырех внешних сторон по меньшей мере одного квадратного отображаемого окна на двух экранах, модуль распознавания жестов распознает и выполняет заданную команду изменения формы окна, соответствующую форме изменения, и

- когда команда изменения формы окна выполняется модулем распознавания жестов, модуль отображения изменяет одно из числа и формы разделений окна согласно форме изменения и отображает изображения в окне в форме после изменения.

Согласно девятому аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- модуль распознавания жестов переходит в: состояние отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные модулем ввода, не включают в себя заданное число фиксированных координат из множества заданных фиксированных координат в или около участка, на котором два экрана являются смежными, и состояние приема, в котором распознавание команды обработки разрешено, когда координаты, полученные модулем ввода, включают в себя заданное число фиксированных координат.

Согласно десятому аспекту настоящего изобретения, в первом аспекте настоящего изобретения,

- в течение периода времени, в котором модуль распознавания жестов находится в состоянии отсутствия приема, модуль ввода выполняет по меньшей мере одну из операций ограничения диапазона координат, которые должны быть получены на модуле отображения, фиксированной координатой или около фиксированной координаты, и операции задания временного интервала, в течение которого координаты на модуле отображения должны быть получеены, так, чтобы он превышал период времени, во время которого модуль распознавания жестов находится в состоянии приема, тем самым получая координаты.

Одиннадцатый аспект настоящего изобретения предоставляет способ управления портативным устройством отображения, выполненным с возможностью удержания пользователем и имеющим модуль отображения для отображения изображения на двух смежных экранах, причем способ включает в себя:

- этап ввода для получения двух или более координат позиций на модуле отображения, причем позиции подвергаются одному из действия приближения, прикосновения и нажатия пользователем; и

- этап распознавания жестов для распознавания и выполнения ранее сохраненной команды обработки, соответствующей форме изменения двух или более связанных координат, посредством хронологического ассоциирования координат позиций, подвергнутых одному из действия приближения, прикосновения и нажатия на модуле отображения и полученных на этапе ввода, при этом:

- этап распознавания жестов выполняется в: состоянии отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные на этапе ввода, не включают в себя ранее определенную фиксированную координату в или около участка, на котором два экрана являются смежными, и состоянии приема, в котором распознавание команды обработки разрешено, когда координаты, полученные на этапе ввода, включают в себя фиксированную координату.

Двенадцатый аспект настоящего изобретения предоставляет программу для инструктирования портативного устройства отображения, имеющего модуль отображения для отображения изображения на двух смежных экранах и выполненного с возможностью удержания пользователем, выполнять:

- этап ввода для получения двух или более координат позиций на модуле отображения, причем позиции подвергаются одному из действия приближения, прикосновения и нажатия пользователем; и

- этап распознавания жестов для распознавания и выполнения ранее сохраненной команды обработки, соответствующей форме изменения двух или более связанных координат, посредством хронологического ассоциирования координат позиций, подвергнутых одному из действия приближения, прикосновения и нажатия на модуле отображения и полученных на этапе ввода, при этом:

- этап распознавания жестов выполняется в: состоянии отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные на этапе ввода, не включают в себя ранее определенную фиксированную координату в или около участка, на котором два экрана являются смежными, и состоянии приема, в котором распознавание команды обработки разрешено, когда координаты, полученные на этапе ввода, включают в себя фиксированную координату.

Тринадцатый аспект настоящего изобретения предоставляет машиночитаемый энергонезависимый носитель записи, имеющий записанную программу, при этом программа инструктирует портативное устройство отображения, имеющее модуль отображения для отображения изображения на двух смежных экранах и выполненное с возможностью удержания пользователем, выполнять:

- этап ввода для получения двух или более координат позиций на модуле отображения, причем позиции подвергаются одному из действий приближения, прикосновения и нажатия пользователем; и

- этап распознавания жестов для распознавания и выполнения ранее сохраненной команды обработки, соответствующей форме изменения двух или более связанных координат, посредством хронологического ассоциирования координат позиций, подвергнутых одному из действия приближения, прикосновения и нажатия на модуле отображения и полученных на этапе ввода, при этом:

- этап распознавания жестов выполняется в: состоянии отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные на этапе ввода, не включают в себя ранее определенную фиксированную координату в или около участка, на котором два экрана являются смежными, и состоянии приема, в котором распознавание команды обработки разрешено, когда координаты, полученные на этапе ввода, включают в себя фиксированную координату.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

Согласно первому аспекту настоящего изобретения, устройство переходит в: состояние отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные модулем ввода, не включают в себя заданную фиксированную координату, и состояние приема, в котором распознавание команды обработки разрешено, когда координаты, полученные модулем ввода, включают в себя фиксированную координату. Соответственно, нажатие в фиксированной координате большим пальцем одной руки, держащим устройство, например, инструктирует портативное устройство отображения переходить в состояние, в котором распознавание жестов может быть принято. Следовательно, можно легко инструктировать портативное устройство отображения переходить в состояние приема команд, если удерживать устройство, чтобы давать возможность распознавания жестов, и переходить в состояние отсутствия приема команд, обычно если не удерживать устройство, чтобы не допускать ложного выполнения команды вследствие непреднамеренного прикосновения и т.п. к дисплею.

Согласно второму аспекту настоящего изобретения, нажатие в ранее определенной фиксированной координате в или около участка, на котором два экрана являются смежными, большим пальцем одной руки, держащей устройство, например, инструктирует устройство переходить в состояние приема распознавания жестов. Следовательно, можно естественно инструктировать устройство переходить в состояние приема команд, чтобы давать возможность распознавания жестов при удержании портативного устройства отображения с двумя экранами, и переходить в состояние отсутствия приема команд, если не удерживать устройство, чтобы не допускать ложного выполнения команды. Таким образом, можно осуществлять интерфейс для операции ввода, подходящей для дисплея с двумя экранами.

Согласно третьему аспекту настоящего изобретения, модуль ввода получает, в качестве фиксированной координаты, координату позиции, которая соответствует позиции одного пальца руки пользователя, держащего портативное устройство отображения, и которая соответствует позиции, подходящей для удержания, и получает, в качестве двух или более связанных координат, координаты позиций на модуле отображения, которые соответствуют позиции другого пальца руки пользователя. Следовательно, можно легко инструктировать устройство переходить в состояние приема команд, обеспечивая возможность распознавания жестов при удержании портативного устройства отображения, и переходить в состояние отсутствия приема команд, если не удерживать устройство, чтобы не допускать ложного выполнения команды.

Согласно четвертому аспекту настоящего изобретения, команда обработки выполняется на основе фиксированной координаты, включающей в себя координату на или около линии сгиба внутрь. Следовательно, предполагается, что устройство удерживается аналогично печатной книге, например, посредством нажатия большим пальцем, чтобы удерживать устройство вдоль линии сгиба внутрь, и можно более естественно инструктировать устройство переходить в состояние приема команд, обеспечивая возможность распознавания жестов, и переходить в состояние отсутствия приема команд, если не удерживать устройство, чтобы не допускать ложного выполнения команды.

Согласно пятому аспекту настоящего изобретения, когда две или более связанных координат представляют форму изменения, в которой координаты перемещаются от одного к другому из двух экранов, заданная команда перенаправления на страницу, соответствующая форме изменения, распознается и выполняется модулем распознавания жестов. Следовательно, можно упрощать выполнение перенаправления на страницу посредством интуитивного жеста переворачивания страницы для двух экранов.

Согласно шестому аспекту настоящего изобретения, когда координаты, полученные модулем ввода, включают в себя ранее определенные координаты последовательно в течение заданного периода времени, заданная команда перенаправления на страницу распознается и выполняется в течение этого периода, причем ранее определенные координаты располагаются около внешнего периметра двух экранов и удалены на заданное расстояние от фиксированной координаты. Следовательно, можно упрощать выполнение последовательного перенаправления на страницу посредством простого движения, к примеру, непрерывного нажатия в координате.

Согласно седьмому аспекту настоящего изобретения, когда две или более связанных координат представляют форму изменения, в которой две или более связанных координат перемещаются от участка около конца экрана к участку около центра экрана на или около участка, на котором два экрана являются смежными, заданная команда назначения закладки, соответствующая форме изменения, распознается, и страницы, соответствующие изображениям, отображаемым на модуле отображения, сохраняются. Следовательно, можно упрощать выполнение обработки применения закладки посредством простого и интуитивного жеста применения закладки.

Согласно восьмому аспекту настоящего изобретения, когда две или более связанных координат представляют форму изменения, в которой две или более связанных координат перемещаются от участка около одной стороны к участку около другой стороны из четырех внешних сторон по меньшей мере одного квадратного отображаемого окна на двух экранах, заданная команда изменения формы окна, соответствующая форме изменения, распознается и выполняется. Следовательно, можно легко изменять число или форму разделений окна посредством простого и интуитивного жеста.

Согласно девятому аспекту настоящего изобретения, модуль распознавания жестов переходит в: состояние отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные модулем ввода, не включают в себя заданное число фиксированных координат из множества фиксированных координат, и состояние приема, в котором распознавание команды обработки разрешено, когда координаты, полученные модулем ввода, включают в себя заданное число фиксированных координат. Следовательно, можно не допускать возникновения ложного определения по сравнению с определением на основе одной координаты.

Согласно десятому аспекту настоящего изобретения, в течение периода времени в состоянии отсутствия приема модуль ввода выполняет по меньшей мере одну из операции ограничения диапазона координат, которые должны быть получены на модуле отображения, фиксированной координатой или около фиксированной координаты, и операции задания временного интервала, в течение которого координаты должны получаться, как длительного, чтобы тем самым получать координаты. Следовательно, операция, сигнал и т.п., которые используются для того, чтобы получать координату в диапазоне, отличном от фиксированной координаты, могут исключаться, и число раз, когда координата в единицу времени получается, может быть уменьшено. Таким образом, можно уменьшать потребляемую мощность во время состояния отсутствия приема.

Согласно одиннадцатому аспекту настоящего изобретения, можно предоставлять эффект, идентичный эффекту первого аспекта согласно настоящему изобретению для способа управления портативным устройством отображения.

Согласно двенадцатому аспекту настоящего изобретения, можно предоставлять эффект, идентичный эффекту первого аспекта согласно настоящему изобретению для программы для портативного устройства отображения.

Согласно тринадцатому аспекту настоящего изобретения, можно предоставлять эффект, идентичный эффекту первого аспекта согласно настоящему изобретению для машиночитаемого энергонезависимого носителя записи, имеющего записанную программу для портативного устройства отображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является внешним видом в перспективе, иллюстрирующим портативный информационный терминал согласно одному варианту осуществления настоящего изобретения.

Фиг. 2 является блок-схемой, иллюстрирующей основную конфигурацию модуля отображения и модуля ввода портативного информационного терминала согласно варианту осуществления.

Фиг. 3 является блок-схемой, иллюстрирующей конфигурацию портативного информационного терминала согласно варианту осуществления.

Фиг. 4 является блок-схемой последовательности операций способа, показывающей общую последовательность операций обработки портативного информационного терминала согласно варианту осуществления.

Фиг. 5 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки ввода (этап S2) согласно варианту осуществления.

Фиг. 6 является видом, показывающим позиционное соотношение между дисплеем портативного информационного терминала согласно варианту осуществления и левым большим пальцем пользователя.

Фиг. 7 является видом, показывающим область фиксированных координат в варианте осуществления.

Фиг. 8 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки распознавания (этап S3) согласно варианту осуществления.

Фиг. 9 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки чтения книги (этап S33) согласно варианту осуществления.

Фиг. 10 является видом, показывающим заданную область в центре вверху модуля отображения согласно варианту осуществления.

Фиг. 11 является видом, показывающим заданную область в центре внизу модуля отображения согласно варианту осуществления.

Фиг. 12 является видом, показывающим пример экрана, показанного при выполнении обработки применения закладки согласно варианту осуществления.

Фиг. 13 является видом, показывающим пример согласно варианту осуществления, в котором вводится жест перемещения правого указательного пальца от левого экрана к правому экрану.

Фиг. 14 является видом, показывающим пример согласно варианту осуществления, в котором вводится жест перемещения правого указательного пальца от правого экрана к левому экрану.

Фиг. 15 является видом, показывающим пример согласно варианту осуществления, в котором вводится жест нажатия правым большим пальцем около правого конца на правом экране.

Фиг. 16 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки окна (этап S35) согласно варианту осуществления.

Фиг. 17 является видом, показывающим соотношение между формами изменения окна и ранее определенными жестами согласно варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

1. Общая конфигурация и работа устройства

Фиг. 1 является внешним видом в перспективе, иллюстрирующим портативный информационный терминал согласно одному варианту осуществления настоящего изобретения. Портативный информационный терминал 10 содержит левый модуль 14a отображения и правый модуль 14b отображения. Левый модуль 14a отображения и правый модуль 14b отображения выполнены так, что левый модуль 14a отображения и правый модуль 14b отображения являются складываемыми с расположением напротив друг друга в центральной части, через шарнирный модуль, который не проиллюстрирован. Фиг. 1 иллюстрирует портативный информационный терминал, немного сложенный в центральной части устройства, которая находится около стороны, в которой левый модуль 14a отображения и правый модуль 14b отображения являются смежными, показывая размер, форму и баланс веса, который может удерживаться одной рукой, аналогично развороту книги в центре.

Более конкретно, портативный информационный терминал 10 удерживается одной рукой пользователя посредством, как описано ниже, удержания участка вокруг нижней части центральной части устройства большим пальцем (обычно недоминирующей руки пользователя), а с другой стороны участка вокруг нижней части - другим пальцем. Портативный информационный терминал 10 имеет форму и весовую балансировку, которые являются подходящими для удержания одной рукой таким образом.

Дополнительно, хотя не показано на фиг. 1, известный световодный элемент (например, призма или световодный элемент, выполненный посредством жгута одиночных волокон, диаметр которого составляет несколько микрометров, называемый волоконной пластиной) предусмотрен на участке между правой стороной левого модуля 14a отображения и левой стороной правого модуля 14b отображения, которая соответствует центральной части. Посредством этого световодного элемента часть двух изображений, отображаемых на левом модуле 14a отображения и правом модуле 14b отображения, подвергается преобразованию оптического пути, и одно изображение отображается без разделительной линии или стыка (бесшовно). Дополнительно, предусмотрена прозрачная сенсорная панель для верхней поверхности (лицевой поверхности) левого модуля 14a отображения и правого модуля 14b отображения, и посредством нажатия (прикосновения) на экран пальцем (обычно доминирующей руки пользователя) или пером стилуса, позиция, нажатая на экране, определяется. Конфигурации модуля отображения и сенсорной панели описываются ниже.

Фиг. 2 является блок-схемой, иллюстрирующей основную конфигурацию модуля отображения и модуля ввода портативного информационного терминала согласно одному варианту осуществления настоящего изобретения. Портативный информационный терминал 10 содержит модуль 100 управления, две жидкокристаллических панели 141, соответственно, имеющие левый модуль 14a отображения и правый модуль 14b отображения, сканирующие драйверы 142 и драйверы 143 данных, пары которых, соответственно, возбуждают две жидкокристаллических панели 141, схему 145 управления отображением, матричную резистивную сенсорную панель 161, предоставляемую для двух жидкокристаллических панелей 141, датчик 163 координат X и датчик 162 координат Y для определения позиции на сенсорной панели 161, которая нажимается пальцем пользователя или пером стилуса, и процессор 165 координат.

Здесь, сенсорная панель 161 не является обычной резистивной сенсорной панелью, которая считывает точку соприкосновения двух резистивных пленок, которые обращены друг к другу, аналоговым способом, а содержит большое число прозрачных электродов, параллельно предоставляемых в строках, и большое число прозрачных электродов, параллельно предоставляемых в столбцах в направлении, перпендикулярном прозрачным электродам так, что они располагаются напротив прозрачных электродов с заданным коротким расстоянием между ними. Датчик 163 координат X подключается к электродам, предоставляемым в столбцах, и датчик 162 координат Y подключается к электродам, предоставляемым в строках. Следовательно, когда электроды в строках и в столбцах, которые пересекаются, приводятся в соприкосновение друг с другом в позиции, нажатой, к примеру, пальцем пользователя или пером стилуса, позиция может определяться датчиком 163 координат X и датчиком 162 координат Y. Таким образом, большое число координат на сенсорной панели 161 может быть по отдельности распознано при разрешении согласно шагу компоновки электродов.

Дополнительно, можно использовать различные известные типы сенсорных панелей, к примеру, матричную электростатическую емкостную, на основе оптических датчиков и на основе механических датчиков, при условии, что сенсорная панель допускает отдельное распознавание большого числа координат. Кроме того, множество сенсорных панелей типа, который позволяет распознавать только одну координату, может быть использовано в комбинации. Например, можно отдельно предоставлять сенсорную панель, соответствующую левому модулю 14a отображения, и сенсорную панель, соответствующую правому модулю 14b отображения, и сенсорную панель, соответствующую участку около участка, смежного с этими сенсорными панелями, которые описаны ниже. Таким образом, можно уменьшать затраты на изготовление. Следует отметить, что зачастую предпочитаются сенсорные панели электростатического емкостного типа и на основе оптических датчиков, поскольку эти типы сенсорных панелей, в общем, не требуют нажатия пальцем, и только легкое касание сенсорной панели пальцем или принудительное приближение пальца к сенсорной панели является достаточным, в отличие от сенсорной панели резистивного типа.

Дополнительно, две жидкокристаллических панели 141 являются жидкокристаллическими панелями с активной матрицей, в которых сканирующий драйвер 142 и драйвер 143 данных для каждой жидкокристаллической панели выполняет выбор пикселов и назначение данных в соответствующей жидкокристаллической панели, тем самым формируя одно изображение. Следует отметить, что для того, чтобы отображать одно изображение на двух жидкокристаллических панелях 141 и уникально ассоциировать одно изображение с координатами определения на сенсорной панели 161, пиксельные позиции на жидкокристаллической панели 141, имеющей правый модуль 14b отображения, могут обрабатываться в качестве значений, полученных посредством прибавления максимального значения координаты X (пиксельной позиции в левом конце) к пиксельным позициям на жидкокристаллических панелях 141, имеющих левый модуль 14a отображения. Кроме того, как описано выше, чтобы отображать как одно изображение, световодный элемент предоставляется между двумя жидкокристаллическими панелями 141, чтобы выполнять бесшовное отображение.

Фиг. 3 является блок-схемой, иллюстрирующей конфигурацию портативного информационного терминала согласно одному варианту осуществления настоящего изобретения. Портативный информационный терминал 10 является устройством, которое выполняет заданную обработку на основе общей (выделенной) операционной системы и заданного прикладного программного обеспечения, и содержит модуль 100 управления, имеющий CPU (центральный процессор) и полупроводниковое запоминающее устройство, к примеру, RAM, модуль 120 хранения, имеющий энергонезависимое полупроводниковое запоминающее устройство, к примеру, EPROM, модуль 140 отображения, выполненный посредством, к примеру, жидкокристаллической панели, которая описана ниже, и модуль 160 ввода, имеющий устройство для операций ввода, к примеру, сенсорную панель.

Модуль 100 управления, включенный в портативный информационный терминал 10, имеет функцию заданной обработки команд, выполняемой путем распознавания жеста (описано ниже) пользователя, принятого через модуль 160 ввода. Работа модуля 100 управления подробно описывается ниже.

Следует отметить, что функция модуля 100 управления осуществляется посредством выполнения CPU заданной программы P распознавания жестов (например, прикладного программного обеспечения для распознавания жестов), сохраненной в полупроводниковом запоминающем устройстве. Здесь, хотя программа P распознавания жестов записывается в EPROM и т.п. во время изготовления, программа может записываться после изготовления, например, через CD-ROM или другой тип энергонезависимого носителя записи в качестве машиночитаемого носителя записи, на который программа записывается, или через линию связи. Затем, после выполнения заданной операции для активации портативного информационного терминала 10, часть или вся программа P распознавания жестов, записанная в модуле 120 хранения, передается в полупроводниковое запоминающее устройство, к примеру, RAM, чтобы временно сохраняться и выполняться CPU в модуле 100 управления. Это реализует обработку для того, чтобы управлять компонентами модуля 100 управления.

2. Общая работа портативного информационного терминала

Затем общая работа портативного информационного терминала 10 описывается. Фиг. 4 является блок-схемой последовательности операций способа, показывающей общую последовательность операций обработки портативного информационного терминала 10. На этапе S1 (обработка начальной настройки), показанном на фиг. 4, модуль 100 управления, включенный в портативный информационный терминал 10, определяет данные изображений, соответствующие электронному документу, который должен представляться пользователю, например, обычно посредством приема инструкции начала от пользователя. Дополнительно, модуль 100 управления инициализирует значения, необходимые для обработки, которая описана ниже. В этом случае, число окон при инициализации равняется 1 (окно не разделяется).

Здесь, хотя различное известное прикладное программное обеспечение может быть установлено в портативном информационном терминале 10, пояснение приводится только относительно режима чтения и оконного режима. Режим чтения является режимом для просмотра данных электронной книги, сохраненных в модуле 120 хранения. Данные книги являются данными изображений, включающими в себя символьные данные, и сохраняются в ассоциации с заданной страницей, аналогично печатной книге. Дополнительно, оконный режим является режимом для задания числа окон и формы разделения, с тем чтобы отображать множество приложений в одном, двух или четырех окнах. Здесь для удобства пояснения предполагается, что выполняется только обработка, соответствующая двум режимам.

Затем, на этапе S2 (обработка ввода) изображение, определенное на этапе S1, отображается на модуле 140 отображения, и операция ввода из модуля 160 ввода, выполненная пользователем, в этом случае принимается операция ввода посредством прикосновения пальцем.

На этапе S3 (обработка распознавания), согласно операции ввода, принятой на этапе S2, соответствующая команда обработки распознается, и изображение, соответствующее распознанной команде обработки, отображается на модуле 140 отображения.

На этапе S4 инструкция для того, чтобы отключать устройство, предоставляется пользователем, либо определяется то, должна или нет различная обработка завершаться, посредством, к примеру, обработки перехода в режим ожидания вследствие истечения заданного времени. Когда процесс не завершается, процесс возвращается к этапу S2 и повторяется (S4→S2→S3→S4). Когда процесс завершается, портативный информационный терминал 10 завершает процесс и обычно возобновляет процесс, когда инструкция, чтобы активировать устройство, предоставляется пользователем.

3. Операция обработки ввода портативного информационного терминала

Затем, операция при обработке ввода (этап S2) портативного информационного терминала 10 описывается подробно. Фиг. 5 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки ввода (этап S2).

На этапе S21, показанном на фиг. 5, модуль 100 управления определяет то, помещен или нет палец в фиксированную координату, соответствующую ранее определенной позиции. В частности, модуль 100 управления сравнивает и определяет то, включает или нет группа координат, принятых из модуля 160 ввода, в себя координату в области фиксированных координат. В последующем описании, область фиксированных координат описывается со ссылкой на фиг. 6 и фиг. 7.

Фиг. 6 является видом, показывающим позиционное соотношение между дисплеем портативного информационного терминала и левым большим пальцем пользователя, а фиг. 7 является видом, показывающим область фиксированных координат, предоставляемую около левого большого пальца. Как описано выше, портативный информационный терминал 10 естественно удерживается одной рукой пользователя посредством удержания участка вокруг нижней части центральной части терминала большим пальцем (здесь левой руки, для удобства пояснения) недоминирующей руки пользователя и другой стороны участка вокруг нижней части другим пальцем. Фиг. 6 показывает левый большой палец Ftl. Следует принимать во внимание, что можно удерживать терминал с использованием, к примеру, доминирующей руки или искусственной руки.

Дополнительно, как показано на фиг. 7, область 16 фиксированных координат предусмотрена в нижней части смежной стороны между левым модулем 14a отображения и правым модулем 14b отображения. Область 16 фиксированных координат включает в себя множество точек Ps определения, с помощью которых могут определяться координаты позиций, нажатых модулем 160 ввода. Из них точки Ps определения, которые соответствуют координатам позиций, которые фактически нажимаются, указываются посредством затененных кругов. Координаты, соответствующие затененным кругам, являются частью или всей группой координат, принятых из модуля 160 ввода, и модуль 100 управления определяет то, перекрывается или нет какая-либо из координат в группе с одной или более (чтобы не допускать ложного определения, не меньше заданного числа, которое равняется двум или более) координат в области фиксированных координат. Следует отметить, что вышеописанный способ определения того, включает или нет область фиксированных координат в себя координаты, соответствующие позиции левого большого пальца, является простым примером, и любой известный способ может использоваться для определения.

На этапе S21, модуль 100 управления определяет то, помещен или нет палец в фиксированную координату, как описано выше. Если определено, что палец помещен («Да» на этапе S21), модуль 100 управления переходит в состояние, в котором команда может быть принята (в дальнейшем также называемое «состоянием приема команд»), которое описано ниже, и процесс переходит к этапу S23. Дополнительно, если определено, что палец не помещен («Нет» на этапе S21), модуль 100 управления переходит в состояние, в котором команда не может быть принята (в дальнейшем также называемое «состоянием отсутствия приема команд»), которое описано ниже, и обработка ввода завершается, и обработка, показанная на фиг. 4, возобновляется. Следует отметить, что также можно использовать конфигурацию, в которой жест, отличный от жеста, который описывается ниже, распознается, и в которой обработка команд, соответствующая распознанному жесту (кроме команды, которая описана ниже), выполняется.

Кроме того, в состоянии отсутствия приема команд необязательно выполнять связанную обработку, которая должна выполняться в состоянии приема команд. Следовательно, желательно то, чтобы датчики были возбуждены, а данные обработаны так, что потребляемая мощность для возбуждения датчиков и для обработки данных уменьшается, к примеру, посредством понижения частот возбуждения датчика 163 координат X и датчика 162 координат Y (частот считывания данных датчиков) для выполнения определения на сенсорной панели 161 (например, выполнения определения каждые 60 кадров), посредством понижения частоты возбуждения источника света при использовании оптического датчика или путем недопущения выполнения считывания данных датчиков в области, отличной от области фиксированных координат, и обработки данных процессором 165b координат. Следует отметить, что когда состояние изменяется на состояние приема команд, возбуждение и обработка, описанная выше, возобновляются в обычном состоянии.

Кроме того, также можно использовать конфигурацию, в которой координата в области, отличной от области фиксированных координат, определяется сенсорной панелью 161, координата в области фиксированных координат определяется одноэлектродным резистивным (одним) тактильным датчиком или механическим датчиком, который отличается от сенсорной панели 161, и работа сенсорной панели 161 может полностью завершаться только в состоянии отсутствия приема команд. Это дает возможность уменьшения потребляемой мощности в состоянии отсутствия приема команд.

Затем, на этапе S23, модуль 100 управления определяет то, помещен или нет палец на участок, отличный от области 16 фиксированных координат. В частности, модуль 100 управления сравнивает и определяет, включает или нет группа координат, принятых из модуля 160 ввода, в себя координату за пределами области 16 фиксированных координат. В результате определения, если определено, что другой палец помещен («Да» на этапе S23), процесс переходит к этапу S25. Альтернативно, если определено, что другой палец не помещен («Нет» на этапе S23), модуль 100 управления инициализирует начальную координату и конечную координату (этап S24), и обработка ввода завершается, и обработка, показанная на фиг. 4, возобновляется. Следует отметить, что в вышеуказанном определении, чтобы не допускать ложного определения, как описано выше, предпочтительно сравнивать и определять то, включены или нет не менее двух или заданного числа координат в области, отличной от области 16 фиксированных координат.

Затем, на этапе S25, модуль 100 управления сохраняет координату за пределами области 16 фиксированных координат из группы координат, принятых из модуля 160 ввода (когда существуют несколько, произвольная или средняя координата из группы смежных координат), в качестве начальной координаты (X1, Y1) в модуле 120 хранения и начинает измерение истекшего времени, которое требуется для распознавания жестов, которое описывается ниже. Следует отметить, что хотя жест обычно означает форму того, как координата изменяется хронологически по мере того, как палец пользователя перемещается по модулю отображения, жест в данном документе включает в себя форму, в которой координата не изменяется от заданной координаты в течение заданного времени.

Затем, на этапе S27, модуль 100 управления определяет то, поднят или нет палец с области, отличной от области 16 фиксированных координат, и истекло или нет заданное время. В частности, модуль 100 управления сравнивает и определяет то, устанавливается или нет одно из условий, что группа координат, принятых из модуля 160 ввода, не включает в себя координату за пределами области 16 фиксированных координат, и что заданное время истекло. В результате определения, если определено, что другой палец поднят или заданное время истекло («Да» на этапе S27), процесс переходит к этапу S29. Альтернативно, если определено, что другой палец не поднят и заданное время еще не истекло («Нет» на этапе S25), эта обработка (S27) повторяется до тех пор, пока не определяется то, что другой палец поднят или заданное время истекло.

Хотя заданное время задается достаточно длительным, с тем чтобы не рассматриваться как общий жест аналогично времени для общей обработки тайм-аута, заданное время здесь задается в ассоциации с введенной координатой. В частности, если введенная координата не изменяется (в заданном диапазоне), короткое время (например, порядка 1 секунды) задается, и процесс переходит к последующей обработке после истечения этого времени. Альтернативно, также можно использовать конфигурацию, в которой, если введенные координаты находятся в заданном диапазоне координат, ассоциированном с операцией последовательного переворачивания страницы, которая описывается ниже (в частности, заданные диапазоны 33a и 33b, описанные ниже и показанные на фиг. 15), короткое время задается, и процесс переходит к последующей обработке после истечения этого времени. В таком случае, желательно, чтобы процесс переходил к обработке распознавания (этап S3) за короткое время, поскольку указание координат возможно для операции последовательного переворачивания страницы, которая описывается ниже. Дополнительно, также можно задавать меньшее время (например, порядка 0,2 секунд), когда заданное время истекает несколько раз, так что скорость операции последовательного переворачивания страницы, как следствие, увеличивается.

Следует отметить, что обработка повторения, описанная выше, подавляется посредством, к примеру, заданной обработки прерывания, так что процесс переходит к обработке на этапе S29. Дополнительно, в вышеуказанном определении, чтобы не допускать ложного определения, как описано выше, предпочтительно сравнивать и определять то, включены или нет координаты в области, отличной от области 16 фиксированных координат, и включены или нет не менее двух или заданного числа координат.

Затем, на этапе S29, модуль 100 управления сохраняет координату за пределами области 16 фиксированных координат из группы координат, принятых последними из модуля 160 ввода (когда существуют несколько, произвольная или средняя координата из группы смежных координат), в качестве конечной координаты (X2, Y2) в модуле 120 хранения, и измерение истекшего времени завершается. В частности, можно сохранять с помощью модуля 100 управления координату непосредственно перед тем, как палец поднимается, в качестве конечной координаты посредством непрерывного сохранения на этапе S27 координаты за пределами области 16 фиксированных координат из группы координат, принятых из модуля 160 ввода (когда существуют несколько, произвольная или средняя координата из группы смежных координат), в качестве конечной координаты (X2, Y2) в модуле 120 хранения. Затем, обработка ввода завершается, и обработка, показанная на фиг. 4, возобновляется.

4. Операция обработки распознавания портативного информационного терминала

4.1 Общая последовательность операций обработки распознавания

Затем, операция при обработке распознавания (этап S3) портативного информационного терминала 10 описывается подробно. Фиг. 8 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки распознавания (этап S3).

На этапе S31, показанном на фиг. 8, модуль 100 управления определяет то, выбран или нет режим чтения пользователем. В результате определения, если определено, что это режим чтения («Да» на этапе S31), обработка чтения книги на этапе S33 выполняется. Альтернативно, если определено, что это не режим чтения («Нет» на этапе S31), обработка окна на этапе S35 выполняется. После того как обработка закончена, обработка распознавания завершается, и обработка, показанная на фиг. 4, возобновляется.

Как описано выше, для удобства пояснения следует отметить, что только две обработки режима чтения и оконного режима выполняются здесь. Тем не менее различные известные обработки могут выполняться на практике. Затем, обработка чтения книги в режиме чтения описывается подробно.

4.2 Операция обработки чтения книги в режиме чтения

Фиг. 9 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки чтения книги (этап S33). На этапе S331, показанном на фиг. 9, модуль 100 управления определяет, находится или нет начальная координата (X1, Y1), полученная на этапе S25, показанном на фиг. 5, в заданной области в центре вверху модуля отображения.

Фиг. 10 является видом, показывающим заданную область в центре вверху модуля отображения. Как показано на фиг. 10, когда центр вверху модуля отображения нажимается (обычно) правым указательным пальцем Ffr, координата, соответствующая нажатой позиции, сохраняется в качестве начальной координаты (X1, Y1). В этом случае, правый указательный палец Ffr нажимает на участок в заданной области 31 в центре вверху, и, следовательно, определяется то, что начальная координата (X1, Y1) находится в заданной области 31, на этапе S331.

В результате определения, если определено, что начальная координата (X1, Y1) находится в заданной области 31 («Да» на этапе S331), процесс переходит к этапу S332, а если не находится в заданной области 31 («Нет» на этапе S331), процесс переходит к этапу S334.

Затем, на этапе S332, модуль 100 управления определяет то, находится или нет конечная координата (X2, Y2), полученная на этапе S29, показанном на фиг. 5, в заданной области в центре внизу модуля отображения.

Фиг. 11 является видом, показывающим заданную область в центре внизу модуля отображения. Как показано на фиг. 11, когда правый указательный палец Ffr поднимается в центре внизу модуля отображения после того, как центр вверху модуля отображения нажимается правым указательным пальцем Ffr, как показано на фиг. 10, координата, соответствующая позиции, в которой поднят палец, сохраняется в качестве конечной координаты (X2, Y2). В этом случае, правый указательный палец Ffr поднимается (отделяется от модуля отображения) в заданной области 32 в центре внизу, и, следовательно, определяется то, что конечная координата (X2, Y2) находится в заданной области 32, на этапе S332.

В результате определения, если определено, что конечная координата (X2, Y2) находится в заданной области 32 («Да» на этапе S332), процесс переходит к этапу S333, а если не находится в заданной области 32 («Нет» на этапе S332), обработка чтения книги завершается, и обработка, показанная на фиг. 8 (и дополнительно обработка, показанная на фиг. 4), возобновляется.

Затем, на этапе S333 (обработка применения закладки) обработка применения закладки, как показано на фиг. 12, выполняется, поскольку определяется то, что пользователь ввел жест, на этапах S331 и S332, в качестве команды для выполнения обработки закладки.

Фиг. 12 является видом, показывающим пример экрана, показанного при выполнении обработки применения закладки. Как показано на фиг. 12, множество алфавитов представляется в секции 333 закладок, отображаемой в верхней части экрана от левого модуля 14a отображения к правому модулю 14b отображения, и каждый алфавит соответствует одной закладке. В частности, когда позиции, указываемой как "N" в секции 333 закладок, касаются правым указательным пальцем Ffr, номера страниц изображений, соответствующих данным книги, в данный момент отображаемым на левом модуле 14a отображения и правом модуле 14b отображения, сохраняются в модуле 120 хранения в ассоциации с закладкой "N". Информация, касающаяся закладки, остается сохраненной даже после того, как работа устройства завершается. Если требуется просматривать изображения этих страниц снова после определенного периода времени, посредством выбора закладки "N" на экране вызова закладок, аналогичном фиг. 12, но не показанном на чертеже, требуемые изображения могут вызываться сразу без ввода пользователем, к примеру, номера страницы изображения, соответствующего данным книги.

Как описано выше, посредством касания экрана правым указательным пальцем от (заданной области 31) центра вверху экрана к (заданной области 32) центру внизу экрана, страницы сохраняются, как если закладка помещается между двумя отображаемыми страницами. Следовательно, пользователь может выполнять обработку применения закладки простым способом посредством интуитивной операции.

Затем, на этапе S334, показанном на фиг. 9, модуль 100 управления определяет то, находятся или нет начальная координата (X1, Y1) и конечная координата (X2, Y2) на различных экранах. В частности, определяется то, является или нет одна из начальной координаты (X1, Y1) и конечной координаты (X2, Y2) координатой на левом модуле 14a отображения, а другая из начальной координаты (X1, Y1), и конечной координаты (X2, Y2) - координатой на правом модуле 14b отображения. Это определяет то, введен или нет, например, жест перемещения правого указательного пальца от левого модуля 14a отображения к правому модулю 14b отображения и наоборот. В последующем описании, это конкретно описывается со ссылкой на фиг. 13 и фиг. 14.

Фиг. 13 является видом, показывающим пример, в котором вводится жест перемещения правого указательного пальца от левого экрана к правому экрану, а фиг. 14 является видом, показывающим пример, в котором вводится жест перемещения правого указательного пальца от правого экрана к левому экрану.

Ссылаясь на фиг. 13, когда левый модуль 14a отображения нажимается правым указательным пальцем Ffr' (в прошедший момент времени), координата, соответствующая нажатой позиции, сохраняется в качестве начальной координаты (X1, Y1). Затем, когда правый указательный палец Ffr поднимается с правого модуля 14b отображения (в текущий момент времени), координата, соответствующая снятой позиции, сохраняется в качестве конечной координаты (X2, Y2). Дополнительно, на фиг. 14, жест противоположного направления выполняется. Соответственно, в этом случае, начальная координата и конечная координата, которые сохраняются, являются противоположными относительно случая, показанного на фиг. 13.

На этапе S334, если определено, что жест в качестве команды для переворачивания страницы выполнен («Да» на этапе S334), процесс переходит к этапу S336, и определяется направление переворачивания страницы. Например, если начальная координата меньше конечной координаты (X1<X2), следует признать, что жест для переворачивания слева направо выполнен, и направление переворачивания страницы определяется как прямое направление. Затем процесс переходит к этапу ST16. Дополнительно, если определено, что жест для переворачивания страницы не выполнен («Нет» на этапе S334), процесс переходит к этапу S335.

Затем, на этапе S335, модуль 100 управления определяет то, находятся или нет начальная координата (X1, Y1) и конечная координата (X2, Y2) в заданной позиции для инструктирования последовательного переворачивания страниц. Это определяет то, введен или нет, например, (стационарный) жест нажатия правым большим пальцем около правого конца правого модуля 14b отображения в течение заданного времени. В последующем описании, это конкретно описывается со ссылкой на фиг. 15.

Фиг. 15 является видом, показывающим пример, в котором вводится жест нажатия правым большим пальцем около правого конца на правом экране. Ссылаясь на фиг. 15, когда правый большой палец Ftr нажимает на заданную область 33b для инструктирования последовательного переворачивания страниц, которая предоставляется около правого конца правого модуля 14b отображения, координата, соответствующая нажатой позиции, сохраняется в качестве начальной координаты (X1, Y1). Затем, если заданная область 33b удерживается в нажатом состоянии как есть, после истечения заданного времени координата, соответствующая этой позиции, сохраняется в качестве конечной координаты (X2, Y2), даже если правый большой палец Ftr не поднимается.

В частности, как описано выше, согласно этапу S27, показанному на фиг. 5, если введенная координата не изменяется (в заданном диапазоне), короткое время (например, порядка 1 секунды) задается как заданное время, и обработка на следующем этапе S29 выполняется после истечения этого времени, и конечная координата (X2, Y2) сохраняется. Следовательно, если заданная область 33b удерживается в нажатом состоянии, обработка, включающая в себя обработку на этапе S335 и обработку на этапе S337, которая описывается ниже, повторяется каждое заданное короткое время (например, 1 секунда), и обработка для переворачивания страницы в прямом направлении повторяется. Дополнительно, если заданная область 33a, показанная на фиг. 15, удерживается в нажатом состоянии правым указательным пальцем Ffr, например, обработка для переворачивания страницы в противоположном направлении повторяется.

На этапе S335, если определено, что стационарный жест в качестве команды для последовательного переворачивания страницы введен («Да» на этапе S335), процесс переходит к этапу S336, и направление переворачивания страницы определяется. Например, если заданная область 33b на правом модуле 14b отображения нажимается, следует признать, что стационарный жест для переворачивания страницы слева направо выполнен, и направление переворачивания страницы определяется как прямое направление. Затем процесс переходит к этапу ST16. Дополнительно, если определено, что жест для последовательного переворачивания страницы не выполнен («Нет» на этапе S335), определяется то, что команда, касающаяся обработки чтения книги, в итоге не введена (включая и случай, когда начальная координата и конечная координата инициализируются). Следовательно, обработка чтения книги завершается, и обработка, показанная на фиг. 8 (и дополнительно обработка, показанная на фиг. 4), возобновляется.

Затем, на этапе S337, согласно направлению переворачивания страницы, определенному на этапе S335, изображения, соответствующие страницам с номерами, увеличенными или уменьшенными на два от текущих страниц, соответственно, отображаются на левом модуле 14a отображения и правом модуле 14b отображения. Затем, обработка чтения книги завершается, и обработка, показанная на фиг. 8 (и дополнительно обработка, показанная на фиг. 4), возобновляется.

Следует отметить, что число страниц, увеличенных или уменьшенных согласно направлению переворачивания страницы, в общем, равняется двум, но можно использовать конфигурацию, в которой это число задается пользователем по мере необходимости. Дополнительно, например, можно использовать конфигурацию, в которой число страниц, которые должны быть перевернуты, изменяется по мере необходимости, согласно, к примеру, расстоянию или позиционному соотношению между начальной координатой и конечной координатой или истекшему времени от ввода начальной координаты до ввода конечной координаты. Примеры могут включать в себя конфигурацию, в которой число страниц, которые должны быть перевернуты, увеличивается по мере того, как расстояние между начальной координатой и конечной координатой увеличивается, или число страниц, которые должны быть перевернуты, увеличивается по мере того, как истекшее время сокращается (т.е. по мере того, как жест выполняется быстрее). Затем, обработка окна в оконном режиме описывается подробно.

4.3 Операция обработки окна в оконном режиме

Фиг. 16 является блок-схемой последовательности операций способа, показывающей подробную последовательность операций обработки окна (этап S35). На этапе S351, показанном на фиг. 16, модуль 100 управления определяет, на основе начальной координаты (X1, Y1) и конечной координаты (X2, Y2), которые получены на этапе S25, показанном на фиг. 5, совпадает или нет жест, который введен пользователем, с каким-либо из жестов, соответствующих командам для выполнения ранее определенной обработки окна. Жесты ранее заданы в ассоциации с командами для изменения формы окна от текущего состояния, более конкретно, увеличения или уменьшения числа разделений окна или изменения формы разделений окна (в этом случае, разделения вертикально или горизонтально). Соотношение между жестами и формами изменения окна описывается со ссылкой на фиг. 17.

Фиг. 17 является видом, показывающим соотношение между формами изменения окна и ранее определенными жестами. Ссылаясь на фиг. 17, четыре формы окна задаются: (на вид) один экран, состоящий из левого модуля 14a отображения и правого модуля 14b отображения, два вертикальных экрана, разделенные в центре справа и слева (разделенные вертикально), два горизонтальных экрана, разделенные в центре сверху и снизу (разделенные горизонтально), и четыре экрана, разделенные сверху вниз и справа налево. Переходы от одной из этих форм окна к другой показаны стрелками, и жесты, заданные в качестве команд для инструктирования переходов (изменений) формы окна, кратко иллюстрируются около соответствующих стрелок.

Эти жесты включают в себя жесты A1-A3, имеющие центр вверху экрана в качестве начальной координаты, жест B1, имеющий центр внизу экрана в качестве начальной координаты, жесты C1 и C2, имеющие левую центральную часть экрана в качестве начальной координаты, жесты D1 и D2, имеющие правую центральную часть экрана в качестве начальной координаты, жесты E1 и E2, имеющие участок вдоль направлений вправо и влево от центральной части экрана в качестве начальной координаты, и жесты F1-F4, имеющие центральную часть экрана в качестве начальной координаты. Фиг. 17 также показывает жест A3', имеющий центральную часть экрана в качестве начальной координаты, левую центральную часть экрана в качестве координаты промежуточной точки и правую центральную часть экрана в качестве конечной координаты. Тем не менее для удобства пояснения здесь не описано распознавание промежуточной координаты, и жест A3' считается идентичным жесту A3. Следует принимать во внимание, что для того, чтобы корректно распознавать жест A3', можно последовательно определять координаты промежуточных точек в течение периода времени от опускания до поднимания правого указательного пальца Ffr и определять то, включена или нет какая-либо из координат промежуточных точек в заданную область левой центральной части экрана.

Следует отметить, что хотя эти жесты являются практическим примером, придуманным так, что пользователь может интуитивно изучать их, они являются просто иллюстрациями, и любой практический пример может использоваться при условии, что их просто распознавать или запоминать для пользователя. Дополнительно, хотя число разделений окна составляет 1 (не разделено), 2 или 4 для удобства пояснения здесь, но число разделений не ограничено конкретным образом. Помимо этого, окно может быть разделено в любой форме разделения, к примеру, горизонтальное разделение на четыре или разделение в известной специальной форме.

Здесь, чтобы изменять окно от одного экрана на два вертикальных экрана, жест A1 может выполняться с рассмотрением центра вверху экрана в качестве начальной координаты, а центра внизу экрана в качестве конечной координаты. Следует отметить, что хотя он фактически идентичен жесту для выполнения обработки закладки, как описано согласно этапу S31 по фиг. 8, в режиме чтения (рабочем режиме, выбранном пользователем) жест распознается в качестве жеста для выполнения обработки закладки в качестве обработки чтения книги, а не в режиме чтения жест распознается в качестве жеста для изменения формы окна в качестве обработки окна.

Дополнительно, чтобы изменять окно с двух вертикальных экранов на два горизонтальных экрана, жесты A2 и A3 могут выполняться, как показано на фиг. 17, и чтобы изменять окно с двух горизонтальных экранов на один экран, жесты E1 и E2 могут выполняться, как показано на фиг. 17.

Кроме того, например, чтобы изменять окно с четырех экранов на один экран, может выполняться один из жеста F3, принимая центральный участок экрана в качестве начальной координаты, а участок около левого верхнего конца экрана в качестве конечной координаты, и жеста F4, принимая центральный участок экрана в качестве начальной координаты и этой позиции в качестве конечной координаты, посредством нажатия и удержания в этой позиции в течение заданного времени. Здесь следует отметить, что жест F3 включает в себя жест, в котором центральный участок экрана принимают в качестве начальной координаты, а участок около одного из верхнего правого конца, нижнего правого конца и нижнего левого конца экрана - в качестве конечной координаты. Дополнительно, другие жесты для изменения формы окна являются очевидными в отношении фиг. 17, и подробное пояснение не приводится.

Как описано выше, на этапе S351, показанном на фиг. 16, модуль 100 управления определяет то, совпадает или нет введенный жест с каким-либо из жестов, показанных на фиг. 17, и если жест не совпадает в результате определения («Нет» на этапе S351), жест, соответствующий команде для выполнения обработки окна, не введен, обработка окна завершается, и обработка, показанная на фиг. 8 (и дополнительно обработка, показанная на фиг. 4), возобновляется. Альтернативно, если жест совпадает («Да» на этапе S351), процесс переходит к этапу S353.

На этапе S353, модуль 100 управления определяет то, выполняется или нет обработка команд, соответствующая введенному жесту, в текущей форме окна. В результате определения, если определено, что она не выполняется («Нет» на этапе S353), например, если жест F1 вводится, когда экран является одним экраном, отсутствует форма окна для перехода (изменения), и соответствующая команда обработки (здесь, обработка изменения с двух вертикальных экранов на один экран или с двух горизонтальных экранов на четыре экрана) не выполняется, и обработка завершается. Если определено, что она выполняется («Да» на этапе S353), форма окна принудительно изменяется согласно обработке команд, соответствующей жесту (этап S355), и затем обработка окна завершается, и обработка, показанная на фиг. 8 (и дополнительно обработка, показанная на фиг. 4), возобновляется.

5. Эффекты

Как описано выше, согласно этому варианту осуществления, портативное устройство отображения, которое является достаточно небольшим для удержания одной рукой, переходит в состояние, в котором жест может быть принят, когда фиксированная координата около центральной части между двумя экранами нажимается большим пальцем одной руки, держащим устройство, и команда для выполнения обработки чтения книги или обработки окна принимается посредством заданного введенного жеста, обычно выполняемого пальцем другой руки. Следовательно, держание портативного устройства отображения с двумя экранами легко и естественно инструктирует устройство переходить в состояние приема команд, чтобы давать возможность распознавания жестов, и когда портативное устройство отображения не удерживается, устройство переходит в состояние отсутствия приема команд, чтобы не допускать ложного выполнения команды вследствие непреднамеренного прикосновения и т.п. к дисплею. Таким образом, портативное устройство отображения согласно этому варианту осуществления может предоставлять интерфейс для операций ввода, подходящих для дисплея с двумя экранами.

6. Модифицированные примеры

Согласно варианту осуществления, различные жесты, соответствующие командам для выполнения обработки применения закладки, обработки переворачивания страницы, обработки окна и т.п. описываются, но эти жесты являются простыми примерами. Любые жесты, которые могут быть распознаны в качестве формы изменения двух или более ассоциированных координат посредством хронологического ассоциирования введенных координат, могут быть включены, или команда обработки, ранее сохраненная так, что она ассоциирована этими жестами, может включать в себя любую обработку, которая должна выполняться в портативном устройстве отображения, при условии, что устройство переходит в состояние отсутствия приема команд, когда введенные координаты не включают в себя координаты в области фиксированных координат, и переходит в состояние приема команд, когда введенные координаты включают в себя координаты в области фиксированных координат. Например, можно реализовывать операцию для выполнения команды для увеличения изображения, отображаемого на правом модуле 14b отображения, посредством выполнения жеста нажатия в фиксированной координате около центральной части между двумя экранами большим пальцем одной руки, держащим устройство, и помещения большого пальца и указательного пальца другой руки на правый модуль 14b отображения и разжатия пальцев, или посредством выполнения жеста перемещения пальца руки другой руки слева снизу вправо вверх для правого модуля 14b отображения. Альтернативно, наоборот, можно реализовывать операцию для выполнения команды для уменьшения изображения, отображаемого на правом модуле 14b отображения, посредством выполнения жеста нажатия в фиксированной координате около центральной части между двумя экранами большим пальцем одной руки, держащим устройство, и помещения большого пальца и указательного пальца другой руки на правый модуль 14b отображения и сжатия пальцев, или посредством выполнения жеста перемещения пальца руки другой руки справа сверху влево вниз для правого модуля 14b отображения.

Согласно этому варианту осуществления, описывается то, что фиксированная координата около центральной части между двумя экранами нажимается большим пальцем одной руки, держащим портативное устройство отображения. Это обусловлено тем, что оно, в общем, выполнено так, что участок около центральной части между двумя экранами может удерживаться легче всего. Тем не менее возникает случай, когда позиция, которая, как считает пользователь, может удерживаться легче всего, отличается от этой позиции, и/или случай, когда присоединение аксессуаров к устройству изменяет позицию, которая, в общем, может удерживаться легче всего. Следовательно, фиксированная координата может изменяться на заданную позицию, которая удалена от участка около центральной части между двумя экранами, например, на участке около центральной части левого конца левого модуля 14a отображения.

Согласно этому варианту осуществления, обработка распознавания (S3) выполняется после того, как обработка ввода (S2) завершается. Тем не менее такие этапы обработки (включающие в себя другие этапы обработки) являются простыми примерами для удобства пояснения, и обработка может выполняться полностью, или известные этапы обработки могут использоваться, такие как выполнение управляемой событиями обработки.

Согласно этому варианту осуществления, типы жестов и команд, ассоциированных жестами (операции обработки), заранее и фиксированно сохраняются. Тем не менее ассоциирование может быть свободно задано пользователем или посредством варианта применения.

Согласно этому варианту осуществления, приводится описание с рассмотрением примера портативного устройства отображения, имеющего два экрана. Тем не менее устройство может иметь три или более экранов при условии, что вышеописанные жесты могут быть выполнены для двух смежных экранов из трех или более экранов.

Согласно этому варианту осуществления, конечная координата является позицией в момент, когда палец поднимается. Тем не менее конечная координата может быть определена в момент времени, когда палец отделяется от модуля отображения в течение заданного времени. За счет этого, когда жест, выполненный для двух экранов, вводится в состоянии, в котором левый модуль 14a отображения и правый модуль 14b отображения слегка сгибаются внутрь, и когда палец поднимается в настоящий момент на участке около центральной части, например, позиция, в которой палец последний раз поднят (в течение заданного времени), рассматривается в качестве конечной координаты, и можно, в общем, распознавать жест как последовательный жест.

Согласно этому варианту осуществления, жест распознается на основе начальной координаты и конечной координаты (а также истекшего времени). Тем не менее можно использовать различные известные способы для распознавания жестов. Например, жест может быть распознан путем известного распознавания шаблонов, посредством заданной векторной операции или посредством определения того, какой из жестов соответствует, на основе изменения в группе связанных (последовательных) координат, сохраняемых каждую единицу времени.

Согласно этому варианту осуществления, зазор между левым модулем 14a отображения и правым модулем 14b отображения отсутствует (бесшовно), но определенная степень зазора может представляться. Тем не менее необходимо, чтобы зазор обычно мог нажиматься большим пальцем, и нажатое состояние могло определяться, и желательно, чтобы имелась небольшая неровность, так чтобы жест для правого и левого экранов мог выполняться, как описано выше.

Согласно этому варианту осуществления, распознавание жестов, описанное выше, реализуется в портативном информационном терминале. Тем не менее можно реализовывать распознавание жестов в любом известном устройстве, таком как мобильный телефон, электронный персональный органайзер, электронный словарь, устройство для чтения электронных книг или мобильный Интернет-терминал, при условии, что портативное устройство отображения может удерживаться пользователем.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение применяется, например, в портативном устройстве отображения, имеющем сенсорную панель, и является подходящим для портативного устройства отображения, имеющего модуль отображения с двумя экранами и сенсорную панель, допускающую определение координаты позиции, приближаемой или нажатой на модуле отображения.

ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ПОЗИЦИЙ

10 - портативный информационный терминал

14a - левый экран

14b - правый экран

16 - область фиксированных координат

100 - модуль управления

140 - модуль отображения

141 - жидкокристаллическая панель

160 - модуль ввода

161 - сенсорная панель

Ftl - левый большой палец

Ffr - правый указательный палец

Ps - точка определения

P - программа распознавания жестов.

Claims (2)

1. Портативное устройство отображения, выполненное с возможностью удержания пользователем, причем устройство содержит:
- модуль отображения, выполненный с возможностью отображения
изображений, соответственно, на двух смежных экранах;
модуль ввода, выполненный с возможностью получения двух или более координат позиций на модуле отображения, причем позиции подвергаются пользователем одному из приближения, прикосновения и нажатия; и
модуль распознавания жестов, выполненный с возможностью распознавания и выполнения ранее сохраненной команды обработки, соответствующей форме изменения двух или более связанных координат, посредством хронологического ассоциирования координат позиций, подвергнутых одному из приближения, прикосновения и нажатия на модуле отображения и полученных модулем ввода, при этом:
модуль распознавания жестов переходит в: состояние отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные модулем ввода, не включают в себя заданную фиксированную координату, и состояние приема, в котором распознавание команды обработки разрешено, когда координаты, полученные модулем ввода, включают в себя фиксированную координату,
при этом модуль ввода получает в качестве фиксированной координаты координату позиции на модуле отображения, которая
соответствует позиции одного пальца руки пользователя, держащего портативное устройство отображения, и которая соответствует позиции, подходящей для удержания одним пальцем руки пользователя, и получает в качестве двух или более связанных координат координаты позиций на модуле отображения, которые соответствуют позиции другого пальца руки пользователя.

2. Портативное устройство отображения, выполненное с возможностью удержания пользователем, причем устройство содержит:
- модуль отображения, выполненный с возможностью отображения
изображений, соответственно, на двух смежных экранах;
модуль ввода, выполненный с возможностью получения двух или более координат позиций на модуле отображения, причем позиции подвергаются пользователем одному из приближения, прикосновения и нажатия; и
модуль распознавания жестов, выполненный с возможностью распознавания и выполнения ранее сохраненной команды обработки, соответствующей форме изменения двух или более связанных координат, посредством хронологического ассоциирования координат позиций, подвергнутых одному из приближения, прикосновения и нажатия на модуле отображения и полученных модулем ввода, при этом:
модуль распознавания жестов переходит в состояние отсутствия приема, в котором распознавание и выполнение команды обработки запрещено, когда координаты, полученные модулем ввода, не включают в себя заданную фиксированную координату, и состояние приема, в котором распознавание команды обработки
разрешено, когда координаты, полученные модулем ввода, включают в себя фиксированную координату, при этом модуль отображения является складываемым так, что два экрана располагаются напротив друг друга, принимая участок на или около стороны, на которой два экрана являются смежными, в качестве линии сгиба внутрь, и модуль распознавания жестов выполняет команду обработки на основе фиксированной координаты, включающей в себя координату на или около линии сгиба внутрь.

Images