RU2520353C9 - Устройство обработки информации и способ обработки информации - Google Patents

Устройство обработки информации и способ обработки информации Download PDF

Info

Publication number
RU2520353C9
RU2520353C9 RU2011142869/08A RU2011142869A RU2520353C9 RU 2520353 C9 RU2520353 C9 RU 2520353C9 RU 2011142869/08 A RU2011142869/08 A RU 2011142869/08A RU 2011142869 A RU2011142869 A RU 2011142869A RU 2520353 C9 RU2520353 C9 RU 2520353C9
Authority
RU
Russia
Prior art keywords
image
observation point
data
link
displayed
Prior art date
Application number
RU2011142869/08A
Other languages
English (en)
Other versions
RU2520353C2 (ru
RU2011142869A (ru
Inventor
Такаюки СИНОХАРА
Хидехико МОРИСАДА
Юте ЛИН
Original Assignee
Сони Компьютер Энтертэйнмент Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009075244A external-priority patent/JP5292148B2/ja
Priority claimed from JP2009075267A external-priority patent/JP5292149B2/ja
Priority claimed from JP2009075242A external-priority patent/JP5292146B2/ja
Priority claimed from JP2009075243A external-priority patent/JP5292147B2/ja
Application filed by Сони Компьютер Энтертэйнмент Инк. filed Critical Сони Компьютер Энтертэйнмент Инк.
Publication of RU2011142869A publication Critical patent/RU2011142869A/ru
Publication of RU2520353C2 publication Critical patent/RU2520353C2/ru
Application granted granted Critical
Publication of RU2520353C9 publication Critical patent/RU2520353C9/ru

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к технологии обработки информации. Техническим результатом является обеспечение возможности реализации различных процессов обработки информации посредством простых операций. На устройстве отображения (УО) отображается стандартное изображение, на которое задана ссылка (S18). Когда при обращении пользователя к устройству ввода точка наблюдения входит в первую границу ссылки (ДА S20) при отсутствии информации о необходимости возобновления воспроизведения (ДА S22), осуществляется считывание первого кадра данных движущегося изображения, который отображается на УО. При наличии информации о возобновлении воспроизведения (ДА S22) осуществляется считывание этой информации (S24), и на УО отображается кадр в момент возобновления воспроизведения. Если точка наблюдения входит во вторую границу ссылки (ДА S28), то начинается процесс создания и отображения движущегося изображения (S30). При выходе точки наблюдения из второй границы ссылки (ДА S32) отображается изображение кадра в момент приостановки воспроизведения движущегося изображения и обеспечивается сохранение точки возобновления воспроизведения (S34, S36). Выход точки наблюдения из первой границы ссылки (ДА S38) приводит к отображению стандартного изображения (S40), отображавшегося на этапе S18. 5 н. и 8 з.п. ф-лы, 26 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к технологии обработки информации для обработки информации в соответствии с командой, вводимой пользователем в ответ на отображаемое изображение.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
Предлагаемые домашние развлекательные системы обеспечивают возможность не только выполнения игровых программ, но и воспроизведения движущихся изображений. В этих домашних развлекательных системах GPU (графический процессор) генерирует трехмерные изображения с использованием многоугольников (см., например, патентный документ №1).
При этом предлагается технология, позволяющая осуществлять увеличение или уменьшение отображаемого изображения или перемещение изображения в направлении вверх, вниз, влево или вправо в результате использования квадрантных изображений с различными разрешающими способностями, генерированных из цифрового изображения типа фотографии высокой четкости. В этой технологии обработки изображения в результате многоступенчатого уменьшения размера исходного изображения генерируются изображения с разными разрешающими способностями, и исходное изображение представляется в виде иерархической структуры, в которой изображение каждого уровня разделено на одно или более квадрантных изображений. Обычно изображение с самой низкой разрешающей способностью состоит из одного квадрантного изображения. Исходное изображение с самой высокой разрешающей способностью состоит из наибольшего числа квадрантных изображений. Устройство обработки изображения выполнено с возможностью увеличения или уменьшения отображаемого изображения, обеспечивающей эффективное отображение увеличенного или уменьшенного изображения в результате переключения квадрантного изображения, используемого в настоящее время, на квадрантное изображение другого уровня.
СПИСОК МАТЕРИАЛОВ, ИСПОЛЬЗОВАННЫХ ПРИ ЭКСПЕРТИЗЕ ЗАЯВКИ
Патентный документ 1 - Патент США №6563999.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
ЗАДАЧА, РЕШАЕМАЯ С ПОМОЩЬЮ ИЗОБРЕТЕНИЯ
В последние годы наблюдается увеличение размеров экранов дисплеев мобильных терминалов, и поэтому появилась возможность отображения изображений высокой четкости независимо от типа устройства обработки информации. Таким образом, люди могут без труда получать доступ к различным типам визуально привлекательного контента. Однако с усложнением и повышением уровня информации, подлежащей отображению, необходимым условием использования информации в своих интересах становится владение всесторонними знаниями. Усложняются и принципы работы. Поэтому во многих случаях принимается компромиссное решение между качеством информации и простотой работы. Создание сложного контента, включающего в себя изображения, требует дополнительных специальных знаний. Кроме того, ситуация, при которой от пользователей требуется понимание назначения кнопок или умение одновременного манипулирования множеством кнопок, налагает повышенную нагрузку на пользователей, в особенности на неспециалистов.
Настоящее изобретение касается вышеупомянутой проблемы, и его целью является создание технологии, обеспечивающей возможность реализации различных процессов обработки посредством простых операций. Другая цель настоящего изобретения заключается в создании технологии поддержки действий пользователя в процессе работы над отображаемым изображением.
СРЕДСТВА РЕШЕНИЯ ЗАДАЧИ
Согласно примеру осуществления настоящего изобретения предлагается устройство обработки информации. Устройство обработки информации содержит: запоминающее устройство, выполненное с возможностью хранения иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности; блок подтверждения введенной информации, выполненный с возможностью подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения; блок обработки отображаемого изображения, выполненный с возможностью создания отображаемого изображения из иерархических данных в результате обеспечения изменения участка, отображаемого в ответ на запрос перемещения точки наблюдения; и блок исполнения объекта, выполненный с возможностью исполнения процесса обработки, соответствующей определенному участку изображения, осуществляемого в случае, когда для точки наблюдения выполняется условие активизации процесса обработки, причем условие задается по взаимному положению определенного участка, заданного на плоскости изображения, и участка, задаваемого точкой наблюдения и отображаемого на экране.
Согласно другому примеру осуществления настоящего изобретения предлагается способ обработки информации. Способ обработки информации содержит этапы: считывания иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности, из памяти и вывода данных на устройство отображения; подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения; обеспечения изменения участка, отображаемого на устройстве отображения в ответ на запрос перемещения точки наблюдения; и исполнения процесса обработки, заданной в соответствии с определенным участком изображения, осуществляемого в случае, когда для точки наблюдения выполняется условие активизации процесса обработки, причем условие задается по взаимному положению определенного участка, заданного на плоскости изображения, и участка, задаваемого точкой наблюдения и отображаемого на экране.
Согласно еще одному примеру осуществления настоящего изобретения предлагается структура данных контента. Структура данных контента выполнена с возможностью обеспечения соответствия между данными и файлом, где данные представляют собой иерархические данные, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности; а файл представляет собой файл задания, выполненный с возможностью описания условия активизации процесса обработки, соответствующей определенному участку в изображении, отображенном с использованием иерархических данных, причем условие задано по взаимному положению определенного участка, заданного на плоскости изображения, и участка изображения, который отображается на экране и задается точкой наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения.
Согласно еще одному примеру осуществления настоящего изобретения предлагается устройство обработки информации. Устройство обработки информации содержит: запоминающее устройство, выполненное с возможностью хранения иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности; блок подтверждения введенной информации, выполненный с возможностью подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения; блок обработки отображаемого изображения, выполненный с возможностью создания отображаемого изображения из иерархических данных в результате обеспечения изменения участка, отображаемого в ответ на запрос перемещения точки наблюдения; и блок обработки изображения, выполненный с возможностью выполнения процесса обработки на множестве участков в отображаемом изображении для отображения участков с визуальным выделением, причем блок подтверждения введенной информации дополнительно подтверждает команду от пользователя на выбор участка из множества участков, отображенных с визуальным выделением, а блок обработки отображаемого изображения дополнительно обеспечивает изменение участка, отображаемого в ответ на команду выбора.
Согласно еще одному примеру осуществления настоящего изобретения предлагается способ обработки информации. Способ обработки информации содержит этапы: считывания иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности, из памяти и вывода данных на устройство отображения; подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения; обеспечения изменения участка, отображаемого на устройстве отображения в ответ на запрос перемещения точки наблюдения; выполнения процесса обработки на множестве участков, включенных в отображаемое изображение, для отображения участков с визуальным выделением; подтверждения команды от пользователя на выбор участка из множества участков, отображенных с визуальным выделением участков; и обеспечения дополнительного изменения участка, отображаемого в ответ на команду выбора.
Согласно еще одному примеру осуществления настоящего изобретения предлагается структура данных контента. Структура данных контента выполнена с возможностью обеспечения соответствия между иерархическими данными и данными множества изображений, где иерархические данные содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности, а множество изображений соответствует множеству отображаемых участков с визуальным выделением, являющихся объектами выбора, в изображении, отображенном с использованием иерархических данных, и после обеспечения изменения области отображения изображения, отображенного с использованием иерархических данных в случае выбора одного из множества участков обеспечивается дополнительное отображение изображения, соответствующего выбранному участку.
Согласно еще одному примеру осуществления настоящего изобретения предлагается устройство обработки информации. Устройство обработки информации содержит: запоминающее устройство, выполненное с возможностью хранения иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности; блок подтверждения введенной информации, выполненный с возможностью подтверждения запроса на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения, осуществляемого через устройство ввода, которым управляет пользователь; и блок обработки отображаемого изображения, выполненный с возможностью создания отображаемого изображения из иерархических данных в результате обеспечения изменения участка, отображаемого в ответ на запрос перемещения точки наблюдения, и возможностью создания из иерархических данных одного эталонного отображаемого изображения, имеющего более низкую разрешающую способность, чем изображение, отображаемое в настоящее время, осуществляемого в случае, когда пользователь осуществляет специальную операцию через устройство ввода, причем эталонное отображаемое изображение представляет собой одно из множества изображений множества участков, соответствующих множеству точек наблюдения с разными расстояниями от плоскости изображения, выбираемое из множества эталонных отображаемых изображений в зависимости от изображения, отображаемого в настоящее время.
Согласно еще одному примеру осуществления настоящего изобретения предлагается способ обработки информации. Способ обработки информации содержит этапы: считывания иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности, из памяти и вывода данных на устройство отображения; подтверждения через устройство ввода, которым управляет пользователь, запроса на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения; обеспечения изменения участка, отображаемого на устройстве отображения в ответ на запрос перемещения точки наблюдения; и создания из иерархических данных одного эталонного отображаемого изображения, имеющего более низкую разрешающую способность, чем изображение, отображаемое в настоящее время, осуществляемого в случае, когда пользователь осуществляет специальную операцию через устройство ввода, причем эталонное отображаемое изображение представляет собой одно из множества изображений множества участков, соответствующих множеству точек наблюдения с разными расстояниями от плоскости изображения, которое выбирается из множества эталонных отображаемых изображений в зависимости от изображения, отображаемого в настоящее время.
Согласно еще одному примеру осуществления настоящего изобретения предлагается структура данных контента. Структура данных контента выполнена с возможностью обеспечения соответствия между иерархическими данными и информацией о данных изображения, где иерархические данные содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности, а данные изображения представляют собой данные множества эталонных отображаемых изображений с разными разрешающими способностями, одно из которых выбирается в случае, когда пользователь осуществляет специальную операцию через устройство ввода при отображении изображения, созданного из иерархических данных, в качестве объекта последующего отображения в соответствии с участком изображения, отображаемого в настоящее время.
Согласно еще одному примеру осуществления настоящего изобретения предлагается устройство обработки информации. Устройство обработки информации содержит: запоминающее устройство, выполненное с возможностью хранения данных изображения, включающего в себя специальный участок, являющийся объектом увеличения; блок подтверждения введенной информации, выполненный с возможностью подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения; блок обработки отображаемого изображения, выполненный с возможностью создания отображаемого изображения из данных изображения в результате обеспечения изменения участка, отображаемого в ответ на запрос перемещения точки наблюдения; и блок управления наведением, выполненный с возможностью управления блоком обработки отображаемого изображения, осуществляемого так, что в случае, когда для точки наблюдения выполняется условие наведения, заданное по взаимному положению специального участка и участка, задаваемого точкой наблюдения и отображаемого на экране, и пользователь исполняет операцию по увеличению изображения, в результате добавления горизонтального перемещения точки наблюдения обеспечивается наведение участка, отображаемого на экране, в направлении специального участка.
Согласно еще одному примеру осуществления настоящего изобретения предлагается способ обработки информации. Способ обработки информации включает в себя этапы: считывания данных изображения, включающего в себя специальный участок, являющийся объектом увеличения, из памяти и вывода данных на устройство отображения; осуществления подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения; обеспечения изменения участка, отображаемого на устройстве отображения в ответ на запрос перемещения точки наблюдения; и наведения участка, отображаемого на экране, в направлении специального участка в результате добавления горизонтального перемещения точки наблюдения в случае, когда для точки наблюдения выполняется условие наведения, заданное по взаимному положению специального участка и участка, задаваемого точкой наблюдения и отображаемого на экране, и пользователь исполняет операцию по увеличению изображения.
Согласно еще одному примеру осуществления настоящего изобретения предлагается структура данных контента. Структура данных контента выполнена с возможностью обеспечения соответствия между данными изображения, данными специального участка и условием наведения, где специальный участок включен в изображение и является объектом увеличения; а условие наведения представляет собой условие добавления горизонтального перемещения точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения, для наведения участка, отображаемого на экране, в направлении специального участка в случае, когда пользователь исполняет операцию по увеличению изображения, и задается по взаимному положению специального участка и участка, отображаемого на экране.
В качестве дополнительных вариантов настоящего изобретения возможна также реализация произвольных комбинаций вышеуказанных составных элементов и примеров осуществления изобретения в виде способов, устройств, систем, компьютерных программ, и носителей записи, на которых хранятся компьютерные программы.
ПРЕИМУЩЕСТВО НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ
Настоящее изобретение обеспечивает возможность реализации различных процессов обработки информации посредством простых операций.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 иллюстрирует среду использования системы обработки изображения согласно первому примеру осуществления настоящего изобретения.
Фиг.2 - внешний вид устройства ввода, которое может быть использовано в системе обработки изображения согласно фиг.1.
Фиг.3 иллюстрирует пример иерархической структуры данных изображения, используемых в первом примере осуществления.
Фиг.4 - блок-схема устройства обработки информации согласно первому примеру осуществления.
Фиг.5 - схематическая иллюстрация потока данных изображения согласно первому примеру осуществления.
Фиг.6 - схематическая иллюстрация связи между различными наборами иерархических данных, являющихся объектами отображения, согласно первому примеру осуществления.
Фиг.7 - детальная блок-схема блока управления согласно первому примеру осуществления.
Фиг.8 иллюстрирует пример задания целевого прямоугольника и ограничивающего прямоугольника согласно первому примеру осуществления.
Фиг.9 иллюстрирует пример задания коэффициента масштабирования ограничивающего прямоугольника согласно первому примеру осуществления.
Фиг.10 иллюстрирует задание параметра "overshoot", характеризующего выступание части экрана за край ограничивающего прямоугольника, согласно первому примеру осуществления.
Фиг.11 иллюстрирует задание параметра "invisibility", характеризующего выступание части ограничивающего прямоугольника за край экрана, согласно первому примеру осуществления.
Фиг.12 иллюстрирует пример файла задания, написанного на языке XML, согласно первому примеру осуществления.
Фиг.13 иллюстрирует связь между целевым прямоугольником, ограничивающим прямоугольником и границей ссылки согласно первому примеру осуществления.
Фиг.14 иллюстрирует изменение границы ссылки при изменении параметра "max_overshoot" согласно первому примеру осуществления.
Фиг.15 иллюстрирует изменение границы ссылки при изменении параметра "max_invisibility" согласно первому примеру осуществления.
Фиг.16 иллюстрирует пример изображения, отображаемого на устройстве отображения с помощью устройства обработки информации, согласно первому примеру осуществления.
Фиг.17 - блок-схема последовательности этапов в процессе обработки, обеспечивающей воспроизведение движущегося изображения в качестве внедренного объекта, согласно первому примеру осуществления.
Фиг.18 иллюстрирует пример изображения, отображаемого в случае использования ссылки на магазин в качестве внедренного объекта, согласно первому примеру осуществления.
Фиг.19 - блок-схема последовательности этапов в процессе обработки, выполняемой устройством обработки информации в случае отображения подтверждения выбранного элемента в качестве внедренного объекта, согласно первому примеру осуществления.
Фиг.20 иллюстрирует операцию возврата участка отображения после произвольного перемещения точки наблюдения согласно первому примеру осуществления.
Фиг.21 иллюстрирует пример изображения с заданной ссылкой согласно второму примеру осуществления.
Фиг.22 - детальная блок-схема блока управления согласно второму примеру осуществления.
Фиг.23 иллюстрирует изменение взаимного положения участка ссылки и экрана при изменении положения точки наблюдения согласно второму примеру осуществления.
Фиг.24 - схематическая иллюстрация связи между областью наведения и областью квазинаведения согласно второму примеру осуществления.
Фиг.25 - схематическая иллюстрация примера задания силы наведения в зависимости от расстояния от средней линии участка ссылки по горизонтали до точки наблюдения согласно второму примеру осуществления.
Фиг.26 - блок-схема последовательности этапов в процессе обработки, выполняемой устройством обработки информации при наведении экрана на участок ссылки и исполнении ссылки, согласно второму примеру осуществления.
ЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
ПЕРВЫЙ ПРИМЕР ОСУЩЕСТВЛЕНИЯ
Фиг.1 иллюстрирует среду использования системы 1 обработки изображения согласно примеру осуществления настоящего изобретения. Система 1 обработки информации содержит устройство 10 обработки информации и устройство 12 отображения. Устройство 10 обработки информации может осуществлять процесс обработки контента, включающего в себя, по меньшей мере, одну из функций типа обработки изображения, воспроизведения движущегося изображения, воспроизведения звука, связи или т.п. Устройство 12 отображения обеспечивает возможность вывода результатов процесса обработки, выполненной устройством 10 обработки информации. Устройство 12 отображения может представлять собой телевизор, снабженный дисплеем для вывода изображения и динамиком для вывода звука. Устройство 12 отображения может быть соединено с устройством 10 обработки информации кабелем или по беспроводному соединению с использованием, например, LAN (беспроводной локальной сети).
Посредством кабеля 14 устройство 10 обработки информации в системе 1 обработки информации может быть соединено с внешней сетью, такой как Интернет, и в результате загрузки может получать программное обеспечение для контента, включающего в себя сжатые иерархические данные изображения или т.п. Соединение устройства 10 обработки информации с внешней сетью может быть беспроводным.
Устройство 10 обработки информации может представлять собой игровое устройство, персональный компьютер или т.п. и в результате загрузки программного обеспечения с различных носителей записи может реализовывать функции, описываемые ниже. Согласно примеру осуществления при использовании механизма обработки изображения, описываемого ниже, изображения, отображенные на устройстве 12 отображения, играют роль пользовательского интерфейса. С помощью устройства ввода пользователь обеспечивает изменение отображаемого изображения и в результате вводит команду в устройство 10 обработки информации. Процессы обработки, осуществляемой устройством 10 обработки информации в ответ на ввод команды, могут отличаться один от другого в зависимости от контента. Описание конкретного примера приводится ниже.
Как только в процессе просмотра изображения, отображенного на устройстве 12 отображения, пользователь вводит через устройство ввода запрос на увеличение/уменьшение участка отображения или на прокрутку участка отображения в направлении вверх, вниз, влево или вправо, устройство ввода передает в ответ сигнал запроса перемещения, увеличения или уменьшения участка отображения в устройство 10 обработки информации. В соответствии с этим сигналом устройство 10 обработки информации обеспечивает изменение изображения на экране устройства 12 отображения. Ввиду того, что такое перемещение, увеличение или уменьшение отображаемого изображения можно также интерпретировать как виртуальное перемещение точки наблюдения пользователя, то ниже все эти процессы обработки именуются как "перемещение точки наблюдения". Кроме того, в соответствии с предварительно заданным правилом устройство 10 обработки информации выполняет процесс обработки, соответствующей определенному участку. Например, если пользователь увеличивает изображение определенного участка, то устройство 10 обработки информации начинает выполнение операции, соответствующей участку.
Фиг.2 иллюстрирует пример внешнего вида устройства 20 ввода. В качестве средств управления для пользователя устройство 20 ввода снабжено клавишами 21 навигации, аналоговыми джойстиками 27а и 27b и четырьмя кнопками 26 управления. Эти четыре кнопки 26 управления состоят из кнопки 22 в форме круга, крестообразной кнопки 23, кнопки 24 в форме квадрата и кнопки 25 в форме треугольника.
Средство управления устройства 20 ввода в системе 1 обработки информации выполняет функцию ввода запроса на перемещение точки наблюдения, например увеличение/уменьшение участка отображения и запроса на прокрутку вверх, вниз, влево или право. Например, функцию ввода запроса на увеличение/уменьшение участка отображения может выполнять правый аналоговый джойстик 27b. Пользователь может вводить запрос на уменьшение участка отображения путем отклонения аналогового джойстика 27b на себя, а запрос на увеличение участка отображения - путем отклонения аналогового джойстика 27b от себя. Функцию ввода запроса на прокрутку участка отображения могут выполнять клавиши 21 навигации. Нажатие клавиш 21 навигации позволяет пользователю вводить запрос на прокрутку в направлении, соответствующем нажатой клавише 21. Функцию ввода запроса на перемещение точки наблюдения могут выполнять другие средства управления. Например, функцию ввода запроса на прокрутку может выполнять аналоговый джойстик 27а.
Устройство 20 ввода имеет функцию передачи входного сигнала запроса на перемещение точки наблюдения в устройство 10 обработки информации. В примере осуществления устройство 20 ввода выполнено с возможностью связи с устройством 10 обработки информации по беспроводному соединению. Устройство 20 ввода и устройство 10 обработки информации может устанавливать связь с использованием протокола Bluetooth (зарегистрированный товарный знак), протокола IEEE802.11 или т.п. При этом для передачи сигнала запроса на перемещение точки наблюдения в устройство 10 обработки информации устройство 20 ввода может быть соединено с устройством 10 обработки информации посредством кабеля.
Фиг.3 иллюстрирует иерархическую структуру данных изображения, используемых в примере осуществления. Данные изображения имеют иерархическую структуру, содержащую в направлении глубины (ось Z) нулевой уровень 30, первый уровень 32, второй уровень 34 и третий уровень 36. Несмотря на то, что на фигуре показаны только четыре уровня, рассмотренным вариантом число уровней не ограничивается. Ниже данные изображения, имеющие такую иерархическую структуру, именуются как "иерархические данные".
Иерархические данные, показанные на фиг.3, имеют иерархическую структуру квадродерева. Каждый уровень образован одним или более квадрантами 38. Все квадранты 38 имеют один и тот же размер и одно и то же число пикселов. Например, изображение включает в себя 256×256 пикселов. Данные изображения на каждом из уровней представляют одно и то же изображение с разными разрешающими способностями. В результате многоступенчатого уменьшения исходного изображения на третьем уровне 36, имеющего самую высокую разрешающую способность, генерируются данные изображения для второго уровня 34, первого уровня 32 и нулевого уровня 30. Например, разрешающая способность на N-уровне (N - целое число не менее 0) может составлять 1/2 от разрешающей способности на (М+1)-уровне как в горизонтальном направлении (ось X), так и в вертикальном направлении (ось Y).
В устройстве 10 обработки информации иерархические данные хранятся в запоминающем устройстве в сжатом с использованием определенного формата сжатия виде. В случае активизации контента иерархические данные считываются из запоминающего устройства и подвергаются декодированию. Устройство 10 обработки информации согласно примеру осуществления имеет функцию декодирования, совместимую с множеством форматов сжатия. Например, устройство может декодировать данные, сжатые в формате S3TC, формате JPEG и формате JPEG2000. Сжатие иерархических данных может выполняться для каждого квадранта. Возможно и единовременное сжатие множества квадрантов одного и того же уровня или множества уровней.
Как показано на фиг.3, иерархическая структура иерархических данных образует виртуальное трехмерное пространство, в котором горизонтальное направление задано вдоль оси X, вертикальное направление задано вдоль ось Y, а направление вглубь - вдоль оси Z. Устройство 10 обработки информации получает величину перемещения участка отображения из сигнала запроса на перемещение, подаваемого с устройства 20 ввода. При этом устройство 10 обработки информации использует величину перемещения для получения координат в четырех углах кадра (координат кадра) в виртуальном пространстве. Координаты кадра в виртуальном пространстве используются для генерирования отображаемого изображения. Вместо координат кадра в виртуальном пространстве устройство 10 обработки информации может получать информацию для идентификации уровня и координаты текстуры (координаты UV) на уровне. Ниже комбинация информации для идентификации уровня и координат текстуры именуется также координатами кадра.
Данные изображения каждого из уровней в составе иерархических данных дискретизированы в направлении оси Z виртуального пространства. Поэтому в случае отображения изображения с определенным коэффициентом масштабирования, имеющим промежуточное значение между коэффициентами масштабирования других дискретно расположенных уровней, для которого, таким образом, не существует никаких данных изображения с определенным коэффициентом масштабирования, используются данные изображения на уровне, расположенном поблизости в направлении оси Z, с близким коэффициентом масштабирования. Например, в случае, когда коэффициент масштабирования отображаемого изображения приближается к коэффициенту масштабирования на втором уровне 34, отображаемое изображение генерируется с использованием данных изображения второго уровня. Для реализации этого между всеми уровнями, например в середине, задается граница переключения исходных изображений. Если в процессе своего изменения коэффициент масштабирования пересекает границу переключения, то происходит переключение данных изображения, используемых для создания отображаемого изображения, и отображение изображения осуществляется с увеличением или уменьшением.
На фиг.4 показана блок-схема устройства 10 обработки информации. Устройство 10 обработки информации содержит беспроводный интерфейс 40, переключатель 42, блок 44 обработки данных для отображения, накопитель 50 на жестком диске, блок 52 загрузки с носителя записи, дисковод 54, основную память 60, буферную память 70 и блок 100 управления. Блок 44 обработки данных для отображения снабжен памятью кадров для буферизации данных, отображаемых на дисплее устройства 12 отображения.
Переключатель 42 является переключателем Ethernet (Ethernet - зарегистрированная торговая марка) и представляет собой устройство, подключаемое к внешнему устройству кабелем или по беспроводному соединению для передачи и приема данных. Посредством кабеля 14 переключатель 42 может быть соединен с внешней сетью и за счет этого обеспечивать прием файла контента, содержащего сжатые иерархические данные изображения и файл задания для реализации различных функций с использованием изображения. Кроме того, файл контента может включать в себя данные, требуемые для реализации различных функций, например сжатые кодированные данные движущегося изображения, данные музыкального сопровождения, данные, связывающие названия веб-сайтов и соответствующие URL (унифицированные указатели ресурсов) или т.п.
Переключатель 42 соединен с беспроводным интерфейсом 40. С использованием определенного протокола беспроводной связи беспроводный интерфейс 40 соединен с устройством 20 ввода. Через беспроводный интерфейс 40 и переключатель 42 сигнал запроса перемещения точки наблюдения, введенный пользователем через устройство 20 ввода, передается в блок 100 управления.
Накопитель 50 на жестком диске работает как запоминающее устройство для хранения данных. Различные данные, полученные в результате приема через переключатель 42, хранятся в накопителе 50 на жестком диске. В случае установки съемного носителя записи типа карты памяти считывание данных осуществляется блоком 52 загрузки с носителя записи. При установке диска ROM (ПЗУ) дисковод 54 запускает и распознает этот диск ROM и считывает данные. Диск ROM может быть оптическим диском или магнитооптическим диском. Файлы контента могут храниться на этих носителях записи.
Блок 100 управления снабжен многоядерным CPU (ЦП). В одном CPU установлены одно универсальное процессорное ядро и множество специализированных процессорных ядер. Универсальное процессорное ядро именуется как PPU (мощный процессорный модуль), а остальные процессорные ядра именуются как SPU (синергетические процессорные модули).
Блок 100 управления снабжен контроллером памяти, соединенным с основной памятью 60 и буферной памятью 70. Модуль PPU снабжен регистром и основным процессором в качестве субъекта исполнения операций. Модуль PPU эффективно распределяет задания в качестве основных единиц обработки в исполняемых приложениях по соответствующим модулям SPU. Сам модуль PPU также может исполнять задание. Модуль SPU снабжен регистром, подпроцессором в качестве субъекта исполнения операций и локальной памятью в качестве локальной области хранения. Локальная память может использоваться в качестве буферной памяти 70.
Основная память 60 и буферная память 70 являются запоминающими устройствами и сформированы как блоки RAM (оперативной памяти). Модуль SPU снабжен специализированным контроллером DMA (прямого доступа к памяти) в качестве блока управления, обеспечивающим высокоскоростную передачу данных между основной памятью 60 и буферной памятью 70. Высокоскоростная передача данных обеспечивается также между памятью кадров в блоке 44 обработки данных для отображения и буферной памятью 70. За счет параллельной работы множества модулей SPU блок 100 управления согласно примеру осуществления реализует возможность высокоскоростной обработки изображений. Блок 44 обработки данных для отображения соединен с устройством 12 отображения, на которое по запросу от пользователя выводится результат обработки.
Для обеспечения плавного изменения отображаемых изображений при перемещении точки наблюдения устройство 10 обработки информации согласно примеру осуществления может быть выполнено с возможностью предварительной загрузки, по меньшей мере, части сжатых данных изображения из накопителя 50 на жестком диске в основную память 60. Кроме того, устройство 10 может быть выполнено с возможностью прогнозирования будущего участка отображения на основе запроса от пользователя на перемещение точки наблюдения, а также декодирования части сжатых данных изображения, загруженных в основную память 60, и сохранения декодированных данных в буферной памяти 70. В результате впоследствии обеспечивается возможность мгновенного переключения изображений, используемых для создания отображаемого изображения, в нужное время.
На фиг.5 представлена схематическая иллюстрация потока данных изображения согласно примеру осуществления. Вначале иерархические данные, включенные в файл контента, хранятся в накопителе 50 на жестком диске. Вместо накопителя 50 на жестком диске данные могут храниться на носителе записи, установленном в блоке 52 загрузки с носителя записи или в дисководе 54. Возможна также загрузка иерархических данных с сервера изображений, к которому устройство 10 обработки информации подключено через сеть. При этом, как указывалось выше, иерархические данные сжаты в формате постоянной длины типа S3 ТС или в формате переменной длины типа JPEG.
Из иерархических данных, по меньшей мере, часть данных изображения загружается в основную память 60 в сжатом состоянии (этап S10). При этом участок загрузки задается согласно предварительно заданному правилу. Например, участок в виртуальном пространстве поблизости от изображения, отображаемого в настоящее время, или участок, прогнозируемый в качестве участка с высокой частотой запросов отображения на основе контента изображения или истории просмотров пользователем. Загрузка данных осуществляется не только по запросу на перемещение точки наблюдения, но и в определенные временные интервалы. Это позволяет избежать концентрации процессов загрузки в течение короткого периода времени.
Затем часть сжатых данных изображения, хранимых в основной памяти 60, - данные для изображения участка, требуемого для отображения, или для изображения участка, прогнозируемого в качестве требуемого, декодируется и сохраняется в буферной памяти 70 (этап S12). Буферная память 70 включает в себя, по меньшей мере, две буферные зоны 72 и 74. Размер каждой из буферных зон 72 и 74 превышает размер памяти 76 кадров, чтобы в случае ввода сигнала запроса на перемещение точки наблюдения через устройство 20 ввода обеспечить возможность создания отображаемого изображения по данным изображения, развернутым в буферных зонах 72 и 74, для определенной величины перемещения.
Одна из буферных зон 72 и 74 является буфером отображения, используемым для хранения изображения для создания отображаемого изображения, а другая - буфером декодирования, используемым для обеспечения доступности изображения, прогнозируемого в качестве необходимого в дальнейшем. В примере на фиг.5 буферная зона 72 является буфером отображения, буферная зона 74 является буфером декодирования, а отображается участок 68 отображения.
Далее осуществляется визуализация изображения участка 68 отображения, хранимого в буферной зоне 72, т.е. в буфере отображения, в числе других изображений в памяти 76 кадров (этап S14). При этом в случае необходимости изображение нового участка декодируется и сохраняется в буферной зоне 74. Переключение буфера отображения и буфера декодирования осуществляется в зависимости от времени завершения хранения или величины перемещения участка 68 отображения (этап S16). В результате обеспечивается возможность плавного переключения между отображаемыми изображениями в случае перемещения участка отображения или изменения масштаба.
Рассмотренный процесс обработки является вариантом, при котором для осуществления перемещения, увеличения или уменьшения участка отображения какого-либо изображения в соответствии с запросом от пользователя на перемещение точки наблюдения обеспечивается перемещение координат кадра в виртуальном пространстве, сформированном с помощью одного набора иерархических данных, подобного показанному на фиг.3. При этом обеспечивается доступность множества наборов иерархических данных для отображения, и отображаемое изображение может приходиться на участок пространства между иерархическими наборами данных. На фиг.6 представлена схематическая иллюстрация связи между различными наборами иерархических данных, являющихся объектами отображения, при таком варианте.
На фиг.6 в виде двух треугольников представлены разные наборы иерархических данных 150 и 152. Каждый из наборов иерархических данных 150 и 152 по существу имеет структуру, при которой, как показано на фиг.3, разные порции данных с разными разрешающими способностями дискретизированы вдоль направления оси Z на этой фигуре. В случае, когда пользователь делает через устройство 20 ввода запрос на увеличение/уменьшение участка отображения, этот участок отображения и, следовательно, точка наблюдения перемещаются в направлении оси Z на фигуре. При этом если пользователь делает запрос на перемещение участка отображения вверх, вниз, влево или вправо, отображаемое изображение перемещается в горизонтальной плоскости фигуры. В таком виртуальном пространстве эти два набора иерархических данных 150 и 152 образуют данные изображения, перекрывающиеся один с другим, как показано на фигуре.
Если пользователь делает непрерывные запросы на увеличение в процессе отображения изображения из иерархических данных 150, то точка наблюдения совершает перемещение в направлении, указанном стрелкой "а", и входит на участок иерархических данных 152. Другими словами, точка наблюдения перемещается между наборами иерархических данных. Если точка наблюдения входит на участок другого набора иерархических данных, происходит переключение данных, используемых для создания отображаемого изображения, с иерархических данных 150 на иерархические данные 152. Этот процесс обработки может быть реализован на этапах обработки описываемого отображаемого изображения в результате простого изменения иерархических данных, загружаемых в основную память 60.
Для образования данных изображения, состоящих из множества наборов иерархических данных, подобных показанным на фиг.6, предварительно задаются разрешающая способность изображения и положение изображения при переключении иерархических данных 150 и 152. На фиг.6 это задание показано в виде линии 154. Таким образом, обеспечивается возможность задания величины перекрытия между наборами иерархических данных. В рассматриваемом примере переключение с иерархических данных 150 на иерархические данные 152 происходит в положении, при котором разрешающая способность вдоль оси Z на линии 154 достигает значения z1. Ниже такое переключение между наборами иерархических данных будет именоваться как "ссылка". Изображения из соответствующих наборов переключаемых иерархических данных могут представлять собой одно и то же изображение с разными коэффициентами масштабирования или совершенно разные изображения.
Вместо переключения отображаемого изображения на иерархические данные 152 возможно выполнение и других процессов обработки (таких как воспроизведение движущегося изображения, воспроизведение звука, дополнительная обработка отображаемого изображения и перемещение участка отображения). И в этом случае точка ссылки для иерархических данных 150 задается также на линии 154, и если точка наблюдения достигает этой точки, активизируется процесс обработки, соответствующей точке.
Таким образом, становится возможной реализация варианта, при котором пользователь в процессе наблюдения за изображением из иерархических данных 150 приближает точку наблюдения к определенному участку и обеспечивает, таким образом, отображение информации, соответствующей этому участку, и воспроизведение соответствующего движущегося изображения или активизацию соответствующего приложения. Задание множества таких участков в одной порции данных изображения позволяет образовать экран-меню с возможностью выбора процесса обработки из множества процессов обработки и выполнения выбранного процесса. Такой процесс обработки, активизируемый в результате перемещения точки наблюдения, именуется как "внедренный объект", а связь между данными изображения и внедренным объектом именуется как "ссылка".
Фиг.7 - детальная блок-схема блока 100 управления согласно примеру осуществления. Блок 100 управления содержит блок 102 подтверждения введенной информации, который получает информацию, вводимую пользователем через устройство 20 ввода, блок 103 загрузки, осуществляющий загрузку набора иерархических данных, подлежащих отображению, из накопителя 50 на жестком диске, блок 104 задания участка отображения, задающий участок отображения в соответствии с вводом выбранного элемента, блок 106 декодирования, который декодирует сжатые данные изображения, и блок 114 обработки отображаемого изображения, осуществляющий визуализацию отображаемого изображения. Блок 100 управления дополнительно содержит блок 116 принятия решения о ссылке, принимающий решение о выполнении или невыполнении заданного условия ссылки для точки наблюдения, и блок 117 исполнения объекта, который исполняет внедренный объект.
Элементы, изображенные на фиг.7 в качестве функциональных блоков для выполнения различных процессов обработки, могут быть реализованы и аппаратными средствами, такими как CPU (центральный процессор), память или другие LSI (БИС), и программными средствами, такими как программы и т.д., загруженные в память. Как было указано выше, блок 100 управления включает в себя один модуль PPU и множество модулей SPU. Функциональные блоки модули PPU и SPU образуют по отдельности или в комбинации. Поэтому специалистам в данной области техники должно быть очевидно, что существуют различные варианты реализации функциональных блоков с использованием как только аппаратных или только программных средств, так и комбинации этих средств.
В накопителе 50 на жестком диске хранится файл контента. Файл контента включает в себя иерархические данные и файл задания, в котором записана информация о ссылке, заданной для иерархических данных. В случае отображения данных изображения, состоящих из множества наборов иерархических данных, в накопителе хранятся эти наборы иерархических данных и соответствующие им файлы задания. При необходимости файл контента может дополнительно включать в себя данные движущегося изображения, требуемые для обработки внедренного объекта, звуковые данные, данные модулей изображения, приложение для игры или т.п. и т.д.
При обращении пользователя к устройству 20 ввода блок 102 подтверждения введенной информации получает из устройства 20 ввода информацию, касающуюся запроса (например, на активизацию/завершение воспроизведения контента, перемещение точки наблюдения и т.д.) и в случае необходимости передает сообщение с этой информацией в блок 104 задания участка отображения и/или в блок 103 загрузки. После получения из блока 102 подтверждения введенной информации сообщения с запросом на активизацию контента блок 103 загрузки считывает иерархические данные начального изображения контента и соответствующий файл задания из накопителя 50 на жестком диске и сохраняет эту информацию в основной памяти 60.
В случае необходимости блок 103 загрузки дополнительно считывает из накопителя 50 на жестком диске иерархические данные конечной точки перемещения точки наблюдения, данные, требуемые для исполнения внедренного объекта, или т.п., и сохраняет эту информацию в основной памяти 60. После получения сообщения с запросом на перемещение точки наблюдению из блока 102 подтверждения введенной информации блок 104 задания участка отображения преобразует величину перемещения точки наблюдения в координату иерархических данных в виртуальном пространстве и задает координату кадра конечной точки перемещения, подлежащего отображению.
Блок 106 декодирования считывает часть сжатых данных изображения из основной памяти 60, декодирует эти данные и сохраняет декодированные данные в буферной памяти 70. Данные, декодируемые блоком 106 декодирования, могут представлять собой данные изображения определенного размера, включающего в себя участок отображения. Предварительное декодирование данных изображения на участке большой площади и хранение декодированных данных в буферной памяти 70 позволяет снизить число обращений к основной памяти 60 для считывания и реализовать плавное перемещение точки наблюдения.
Блок 114 обработки отображаемого изображения получает координаты кадра участка, подлежащего отображению, заданные блоком 104 задания участка отображения, считывает данные соответствующего изображения из буферной памяти 70 и обеспечивает визуализацию этих данных в памяти 76 кадров блока 44 обработки данных для отображения. Блок 116 принятия решения о ссылке обращается к файлу задания, соответствующему набору иерархических данных, отображаемых в настоящее время, который хранится в основной памяти 60, и принимает решение о выполнении или невыполнении условия ссылки для точки наблюдения в конечной точке перемещения. Конечная точка ссылки, задаваемая согласно примеру осуществления, содержит ссылку на другой набор иерархических данных и ссылку на внедренный объект.
В случае, когда блок 116 принятия решения о ссылке принимает решение о выполнении условия ссылки на внедренный объект, блок 117 исполнения объекта исполняет соответствующий внедренный объект. В случае, когда программа или данные для исполнения внедренного объекта хранятся не в основной памяти 60, блок 103 загрузки загружает программу или данные из накопителя 50 на жестком диске в основную память 60. Типы или варианты процесса обработки, осуществляемой блоком 117 исполнения объекта, не ограничиваются рассмотренными примерами. Следовательно, блок 117 исполнения объекта может соответствующим образом исполнять разные виды процессов обработки в соответствии с положением точки наблюдения и параметрами настройки файла задания.
В случае осуществления какого-либо процесса обработки изображения, отображаемого в настоящее время, в качестве одного из внедренных объектов блок 117 исполнения объекта вырабатывает соответствующий запрос к блоку 114 обработки отображаемого изображения, и блок 114 обработки отображаемого изображения осуществляет визуализацию обработанного изображения. В случае перемещения точки наблюдения изображения, отображаемого в настоящее время, в качестве одного из внедренных объектов блок 117 исполнения объекта вырабатывает соответствующий запрос к блоку 104 задания участка отображения, и блок 104 задания участка отображения задает участок отображения конечной точки перемещения. А в случае воспроизведения движущегося изображения или звука блок 117 исполнения объекта считывает данные движущегося изображения или аудиоданные из основной памяти 60, декодирует эти данные и выводит в блок 44 обработки данных для отображения или на динамик устройства 12 отображения.
В случае, когда блок 116 принятия решения о ссылке принимает решение о выполнении условия ссылки на другой набор иерархических данных и когда иерархические данные конечной точки ссылки хранятся не в основной памяти 60, блок 103 загрузки загружает эти данные из накопителя 50 на жестком диске. Блок 104 задания участка отображения получает результаты принятия решения из блока 116 принятия решения о ссылке, преобразует координату кадра в координату иерархических данных конечной точки ссылки и передает в блок 106 декодирования сообщение с координатами и информацией для идентификации иерархических данных. В ответ на это блок 106 декодирования задает иерархические данные конечной точки ссылки как данные, подлежащие обработке.
Далее описание будет вестись на примере формирования файла задания. Фиг.8-11 иллюстрируют пример задания соответствующих данных в файле задания. Фиг.8 иллюстрирует пример задания целевого прямоугольника и ограничивающего прямоугольника. На фигуре целевой прямоугольник 82 представляет собой участок изображения с отображением объекта задания ссылки. В варианте изобретения целевой прямоугольник 82 может представлять собой прямоугольный участок, очерчивающий участок изображения с отображением объекта задания ссылки. А ограничивающий прямоугольник 84 представляет собой прямоугольник, обозначающий область точек наблюдения, в которой ссылка является действительной. Таким образом, в случае, когда точка наблюдения входит в ограничивающий прямоугольник 84, ссылка в целевом прямоугольнике 82 становится действительной, происходит переключение отображения на другой набор иерархических данных конечной точки ссылки, активизация внедренного объекта и т.д.
В этом примере целевой прямоугольник 82 и ограничивающий прямоугольник 84 задаются относительно эталонного прямоугольника 80 в эталонной системе координат с координатой верхней левой вершины (0, 0) и координатой нижней правой вершины (W, Н). Эталонный прямоугольник 80 можно рассматривать как изображение, подлежащее отображению, взятое в целом. В качестве единицы измерения координат может быть задан, например, пиксел. Целевой прямоугольник 82 задается с использованием трех параметров - параметра "center", в качестве которого берется расстояние от верхней левой вершины (0, 0) эталонного прямоугольника 80 до центра целевого прямоугольника 82, параметра "height", в качестве которого берется высота целевого прямоугольника 82, и параметра "width", в качестве которого берется ширина целевого прямоугольника 82.
Эталонный прямоугольник 80 задается с использованием двух параметров -параметра "offset", в качестве которого берется расстояние от центра целевого прямоугольника 82 до центра ограничивающего прямоугольника 84, и параметра "scale", в качестве которого берется коэффициент масштабирования ограничивающего прямоугольника 84 по отношению к целевому прямоугольнику 82. При этом, как показано на фигуре, высота ограничивающего прямоугольника 84 составляет "height" × "scale", a ширина ограничивающего прямоугольника 84 - "width" × "scale". Параметры "center" и "offset", каждый из которых имеет горизонтальную составляющую и вертикальную составляющую, представлены на фигуре без разложения.
Фиг.9 иллюстрирует пример задания коэффициента масштабирования ограничивающего прямоугольника. Согласно примеру осуществления участок отображения совершает перемещение не только в плоскости, но и вдоль оси Z виртуального пространства, рассмотренного выше (т.е. обеспечивается увеличение или уменьшение изображения). Поэтому использование перемещения для задания ссылки позволяет задавать ссылку с подробной детализацией и в простом для восприятия виде по отношению к пользователю. Одним из способов задания ссылки является задание верхнего и/или нижнего пределов коэффициента масштабирования ограничивающего прямоугольника.
На фиг.9 прямоугольник, имеющий высоту h и ширину w, представляет собой экран 86 устройства отображения. В результате растяжения ограничивающего прямоугольника 84 в вертикальном или горизонтальном направлении формируют прямоугольник 88, имеющий отношение высоты к ширине (т.е. h:w), такое же, как у экрана 86. Коэффициент масштабирования прямоугольника 88 по отношению к экрану 86 задается как параметр "zoom", характеризующий коэффициент масштабирования ограничивающего прямоугольника 84. При этом, как показано на фигуре, длина прямоугольника 88 по вертикали и его длина по горизонтали составляют соответственно "h" × "zoom" и "w" × "zoom".
Фиг.10 и 11 иллюстрируют задание взаимного положения ограничивающего прямоугольника и участка, отображаемого на экране (ниже именуемого просто как "экран"). Фиг.10 иллюстрирует задание параметра "overshoot", характеризующего выступание части экрана за край ограничивающего прямоугольника. На фиг.10 в качестве экранов представлены три картинки: экраны 86а, 86b, и 86с. На фиг.10 "а" - это длина части экрана, выступающей за край ограничивающего прямоугольника 84 в горизонтальном направлении (экраны 86а, 86b), a "b" - длина выступающей части экрана в горизонтальном направлении (экран 86с). Параметр "overshoot" задается как max (a/w, b/h). Таким образом, в случае выступания экрана за край ограничивающего прямоугольника в одном из направлений - вертикальном или горизонтальном - параметр задается как отношение длины части, выступающей за край (а или b), к длине экрана (w или h). А в случае выступания экрана за край ограничивающего прямоугольника в обоих направлениях в качестве параметра принимается большее отношение.
Фиг.11 иллюстрирует задание параметра "invisibility", характеризующего выступание части ограничивающего прямоугольника за край экрана. На фиг.11 в качестве ограничивающих прямоугольников показаны три картинки: ограничивающие прямоугольники 84а, 84b, и 84 с. На фигуре "с" - это длина части ограничивающего прямоугольника, выступающей за край экрана 86 в горизонтальном направлении (ограничивающие прямоугольники 84а, 84b), a "d" - длина выступающей части ограничивающего прямоугольника в вертикальном направлении (ограничивающий прямоугольник 84 с). Параметр "invisibility" задается как max(c/width × scale, d/height × scale). Таким образом, в случае выступания ограничивающего прямоугольника за край экрана в одном из направлений - вертикальном или горизонтальном, параметр задается как отношение длины части, выступающей за край (с или d), к длине ограничивающего прямоугольника (width × scale или height × scale). А в случае выступания ограничивающего прямоугольник за край экрана в обоих направлениях в качестве параметра принимается большее отношение.
Фиг.12 иллюстрирует пример файла задания, написанный на языке XML, с использованием параметров, описываемых выше. В строках (1)-(4) типичного файла 200 описывается исходное положение соответствующих иерархических данных, и для атрибута "view" в строке (3) с помощью параметра "zoom" задается коэффициент масштабирования во время отображения исходного положения. При этом "исходное положение" - это начальное изображение контента, т.е. участок отображения, который может быть отображен в результате нажатия определенной кнопки устройства 20 ввода. В этом примере в качестве исходного положения задано изображение с коэффициентом масштабирования, составляющим 0,85.
В строках (6)-(9) описывается область возможного отображения, и атрибутом "boundary" в строке (8) задается область точек наблюдения. При этом параметр "stretch" -это коэффициент масштабирования, характеризующий увеличение числа пикселов на экране, приходящихся на один пиксел уровня иерархических данных с самой высокой разрешающей способностью при растяжении. Другими словами, этот параметр представляет собой отношение разрешающей способности устройства отображения к разрешающей способности изображения. Например, в случае отображения участка размером 960×540 пикселов в составе изображения размером в целом 19200×10800 пикселов на устройстве отображения, имеющем разрешающую способность 1920×1080 пикселов, параметр "stretch" имеет значение "2,0". Верхний предел этого параметра на фиг.12 задан как "max_stretch".
Такое задание обеспечивает возможность автоматической регулировки возможного максимального коэффициента масштабирования при отображении на экране в соответствии с разрешающей способностью устройств отображения, и, следовательно, возможность отображения изображения с одним и тем же качеством изображения независимо от разрешающей способности устройств отображения. Кроме того, для области возможного отображения задаются нижний предел "min_zoom" указанного выше параметра "zoom" и верхний предел "max_overshoot" указанного выше параметра "overshoot". В этом примере нижний предел коэффициента масштабирования, задаваемый с помощью параметр "zoom", составляет "0,85", а выступание части экрана за край изображения составляет "0,5". Пользователи могут осуществлять перемещение и/или увеличение/уменьшение участка отображения в границах заданной области.
В строках (11)-(16) описывается ссылка на другой набор иерархических данных. Строки (12) и (13) задают целевой прямоугольник ссылки. Атрибутом "target" задается путь к файлу задания конечной точки ссылки, а атрибутом "direction" задается направление (например, увеличение или уменьшение), инициирующее переключение на иерархические данные конечной точки ссылки. В примере на фиг.12 файл атрибутов иерархических данных конечной точки ссылки задан как "a.xml", а направление ссылки задано как "forward", т.е. данные переключаются в случае увеличения. Файл атрибутов и набор иерархических данных могут быть связаны один с другим, например, в результате использования одного и того же имени файла, кроме расширения.
Положение целевого прямоугольника задается параметрами "center_x" и "center_y", являющимися соответственно горизонтальной и вертикальной составляющими параметра "center", рассмотренного выше, а размер прямоугольника задается параметром "width" и параметром "height".
В строках (14) и (15) атрибутом "boundary" задается "граница ссылки", делающая ссылку действительной. "Граница ссылки" является расширением "ограничивающего прямоугольника" в плоскости изображения в направлении оси Z виртуального пространства. Расширение задается атрибутом "boundary". Как только точка наблюдения входит в границу ссылки принимается решение о выполнении условия для ссылки. При этом атрибут "action" имеет в строке (14) значение "jump", задающее переключение иерархических данных в случае, когда точка наблюдения входит в эту заданную границу ссылки.
Фиг.13 иллюстрирует связь между целевым прямоугольником 82, ограничивающим прямоугольником 84 и границей ссылки. На фигуре горизонтальная плоскость, включающая в себя целевой прямоугольник 82, является плоскостью изображения, а увеличение или уменьшение изображения происходит в вертикальном направлении, т.е. в зависимости от расстояния от точки наблюдения до плоскости изображения. Прямоугольник 90, вписанный в целевой прямоугольник 82, представляет собой изображение из иерархических данных конечной точки ссылки. Ограничивающий прямоугольник 84 задается на плоскости изображения относительно целевого прямоугольника 82 как показано на фиг.8.
Согласно примеру осуществления в случае, когда при перемещении в пространстве, показанном на фигуре, точка наблюдения приближается к целевому прямоугольнику 82, ссылка становится действительной. Поэтому действительность или недействительность ссылки может задаваться не только положением на плоскости изображения, но и близостью точки наблюдения. Таким образом, как показано на фигуре, граница ссылки является трехмерной относительно плоскости изображения.
Как показано на фиг.12, параметром "scale" в строке (15) файла задания задается размер ограничивающего прямоугольника, рассмотренного выше, а параметрами "offset_x" и "offset_y", которые являются соответственно горизонтальной и вертикальной составляющей параметра "offset", рассмотренного выше, - положение этого прямоугольника. Кроме того, для задания границы ссылки в соответствии с близостью точки наблюдения задаются верхний предел "max_overshoot" выступания части экрана за край ограничивающего прямоугольника и минимальный коэффициент "min_zoom" масштабирования ограничивающего прямоугольника. Объяснение эффекта от задания параметра "max_overshoot" приводится ниже.
В строках (18)-(23) описывается воспроизведение движущегося изображения, включенного в состав внедренных объектов. Внедряемый файл движущегося изображения задан с помощью атрибута "source" в строке (19) как "b.mp4". Целевой прямоугольник задается в строке (20) так же, как в строке (13). Строки (21) и (22) задают границу ссылки для осуществления воспроизведения движущегося изображения с помощью атрибута "boundary". Граница ссылки является такой же, как на фиг.13. Движущееся изображение, отображаемое в центре целевого прямоугольника, занимает такое положение и имеет такой размер, при которых оно вписывается в целевой прямоугольник.
Строка (21), в которой атрибут "action" имеет значение"show", задает условие для переключения отображаемого изображения на готовое изображение перед фактическим отображением движущегося изображения на готовое изображение. В качестве готового изображения в неподвижном виде отображается, например, первый кадр движущегося изображения. Строка (22), в которой атрибут "action" имеет значение "play", задает условие для воспроизведения движущегося изображения и его отображения в движении. Это обеспечивает возможность реализации варианта, при котором в случае увеличения изображения целевого прямоугольника с отображенным названием движущегося изображения сначала отображается неподвижное изображение первого кадра, а затем после увеличения целевого прямоугольника воспроизводится движущееся изображение.
Пример задания на фиг.12 - это такой случай. Согласно этому примеру в случае, когда параметр "min_zoom" имеет значение "0.20", отображается первый кадр (строка (21)), а когда параметр "min_zoom" имеет значение "0.35", воспроизводится движущееся изображение. Возможность такой двухэтапной операции задания позволяет избежать неудобств в работе, связанных с воспроизведением движущегося изображения в результате простого приближения точки наблюдения к определенному участку даже в случае отсутствия такой необходимости. Кроме того, появляется возможность нивелировать запаздывание отображения движущегося изображения за счет первого этапа, на котором отображается неподвижное изображение. В случае, когда точка наблюдения выходит за границу ссылки для воспроизведения движущегося изображения, воспроизведение движущегося изображения также приостанавливается. При этом пока точка наблюдения находится в границах ссылки для первого этапа, соответствующей отображению неподвижного изображения, отображается кадр, соответствующий моменту приостановки воспроизведения.
Кроме того, строки (21) и (22) задают для каждого атрибута "action" верхний предел "max_overshoot" выступания части экрана за край ограничивающего прямоугольника и верхний предел "max_invisibility" выступания части ограничивающего прямоугольника за край экрана. Объяснение эффекта от задания параметра "max_invisibility" приводится ниже.
В строках (25)-(29) описывается воспроизведение звука, включенного в состав внедренных объектов. Внедряемый аудиофайл задан с помощью атрибута "source" в строке (26) как "c.mp.3". Целевой прямоугольник внедренного объекта задан в строке (27) так же, как в строке (20). Строка (28) задает границу ссылки для осуществления воспроизведения звука с помощью атрибута "boundary" так же, как при воспроизведении движущегося изображения. Однако атрибут "action" имеет значение только "play", означающее воспроизведение.
При воспроизведении звука, как и в случае воспроизведения движущегося изображения, когда точка наблюдения входит в границу ссылки, начинается воспроизведение звука, а когда точка наблюдения выходит за границу ссылки, воспроизведение звука приостанавливается. Или в случае первоначального воспроизведения другого звука происходит переключение звука. В обоих случаях - как в случае движущегося изображения, так и в случае звука - возможно применение процесса возобновления воспроизведения. При приостановке воспроизведения точка приостановки в потоке данных движущегося изображения или звука может быть сохранена в основной памяти 60 или т.п. и в случае повторного вступления точки наблюдения в границу ссылки возможно начало воспроизведения с точки приостановки.
В строках (31)-(35) описывается ссылка на сетевой магазин (ссылка на магазин), включенный в состав внедренных объектов. Информация для идентификации магазина, например название или т.п., задана с помощью атрибута "source" в строке (32) как "store: ААА". Целевой прямоугольник ссылки на магазин задан в строке (33) так же, как указывалось выше. Другой файл для обеспечения связи между информацией для идентификации магазина и положением в сети, такой как URL или т.п., хранится в основной памяти 60.
Строка (34) задает границу ссылки, обеспечивающую возможность перемещения на сайт магазина, с помощью атрибута "boundary" так же, как указывалось выше. При этом за счет того, что атрибут "action" принимает значение "show_link", задается процесс обработки ссылки на магазин. Процесс обработки ссылки представляет собой, например, процесс обработки отображаемого изображения, например отображения индикатора, указывающего на возможность перемещения на веб-сайт магазина. Параметры настройки в строках (31)-(35) могут быть не обязательно ссылкой на магазин, а представлять собой ссылку на размещенный в сети сайт не только магазина, ссылку на файл, хранимый на жестком диске, или т.п.
В строках (37)-(67) описывается отображение подтверждения выбранного элемента, включенного в состав внедренных объектов. Отображение подтверждения выбранного объекта представляет собой процесс, при котором участок, являющийся объектом возможного увеличения (например, участок задания ссылки или т.п.), отображается с обеспечением визуального выделения в качестве элемента выбора, и в случае, когда пользователь выбирает один из таких участков, происходит перемещение изображения на выбранный участок. Например, в случае множества участков задания ссылки в изображении цвет каждого участка меняется в момент отображения этого участка с коэффициентом возможного масштабирования, что указывает пользователю на возможность выбора этого участка. При этом после нажатия клавиши с указанием направления (например, клавиши 21 навигации) на устройстве 20 ввода объект выбора перемещается. В случае, когда операция выбора осуществляется с помощью кнопки 22 в виде круга или т.п., точка наблюдения сдвигается так, чтобы выбранный участок располагался в центре экрана или чтобы изображение участка увеличилось. Это позволяет упростить перемещение точки наблюдения и обеспечивает возможность эффективного перемещения к целевому адресу ссылки или к целевой части изображения.
Строка (39) задает "границу ссылки" для подтверждения выбранного элемента с помощью атрибута "boundary". Задаваемые параметры являются такими же, как рассмотренные выше. Строки (40)-(43), строки (44)-(47), строки (48)-(51) и строки (52)-(66) задают с помощью атрибута "option" прямоугольники для элементов выбора. Для каждого элемента выбора с помощью атрибута "frame_color" задается цвет. Это позволяет отображать прямоугольники для элементов выбора с визуальным выделением. Положение и размер каждого прямоугольника задаются так же, как для целевого прямоугольника.
Кроме того, с помощью атрибута "view" задается точка наблюдения для отображения в случае выбора одного из элементов выбора. Используемые параметры являются такими же, как рассмотренные выше. Элементы выбора, заданные в строках (52)-(66), включают в себя элементы выбора низшего уровня, задаваемые в строках (55)-(65). Указание на эти элементы выбора в прямой форме позволяет исключить их из выбираемых элементов выбора при подтверждении выбранного элемента для элементов выбора высшего уровня.
Далее рассматриваются параметр "max_overshoot" и параметр "max_invisibility". Фиг.14 иллюстрирует изменение границы ссылки при изменении параметра "max_overshoot". Как показано в рамке 94, на фигуре представлен вид сбоку, демонстрирующий взаимное положение поля 98 наблюдения из точки 96 наблюдения и ограничивающего прямоугольника 84 и иллюстрирующий изменение границы ссылки при изменении параметра "max_overshoot", принимающего значения 0,0, 0,25, 0,5, 0,75 и 1,0.
Вначале рассмотрим случай, когда параметр "max_overshoot" имеет значение 0,0, т.е. параметр задан так, что экран не выступает за край ограничивающего прямоугольника. Так как основание треугольника, обозначающее поле наблюдения (т.е. экран) для точки 96а наблюдения, включено в участок над ограничивающим прямоугольником 84, то экран для точки 96а наблюдения не выступает за край ограничивающего прямоугольника. Таким образом, точка 96а наблюдения находится в границе ссылки. А в случае точки 96b наблюдения основание треугольника, обозначающее поле наблюдения для точки 96b наблюдения, выступает из участка над ограничивающим прямоугольником 84, т.е. участок вокруг ограничивающего прямоугольник 84 также включен в экран. Поэтому точка 96b наблюдения выходит за границу ссылки. Кружком обозначена точка наблюдения в границе ссылки, а крестиком - точка наблюдения за границей ссылки.
С учетом этого граница ссылки для совокупности точек наблюдения, удовлетворяющих условию, при котором значение параметра "max_overshoot" составляет "0,0", образует фигуру, подобную по форме границе 92а ссылки. Такие же соображения относятся и к случаям, в которых значение параметра "max_overshoot" составляет 0,25, 0,5, 0,75 и 1,0. В случае, когда значение параметра "max_overshoot" составляет 0,25, ссылка считается действительной, даже при выступании экрана за край ограничивающего прямоугольника 84 на одну четверть. Другими словами, в некоторых случаях наблюдение ограничивающего прямоугольника 84 из более высокого положения позволяет включать в поле наблюдения и участок вокруг ограничивающего прямоугольника 84. Поэтому граница 92b ссылки при значении параметра "max_overshool", составляющем 0,25, образует фигуру большей высоты, чем граница 92а ссылки.
Подобным же образом с увеличением параметра "max_overshoot", приобретающего значения 0,5, 0,75 и 1,0, происходит изменение и формы границы ссылки, иллюстрируемое соответствующими границами 92 с, 92d и 92е ссылок. При этом, чем в более высоком положении находится точка наблюдения, тем выше вероятность включения ограничивающего прямоугольника 84 в состав экран. То есть, дополнительное выступание экрана с увеличением высоты точки наблюдения будет приводить к дополнительному расширению области точек наблюдения, удовлетворяющих условию. И поэтому граница ссылки будет приобретать форму, расширяющуюся с увеличением высоты точки наблюдения. Таким образом, введение параметра "max_overshoot" позволяет создавать границу, указывающую на действительность/недействительность ссылки при изменении внешнего вида ограничивающего прямоугольника и, следовательно, изменении внешнего вида участка задания ссылки, вызываемом перемещением точки наблюдения в трехмерном пространстве, включающем в себя вертикальное направление.
В случае управления аналоговым джойстиком 27а или т.п. в составе устройства 20 ввода для перемещения участка отображения в горизонтальном и вертикальном направлениях величина перемещения изображения даже при одном и том же управляющем воздействии будет разной в зависимости от высоты положения точки наблюдения. Параметр "max_overshoot" позволяет без труда изменять область действительности ссылки в соответствии с высотой точки наблюдения и обеспечивает возможность выполнения операций с учетом высоты точки наблюдения.
Фиг.15 иллюстрирует изменение границы ссылки при изменении параметра "max_invisibility". Фиг.15 представлена в таком же виде, как и фиг.14. Вначале рассмотрим случай, когда параметр "max_invisibility" имеет значение "0,0", т.е. параметр задан так, что ограничивающий прямоугольник не выступает за край экрана. Так как ограничивающий прямоугольник включен в участок под основанием треугольника, обозначающим поле наблюдения для точки 96с наблюдения (т.е. экран), ограничивающий прямоугольник не выступает за край экрана. Таким образом, точка наблюдения 96с находится в границе ссылки. А в случае точки 96d наблюдения ограничивающий прямоугольник 84 выступает за край участка под основанием треугольника, обозначающим поле наблюдения для точки 96b наблюдения, т.е. участок вокруг ограничивающего прямоугольник 84 также включен в экран. Поэтому точка 96d наблюдения выходит за границу ссылки.
Параметр "max_invisibility", так же, как и параметр "max_overshoot", предназначен для обеспечения действительности ссылки в случае, когда ограничивающий прямоугольник находится в границах экрана. Однако изменение области границы ссылки при изменении высоты точки наблюдения в этом случае отличается от случая с параметром "max_overshoot". Например, в случае, когда параметр "max_invisibility" имеет значение "0,0", при слишком низком положении точки наблюдения и чрезмерном увеличении ограничивающего прямоугольника 84 возникает выступание ограничивающего прямоугольника за край экрана. Поэтому такие точки наблюдения не включаются в границу ссылки. И наоборот, точка наблюдения в более высоком положении снижает вероятность выступания границы ссылки за край экрана. Поэтому при более высоком положении происходит расширение области точек наблюдения, входящих в границу ссылки.
С учетом этого граница ссылки для совокупности точек наблюдения, удовлетворяющих условию, при котором значение параметра "max_invisibility" составляет "0,0", образует фигуру, подобную по форме границе 92f ссылки. Такие же соображения относятся и к случаям, в которых значение параметра "max_invisibility" составляет 0,25, 0,5, 0,75 и 1,0. Поскольку с увеличением параметра "max_invisibility" (0,25, 0,5, 0,75, и 1,0) выступание ограничивающего прямоугольника 84 за край экрана допускается и для точек наблюдения в более низком положении, то область точек наблюдения в границе ссылки становится более широкой. При таком изменении граница ссылки приобретает вид границы 92g, 92h, 92i и 92j ссылки.
Согласно примеру осуществления в границах определенной области точка наблюдения может совершать свободное перемещение в трехмерном пространстве, включающем в себя направление высоты. Поэтому в некоторых случаях при большом коэффициенте увеличения участок отображения перемещается в горизонтальном направлении. При такой операции случайное попадание экрана на участок задания внедренного объекта может приводить к несвоевременному воспроизведению движущегося изображения или отображению картинки со ссылкой на магазин. Выступание части ограничивающего прямоугольника за край экрана является критерием принятия решения о намеренном или ненамеренном размещении экрана на ограничивающем прямоугольнике пользователем.
При намерении активизировать внедренный объект пользователь обычно специально размещает экран на ограничивающем прямоугольнике. Поэтому для задания границы ссылки на внедренный объект вводится параметр "max_invisibility". В то же время, поскольку переключение изображения на изображение из другого набора иерархических данных желательно выполнять без заметных для глаза пользователя переходов даже для перемещения точки наблюдения в горизонтальном направлении при большом коэффициенте увеличения, эффективным становится параметр "max_overshoot".
Далее описывается работа устройства 10 обработки информации, блок-схема которого приведена выше. Фиг.16 иллюстрирует пример изображения, отображаемого на устройстве 12 отображения с помощью устройства 10 обработки информации. Отображаемое изображение 300 является, например, начальным изображением контента. Возможны самые различные виды контента - программное обеспечение, например, для игр и т.п., контент для отображения рекламы музыки, кинофильмов или т.п., контент для виртуального торгового центра с интернет-магазинами, контент для виртуальной библиотеки, позволяющий отображать содержимое книг, комбинации перечисленных видов или т.п.
Задание отображаемого изображения 300 в файле задания в качестве исходного положения обеспечивает использование этого изображения в качестве начального изображения. В отображаемом изображении 300 имеется шесть ссылок (т.е. элементов выбора), имеющих вид прямоугольных участков 301, 302, 304, 306, 308а и 310. По своему типу ссылка может быть или переключением отображаемого изображения на изображения из другого набора иерархических данных или внедренным объектом. Целевые прямоугольники заданы для каждой из ссылок в файле задания так, что целевые прямоугольники очерчивают прямоугольные участки. Ограничивающие прямоугольники и границы ссылок также заданы как указывалось выше, но на отображаемом изображении 300 они не показаны.
В процессе наблюдения за отображаемым изображением пользователь перемещает точку наблюдения с помощью устройства 20 ввода и увеличивает интересующий прямоугольный участок. В случае, когда точка наблюдения входит в границу ссылки, заданную для прямоугольного участка, выполняется процесс обработки (например, переключение иерархических данных, активизация внедренного объекта или т.п.), соответствующий прямоугольному участку.
На фиг.17 представлена блок-схема последовательности этапов в процессе обработки, обеспечивающей воспроизведение движущегося изображения в качестве внедренного объекта. Согласно примеру файла задания, представленного на фиг.12, для воспроизведения движущегося изображения объект исполняется в два этапа - этапа воспроизведения определенного кадра в качестве неподвижного изображения и этапа воспроизведения движущегося изображения. Граница ссылки, заданная для воспроизведения неподвижного изображения, именуется "первой границей ссылки," а граница ссылки, заданная для воспроизведения движущегося изображения, именуется "второй границей ссылки". Вначале в состоянии, когда точка наблюдения находится за первой границей ссылки, отображается предварительно заданное стандартное изображение, такое как изображение названия движущегося изображения, реклама или т.п. (этап S18). Это стандартное изображение является частью иерархических данных изображения, отображаемого в настоящее время, такого как начальное изображение или т.п., и соответствует изображению прямоугольного участка 301 или т.п. в отображаемом изображении 300 на фиг.16.
В этом состоянии блок 116 принятия решения о ссылке осуществляет контроль за входом или невходом точки наблюдения в первую границу ссылки (этап S20). Если в процессе управления устройством 20 ввода со стороны пользователя точка наблюдения входит в первую границу ссылки (ДА на этапе S20), то блок 117 исполнения объекта получает сообщение с соответствующей информацией и в результате обращения к определенному участку основной памяти 60 осуществляет проверку наличия или отсутствия информации о необходимости возобновления воспроизведения (этап S22). В случае, когда то же самое движущееся изображение воспроизводилось прежде, место приостановки воспроизведения хранится в основной памяти 60 в качестве точки возобновления воспроизведения. При наличии указанной информации (ДА на этапе S22) осуществляется ее считывание (этап S24). В случае же отсутствия информации о необходимости воспроизведения (НЕТ на этапе S22) осуществляется визуализация первого кадра данных движущегося изображения, считанных из основной памяти 60, и этот кадр отображается на устройстве 12 отображения в качестве неподвижного изображения. При наличии информации о возобновлении воспроизведения (ДА на этапе S22, этап S24) визуализации подвергается кадр в точке возобновления воспроизведения, который отображается на устройстве 12 отображения в качестве неподвижного изображения (этап S26).
Параллельно с этими операциями блок 116 принятия решения о ссылке осуществляет контроль за входом или невходом точки наблюдения во вторую границу ссылки (этап S28). В случае, когда точка наблюдения входит во вторую границу ссылки (ДА на этапе S28), блок 117 исполнения объекта 117 инициирует воспроизведение и отображение движущегося изображения (этап S30). И в этом процессе обработки в случае считывания точки возобновления воспроизведения на этапе S24 движущееся изображение воспроизводится с этой точки. В варианте изобретения на этапе перед входом точки наблюдения во вторую границу теоретически возможно инициирование процесса обработки для воспроизведения движущегося изображения при отображении неподвижного изображения. Таким образом, обеспечивается возможность плавного отображения движущегося изображения в случае входа точки наблюдения во вторую границу ссылки на этапе S28.
Параллельно с отображением движущегося изображения блок 116 принятия решения о ссылке осуществляет контроль за выходом или невыходом точки наблюдения за вторую границу ссылки (этап S32). В случае, когда точка наблюдения выходит за границу второй ссылки (ДА на этапе S32), блок 117 исполнения объекта приостанавливает воспроизведение движущегося изображения и отображает приостановленный кадр в качестве неподвижного изображения (этап S34). Кроме того, блок 117 исполнения объекта записывает точку приостановки в качестве точки возобновления воспроизведения в основную память 60 (этап S36). А блок 116 принятия решения о ссылке принимает решение о выходе или невыходе точки наблюдения за границу первой ссылки (этап S38). В случае, когда точка наблюдения выходит за границу первой ссылки (ДА на этапе S38), сообщение с этой информацией предается в блок 104 задания участка отображения 104, и отображается изображение из предыдущих иерархических данных (например, стандартное изображение, такое как изображение названия, отображавшееся на этапе S18, или т.п.) (этап S40). Рассмотренный процесс позволяет сделать вывод о возможности реализации варианта воспроизведения движущегося изображения в ответ на увеличение участка с заданием ссылки в два этапа - переключения и воспроизведения.
На практике блок 116 принятия решения о ссылке осуществляет постоянный контроль за положением точки наблюдения и принимает решение о выходе или невыходе точки наблюдения за границу заданной ссылки. Таким образом, в случае, когда, например, в процессе отображения определенного кадра на этапе S26 точка наблюдения выходит за первую границу ссылки без входа во вторую границу ссылки, процесс обработки переходит к этапу S40 отображения стандартного изображения.
Такие же этапы процесса обработки выполняются и при воспроизведении звука. При этом, как показано на примере файла задания на фиг.12, возможно использование одной границы ссылки, позволяющей осуществлять только переключение между воспроизведением/невоспроизведением звука. В варианте изобретения возможна многоэтапная операция, которая позволяет осуществлять переключение воспроизводимых аудиоданных, громкости и т.п. Кроме того, в случае воспроизведения звука в качестве BGM (музыкальное сопровождение) даже в процессе воспроизведения изображения, показанного на фиг.16, возможно плавное микширование звука при переключении.
И в случае движущегося изображения и в случае звука при воспроизведении одного и того движущегося изображения или одного и того же звукового сопровождения на множестве участков с заданием внедренного объекта точка возобновления воспроизведения может задаваться в виде общей для всех участков информации. Например, при увеличении изображения на каком-либо из прямоугольных участков 301-310 в отображаемом изображении 300 на фиг.16 воспроизводится одна и та же музыка. При этом задание общей точки возобновления воспроизведения позволяет поддерживать непрерывность музыкального сопровождения и создавать ощущение целостности независимо от рассматриваемого прямоугольного участка.
Возобновление или невозобновление воспроизведения или задание общей или необщей точки возобновления воспроизведения может осуществляться пользователем или создателем контента для каждого из внедренных объектов. Кроме того, и отображение определенного кадра на этапе S26 на фиг.17 может осуществляться с плавным микшированием со стандартным изображением, отображавшимся до этого на этом прямоугольном участке. Обеспечение такого же плавного микширования возможно и в случае перемещения точки наблюдения на соседний прямоугольный участок для отображаемых неподвижных изображений или движущихся изображений.
Фиг.18 иллюстрирует пример изображения, отображаемого в случае использования ссылки на магазин в качестве внедренного объекта. Отображаемое изображение 312 представляет собой изображение, отображаемое в случае, когда точка наблюдения входит в границу ссылки, заданную для прямоугольного участка 308а, для которого ссылка на магазин задается из изображений в отображаемом изображении 300 на фиг.16. В результате задания атрибута "action" на фиг.12 как "show Jink" блок 117 исполнения объекта в случае входа точки наблюдения в границу ссылки переключает изображение прямоугольного участка 308а на фиг.16 на прямоугольный участок 308b на фиг.18.
В изображении на прямоугольном участке 308b исходная информация о магазине дополнена индикатором 314 и индикатором 316. Индикатор 314 с надписью "Заходи!" указывает на возможность перемещения на веб-сайт магазина. Индикатор 316 с надписью "Нажмите кнопку в форме круга!" используется для задания перемещения. Содержимое и размещение дополнительных изображений задаются в соответствии с требованиями дизайна, конструкцией устройства ввода или т.п. Например, индикатор 314 может быть отображен уже на изображении 300, и указанием пользователю на возможность перемещения в конечную точку ссылки может служить изменение только цвета индикатора при увеличении изображения прямоугольного участка 308а.
При увеличении размера изображения прямоугольного участке 308а до размера, обеспечивающего возможность перемещения к конечной точке ссылки, и переключении отображаемого изображения на изображение прямоугольного участка 308b пользователь нажимает на кнопку в форме круга на устройстве 20 ввода в соответствии надписью на индикаторе 316 и в результате получает отображение экрана веб-сайта магазина. Получение доступа к веб-сайтам и их отображение могут осуществляться обычными методами.
Прямоугольные участки 301-310 отображаемого изображения 300 на фиг.16 можно рассматривать как "элементы выбора" для задания какой-либо ссылки. Таким образом, в соответствии с заданием отображения подтверждения выбранного элемента, показанным в качестве примера на фиг.12, участки могут быть отображены с визуальным выделением, например в результате изменения цвета прямоугольных участков 301-310 в определенное время для указания на то, что эти участки являются элементами выбора. Временем отображения с визуальным выделением может служить время входа точки наблюдения в заданную границу ссылки или это время может быть задано путем подачи определенной команды через устройство 20 ввода.
Явное указание на элементы выбора в изображении, отображенном на экране, и подтверждение операции выбора со стороны пользователя обеспечивают для пользователя возможность успешного выбора целевого прямоугольного участка. Кроме того, в результате автоматического перемещения точки наблюдения (например, в результате перемещения выбранного прямоугольного участка в центр экрана, увеличения изображения выбранного прямоугольного участка или т.п.), пользователь может осуществлять мгновенный переход к точке переключения иерархических данных или начала процессов обработки внедренного объекта при минимальном числе операций.
Подобные операции позволяют пользователю выбирать прямоугольный участок из изображения и обеспечивать быструю ссылку в направлении повышения коэффициента увеличения изображения, однако по отношению к коэффициенту увеличения изображения возможно осуществление быстрых ссылок и в двух направлениях. Например, после автоматического увеличения изображения в прямоугольном участке, выбранном пользователем, при обращении пользователя к определенной клавише, такой как крестообразная кнопка 23 устройства 20 ввода, происходит снижение коэффициента увеличения, и отображение возвращается к исходному отображению. Это обеспечивает возможность повышения эффективности операции обращения, например, в случае, когда пользователь намеревается выбрать другой прямоугольный участок.
В этом случае при каждом вводе выбранного элемента блок 117 исполнения объекта записывает параметры, характеризующие участок отображения, такие как координата кадра в этот момент или т.п., в основную память 60. В случае, когда пользователь осуществляет ввод для возврата отображения, блок 117 исполнения объекта считывает параметры, характеризующие предыдущий участок отображения, из основной памяти 60, и передает в блок 104 задания участка отображения сообщение с этими параметрами, в результате чего этот участок отображается. В случае многократного ввода команды выбора, например в случае наличия в определенном элементе выбора элементов выбора низшего уровня, параметры, характеризующие участки отображения в эти моменты выбора, последовательно записываются и считываются с использованием системы LIFO ("последним пришел, первым обслужен"). Ниже, список параметров, хранимых таким образом, именуется "навигационной цепочкой".
На фиг.19 представлена блок-схема последовательности этапов в процессе обработки, выполняемой устройством обработки информации в случае отображения приема выбранного элемента в качестве внедренного объекта. Вначале в состоянии отображения отображаемого изображения 300, показанного на фиг.16, пользователь, перемещает точку наблюдения с использованием устройства 20 ввода. При этом блок 116 принятия решения о ссылке осуществляет контроль за входом или невходом точки наблюдения в границу ссылки для отображения с визуальным выделением (этап S50). В случае входа точки наблюдения в границу ссылки (ДА на этапе S50) блок 117 исполнения объекта отображает в соответствии с параметрами настройки файла задания прямоугольный участок 301-310 с визуальным выделением, например в результате обеспечения изменения цвета участков или т.п. (этап S52). При этом блок 117 исполнения объекта ожидает от пользователя выбора одного из прямоугольных участков в результате нажатия клавиши с указанием направления (например, клавиш 21 навигации или т.п.) и кнопки управления (например, кнопки 22 в форме круга или т.п.) на устройстве ввода 20 (этап S54).
При вводе выбранного элемента (ДА на этапе S54), блок 117 исполнения объекта записывает в навигационную цепочку в основной памяти 60 параметры участка отображения в это время (этап S56). В результате передачи сообщения с информацией о перемещении точки наблюдения, заданной в файле задания, блок 104 задания участка отображения обеспечивает перемещение участка отображения, например, за счет увеличения изображения выбранного прямоугольного участка (этап S58). На этом этапе возможно не только простое перемещение участка отображения, но и выполнение определенного процесса обработки, заданной в соответствии указанным прямоугольным участком. В качестве примера определенного процесса обработки можно назвать дополнительное отображение изображения с контекстной поясняющей информацией или рекламой для выбранного прямоугольного участка или изменение цветов. Данные изображения для дополнительного отображения включаются в контент в соответствии с прямоугольным участком. В случае, когда затем пользователь вводит команду перемещения точки наблюдения, например, для дополнительного увеличения изображения участка или т.п., выполняется процесс обработки, соответствующей команде, не показанный на фиг.19.
При вводе пользователем команды возврата участка отображения в результате обращения к определенной клавише, такой как крестообразная кнопка 23 устройства 20 ввода, (ДА на этапе S60), блок 117 исполнения объекта считывает из навигационной цепочки в основной памяти 60 параметр, записанный последним, (этап S62) и передает сообщение с этим параметром в блок 104 задания участка отображения для перехода отображения на участок отображения, задаваемый указанным параметром (этап S64). Такая операция обеспечивает возможность отображения в случае, когда пользователь в результате ввода выбранного элемента проявляет свое явное намерение придать большое значение эффективности отображения.
Обозначение не только участка отображения исходного положения, но и другого участка отображения в ответ на ввод выбранного элемента со стороны пользователя позволяет избежать состояния беспомощности, такого как в случае, когда пользователь выпускает из поля зрения конечную точку перемещения вследствие отображения изображения с большим коэффициентом увеличения и т.д., или возникает необходимость повторения операции с начала. В результате происходит увеличение числа степеней свободы для способа ввода, и пользователь получает возможность эффективного поиска целевой информации даже в случае размещения элементов выбора в виде глубокой иерархической структуры.
Несмотря на то, что процесс обработки на фиг.19 относится к отображению подтверждения выбранного элемента, операция возврата участка отображения может выполняться и независимо от отображения подтверждения выбранного элемента.
Например, блок 104 задания участка отображения обозначает точку возврата в процессе переключения иерархических данных. Фиг.20 иллюстрирует процесс возврата участка отображения после произвольного перемещения точки наблюдения. Представленная фигура имеет такой же вид, как и фиг.6, и для набора иерархических данных 400 заданы ссылки на наборы иерархических данных 402,404 и 406. Для набора иерархических данных 404 задана также ссылка на набор иерархических данных 407. В контенте для отображения таких данных изображения информация об изображении 410, являющемся исходным положением, хранится в навигационной цепочке 408 в основной памяти 60. При этом хранимая информация может представлять собой координату кадра, информацию для идентификации иерархических данных или т.п.
Предположим, что с помощью аналоговых джойстиков 27а, 27b устройства 20 ввода пользователь перемещает точку наблюдения в виртуальном пространстве, как показано стрелкой А и стрелкой В, и точка наблюдения входит в границы участка набора 404 иерархических данных. При соответствующем переключении отображаемого изображения на набор 404 иерархических данных в навигационную цепочку 408 дополнительно записывается информация об изображении 412 на уровне с самой низкой разрешающей способностью в наборе 404 иерархических данных, являющемся так называемым исходным положением. Если пользователь перемещает точку наблюдения как показано стрелкой С и стрелкой D, и точка наблюдения входит в границы участка набора 407 иерархических данных, то в навигационную цепочку 408 дополнительно записывается информация об изображении 414 на уровне с самой низкой разрешающей способностью в наборе 407 иерархических данных.
Если пользователь вводит команду возврата отображения, то из навигационной цепочки 408 при системе LIFO ("последним пришел, первым обслужен") считывается информация о самом последнем изображении, и точка наблюдения перемещается, как показано стрелкой Е. При этом возможно буквальное "перемещение" точки наблюдения с демонстрацией траектории этого перемещения, или переключение отображаемых изображений может осуществляться мгновенно. Это дает пользовательские элементы выбора, чтобы переключить дисплей к иерархическому набору данных 404, или переместить точку наблюдения в иерархический набор данных 407. Согласно примеру на фиг.20 после отображения изображения 414 пользователь переключает отображение на набор 404 иерархических данных, например, в результате уменьшения изображения и т.д. (стрелка F).
После повторного ввода команды возврата отображения из навигационной цепочки 408 считывается информация об изображении 412, и точка наблюдения перемещается как показано стрелкой G. Если пользователь дополнительно уменьшает изображение и перемещает точку наблюдения в изображениях из набора 400 иерархических данных как показано стрелкой Н, а затем вводит команду возврата отображения, то из навигационной цепочки считывается информация об изображении 410, и точка наблюдения перемещается, как показано стрелкой I.
Независимо от пути перемещения точки наблюдения в один и тот же набор иерархических данных, осуществляемого пользователем, такая операция позволяет отображать изображение с самой низкой разрешающей способностью в одних и тех же иерархических данных в результате простого ввода команды возврата отображения. Изображение с самой низкой разрешающей способностью - это изображение, открывающее широкий обзор иерархических данных в целом, и в то же самое время это изображение с возможностью мгновенного переключения отображения на верхний набор иерархических данных. Пользователь может снижать коэффициент масштабирования отображаемого изображения короткими шагами до унифицированных изображений для каждого из наборов иерархических данных без прерывания хода своих мыслей в результате существенного изменения изображений, например без неожиданного возврата к начальному изображению и т.д. Это дает пользователю возможность с успехом достигать целевого участка, не выпуская из поля зрения конечную точку движения. Кроме того, пользователь может возвратить точку наблюдения, примерно прослеживая историю перемещения точки наблюдения. Например, пользователь может переместить точку наблюдения назад к двум предыдущим наборам иерархических данных путем ввода двух последовательных команд возврата.
В примере на фиг.20 информация об изображении с самой низкой разрешающей способностью в каждом из наборов иерархических данных хранится в виде навигационной цепочки, однако этим вариантом изобретение не ограничивается. Возможно также задание одного участка эталонного отображения с самой низкой разрешающей способностью для каждой области точек наблюдения. Например, множество участков эталонного отображения может быть задано в одном и том же наборе иерархических данных. И в этом случае при входе точки наблюдения в новую область и записи информации об участке эталонного отображения, соответствующей этой новой области, в навигационную цепочку возможна реализация подобного варианта. Этот вариант может быть объединен с вариантом на фиг.19, в котором элементы выбора отображены с визуальным выделением. В этом случае в дополнение к информации об изображениях 410, 412 и 414 в качестве конечной точки возврата записывается также информация об участке отображения в момент ввода выбранного элемента.
Согласно примеру осуществления, рассмотренному выше, перемещение точки наблюдения, включающее в себя увеличение/уменьшение отображаемого изображения, инициирует процесс обработки, такой как переключение отображения на другой набор иерархических данных, воспроизведение движущегося изображения, воспроизведение звука, ссылку на другой сайг в сети, отображение элементов выбора с обеспечением визуального выделения и т.д. Таким образом, пользователь инициирует в устройстве обработки информации выполнение целевого процесса обработки с перемещением точки наблюдения (другими словами, в результате интуитивной и простой операции) и получает удовольствие от изображения. Кроме того, это позволяет создавать подобный многофункциональный контент простым заданием с помощью файла задания.
Сосредоточение внимания на точке наблюдения относительно изображения обеспечивает возможность задания детальной настройки в результате использования положения точки наблюдения, допускающей не только процесс принятия бинарного решения выбор/невыбор функций, но и процессы многоуровневой обработки. Подтверждение выступания части экрана за край прямоугольного участка, выступания части прямоугольного участка за край экрана и т.д. позволяет выполнять процесс целевой обработки в нужное время на основе содержимого процессов соответствующей обработки. Выполнение процесса обработки, такого как плавное микширование или т.п., при переключении процессов обработки обеспечивает возможность осуществления процессов требуемой обработки без заметных для глаза пользователя переходов между изображениями или между звуками до и после переключения. В результате пользователь получает возможность непринужденно экспериментировать с воспроизведением движущегося изображения в качестве продолжения отображения изображения, что по сравнению со случаем выбора процесса обработки с помощью курсора позволяет реализовать превосходный по дизайну и дружественный к пользователю контент.
Кроме того, отображения элементов выбора с визуальным выделением и возможность выбора элемента выбора позволяет пользователю реализовать вариант, соответствующий его потребностям и состоянию, без существенного изменения вида этих элементов даже в случае, когда пользователь хочет осуществлять это с помощью прямой операции. Независимо от того, использовался или не использовался такой прямой выбор, в памяти записывается участок отображения, имеющий более низкую разрешающую способность, чем изображение, отображаемое одновременно в это время, в качестве участка конечной точки возврата, чтобы пользователь мог возвратиться к участку напрямую в результате определенной операции через устройство ввода. Это обеспечивает возможность плавного перемещения в границах изображений и в результате позволяет повысить эффективность поиска целевого участка.
ВТОРОЙ ПРИМЕР ОСУЩЕСТВЛЕНИЯ
Этот пример осуществления реализуется с использованием устройства обработки информации и иерархических данных, подобных рассмотренным со ссылками на фиг.1-6 в первом примере осуществления. Основное внимание в приводимом ниже описании сосредоточено на отличиях этого примера осуществления от первого примера осуществления.
Фиг.21 иллюстрирует пример изображения, отображаемого на устройстве 12 отображения с помощью устройства 10 обработки информации согласно рассматриваемому примеру осуществления, с заданной ссылкой. В отображаемом изображении 350 задано несколько участков ссылок, таких как участки 352а, 352b, 352с ссылок или т.п. При этом в случае, когда при отображении в качестве начального изображения 350 пользователь увеличивает изображение, например, на участке 352а ссылки, то в момент достижения отображения участка 352а ссылки во весь экран выполняется процесс соответствующей обработки (например, переключения наборов иерархических данных, используемых для создания изображения, исполнения внедренного объекта или т.п.). Для этого создается файл задания, соответствующий набору иерархических данных. Файл задания обеспечивает соответствие между координатой кадра в виртуальном пространстве, показанном на фиг.3, в случае, когда участок 352а ссылки отображается во весь экран, информацией об идентификации процесса обработки, осуществляемой для ссылки, и информацией для идентификации или адресом данных, требуемых для процесса обработки (например, данных движущегося изображения, программы или т.п.).
По сравнению со случаем простого выбора из списка возможных вариантов с помощью координатно-указательного устройства такой вариант с переключением изображений или исполнением внедренного объекта, инициируемым перемещением точки наблюдения в границы ссылки, дает пользователю ощущение непрерывности развития исходного изображения и возможность реализации контента с превосходным дизайном в самых различных формах. Таким образом, в случае необходимости увеличения специального участка пользователь выполняет операцию увеличения путем регулировки его положения в горизонтальном направлении с помощью устройства ввода, что позволяет упростить эту операцию в максимально возможной степени.
В примере на фиг.21 участки 352а, 352b, 352с или т.п. ссылок размещены отдельно один от другого, и это позволяет без труда распознавать область каждого участка ссылки. Однако участки ссылок могут быть заданы и в изображении, являющемся в целом непрерывным, например в виде картинки, фотографии или т.п. В этом случае область участка ссылки представляется трудной для распознавания, и это вызывает дополнительные трудности при совмещении экрана с участком ссылки. Поэтому согласно примеру осуществления ввод команд от пользователя во время выполнения операции по увеличению изображения поддерживается за счет дополнительной точной регулировки положения в горизонтальном направлении, обеспечивающей наведение экрана на участок ссылки. Участок конечной точки наведения не обязательно является участком ссылки и может представлять собой участок намеренного наведения точки наблюдения со стороны создателя контента или т.п. Однако ниже рассматривается пример с участком ссылки.
На фиг.22 представлена детальная блок-схема блока 100 управления согласно примеру осуществления. Как и в первом примере осуществления блок 100 управления содержит блок 102 подтверждения введенной информации, в который поступает информация, введенная пользователем через устройство 20 ввода, блок 103 загрузки, который загружает набор иерархических данных, подлежащих отображению, из накопителя 50 на жестком диске, блок 104 задания участка отображения, который задает участок отображения в соответствии с введенной информацией, блок 106 декодирования, декодирующий сжатые данные изображения, и блок 114 обработки отображаемого изображения, осуществляющий визуализацию отображаемого изображения. Блок 100 управления дополнительно содержит блок 416 управления наведением, осуществляющий коррекцию участка отображения, задаваемого с помощью блока 104 задания участка отображения, обеспечивающую наведение экрана на участок ссылки, и блок 418 исполнения ссылки, осуществляющий процесс обработки, заданной для участка ссылки.
Элементы, изображенные на фиг.22 в качестве функциональных блоков для выполнения различных процессов обработки, могут быть реализованы и аппаратными средствами, такими как CPU (центральный процессор), память или другие LSI (БИС), и программными средствами, такими как программы и т.д., загруженные в память. Как было указано выше, блок 100 управления включает в себя один модуль PPU и множество модулей SPU. Функциональные блоки модули PPU и SPU образуют по отдельности или в комбинации. Поэтому специалистам в данной области техники должно быть очевидно, что существуют различные варианты реализации функциональных блоков с использованием как только аппаратных или только программных средств, так и комбинации этих средств.
В накопителе 50 на жестком диске хранится файл контента, включающий в себя иерархические данные и файл задания. В случае отображения данных изображения, состоящих из множества наборов иерархических данных с заданной ссылкой, в накопителе хранятся эти наборы иерархических данных и соответствующие им файлы задания. При необходимости файл контента может дополнительно включать в себя данные движущегося изображения, требуемые для обработки внедренного объекта, звуковые данные, данные модулей изображения, приложение для игры или т.п. и т.д.
При обращении пользователя к устройству 20 ввода блок 102 подтверждения введенной информации получает из устройства 20 ввода информацию, касающуюся запроса (например, на активизацию/завершение воспроизведения контента, перемещение точки наблюдения и т.д.) и в случае необходимости передает сообщение с этой информацией в блок 103 загрузки, блок 104 задания участка отображения и блок 416 управления наведением. После получения из блока 102 подтверждения введенной информации сообщения с запросом на активизацию контента блок 103 загрузки считывает иерархические данные начального изображения контента и соответствующий файл задания из накопителя 50 на жестком диске и сохраняет эту информацию в основной памяти 60. В случае необходимости блок 103 загрузки дополнительно считывает из накопителя 50 на жестком диске иерархические данные конечной точки перемещения точки наблюдения, данные, требуемые для исполнения внедренного объекта, или т.п., и сохраняет эту информацию в основной памяти 60.
После получения сообщения с запросом на перемещение точки наблюдению из блока 102 подтверждения введенной информации блок 104 задания участка отображения преобразует величину перемещения точки наблюдения в координату иерархических данных в виртуальном пространстве и задает координату кадра конечной точки перемещения, подлежащего отображению. В то время, когда точка наблюдения находится в границах определенной области относительно участка ссылки, заданного в файле задания, блок 416 осуществляет коррекцию координаты кадра, заданной блоком 104 задания участка отображения, обеспечивающую наведение экрана на участок ссылки. Это наведение выполняется в период, когда пользователь делает запрос на перемещение точки наблюдения через устройство ввода 20, для обеспечения точной регулировки положения в ответ на этот запрос. Подробное описание приводится ниже.
Блок 106 декодирования считывает часть сжатых данных изображения из основной памяти 60, декодирует эти данные и сохраняет декодированные данные в буферной памяти 70. Данные, декодируемые блоком 106 декодирования, могут представлять собой данные изображения определенного размера, включающего в себя участок отображения. Предварительное декодирование данных изображения на участке большой площади и хранение декодированных данных в буферной памяти 70 позволяет снизить число обращений к основной памяти 60 для считывания и реализовать плавное перемещение точки наблюдения. Блок 114 обработки отображаемого изображения получает координаты кадра участка, подлежащего отображению, заданные блоком 104 задания участка отображения, считывает данные соответствующего изображения из буферной памяти 70 и обеспечивает визуализацию этих данных в памяти 76 кадров блока 44 обработки данных для отображения.
Блок 418 исполнения ссылки обращается к файлу задания, соответствующему набору иерархических данных, отображаемых в настоящее время, который хранится в основной памяти 60, и в случае, когда эта точка наблюдения в конечной точке перемещения удовлетворяет условию для ссылки, осуществляет процесс обработки, заданной для участка ссылки. При этом условием для ссылки может быть область точек наблюдения при отображении участка ссылки во весь экран, как указывается выше, или область точек наблюдения в случае, когда определенная часть участка ссылки находится в границах экрана и т.д. Кроме того, может быть задано пороговое значение для коэффициента увеличения или т.п. Эти условия задаются создателем контента или т.п. с учетом размещения участка ссылки или т.п.
В случае, когда программа или данные для исполнения внедренного объекта хранятся не в основной памяти 60, блок 418 исполнения ссылки вырабатывает запрос на их загрузку из накопителя 50 на жестком диске в основную память 60 с информацией для идентификации программы или данных.
В случае переключения отображения на другой набор иерархических данных вырабатывается также запрос к блоку 103 загрузки. Кроме того, блок 418 исполнения ссылки вырабатывает запрос на переключение наборов иерархических данных к блоку 104 задания участка отображения. В ответ на этот запрос блок 104 задания участка отображения преобразует координату кадра в координату иерархических данных после переключения и передает сообщение с преобразованной координатой и информацией для идентификации набора иерархических данных в блок 106 декодирования. В ответ на это блок 106 декодирования задает иерархические данные конечной точки ссылки как данные, подлежащие декодированию.
Далее рассматривается механизм наведения, заключающийся в том, что блок 416 управления наведением наводит экран на участок ссылки. Как указывалось выше, согласно примеру осуществления участок ссылки находится в изображении, и совмещение экрана с этим участком позволяет реализовать процессы самой различной обработки. В таком примере осуществления во многих случаях в результате повторения операций увеличения изображения с помощью клавиши увеличения/уменьшения (например, с помощью аналогового джойстика 27b устройства 20 ввода) и регулировки положения с помощью клавиш с указанием направления (например, клавиш 21 навигации) пользователь обеспечивает увеличение изображения до целевого участка.
При такой операции в случае, например, когда на этапе увеличения изображения до определенной степени увеличения один участок ссылки занимает большую часть площади экрана, нацеливание пользователя на этот участок ссылки может быть спрогнозировано даже при некотором рассовмещении. Ввиду этого прогнозирование участка ссылки для нацеливания со стороны пользователя осуществляется по виду участков ссылки в границах экрана. При этом экран наводится на участок ссылки в результате точной регулировки в горизонтальном направлении в сочетании с операцией по увеличению изображения.
В частности, в качестве условия наведения задаются пороговые величины для коэффициента увеличения отображаемого изображения и выступания участка ссылки за край экрана. Выступание участка ссылки за край экрана представляет собой отношение длины части участка ссылки, выступающей за край экрана, к ширине участка ссылки в направлении выступания. При выступании участка ссылки за край экрана как в горизонтальном, так и в вертикальном направлении, берется большее отношение. В случае, когда коэффициент увеличения превышает пороговую величину, а выступание участка ссылки за край экрана не достигает пороговой величины, прогнозируется нацеливание пользователя на этот участок ссылки.
При возможности такого прогнозирования в случае, когда пользователь осуществляет операцию по увеличению изображения с помощью клавиши увеличения/уменьшения изображения, одновременно с соответствующим повышением коэффициента увеличения отображаемого изображения участок отображения перемещается в горизонтальном направлении и приближается к участку ссылки, прогнозируемому в качестве участка нацеливания. В период, когда пользователь делает запрос на перемещение точки наблюдения, осуществляется постоянный контроль за выполнением или невыполнением условия наведения. Условие наведения может быть задано в файле задания, рассмотренном выше, для каждого участка ссылки или может быть общим для всех участков ссылки. В варианте изобретения условие может быть задано в качестве параметра, поддерживаемого блоком 416 управления наведением независимо от наборов иерархических данных. Кроме того, выполнение процесса наведения невозможно в случае, когда помимо операции по увеличению пользователь выполняет операцию по перемещению в горизонтальном направлении.
Фиг.23 иллюстрирует изменение взаимного положения участка ссылки и экрана при изменении положения точки наблюдения. Вертикальное направление на фигуре означает высоту точки наблюдения относительно изображения, а самая нижняя линия - плоскость изображения. Толстой линией на плоскости изображения показан участок 352 ссылки. Если сначала рассматривать изображение из точки 360а наблюдения, то участок 352 ссылки находится в границах поля наблюдения (т.е. экрана) и не выступает за край этого поля, показанного в виде треугольника. Если же рассматривать изображение из точки 360b наблюдения, то часть участка 352 ссылки выступает за край экрана.
С приближением точки наблюдения к плоскости изображения размер участка 352 ссылки относительно экрана становится больше и вероятность выступания участка 352 ссылки за край экрана повышается. Поэтому область точек наблюдения, для которых участок 352 ссылки не выступает за край экрана, приобретает форму, подобную области 362 точек наблюдения. При этом даже при изменении пороговой величины выступания форма области точек наблюдения остается подобной области 362 точек наблюдения. Таким образом, после задания условия наведения, как указывается выше, область точек наблюдения, отвечающих этому условию, задается как область 362 точек наблюдения.
Точка 363 наблюдения на фиг.23 является единственной точкой наблюдения, из которой участок 352 ссылки отображается на всем экране, т.е. точкой наблюдения при исполнении процесса обработки ссылки. Блок 416 управления наведением осуществляет контроль за наведением точки 363 наблюдения (т.е. экрана) при нацеливании в период, когда пользователь увеличивает изображение. При этом участок 352 ссылки может не совпадать в точности с участком задания ссылки, т.е. с участком переключения изображения или отображения движущегося изображения после увеличения изображения. Например, участок 352 ссылки может быть участком, включающим в себя участок задания ссылки и участок вокруг него.
При задании одного условия наведения реализуется вариант принятия бинарного решения, заключающийся в наведении или ненаведении в зависимости от принятия решения о нахождении или ненахождении точки наблюдения в границах области точек наблюдения, задаваемой условием наведения. Согласно примеру осуществления вокруг области точек наблюдения, задаваемой условием наведения, может существовать промежуточная область точек наблюдения. Ниже первая из этих областей точек наблюдения именуется "областью наведения", а вторая область точек наблюдения именуется "областью квазинаведения". В случае, когда точка наблюдения находится в области квазинаведения, наведение осуществляется с силой наведения меньшей величины, чем в случае нахождения точки наблюдения в области наведения. При этом "сила наведения" - это, например, отношение скорости перемещения изображения в горизонтальном направлении при наведении к скорости увеличения изображения, определяемой действиями пользователя.
На фиг.24 представлена схематическая иллюстрация связи между областью наведения и областью квазинаведения. Способ представления - такой же, как на фиг.23, и в самом низу показан участок 352 ссылки. В верхней части фиг.24 показан также вид соответствующих областей при наблюдении сверху. На фиг.24 область 364 наведения соответствует области 362 точек наблюдения на фиг.23, а точка наблюдения цели наведения является точкой 368 наблюдения. Вокруг такой области 364 наведения задается область 366 квазинаведения. Область 366 квазинаведения задается, например, как область с той же самой средней линией, что и область 364 наведения, и как участок расширения области 364 наведения в горизонтальном направлении за вычетом области 364 наведения. Сила наведения в каждой из этих областей может задаваться в файле задания для каждого участка ссыпки или может быть общей для всех участков ссылки. В варианте изобретения блок 416 управления наведением может поддерживать задание силы независимо от наборов иерархических данных.
Даже при одной и той же скорости увеличения изображения, задаваемой пользователем, скорость перемещения экрана при наведении (т.е. скорость перемещения точки наблюдения в горизонтальном направлении) будет разной в зависимости от того, находится ли точка наблюдения в границах области наведения или в границах области квазинаведения. Например, горизонтальная составляющая величины перемещения точки 372 наблюдения за единицу времени в области 366 квазинаведения (стрелка В) меньше горизонтальной составляющей величины перемещения точки 370 наблюдения в единицу времени в области 364 наведения (стрелка А).
В случае, когда точка 372 наблюдения, находящаяся в области 366 квазинаведения, в процессе наведения, показанного стрелкой В, выходит за границы области 366 квазинаведения и приближается к плоскости изображения, то, как показано стрелкой С, эта точка наблюдения исключается из объектов наведения, и выполняется только увеличение изображения по команде пользователя. Таким образом, поскольку решение о том, находится ли точка наблюдения в границах или за границами каждой из областей, постоянно принимается в то время, когда пользователь увеличивает изображение, то инициирование или приостановка наведения и изменение силы наведения осуществляются вместе с перемещением точки наблюдения в реальном времени.
Область квазинаведения можно рассматривать как область точек наблюдения, в которой выступание участка ссылки за край экрана больше, чем в области наведения при одних и тех же коэффициентах увеличения. Поэтому подобное размещение области наведения и области квазинаведения обеспечивает возможность точной регулировки силы наведения в зависимости от части участка ссылки в границах экрана, что позволяет уменьшить чувство неудобства у пользователя, вызываемое наведением (например, сильным наведением на участок ссылки, не являющийся объектом наведения, переключением между наведением и ненаведением, вызываемым незначительными колебаниями экрана, или т.п.).
Сила наведения может быть не обязательно постоянной в каждой области 364 наведения и области 366 квазинаведения. На фиг.25 представлена схематическая иллюстрация примера задания силы наведения в зависимости от расстояния от средней линии участка ссылки по горизонтали до точки наблюдения. На фигуре вертикальная ось представляет собой силу наведения, а центр горизонтальной оси соответствует средней линии участка ссылки. На этой фигуре в области наведения сила наведения задана в виде постоянной величины а, а в области квазинаведения сила наведения монотонно уменьшается в соответствии с расстоянием от средней линии до 0 на границе, где расстояние от средней линии достигает максимума. Подобие же изменение силы наведения в соответствии с расстоянием от средней линии возможно и в области наведения.
Сила наведения может быть задана в виде непрерывно меняющейся величины без разделения на две области - область наведения и область квазинаведения. В варианте изобретения задание силы наведения может осуществляться с разделением на три и более областей. В любом из случаев можно считать, что с уменьшением расстояния от средней линии участка ссылки вероятность нацеливания пользователя на участок ссылки повышается. Поэтому в результате обеспечения изменения силы наведения в соответствии с расстоянием перемещение точки наблюдения пользователя может поддерживаться за счет естественного движения.
Вместо задания пороговой величины выступания участка ссылки за край экрана в качестве условия наведения, определяющего область наведения, возможно непосредственное задание области наведения. Например, в результате задания скорости изменения расстояния от средней линии участка ссылки до точки наблюдения в зависимости от скорости изменения высоты точки наблюдения вместо области наведения, показанной на фиг.24, может быть задана область наведения конической формы с круговым сечением. Область квазинаведения может быть задана таким же образом, но при этом в сечении она будет иметь форму кольцеобразной области вокруг области наведения. И в этом случае рассмотренный выше механизм позволяет получать такой же эффект.
В случае, когда область наведения или область квазинаведения имеют общую область для множества участков ссылок, то сила наведения для точки наблюдения в границах общей области может быть задана как средневзвешенная величина сил наведения на соответствующие участки ссылок, полученная по расстоянию от точки наблюдения до средней линии соответствующих участков ссылок. Сила наведения и расстояние до средней линии вычисляются как векторы - для горизонтальной составляющей и вертикальной составляющей. И в этом случае при приближении точки наблюдения к плоскости изображения точка наблюдения выходит в свое время за границы области наведения или области квазинаведения участка ссылки с силой наведения малой величины (например, на дальнем расстоянии или т.п.) и, в конечном счете, наводится на участок ссылки, ближайший к точке наблюдения.
Далее описывается работа устройства 10 обработки информации, блок-схема которого приведена выше. На фиг.26 представлена блок-схема последовательности этапов в процессе обработки, выполняемой устройством 10 обработки информации при наведении экрана на участок ссылки и исполнении ссылки. Сначала, когда пользователь делает запрос на активацию контента на устройстве 10 обработки информации, отображается начальное изображение, такое как отображаемое изображение 350, показанное на фиг.21 (этап S118). Если в этом состоянии пользователь делает запрос на перемещение точки наблюдения с помощью устройства 20 ввода, то блок 102 подтверждения введенной информации подтверждает эту информацию (этап S120). Если запрос на перемещение заключается в приближении точки наблюдения к плоскости изображения, т.е. является запросом на увеличение изображения (ДА на этапе S122), то блок 416 управления наведением принимает решение о том, находится ли точка наблюдения в границах области квазинаведения или нет (этап S124).
В случае, когда точка наблюдения находится в границах области квазинаведения (ДА на этапе S124), блок 416 управления наведением обеспечивает наведение экрана в результате добавления перемещения в горизонтальном направлении к перемещению в направлении увеличения изображения, заданному блоком 104 задания участка отображения, на основе силы наведения, заданной для области квазинаведения (этап S126). Сила наведения в этом процессе обработки, как указывалось выше, имеет меньшую величину, чем для точки наблюдения в области наведения. В случае, если точка наблюдения находится не в области квазинаведения, а в области наведения (НЕТ на этапе S124, ДА на этапе S128), то наведение экрана осуществляется путем добавления перемещения в горизонтальном направлении к перемещению в направлении увеличения изображения таким же, как на этапе S126. В этом случае сила наведения имеет большую величину, чем на этапе S126 (этап S130). В процессах обработки на этапах S126 и S130 визуализация изображения осуществляется практически с помощью блока 106 декодирования, блок 114 обработки отображаемого изображения или т.п. То же самое относится и к описываемым ниже процессам обработки для перемещения участка отображения.
В случае, когда точка наблюдения не находится ни в области квазинаведения, ни в области наведения (НЕТ на этапе в S124, НЕТ на этапе S128), перемещение экрана в направлении увеличения изображения осуществляется блоком 104 задания участка отображения без изменений (этап S132). В случае, когда запрос на перемещение точки наблюдения, подтвержденный на этапе S120, является не только запросом на увеличение изображения (НЕТ на этапе в S122), блок 104 задания участка отображения обеспечивает перемещение участка отображения в соответствии с запросом на перемещение точки наблюдения (этап S134). Повторение процесса обработки на этапах S120-S134 в зависимости от обстоятельств обеспечивает постепенное приближение точки наблюдения к определенному участку ссылки. Блок 418 исполнения ссылки осуществляет контроль за результатом перемещения точки наблюдения до момента выполнения условия для ссылки (например, до момента отображения участка ссылки во весь экран и т.д.) (НЕТ на этапе S136), а момент выполнения этого условия (ДА на этапе S136) блок 418 исполнения ссылки осуществляет процесс обработки, заданной для участка ссылки (этап S138).
Согласно примеру осуществления, рассмотренному выше, устройство обработки информации, подтверждающее команду на перемещение точки наблюдения с увеличением/уменьшением отображаемого изображения и обновляющее участок отображения, на основе взаимного положения определенной области в изображении и участка отображения на экране принимает решение о наличии или отсутствии у пользователя намерения увеличить изображение этого участка. В случае принятия решения о наличии у пользователя намерения увеличить изображение участка осуществляется наведение участка отображения. В частности, в случае, когда пользователь делает запрос на увеличение изображения, происходит увеличение изображения участка отображения, и в то же самое время дополнительно к этому увеличению осуществляется перемещение в горизонтальном направлении. Это позволяет пропустить некоторые из операций, выполнение которых требуется от пользователя при увеличении изображения целевого участка, и, таким образом, снизить нагрузку на пользователя. В частности, в варианте, в котором размещение экрана на предварительно заданном участке активизирует процесс обработки, соответствующей этому участку, при этом обеспечивается возможность эффективной активизации процесса обработки, не требующей точной регулировки положения участка отображения со стороны пользователя.
Во время наведения, в период, когда пользователь делает запрос на увеличение изображения, осуществляется регулировка положения в горизонтальном направлении, обеспечивающая соответствие скорости увеличения запросу на увеличение. Таким образом, величина регулирующего воздействия приводится в соответствие с интенсивностью операции, проводимой пользователем для запроса на увеличения. Поэтому наведение может осуществляться путем естественного перемещения, позволяющего предотвратить возникновение ощущения самопроизвольного перемещения точки наблюдения.
Задание более чем двух видов областей точек наблюдения в качестве условия для наведения позволяет осуществлять наведение по этапам. Считается, что на этапе сравнительно большого рассовмещения между определенной областью и экраном, возможности пользователя по увеличению изображения специального участка должны быть ограничены и величина силы наведения задается малой. При малом рассовмещении наведение осуществляется в полную силу, что позволяет выполнять наведение в нужное время и на нужную величину.
В случае, когда точка наблюдения находится между множеством участков, располагающихся в непосредственной близости один от другого, окончательная величина наведения определяется в соответствии с расстоянием до соответствующих участков. В частности, для каждого из участков используется величина наведения, усредненная по расстояниям. Это обеспечивает возможность оптимизации силы наведения, даже в случае, когда участок с изображением, подлежащим увеличению, находится рядом с другим участком. Поэтому рассмотренный пример осуществления может быть использован применительно к изображениям с разным стилем топологии.
Выше настоящее изобретения описано на типичном примере его осуществления. Пример осуществления носит чисто иллюстративный характер, и специалистам в данной области техники должно быть очевидно, что могут быть внесены различные изменения, касающиеся составляющих элементов и процессов обработки, и что такие изменения не выходят за пределы объема настоящего изобретения.
Например, согласно примерам осуществления, рассматривается перемещение участка отображения в виртуальном трехмерном пространстве, образуемом плоскостью изображения и разрешающей способностью, в соответствии с перемещением точки наблюдения относительно изображения. Однако и в случае, когда экран отображения задается в виде участка, отображаемого на двумерной плоскости изображения, с изменяющимся положением центра участка и размером участка, перемещение экрана отображения может рассматриваться как перемещение виртуальной точки наблюдения для пользователя. Таким образом, использование примеров осуществления настоящего изобретения возможно также применительно к перемещению участка отображения в виде двумерной плоскости и позволяет получать такой же эффект.
ОПИСАНИЕ НОМЕРОВ ПОЗИЦИЙ
1 - система обработки информации, 10 - устройство обработки информации, 12 - устройство отображения, 20 - устройство ввода, 30 - нулевой уровень, 32 - первый уровень, 34 - второй уровень, 36 - третий уровень, 38 - квадрантное изображение, 44 - блок обработки данных для отображения, 50 - накопитель на жестком диске, 60 - основная память, 70 - буферная память, 76 - память кадров, 80 - эталонный прямоугольник, 82 - целевой прямоугольник, 84 - ограничивающий прямоугольник, 92 - граница ссылки, 100 - блок управления, 102 - блок подтверждения введенной информации, 103 - блок загрузки, 104 - блок задания участка отображения, 106 - блок декодирования, 114 - блок обработки отображаемого изображения, 116 - блок принятия решения о ссылке, 117 - блок исполнения объекта, 364 - область наведения, 366 - область квазинаведения, 408 - навигационная цепочка, 416 - блок управления наведением, 408 - блок исполнения ссылки.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
Как указывается выше, настоящее изобретение применимо к устройствам обработки информации, таким как компьютеры, игровые устройства и устройства отображения изображения или т.п.

Claims (13)

1. Устройство обработки информации, содержащее:
запоминающее устройство, выполненное с возможностью хранения иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности;
блок подтверждения введенной информации, выполненный с возможностью подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения;
блок обработки отображаемого изображения, выполненный с возможностью создания отображаемого изображения из иерархических данных в результате обеспечения изменения участка, отображаемого в ответ на запрос перемещения точки наблюдения; и
блок исполнения объекта, выполненный с возможностью исполнения процесса обработки, соответствующей определенному участку изображения, осуществляемого в случае, когда для точки наблюдения выполняется условие активизации процесса обработки, причем
условие задается по взаимному положению определенного участка, заданного на плоскости изображения, и участка, задаваемого точкой наблюдения и отображаемого на экране.
2. Устройство обработки информации по п.1, отличающееся тем, что
условие заключается в том, что выступание части участка, отображаемого на экране, за край определенного участка не превышает заданного значения.
3. Устройство обработки информации по п.1 или 2, отличающееся тем, что
условие заключается в том, что выступание части определенного участка за край участка, отображаемого на экране, не превышает заданного значения.
4. Устройство обработки информации по п.1 или 2, отличающееся тем, что
в случае, когда для точки наблюдения выполняется условие, заданное в соответствии с определенным участком, блок исполнения объектов считывает из памяти, по меньшей мере, одно из: данные движущегося изображения или аудиоданные, соответствующие определенному участку, воспроизводит данные движущегося изображения или аудиоданные и выводит данные движущегося изображения или аудиоданные.
5. Устройство обработки информации по п.4, отличающееся тем, что
в случае, когда для точки наблюдения выполняется первое условие, заданное в соответствии с определенным участком, блок исполнения объекта воспроизводит одну порцию данных кадра, включенных в данные движущегося изображения, и выводит данные кадра, а
в случае, когда для точки наблюдения дополнительно выполняется второе условие, заданное в соответствии с определенным участком, блок исполнения объекта выводит воспроизведенные данные движущегося изображения.
6. Устройство обработки информации по п.4, отличающееся тем, что
в случае, когда условие для точки наблюдения не выполняется, блок исполнения объекта приостанавливает воспроизведение данных, которые воспроизводились до этого момента, и записывает момент времени приостановки в память, а
в случае, когда для точки наблюдения выполняется условие, заданное в соответствии с тем же самым определенным участком, блок исполнения объекта инициирует воспроизведение данных с момента времени приостановки и выводит данные.
7. Устройство обработки информации по п.6, отличающееся тем, что
в случае, когда одно и то же движущееся изображение или одни и те же аудиоданные соответствуют множеству участков, блок исполнения объекта записывает в память момент времени приостановки, общий для множества участков.
8. Устройство обработки информации по п.1 или 2, отличающееся тем, что
в случае, когда для точки наблюдения выполняется условие, заданное в соответствии с определенным участком, блок исполнения объекта обеспечивает отображение указания на возможность доступа к сайту сети, соответствующему определенному участку, на определенном участке.
9. Способ обработки информации, содержащий этапы:
считывания иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности, из памяти и вывода данных на устройство отображения;
подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения;
обеспечения изменения участка, отображаемого на устройстве отображения в ответ на запрос перемещения точки наблюдения; и
исполнения процесса обработки, заданной в соответствии с определенным участком изображения, осуществляемого в случае, когда для точки наблюдения выполняется условие активизации процесса обработки, причем
условие задается по взаимному положению определенного участка, заданного на плоскости изображения, и участка, задаваемого точкой наблюдения и отображаемого на экране.
10. Способ обработки информации по п.9, отличающийся тем, что этап исполнения процесса обработки содержит этапы:
воспроизведения и вывода одной порции данных кадра, включенных в данные движущегося изображения, соответствующие определенному участку, в случае, когда для точки наблюдения выполняется первое условие, заданное в соответствии с определенным участком; и
вывода воспроизведенных данных движущегося изображения в случае, когда для точки наблюдения дополнительно выполняется второе условие, заданное в соответствии с определенным участком.
11. Неизменяемый компьютерно-читаемый носитель записи, на котором записана компьютерная программа, где компьютерная программа содержит:
модуль, выполненный с возможностью считывания иерархических данных, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности, из памяти и возможностью отображения данных на устройстве отображения;
модуль, выполненный с возможностью подтверждения запроса от пользователя на перемещение точки наблюдения в виртуальном пространстве, задаваемом как плоскостью изображения, так и расстоянием от плоскости изображения;
модуль, выполненный с возможностью обеспечения изменения участка, отображаемого на устройстве отображения в ответ на запрос перемещения точки наблюдения; и
модуль, выполненный с возможностью исполнения процесса обработки, заданной по отношению к определенному участку изображения, осуществляемого в случае, когда для точки наблюдения выполняется условие активизации процесса обработки, причем
условие задается по взаимному положению определенного участка, заданного на плоскости изображения, и участка, задаваемого точкой наблюдения и отображаемого на экране.
12. Способ структурирования данных контента с возможностью охвата самой структуры данных, который содержит этап упорядочивания данных, и обеспечения соответствия между данными и файлом, при этом
данные представляют собой иерархические данные, которые содержат данные изображения с разными разрешающими способностями, иерархически упорядоченные по разрешающей способности; а
файл представляет собой файл задания, выполненный с возможностью описания условия активизации процесса обработки, соответствующей определенному участку в изображении, отображенном с использованием иерархических данных, причем условие задано по взаимному положению определенного участка, заданного на плоскости изображения, и участка изображения, который отображается на экране и задается точкой наблюдения в виртуальном пространстве, задаваемом плоскостью изображения и расстоянием от плоскости изображения.
13. Неизменяемый компьютерно-читаемый носитель записи, на котором записана компьютерная программа для реализации способа по п.12.
RU2011142869/08A 2009-03-25 2009-12-18 Устройство обработки информации и способ обработки информации RU2520353C9 (ru)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2009075244A JP5292148B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
JP2009075267A JP5292149B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
JP2009-075267 2009-03-25
JP2009075242A JP5292146B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
JP2009075243A JP5292147B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
JP2009-075242 2009-03-25
JP2009-075243 2009-03-25
JP2009-075244 2009-03-25
PCT/JP2009/007037 WO2010109570A1 (ja) 2009-03-25 2009-12-18 情報処理装置および情報処理方法

Publications (3)

Publication Number Publication Date
RU2011142869A RU2011142869A (ru) 2013-04-27
RU2520353C2 RU2520353C2 (ru) 2014-06-20
RU2520353C9 true RU2520353C9 (ru) 2015-01-27

Family

ID=42780280

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011142869/08A RU2520353C9 (ru) 2009-03-25 2009-12-18 Устройство обработки информации и способ обработки информации

Country Status (9)

Country Link
US (1) US9250704B2 (ru)
EP (1) EP2413311B1 (ru)
KR (1) KR101319575B1 (ru)
CN (1) CN102362308B (ru)
AU (1) AU2009343075B2 (ru)
BR (1) BRPI0925014B1 (ru)
CA (1) CA2754672C (ru)
RU (1) RU2520353C9 (ru)
WO (1) WO2010109570A1 (ru)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5662267B2 (ja) 2011-07-04 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、情報処理装置、サーバ、および画像処理方法
KR20150077413A (ko) 2012-09-17 2015-07-07 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 인간의 움직임에 대한 보조를 위한 소프트 엑소슈트
KR102134443B1 (ko) * 2013-05-03 2020-07-15 삼성전자주식회사 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법
US10843332B2 (en) 2013-05-31 2020-11-24 President And Fellow Of Harvard College Soft exosuit for assistance with human motion
US9858899B2 (en) 2013-06-13 2018-01-02 Microsoft Technology Licensing, Llc Managing transitions of adaptive display rates for different video playback scenarios
CN105992554A (zh) 2013-12-09 2016-10-05 哈佛大学校长及研究员协会 帮助人移动的辅助柔性套服、柔性套服系统及它们的制造和控制方法
WO2015120186A1 (en) 2014-02-05 2015-08-13 President And Fellows Of Harvard College Systems, methods, and devices for assisting walking for developmentally-delayed toddlers
EP3128963A4 (en) 2014-04-10 2017-12-06 President and Fellows of Harvard College Orthopedic device including protruding members
EP3708079A1 (en) 2014-09-19 2020-09-16 President And Fellows Of Harvard College Soft exosuit for assistance with human motion
WO2016160629A1 (en) * 2015-03-27 2016-10-06 Google Inc. Providing selected images from a set of images
JP6628036B2 (ja) * 2015-03-27 2020-01-08 パナソニックＩｐマネジメント株式会社 映像表示制御装置、映像表示システムおよび映像表示制御方法
EP3429512A4 (en) 2016-03-13 2019-10-30 President and Fellows of Harvard College FLEXIBLE ELEMENTS FOR ANCHORING THE BODY
JP6887120B2 (ja) * 2016-03-24 2021-06-16 パナソニックＩｐマネジメント株式会社 表示装置
CN109789543B (zh) 2016-07-22 2022-09-27 哈佛大学校长及研究员协会 用于可穿戴系统的控制优化
KR102623181B1 (ko) * 2016-10-05 2024-01-11 엘지전자 주식회사 무선 디바이스 및 무선 시스템
US10585278B2 (en) * 2016-10-05 2020-03-10 Magic Leap, Inc. Surface modeling systems and methods
WO2018170170A1 (en) 2017-03-14 2018-09-20 President And Fellows Of Harvard College Systems and methods for fabricating 3d soft microstructures
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
US10854003B2 (en) * 2018-01-15 2020-12-01 Worcester Polytechnic Institute Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment
US10855564B2 (en) * 2018-01-15 2020-12-01 Worcester Polytechnic Institute Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment
JP7067095B2 (ja) * 2018-02-07 2022-05-16 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像形成プログラム
JP7341674B2 (ja) * 2019-02-27 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN112243147B (zh) 2019-07-16 2023-08-04 Vidaa(荷兰)国际控股有限公司 视频画面缩放方法及显示设备
CN112243148B (zh) * 2019-07-16 2022-10-11 青岛海信传媒网络技术有限公司 显示设备及视频画面缩放方法
JP7392341B2 (ja) * 2019-09-17 2023-12-06 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
CN113890675A (zh) * 2021-09-18 2022-01-04 聚好看科技股份有限公司 一种三维模型的自适应显示方法及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235385A (ja) * 1999-02-16 2000-08-29 Fujitsu Ltd パノラマ画像表示システム，作成システムおよびそのプログラム記録媒体
RU2316820C2 (ru) * 2002-06-21 2008-02-10 Шлюмбергер Текнолоджи Бв Система и способ адаптивного присваивания меток многомерным изображениям

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08279054A (ja) 1995-04-07 1996-10-22 Hitachi Ltd 映像生成／表示システム
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
JP4251675B2 (ja) 1997-07-30 2009-04-08 ソニー株式会社 記憶装置およびアクセス方法
US6744934B2 (en) 1998-07-23 2004-06-01 Fuji Photo Film Co., Ltd. Method, apparatus and recording medium for generating an image file having hierarchical image data representing a plurality of still images having different display dimensions
JP3646582B2 (ja) 1998-09-28 2005-05-11 富士通株式会社 電子情報表示方法、電子情報閲覧装置および電子情報閲覧プログラム記憶媒体
JP2003281187A (ja) 2002-03-20 2003-10-03 Fujitsu Ltd 仮想三次元情報閲覧方法、コンピュータプログラム及び記録媒体
US7221366B2 (en) * 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
JP4050777B1 (ja) 2007-04-06 2008-02-20 株式会社デジタルマックス 画像表示システム
US8952982B2 (en) * 2007-04-24 2015-02-10 Sony Corporation Image display device, image display method and information recording medium for displaying and scrolling objects on a display
US8917286B2 (en) * 2008-11-11 2014-12-23 Sony Corporation Image processing device, information processing device, image processing method, and information processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235385A (ja) * 1999-02-16 2000-08-29 Fujitsu Ltd パノラマ画像表示システム，作成システムおよびそのプログラム記録媒体
RU2316820C2 (ru) * 2002-06-21 2008-02-10 Шлюмбергер Текнолоджи Бв Система и способ адаптивного присваивания меток многомерным изображениям

Also Published As

Publication number Publication date
RU2520353C2 (ru) 2014-06-20
US20120056903A1 (en) 2012-03-08
WO2010109570A1 (ja) 2010-09-30
CN102362308A (zh) 2012-02-22
KR101319575B1 (ko) 2013-10-22
US9250704B2 (en) 2016-02-02
CA2754672C (en) 2017-11-21
AU2009343075A1 (en) 2011-09-22
BRPI0925014B1 (pt) 2020-09-15
AU2009343075B2 (en) 2013-10-17
KR20110129487A (ko) 2011-12-01
CA2754672A1 (en) 2010-09-30
EP2413311A4 (en) 2016-07-13
EP2413311B1 (en) 2018-07-18
EP2413311A1 (en) 2012-02-01
CN102362308B (zh) 2014-04-09
RU2011142869A (ru) 2013-04-27

Similar Documents

Publication Publication Date Title
RU2520353C9 (ru) Устройство обработки информации и способ обработки информации
KR101400935B1 (ko) 화상 처리 장치, 정보 처리 장치, 화상 처리 방법, 및 정보 처리 방법
JP2007072564A (ja) マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
CN114442872A (zh) 一种虚拟用户界面的布局、交互方法及三维显示设备
JP2006507597A (ja) マークアップ画面に埋め込まれたオブジェクト画面の入力アイテムをフォーカシングする方法及びその情報記録媒体
JP5753240B2 (ja) 電子情報処理装置及びプログラム
JP5292146B2 (ja) 情報処理装置および情報処理方法
JP5520473B2 (ja) 情報処理装置および情報処理方法
JP5992729B2 (ja) 情報処理装置および情報処理方法
JP5395993B2 (ja) 電子情報処理装置およびコンピュータプログラム
US8972877B2 (en) Information processing device for displaying control panel image and information image on a display
JP5292148B2 (ja) 情報処理装置および情報処理方法
JP5292147B2 (ja) 情報処理装置および情報処理方法
JP5292149B2 (ja) 情報処理装置および情報処理方法
JP5520469B2 (ja) 画像処理装置および画像処理方法
JP5520472B2 (ja) 情報処理装置および情報処理方法
JP5920673B2 (ja) 画像処理装置および画像処理方法
JP5520471B2 (ja) 画像処理装置および画像処理方法
JP5524469B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
TH4A Reissue of patent specification