KR20110129487A - 정보처리장치 및 정보처리방법 - Google Patents

정보처리장치 및 정보처리방법 Download PDF

Info

Publication number
KR20110129487A
KR20110129487A KR1020117024890A KR20117024890A KR20110129487A KR 20110129487 A KR20110129487 A KR 20110129487A KR 1020117024890 A KR1020117024890 A KR 1020117024890A KR 20117024890 A KR20117024890 A KR 20117024890A KR 20110129487 A KR20110129487 A KR 20110129487A
Authority
KR
South Korea
Prior art keywords
image
viewpoint
area
data
display
Prior art date
Application number
KR1020117024890A
Other languages
English (en)
Other versions
KR101319575B1 (ko
Inventor
타카유키 시노하라
히데히코 모리사다
유테 린
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009075243A external-priority patent/JP5292147B2/ja
Priority claimed from JP2009075244A external-priority patent/JP5292148B2/ja
Priority claimed from JP2009075267A external-priority patent/JP5292149B2/ja
Priority claimed from JP2009075242A external-priority patent/JP5292146B2/ja
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20110129487A publication Critical patent/KR20110129487A/ko
Application granted granted Critical
Publication of KR101319575B1 publication Critical patent/KR101319575B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

우선, 표시장치에 링크가 설정된 표준화상을 표시한다(S18). 사용자가 입력장치를 조작하고, 시점이 제 1 링크 경계에 들어가면(S20의 Y), 레쥼해야 할 정보가 없다면(S22의 N) 동화상 데이터의 최초의 프레임을, 레쥼 정보가 있다면 그것을 판독하여(S22의 Y, S24) 레쥼 포인트의 프레임을 정지화상으로서 표시장치에 표시한다(S26). 시점이 제 2 링크 경계에 들어가면(S28의 Y) 동화상의 재생 및 표시를 시작한다(S30). 시점이 제 2 링크 경계에서 나오면(S32의 Y), 동화상재생을 정지하여 정지시켰을 때의 프레임을 정지화상으로서 표시하고, 레쥼 포인트를 기억한다(S34, S36). 시점이 제 1 링크 경계에서 나오면(S38의 Y), S18에서 표시한 표준화상을 표시한다(S40).

Description

정보처리장치 및 정보처리방법{INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD}
본 발명은 표시화상에 따른 사용자의 입력지시에 따라 정보처리를 행하는 정보처리기술에 관한 것이다.
게임 프로그램을 실행할 뿐만 아니라, 동화상을 재생할 수 있는 가정용 엔터테인먼트 시스템이 제안되고 있다. 이 가정용 엔터테인먼트 시스템에서는 GPU가 폴리곤을 이용한 3차원 화상을 생성한다(예를 들어, 특허문헌 1 참조)
한편, 고정밀한 사진 등의 디지털 화상에서 생성된 복수의 해상도의 타일화상을 이용하여 표시화상의 확대/축소 처리나 상하좌우방향의 이동처리를 행하는 기술이 제안되어 있다. 이 화상처리기술에서는 원화상 사이즈를 복수단계로 축소하여 다른 화상도의 화상을 생성하고, 각 계층의 화상을 1 또는 복수의 타일화상으로 분할하여 원화상을 계층구조로 표현한다. 통상, 가장 해상도가 낮은 화상은 하나의 화상으로 구성되고, 가장 해상도가 높은 원화상은 가장 많은 수의 화상으로 구성된다. 화상처리장치는 표시화상의 확대처리 또는 축소처리시에 사용하고 있는 타일화상을 다른 계층의 타일화상으로 전환함으로서 확대표시 또는 축소표시를 신속하게 행하도록 하고 있다.
미국특허 제6563999호 공보
최근 휴대단말 등에서도 표시화상의 사이즈가 확대되어 정보처리장치의 종류에 관계없이 고정밀 화상을 표시하는 가능하게 되고 있다. 그 때문에 시각에 호소하는 다양한 콘텐츠가 보다 친근한 것이 되었다. 그러나 표시해야 할 정보가 복잡화, 고도화하면 그것을 다시 사용하기 위해서는 다양한 지식이 필요하게 되어 조작도 복잡하게 된다. 이 때문에 정보의 질과 조작의 용이성은 트레이드 오프 관계에 있는 경우가 많다. 또한 화상을 포함하는 복잡한 콘텐츠를 작성하기 위해서는 더욱 전문적인 지식이 필요하게 된다. 또한 키의 할당을 이해하거나 복수의 키를 동시에 조작하는 상황은 장치의 취급에 익숙하지 않은 사용자에게 있어서는 특히 부담이 되기 쉬웠다.
본 발명은 이러한 과제를 감안하여 이루어진 것이며, 그 목적은 용이한 조작으로 다양한 처리를 실현할 수 있는 기술을 제공하는 데에 있다. 또한 다른 목적은 표시화상에 대한 사용자의 조작을 지원하는 기술을 제공하는 데에 있다.
본 발명의 한 형태는 정보처리장치에 관한 것이다. 이 정보처리장치는 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 보유하는 기억장치와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 입력정보 취득부와, 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 계층데이터로부터 표시화상을 생성하는 표시화상 처리부와, 시점이 화상 내의 소정의 영역에 대응된 처리를 개시하기 위한 조건을 만족할 때, 해당 처리를 실행하는 오브젝트 실행부를 구비하고, 이 조건은 화상평면 상에 설정한 상기 소정의 영역과, 상기 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정되는 것을 특징으로 한다.
본 발명의 또 다른 형태는 정보처리방법에 관한 것이다. 이 정보처리방법은, 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 표시하는 단계와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 단계와, 시점의 이동요구에 따라 표시장치에 표시하는 영역을 변화시키는 단계와, 화상 내의 소정의 영역에 대응되어 설정한, 처리를 개시하기 위한 조건을 시점이 만족할 때, 해당 처리를 실행하는 단계를 포함하고, 상기 조건은 화상평면 상에 설정한 소정의 영역과, 시점에 따라 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정되는 것을 특징으로 한다.
본 발명의 또 다른 형태는 콘텐츠의 데이터구조에 관한 것이다. 이 콘텐츠의 데이터구조는, 다른 해상도의 화상데이터를 화상도순으로 계층화하여 구성되는 계층데이터와, 상기 계층데이터를 이용하여 생성한 화상 내의 소정의 영역에 대응시킨 처리를 개시하기 위한 조건이며, 상기 화상평면 상에 설정한 소정의 영역과, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점에 의해 정해지는, 상기 화상 중, 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 조건을 기재한 설정파일을 대응시킨 것을 특징으로 한다.
본 발명의 또 다른 형태는 정보처리장치에 관한 것이다. 이 정보처리장치는, 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 보유하는 기억장치와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 입력정보 취득부와, 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 상기 계층데이터로부터 표시화상을 생성하는 표시화상 처리부와, 표시화상 내의 복수의 영역을 강조표시하는 가공을 행하는 화상가공부를 구비하고, 입력정보 취득부는 강조표시된 복수의 영역으로부터의 선택지시를 사용자로부터 추가로 접수하고, 표시화상 처리부는 또한 상기 선택지시에 따라 표시하는 영역을 변화시키는 것을 특징으로 한다.
본 발명의 또 다른 형태는 정보처리방법에 관한 것이다. 이 정보처리방법은, 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 단계와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 단계와, 시점의 이동요구에 따라 표시장치에 표시하는 영역을 변화시키는 단계와, 표시하는 영역에 포함되는 복수의 영역을 강조표시하는 가공을 행하는 단계와, 강조표시된 복수의 영역으로부터의 선택지시를 사용자로부터 접수하는 단계와, 선택지시에 따라 표시하는 영역을 추가로 변화시키는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 형태는 콘텐츠의 데이터구조에 관한 것이다. 이 콘텐츠의 데이터구조는, 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터와, 계층데이터를 이용하여 표시한 화상 중, 강조표시하여 선택 대상으로 하는 복수의 영역에 대응시켜서 대응하는 영역이 선택되었을 때에 화상의 표시영역을 변화시킨 후, 덧붙여서 표시하는 화상의 데이터를 대응시킨 것을 특징으로 한다.
본 발명의 또 다른 형태는 정보처리장치에 관한 것이다. 이 정보처리장치는, 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 보유하는 기억장치와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자가 조작하는 입력장치를 통하여 접수하는 입력장치 취득부와, 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 계층데이터로부터 표시화상을 생성하는 동시에, 사용자가 입력장치에 대하여 특정의 조작을 행하였을 때, 표시 중의 화상보다 낮은 해상도를 갖는 하나의 기준표시화상을 계층데이터로부터 생성하는 표시화상 처리부를 구비하고, 기준표시화상은 화상평면으로부터의 거리가 다른 복수의 시점에 대응하는 복수의 영역의 화상이며, 상기 하나의 기준표시화상은 표시 중인 화상에 의해 상기 기준표시화상으로부터 선택되는 것을 특징으로 한다.
본 발명의 또 다른 형태는 정보처리방법에 관한 것이다. 이 정보처리방법은, 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 단계와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자가 조작하는 입력장치를 통하여 접수하는 단계와, 시점의 이동요구에 따라 표시장치에 표시하는 영역을 변화시키는 단계와, 사용자가 입력장치에 대하여 특정의 조작을 행하였을 때, 표시 중인 화상보다 낮은 해상도를 갖는 하나의 기준표시화상을 계층데이터로부터 생성하는 단계와, 기준표시화상은 화상평면으로부터의 거리가 다른 복수의 시점에 대응하는 복수의 영역의 화상이며, 상기 하나의 기준표시화상은 표시 중인 화상에 의해 상기 기준표시화상에서 선택되는 것을 특징으로 한다.
본 발명의 또 다른 형태는 콘텐츠의 데이터구조에 관한 것이다. 이 콘텐츠의 데이터구조는, 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터와, 계층데이터에 포함되는 화상데이터에 있어서, 계층데이터로부터 생성한 화상을 표시중에 사용자가 입력장치에 대하여 특정의 조작을 행하였을 때에, 해당 표시 중인 화상의 영역에 따라 그 후의 표시 대상으로서 선택되는, 해상도가 다른 복수의 기준표시화상의 정보를 대응시킨 것을 특징으로 한다.
본 발명의 또 다른 형태는 정보처리장치에 관한 것이다. 이 정보처리장치는, 줌업해야 할 대상을 나타내는 특정영역을 포함하는 화상의 데이터를 보유하는 기억장치와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 입력정보 취득부와, 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 화상의 데이터로부터 표시화상을 생성하는 표시화상 처리부와, 사용자가 화상의 확대조작을 행하고 있을 때에 시점이 상기 특정영역과, 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 만족할 때는 시점에 수평방향의 움직임을 가함으로써 화면에 비추어지는 영역을 특정영역의 방향으로 유도하도록 표시화상 처리부를 제어하는 유도제어부를 구비한 것을 특징으로 한다.
본 발명의 또 다른 형태는 정보처리방법에 관한 것이다. 이 정보처리방법은, 줌업해야 할 대상을 나타내는 특정영역을 포함하는 화상의 데이터를 메모리에서 판독하여 표시장치에 출력하는 단계와, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 단계와, 시점의 이동요구에 따라 표시장치에 표시하는 영역을 변화시키는 단계와, 사용자가 화상의 확대조작을 행하고 있을 때에 시점이 특정영역과, 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 만족할 때는 시점에 수평방향의 움직임을 가함으로써 화면에 비추어지는 영역을 특정영역 방향으로 유도하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 형태는 콘텐츠의 데이터구조에 관한 것이다. 이 콘텐츠의 데이터구조는, 화상의 데이터와, 화상 중 줌업해야 할 대상을 나타내는 특정영역의 데이터와, 사용자가 화상의 확대조작을 행하고 있을 때에 화면에 비추어지는 영역을 특정영역 방향으로 유도하기 위해 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점에 수평방향의 움직임을 더하는 조건에 있어서, 상기 특정영역과 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 대응시킨 것을 특징으로 한다.
또한, 이상의 구성요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 컴퓨터 프로그램을 기록한 기록매체 등의 사이에서 변환한 것도 또한 본 발명의 형태로서 유효하다.
본 발명에 의하면 용이한 조작으로 다양한 정보처리를 실현할 수 있게 된다.
도 1은 제 1 실시예에 따른 화상처리 시스템의 사용환경을 나타내는 도면이다.
도 2는 도 1의 화상처리 시스템에 적용할 수 있는 입력장치의 외관구성을 나타내는 도면이다.
도 3은 제 1 실시예에서 사용하는 화상데이터의 계층구조예를 나타내는 도면이다.
도 4는 제 1 실시예에서의 정보처리장치의 구성을 나타내는 도면이다.
도 5는 제 1 실시예에서의 화상데이터의 흐름을 모식적으로 나타내는 도면이다.
도 6은 제 1 실시예에서 표시대상이 되는 복수의 계층데이터의 관계를 모식적으로 나타내는 도면이다.
도 7은 제 1 실시예에서의 제어부의 구성을 상세히 나타내는 도면이다.
도 8은 제 1 실시예에서의 타겟 직사각형 및 경계 직사각형의 정의예를 나타내는 도면이다.
도 9는 제 1 실시예에의 경계 직사각형의 배율의 정의예를 나타내는 도면이다.
도 10은 제 1 실시예에서의 화면이 경계 직사각형에서 이탈되는 비율을 나타내는 파라미터 「overshoot」의 정의를 설명하는 도면이다.
도 11은 제 1 실시예에서의 경계 직사각형이 화면에서 이탈되는 비율을 나타내는 파라미터 「invisibility」의 정의를 설명하는 도면이다.
도 12는 제 1 실시예에서 설정파일의 XML에서의 기술예를 나타내는 도면이다.
도 13은 제 1 실시예에서의 타겟 직사각형, 경계 직사각형 및 링크 경계의 관계를 나타내는 도면이다.
도 14는 제 1 실시예에서 파라미터 「max_overshoot」를 변화시켰을 때의 링크 경계의 변화를 설명하기 위한 도면이다.
도 15는 제 1 실시예에 있어서 파라미터 「max_invisibility」를 변화시켰을 때의 링크 경계의 변화를 설명하기 위한 도면이다.
도 16은 제 1 실시예에 있어서 정보처리장치에 의해 표시장치에 표시되는 화상의 예를 나타내는 도면이다.
도 17은 제 1 실시예에 있어서 매립 오브젝트로서 동화상재생 처리를 실시하는 처리순서를 나타내는 플로우차트이다.
도 18은 제 1 실시예에 있어서 매립 오브젝트로서 스토어 링크를 동작시킬 때에 표시하는 화상의 예를 나타내는 도면이다.
도 19는 제 1 실시예에 있어서 매립 오브젝트로서 선택접수표시를 행한 경우의 정보처리장치의 처리순서를 나타내는 플로우차트이다.
도 20은 제 1 실시예에 있어서 시점을 임의로 이동시켰을 때에 표시영역을 되돌리는 형태를 설명하기 위한 도면이다.
도 21은 제 2 실시예에 있어서 링크가 설정되어 있는 화상의 예를 나타내는 도면이다.
도 22는 제 2 실시예에서의 제어부의 구성을 상세히 나타내는 도면이다.
도 23은 제 2 실시예에 있어서 시점의 차이에 의한 링크영역과 화면의 위치관계의 변화를 설명하는 도면이다.
도 24는 제 2 실시예에서의 유도범위와 준유도범위의 관계를 모식적으로 나타내는 도면이다.
도 25는 제 2 실시예에 있어서 링크 영역의 중심선으로부터의 시점의 수평방향의 거리에 대한 유도력의 설정예를 나타내는 도면이다.
도 26은 제 2 실시예에 있어서 정보처리장치가 행하는, 링크영역으로의 화면의 유도 및 링크의 실행에 따른 처리순서를 나타내는 플로우차트이다.
제 1 실시예
도 1은 본 발명의 실시예에 따른 정보처리 시스템(1)의 사용환경을 나타낸다. 정보처리 시스템(1)은 화상처리, 동화상재생, 음성재생, 통신 등의 기능 중 적어도 어느 하나를 포함하는 콘텐츠를 처리하는 정보처리장치(10)와, 정보처리장치(10)에 의한 처리결과를 출력하는 표시장치(12)를 구비한다. 표시장치(12)는 화상을 출력하는 디스플레이 및 음성을 출력하는 스피커를 갖는 텔레비젼이어도 된다. 표시장치(12)는 정보처리장치(10)에 유선케이블로 접속되어도 되고, 또한 무선 LAN(Local Area Network) 등에 의해 무선접속되어도 된다.
정보처리 시스템(1)에 있어서, 정보처리장치(10)는 케이블(14)을 통하여 인터넷 등의 외부 네트워크에 접속하고, 계층화된 압축화상의 데이터를 포함하는 콘텐츠의 소프트웨어 등을 다운로드하여 취득해도 된다. 또한 정보처리장치(10)는 무선통신에 의해 외부 네트워크에 접속해도 된다.
또한 정보처리장치(10)는 게임장치나 퍼스널 컴퓨터 등이어도 되고, 소프트웨어를 각종 기록매체에서 로드함으로써 후술하는 기능을 실현해도 된다. 본 실시예에서는 후술하는 화상처리기구에 의해 표시장치(12)에 표시한 화상을 사용자 인터페이스로 한다. 사용자는 입력장치에 의해 표시화상을 변화시킴으로써 정보처리장치(10)에 대하여 지시입력을 행한다. 해당 지시입력에 대하여 정보처리장치(10)가 실행하는 처리는 콘텐츠에 따라 달라도 된다. 구체예는 후술하기로 한다.
사용자가 표시장치(12)에 표시된 화상을 보면서 표시영역의 최대/축소, 상하좌우방향으로의 스크롤을 요구하는 입력을 입력장치에 대하여 행하면, 입력장치는 그에 따라 표시영역의 이동 및 확대축소의 요구신호를 정보처리장치(10)로 송신한다. 정보처리장(10)는 해당 신호에 따라 표시장치(12)의 화면 내의 화상을 변화시킨다. 이러한 표시영역의 이동 및 확대축소는 사용자의 가상적인 시점의 이동이라고도 파악할 수 있기 때문에, 이후 「시점의 이동」이라 총칭한다. 정보처리장치(10)는 또한 미리 정해진 규칙에 따라 화상 중의 소정의 영역과 대응된 처리를 실행한다. 예를 들어, 사용자가 소정의 영역을 줌업하면 정보처리장치(10)는 해당 영역에 대응시켜 둔 동작을 시작한다.
도 2는 입력장치(20)의 외관구성예를 나타낸다. 입력장치(20)는 사용자가 조작 가능한 조작수단으로서 십자 키(21), 아날로그 스틱(27a, 27b)과, 4종의 조작버튼(26)을 구비한다. 4종의 조작버튼(26)은 ○버튼(22), ×버튼(23), □버튼, 및 △버튼(25)으로 구성된다.
정보처리 시스템(1)에 있어서, 입력장치(20)의 조작수단에는 시점의 이동, 즉 표시영역의 확대/축소 요구 및 상하좌우방향으로의 스크롤 요구를 입력하기 위한 기능이 할당된다. 예를 들면, 표시영역의 확대/축소 요구의 입력기능은 우측의 아날로그 스틱(27b)에 할당된다. 사용자는 아날로그 스틱(27b)을 앞으로 당김으로써 표시영역의 축소요구를 입력할 수 있고, 또 앞에서부터 밀어냄으로써 표시영역의 확대요구를 입력할 수 있다. 또한, 표시영역의 스크롤의 입력기능은 십자 키(21)에 할당된다. 사용자는 십자 키(21)를 누름으로써 십자 키(21)를 누른 방향으로의 스크롤 요구를 입력할 수 있다. 또한, 시점이동 요구의 입력기능은 다른 조작수단으로 할당되어도 되고, 예를 들어 아날로그 스틱(27a)에 스크롤 요구의 입력기능이 할당되어도 된다.
입력장치(20)는 입력된 시점이동 요구신호를 정보처리장치(10)로 전송하는 기능을 갖고, 본 실시예에서는 정보처리장치(10)와의 사이에서 무선통신 가능하게 구성된다. 입력장치(20)와 정보처리장치(10)는 Bluetooth(블루투스)(등록상표) 프로토콜이나 IEEE802.11 프로토콜 등을 이용하여 무선접속을 확립해도 된다. 또한 입력장치(20)는 정보처리장치(10)와 케이블을 통하여 접속하여 시점이동 요구신호를 정보처리장치(10)로 전송해도 된다.
도 3은 본 실시예에서 사용하는 화상데이터의 계층구조예를 나타낸다. 화상데이터는 깊이(Z축)방향으로 제 0 계층(30), 제 1 계층(32), 제 2 계층(34) 및 제 3 계층(36)으로 이루어지는 계층구조를 갖는다. 또한 동 도면에서는 4계층만 나타내고 있으나, 계층수는 이것에 한정되지 않는다. 이하, 이러한 계층구조를 갖는 화상데이터를 「계층데이터」라 부른다.
도 3에 나타내는 계층데이터는 쿼드트리(Quadtree)의 계층구조를 갖고, 각 계층은 1 이상의 타일화상(38)으로 구성된다. 모든 타일화상(38)은 동일한 화소수를 갖는 동일 사이즈로 형성되고, 예를 들어 256×256화소를 갖는다. 각 계층의 화상데이터는 하나의 화상을 다른 해상도로 표현하고 있고, 최고 해상도를 갖는 제 3 계층(36)의 원화상을 복수단계로 축소하여 제 2 계층(34), 제 1 계층(32), 제 0 계층(30)의 화상데이터가 생성된다. 예를 들면, 제 N 계층의 해상도(N은 0 이상의 정수)는 좌우(X축)방향, 상하(Y축)방향 모두 제 (N+1)계층의 해상도의 1/2이어도 된다.
정보처리장치(10)에 있어서, 계층데이터는 소정의 압축형식으로 압축된 상태로 기억장치에 보유되어 있고, 콘텐츠의 기동에 있어서 기억장치에서 판독되어 디코드된다. 본 실시예의 정보처리장치(10)는 복수 종류의 압축형식에 대응한 디코드 기능을 갖고, 예를 들면 S3TC 형식, JPEG 형식, JPEG2000 형식의 압축데이터를 디코드 가능하게 한다. 계층데이터에 있어서, 압축처리는 타일화상단위로 행해지고 있어도 되고, 또한 동일계층 또는 복수의 계층에 포함되는 복수의 타일화상 단위로 행해지고 있어도 된다.
계층데이터의 계층구조는 도 3에 나타내는 바와 같이 좌우방향을 X축, 상하방향을 Y축, 깊이방향을 Z축으로 하여 설정되고, 가상적인 3차원 공간을 구축한다.
정보처리장치(10)는 입력장치(20)에서 공급되는 시점이동 요구신호로부터 표시영역의 이동량을 도출하면 그 이동량을 이용하여 가상공간에서의 프레임의 4모서리의 좌표(프레임 좌표)를 도출한다. 가상공간에서의 프레임 좌표는 표시화상의 생성처리에 이용된다. 또한, 가상공간에서의 프레임 좌표 대신에 정보처리장치(10)는 계층을 특정하는 정보와, 그 계층에서의 텍스처 좌표(UV 좌표)를 도출해도 된다. 이하, 계층특정정보 및 텍스처 좌표의 조합도 프레임 좌표라 부른다.
계층데이터에 포함되는 각 계층의 화상데이터는 가상공간의 Z축에 대하여 이산적으로 존재한다. 그 때문에 화상데이터가 없는 계층간의 축척율로 화상을 표시하는 경우는 X축방향에서 근방에 있는 화상데이터를 이용한다. 예를 들면, 표시화상의 축척율이 제 2 계층(34)의 근방에 있는 경우, 표시화상은 해당 제 2 계층의 화상데이터를 이용하여 작성한다. 이것을 실현하기 위해서는 각 계층의 사이, 예를 들어 중간에 소스화상의 전환 경계를 설정한다. 표시화상의 축척율이 해당 전환경계를 넘으면 표시화상의 생성에 이용하는 화상데이터를 전환하고, 해당 화상을 확대하거나 축소하여 표시한다.
도 4는 정보처리장치(10)의 구성을 나타내고 있다. 정보처리장치(10)는 무선 인터페이스(40), 스위치(42), 표시처리부(44), 하드디스크 드라이브(50), 기록매체 장착부(52), 디스크 드라이브(54), 메인 메모리(60), 버퍼 메모리(70) 및 제어부(100)를 갖고 구성된다. 표시처리부(44)는 표시장치(12)의 디스플레이에 표시하는 데이터를 버퍼하는 프레임 메모리를 갖는다.
스위치(42)는 이서넷 스위치(이서넷은 등록상표)로서, 외부의 기기와 유선 또는 무선으로 접속하여 데이터를 송수신하는 디바이스이다. 스위치(42)는 케이블(14)을 통하여 외부 네트워크에 접속하고, 계층화된 압축화상 데이터와, 해당 화상을 이용하여 다양한 기능을 실현하기 위한 설정파일을 포함하는 콘텐츠 파일을 수신해도 된다. 콘텐츠 파일에는 다양한 기능을 실행하기 위해 필요한 데이터, 예를 들어 압축부호화된 동화상 데이터, 음악데이터, 웹사이트의 이름과 URL(Uniform Resource Locator)과의 대응 데이터 등이 추가로 포함되어 있어도 된다.
또한, 스위치(42)는 무선 인터페이스(40)에 접속하고, 무선 인터페이스(40)는 소정의 무선통신 프로토콜로 입력장치(20)와 접속한다. 입력장치(20)에 있어서 사용자로부터 입력받은 시점이동 요구신호는 무선 인터페이스(40) 스위치(42)를 경우하여 제어부(100)에 공급된다.
하드디스크 드라이브(50)는 데이터를 기억하는 기억장치로서 기능한다. 스위치(42)를 통하여 수신된 각종 데이터는 하드디스크 드라이브(50)에 저장된다. 기록매체 장착부(52)는 메모리카드 등의 리무버블 기록매체가 장착되면 리무버블 기록매체에서 데이터를 판독한다. 디스크 드라이브(54)는 판독 전용의 ROM 디스크가 장착되면 ROM 디스크를 구동하여 인식하고, 데이터를 판독한다. ROM 디스크는 광디스크나 광자기 디스크 등이어도 된다. 이 콘텐츠 파일은 이들 기록매체에 저정되어 있어도 된다.
제어부(100)는 멀티코어 CPU를 구비하고, 하나의 CPU 중에 하나의 범용적인 프로세서 코어와, 복수의 심플한 프로세서 코어를 갖는다. 범용 프로세서 코어는 PPU(Power PC Processor Unit)라 불리우고, 나머지의 프로세서 코어는 SPU(Synergistic Processor Unit)라 불리운다.
제어부(100)는 메인 메모리(60) 및 버퍼 메모리(70)에 접속하는 메모리 컨트롤러를 구비한다. PPU는 레지스터를 갖고, 연산실행 주체로서 메인 프로세서를 구비하여, 실행할 애플리케이션에서의 기본처리단위로서의 타스크를 각 SPU에 효율적으로 할당한다. 또한, PPU 자신이 타스크를 실행해도 된다. SPU는 레지스터를 갖고, 연산실행 주체로서의 서브프로세서와 로컬한 기억영역으로서의 로컬 메모리를 구비한다. 로컬 메모리는 버퍼 메모리(70)로서 사용되어도 된다.
메인 메모리(60) 및 버퍼 메모리(70)는 기억장치이며, RAM(랜덤 액세스 메모리)로서 구성된다. SPU는 제어유닛으로서 전용의 DMA(Direct Memory Access) 컨트롤러를 갖고, 메인 메모리(60)와 버퍼 메모리(70) 사이의 데이터 전송을 고속으로 행할 수 있고, 또한 표시처리부(44)에서의 프레임 메모리와 버퍼 메모리(70) 사이에서 고속의 데이터 전송을 실현할 수 있다. 본 실시예의 제어부(100)는 복수의 SPU를 병렬동작시킴으로써 고속의 화상처리기능을 실현한다. 표시처리부(44)는 표시장치(12)에 접속되어 사용자로부터의 요구에 따른 처리 결과를 출력한다.
본 실시예의 정보처리장치(10)는 시점의 이동에 수반하여 표시화상을 원활하게 변경하기 위해 미리 압축화상 데이터의 적어도 일부를 하드디스크 드라이브(50)로부터 메인 메모리(60)로 로드해 두어도 된다. 또한 사용자로부터의 시점이동 요구를 기초로, 장래 표시시킬 영역을 예측하고, 메인 메모리(60)에 로드한 압축화상 데이터의 또한 일부를 디코드하여 버퍼 메모리(70)에 저장해도 된다. 이로 인하여 나중의 필요한 타이밍에서 표시화상의 생성에 사용하는 화상을 순간적으로 전환할 수 있게 된다.
도 5는 본 실시예에서의 화상데이터의 흐름을 모식적으로 나타내고 있다. 우선 콘텐츠 파일에 포함되는 계층데이터는 하드디스크 드라이브(50)에 저장되어 있다. 하드디스크 드라이브(50) 대신에 기록매체 장착부(52)나 디스크 드라이브(54)에 장착된 기록매체가 보유하고 있어도 된다. 혹은 정보처리장치(10)가 네트워크를 통하여 접속한 화상 서버로부터 계층데이터를 다운로드하도록 해도 된다. 여기에서의 계층데이터는 상술한 바와 같이 S3TC 형식 등에 의한 고정길이 압축 혹은 JPEG 형식 등에 의한 가변길이 압축이 이루어져 있다.
이 계층데이터 중, 적어도 일부의 화상데이터를 압축한 상태인 채 메인 메모리(60)에 로드한다(S10). 여기에서, 로드하는 영역은 현재의 표시화상의 가상공간에서의 근방이나 화상의 내용, 사용자의 열람이력 등에 기초하여 높은 빈도로 표시요구가 이루어진다고 예측되는 영역 등, 미리 정한 규칙에 따라 결정한다. 로드는 시점이동 요구가 이루어졌을 때 뿐만 아니라, 예를 들어 소정의 시간간격으로 수시로 행한다. 이로 인하여 로드 처리가 1시기에 집중하지 않도록 한다.
이어서, 메인 메모리(60)에 저장되어 있는 압축화상 데이터 중, 표시에 필요한 영역의 화상 또는 필요하다고 예측되는 영역의 화상의 데이터를 디코드하고, 버퍼 메모리(70)에 저장한다(S12). 버퍼 메모리(70)는 적어도 2개의 버퍼영역(72, 74)을 포함한다. 각 버퍼영역(72, 74)의 사이즈는 프레임 메모리(76)의 사이즈보다 크게 설정되고, 입력장치(20)로부터 시점이동의 요구신호가 입력된 경우에, 어느 정도의 양의 이동에 대해서는 버퍼영역(72, 74)으로 전개한 화상데이터로 표시화상을 생성할 수 있도록 한다.
버퍼영역(72, 74)의 한쪽은 표시화상의 생성에 이용하는 화상을 보유하기 위해 이용되는 표시용 버퍼이며, 다른쪽은 이후에 필요하다고 예측되는 화상을 준비하기 위해 이용되는 디코드용 버퍼이다. 도 5의 예에서는 버퍼영역(72)이 표시용 버퍼, 버퍼영역(74)이 디코드용 버퍼이며, 표시영역(68)이 표시되어 있는 것으로 한다.
이어서, 표시용 버퍼인 버퍼영역(72)에 저장된 화상 중, 표시영역(68)의 화상을 프레임 메모리(76)에 묘사한다(S14). 이 동안에 새로운 영역의 화상이 필요에 따라 디코드되고, 버퍼영역(74)에 저장된다. 저장이 완료된 타이밍이나 표시영역(68)의 이동량 등에 따라 표시용 버퍼와 디코드용 버퍼를 전환한다(S16). 이로 인하여 표시영역의 이동이나 축척율의 변경 등에 대하여 표시화상을 자연스럽게 전환할 수 있다.
이제까지 설명한 처리는 어느 화상의 표시영역의 이동, 확대축소를 행하기 위해 도 3에 나타낸 바와 같은 하나의 계층데이터에 의해 구성되는 가상공간에 있어서, 사용자로부터의 시점이동 요구에 따라 프레임 좌표를 이동시키는 형태였다. 한편, 복수의 계층데이터를 표시대상으로서 준비하고, 표시화상이 계층데이터 사이를 왔다갔다 하도록 해도 된다. 도 6은 그러한 형태에서 표시대상으로 되는 복수의 계층데이터의 관계를 모식적으로 나타내고 있다.
도면 중, 2개의 삼각형은 다른 계층데이터(150 및 152)를 나타내고 있다. 각각의 계층데이터(150, 152)는 실제로는 도 3에 나타내는 바와 같이 해상도가 다른 복수의 화상데이터가 도면의 Z축방향으로 이산적으로 존재하는 구성을 갖는다. 사용자가 입력장치(20)에 의해 표시영역의 확대/축소를 요구하면 표시영역, 나아가서는 시점이 도면의 Z축방향으로 이동하게 된다. 한편, 표시영역을 상하좌우로 이동시키는 요구를 행하면, 도면의 수평면을 이동하게 된다. 이러한 가상공간에 있어서, 2개의 계층데이터(150 및 152)가 도면과 같이 서로 겹친 화상데이터를 구축한다.
그리고 계층데이터(150)의 화상을 표시중, 사용자가 계속적으로 확대요구를 행하면, 시점이 화상표 a와 같이 이동하고, 계층데이터(152)의 영역으로 들어가는, 즉 계층데이터 사이를 이동하게 된다. 다른 계층데이터의 영역으로 진입하면 표시화상을 생성하기 위한 데이터가 계층데이터(150)에서 계층데이터(152)로 전환된다. 이 처리는 이제까지 설명한 화상표시의 처리순서에 있어서, 메인 메모리(60)로 로드하는 대상의 계층데이터를 변경하는 것 만으로 실현할 수 있다.
도 6과 같은 복수의 계층데이터로 이루어지는 화상데이터를 구축하기 위해 계층데이터(150)와 계층데이터(152)를 전환할 때의 화상의 해상도 및 위치를 미리 설정해 둔다. 이 설정은 도 6 중, 선(154)으로 나타내고, 이로 인하여 계층데이터의 겹침 상태를 결정할 수 있다. 동 도면의 예에서는 Z축이 z1이라는 해상도, 선(154)이 나타내는 위치에 있어서 계층데이터(150)에서 계층데이터(152)로의 전환가 행해진다. 이후, 이러한 계층데이터간의 전환을 「링크」라 부른다. 또한 전환를 행하는 계층데이터의 화상은 축척율이 다른 동일한 화상이어도 되고, 전혀 다른 화상이어도 된다.
또한, 계층데이터(152)로의 표시화상의 전환 대신에, 동화상재생, 음성재생, 표시의 가공, 표시영역의 이동이라는 처리를 행하도록 해도 된다. 이 경우도 선(154)과 같이 계층데이터(150)에 대하여 링크 포인트를 설정해 두고, 시점이 해당 포인트에 도달하면 그것에 대응시켜둔 처리를 시작한다.
이와 같이 하면 사용자가 계층데이터(150)의 화상을 보면서 어느 영역으로 시점을 접근해가면 그 영역에 대응된 정보가 표시되거나, 동화상재생이나 애플리케이션 기동이 이루어지는 형태를 실현할 수 있다. 이러한 포인트를 하나의 화상데이터에 복수 설정하면 복수의 처리 중에서 선택하여 동작시키는 메뉴화면을 구축할 수 있다. 이와 같이 시점의 이동에 의해 시작하는 처리를 「매립 오브젝트」라 부른다. 그리고 화상데이터와 매립 오브젝트의 관련도 또한 「링크」라 부른다.
도 7은 본 실시예에서의 제어부(100)의 구성을 상세히 나타내고 있다. 제어부(100)는 입력장치(20)로부터 사용자가 입력한 정보를 취득하는 입력정보 취득부(102), 표시대상의 계층데이터를 하드디스크 드라이브(50)로부터 로드하는 로드부(103), 입력에 따라 표시영역을 결정하는 표시영역 결정부(104), 압축화상 데이터를 디코드하는 디코드부(106), 표시화상을 묘사하는 표시화상 처리부(114)를 포함한다. 제어부(100)는 또한 시점이 설정된 링크의 조건을 만족하고 있는지 판단하는 링크 판정부(116), 매립 오브젝트를 실행하는 오브젝트 실행부(117)를 포함한다.
도 7에 있어서, 여러가지 처리를 행하는 기능블록으로서 기재되는 각 요소는 하드웨어적으로는 CPU(Central Processing Unit), 메모리, 그 밖의 LSI로 구성할 수 있고, 소프트웨어적으로는 메모리에 로드된 프로그램 등에 의해 실현된다. 이미 설명한 바와 같이 제어부(100)는 하나의 PPU와 복수의 SPU를 갖고, PPU 및 SPU가 각각 단독 또는 협동하여 각 기능블록을 구성할 수 있다. 따라서, 이들의 기능블록이 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의해 여러가지 형태로 실현될 수 있는 것은 당업자에게는 이해되는 바이며, 어느 하나로 한정되는 것은 아니다.
하드디스크 드라이브(50)에는 계층데이터, 해당 계층데이터에 설정된 링크의 정보 등을 기재한 설정파일을 포함하는 콘텐츠 파일을 저장해 둔다, 복수의 계층데이터로 이루어지는 화상데이터를 표시하는 경우는 복수의 계층데이터와 각각에 대응하는 설정파일을 저장한다. 콘텐츠 파일에는 또한 매립 오브젝트의 처리에 필요한 동화상데이터, 음성데이터, 화상 모듈 데이터, 게임 등의 애플리케이션 프로그램 등을 필요에 따라 포함시켜도 된다.
입력정보 취득부(102)는 입력장치(20)의 사용자에 의한 조작에 따라 콘텐츠의 기동/종료, 시점의 이동 등의 요구에 관한 정보를 입력장치(20)에서 취득하고, 해당 정보를 필요에 따라 표시영역 결정부(104), 로드부(103)에 통지한다. 로드부(103)는 입력정보 취득부(102)로부터 콘텐츠의 기동 요구가 이루어진 것을 통지받으면 콘텐츠의 초기화상의 계층데이터 및 그 설정 파일을 하드디스크 드라이브(50)에서 판독하여 메인 메모리(60)에 저장한다.
로드부(103)는 또한 시점의 이동처의 계층데이터나 매립 오브젝트의 실행에 필요한 데이터 등을 필요에 따라 하드디스크 드라이브(50)에서 판독하여 메인 메모리(60)에 저장한다. 표시영역 결정부(104)는 입력정보 취득부(102)로부터 시점의 이동요구가 이루어진 것을 통지받으면 시점의 이동량을 계층데이터의 가상공간에서의 좌표로 변환하고 표시해야 할 이동처의 프레임 좌표를 결정한다.
디코드부(106)는 메인 메모리(60)에서 압축화상 데이터의 일부를 판독하여 디코드하고, 버퍼 메모리(70)에 디코드 후의 데이터를 저장한다. 디코드부(106)가 디코드하는 데이터는 표시영역을 포함하는 소정 사이즈의 화상데이터이면 된다. 미리 광범위한 화상데이터를 디코드하고, 버퍼 메모리(70)에 저장해 둠으로써 메인 메모리(60)에서의 판독 횟수를 줄일 수 있어 원활한 시점 이동을 실현할 수 있다.
표시화상 처리부(114)는 표시영역 결정부(104)가 결정한 표시해야 할 영역의 프레임 좌표를 취득하고, 버퍼 메모리(70)에서 대응하는 화상데이터를 판독하여 표시처리부(44)의 프레임 메모리(76)에 묘사한다. 링크 판정부(116)는 메인 메모리(60)에 저장한 표시 중인 계층데이터에 대응된 설정파일을 참조하여 이동처의 시점이 링크의 조건을 만족하고 있는지의 여부를 판정한다. 본 실시예에서 설정하는 링크처는 상술한 바와 같이 다른 계층데이터로의 링크와, 매립 오브젝트로의 링크가 있다.
오브젝트 실행부(117)는 링크판정부(116)가 매립 오브젝트로의 링크조건을 만족한다고 판정한 경우에, 해당하는 매립 오브젝트를 실행한다. 해당 매립 오브젝트를 실행하기 위한 프로그램이나 데이터나 메인 메모리(60)에 저장되어 있지 않으면 로드부(103)가 하드디스크 드라이브(50)로부터 메인 메모리(60)로 로드한다. 오브젝트 실행부(117)가 실행하는 처리의 내용은 한정되지 않는다. 따라서, 오브젝트 실행부(117)는 시점의 위치 및 설정 파일의 설정에 따라 다른 종류의 처리를 적절히 실행해도 된다.
매립 오브젝트의 하나로서 표시 중의 화상에 가공을 실시하는 경우는, 오브젝트 실행부(117)가 표시화상 처리부(114)로 그 취지의 요구를 행하고, 표시화상 처리부(114)가 가공화상을 묘사한다. 또한, 매립 오브젝트의 하나로서 표시 중의 화상에 대한 시점을 이동시키는 경우는 오브젝트 실행부(117)가 표시영역 결정부(104)에 그 취지의 요구를 행하고, 표시영역 결정부(104)가 이동처의 표시영역을 결정한다. 동화상재생이나 음성재생을 행하는 경우는, 오브젝트 실행부(117)가 메인 메모리(60)보다 동화상 데이터, 음성데이터를 판독하고, 디코드하여 표시처리부(44)에 출력하거나 표시장치(12)의 스피커로 출력한다.
링크판정부(116)에 의해 다른 계층데이터로의 링크 조건을 만족한다고 판정된 경우는, 메인 메모리(60)에 링크처의 계층데이터가 저장되어 있지 않으면 로드부(103)가 하드디스크 드라이브(50)로부터 로드한다. 표시영역 결정부(104)는 링크판정부(116)로부터 해당 판정결과를 취득하고, 프레임 좌표를 링크처의 계층데이터의 것으로 변환하고, 해당 계층데이터의 식별정보와 함께 디코드부(106)에 통지한다. 디코드부(106)는 그것에 따라 링크처의 계층데이터를 처리 대상으로 한다.
이어서, 설정 파일의 설정예에 대하여 설명한다. 도 8∼도 11은 설정파일에서의 각 데이터의 정의예를 설명하는 도면이다. 도 8은 타겟 직사각형 및 경계 직사각형의 정의예를 나타내고 있다. 도면 중, 타겟 직사각형(82)은 화상 중, 링크를 설정하는 대상이 표시되어 있는 영역, 혹은 그것에 외접하는 직사각형 영역이다. 경계 직사각형(84)은 링크를 유효로 하는 시점의 범위를 나타내는 직사각형이다. 즉, 경계 직사각형(84)에 시점이 들어간 경우, 타겟 직사각형(82)에 대한 링크가 유효하게 되고, 링크처의 다른 계층의 데이터로 표시를 전환하거나 매립 오브젝트가 작동한다.
이 예에서는, 좌상부의 정점의 좌표를 (0, 0), 우하부의 정점의 좌표를 (W, H)로 하는 기준좌표계를 나타내는 기준 직사각형(80)에 대하여 타켓 직사각형(82) 및 경계 직사각형(84)을 설정하고 있다. 여기에서, 기준 직사각형(80)은 표시대상의 화상 전체라고 파악할 수 있고, 좌표의 단위는 예를 들어 화소수로 할 수 있다. 또한, 기준 직사각형(80)의 좌상부의 정점(0, 0)에서 타겟 직사각형(82)의 중심까지의 거리를 파라미터 「center」, 타겟 직사각형(82)의 높이를 파라미터「height」, 폭을 파라미터 「width」로 하고, 이들 3개의 파라미터로 타겟 직사각형(82)을 정의한다.
또한, 타겟 직사각형(82)의 중심에서 경계 직사각형(84)의 중심까지의 거리를 파라미터 「offset」, 타겟 직사각형(82)에 대한 경계 직사각형(84)의 배율을 파라미터 「scale」로 하고, 이들 2개의 파라미터로 경계 직사각형(84)을 정의한다. 이 때 도면에 나타내는 바와 같이 경계 직사각형(84)의 높이는 height×scale, 폭은 width×sclae이 된다. 또한 파라미터 「center」 및 파라미터「offset」은 횡방향, 종방향의 성분을 갖는데, 동 도면에서는 그것을 정리하여 나타내고 있다.
도 9는 경계 직사각형의 배율의 정의예를 나타내고 있다. 본 실시예에서는 단지 어느 평면상에서 표시영역을 이동할 뿐만아니라, 화상을 확대, 축소시키는 상기 가상공간 내에서의 Z축방향의 움직임을 접수한다. 따라서,그 움직임을 링크의 설정으로 활용함으로써 풍부한 배리에이션으로 사용자가 이해하기 쉬운 링크를 세밀하게 설정할 수 있게 된다. 그 설정방법의 하나로서 경계 직사각형의 배율에 상한이나 하한을 설정할 수 있게 한다.
도 9에서 높이 h, 폭 w의 직사각형은 표시장치의 화면(86)을 나타낸다. 이 때, 경계 직사각형(84)을 화면(86)의 애스팩트비, 즉 h : w가 되도록 종방향 또는 횡방향으로 신장된 직사각형(88)의 화면(86)에 대한 배율을 경계 직사각형(84)의 배율을 나타내는 파라미터「zoom」으로 한다. 이 때, 도면에 나타내는 바와 같이 직사각형(88)의 세로 및 가로의 길이는 각각 h×zoom, w×zoom이 된다.
도 10, 도 11은 경계 직사각형과 화면에 비추어지는 영역(이후, 간단히 「화면」이라 부른다)과의 위치관계의 정의예를 나타내고 있다. 도 10은 화면이 경계 직사각형에서 이탈되는 비율을 나타내는 파라미터 「overshoot」의 정의를 설명하는 도면이다. 도면 중, 화면으로서 3개의 패턴, 화면(86a), 화면(86b), 화면(86c)을 나타내고 있다. 동 도면에 있어서, 「a」는 화면이 경계 직사각형(84)에서 횡방향으로 이탈된 길이(화면(86a, 86b)), 「b」는 종방향으로 이탈된 길이(화면(86c))이다. 이 때 파라미터 「overshoot」를 max×(a/w, b/h)라 정의한다. 즉 횡방향, 종방향 중 어느 하나에 이탈되어 있을 때에는 그 방향에서의 이탈된 길이(a 또는 b)의 화면의 길이(w 또는 h)에 대한 비율, 양방향으로 이탈되어 있을 때에는 그 비율이 큰 쪽으로 한다.
도 11은 경계 직사각형이 화면에서 이탈되는 비율을 나타내는 파라미터「invisibility」의 정의를 설명하는 도면이다. 도면 중, 경계 직사각형으로서 3개의 패턴, 경계 직사각형(84a), 경계 직사각형(84b), 경계 직사각형(84c)을 나타내고 있다. 동 도면에 있어서 「c」는 경계 직사각형이 화면(86)에서 횡방향으로 이탈된 길이(경계 직사각형(84a, 84b)), 「d」는 종방향으로 이탈된 길이(화면(86c)이다. 이 때 파라미터「invisibility」를 max(c/width×scale, d/height×scale)이라 정의한다. 즉, 횡방향, 종방향 중 어느 하나에 이탈되어 있을 때에는 그 방향에서의 이탈된 길이(c 또는 d)의 경계 직사각형의 길이(width×scale 또는 height×scale)에 대한 비율, 양방향으로 이탈되어 있을 때에는 그 비율이 큰 쪽으로 한다.
도 12는 상기와 같은 파라미터를 이용한 설정 파일로서, XML에서의 기술예를 나타내고 있다. 설정파일예(200)에 있어서(1)∼(4)행째는 대응하는 계층데이터의 홈 포지션에 관한 기술이며, (3)행째의 「view」속성에 있어서 파라미터「zoom」에 의해 홈 포지션 표시시의 배율을 설정하고 있다. 여기에서 「홈 포지션」이란 콘텐츠의 초기화상이며, 또한 입력장치(20)의 소정의 버튼을 누름으로써 표시시키는 것이 가능한 표시영역이다. 이 예에서는 0.85배의 배율에서의 화상을 홈 포지션으로서 설정하고 있다.
(6)∼(9)행째는 표시가 가능한 범위에 관한 기술이며, (8)행재의 「boundary」속성으로 시점의 범위를 설정하고 있다. 여기에서, 파라미터 「stretch」는 계층데이터 중 가장 고해상도의 계층의 1화소가 화면상에서 몇화소로 늘려지는지를 나타내는 배율, 즉 표시장치의 해상도와 화상의 해상도의 비율이다. 예를 들어, 1920×1080화소의 해상도를 갖는 표시장치에 전체적으로 19200×10800화소의 화상 중, 960×540화소의 영역을 표시하는 경우, 파라미터 「strech」는 「2.0」이 된다. 도 12의 예에서는 해당 파라미터에 대한 상한을 「max_stretch」로서 설정하고 있다.
이러한 설정을 행함으로써 화면 상에 표시 가능한 최대배율은 표시장치의 해상도에 따라 자동으로 조정되게 되고, 표시장치의 해상도에 관계없이 동일한 화질로 화상을 표시할 수 있다. 또한, 표시 가능한 범위로서 상술한 파라미터 「zoom」의 하한치인 「min_zoom」과 상술한 파라미터「overshoot」의 상한치인 「max_overshoot」를 설정하고 있다. 여기에서는, 파라미터「zoom」에 의해 정의되는 배율의 하한을 「0.85」, 화면이 화상에서 이탈되는 비율을 「0.5」로 하고 있다. 사용자는 이들 설정 범위 내에서 표시영역의 이동 확대/축소를 행할 수 있다.
(11)∼(16)행째는 다른 계층데이터로의 링크에 관한 기술이다. (12), (13)행째는 해당 링크의 타겟 직사각형을 설정하고 있고, 「target」 속성으로 링크처의 설정 파일의 패스를, 「direction」속성으로 확대, 축소 중 어느 한 방향에서 링크처의 계층데이터로 전환할 것인지를 설정하고 있다. 도 12의 예에서는 링크처의 계층데이터의 속성파일을 「a. xml」, 링크의 방향이 「forward」, 즉 확대해갈 때에 전환하는 설정으로 하고 있다. 또한 속성파일과 계층데이터는 예를 들어 확장자를 제외하는 파일명을 통일함으로써 대응시키면 된다.
또한, 타겟 직사각형의 위치를 상술한 파라미터 「center」의 횡방향성분, 종방향성분인 「center_x」, 「center_y」에서 설정하고, 크기를 상술한 파라미터 「width」및 「height」에서 설정하고 있다.
또한 (14), (15)행째는 「boundary」속성으로 해당 링크를 유효로 하는 「링크경계」를 설정하고 있다. 「링크경계」는 화상평면에서의 「경계 직사각형」을 「boundary」속성에서의 설정에 의해 가상공간의 Z축방향으로 확장한 것이며, 시점이 링크경계에 들어가면 링크의 조건을 만족하고 있다고 한다. (14)행째에서 「action」속성을 「jump」로 함으로써 이 설정의 링크경계 내로 시점이 이동한 경우에 계층데이터의 전환을 행하는 설정으로 하고 있다.
도 13은 타겟 직사각형(82), 경계 직사각형(84) 및 링크경계의 관계를 나타내고 있다. 동 도면에서 타겟 직사각형(82)을 포함하는 수평면이 화상평면, 종방향이 도면의 확대, 축소, 즉 화상평면에 대한 시점의 거리를 나타내고 있다. 타겟 직사각형(82)에 내접하는 직사각형(90)이 링크처의 계층데이터의 화상이다. 또한, 경계 직사각형(84)은 타겟 직사각형(82)의 화상평면에서 도 9와 같이 설정한다.
본 실시예에서는 도면과 같은 공간을 시점이 이동하고, 타겟 직사각형(82)에 가까워졌을 때에 링크를 유효로 한다. 따라서, 화상평면 상에서의 위치뿐만아니라 시점의 가깝기에 따라서도 링크의 유효, 무효를 설정할 수 있다. 그 때문에 동 도면에 나타내는 바와 같이 링크경계는 화상평면에 대하여 입체적이 된다.
도 12로 되돌아가서 설정파일의 (15)행째는 경계 직사각형의 크기를 상술한 파라미터 「scale」에서, 위치를 상술한 파라미터 「offset」의 횡방향성분, 종방향성분인 「offset_x」, 「offset_y」에서 설정하고 있다. 또한 시점의 가깝기에 따라 링크 경계를 정의하기 위해 화면이 경계 직사각형에서 이탈된 비율의 상한 「max_overshoot」 및 경계 직사각형의 최소배율 「min_zoom」을 설정하고 있다. 파라미터 「max_overshoot」의 설정에 의한 효과에 대해서는 나중에 설명하기로 한다.
(18)∼(23)행째는 매립 오브젝트 중 동화상재생에 관한 기술이다. (19)행째에서는 「source」속성으로 매립하는 동화상 파일을 「b.mp4」라고 설정하고 있다. (20)행째에서는 (13)행째와 마찬가지로 타겟 직사각형을 설정하고 있다. 또한 (21), (22)행째는 「boundary」속성으로 동화상재생을 실시하는 링크경계를 설정하고 있다. 링크경계는 도 13에서 나타낸 것과 마찬가지이다. 동화상은 타겟 직사각형의 중앙에 내접하는 위치와 크기로 표시한다.
여기에서 「action」속성을 「show」로 하고 있는 (21)행째는, 실제로 동화상을 표시하기 전에 예비적인 화상으로 표시를 전환하는 조건을 설정하고 있다. 예비적인 화상표시로서는, 예를 들어 동화상의 제 1 프레임을 정지화상으로서 표시한다. 「sction」속성을 「Play」로 하고 있는 (22)행째는 동화상을 재생하여 동화상으로서 표시하는 조건을 설정하고 있다. 이로 인하여 동화상 타이틀을 표시한 타겟 직사각형을 줌업해가면 우선 제 1 프레임의 정지화상이 표시되고, 더욱 확대하면 동화상이 재생되는 형태를 실현할 수 있다.
도 12의 설정예는 이러한 경우이며, 파라미터 「min_zoom」이 「0.20」일때 제 1 프레임을 표시((21)행째), 파라미터 「min_zoom」이 「0.35」일 때 동화상재생으로 하고 있다. 이와 같이 2단계의 동작을 설정 가능으로 함으로써, 시점을 가깝게 한 것 만으로 동화상이 마구 표시되는 번거로움이 없어진다. 또한 동화상을 표시할 때까지의 타임 래그를 제 1 단계의 정지화상표시로 흡수할 수 있다. 동화상재생의 링크경계에서 시점이 이탈한 경우는 동화상재생도 정지된다. 이 때, 제 1 단계의 정지화상표시에 대한 링크경계에 시점이 있는 중에는 재생을 정지한 시점의 프레임을 정지화상으로서 표시한다.
(21), (22)행째에서는 또한 각각의 「action」속성에 대하여 화면이 경계 직사각형에서 이탈되는 비율의 상한 「max_overshoot」 및 경계 직사각형이 화면에서 이탈되는 비율의 상한 「max_invisibility」를 설정하고 있다. 파라미터 「max_invisibility」의 설정에 의한 효과에 대해서는 나중에 설명하기로 한다.
(25)∼(29)행째는 매립 오브젝트 중 음성재생에 관한 기술이다. (26)행째에서는 「source」속성으로 매립하는 음성파일을 「c.mp3」라고 설정하고 있다. (27)행째에서는 (20)행째와 마찬가지로 매립 오브젝트의 타겟 직사각형을 설정하고 있다. 또한 (28)행째는 동화상재생과 마찬가지로 「boundary」속성으로 음성재생을 실시하는 링크경계를 설정하고 있다. 단, 「action」속성은 재생을 나타내는 「play」만 설정하고 있다.
음성재생도 동화상재생과 마찬가지로 링크경계에 시점이 진입하면 재생이 시작되고, 탈출하면 재생을 정지시킨다. 혹은 원래 다른 음성이 흐르고 있으면 으성을 전환한다. 또한 동화상, 음성 모두 재생을 정지했을 때에 동화상 또는 음성의 데이터 스트림 상의 정지 포인트를 매인 메모리(60) 등에 기억해 두고, 시점이 다시 링크 경계에 진입한 경우는 해당 위치에서부터 재생을 시작하는 레쥼처리를 행해도 된다.
(31)∼(35)행째는 매립 오브젝트 중 네트워크 상의 점포로의 링크(스토어 링크)에 관한 기술이다. (32)행째에서는 「source」속성으로 점포의 명칭 등의 식별정보를 「store:AAA」라고 설정하고 있다. (33)행째에서는 이제까지와 마찬가지로 스토어 링크의 타겟 직사각형을 설정하고 있다. 또한, 점포의 식별정보와 URL 등 네트워크 상의 위치는 다른 대응된 파일을 메인 메모리(60) 등에 저장해 둔다.
또한 (34)행째는 「boundary」속성으로 점포의 사이트로의 이동을 가능하게 하는 링크 경계를 이제까지와 마찬가지로 설정하고 있다. 여기에서 「action」속성을 「show_link」로 함으로써 점포로의 링크에 관한 처리를 행하는 설정을 하고 있다. 링크에 관한 처리란, 예를 들어 점포의 웹사이트로의 이동이 가능한 것을 나타내는 인디케이터의 표시 등, 표시화상의 가공이다. 또한, (31)∼(35)행째의 설정은 점포로의 링크가 아니어도 되고, 네트워크상에서 공개되어 있는 점포 이외의 사이트나 하드디스크에 저장한 파일로의 링크 등이어도 된다.
(37)∼(67)행째는 매립 오브젝트 중 선택접수표시에 관한 기술이다. 선택접수표시란, 링크가 설정되어 있는 영역 등, 확대대상이 될 수 있는 영역을 선택지로서 강조표시하고, 사용자가 그 어느 하나를 석택하면 해당 영역으로 화상을 이동하는 처리이다. 예를 들어, 화상 내에 복수의 링크설정영역이 있는 경우, 그들의 영역이 선택 가능한 배율이 된 시점에서 각 영역의 색을 변화시키고, 선택 가능한 것을 나타낸다. 그 상태에서 입력장치(20)의 십자 키(21) 등의 방향지시 키를 누르면 선택 대상이 이동하도록 한다. 그리고 ○버튼(22) 등으로 선택조작을 행하면, 선택된 영역이 화면의 중앙에 오도록 시점을 이동시키거나 줌업한다. 이와 같이 함으로써 시점의 이동을 간략화할 수 있고, 원하는 링크처나 화상의 일부로 효율적으로 이동할 수 있다.
(39)행째는 「boundary」속성으로 선택을 접수하는 「링크경계」를 설정하고 있다. 설정하는 파라미터는 이제까지의 설명과 마찬가지이다. (40)∼(43)행째, (44)∼(47)행째, (48)∼(51)행째, (52)∼(66)행째는 각각 「option」속성에 의해 선택지의 직사각형을 지정하고 있다. 각 선택지는 「frame_color」 속성으로 색을 지정한다. 이로 인하여 선택지의 직사각형을 강조표시한다. 또한, 각 직사각형의 위치 및 크기를 타겟 직사각형과 마찬가지로 설정한다.
또한 「view」 속성에 의해 해당 선택지가 선택된 경우의 표시에서의 시점을 설정하고 있다. 설정에 이용하는 파라미터는 상술한 것과 마찬가지이다. 또한, (52)∼(66)행째의 설정에 의한 선택지에는 (55)∼(65)행째에 설정되는 하위의 선택지가 있는 것을 나타내고 있다. 이것을 명시함으로써 상위의 선택지의 선택접수시에는 하위의 선택지를 선택지에서 제외할 수 있다.
이어서, 파라미터 「max_overshoot」 및 파라미터 「max_invisibility」에 대하여 설명한다. 도 14는 「max_overshoot」를 변화시켰을 때의 링크경계의 변화를 설명하기 위한 도면이다. 틀(94)에 나타내는 바와 같이, 동 도면은 시점(96)으로부터의 시계(98)와 경계 직사각형(84)의 위치관계를 옆에서 본 모습을 나타내고 있고, 파라미터 「max_overshoot」가 0.0, 0.25, 0.5, 0.75, 1.0으로 변화했을 때의 링크경계의 변화를 나타내고 있다.
우선 「max_overshoot」가 0.0인 경우, 즉 화면이 경계 직사각형에서 이탈되지 않도록 설정하면 시점(96a)에서는 시계를 나타내는 삼각형의 밑변, 즉 화면이 경계 직사각형(84)의 상방의 영역에 들어가 있기 때문에 화면이 경계 직사각형에서 이탈되어 있지 않고 해당 시점(96a)은 링크경계 내가 된다. 한편, 시점(96b)에서는 시계를 나타내는 삼각형의 밑변이 경계 직사각형(84)의 상방의 영역에서 이탈되어 있는, 즉 화면 내에 경계 직사각형(84)의 주위의 영역이 들어가 있기 때문에 해당 시점(96b)은 링크경계 외이다. 또한 시점이 링크 경계 내에 있으면 시점에 「○」표시, 링크 경계 외이면 시점에 「×」표시를 기입하고 있다.
이와 같이 생각하면 「max_overshoot」가 0.0을 만족하는 시점 집합의 경계인 링크경계는 링크경계(92a)와 같은 형상을 갖는다. 파라미터 「max_overshoot」가 0.25, 0.5, 0.75, 1.0인 경우도 마찬가지로 생각한다. 「max_overshoot」가 0.25인 경우는 화면이 경계 직사각형(84)에서 1/4 이탈되어 있어도 링크를 유효로 한다. 즉, 보다 높은 시점에서 내려다보아 경계 직사각형(84)의 주위가 보이고 있어도 허용되는 경우가 있기 때문에, 파라미터 「max_overshoot」가 0.25인 링크경계(92b)는 링크경계(92a)에 대하여 높은 형상이 된다.
마찬가지로, 「max_overshoot」가 0.5, 0.75, 1.0으로 커지면 링크경계(92c, 92d, 92e)와 같이 형상이 변화한다. 즉, 시점이 높아질수록 경계 직사각형(84)이 화면에 들어오기 쉬워지고, 화면의 이탈 양을 허용하면 높은 시점일수록 조건을 만족하는 시점의 범위가 증가해가기 때문에 링크 경계는 시점이 높아질수록 넓어지는 형상이 된다. 이와 같이 파라미터 「max_overshoot」를 도입함으로써 높이 방향을 포함하는 3차원 공간에서의 시점의 이동에 의한, 경계 직사각형, 나아가서는 링크를 설정한 영역의 외관상의 변화에 대하여 링크의 유효/무효의 경계를 설치할 수 있다.
표시영역을 종횡방향으로 이동시키고자 입력장치(20)의 아날로그 스틱(27a) 등을 조작하는 경우, 시점의 고저에 의해 동일한 조작량으로도 화상의 흔들림 폭이 다르다. 파라미터 「max_overshoot」에 의해 링크를 유효로 하는 범위를 시점의 높이에 따라 용이하게 변화시킬 수 있어 시점의 높이를 가미한 동작이 가능하게 된다.
도 15는 파라미터 「max_invisibility」를 변화시켰을 때의 링크경계의 변화를 설명하기 위한 도면이다. 동 도면의 나타내는 방법은 도 14와 마찬가지이다. 우선, 「max_invisibility」가 0.0인 경우, 즉 경계 직사각형이 화면에서 이탈되지 않도록 설정하면 시점(96c)에서는 시계를 나타내는 삼각형의 밑변, 즉 화면의 하방의 영역에 경계 직사각형이 들어가 있기 때문에, 경계 직사각형이 화면에서 이탈되어 있지 않고, 해당 시점(96c)은 링크경계 내가 된다. 한편, 시점(96d)에서는 시계를 나타내는 삼각형의 밑변의 하방의 영역에서 경계 직사각형(84)이 이탈되어 있는, 즉 화면 내에 경계 직사각형의 주위의 영역이 들어가 있기 때문에 해당 시점(96d)은 링트 경계 외이다.
파라미터 「max_invisibility」도 파라미터 「max_overshoot」와 마찬가지로 경계 직사각형이 화면에 들어가 있을 때에 링크를 유효로 하기 위한 파라미터이지만, 시점의 높이의 변화에 대한 링크경계의 범위의 변화가 파라미터 「max_overshoot」와는 다르다. 예를 들어 「max_invisibility」가 0.0인 경우, 시점이 낮아지고, 경계 직사각형(84)을 지나치게 업하면, 경계 직사각형이 화면에서 이탈되게 되므로 그러한 시점은 링크경계 내에 포함되지 않는다. 반대로, 시점이 높아질수록 경계 직사각형이 화면에서 이탈되기 어려워지기 때문에 링크경계 내에 들어가는 시점의 범위가 넓어진다.
이와 같이 생각하면, 파라미터 「max_invisibility」가 0.0을 만족하는 시점집합의 경계인 링크경계는 링크경계(92f)와 같은 형상을 갖는다. 파라미터 「max_invisibility」가 0.25, 0.5, 0.75, 1.0인 경우도 마찬가지로 생각한다. 파라미터 「max_invisibility」가 0.25, 0.5, 0.75, 1.0으로 커질수록 시점이 낮아져도 경계 직사각형(84)의 화면으로부터의 이탈이 허용되기 때문에 링크 경계의 폭이 넓어져가고, 링크경계(92g, 92h, 92i, 92j)와 같이 형상이 변화한다.
본 실시예에서는 소정의 범위 내이면 높이방향을 포함하는 3차원 공간에서 자유롭게 시점을 이동시킬 수 있다. 따라서, 커다란 확대율로 표시영역을 수평방향으로 이동시키는 경우도 있을 수 있다. 이러한 조작으로 우연히 화면이 매립 오브젝트를 설정한 영역 내로 진입한 경우, 의도하지 않는 타이밍에서 동화상이 재생되거나 스토어 링크의 화면이 표시되는 경우를 생각할 수 있다. 경계 직사각형의 화면에 대한 이탈 비율은 사용자가 의도하여 경계 직사각형에 화면을 맞추었는지의 여부를 판단하는 지표가 된다.
매립 오브젝트를 동작시키고 싶을 때에는 사용자는 통상, 의도하여 경계 직사각형에 화면을 맞추기 때문에 매립 오브젝트의 링크경계의 설정에는 파라미터 「max_invisibility」가 도입되어 있다. 한편, 다른 계층데이터의 화상으로의 전환은 높은 확대율에서의 수평방향의 시점이동이어도 시임레스로 실시되는 것이 바람직하기 때문에 파라미터 「max_overshoot」가 유효하게 된다.
이어서, 이제까지 설명한 구성에 의한 정보처리장치(10)의 동작을 설명한다. 도 16은 정보처리장치(10)에 의해 표시장치(12)에 표시되는 화상의 예를 나타내고 있다. 표시화상(300)은 예를 들어 콘텐츠의 초기화상이다. 코텐츠는 예를 들어 게임 등의 소프트웨어, 음악, 영화 등의 프로모션 표시용 콘텐츠, 네트워크 상의 점포로 이루어지는 가상 백화점의 콘텐츠, 책의 내용을 표시하는 가상 도서관의 콘텐츠나 그들을 조합한 콘텐츠 등 다양한 형태를 생각할 수 있다.
설정파일에 있어서 표시화상(300)을 홈 포지션으로 설정함으로써 해당 화상을 초기화상으로 한다. 표시화상(300) 중에는 직사각형 영역 301, 302, 304, 306, 308a, 310의 6개의 링크, 즉 선택지가 설정되어 있다. 링크의 종류는 다른 계층데이터의 화상으로의 표시전환이어도 되고, 매립 오브젝트여도 된다. 타겟 직사각형은 이들의 직사각형 영역에 외접하도록 설정파일에 있어서 링크마다 설정한다. 경계 직사각형이나 링크경계도 상술한 바와 같이 설정하는데, 표시화상(300)에는 명시되어 있지 않다.
사용자는 표시화상(300)을 보면서 입력장치(20)를 이용하여 시점을 이동시키고, 흥미가 있는 직사각형 영역을 줌업한다. 그리고, 시점이 해당 직사각형 영역에 대하여 설정된 링크경계에 집입했을 때, 계층데이터의 전환이나 매립 오브젝트의 작동 등, 직사각형 영역에 대응한 처리를 실시한다.
도 17은 매립 오브젝트로서 동화상재생의 처리를 실시하는 처리순서를 나타낸다. 도 12의 설정파일의 예에서는 동화상재생의 오브젝트는 어느 프레임을 저지화상으로서 표시하는 단계와, 동화상을 표시하는 단계의 2단계로 실시한다. 정지화상표시에 대하여 설정한 링크경계를 「제 1 링크경계」, 동화상표시에 대하여 설정한 링크경계를 「제 2 링크경계」라 부근다. 우선, 시점이 제 1 링크경계 외에 있는 상태에서 동화상의 타이틀화상이나 광고 등, 미리 정해 둔 표준화상을 표시한다(S18). 이 표준화상은 초기화상 등, 현재 표시 중인 화상의 계층데이터의 일부이며, 도 16의 표시화상(300) 중, 직사각형 영역(301) 등에서의 화상에 상당한다.
이 상태에서 링크판정부(116)는 시점이 제 1 링크경계에 들어갔는지의 여부를 감시한다(S20). 사용자가 입력장치(20)를 조작하고, 시점이 제 1 링크경계에 들어가면(S20의 Y), 그 취지를 오브젝트 실행부(117)에 통지하고, 오브젝트 실행부(117)는 메인 메모리(60)의 소정의 영역을 참조하여 레쥼해야 할 정보가 있는지의 여부를 확인한다(S22). 이전에 동일한 화상이 재생되어 있던 경우, 그 때의 정지개소가 레쥼 포인트로서 메인 메모리(60)에 저장되어 있다. 해당 정보가 있으면(S22의 Y) 그 정보를 판독한다(S24). 레쥼해야 할 정보가 없으면(S22의 N) 메인 메모리(60)에서 판독한 동화상 데이터의 최초의 프레임을, 레쥼 정보가 있으면(S22의 Y, S24) 레쥼 포인트의 프레임을 묘사하고, 정지화상으로서 표시장치(12)에 표시한다(S26).
그것과 병행하여 링크판정부(116)는 시점이 제 2 링크경계에 들어갔는지의 여부를 감시한다(S28). 시점이 제 2 링크경계에 들어가면(S28의 Y) 오브젝트 실행부(117)는 동화상의 재생 및 표시를 시작한다(S30). 여기에서도 S24에서 레쥼 포인트를 판독하고 있으면 해당 포인트로부터 동화상을 재생한다. 또한, 시점이 제 2 링크경계에 들어가기 전의 단계에서 정지화상을 표시하면서 동화상재생처리를 투기적으로 시작해도 된다. 이로 인하여 S28에서 시점이 제 2 링크경계에 들어간 시점에서 원활하게 동화상을 표시할 수 있다.
링크판정부(116)는 동화상표시와 병행하여 시점이 제 2 링크경계에서 나왔는지의 여부를 감시한다(S32). 시점이 제 2 링크경계에서 나오면(S32의 Y) 오브젝트 실행부(117)는 동화상재생을 정지하고, 정지시켰을 때의 프레임을 정지화상으로서 표시한다(S34). 또한, 정지 개소를 레쥼 포인트로서 메인 메모리(60)에 기억시킨다(S36). 또한, 링크판정부(116)는 시점이 제 1 링크경계에서 나왔는지의 여부를 판정한다(S38). 시점이 제 1 링크경계에서 나오면(S38의 Y) 표시영역 결정부(104)에 해당 정보가 통지되고, 원래의 계층데이터의 화상, 즉 S18에서 표시한 타이틀화상 등의 표준화상이 표시된다(S40). 이상의 동작으로 링크가 설정된 영역이 줌업된 것에 대응하여, 2단계에서 표시를 전환하여 동화상재생을 행하는 형태를 실현할 수 있다.
또한, 링크판정부(116)는 실제로는 항상 시점의 위치를 감시하고, 설정된 링크영역에 대한 내외판정을 행하고 있기 때문에, 예를 들어 S26인 프레임을 표시하는 중에 시점이 제 2 링크경계에 들어가지 않고 제 1 링크경계에서 나온 경우는 그대로 S40의 표준화상표시의 스텝으로 이행한다.
음성재생의 처리순서도 마찬가지이다. 이 때, 도 12의 설정파일의 예와 같이 링크경계를 하나로 하여 음성재생, 비재생만의 전환을 행하도록 해도 되고, 복수의 단계를 마련하여 재생하는 음성데이터나 음량 등을 전환하도록 해도 된다. 또한 도 16의 화상이 표시되어 있을 때에도 BGM으로서 음성을 재생하고 있을 때는 음성을 전환할 때 크로스훼이드하도록 가공을 행해도 된다.
또한, 동화상 및 음성의 어느 경우도 원래의 계층데이터의 화상 중, 매립 오브젝트가 설정되어 있는 복수의 영역에서 동일한 동화상이나 음성을 재생하는 경우는 레쥼 포인트를 공통의 정보로 해도 된다. 예를 들어, 도 16의 표시화상(300) 중, 직사각형 영역 301∼310 중의 어느 하나를 줌업하고 있어도 동일한 음악으로 전환하도록 하고, 또한 레쥼 포인트를 공통으로 함으로써 직사각형 영역에 상관없이 음악의 연속성이 유지되어 통일감이 생긴다.
레쥼할 것인지의 여부, 레쥼 포인트를 공통으로 할 것인지의 여부는, 매립 오브젝트마다 사용자나 콘텐츠 작성자를 설정할 수 있도록 해도 된다. 또한, 도 17의 S26에서, 어느 프레임을 표시할 때는 그때까지 동일한 직사각형 영역에 표시하고 있던 표준화상과 크로스훼이드하도록 표시해도 된다. 마찬가지로, 이웃하는 직사각형 영역으로 시점을 이동한 경우에도 표시하고 있는 정지화상 또는 동화상을 크로스훼이드시켜도 된다.
도 18은 매립 오브젝트로서 스토어 링크를 동작시킬 때에 표시하는 화상의 예를 나타내고 있다. 표시화상(312)은 도 16의 표시화상(300) 중 스토어 링크를 설정한 직사각형 영역(308a)에 대하여 설정된 링크경계에 시점이 들어갔을 때의 화상이다. 도 12의 「action」속성을 「show_link」로 함으로써 오브젝트 실행부(117)는 시점이 링크경계로 들어갔을 때, 도 16의 직사각형 영역(308a)의 화상을 도 18의 직사각형 영역(308b)의 화상으로 전환한다.
직사각형 영역(308b)의 화상에서는 해당 점포의 웹사이트로의 이동이 가능한 것을 나타내는 「스토어로 GO!」라고 기재된 인디케이터(314)와, 이동을 결정하기 위한 조작방법으로서 「○버튼을 눌러주십시오」라고 기재된 인디케이터(316)를 원래부터 표시하고 있던 점포정보에 덧붙여서 표시하고 있다. 덧분이는 화상의 내용이나 배치는 디자인성이나 입력장치 등을 감안하여 적절히 결정한다. 예를 들어 인디케이터(314)는 도 16의 표시화상(300)의 단계에서 표시해두고, 직사각형 영역(308a)이 줌업되면 색만을 표시시킴으로써 사용자에게 링크처로의 이동이 가능한 것을 나타내어도 된다.
사용자는 링크처로의 이동이 가능하게 될 때까지 직사각형 영역(308a)을 줌업해 가고, 직사각형 영역(308b)의 화상이 되면 인디케이터(316)의 표시에 따라 입력장치(20)의 「○버튼」 등을 누름으로써 해당 점포의 웹사이트 화면을 표시시킨다. 웹사이트로의 액세스나 표시는 일반적인 기술을 적용할 수 있다.
도 16의 표시화상(300)에 있어서, 직사각형 영역 301∼310은 어떤 링크가 설정된 「선택지」라고 생각할 수 있다. 따라서, 도 12에 예시한 선택접수표시의 설정에 따라 어느 타이밍에서 직사각형여역 301∼310의 색을 변화시키는 등의 강조표시를 행하여 그들이 선택지인 것을 나타내도록 해도 된다. 강조표시시키는 타이밍은 설정해 둔 링크경계에 시점이 들어갔을 때여도 되고, 입력장치(20)에 의해 소정의 입력이 행해졌을 때여도 된다.
화면에 표시된 화상 상에서 선택지를 명확히 하고, 사용자에 의한 선택조작을 접수함으로써 사용자는 효율적으로 원하는 직사각형 영역을 선택할 수 있다. 또한, 선택된 직사각형 영역이 화면 중앙으로 이동시키거나 줌업하는 등의 시점의 이동을 자동으로 행함으로써, 최저한의 조작으로 바로 계층데이터의 전환이나 매립 오브젝트의 처리 시작에 이를 수 있다.
이러한 동작은 사용자가 화상에서 직사각형 영역을 선택하고, 화상의 확대율을 올리는 방향으로 쇼트컷을 행하는 것이지만, 확대율이 대하여 쌍방향으로 쇼트컷을 행할 수 있도록 해도 된다. 예를 들면, 사용자가 선택한 직사각형 영역을 자동으로 줌업한 후, 입력장치(20)의 ×버튼(23) 등 소정의 키를 조작하면 확대율을 내려서 원래의 표시로 되돌리도록 한다. 이와 같이 함으로서 또 다른 직사각형 영역을 선택하고 싶은 경우 등에 조작의 효율이 높아진다.
이 경우, 오브젝트 실행부(117)는 선택입력이 이루어질때마다 그 시점에서의 프레임 좌표 등 표시영역을 나타내는 파라미터를 메인 메모리(60)에 기억시킨다. 그리고, 사용자가 표시를 되돌리기 위한 입력을 행한 경우에 메인 메모리(60)에서 이전의 표시영역을 나타내는 파라미터를 판독하여 표시영역 결정부(104)에 통지함으로써 해당 영역을 표시한다. 어느 선택지에 더욱 하위의 선택지가 있는 경우 등, 복수회의 선택입력이 이루어진 경우는 그 시점에서의 표시영역을 나타내는 파라미터를 순서대로 기억해 두고, LIFO(Last In First Out)의 방식으로 판독해간다. 이후, 이와 같이 하여 기억한 표시영역을 나타내는 파라미터의 리스트를 「브레드크럼 리스트」라 부른다.
도 19는 매립 오브젝트로서 선택접수표시를 행한 경우의 정보처리장치(10)의 처리순서를 나타내고 있다. 우선 도 16에 나타낸 표시화상(300)이 표시된 상태에서 사용자는 입력장치(20)를 이용하여 시점을 이동시킨다. 이 때, 링크판정부(116)는 선택접수표시의 링크경계에 시점이 들어갔는지의 여부를 감시한다(S50). 시점이 링크경계이 들어가면(S50의 Y) 오브젝트 실행부(117)는 설정파일의 설정에 따라 직사각형 영역 301∼310의 색을 변화시키는 등의 강조표시를 행한다(S52). 그리고, 사용자가 입력장치(20)의 십자 키(21) 등의 방향지시 키 및 ○버튼(22) 등의 결정버튼을 조작함으로써 어느 하나의 직사각형 영역이 선택되는 것을 대기한다(S54).
선택입력이 이루어지면(S54의 Y), 오브젝트 실행부(117)는 그 시점에서의 표시영역에 관한 파라미터를 메인 메모리(60)의 브레드크럼 리스트에 기입한다(S56). 그리고, 설정파일에 설정된 시점의 이동에 대한 정보를 표시영역 결정부(104)에 통지함으로써, 선택된 직사각형 영역을 줌업하는 등 표시영역을 이동시킨다(S58). 이 때, 단지 표시영역을 이동시킬뿐만아니라 선택된 직사각형 영역에 관한 설명이나 광고의 화상을 추가로 표시하거나 색을 변화시는 등의 해당 직사각형 영역에 대응되어 설정한 소정의 가공을 실시하도록 해도 된다. 추가로 표시하는 화상의 데이터는 직사각형 영역에 대응시켜 콘텐츠에 포함시켜 둔다. 그 후, 해당 직사각형 영역을 더욱 줌업하는 등, 시점의 이동을 행하는 지시가 사용자로부터 이루어진 경우는 그것에 따른 처리를 적절히 행하는데, 도 19에서는 도시를 생략하고 있다.
사용자가 입력장치(20)의 ×버튼(23) 등 소정의 키를 조작하여 표시영역을 되돌리는 지시입력을 행하면(S60의 Y), 오브젝트 실행부(117)는 메인 메모리(60)의 브레드크럼 리스트에서 최근 기입된 파리미터를 판독하고(S62), 표시영역 결정부(104)에 통지함으로써 해당 파라미터에 의해 결정되는 표시영역으로 표시를 이동한다(S64). 이와 같은 동작에 의해 사용자의 선택입력이라는 명확한 의사표시가 있는 경우에 효율을 중시한 표시를 행할 수 있다.
또한, 사용자의 선택입력에 따라 홈 포지션 이외의 표시영역에도 마킹을 행함으로써 고배율의 화상표시로 이동처를 놓치거나, 처음부터 다시 하는 등의 비효율적인 자체를 피할 수 있다. 결과적으로 입력방법에 자유도가 증가하는 동시에, 깊은 계층구조로 선택지를 설치해도 원하는 정보에 효율적으로 도달할 수 있다.
도 19의 동작은 선택접수표시에 관한 것이었지만, 표시영역을 되돌리는 처리는 선택접수표시와 관계없이 실시하도록 해도 된다. 예를 들어, 표시영역 결정부(104)가 계층데이터의 전환처리와 함께 되돌리는 포인트의 마킹을 행한다. 도 20은 시점을 임의로 이동시켰을 때에 표시영역을 되돌리는 형태를 설명하기 위한 도면이다. 도면의 표시방법은 도 6과 마찬가지이며, 계층데이터(400)는 계층데이터(402, 404, 406)와 링크가 설정되어 있다. 또한, 계층데이터(404)는 계층데이터(407)와 링크가 설정되어 있다. 이와 같은 화상데이터를 표시하는 콘텐츠에 있어서, 우선 홈 포지션의 화상(410)의 정보를 메인 메모리(60)의 브레드크럼 리스트(408)에 저장한다. 여기에서 저장하는 정보는 프레임 좌표여도 되고, 계층데이터의 식별정보 등이어도 된다.
사용자가 입력장치(20)의 아날로그 스틱(27a, 27b) 등에 의해 가상공간에서의 시점을 화살표 A, 화살표 B와 같이 이동시키고, 계층데이터(404)의 영역에 들어갔다고 하자. 이로 인하여 표시화상이 계층데이터(404)의 것으로 전환되면 계층데이터(404)의 홈 포지션이라고도 하고, 가장 해상도가 낮은 계층의 화상(412)의 정보를 브레드크럼 리스트(408)에 추가기입한다. 또한 사용자가 화살표 C, 화살표 D와 같이 시점을 이동시키고, 계층데이터(407)의 영역으로 들어가면, 계층데이터(407)이 가장 해상도가 낮은 계층의 화상(414)의 정보를 브레드크럼 리스트(408)에 추가기입한다.
그리고, 사용자가 표시를 되돌리는 입력을 행하면 브레드크럼 리스트(408)에서 LIFO의 방식으로 최근의 화상정보를 판독하여 화살표 E와 같이 시점을 이동시킨다. 이 때, 도중경로를 표시하면서 문자대로 시점을 「이동」시켜도 되고, 즉시 표시화상을 전환해도 된다. 이렇게 함으로써 계속해서 계층데이터(404)로 표시를 전환할 수도 있고, 다시 계층데이터(407) 내에서 시점을 이동시킬 수도 있다. 도 20의 예에서는 화상(414)을 표시한 후, 사용자가 화상을 축소하는 등의 방법으로 계층데이터(404)로 표시를 전환하고 있다(화살표 F).
그리고 다시 표시를 되돌리는 입력을 행하면 브레드크럼 리스트(408)에서 화상(412)의 정보를 판독하여 화살표 G와 같이 시점을 이동시킨다. 그리고 사용자가 더욱 화상을 축소하고, 계층데이터(400)의 화상 내에서 화살표 H와 같이 시점을 이동시킨 후, 표시를 되돌리는 입력을 행하면 브레드크럼 리스트(408)에서 화상(410)의 정보를 판독하고 화살표 I와 같이 시점을 이동시킨다.
이러한 동작에 의해 동일 계층데이터 내에서 사용자가 어떠한 시점의 이동을 행했는가에 상관없이 표시를 되돌리는 지시입력만으로 동 계층데이터에 있어서 최저의 해상도의 화상을 표시시킬 수 있다. 저해상도의 화상은 해당 계층데이터의 전체를 전체적으로 보기 쉬운 화상인 동시에, 하나 위의 계층데이터로 즉시 표시를 전환할 수 있는 화상이다. 사용자는 갑자기 초기화상까지 되돌아가는 등 대폭적인 화상의 변화에 의해 사고가 끊기는 일 없이 계층데이터마다 통일된 화상까지 소폭으로 축소할 수 있어 이동처를 잃지 않고 효율적으로 원하는 영역에 도달할 수 있다. 또한 되돌리는 지시입력을 2회 연속하여 행하면 2개 전의 계층데이터까지 되돌리는 식으로 시점의 이동이력을 대강 살피면서 단계적으로 원래로 되돌릴 수 있다.
또한, 도 20의 예에서는 각 계층데이터 중 최저 해상도의 화상의 정보를 브레드크럼 리스트로서 기억하였지만, 시점의 범위마다 가장 저해상도의 하나의 기준표시영역을 정하면 되고, 예를 들어 동일한 계층데이터 내에서 복수의 기준표시영역을 정해도 된다. 이 경우도 시점이 새로운 범위에 들어가면 해당 범위에 대응하는 기준표시영역에 관한 정보를 브레드크럼 리스트에 기입하면 동일한 형태를 실현할 수 있다. 또한 선택지를 강조표시하는 도 19의 형태와 조합해도 된다. 이 경우, 화상(410, 412, 414)의 정보에 덧붙여서 선택입력이 이루어진 시점의 표시영역의 정보를 복귀처로서 기억한다.
이상 설명한 본 발명의 실시예에 의하면, 표시화상의 확대축소를 포함하는 시점의 이동을 시초로 하여 다른 계층데이터로의 표시의 전환, 동화상재생, 음성재생, 네트워크 상의 다른 사이트로의 링크, 선택지의 강조표시 등의 처리를 행한다. 이로 인하여 사용자는 화상을 즐기면서 시점의 이동이라는 보다 감각적이고 용이한 조작으로 원하는 처리를 정보처리장치에 행하게 할 수 있다. 또한 이러한 다기능적인 콘텐츠를 설정파일에 의한 용이한 설정으로 작성할 수 있다.
또한 화상에 대한 시점에 착안하고 있기 때문에 시점의 위치에 따라 세밀한 설정을 할 수 있고, 단지 기능의 선택/비선택의 2치 판정이 아니라 단계적인 처리가 가능하게 된다. 화면이 직사각형 영역에서 이탈되는 비율, 직사각형 영역이 화상에서 이탈되는 비율 등을 취득함으로써, 처리의 내용에 따라 적적한 타이밍에서 원하는 처리를 동작시킬 수 있다. 또한 처리의 전환에 있어서는 크로스훼이드 등의 가공을 행함으로써 전환 전후의 화상이나 음성을 시임레스로 연결할 수 있다. 이로 인하여 사용자는 화상 표시의 연장상에서 동화상재생 등을 가볍게 시도해볼 수 있다. 이로부터 커서를 이용하여 퍼리를 선택하는 경우에 비하여 디자인성이 우수하고 또 사용자에게 아름다운 콘텐츠를 실현할 수 있다.
또한 선택지를 강조표시하여 선택 가능하게 함으로써 조작을 직접적으로 행하고 싶은 경우에도 외관상으로 커다란 변화없이 사용자의 니즈나 상황에 따른 형태를 실현할 수 있다. 또한 그러한 직접적인 선택을 행했는지의 여부에 상관없이 현재 표시 중인 화상보다 낮은 해상도로 복귀처의 표시영역을 기억해 두고, 입력장치의 소정의 조작에 의해 해당 영역으로 직접 되돌아갈 수 있도록 함으로써 화상 내의 이동을 원활하게 행할 수 있고, 결과적으로 원하는 영역에 도달하는 효율이 높아진다.
제 2 실시예
본 실시예는 제 1 실시예에서 도 1부터 도 6을 참조하여 설명한 것과 동일한 정보처리장치 및 계층데이터에 의해 실현된다. 이하, 제 1 실시예와 다른 점을 중심으로 설명한다.
도 21은 본 실시예의 정보처리장치(10)에 의해 표시장치(12)에 표시되는, 링크가 설정되어 있는 화상의 예를 나타내고 있다. 표시화상(350)에는 링크영역(352a, 352b, 352c) 등 복수의 링크영역이 설정되어 있다. 예를 들면 사용자가 표시화상(350)을 초기화상으로서 링크영역(352a)으로 줌인해 가면 해당 링크영역(352a)이 화면 전체에 표시된 시점에서 대응하는 처리, 즉 화상 생성에 이용하는 계층데이터를 전환하거나 매립 오브젝트를 실행한다. 이를 위해서는 도 3에 나타낸 가상공간에서의 링크영역(352a)이 화면 전체에 표시될 때의 프레임 좌표와, 해당 링크에 의해 실행하는 처리의 식별정보 및 동화상 데이터나 프로그램 등 처리에 필요한 데이터의 식별정보나 어드레스 등을 대응시킨 설정파일을 계층데이터에 대응되어 작성해 둔다.
이와 같이 링크영역으로의 시점의 이동을 시초로 하여 화상의 전환이나 매립 오브젝트의 실행 등을 행하는 형태는, 단지 포인팅 디바이스의 조작에 의해 선택지 리스트에서 선택하는 경우와 비교하여 원래의 화상에서의 연속성을 느낄 수 있고, 디자인성이 우수한 콘텐츠를 다양한 형태로 실현할 수 있다. 이와 같이 특정의 영역을 줌업해 갈 필요가 있을때 사용자는 입력장치를 이용하여 수평방향으로 위치맞춤하면서 확대조작을 행하게 되는데, 이러한 조작은 가능한 한 간략화할 수 있는 것이 바람직하다.
도 21의 예에서는, 링크영역(352a, 352b, 352c) 등은 정렬하여 떨어져서 배치되어 있기 때문에 링크영역의 범위를 인식하기 쉽지만, 1매의 그림이나 사진 등 전체적으로 연속하고 있는 화상에 링크영역을 설정하는 것도 생각할 수 있다. 이러한 경우, 링크영역의 범위를 알기 어렵기 때문에 화면과 링크영역의 위치맞춤에 더욱 시간이 걸리게 된다. 따라서 본 실시예에서는 어느 시점의 범위에서는 사용자가 확대조작을 하고 있을 때에 수평방향으로 미세조정을 부가하여 화면을 링크영역으로 유도함으로써 사용자의 입력을 지원한다. 또한 유도처의 영역은 링크영역이 아니어도 되고, 콘텐츠 작성자가 의도적으로 시점을 유도하고 싶은 영역 등이어도 되지만, 이하의 설명에서는 링크영역을 예로 든다.
도 22는 본 실시예에서의 제어부(100)의 구성을 상세히 나타내고 있다. 제어부(100)는 제 1 실시예와 마찬가지로 입력장치(20)에서 사용자가 입력한 정보를 취득하는 입력정보 취득부(102), 표시대상의 계층데이터를 하드디스크 드라이브(50)로부터 로드하는 로드부(103), 입력에 따라 표시영역을 결정하는 표시영역 결정부(104), 압축화상 데이터를 디코드하는 디코드부(106), 표시화상을 묘사하는 표시화상 처리부(114)를 포함한다. 제어부(100)는 또한 화면이 링크영역으로 유도되도록 표시영역 결정부(104)가 결정하는 표시영역을 수정하는 유도제어부(416)와, 링크영역에 대하여 설정된 처리를 실행하는 링크실행부(418)를 포함한다.
도 22에 있어서, 여러가지 처리를 행하는 기능블록으로서 기재되는 각 요소는 하드웨어적으로는 CPU(Central Processing Unit), 메모리, 그 밖의 LSI로 구성할 수 있고, 소프트웨어적으로는 메모리에 로드된 프로그램 등에 의해 실현된다. 이미 설명한 바와 같이 제어부(100)는 하나의 PPU와 복수의 SPU를 갖고, PPU 및 SPU가 각각 단독 또는 협동하여 각 기능블록을 구성할 수 있다. 따라서, 이들의 기능블록이 하드웨어만, 소프트웨어만, 또는 그들의 조합에 의해 여러가지 형태로 실현되는 것은 당업자에게는 이해되는 바이며, 어느 하나로 한정되는 것은 아니다.
하드디스크 드라이브(50)에는 계층데이터와 설정파일을 포함하는 콘텐츠 파일을 저장해 둔다. 링크를 설정한 복수의 계층데이터로 이루어지는 화상데이터를 표시하는 경우는 복수의 계층데이터와 각각에 대응하는 설정파일을 저장한다. 콘텐츠 파일에는 또한 화상데이터나 애플리케이션 프로그램 등 메입 오브젝트의 처리에 필요한 데이터를 필요에 따라 포함시켜도 된다.
입력정보 취득부(102)는 입력장치(20)의 사용자에 의한 조작에 따라 콘텐츠의 기동/종료, 시점의 이동 등의 요구에 관한 정보를 입력장치(20)에서 취득하고, 해당 정보를 로드부(103), 표시영역 결정부(104), 유도제어부(416)에 통지한다. 로드부(103)는 입력정보 취득부(102)로부터 콘텐츠의 기동요구가 이루어진 것을 통지받으면 콘텐츠의 초기화상의 계층데이터 및 그 설정파일을 하드디스크 드라이브(50)에서 판독하여 메인 메모리(60)에 저장한다. 로드부(103)는 또한 시점의 이동처의 계층데이터나 매립 오브젝트의 실행에 필요한 데이터 등을 필요에 따라 하드디스크 드라이브(50)에서 판독하여 메인 메모리(60)에 저장한다.
표시영역 결정부(104)는 입력정보 취득부(102)로부터 시점의 이동 요구가 이루어진 것을 통지받으면 시점의 이동량을 계층데이터의 가상공간에서의 좌표로 변환하고, 표시해야 할 이동처의 프레임 좌표를 결정한다. 유도제어부(416)는 설정파일에 설정된 링크영역에 대하여 소정의 범위에 시점이 있는 동안은 화면을 해당 링크영역으로 유도하도록 표시영역 결정부(104)가 결정한 프레임 좌표를 수정한다. 이 유도는 입력장치(20)에 대하여 사용자가 시점의 이동 요구를 행하고 있는 기간 중에 해당 요구에 대한 미세조정으로서 실시한다. 상세한 내용은 후술하기로 한다.
디코드부(106)는 메인 메모리(60)에서 압축화상 데이터의 일부를 판독하여 디코드하고, 버퍼 메모리(70)에 디코드 후의 데이터를 저장한다. 디코드부(106)가 디코드하는 데이터는 표시영역을 포함하는 소정 사이즈의 화상 데이터이면 된다. 미리 광범위한 화상데이터를 디코드하고, 버퍼 메모리(70)에 저장해 둠으로써 메인 메모리(60)에서 판독 횟수를 삭감할 수 있고, 원할한 시점이동을 실현할 수 있다. 표시화상 처리부(114)는 표시영역 결정부(104)가 결정한 표시해야 할 영역의 프레임 좌표를 취득하고, 버퍼 메모리(70)에서 대응하는 화상데이터를 판독하여 표시처리부(44)의 프레임 메모리(76)에 묘사한다.
링크실행부(418)는 메인 메모리(60)에 저장한 표시중인 계층데이터에 대응된 설정파일을 참조하여, 이동처의 시점이 링크의 조건을 만족하고 있는 경우에 링크영역에 대하여 설정된 처리를 실행한다. 여기에서 「링크의 조건」이란 상술한 바와 같이 화면 전체에 링크영역이 표시될 때의 시점이어도 되고, 링크영역의 소정의 비율이 화면 내에 들어가 있을 때의 시점의 범위 등이어도 된다. 또한 확대율 등에 임계값을 설치해도 된다. 이러한 조건은 링크영역의 배치 등을 감안하여 콘텐츠 작성자 등이 미리 설정한다.
매립 오브젝트를 실행하기 위한 프로그램이나 데이터가 메인 메모리(60)에 저장되어 있지 않으면 링크실행부(418)는 로드부(103)에, 해당 프로그램이나 데이터의 식별정보와 함께 하드디스크 드라이브(50)에서 메인 메모리(60)로의 로드 요구를 발행한다.
다른 계층데이터 표시를 전환하는 경우도 필요에 따라 로드부(103)에 대하여 로드 요구를 발행한다. 또한 링크 실행부(418)는 표시영역 결정부(104)에 대하여 계층데이터의 전환 요구를 발행한다. 이에 따라, 표시영역 결정부(104)는 프레임 좌표를 전환한 후의 계층데이터의 것으로 변환하고, 해당 계층데이터의 식별정보와 함께 디코드부(106)에 통지한다. 디코드부(106)는 그것에 따라 링크처의 계층데이터를 디코드 처리대상으로 한다.
이어서, 유도제어부(416)가 화면을 링크영역으로 유도하는 기구에 대하여 설명한다. 상술한 바와 같이 본 실시예에서는 화상 내에 링크영역을 설치하고, 그 영역에 화면을 맞춤으로써 다양한 처리를 실현한다. 이러한 형태에 있어서 사용자는 대부분의 경우 입력장치(20)의 아날로그 스틱(27b)과 같은 확대축소 키에 의한 화상의 줌업과, 십자 키(21)와 같은 방향지시 키에 의한 수평방향의 위치맞춤을 반복하면서 목표로 하는 영역을 줌업해간다.
이러한 조작 중, 화상이 어느 정도 확대된 단계에서 화면 내의 대부분의 면적을 하나의 링크영역이 차지하고 있는 경우 등은 다소 위치가 어긋나 있었다고 해도 사용자가 해당 링크영역을 목표로 하고 있는 것을 예측할 수 있다. 이 성질을 이용하여 화면 내에서의 링크영역의 형태에 따라 사용자가 어느 링크영역을 목표로 하고 있는지를 예측한다. 그리고 화상의 확대조작과 연동하도록 수평방향으로 미세조정을 걸어 화면을 해당 링크영역으로 유도한다.
구체적으로는 유도조건으로서 표시화상의 확대율 및 링크영역이 화면에서 이탈되어 있는 비율에 각각 임계값을 설정한다. 링크영역이 화면에서 이탈되어 있는 비율이란 링크영역이 화면에 이탈되어 있는 방향에서의 링크영역의 폭에 대한, 이탈되어 있는 길이의 비율이다. 종횡 2방향으로 이탈되어 있는 경우는 해당 비율이 큰 쪽으로 한다. 그리고 확대율이 임계값을 초과하고, 또 어느 링크영역이 화면에서 이탈되어 있는 비율이 임계값보다 작은 경우, 사용자가 그 링크영역을 목표로 하고 있다고 예측한다.
그러한 예측이 가능한 상태에서 사용자가 확대축소 키에 의해 화상을 확대하는 조작을 행하면 그것에 따라 표시화상의 확대율을 증가시키는 동시에, 목표로 하고 있다고 예측한 링크영역으로 가까워지도록 수평방향으로 표시영역을 이동해간다. 또한 유도조건을 만족하고 있는지의 여부의 감시는 사용자가 시점이동 요구를 행하고 있는 기간에서는 상시 행한다. 또한 유도조건은 상기의 설정파일에 링크영역마다 혹은 전체 링크영역에서 공통으로 설정해도 되고, 유도제어부(416)가 계층데이터에 의하지 않고 보유하는 파라미터로 해도 된다. 또한 사용자가 확대조작과 함께 수평방향의 이동조작을 행하고 있을 때는 유도처리를 행하지 않아도 된다.
도 23은 시점의 차이에 의한 링크영역과 화면의 위치관계의 변화를 설명하는 도면이다. 도면의 종방향이 화상에 대한 시점의 높이를 나타내고, 가장 아래의 선이 화상평면이다. 화상평면상, 링크영역(352)을 굵은 선으로 나타내고 있다. 우선 시점(360a)에서 화상을 보면 시계를 나타내는 삼각형에서 알 수 있는 바와 같이 링크영역(352)은 이탈되지 않고 시계, 즉 화면 내로 들어간다. 한편, 시점(360b)에서 화상을 보면 링크영역(352)의 일부는 화면에서 이탈된다.
또한, 시점이 화상평면에 가까울수록 화면에 대하여 링크영역(352)의 크기가 커지기 때문에 링크영역(352)은 화면에서 이탈되기 쉬워진다. 따라서, 예를 들어 링크영역(352)이 화면에 이탈되지 않는 시점의 범위는 시점범위(362)와 같은 형상이 된다. 이탈되는 비율에 대한 임계값을 변화시켜도 시점범위의 형상은 시점범위(362)와 마찬가지이다. 즉, 상술한 바와 같이 유도조건을 설정하면 그것에 합치하는 시점범위가 시점범위(362)와 같이 정해진다.
또한 도 23에서 시점(363)은 링크영역(352)이 마침 화면 전체에 표시되는 시점, 즉 링크에 의한 처리를 실행할 때의 시점이다. 유도제어부(416)는 사용자가 화상을 확대하고 있는 기간에 있어서, 시점(363)을 목표로 하여 시점, 나아가서는 화면의 유도제어를 행한다. 또한 링크영역(352)은 링크가 설정되어 있는 영역, 즉 줌업해가면 화상이 전환되거나 동화상이 표시되는 영역과 엄밀하게 동일한 영역이 아니어도 된다. 예를 들어, 해당 링크가 설정되어 있는 영역과 그 주위를 포함하는 영역 등이어도 된다.
여기에서 유도조건을 하나 설정하면 해당 유도조건에 의해 정해지는 시점범위에 대한 시점의 내외 판정에 의해 유도하는/하지 않는 2자택일의 형태가 실현된다. 본 실시예에서는 또한 유도조건에 의해 정해지는 시점범위의 주위에 중간적인 시점범위를 설치해도 된다. 이후, 전자의 시점범위를 「유도범위」, 후자의 시점범위를 「준유도범위」로 한다. 준유도범위에 시점이 있을 때는 유도범위에 시점이 있을 때보다 작은 유도력으로 유도를 행한다. 여기에서, 「유도력」이란 예를 들어 사용자의 조작에 의한 화상의 확대속도에 대한, 유도에 의한 화상의 수평방향의 이동속도의 비율이다.
도 24는 유도범위와 준유도범위의 관계를 모식적으로 나타내고 있다. 도면의 표시방법은 도 23과 마찬가지이며, 가장 아래에 링크영역(352)이 존재한다. 또한 동 도면의 상부에는 각 범위를 위에서 본 모습을 나타내고 있다. 동 도면에 있어서 유도범위(364)는 도 23의 시점범위(362)에 대응하고, 유도의 목표가 되는 시점이 시점(368)이다. 이러한 유도범위(364)의 주위에 준유도범위(366)를 설정한다. 준유도범위(366)는 예를 들어 유도범위(364)와 동일한 중심선을 갖고 수평면 방향으로 소정의 비율만큼 넓힌 영역 중, 유도범위(364) 이외의 범위로 한다. 준유도범위 및 각 범위의 유도력은 설정파일에 링크영역마다 혹은 전체 링크영역에서 공통으로 설정해도 되고, 계층데이터에 관계없이 유도제어부(416)가 보유하고 있어도 된다.
사용자에 의한 화상의 확대속도가 같다고 해도 시점이 유도범위에 있는지 준유도범위에 있는지에 따라 유도에 의한 화면, 나아가서는 시점의 수평방향의 이동속도가 다르다. 예를 들어, 준유도범위(366) 내의 시점(372)의 단위시간당 이동량(화살표 B)의 수평방향 성분은 유도범위(364) 내의 시점(370)의 단위시간당 이동량(화상표 A)의 수평방향 성분에 비하여 작아진다.
또한 동 도면의 예와 같이 준유도범위(366)에 있는 시점(372)이 화살표 B와 같이 유도되면서 화상평면에 가까워져가는 도중에서 준유도범위(366)에서 일탈한 경우는 화살표 C와 같이 유도대상에서 재외하고, 사용자의 조작에 의한 화상확대만을 행하다. 즉 각 범위에 대한 시점의 내외판정은 사용자가 확대조작을 행하고 있는 기간에서 상시 실행하기 때문에 유도의 시작, 정지, 유도력의 변경을 시점의 이동과 함께 실시간으로 실행한다.
준유도범위는 유도범위와 비교하여 동일한 확대율로 링크영역이 화면에서 이탈되는 양이 많은 시점의 범위라고 생각할 수 있다. 따라서, 이와 같이 유도범위와 준유도범위를 설치함으로써 링크영역이 화면에 들어가 있는 정도에 따라 세밀하게 유도력을 조정할 수 있다. 결과적으로 목표로 하지 않는 링크영역으로 강하게 유도되거나, 작은 화면의 흔들림에 의해 유도되지 않지만 전환되는 등의 유도에 의해 사용자가 느끼는 위화감을 적게 할 수 있다.
유도범위(364), 준유도범위(366)의 각각에 있어서 유도력은 일정하지 않아도 된다. 도 25는 링크영역의 중심선으로부터의 시점의 수평방향의 거리에 대한 유도력의 설정예를 나타내고 있다. 도면중 종축은 유도력이며, 횡축은 중심이 링크영역의 중심선에 대응한다. 이 도면에서는 유도범위에 있어서는 유도력을 일정값 a로 하고, 준유도범위에서는 중심선으로부터의 거리에 따라 유도력이 값 a로부터 단조롭게 감소하고, 중심선으로부터 가장 떨어진 경계에 있어서 0이 되는 설정이 이루어져 있다. 마찬가지로, 유도범위에 있어서도 중심선으로부터의 거리에 따라 유도력을 변화시켜도 된다.
또한 유도범위, 준유도범위의 2개의 범위로 나누지 않고 연속적으로 유도력이 변화하도록 해도 되고, 3개 이상의 범위로 나누어도 된다. 어떠한 경우도 링크영역의 중심선에서 시점까지의 수평방향의 거리가 짧을수록 사용자가 해당 링크영역을 목표로 하고 있을 가능성이 높다고 생각할 수 있기 때문에 그 값에 따라 유도력을 변화시킴으로써 자연스러운 움직임으로 사용자의 시점이동을 지원할 수 있다.
유도범위를 규정하는 유도조건으로서 링크영역이 화면에서 이탈되는 비율에 임계값을 설치하는 대신에 유도범위를 직접 설정하도록 해도 된다. 예를 들어 시점의 높이의 변화에 대한 링크영역의 중심선에서 시점까지의 거리의 변화의 비율을 설정함으로써 도 24의 유도범위 대신에 단면형상이 원형인 원추상의 유도범위를 설정할 수 있다. 준유도범위도 마찬가지로 설정할 수 있고, 단면형상은 유도범위의 주위를 형성하는 중공원형상이 된다. 이 경우도 이제까지의 설명과 같은 구조로 동일한 효과를 얻을 수 있다.
또한, 유도범위 또는 준유도범위가 복수의 링크영역에서 중복되는 영역을 갖는 경우, 해당 영역에 들어간 시점에 대한 유도력은 각 링크영역으로의 유도력을 해당 시점에서 각 링크영역의 중심선까지의 거리에 따라 가중평균한 값으로 해도 된다. 여기에서, 유도력 및 중심선까지의 거리는 벡터계산이며, 종방향성분, 횡방향성분마다 산출한다. 이러한 경우라도 시점이 화상에 가까워지는 도중에서 거리가 멀다는 등, 유도력이 약한 링크영역의 유도범위나 준유도범위에서는 결국 일탈하여 최종적으로는 시점에 가장 가까운 링크영역으로 유도된다.
이어서, 이제까지 설명한 구성에 의한 정보처리장치(10)의 동작에 대하여 설명한다. 도 26은 정보처리장치(10)가 행하는, 링크영역으로의 화면의 유도 및 링크의 실행에 관한 처리순서를 나타내는 플로우차트이다. 우선, 사용자가 정보처리장치(10)에 대하여 콘텐츠의 기동요구를 행하면 도 21에 나타낸 표시화상(350)과 같은 초기화상이 표시된다(S118). 이 상태에서 사용자가 입력장치(20)를 이용하여 시점이동요구를 행하면 입력정보 취득부(102)가 그 정보를 취득한다(S120). 해당 이동요구가 화상평면에 시점을 접근시키는 요구, 즉 화상의 확대 요구였다면(S122의 Y) 유도제어부(416)는 시점이 준유도범위 내에 있는지의 여부를 판정한다(S124).
시점이 준유도범위 내에 있는 경우(S124의 Y), 유도제어부(416)는 준유도범위에 대하여 설정된 유도력에 기초하여 표시영역 결정부(104)가 결정한 확대방향의 화면의 움직임에 대하여 수평방향의 움직임을 추가함으로써 화면을 유도한다(S126). 이 때의 유도력은 상술한 바와 같이 시점이 유도범위내에 있을 때 보다 약하다. 시점이 준유도범위 내에 없고 유도범위 내에 있는 경우는(S124의 N, S128의 Y), S126과 마찬가지로 확대방향의 화면의 움직임에 대하여 수평방향의 움직임을 추가하여 화면을 유도하는데, 이 때의 유도력은 S126보다 강하다(S130). 또한, S126 및 S130의 처리는 실제로는 디코드부(106), 표시화상 처리부(114) 등에 의해 화상이 묘사된다. 이후의 표시영역 이동처리도 마찬가지이다.
시점이 준유도범위에도 유도범위에도 없는 경우는(S124의 N, S128의 N), 표시영역 결정부(104)가 결정한 확대방향의 화면의 움직임을 그대로 채용한다(S132). S120에서 취득한 시점이동요구가 확대요구에서만 없다면(S122의 N), 표시영역 결정부(104)는 해당 시점이동요구대로 표시영역을 이동시킨다(S134). S120∼S134의 처리를 경우에 따라서는 반복하여 행함으로써, 시점은 점점 어느 링크영역으로 가까워져간다. 링크실행부(418)는 예를 들어 화면 전체에 링크영역이 표시되는 등, 링크의 조건이 만족될때까지 시점의 이동 결과를 감시하고(S136의 N), 해당 조건이 만족된 시점에서(S136의 Y), 해당 링크영역에 대하여 설정된 처리를 실행한다(S138).
이상, 설명한 본 실시예에 의하면, 표시화상의 확대축소를 포함하는 시점의 이동을 사용자로부터 접수하여 표시영역을 갱신하는 정보처리장치에 있어서, 화상 중의 특정의 영역과 화면에 비추어지는 영역과의 위치관계에 따라 해당 영역을 줌업할 의도가 사용자에게 있는지의 여부를 판단한다. 줌업할 의도가 있다고 판단한 경우는 표시영역의 유도를 행한다. 구체적으로는 사용자가 화상의 확대요구를 행하고 있는 경우에 표시영역을 확대하는 동시에 수평방향의 이동을 추가한다. 이로 인하여 원하는 영역을 줌업할 때에 사용자에게 필요한 조작의 일부를 생략할 수 있어 사용자의 부담이 줄어든다. 특히, 미리 설정된 영역에 화면을 맞춤으로써 해당 영역에 대응된 처리를 시작하는 형태에 있어서, 사용자가 표시영역을 미세조정하지않고도 효율적으로 해당 처리를 시작할 수 있다.
유도에 있어서는, 사용자가 화상의 확대요구를 행하고 있는 기간에 있어서, 해당 확대요구에 의하 확대속도에 대응하도록 수평방향으로 조정을 행한다. 즉, 조정폭이 사용자의 확대요구를 위한 조작의 강도에 연동하고 있기 때문에 제멋대로 시점이 이동해버리는 등의 감각을 주는 일 없이, 자연스러운 움직임에서의 유도를 실현할 수 있다.
또한, 유도를 행하는 조건으로서 시점범위를 2종류 이상 설정함으로써 유도를 단계적으로 행한다. 즉, 특정의 영역과 화면의 어긋남이 비교적 큰 단계에서는 사용자가 해당 특정의 영역을 줌업하고자 하고 있을 가능성이 그만큼 높지 않다고 판단하여 유도력을 작게 해 두고, 어긋남이 작아지면 본격적인 유도를 행한다. 이와 같이 함으로써, 적절한 타이밍에서 적절한 양만큼 유도를 행할 수 있다.
또한, 이웃하는 복수의 영역 사이에 시점이 있는 경우 등은 각 영역까지의 거리에 따라 최종적인 유도량을 결정한다. 구체적으로는, 각 영역으로의 유도량을 거리에 따라 가중평균한다. 이와 같이 하면 줌업해야 할 영역이 근접하고 있어도 적절한 유도력을 구할 수 있기 때문에 다양한 레이아웃의 화상에 대하여 본 실시예를 적용하는 것이 가능하게 된다.
이상, 본 발명을 실시예에 기초하여 설명하였다. 상기 실시예는 예시이며, 그들의 각 구성요소나 각 처리프로세스의 조합에 여러가지 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.
예를 들어, 본 실시예에서는 화상평면과 해상도로 형성하는 3차원의 가상공간에서의 표시화면의 이동을 화상에 대한 시점의 이동에 대응되어 설명하였으나, 2차원의 화상평면 중 표시할 영역의 중심위치와 해당 영역의 크기를 변화시켜서 표시화면으로 하는 경우도 해당 표시화면을 사용자의 가상적인 시점의 이동이라고 파악할 수 있다. 즉, 2차원 평면의 표시영역의 이동에도 본 실시예를 적용할 수 있어 동일한 효과를 얻을 수 있다.
이상과 같이 본 발명은 컴퓨터, 게임기, 화상표시장치 등의 정보처리장치에 이용 가능하다.
1 : 정보처리 시스템 10 : 정보처리장치
12 : 표시장치 20 : 입력장치
30 : 제 0 계층 32 : 제 1 계층
34 : 제 2 계층 36 : 제 3 계층
38 : 타일화상 44 : 표시처리부
50 : 하드디스크 드라이브 60 : 메인 메모리
70 : 버퍼 메모리 76 : 프레임 메모리
80 : 기준 직사각형 82 : 타겟 직사각형
84 : 경계 직사각형 92 : 링크경계
100 : 제어부 102 : 입력정보 취득부
103 : 로드부 104 : 표시영역 결정부
106 : 디코드부 114 : 표시화상 처리부
116 : 링크 판정부 117 : 오브젝트 실행부
364 : 유도범위 366 : 준유도범위
408 : 브레드크럼 리스트 416 : 유도제어부
418 : 링크 실행부

Claims (43)

  1. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 보유하는 기억장치와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 입력정보 취득부와,
    상기 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 상기 계층데이터로부터 표시화상을 생성하는 표시화상 처리부와,
    상기 시점이 화상 내의 소정의 영역에 대응된 처리를 시작하기 위한 조건을 만족할 때, 해당 처리를 실행하는 오브젝트 실행부를 구비하고,
    상기 조건은 화상평면 상에 설정한 상기 소정의 영역과, 상기 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정되는 것을 특징으로 하는 정보처리장치.
  2. 제 1 항에 있어서,
    상기 화면에 비추어지는 영역 중, 상기 소정의 영역에서 이탈되는 영역의 비율이 설정값 이하인 것을 특징으로 하는 정보처리장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 소정의 영역 중, 상기 화면에 비추어지는 영역에서 이탈되는 영역의 비율이 설정값 이하인 것을 특징으로 하는 정보처리장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 오브젝트 실행부는 상기 시점이 소정의 영역에 대응되어 설정한 조건을 만족할 때, 해당 영역에 대응된 동화상 데이터 및 음성 데이터 중 적어도 어느 하나를 메모리에서 판독하여 재생하여 출력하는 것을 특징으로 하는 정보처리장치.
  5. 제 4 항에 있어서,
    상기 오브젝트 실행부는 상기 시점이 상기 소정의 영역에 대응되어 설정한 제 1 조건을 만족할 때, 상기 동화상 데이터에 포함되는 하나의 프레임 데이터를 재생하여 출력하고, 상기 시점이 또한 상기 소정의 영역을 대응되어 설정한 제 2 조건을 만족할 때, 재생한 동화상 데이터를 출력하는 것을 특징으로 하는 정보처리장치.
  6. 제 4 항에 있어서,
    상기 오브젝트 실행부는 상기 시점이 상기 조건에서 일탈했을 때, 그때까지 재생하고 있던 데이터의 재생을 정지하는 동시에, 정지 포인트를 메모리에 기록하고, 상기 시점이 동일한 영역에 대응되어 설정한 조건을 다시 만족했을 때, 상기 정지 포인트로부터 재생하여 출력하는 것을 특징으로 하는 정보처리장치.
  7. 제 6 항에 있어서,
    복수의 영역에 동일한 동화상 데이터 또는 음성 데이터가 대응되어 있을 때, 상기 오브젝트 실행부는 그들의 영역에서 공통의 상기 정지 포인트를 메모리에 기록하는 것을 특징으로 하는 정보처리장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 오브젝트 실행부는 상기 시점이 소정의 영역에 대응되어 설정한 조건을 만족할 때, 해당 영역에 대응된 네트워크 상의 장소로의 액세스가 가능한 것을 특징으로 하는 정보처리장치.
  9. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 단계와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 단계와,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 단계와,
    화상 내의 소정의 영역에 대응되어 설정한, 처리를 시작하기 위한 조건을 상기 시점이 만족할 때, 해당 처리를 실행하는 단계를 포함하고,
    상기 조건은 화상평면 상에 설정한 상기 소정의 영역과, 시점에 따라 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정되는 것을 특징으로 하는 정보처리방법.
  10. 제 9 항에 있어서,
    상기 처리를 실행하는 단계는, 상기 시점이 상기 소정의 영역에 대응되어 설정한 제 1 조건을 만족할 때, 해당 영역에 대응된 동화상 데이터에 포함되는 하나의 프레임 데이터를 재생하여 출력하는 단계와,
    상기 시점이 또한 상기 소정의 영역에 대응되어 설정한 제 2 조건을 만족할 때, 재생한 상기 동화상 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 정보처리방법.
  11. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 표시하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    화상 내의 소정의 영역에 대응되어 설정한, 처리를 시작하기 위한 조건을 상기 시점이 만족할 때, 해당 처리를 실행하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램에 있어서,
    상기 조건은 화상평면 상에 설정한 상기 소정의 영역과, 시점에 따라 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정되는 것을 특징으로 하는 컴퓨터 프로그램.
  12. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 표시하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    화상 내의 소정의 영역에 대응되어 설정한, 처리를 시작하기 위한 조건을 상기 시점이 만족할 때, 해당 처리를 실행하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록매체에 있어서,
    상기 조건은 화상평면 상에 설정한 상기 소정의 영역과, 시점에 따라 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정되는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록매체.
  13. 다른 해상도의 화상데이터를 화상도순으로 계층화하여 구성되는 계층데이터와,
    상기 계층데이터를 이용하여 표시한 화상 내의 소정의 영역에 대응시킨 처리를 시작하기 위한 조건이며, 해당 화상의 평면 상에 설정한 상기 소정의 영역과, 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점에 의해 정해지는, 상기 화상 중 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 조건을 기재한 설정파일을 대응시킨 것을 특징으로 하는 콘텐츠의 데이터구조.
  14. 제 13 항에 기재된 콘텐츠의 데이터구조를 기록한 기록매체.
  15. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 보유하는 기억장치와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 입력정보 취득부와,
    상기 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 상기 계층데이터로부터 표시화상을 생성하는 표시화상 처리부와,
    상기 표시화상 내의 복수의 영역을 강조표시하는 가공을 행하는 화상가공부를 구비하고,
    상기 입력정보 취득부는 강조표시된 복수의 영역으로부터의 선택지시를 사용자로부터 추가로 접수하고,
    상기 표시화상 처리부는 또한 상기 선택지시에 따라 표시하는 영역을 변화시키는 것을 특징으로 하는 정보처리장치.
  16. 제 15 항에 있어서,
    상기 화상가공부는 화상평면 상에 설정한 직사각형 영역과, 상기 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 조건을 만족할 때, 상기 강조표시하는 가공을 행하는 것을 특징으로 하는 정보처리장치.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 화상가공부는 상기 선택지시에 따라 선택된 영역의 확대율을 높이는 동시에, 선택된 영역에 대응되어 설정한 가공을 추가로 행하는 것을 특징으로 하는 정보처리장치.
  18. 제 15 항 또는 제 16 항에 있어서,
    상기 기억장치는 강조표시하는 상기 복수의 영역의 각각에 대응하는 화상의 데이터를 추가로 보유하고,
    상기 화상가공부는 또한 상기 선택지시에 따라 선택된 영역에 대응하는 화상의 데이터를 상기 기억장치에서 판독하고, 상기 표시화상 처리부가 표시하는 영역을 변화시킨 후, 해당 화상을 덧붙여서 표시하는 것을 특징으로 하는 정보처리장치.
  19. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 단계와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 단계와,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 단계와,
    표시하는 영역에 포함되는 복수의 영역을 강조표시하는 가공을 행하는 단계와,
    강조표시된 복수의 영역으로부터의 선택지시를 사용자로부터 접수하는 단계와,
    상기 선택지시에 따라 표시하는 영역을 추가로 변화시키는 단계를 포함하는 것을 특징으로 하는 정보처리방법.
  20. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    표시하는 영역에 포함되는 복수의 영역을 강조표시하는 가공을 행하는 기능과,
    강조표시된 복수의 영역으로부터의 선택지시를 사용자로부터 접수하는 기능과,
    상기 선택지시에 따라 표시하는 영역을 추가로 변화시키는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램.
  21. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    표시하는 영역에 포함되는 복수의 영역을 강조표시하는 가공을 행하는 기능과,
    강조표시된 복수의 영역으로부터의 선택지시를 사용자로부터 접수하는 기능과,
    상기 선택지시에 따라 표시하는 영역을 추가로 변화시키는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록매체.
  22. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터와,
    상기 계층데이터를 이용하여 표시한 화상 중, 강조표시하여 선택 대상으로 하는 복수의 영역에 대응시켜서, 대응하는 영역이 선택되었을 때에 상기 화상의 표시영역을 변화시킨 후, 덧붙여서 표시하는 화상의 데이터를 대응시킨 것을 특징으로 하는 콘텐츠의 데이터구조.
  23. 제 22 항에 기재된 콘텐츠의 데이터구조를 기록한 기록매체.
  24. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 보유하는 기억장치와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자가 조작하는 입력장치를 통하여 접수하는 입력장치 취득부와,
    상기 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 상기 계층데이터로부터 표시화상을 생성하는 동시에, 사용자가 상기 입력장치에 대하여 특정의 조작을 행하였을 때, 표시 중의 화상보다 낮은 해상도를 갖는 하나의 기준표시화상을 상기 계층데이터로부터 생성하는 표시화상 처리부를 구비하고,
    상기 기준표시화상은 화상평면으로부터의 거리가 다른 복수의 시점에 대응하는 복수의 영역의 화상이며, 상기 하나의 기준표시화상은 표시 중의 화상에 의해 상기 기준표시화상으로부터 선택되는 것을 특징으로 하는 정보처리장치.
  25. 제 24 항에 있어서,
    상기 기준표시화상은 상기 가상공간에서의 시점의 범위마다 정해지고,
    이동처의 시점이 새로운 범위에 들어갔을 때 해당 범위에 대하여 정해진 하나의 기준표시화상의 정보를 축적하여 기록하는 메모리를 추가로 구비하고,
    상기 표시화상 처리부는 사용자가 상기 특정의 조작을 행할때마다 상기 메모리에서 판독되지 않은 기준표시화상의 정보 중, 마지막으로 기록된 정보를 판독함으로써 상기 하나의 기준표시화상을 생성하는 것을 특징으로 하는 정보처리장치.
  26. 제 24 항 또는 제 25 항에 있어서,
    상기 기억장치는 상기 시점에 대한 소정의 조건에서 표시의 전환을 행하는 복수의 계층데이터를 보유하고,
    상기 표시화상 처리부는 사용자가 상기 특정의 조작을 행하였을 때, 표시 중인 화상을 포함하는 상기 계층데이터 중, 가장 해상도가 낮은 화상데이터의 화상을 상기 하나의 기준표시화상으로서 생성하는 것을 특징으로 하는 정보처리장치.
  27. 제 25 항에 있어서,
    상기 입력정보 취득부는 상기 표시화상 중에 설정된 복수의 영역으로부터의 선택지시를 상기 입력장치를 통하여 추가로 접수하고,
    상기 메모리는 상기 선택지시가 이루어졌을 때, 그 시점에서의 표시화상의 정보를 상기 하나의 기준표시화상의 정보로서 기록하는 것을 특징으로 하는 정보처리장치.
  28. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 단계와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자가 조작하는 입력장치를 통하여 접수하는 단계와,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 단계와,
    사용자가 상기 입력장치에 대하여 특정의 조작을 행하였을 때, 표시 중인 화상보다 낮은 해상도를 갖는 하나의 기준표시화상을 상기 계층데이터로부터 생성하는 단계를 포함하고,
    상기 기준표시화상은 화상평면으로부터의 거리가 다른 복수의 시점에 대응하는 복수의 영역의 화상이며, 상기 하나의 기준표시화상은 표시 중인 화상에 의해 상기 기준표시화상으로부터 선택되는 것을 특징으로 하는 정보처리방법.
  29. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자가 조작하는 입력장치를 통하여 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    사용자가 상기 입력장치에 대하여 특정의 조작을 행하였을 때, 표시 중인 화상보다 낮은 해상도를 갖는 하나의 기준표시화상을 상기 계층데이터로부터 생성하는 기능을 컴퓨터에 실행시키는 것을 특징으로 하는 컴퓨터 프로그램에 있어서,
    상기 기준표시화상은 화상평면으로부터의 거리가 다른 복수의 시점에 대응하는 복수의 영역의 화상이며, 상기 하나의 기준표시화상은 표시 중인 화상에 의해 상기 기준표시화상으로부터 선택되는 것을 특징으로 하는 컴퓨터 프로그램.
  30. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터를 메모리에서 판독하여 표시장치에 출력하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자가 조작하는 입력장치를 통하여 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    사용자가 상기 입력장치에 대하여 특정의 조작을 행하였을 때, 표시 중인 화상보다 낮은 해상도를 갖는 하나의 기준표시화상을 상기 계층데이터로부터 생성하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록매체에 있어서,
    상기 기준표시화상은 화상평면으로부터의 거리가 다른 복수의 시점에 대응하는 복수의 영역의 화상이며, 상기 하나의 기준표시화상은 표시 중인 화상에 의해 상기 기준표시화상으로부터 선택되는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록매체.
  31. 다른 해상도의 화상데이터를 해상도순으로 계층화하여 구성되는 계층데이터와,
    상기 계층데이터에 포함되는 화상데이터에 있어서, 상기 계층데이터로부터 생성한 화상을 표시하는 중에 사용자가 입력장치에 대하여 특정의 조작을 행하였을 때, 해당 표시 중인 화상의 영역에 따라 그 후의 표시 대상으로서 선택되는, 해상도가 다른 복수의 기준표시화상의 정보를 대응시킨 것을 특징으로 하는 콘텐츠의 데이터구조.
  32. 제 31 항에 기재된 콘텐츠의 데이터구조를 기록한 기록매체.
  33. 줌업해야 할 대상을 나타내는 특정영역을 포함하는 화상의 데이터를 보유하는 기억장치와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 입력정보 취득부와,
    상기 시점의 이동요구에 따라 표시하는 영역을 변화시켜서 상기 화상의 데이터로부터 표시화상을 생성하는 표시화상 처리부와,
    사용자가 화상의 확대조작을 행하고 있을 때에 상기 시점이 상기 특정영역과, 상기 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 만족할 때는 상기 시점에 수평방향의 움직임을 가함으로써 화면에 비추어지는 영역을 상기 특정영역의 방향으로 유도하도록 상기 표시화상 처리부를 제어하는 유도제어부를 구비한 것을 특징으로 하는 정보처리장치.
  34. 제 33 항에 있어서,
    상기 특정영역 중 상기 화면에 비추어지는 영역에서 이탈되는 영역의 비율이 설정값 이하인 것을 특징으로 하는 정보처리장치.
  35. 제 33 항 또는 제 34 항에 있어서,
    상기 시점이 상기 특정영역에 대하여 소정의 범위에 들어갔을 때에 해당 특정영역에 대하여 설정한 처리를 실행하는 링크실행부를 추가로 구비한 것을 특징으로 하는 정보처리장치.
  36. 제 33 항 내지 제 35 항 중 어느 한 항에 있어서,
    상기 유도조건을 하나의 상기 특정영역에 대하여 복수 설치하고,
    상기 유도제어부는 사용자의 확대조작에 의한 확대속도에 대한, 상기 수평방향의 움직임의 속도를 상기 시점이 어느 유도조건을 만족하는가에 따라 다르게 하는 것을 특징으로 하는 정보처리장치.
  37. 제 33 항 내지 제 36 항 중 어느 한 항에 있어서,
    상기 유도제어부는 특정영역의 중심선으로부터의 상기 시점의 거리에 따라 사용자의 확대조작에 의한 확대속도에 대한, 상기 수평방향의 움직임의 속도를 변화시키는 것을 특징으로 하는 정보처리장치.
  38. 제 33 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 시점이 복수의 상기 특정영역에 대한 상기 유도조건을 동시에 만족할 때, 상기 유도제어부는 사용자의 확대조작에 의한 확대속도에 대한, 각 특정영역방향으로의 유도를 위해 더해져야 할 상기 수평방향의 움직임의 속도를, 각 특정영역의 중심선으로부터의 상기 시점의 거리에 기초하여 가중평균한 움직임의 속도에서 상기 시점에 수평방향의 움직임을 더하는 것을 특징으로 하는 정보처리장치.
  39. 줌업해야 할 대상을 나타내는 특정영역을 포함하는 화상의 데이터를 메모리에서 판독하여 표시장치에 출력하는 단계와,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 단계와,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 단계와,
    사용자가 화상의 확대조작을 행하고 있을 때에 상기 시점이 상기 특정영역과, 상기 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 만족할 때는, 상기 시점에 수평방향의 움직임을 가함으로써 화면에 비추어지는 영역을 상기 특정영역의 방향으로 유도하는 단계를 포함하는 것을 특징으로 하는 정보처리방법.
  40. 줌업해야 할 대상을 나타내는 특정영역을 포함하는 화상의 데이터를 메모리에서 판독하여 표시장치에 출력하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    사용자가 화상의 확대조작을 행하고 있을 때에 상기 시점이 상기 특정영역과, 상기 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 만족할 때는 상기 시점에 수평방향의 움직임을 가함으로써 화면에 비추어지는 영역을 상기 특정영역의 방향으로 유도하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램.
  41. 줌업해야 할 대상을 나타내는 특정영역을 포함하는 화상의 데이터를 메모리에서 판독하여 표시장치에 출력하는 기능과,
    화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점의 이동요구를 사용자로부터 접수하는 기능과,
    상기 시점의 이동요구에 따라 상기 표시장치에 표시하는 영역을 변화시키는 기능과,
    사용자가 화상의 확대조작을 행하고 있을 때에 상기 시점이 상기 특정영역과, 상기 시점에 의해 정해지는 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 만족할 때는, 상기 시점에 수평방향으로 움직임을 더함으로써 화면에 비추어지는 영역을 상기 특정영역의 방향으로 유도하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 컴퓨터 프로그램을 기록한 기록매체.
  42. 화상의 데이터와,
    상기 화상 중, 줌업해야 할 대상을 나타내는 특정영역의 데이터와,
    사용자가 화상의 확대조작을 행하고 있을 때에 화면에 비추어지는 영역을 상기 특정영역의 방향으로 유도하기 위해 화상평면 및 화상평면으로부터의 거리에 따라 정의되는 가상공간에서의 시점에 수평방향으로 움직임을 더하는 조건에 있어서, 상기 특정영역과 상기 화면에 비추어지는 영역과의 위치관계에 대하여 설정한 유도조건을 대응시킨 것을 특징으로 하는 콘텐츠의 데이터구조.
  43. 제 42 항에 기재된 콘텐츠의 데이터구조를 기록한 기록매체.
KR1020117024890A 2009-03-25 2009-12-18 정보처리장치 및 정보처리방법 KR101319575B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JPJP-P-2009-075243 2009-03-25
JPJP-P-2009-075242 2009-03-25
JPJP-P-2009-075267 2009-03-25
JPJP-P-2009-075244 2009-03-25
JP2009075243A JP5292147B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
JP2009075244A JP5292148B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
JP2009075267A JP5292149B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
JP2009075242A JP5292146B2 (ja) 2009-03-25 2009-03-25 情報処理装置および情報処理方法
PCT/JP2009/007037 WO2010109570A1 (ja) 2009-03-25 2009-12-18 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
KR20110129487A true KR20110129487A (ko) 2011-12-01
KR101319575B1 KR101319575B1 (ko) 2013-10-22

Family

ID=42780280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117024890A KR101319575B1 (ko) 2009-03-25 2009-12-18 정보처리장치 및 정보처리방법

Country Status (9)

Country Link
US (1) US9250704B2 (ko)
EP (1) EP2413311B1 (ko)
KR (1) KR101319575B1 (ko)
CN (1) CN102362308B (ko)
AU (1) AU2009343075B2 (ko)
BR (1) BRPI0925014B1 (ko)
CA (1) CA2754672C (ko)
RU (1) RU2520353C9 (ko)
WO (1) WO2010109570A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5662267B2 (ja) 2011-07-04 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、情報処理装置、サーバ、および画像処理方法
US9351900B2 (en) 2012-09-17 2016-05-31 President And Fellows Of Harvard College Soft exosuit for assistance with human motion
KR102134443B1 (ko) * 2013-05-03 2020-07-15 삼성전자주식회사 전자 기기 및 제어 동작에 기초한 전자 기기의 화면 조작 방법
CN108670195B (zh) 2013-05-31 2022-05-10 哈佛大学校长及研究员协会 用于辅助人体运动的软机器护甲
US9858899B2 (en) 2013-06-13 2018-01-02 Microsoft Technology Licensing, Llc Managing transitions of adaptive display rates for different video playback scenarios
JP2016539723A (ja) 2013-12-09 2016-12-22 プレジデント アンド フェローズ オブ ハーバード カレッジ 補助的な可撓性スーツ、可撓性スーツシステム、ならびにそれを作製および制御して人間の可動性を補助するための方法
WO2015120186A1 (en) 2014-02-05 2015-08-13 President And Fellows Of Harvard College Systems, methods, and devices for assisting walking for developmentally-delayed toddlers
EP3128963A4 (en) 2014-04-10 2017-12-06 President and Fellows of Harvard College Orthopedic device including protruding members
JP6878271B2 (ja) 2014-09-19 2021-05-26 プレジデント アンド フェローズ オブ ハーバード カレッジ 人の運動を補助するためのソフトエクソスーツ
WO2016160629A1 (en) * 2015-03-27 2016-10-06 Google Inc. Providing selected images from a set of images
JP6628036B2 (ja) * 2015-03-27 2020-01-08 パナソニックＩｐマネジメント株式会社 映像表示制御装置、映像表示システムおよび映像表示制御方法
EP3429512A4 (en) 2016-03-13 2019-10-30 President and Fellows of Harvard College FLEXIBLE ELEMENTS FOR ANCHORING THE BODY
JP6887120B2 (ja) * 2016-03-24 2021-06-16 パナソニックＩｐマネジメント株式会社 表示装置
EP3487666A4 (en) 2016-07-22 2020-03-25 President and Fellows of Harvard College OPTIMIZING ORDERS FOR PORTABLE SYSTEMS
KR102246841B1 (ko) * 2016-10-05 2021-05-03 매직 립, 인코포레이티드 표면 모델링 시스템들 및 방법들
KR102623181B1 (ko) * 2016-10-05 2024-01-11 엘지전자 주식회사 무선 디바이스 및 무선 시스템
WO2018170170A1 (en) 2017-03-14 2018-09-20 President And Fellows Of Harvard College Systems and methods for fabricating 3d soft microstructures
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
US10855564B2 (en) * 2018-01-15 2020-12-01 Worcester Polytechnic Institute Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment
US10854003B2 (en) * 2018-01-15 2020-12-01 Worcester Polytechnic Institute Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment
JP7067095B2 (ja) * 2018-02-07 2022-05-16 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像形成プログラム
JP7341674B2 (ja) * 2019-02-27 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN112243148B (zh) * 2019-07-16 2022-10-11 青岛海信传媒网络技术有限公司 显示设备及视频画面缩放方法
JP7392341B2 (ja) * 2019-09-17 2023-12-06 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
CN113890675A (zh) * 2021-09-18 2022-01-04 聚好看科技股份有限公司 一种三维模型的自适应显示方法及设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08279054A (ja) 1995-04-07 1996-10-22 Hitachi Ltd 映像生成／表示システム
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
JP4251675B2 (ja) 1997-07-30 2009-04-08 ソニー株式会社 記憶装置およびアクセス方法
US6744934B2 (en) 1998-07-23 2004-06-01 Fuji Photo Film Co., Ltd. Method, apparatus and recording medium for generating an image file having hierarchical image data representing a plurality of still images having different display dimensions
JP3646582B2 (ja) * 1998-09-28 2005-05-11 富士通株式会社 電子情報表示方法、電子情報閲覧装置および電子情報閲覧プログラム記憶媒体
JP3498001B2 (ja) * 1999-02-16 2004-02-16 富士通株式会社 パノラマ画像表示システム，作成システムおよびそのプログラム記録媒体
JP2003281187A (ja) * 2002-03-20 2003-10-03 Fujitsu Ltd 仮想三次元情報閲覧方法、コンピュータプログラム及び記録媒体
US6917360B2 (en) * 2002-06-21 2005-07-12 Schlumberger Technology Corporation System and method for adaptively labeling multi-dimensional images
US7221366B2 (en) * 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
JP4050777B1 (ja) * 2007-04-06 2008-02-20 株式会社デジタルマックス 画像表示システム
EP2141578B1 (en) * 2007-04-24 2019-01-23 Sony Interactive Entertainment Inc. Image display device, image display method and information recording medium
RU2509341C2 (ru) * 2008-11-11 2014-03-10 Сони Компьютер Энтертэйнмент Инк. Устройство обработки изображения и способ обработки изображения

Also Published As

Publication number Publication date
CA2754672C (en) 2017-11-21
US9250704B2 (en) 2016-02-02
BRPI0925014B1 (pt) 2020-09-15
AU2009343075B2 (en) 2013-10-17
RU2520353C2 (ru) 2014-06-20
AU2009343075A1 (en) 2011-09-22
CN102362308A (zh) 2012-02-22
KR101319575B1 (ko) 2013-10-22
CA2754672A1 (en) 2010-09-30
EP2413311B1 (en) 2018-07-18
CN102362308B (zh) 2014-04-09
EP2413311A4 (en) 2016-07-13
US20120056903A1 (en) 2012-03-08
RU2520353C9 (ru) 2015-01-27
EP2413311A1 (en) 2012-02-01
RU2011142869A (ru) 2013-04-27
WO2010109570A1 (ja) 2010-09-30

Similar Documents

Publication Publication Date Title
KR101319575B1 (ko) 정보처리장치 및 정보처리방법
KR101400935B1 (ko) 화상 처리 장치, 정보 처리 장치, 화상 처리 방법, 및 정보 처리 방법
JP6186184B2 (ja) 画像処理装置、画像処理システム、および画像処理方法
CN108804185A (zh) 多个对象之间排序时的编辑方法及显示终端
TWI535268B (zh) 移動影像之再生處理方法及使用該方法之行動資訊終端機
CN102947866B (zh) 图像处理装置、内容生成辅助装置、图像处理方法、内容生成辅助方法
JP2013214842A (ja) 動画再生処理方法及びその方法を採用した携帯情報端末
JP5292146B2 (ja) 情報処理装置および情報処理方法
JP5467123B2 (ja) 情報処理装置および情報処理方法
JP5292148B2 (ja) 情報処理装置および情報処理方法
JP5292147B2 (ja) 情報処理装置および情報処理方法
JP5992729B2 (ja) 情報処理装置および情報処理方法
US8972877B2 (en) Information processing device for displaying control panel image and information image on a display
JP5292149B2 (ja) 情報処理装置および情報処理方法
KR101268112B1 (ko) 웹 페이지에 포함된 동영상을 재생하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160921

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 6